KR20240074809A - 장문 스피치 인식을 위한 트레이닝 - Google Patents

Abstract

방법(700)은 트레이닝 샘플들(400)을 획득하는 동작을 포함하며, 각 트레이닝 샘플은 트레이닝 발화에 대응하는 스피치 세그먼트들(405)의 대응 시퀀스 및 스피치 세그먼트들의 시퀀스에 대한 실측 전사들(415)의 대응 시퀀스를 포함하고, 각 실측 전사는 대응하는 스피치 세그먼트의 시작 시간(414) 및 종료 시간(416)을 포함한다. 각각의 트레이닝 샘플들에 대해, 상기 방법은 트레이닝 발화에 대한 하나 이상의 스피치 인식 가설들(522)을 획득하기 위해 스피치 인식 모델(200)을 사용하여 스피치 세그먼트들의 대응 시퀀스를 프로세싱하는 동작; 및 상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해, 실측 전사들의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작을 포함한다. 상기 방법은 상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 포함한다.

Description

장문 스피치 인식을 위한 트레이닝

본 개시는 장문 스피치 인식을 위한 스피치 인식 모델을 트레이닝하는 것에 관한 것이다.

현대의 자동 스피치 인식(ASR) 시스템은 음성 발화에 대한 스피치 인식의 고품질(예: 낮은 단어 오류율)뿐만 아니라 짧은 대기 시간(예: 사용자의 말하기와 전사 표시 사이의 짧은 지연)을 제공하는데 중점을 둔다. 예를 들면, ASR 시스템을 구현하는 디바이스를 사용할 때, ASR 시스템은 실시간에 대응하거나 실시간보다 더 빠른 스트리밍 방식으로 발화를 디코딩해야 한다는 기대가 있다.

본 개시의 한 양태는 장문 스피치를 인식하기 위한 스피치 인식 모델을 트레이닝하는 컴퓨터로 구현되는 방법을 제공한다. 데이터 프로세싱 하드웨어에서 실행될 때 컴퓨터로 구현되는 방법은 데이터 프로세싱 하드웨어로 하여금 트레이닝 샘플들의 세트를 획득하는 동작을 포함하는 동작들은 수행하게 한다. 트레이닝 샘플들의 세트의 각각의 트레이닝 샘플은 트레이닝 발화에 대응하는 스피치 세그먼트들의 대응 시퀀스 및 스피치 세그먼트들의 시퀀스에 대한 실측 전사들의 대응 시퀀스를 포함한다. 실측 전사들의 대응 시퀀스의 각 실측 전사는 대응하는 스피치 세그먼트의 시작 시간과 종료 시간을 포함한다. 상기 트레이닝 샘플들의 세트의 각 트레이닝 샘플에 대해, 상기 방법은 트레이닝 발화에 대한 하나 이상의 스피치 인식 가설들을 획득하기 위해 상기 스피치 인식 모델을 사용하여 스피치 세그먼트들의 대응 시퀀스를 프로세싱하는 동작; 상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해, 실측 전사들의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작; 및 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 포함한다.

본 개시의 구현예는 다음 구성들 중 하나 이상을 포함할 수 있다. 일부 구현예에서, 하나 이상의 스피치 인식 가설들을 획득하기 위해 스피치 세그먼트들의 시퀀스를 프로세싱하는 동작은 스피치 인식 가설들의 N-최상위 목록을 획득하기 위해 스피치 세그먼트들의 시퀀스를 프로세싱하는 동작을 포함하고; 그리고 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작은 스피치 인식 가설들의 N-최상위 목록의 각 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수의 평균에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 포함한다.

일부 예에서, 상기 트레이닝 샘플들의 세트의 각 트레이닝 샘플은 스피치 세그먼트들의 시퀀스의 인접한 스피치 세그먼트들의 각 쌍 사이에 각각의 비-스피치 세그먼트를 더 포함한다. 일부 구현예에서, 스피치 세그먼트들의 시퀀스의 각 스피치 세그먼트는 적어도 6초의 평균 지속시간을 갖는다.

일부 구현예에서, 스피치 인식 모델은 인코더 네트워크, 예측 네트워크 및 조인트 네트워크를 갖는 트랜스듀서 기반 스피치 인식 모델을 포함한다. 일부 예에서, 인코더 네트워크는 복수의 멀티 헤드 어텐션 레이어를 포함한다.

일부 예에서, 예측 네트워크는 초기 시간 단계에 후속하는 복수의 시간 단계들 각각에서 최종 소프트맥스 레이어에 의해 출력되는 비-공백 심볼들의 시퀀스를 입력으로서 수신하도록 구성된다. 복수의 시간 단계들 각각에서, 그리고 대응하는 시간 단계에서 입력으로 수신된 비-공백 심볼들의 시퀀스의 비-공백 심볼 각각에 대해, 예측 네트워크는 공유된 임베딩 행렬을 사용하여, 대응하는 비-공백 심볼의 임베딩을 생성하고; 각각의 포지션 벡터를 대응하는 비-공백 심볼에 할당하고; 그리고 상기 임베딩과 상기 각각의 포지션 벡터. 사이의 유사성에 비례하여 임베딩에 가중치를 부여하도록 구성된다. 예측 네트워크는 대응하는 시간 단계에서, 단일 임베딩 벡터(350)를 출력으로서 생성하도록 더 구성되고, 상기 단일 임베딩 벡터(350)는 가중 임베딩들(318)의 가중 평균(324)에 기초한다. 일부 구현예에서, 조인트 네트워크는 초기 시간 단계 이후의 복수의 시간 단계들 각각에서: 상기 대응하는 시간 단계에서 상기 예측 네트워크로부터 출력으로서 생성된 상기 단일 임베딩 벡터를 입력으로서 수신하고; 그리고 상기 대응하는 시간 단계에서 가능한 스피치 인식 가설들에 대한 확률 분포를 생성하도록 구성된다. 일부 예에서, 상기 예측 네트워크는 공유 임베딩 행렬의 차원을 조인트 네트워크의 출력 레이어의 차원에 연결한다.

본 개시의 다른 양태는 데이터 프로세싱 하드웨어 및 상기 데이터 프로세싱 하드웨어와 통신하고 명령어를 저장하는 메모리 하드웨어를 포함하며 상기 명령어는 상기 데이터 프로세싱 하드웨어에서 실행될 때 상기 데이터 프로세싱 하드웨어로 하여금 동작들을 수행하게 하는 시스템을 제공한다. 동작들은 트레이닝 샘플들의 세트를 획득하는 동작을 포함한다. 트레이닝 샘플들의 세트의 각각의 트레이닝 샘플은 트레이닝 발화에 대응하는 스피치 세그먼트들의 대응 시퀀스 및 스피치 세그먼트들의 시퀀스에 대한 실측 전사들의 대응 시퀀스를 포함한다. 실측 전사들의 대응 시퀀스의 각 실측 전사는 대응하는 스피치 세그먼트의 시작 시간과 종료 시간을 포함한다. 상기 트레이닝 샘플들의 세트의 각 트레이닝 샘플에 대해, 상기 동작들은 트레이닝 발화에 대한 하나 이상의 스피치 인식 가설들을 획득하기 위해 상기 스피치 인식 모델을 사용하여 스피치 세그먼트들의 대응 시퀀스를 프로세싱하는 동작; 상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해, 실측 전사들의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작; 및 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 포함한다.

본 개시의 구현예는 다음 구성들 중 하나 이상을 포함할 수 있다. 일부 구현예에서, 하나 이상의 스피치 인식 가설들을 획득하기 위해 스피치 세그먼트들의 시퀀스를 프로세싱하는 동작은 스피치 인식 가설들의 N-최상위 목록을 획득하기 위해 스피치 세그먼트들의 시퀀스를 프로세싱하는 동작을 포함하고; 그리고 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작은 스피치 인식 가설들의 N-최상위 목록의 각 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수의 평균에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 포함한다.

일부 예에서, 상기 트레이닝 샘플들의 세트의 각 트레이닝 샘플은 스피치 세그먼트들의 시퀀스의 인접한 스피치 세그먼트들의 각 쌍 사이에 각각의 비-스피치 세그먼트를 더 포함한다. 일부 구현예에서, 스피치 세그먼트들의 시퀀스의 각 스피치 세그먼트는 적어도 6초의 평균 지속시간을 갖는다.

일부 구현예에서, 스피치 인식 모델은 인코더 네트워크, 예측 네트워크 및 조인트 네트워크를 갖는 트랜스듀서 기반 스피치 인식 모델을 포함한다. 일부 예에서, 인코더 네트워크는 복수의 멀티 헤드 어텐션 레이어를 포함한다.

일부 예에서, 예측 네트워크는 초기 시간 단계에 후속하는 복수의 시간 단계들 각각에서 최종 소프트맥스 레이어에 의해 출력되는 비-공백 심볼들의 시퀀스를 입력으로서 수신하도록 구성된다. 복수의 시간 단계들 각각에서, 그리고 대응하는 시간 단계에서 입력으로 수신된 비-공백 심볼들의 시퀀스의 비-공백 심볼 각각에 대해, 예측 네트워크는 공유된 임베딩 행렬을 사용하여, 대응하는 비-공백 심볼의 임베딩을 생성하고; 각각의 포지션 벡터를 대응하는 비-공백 심볼에 할당하고; 그리고 상기 임베딩과 상기 각각의 포지션 벡터. 사이의 유사성에 비례하여 임베딩에 가중치를 부여하도록 구성된다. 예측 네트워크는 대응하는 시간 단계에서, 단일 임베딩 벡터(350)를 출력으로서 생성하도록 더 구성되고, 상기 단일 임베딩 벡터(350)는 가중 임베딩들(318)의 가중 평균(324)에 기초한다. 일부 구현예에서, 조인트 네트워크는 초기 시간 단계 이후의 복수의 시간 단계들 각각에서: 상기 대응하는 시간 단계에서 상기 예측 네트워크로부터 출력으로서 생성된 상기 단일 임베딩 벡터를 입력으로서 수신하고; 그리고 상기 대응하는 시간 단계에서 가능한 스피치 인식 가설들에 대한 확률 분포를 생성하도록 구성된다. 일부 예에서, 상기 예측 네트워크는 공유 임베딩 행렬의 차원을 조인트 네트워크의 출력 레이어의 차원에 연결한다.

본 개시의 다른 양태는 장문 스피치를 인식하기 위한 스피치 인식 모델을 트레이닝하는 컴퓨터로 구현되는 방법을 제공한다. 방법은 트레이닝 샘플들의 세트를 획득하는 동작을 포함한다. 트레이닝 샘플들의 세트의 각각의 트레이닝 샘플은 원시 스피치 세그먼트들의 대응 시퀀스 및 원시 스피치 세그먼트들의 시퀀스에 대한 실측 전사들의 대응 시퀀스를 포함한다. 실측 전사들의 대응 시퀀스의 각 실측 전사는 대응하는 원시 스피치 세그먼트의 시작 시간과 종료 시간을 포함한다. 상기 방법은 연속적인 원시 스피치 세그먼트들의 각각의 연결된 그룹에 대한 각각의 긴 트레이닝 발화를 형성하기 위해 원시 스피치 세그먼트들의 시퀀스로부터 연속적인 원시 스피치 세그먼트들의 2개 이상의 그룹을 연결하는 동작을 포함한다. 상기 방법은 제1 트레이닝 단계 동안, 각각의 긴 트레이닝 발화에 대해: 각각의 긴 트레이닝 발화에 대한 스피치 인식 가설을 예측하기 위해 스피치 인식 모델을 사용하여, 연속적인 원시 스피치 세그먼트들의 연결된 그룹을 프로세싱하는 동작; 및 각각의 긴 트레이닝 발화에 대한 예측된 스피치 인식 가설과 실측 전사들의 대응하는 그룹(405G)에 기초한 로그 손실을 사용하여 스피치 인식 모델을 트레이닝하는 동작을 포함한다.

본 개시의 구현예는 다음 구성들 중 하나 이상을 포함할 수 있다. 일부 구현예에서, 상기 방법은 제2 트레이닝 단계 동안, 트레이닝 샘플들의 세트의 트레이닝 샘플 각각에 대해: 제1 트레이닝 단계에 의해 초기화된 스피치 인식 모델을 사용하여, 하나 이상의 스피치 인식 가설을 획득하기 위해 원시 스피치 세그먼트들의 대응 시퀀스를 프로세싱하는 동작; 각각의 스피치 인식 가설에 대해, 실측 전사들의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작; 및 각각의 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 더 포함한다.

일부 예에서, 하나 이상의 스피치 인식 가설들을 획득하기 위해 원시 스피치 세그먼트들의 시퀀스를 프로세싱하는 동작은 스피치 인식 가설들의 N-최상위 목록을 획득하기 위해 원시 스피치 세그먼트들의 시퀀스를 프로세싱하는 동작을 포함하고; 그리고 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작은 스피치 인식 가설들의 N-최상위 목록의 각 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수의 평균에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 포함한다.

일부 구현예에서, 스피치 인식 모델은 인코더 네트워크 및 디코더를 포함하는 트랜스듀서 기반 스피치 인식 모델을 포함한다. 여기서, 디코더는 예측 네트워크 및 조인트 네트워크를 포함한다. 일부 예에서, 상기 제2 트레이닝 단계 동안 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작은 제1 트레이닝 단계에 의해 초기화된 인코더 네트워크의 임의의 파라미터를 파인튜닝하지 않고 제1 트레이닝 단계에 의해 초기화된 디코더의 파라미터를 파인튜닝하는 동작을 포함한다.

본 개시의 다른 양태는 데이터 프로세싱 하드웨어 및 상기 데이터 프로세싱 하드웨어와 통신하고 명령어를 저장하는 메모리 하드웨어를 포함하며 상기 명령어는 상기 데이터 프로세싱 하드웨어에서 실행될 때 상기 데이터 프로세싱 하드웨어로 하여금 동작들을 수행하게 하는 시스템을 제공한다. 동작들은 트레이닝 샘플들의 세트를 획득하는 동작을 포함한다. 트레이닝 샘플들의 세트의 각각의 트레이닝 샘플은 원시 스피치 세그먼트들의 대응 시퀀스 및 원시 스피치 세그먼트들의 시퀀스에 대한 실측 전사들의 대응 시퀀스를 포함한다. 실측 전사들의 대응 시퀀스의 각 실측 전사는 대응하는 원시 스피치 세그먼트의 시작 시간과 종료 시간을 포함한다. 상기 동작들은 연속적인 원시 스피치 세그먼트들의 각각의 연결된 그룹에 대한 각각의 긴 트레이닝 발화를 형성하기 위해 원시 스피치 세그먼트들의 시퀀스로부터 연속적인 원시 스피치 세그먼트들의 2개 이상의 그룹을 연결하는 동작을 포함한다. 상기 동작들은 제1 트레이닝 단계 동안, 각각의 긴 트레이닝 발화에 대해: 각각의 긴 트레이닝 발화에 대한 스피치 인식 가설을 예측하기 위해 스피치 인식 모델을 사용하여, 연속적인 원시 스피치 세그먼트들의 연결된 그룹을 프로세싱하는 동작; 및 각각의 긴 트레이닝 발화에 대한 예측된 스피치 인식 가설과 실측 전사들의 대응하는 그룹(405G)에 기초한 로그 손실을 사용하여 스피치 인식 모델을 트레이닝하는 동작을 포함한다.

본 개시의 구현예는 다음 구성들 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 상기 동작들은 제2 트레이닝 단계 동안, 트레이닝 샘플들의 세트의 트레이닝 샘플 각각에 대해: 제1 트레이닝 단계에 의해 초기화된 스피치 인식 모델을 사용하여, 하나 이상의 스피치 인식 가설을 획득하기 위해 원시 스피치 세그먼트들의 대응 시퀀스를 프로세싱하는 동작; 각각의 스피치 인식 가설에 대해, 실측 전사들의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작; 및 각각의 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 더 포함한다.

일부 예에서, 하나 이상의 스피치 인식 가설들을 획득하기 위해 원시 스피치 세그먼트들의 시퀀스를 프로세싱하는 동작은 스피치 인식 가설들의 N-최상위 목록을 획득하기 위해 원시 스피치 세그먼트들의 시퀀스를 프로세싱하는 동작을 포함하고; 그리고 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작은 스피치 인식 가설들의 N-최상위 목록의 각 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수의 평균에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 포함한다.

일부 구현예에서, 스피치 인식 모델은 인코더 네트워크 및 디코더를 포함하는 트랜스듀서 기반 스피치 인식 모델을 포함한다. 추가로, 디코더는 예측 네트워크 및 조인트 네트워크를 포함할 수 있다. 일부 예에서, 상기 제2 트레이닝 단계 동안 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작은 제1 트레이닝 단계에 의해 초기화된 인코더 네트워크의 임의의 파라미터를 파인튜닝하지 않고 제1 트레이닝 단계에 의해 초기화된 디코더의 파라미터를 파인튜닝하는 동작을 포함한다.

본 개시의 하나 이상의 구현예의 세부 내용이 첨부 도면과 아래의 설명에서 기술된다. 다른 양태, 구성, 객체 및 이점은 아래의 설명, 도면 및 청구항으로부터 명백해질 것이다.

도 1은 스피치를 전사하기 위해 순환 신경 네트워크 트랜스듀서(RNN-T) 모델을 사용하는 예시적 스피치 환경의 개략도이다.
도 2는 예시적 RNN-T 모델 아키텍처의 개략도이다.
도 3은 도 2의 RNN-T 모델 아키텍처의 예시적 연결 및 감소된 예측 네트워크의 개략도이다.
도 4는 예시적 장문 트레이닝 발화를 도시한다.
도 5는 장문 트레이닝 발화를 사용하여 스피치 인식 모델을 트레이닝하기 위한 예시적 트레이닝 프로세스의 개략도이다.
도 6은 장문 트레이닝 발화를 사용하여 스피치 인식 모델을 트레이닝하기 위한 예시적 2단계 프로세스 모듈의 개략도이다.
도 7은 장문 트레이닝 발화를 사용하여 스피치 인식 모델을 트레이닝하는 컴퓨터로 구현되는 방법에 대한 예시적 동작 구성의 흐름도이다.
도 8는 장문 스피치 인식에 대한 스피치 인식 모델을 트레이닝하는 컴퓨터로 구현되는 방법에 대한 예시적 동작 구성의 흐름도이다.
도 9는 본 명세서에 기술된 시스템 및 방법을 구현하는데 사용될 수 있는 예시적 컴퓨팅 디바이스의 개략도이다.
다양한 도면들에서 기호들은 동일한 엘리먼트를 표시한다.

전화 애플리케이션, 음성 활성화 디지털 어시스턴트 및 대화 시스템과 같은 많은 음성 인터렉션 애플리케이션은 자동 스피치 인식(ASR) 시스템을 사용한다. 전화 스피치에 대한 ASR은 의료 대화 및 콜센터와 같은 많은 실제 적용에서 중요한 문제이다. 그러나 이러한 적용 및 사용을 위해, ASR 시스템은 장문 발화를 정확하게 인식해야 한다. 장문 발화는 예를 들어 수십 초 길이의 발화, 다수의 스피치 세그먼트를 포함하는 발화 등을 포함한다. 장문 스피치 인식은 긴 대화적인 특성, 오디오 데이터의 비-스피치 신호의 존재 및 노이즈 채널로 인해 여전히 어려운 ASR 작업으로 남아 있다. 기존 ASR 시스템은 짧은 발화를 나타내는 트레이닝 데이터를 사용하여 트레이닝되기 때문에 전화 대화 오디오와 같은 장문 형식의 작업에서는 제대로 작동하지 않는다. 기존 ASR 시스템은 많은 대규모 벤치마크에서 최첨단 성능을 달성했지만 이러한 벤치마크와 연관된 데이터 세트는 종종 좋은 음향 조건과 높은 스피치 품질을 갖는 짧은 발화를 나타낸다. 따라서, 기존 ASR 시스템이 전화 통화와 같은 장문 작업에 대해 ASR을 수행할 때, 장문 및 잡음이 있는 음향 조건은 ASR 모델의 일반화 기능과 강건성에 큰 문제가 될 수 있다.

본 명세서에 개시된 구현예는 장문 트레이닝 발화를 포함하는 트레이닝 데이터에 대한 ASR 모델 트레이닝에 관한 것이다. 본 명세서에 개시된 바와 같이 트레이닝된 ASR 모델은 추론 동안 수신되는 장문 스피치를 먼저 짧은 세그먼트로 분할할 필요 없이 장문 스피치를 전사할 수 있다. 장문 스피치를 세그먼트화하면 유용한 컨텍스트 정보가 손실될 수 있으며 불완전한 세그먼트화로 인해 전사 오류가 발생할 수 있다. 특별하게 처리하면 세그먼트화와 연관된 문제를 줄일 수 있지만, 특별하게 처리하면 ASR 모델의 복잡성과 대기시간이 늘어나는 것이 바람직하지 않다. 본 명세서에 개시된 바와 같이 트레이닝된 ASR 모델은 ASR 시스템의 복잡성을 증가시키거나 추가 레이턴시를 도입하지 않고도 추론 중에 장문 발화에 존재하는 컨텍스트 정보를 활용하고 세그먼트화의 필요성을 제거할 수 있다. 예시적 트레이닝 샘플들은 대응하는 실측 전사와 페어링된 전화 통화의 긴 오디오 녹음에서 가져온 장문 발화를 포함한다. 일부 예에서, 장문 트레이닝 발화는 오디오 녹음의 각각의 서로 다른 세그먼트를 나타내는 오디오 녹음의 연속적인 원시 전사 스피치 세그먼트들의 다양한 조합을 포함한다. 일부 예에서, 스피치 세그먼트들 사이의 비-스피치 세그먼트는 트레이닝 샘플들에 유지된다.

본 명세서에 개시된 구현예는 스피치 인식 모델이 장문 스피치를 인식하는 방법을 학습하도록 가르치기 위해 트레이닝 샘플들의 세트에 대해 스피치 인식 모델을 트레이닝하는 방법에 관한 것이다. 상기 트레이닝 샘플들의 세트의 각 트레이닝 샘플은 트레이닝 발화에 대응하는 스피치 세그먼트들의 대응 시퀀스 및 스피치 세그먼트들의 시퀀스에 대한 실측 전사들의 대응 시퀀스를 포함하며, 실측 전사들의 대응 시퀀스의 각 실측 전사는 대응하는 스피치 세그먼트의 시작 시간 및 종료 시간을 포함한다. 상기 트레이닝 샘플들의 세트의 각 트레이닝 샘플에 대해, 상기 방법은 트레이닝 발화에 대한 하나 이상의 스피치 인식 가설들을 획득하기 위해 상기 스피치 인식 모델을 사용하여 스피치 세그먼트들의 대응 시퀀스를 프로세싱하는 동작 및 상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해, 실측 전사들의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작을 포함한다. 상기 방법은 상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델을 트레이닝하는 동작을 더 포함한다.

도 1은 예시적 스피치 환경(100)의 개략도이다. 음성 환경(100)에서, 사용자 디바이스(10)와 같은 컴퓨팅 디바이스와 인터렉션하는 사용자(104)의 방식은 음성 입력일 수 있다. 사용자 디바이스(10)(일반적으로 디바이스(10)라고도 함)는 스피치 환경(100) 내의 하나 이상의 사용자(104)로부터 사운드(예를 들어, 스트리밍 오디오 데이터)를 캡처하도록 구성된다. 여기서, 스트리밍 오디오 데이터는 가청 쿼리, 디바이스(10)에 대한 명령, 또는 디바이스(10)에 의해 캡처된 가청 통신으로서 기능하는 사용자(104)에 의한 음성 발화(106)를 지칭할 수 있다. 디바이스(10)의 음성 지원 시스템은 쿼리에 응답하고 및/또는 명령이 하나 이상의 다운스트림 애플리케이션에 의해 수행/이행되게 함으로써 쿼리 또는 명령을 필드에 넣을 수 있다.

사용자 디바이스(10)는 사용자(104)와 연관되고 오디오 데이터를 수신할 수 있는 임의의 컴퓨팅 디바이스에 대응할 수 있다. 사용자 디바이스(10)의 일부 예는 모바일 디바이스(예를 들어, 모바일폰, 태블릿, 랩톱 등), 컴퓨터, 웨어러블 디바이스(예를 들어, 스마트 워치), 스마트 기기, 사물 인터넷(IoT), 차량 정보 시스템, 스마트 디스플레이를 포함하지만 이에 한정되지 않는다. 사용자 디바이스(10)는 데이터 프로세싱 하드웨어(12) 및 상기 데이터 프로세싱 하드웨어(12)와 통신하고 명령어를 저장하는 메모리 하드웨어(14)를 포함하며, 상기 명령어는 상기 데이터 프로세싱 하드웨어(12)에 의해 실행될 때 상기 데이터 프로세싱 하드웨어(12)로 , 하여금 하나 이상의 동작들을 수행하게 한다. 사용자 디바이스(10)는 스피치 환경(100) 내의 음성 발화(106)를 캡처하고 전기 신호로 변환하기 위한 오디오 캡처 디바이스(예를 들어, 마이크)(16, 16a) 및 가청 오디오 신호(예를 들어, 디바이스(10)로부터의 출력 오디오 데이터로서)를 통신하기 위한 음성 출력 디바이스(예를 들어, 스피커)(16, 16b)를 갖는 오디오 시스템(16)을 더 포함한다. 도시된 예에서 사용자 디바이스(10)가 단일 오디오 캡처 디바이스(16a)를 구현하는 동안, 사용자 디바이스(10)는 본 개시의 범위를 벗어나지 않고 오디오 캡처 디바이스(16a)의 어레이를 구현할 수 있으며, 이에 의해 어레이 내의 하나 이상의 캡처 디바이스(16a)는 사용자 디바이스(10)에 물리적으로 상주하지 않을 수 있지만 오디오 시스템(16)과 통신할 수 있다.

스피치 환경(100)에서, 자동 스피치 인식(ASR) 시스템(118)은 사용자(104)의 사용자 디바이스(102) 및/또는 사용자 디바이스(102)와 네트워크(40)를 통해 통신하는 원격 컴퓨팅 디바이스(70)(예를 들어, 클라우드 컴퓨팅 환경에서 실행되는 분산 시스템의 하나 이상의 원격 서버)에 상주하는 순환 신경 네트워크 트랜스듀서(RNN-T) 모델(200) 및 선택적 재점수화기(180)를 구현한다. 사용자 디바이스(70) 및/또는 원격 컴퓨팅 디바이스(60)는 사용자(106)가 말하고 오디오 캡처 디바이스(16a)가 캡처한 발화(106)를 수신하고, 상기 발화(12)를 ASR 시스템(118)에 의해 프로세싱될 수 있는 입력 음향 프레임들(110)과 연관된 대응하는 디지털 형식으로 변환하도록 구성된 오디오 서브시스템(108)을 포함한다. 도시된 예에서, 사용자는 각각의 발화(106)를 말하고, 오디오 서브시스템(108)은 ASR 시스템(118)에 입력하기 위해 발화(106)를 대응하는 오디오 데이터(예를 들어, 음향 프레임들)(110)로 변환한다. 그 후, RNN 모델(200)은 발화(106)에 대응하는 오디오 데이터(110)를 입력으로 수신하고, 발화(106)의 대응하는 전사(120)(예를 들어, 인식 결과/가설)를 출력으로서 생성/예측한다. 도시된 예에서, RNN-T 모델(200)은 초기 스피치 인식 결과(120, 120a)를 생성하기 위해 스트리밍 스피치 인식을 수행할 수 있고, 재점수화기(180)는 최종 스피치 인식 결과(120, 120b)를 생성하기 위해 초기 스피치 인식 결과(120a)를 업데이트(즉, 재점수화)할 수 있다. 서버(70)는 데이터 프로세싱 하드웨어(72)와 상기 데이터 프로세싱 하드웨어(72)와 통신하는 메모리 하드웨어(74)를 포함한다. 메모리 하드웨어(74)는 데이터 프로세싱 하드웨어(72)에서 실행될 때 상기 데이터 프로세싱 하드웨어(72)로 하여금 본 명세서에 개시된 것과 같은 하나 이상의 동작들을 수행하게 하는 명령어들을 저장한다.

사용자 디바이스(10) 및/또는 원격 컴퓨팅 디바이스(70)는 또한 사용자 디바이스(10)의 사용자(104)에게 발화(106)에 대한 전사(120)의 표현을 제시하도록 구성된 사용자 인터페이스 생성기(107)를 실행한다. 아래에서 더 자세히 설명되는 바와 같이, 사용자 인터페이스 생성기(107)는 시간 1 동안 스트리밍 방식으로 초기 스피치 인식 결과(120a)를 디스플레이하고 이어서 시간 2 동안 최종 스피치 인식 결과(120b)를 디스플레이할 수 있다. 일부 구성에서, ASR 시스템(118)으로부터 출력된 전사(120)는 예를 들어 발화(106)에 의해 특정된 사용자 명령/쿼리를 실행하기 위해 사용자 디바이스(10) 또는 원격 컴퓨팅 디바이스(70) 상에서 실행되는 자연어 프로세싱/이해(NLP/NLU) 모듈에 의해 프로세싱된다. 추가적으로 또는 대안적으로, 텍스트-투-스피치 시스템(미도시)(예를 들어, 사용자 디바이스(10) 또는 원격 컴퓨팅 디바이스(70)의 임의의 조합에서 실행)은 상기 전사를 사용자 디바이스(10) 및/또는 다른 디바이스에 의한 가청 출력을 위한 합성 스피치로 변환할 수 있다.

도시된 예에서, 사용자(104)는 ASR 시스템(118)을 사용하는 사용자 디바이스(10)의 프로그램 또는 애플리케이션(50)(예를 들어, 디지털 어시스턴트 애플리케이션(50)과 인터렉션한다. 예를 들어, 도 1은 사용자(104)가 디지털 어시스턴트 애플리케이션(50)과 통신하는 것을 도시하며, 디지털 어시스턴트 애플리케이션(50)은 사용자(10)와 디지털 어시스턴트 애플리케이션(50) 사이의 대화를 묘사하기 위해 사용자 디바이스(10)의 화면 상에 디지털 어시스턴트 인터페이스(18)를 디스플레이한다. 이 예에서, 사용자(104)는 디지털 어시스턴트 애플리케이션(50)에게 "오늘 밤 콘서트가 몇 시야?"라고 묻는다. 사용자(104)로부터의 이 질문은 오디오 캡처 디바이스(16a)에 의해 캡처되고 사용자 디바이스(10)의 오디오 시스템(16)에 의해 프로세싱되는 음성 발화(106)이다. 이 예에서, 오디오 시스템(16)은 음성 발화(106)를 수신하고 이를 ASR 시스템(118)에 대한 입력을 위해 음향 프레임들(110)로 변환한다.

예시를 계속하면, RNN-T 모델(200)은 사용자(104)가 말할 때 발화(106)에 대응하는 음향 프레임들(110)을 수신하는 동안 음향 프레임들(110)을 인코딩하고, 그런 다음 인코딩 음향 프레임들(110)을 초기 스피치 인식 결과(120a)로 디코딩한다. 시간 1 동안, 사용자 인터페이스 생성기(107)는 디지털 어시스턴트 인터페이스(18)를 통해, 발화(106)의 초기 스피치 인식 결과(120a)의 표현을 사용자 디바이스(10)의 사용자(104)에게 단어, 단어 조각 및/또는 및/또는 개별 문자가 말하자마자 화면에 나타나는 스트리밍 방식으로 제시한다. 일부 예에서, 제1 미리보기 오디오 컨텍스트는 0과 같다.

시간 2 동안, 사용자 인터페이스 생성기(107)는 디지털 어시스턴트 인터페이스(18)를 통해 재점수화기(180)에 의해 재점수화된 발화(106)의 최종 스피치 인식 결과(120b)의 표현을 사용자 디바이스(10)의 사용자(104)에게 제시한다. 일부 구현예에서, 사용자 인터페이스 생성기(107)는 시간 1에 제시된 초기 스피치 인식 결과(120a)의 표현을 시간 2에 제시된 최종 스피치 인식 결과(120b)의 표현으로 대체한다. 여기서, 시간 1과 시간 2는 사용자 인터페이스 생성기(107)가 각각의 스피치 인식 결과(120)를 제시하는 시점에 대응하는 타임스탬프를 포함할 수 있다. 이 예에서, 시간 1의 타임스탬프는 사용자 인터페이스 생성기(107)가 최종 스피치 인식 결과(120b)보다 더 빠른 시간에 초기 스피치 인식 결과(120a)를 제시한다는 것을 나타낸다. 예를 들어, 최종 스피치 인식 결과(120b)가 초기 스피치 인식 결과(120a)보다 더 정확한 것으로 추정되므로, 사용자 인터페이스 생성기(107)는 초기 스피치 인식 결과(120a)에서 잘못 인식되었을 수 있는 임의의 용어를 수정하기 위해 궁극적으로 최종 스피치 인식 결과(120b)를 전사(120)로서 디스플레이할 것이다. 이 예에서, RNN-T 모델(200)에 의해 출력된 스트리밍 초기 스피치 인식 결과(120a)는 시간 1에 사용자 디스플레이(10)의 화면에 디스플레이되며 낮은 지연 시간과 연관되어 사용자(104)에게 자신의 쿼리가 프로세싱되고 있다는 응답성을 사용자(104)에게 제공하며, 재점수화기(180)에 의해 출력되어 시간 2에 화면에 디스플레이되는 최종 스피치 인식 결과(120b)는 추가적인 스피치 인식 모델 및/또는 언어 모델을 활용하여 스피치 인식 품질을 정확성 측면에서 향상시키지만 레이턴시가 증가한다. 그러나, 사용자가 발화(106)를 할 때 초기 스피치 인식 결과(120a)가 디스플레이되기 때문에, 최종 인식 결과를 생성하고 궁극적으로 디스플레이하는 것과 연관된 더 높은 레이턴시는 사용자(104)에게 덜 눈에 띈다.

도 1에 도시된 예에서, 디지털 어시스턴트 애플리케이션(50)은 사용자(104)가 제기한 질문에 자연어 프로세싱을 사용하여 응답할 수 있다. 자연어 프로세싱은 일반적으로 기록된 언어(예를 들어, 초기 스피치 인식 결과(120a) 및/또는 최종 스피치 인식 결과(120b))를 해석하고 기록된 언어가 어떤 액션을 촉구하는지 여부를 결정하는 프로세스를 의미한다. 이 예에서, 디지털 어시스턴트 애플리케이션(50)은 NLP/NLU를 사용하여 사용자(104)로부터의 질문이 사용자의 일정, 보다 구체적으로 사용자의 일정에 따른 콘서트에 관한 것임을 인식한다. 자동화된 어시스턴트는 NLP/NLU로 이러한 세부 정보를 인식하여 "공연장 문은 오후 7시 30분에 열고, 콘서트는 오후 9시에 시작한다"라는 응답(19)을 포함된 사용자 쿼리에 대한 응답을 반환한다. 일부 구성에서, NLP/NLU는 사용자 디바이스(10)의 데이터 프로세싱 하드웨어(12)와 통신하는 원격 서버(70)에서 발생할 수 있다.

도 2는 추론 동안 장문 발화에 대한 스피치 인식을 개선하기 위해 장문 트레이닝 발화를 사용하여 트레이닝된 예시적 순환 신경 네트워크-트랜스듀서 모델(200)(즉, RNN-T 모델(200))의 개략도이다. RNN-T 모델(200)은 작은 계산 공간을 제공하고 기존의 ASR 아키텍처보다 적은 메모리 요구사항을 활용하여, RNN-T 모델(200)을 사용자 디바이스(10)에서 완전히 스피치 인식을 수행하는데 적합하게 한다(예를 들어, 원격 서버와의 통신이 필요하지 않다).

도시된 바와 같이, RNN-T 모델(200)은 인코더 네트워크(210), 예측 네트워크(220) 및 조인트 네트워크(230)를 포함한다. 예측 및 조인트 네트워크(300, 220)는 RNN-T 디코더를 집합적으로 제공할 수 있다. 종래의 ASR 시스템의 음향 모델(AM)과 대략 유사 인코더 네트워크(210)는 적층된 LSTM(Long Short-Term Memory) 레이어(216)의 순환 네트워크를 포함한다. 예를 들어, 인코더는 d-차원 피처 벡터의 시퀀스(예를 들어, 음향 프레임(110)(도 1)) x = (x ₁ , x ₂ , ..., x _T )를 판독하고, 여기서 x _t ∈ R_d이고 각 시간 단계에서 고차 피처 표현(212)을 생성한다. 이 고차 피처 표현(212)은 로 표시될 수 있다.

유사하게, 예측 네트워크(300)는 또한 언어 모델(LM)과 유사하고, 지금까지 최종 소프트맥스 레이어(230)에 의해 출력된 비-공백 심볼(232)의 시퀀스, y ₀ , ... y _ui-1 를 조밀한 또는 히든 표현 (350)로 프로세싱하는 LSTM 네트워크이다. 아래에서 더 자세히 설명하면, 표현 (350)는 단일 임베딩 벡터를 포함한다. 특히, 예측 네트워크(300)에서 수신된 비-공백 기호(232)의 시퀀스는 현재 시간 단계 동안 다음 출력 기호 또는 공백 심볼의 확률을 예측하는데 있어 조인트 네트워크(220)를 지원하기 위해 지금까지 이전 시간 단계 동안 예측된 비-공백 심볼들(232) 사이의 언어적 종속성을 캡처한다. 아래에 더 자세히 설명되는 바와 같이, RNN-T 모델(200)의 정확도/성능을 희생하지 않고 예측 네트워크(300)의 크기를 줄이는 기법에 기여하기 위해, 예측 네트워크(300)는 최종 소프트맥스 레이어(230)에 의해 출력된 N개의 비-공백 심볼emf(232)로 제한된 비-공백 심볼들(232)의 제한된 히스토리 시퀀스 y _ui-n , ..., y _ui-1 을 수신할 수 있다.

조인트 네트워크(300)는 인코더 네트워크(210)에 의해 생성된 고차 피처 표현 (212)와 예측 네트워크(300)에 의해 생성된 표현 (350)(즉, 단일 임베딩 벡터(350))를 결합한다. 조인트 네트워크(220)는 다음 출력 심볼에 대한 분포인 (222)를 예측한다. 달리 말하면, 조인트 네트워크(220)는 각각의 시간 단계에서 가능한 스피치 인식 가설에 대한 확률 분포(222)를 생성한다. 여기서, "가능한 스피치 인식 가설"은 지정된 자연어에서 기호/문자를 각각 나타내는 출력 레이블의 세트에 대응한다. 예를 들어, 자연어가 영어인 경우, 출력 레이블의 세트는 27개의 기호, 예를 들어 영어 알파벳의 26자 각각에 대한 하나의 레이블과 공백을 지정하는 하나의 레이블을 포함할 수 있다. 따라서, 조인트 네트워크(220)는 미리 결정된 출력 레이블 세트 각각의 발생 가능성을 나타내는 값 세트를 출력할 수 있다. 이 값 세트는 벡터가 될 수 있으며, 출력 레이블 세트에 대한 확률 분포를 나타낼 수 있다. 일부 경우에, 출력 레이블이 자소(예: 개별 문자, 잠재적으로 구두점 및 기타 기호)이지만, 출력 레이블 세트는 그렇게 제한되지 않다. 예를 들어, 출력 레이블 세트는 자소에 추가로 또는 대신에 단어 조각 및/또는 전체 단어를 포함할 수 있다. 조인트 네트워크(220)의 출력 분포는 상이한 출력 레이블들 각각에 대한 사후 확률 값을 포함할 수 있다. 따라서, 상이한 자소 또는 다른 기호를 나타내는 100개의 상이한 출력 레이블이 있는 경우, 조인트 네트워크(220)의 출력 (232)는 각 출력 레이블에 대해 하나씩 100개의 상이한 확률 값을 포함할 수 있다. 그 다음, 확률 분포는 전사(120)를 결정하기 위한 빔 검색 프로세스(예를 들어, 소프트맥스 레이어(230)에 의해)에서 후보 정법 엘리먼트(예를 들어, 자소, 단어 조각 및/또는 단어)에 점수를 선택하고 할당하는데 사용될 수 있다.

최종 소프트맥스 레이어(230)는 최종 스피치 인식 결과(120b)에 대한 확률 분포 (232)를 수신하고 가장 높은 확률을 갖는 출력 라벨/심볼을 선택하여 전사를 생성한다. 최종 소프트맥스 레이어(230)는 분포 (232)에서 가장 높은 확률을 갖는 출력 라벨/심볼을 선택하기 위해 임의의 기법을 사용할 수 있다. 이와 같이, RNN-T 모델(200)은 조건부 독립 가정을 하지 않고, 각 심볼(232)의 예측은 음향뿐만 아니라 지금까지 출력된 레이블들(232)의 시퀀스 y _ui-n , ..., y _ui-1 에 따라 조절된다. RNN-T 모델(200)은 출력 심볼(232)이 미래의 음향 프레임(110)과 독립적이라고 가정하며, 이는 RNN-T 모델이 스트리밍 방식으로 사용될 수 있게 한다.

RNN-T 모델(200)이 스트리밍 방식으로 초기 스피치 인식 결과(120a)를 결정하고, 초기 스피치 인식 결과(120a)로부터 사전 비-공백 심볼들을 사용하여 최종 스피치 인식 결과(120b)를 결정하므로, 최종 스피치 인식 결과(120b)는 초기 스피치 인식 결과(120a)보다 정확할 것으로 추정된다. 즉, 최종 스피치 인식 결과(120b)는 이전의 비-공백 심볼들을 고려하고, 따라서 초기 스피치 인식 결과(120a)는 임의의 이전의 비-공백 심볼들을 고려하지 않으므로 더 정확하다고 추정된다. 또한, 재점수화기(180)(도 1)는 초기 스피치 인식 결과(120a)를 최종 스피치 인식 결과(120b)로 업데이트하여 사용자 인터페이스 생성기(170)를 통해 사용자(104)에게 전사를 제공할 수 있다.

일부 예에서, RNN-T 모델(200)의 인코더 네트워크(210)는 8개의 2,048-차원 LSTM 레이어들을 포함하고, 그 각각은 740-차원 투영 레이어가 뒤따른다. 다른 구현예에서, 인코더 네트워크(210)는 복수의 멀티 헤드 어텐션 레이어들을 포함한다. 예를 들어, 복수의 멀티 헤드 어텐션 레이어들은 컨포머 레이어 또는 트랜스포머 레이어들의 네트워크를 포함할 수 있다. 예측 네트워크(220)는 2개의 2,048-차원 LSTM 레이어들을 가질 수 있고, 이들 각각은 또한 740-차원 투영 레이어뿐만 아니라 128 유닛의 임베딩 레이어가 뒤따른다. 마지막으로, 조인트 네트워크(220)는 또한 740개의 히든 유닛을 가질 수 있다. 소프트맥스 레이어(230)는 트레이닝 데이터에서 모든 고유한 단어 조각 또는 자소를 사용하여 생성되는 통합된 단어 조각 또는 자소 세트로 구성될 수 있다. 출력 심볼/라벨이 단어 조각을 포함하는 경우, 출력 심볼/라벨 세트는 4,096개의 서로 다른 단어 조각을 포함할 수 있다. 출력 심볼/라벨이 자소를 포함하는 경우, 출력 심볼/라벨 세트는 100개 미만의 서로 다른 자소를 포함할 수 있다.

도 3은 RNN-T 모델(200)에 대한 예시적 예측 네트워크(300)의 개략도이다. 예측 네트워크(300)는 최종 소프트맥스 레이어(230)에 의해 출력된 N개의 이전 비-공백 심볼(232a- n)로 제한된 비-공백 심볼(232a-n)의 시퀀스 y _ui-n , ..., y _ui-1 을 입력으로 수신한다. 일부 예에서, N은 2이다. 다른 예에서, N은 5이지만, 본 개시는 비제한적이며 N은 임의의 정수일 수 있다. 비-공백 심볼(232a-n)의 시퀀스는 초기 스피치 인식 결과(120a)(도 1)를 나타낸다. 일부 구현예에서, 예측 네트워크(300)는 멀티 헤드 어텐션 메커니즘의 각 헤드(302A-302H)에 걸쳐 공유 임베딩 행렬(304)을 공유하는 멀티 헤드 어텐션 메커니즘(302)을 포함한다. 일 예시에서, 멀티 헤드 어텐션 메커니즘(302)은 4개의 헤드를 포함한다. 그러나, 멀티 헤드 어텐션 메커니즘(302)에 의해 임의의 개수의 헤드가 채용될 수 있다. 특히, 멀티 헤드 어텐션 메커니즘은 모델 크기를 최소한으로 늘리면서 성능을 크게 향상시킨다. 아래에서 더 자세히 설명되는 것처럼, 각 헤드(302A-H)는 자신의 포지션 벡터(308) 행을 포함하고, 모든 헤드로부터의 출력(318A-H)을 연결하여 모델 크기의 증가를 초래하는 대신, 출력(318A-H)은 헤드 평균 모듈(322)에 의해 평균화된다.

멀티 헤드 어텐션 메커니즘(302)의 제1 헤드(302A)를 참조하면, 헤드(302A)는 공유 임베딩 행렬(304)을 사용하여, 복수의 시간 단계들 중 대응하는 시간 단계에서 입력으로 수신된 비-공백 심볼(232a-n)의 시퀀스 y _ui-n , ..., y _ui-1 중 각 비-공백 심볼에 대해 대응하는 임베딩(306, 306a-n)(예를 들어, )을 생성한다. 특히, 공유 임베딩 행렬(304)이 멀티 헤드 어텐션 메커니즘(302)의 모든 헤드에 걸쳐 공유되기 때문에, 다른 헤드(302B-H)는 모두 각각의 비-공백 심볼에 대해 동일한 대응 임베딩(306)을 생성한다. 헤드(302A)는 또한 각각의 포지션 벡터 PV_Aa-An(308, 308Aa-An)(예를 들어, )을 비-공백 심볼(232a-n)의 시퀀스 y _ui-n , ..., y _ui-1 에서 대응하는 비-공백 심볼 각각에 할당한다. 각각의 비-공백 심볼에 할당된 각각의 포지션 벡터 PV(308)는 비-공백 심볼의 시퀀스(예를 들어, 최종 소프트맥스 레이어(230)에 의해 출력된 이전의 N개의 비-공백 심볼(232a-n))의 히스토리 내 포지션을 나타낸다. 예를 들어, 제1 포지션 벡터 PV_Aa는 히스토리의 가장 최근 포지션에 할당되는 반면, 마지막 포지션 벡터 PV_An은 최종 소프트맥스 레이어(230)에 의해 출력된 N개의 이전 비-공백 심볼의 히스토리의 마지막 포지션에 할당된다. 특히, 임베딩(306) 각각은 포지션 벡터 PV(308) 각각과 동일한 차원(즉, 차원 크기)을 포함할 수 있다.

비-공백 심볼(232a-n)의 시퀀스 y _ui-n , ..., y _ui-1 중 각 비-공백 심볼에 대한 공유 임베딩 행렬(304)에 의해 생성된 대응하는 임베딩이 멀티 헤드 어텐션 메커니즘(302)의 모든 헤드(302A ~ H)에서 동일하며, 각 헤드(302A ~ H)는 포지션 벡터(308)의 서로 다른 세트/행을 정의한다. 예를 들어, 제1 헤드(302A)는 포지션 벡터 PV_Aa-An(308_{Aa - An})의 행을 정의하고, 제2 헤드(302B)는 포지션 벡터 PV_Ba-Bn (308_{Ba - Bn})의 다른 행을 정의하고,... H번째 헤드(302H)는 포지션 벡터 PV_Ha-Hn (308_Ha-Hn)의 다른 행을 정의한다.

수신된 비-공백 심볼의 시퀀스(232a-n)의 비-공백 심볼 각각에 대해, 제1 헤드(302A)는 또한 가중치 레이어(310)을 통해 대응하는 임베딩과 그에 할당된 해당 포지션 벡터 PV(308) 사이의 유사성에 비례하여 대응하는 임베딩(306)에 가중치를 부여한다. 일부 예에서, 유사성은 코사인 유사성(예를 들어, 코사인 거리)을 포함한다. 도시된 예에서, 가중치 레이어(310)는 할당된 각각의 포지션 벡터 PV(308)에 비례하여 가중된 대응하는 임베딩(306)과 각각 연관된 가중 임베딩(312, 312Aa-An)의 시퀀스를 출력한다. 다르게 말하면, 각각의 임베딩(306)에 대해 가중치 레이어(310)에 의해 출력되는 가중 임베딩(312)은 임베딩(306)과 각각의 포지션 벡터 PV(308) 사이의 내적에 대응할 수 있다. 가중 임베딩(312)은 임베딩이 각각의 포지션 벡터 PV(308)와 연관된 포지션에 얼마나 유사한지에 비례하여 임베딩에 관여하는 것으로 해석될 수 있다. 계산 속도를 높이기 위해 예측 네트워크(300)는 비순환 레이어를 포함하므로 가중 임베딩 시퀀스(312Aa-An)는 연결되지 않고 대신 가중 평균 모듈(316)에 의해 평균화되어 제1 헤드(302A)의 출력으로 다음과 같이 표현되는 가중 임베딩(312Aa-An)의 가중 평균(318A)을 생성한다:

식(1)에서, h는 헤드(302)의 인덱스를 나타내고, n은 컨텍스트에서의 포지션을 나타내고, e는 임베딩 차원을 나타낸다. 추가적으로, 식(1)에서 H, N, d_e는 대응하는 차원의 크기를 포함한다. 포지션 벡터 PV(308)는 트레이닝 가능할 필요는 없으며 임의의 값을 포함할 수 있다. 특히, 가중 임베딩(312)이 평균화되더라도, 포지션 벡터 PV(308)는 잠재적으로 포지션 히스토리 정보를 저장할 수 있어, 예측 네트워크(300)의 각 레이어에서 반복 연결을 제공할 필요성을 완화할 수 있다.

제1 헤드(302A)에 관해 위에서 설명한 동작은 멀티 헤드 어텐션 메커니즘(302)의 서로의 헤드(302B-H)에 의해 유사하게 수행된다. 각 헤드(302)에 의해 정의된 포지션닝된 벡터 PV(308)의 서로 다른 세트로 인해, 가중치 레이어(310)는 제1 헤드(302A)에서 가중 임베딩 시퀀스(312Aa-Aa)와 다른 서로 다른 헤드(302B-H)에서 가중 임베딩 시퀀스(312Ba-Bn, 312Ha-Hn)를 출력한다. 그 후, 가중 평균 모듈(316)은 서로의 대응 헤드(302B-H)로부터의 출력으로서 비-공백 심볼들의 시퀀스의 대응하는 가중 임베딩(312)의 각각의 가중 평균(318B-H)을 생성한다.

도시된 예에서, 예측 네트워크(300)는 대응하는 헤드(302A-H)로부터 출력된 가중 평균(318A-H)을 평균화하는 헤드 평균 모듈(322)을 포함한다. SWISH를 갖는 투영 레이어(326)는 가중 평균(318A-H)의 평균에 대응하는 헤드 평균 모듈(322)로부터 출력(324)을 입력으로 수신하고, 출력으로 투영된 출력(328)을 생성할 수 있다. 최종 레이어 정규화(330)는 투영된 출력(328)을 정규화하여 복수의 시간 단계들 중 대응하는 시간 단계에서 단일 임베딩 벡터(350)를 제공할 수 있다. 예측 네트워크(300)는 초기 시간 단계 이후의 복수의 시간 단계들 각각에서 단일 임베딩 벡터(350)만을 생성한다.

일부 구성에서, 예측 네트워크(300)는 멀티 헤드 어텐션 메커니즘(302)을 구현하지 않고 제1 헤드(302A)에 대해 위에서 설명된 동작만 수행한다. 이러한 구성에서, 가중 임베딩(312Aa-An)의 가중 평균(318A)은 단순히 투영 레이어(326)와 레이어 정규화(330)를 통과하여 단일 임베딩 벡터(350)를 제공한다.

일부 구현예에서, RNN-T 디코더, 즉 예측 네트워크(300)와 조인트 레이어(220)의 크기를 더 줄이기 위해, 예측 네트워크(300)와 조인트 네트워크(220) 사이의 파라미터 연결이 적용된다. 특히 어휘 크기 |V| 및 임베딩 차원 d_e인 경우, 예측 네트워크의 공유 임베딩 행렬(304)은 이다. 한편, 마지막 히든 레이어는 조인트 네트워크(220)에 차원 크기 dh를 포함하고, 히든 레이어에서 출력 로짓까지의 피드포워드 투영 가중치는 이 되며, 어휘의 추가 공백 토큰이 있다. 따라서, 조인트 네트워크(220)의 마지막 레이어에 대응하는 피드포워드 레이어는 가중치 행렬 [d _h , |V]|를 포함한다. 예측 네트워크(300)가 임베딩 차원 d_e의 크기를 조인트 네트워크(220)의 마지막 히든 레이어의 차원 d_h와 연결하도록 함으로써, 조인트 네트워크(220)의 피드포워드 투영 가중치와 예측 네트워크(300)의 공유 임베딩 행렬(304)은 간단한 전치 변환을 통해 비-공백 모든 심볼에 대한 가중치를 공유할 수 있다. 2개의 행렬이 그 값을 모두 공유하기 때문에, RNN-T 디코더는 2개의 개별 행렬을 저장하는 대신 메모리에 값을 한 번만 저장하면 된다. 임베딩 차원 d_e의 크기를 히든 레이어 차원 dh의 크기와 동일하게 설정함으로써, RNN-T 디코더는 임베딩 차원 d_e와 어휘 크기 |V|의 곱과 동일한 파라미터 수를 감소시킨다. 이 가중치 묶기는 정규화 기법에 대응한다.

도 1을 다시 참조하면, 트레이닝 프로세스(500)는 트레이닝 샘플들의 세트(400, 400a-n)에 대해 RNN-T 모델(200)을 트레이닝한다. 일부 예에서, 트레이닝 샘플 생성기(150)는 대응하는 실측 전사(415)와 각각 페어링된 순차 스피치 세그먼트들(405)의 그룹을 연결함으로써 트레이닝 샘플들(400)을 생성한다. 각 트레이닝 샘플(400)은 스피치 세그먼트들 x(405)의 대응 시퀀스 및 실측 전사들(415)의 대응 시퀀스를 포함하는 트레이닝 발화에 대응한다. 각 스피치 세그먼트(405)는 오디오 캡처 디바이스에 의해 스트리밍 오디오에서 캡처된 스피치에 대응할 수 있고 스피치 세그먼트의 대응 전사와 함께 저장될 수 있다. 대응하는 트레이닝 샘플(400)을 형성하는 연결된 시퀀스의 모든 스피치 세그먼트가 동일한 오디오 캡처 디바이스에 의해 캡처되고 및/또는 동일한 화자에 의해 발화될 수 있지만, 본 개시는 이에 제한되지 않는다. 예를 들어, 대응하는 트레이닝 샘플(400)을 형성하는 연결된 시퀀스의 적어도 하나의 스피치 세그먼트는 트레이닝 샘플(400)의 다른 스피치 세그먼트들과는 다른 오디오 캡처 디바이스에 의해 캡처될 수 있고 및/또는 트레이닝 샘플(400)의 다른 스피치 세그먼트를 말한 화자(들)와는 다른 화자에 의해 발화될 수 있다.

일부 예에서, 트레이닝 샘플 생성기(150)는 RNN-T 모델(200)을 트레이닝하는데 사용되는 트레이닝 샘플들(400)의 스피치 세그먼트들(405)의 대응 시퀀스 간의 음향 다양성을 변경하도록 추가로 구성된다. 예를 들어, 트레이닝 샘플 생성기(150)는 노이즈 추가/주입, 반향 추가 또는 스피치 세그먼트들 x(405)의 타이밍 조작(예: 늘이기) 중 적어도 하나를 포함하는 데이터 증강 기법을 적용한다. 선택적으로 데이터 증강 기법은 시간 왜곡을 포함할 수 있다. 다른 데이터 증강 기법은 다양한 환경 노이즈를 스피치 세그먼트들 x(405)에 주입하기 위해 다중 스타일 트레이닝(MTR)을 사용하는 것을 포함한다.

도 4는 원시 스피치 세그먼트들 x(405a-c, 405d-e)의 대응 시퀀스를 각각 포함하는 예시적 트레이닝 샘플들(400, 400a-b)을 도시한다. 도시된 바와 같이, 인접한 원시 스피치 세그먼트들(405)은 비-스피치 세그먼트(425)에 의해 분리될 수 있다. 도시된 예는 3개의 스피치 세그먼트(405a-c)의 시퀀스를 포함하는 제1 트레이닝 샘플(400a)과 2개의 스피치 세그먼트(405d-e)의 시퀀스를 포함하는 제2 트레이닝 샘플(400b)을 도시하지만, 트레이닝 샘플들은 수십 개의 스피치 세그먼트들(405)을 포함할 수 있다. 각각의 원시 스피치 세그먼트(405)는 각각의 실측 전사 (415)와 연관된다. 따라서, 각 실측 전사 (415, 415a-e)는 대응하는 스피치 세그먼트(405)의 시작 시간(414) 및 종료 시간(416)을 포함한다. 일부 예에서, 스피치 세그먼트들(420)의 평균 지속시간은 적어도 6초이다. 트레이닝 샘플 생성기(150)는 각 트레이닝 샘플(400)을 형성하는 각각의 서로 다른 스피치의 세그먼트를 나타내는 연속적인 원시 스피치 세그먼트(405)의 다양한 조합을 병합, 연결 또는 다른 방식으로 결합함으로써 트레이닝 발화와 연관된 각 트레이닝 샘플(410)을 생성한다. 특히, 트레이닝 샘플 생성기(150)는 대응하는 트레이닝 발화를 형성하기 위해 얼마나 많은 원시 스피치 세그먼트들(405)이 함께 결합되는지(예를 들어, 1, 2, … , N) 선택함으로써 서로 다른 길이(예: 원시, 짧은, 중간의, 긴)의 트레이닝 발화들과 연관된 트레이닝 샘플들(400)을 생성할 수 있다. 하나의 스피치 세그먼트(405)는 하나 이상의 트레이닝 샘플들(400)에 포함될 수 있다. 일부 예에서, 트레이닝 샘플 생성기(150)는 스피치 세그먼트들(405)의 시작 및 종료 시간을 사용하여, 특정 길이의 대응하는 트레이닝 발화를 형성하기 위해 어떤 스피치 세그먼트(405)를 그리고 얼마나 많은 스피치 세그먼트(405)를 결합/연결할지 결정한다.

도 1을 다시 참조하면, 트레이닝 프로세스(500)는 스피치 인식 수행 작업에 대해 RNN-T 모델(200)을 트레이닝한다. 일부 예에서, 트레이닝 프로세스(500)는 로그 손실 메트릭 을 줄이기 위해 RNN-T 모델(200)을 트레이닝한다. 특정 트레이닝 샘플(400)에 대해, 예시적 로그 손실 메트릭/항은 스피치 세그먼트들(405)의 대응 시퀀스에 따라 조절된 실측 전사들 (415)의 대응 시퀀스에 대한 확률 (222)의 음의 로그이다. 이 로그 손실 메트릭 을 줄임으로써, 트레이닝 프로세스(500)는 RNN-T 모델(200)을 트레이닝하여 입력 음향 피처, 즉 스피치 세그먼트들(405)의 시퀀스에 따라 조절된 실측 전사들 (415)의 시퀀스에 대한 확률 (222)를 증가시킨다. 음의 로그 확률 은 다음과 같이 표현될 수 있다.

추가적으로 또는 대안적으로, 트레이닝 프로세스(500)는 최소 단어 오류율(MWER) 손실 을 감소시키기 위해 RNN-T 모델(200)을 트레이닝할 수 있다. MWER을 최소화할 때, 트레이닝 프로세스(500)는 RNN-T 모델(200)을 트레이닝하여 더 적은 단어 오류를 갖고 평균적으로 더 나쁜 하나 이상의 스피치 인식 가설 각각에 대한 각각의 확률/신뢰도를 감소시키는 트레이닝 발화에 대한 하나 이상의 스피치 인식 가설(522)(도 5 및 6)(예를 들어, N-최상위 가설 목록) 각각에 대한 각각의 확률/신뢰도를 높인다. 예를 들어, 트레이닝 프로세스(500)는 트레이닝 샘플(400)에 대해, 실측 전사들 (415)의 대응 시퀀스에 대해 트레이닝 샘플(400)의 스피치 세그먼트들(405)의 대응 시퀀스에 대해 RNN-T 모델에 의해 출력된 각 스피치 인식 가설(522) y에 대한 단어 오류 수 를 계산할 수 있다. 그런 다음 트레이닝 프로세스(500)는 단어 오류 수 의 평균 를 계산한다. 일부 예에서, 단어 오류 수 의 평균 를 계산할 때, 트레이닝 프로세스(500)는 RNN-T 모델(200)에 의해 출력된 확률 (222)에 기초하여 N-최상위 가설 목록의 가설만 고려한다. 따라서, 트레이닝 프로세스(500)는 단어 오류 수 가 평균 보다 작은 가설의 확률을 높이고, 단어 오류 수 가 평균 보다인 큰 가설의 확률을 줄이기 위해 MWER 손실을 최소화할 수 있다. MWER 손실을 사용함으로써, 트레이닝 프로세스(500)는 가설들 사이에서 차별적인 트레이닝을 수행한다. 대조적으로, 로그 손실 만을 사용하면, 트레이닝 프로세스(500)는 실측 전사들 (420)의 확률 (222)만 증가시킨다. 예시적 MWER 손실 L_mwer는 다음과 같이 표현될 수 있다.

(3)

여기서

(4)

는 재정규화된 확률이고,

(5)

는 식(5)에서 "Beam-N(x) " 로 표시되는 빔 검색의 N-최상위 가설에서 단어 오류의 평균 수 이다.

일부 구현예에서, 트레이닝 프로세스(500a)는 로그 손실 및 MWER 손실 둘 모두를 감소시키기 위해 RNN-T 모델(200)을 트레이닝한다. 예를 들어, 트레이닝 프로세스(500a)는 로그 손실 (537)과 MWER 손실 (535)의 조합인 손실 를 줄이기 위해 RNN-T 모델(200)을 트레이닝할 수 있다. 예시적 조합 손실 는 로그 손실 과 MWER 손실 를 보간한 것으로, 이는 다음과 같이 표현될 수 있다.

(6)

여기서 λ는 RNN-T 모델(200)의 트레이닝에 대한 로그 손실 및 MWER 손실 의 상대적인 기여를 제어하기 위해 트레이닝 프로세스(500)에 의해 선택된 파라미터이다. 로그 손실 및 MWER 손실 의 다른 조합이 사용될 수 있다.

MWER 손실 (535)에 기초한 트레이닝은 장문 발화에 대해 우수한 스피치 인식 성능을 제공하는 반면, MWER 손실 에 기초한 트레이닝은 계산 비용이 많이 들 수 있다. 더욱이, 로그 손실 을 사용하는 것과 비교하여 트레이닝 중에 MWER 손실 를 사용하는 이점은 트레이닝 발화(410)의 길이가 증가함에 따라 감소한다. 따라서, 대안적으로, 트레이닝 프로세스(500)는 도 6을 참조하여 아래에서 더 자세히 설명되는 바와 같이 2단계 트레이닝 프로세스를 사용하여 RNN-T 모델(200)을 트레이닝할 수 있다. 제1 트레이닝 단계에서, 트레이닝 프로세스(500)는 트레이닝 복잡성을 줄이기 위해 더 긴 장문 트레이닝 발화(410)에 대한 로그 손실 을 사용하여 RNN-T 모델(200)을 트레이닝한다. 제1 트레이닝 단계에서 가장 잘 수행되는 RNN-T 모델(200)로 시작하는 제2 트레이닝 단계에서, 트레이닝 프로세스(500)는 더 짧은 장문 트레이닝 발화(410)에 대해 MWER 손실 에 기초하여 RNN-T 모델(200)을 파인튜닝하여(예: 단일 스피치 세그먼트만을 포함하는 원시 발화(420))를 사용하여 단일 단계 트레이닝 프로세스에서 MWER 손실 에만 기초한 트레이닝과 동등한 WER을 획득한다. 일부 예에서, 트레이닝 프로세스(500)는 제1 트레이닝 단계 동안 인코더 네트워크(210) 및 디코더 네트워크(300)의 파라미터를 업데이트하고, 제2 트레이닝 단계 동안 인코더 네트워크(210)의 파라미터를 업데이트하지 않는다.

도 5는 장문 트레이닝 발화와 연관된 트레이닝 샘플들 세트(400)에 대한 단어 오류율(WER)을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하기 위한 예시적 트레이닝 프로세스(500, 500a)의 개략도이다. 스피치 인식 모델(200)은 인코더(210) 및 디코더(520)를 포함하는 도 2의 RNN-T 모델 아키텍처를 포함할 수 있고, 디코더(520)는 집합적으로 예측 및 조인트 네트워크(300, 220)를 포함한다. 트레이닝 프로세스(500a)는 원격 시스템(70)(즉, 데이터 프로세싱 하드웨어(72)) 또는 사용자 디바이스(10)(즉, 데이터 프로세싱 하드웨어(12))에서 실행될 수 있다. 트레이닝 샘플 생성기(150)에 의해 생성된 트레이닝 샘플들(400) 세트의 각 트레이닝 샘플(400)에 대해(도 1), 트레이닝 프로세스(500a)는 트레이닝 발화에 대한 하나 이상의 스피치 인식 가설(522, 522a-n)을 얻기 위해 RNN-T 모델(200)을 사용하여 스피치 세그먼트들(405)의 대응 시퀀스를 프로세싱한다.

그 후, 각 트레이닝 샘플(400)에 대해, 손실 항 모듈(530)은 대응하는 트레이닝 발화에 대해 RNN-T 모델(200)에 의해 출력된 하나 이상의 스피치 인식 가설(522)을 수신하고, 실측 전사들(415)의 대응 시퀀스에 대해 각 스피치 인식 가설(522)에 대한 각각의 단어 오류 수를 식별한다. 여기서, 손실 항 모듈(530)은 하나 이상의 스피치 인식 가설(522)에서 단어 오류의 평균 수를 나타내는 MWER 손실 항(535)을 결정할 수 있다(즉, 식(5)을 사용하여). 일부 예에서, 손실 항 모듈(300)은 대응하는 트레이닝 발화에 대한 빔 검색의 N-최고 순위 스피치 인식 가설(522)에 대응하는 N-최상위 스피치 인식 가설(522) 목록을 수신한다. 따라서, 손실 항 모듈(530)은 식(5)을 적용하여 빔 검색의 N-최상위 가설(522)의 평균 단어 오류 수를 나타내는 MWER 손실 항(535)을 결정/계산할 수 있다. 각 트레이닝 샘플(400)에 대한 손실 항 모듈(530)에 의해 출력된 MWER 손실 항(535)에 기초하여, 트레이닝 프로세스(500a)는 대응하는 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수에 기초하여 MWER을 최소화하도록 RNN-T 모델(200)을 트레이닝한다.

일부 구현예에서, 각각의 트레이닝 샘플(400)에 대해 RNN-T 모델(200)에 의해 출력된 N-최상위 가설(522)의 단어 오류의 평균 수를 나타내는 MWER 손실 항(535)을 계산하는 것 외에 또는 그 대신에, 트레이닝 프로세스(500a)는 각 트레이닝 샘플(400)에 대한 실측 전사들 (415)의 대응 시퀀스에 대한 확률(222)의 음의 로그를 나타내는 로그 손실 항(537)을 계산한다(즉, 식(2) 사용). 여기서, 트레이닝 프로세스(500)는 포워드 백워드 알고리즘을 사용하여 모든 가능한 정렬을 소외시킴으로써 임의의 (Pr(y|x))에 대한 확률을 도출할 수 있다.

도 6은 RNN-T 모델(200)을 트레이닝하기 위한 예시적 2단계 트레이닝 프로세스(500, 500b)의 개략도이다. 트레이닝 프로세스(500b)는 원시 스피치 세그먼트들(405)의 대응 시퀀스 및 원시 스피치 세그먼트들(405)의 시퀀스에 대한 실측 전사들(415)의 대응 시퀀스를 각각 포함하는 트레이닝 샘플들의 세트(400)를 획득한다. 실측 전사들(415)의 대응 시퀀스의 각 실측 전사는 대응하는 원시 스피치 세그먼트(405)의 시작 시간(414) 및 종료 시간(416)을 포함할 수 있다.

2단계 트레이닝 프로세스(500b)의 제1 단계 동안, 연결기(610)는 원시 스피치 세그먼트들(405)의 시퀀스로부터 연속적인 원시 스피치 세그먼트(405)의 2개 이상의 그룹을 연결하여 연속적인 원시 스피치 세그먼트들(405)의 연결된 각 그룹(405G)에 대한 각각의 긴 트레이닝 발화를 형성한다. 여기서, 연속적인 원시 스피치 세그먼트들(405)의 각각의 연결된 그룹(405G)은 실측 전사들(415)의 시퀀스의 대응 그룹과 페어링된다. 각각의 긴 트레이닝 발화에 대해, 2단계 트레이닝 프로세스 중 제1 단계에서는 스피치 인식 모델(200)을 사용하여 연속적인 원시 스피치 세그먼트들의 연결된 그룹(405G)을 프로세싱하여 각각의 긴 트레이닝 발화에 대해 스피치 인식 가설(232)(디코더(520)로부터 출력된 확률(222)로 표시됨)을 예측한다. 그 후, 로그 손실 항 모듈(630)은 각각의 긴 트레이닝 발화에 대한 예측 스피치 인식 가설들(232) 및 대응하는 실측 전사들 (415)의 대응 그룹에 기초하여 로그 손실 항 (537)을 결정한다(즉, 식(2)를 사용하여). 2단계 트레이닝 프로세스(500b)의 제1 단계는 스피치 인식 모델(200)을 초기화하기 위해 로그 손실 항(537)을 사용하여 스피치 인식 모델(200)을 트레이닝한다.

제2 단계 동안, 트레이닝 샘플 생성기(150)(도 1)에 의해 생성된 트레이닝 샘플들의(400) 세트의 각 트레이닝 샘플(400)에 대해, 트레이닝 프로세스(500b)는 제1 트레이닝 단계에 의해 초기화된 RNN-T 모델(200)을 사용하여 스피치 세그먼트들(405)의 대응 시퀀스를 프로세싱하여 하나 이상의 스피치 인식 가설(522, 522a-n)을 획득한다. 그 후, MWER 손실 항 모듈(640)은 실측 전사들(415)의 대응 시퀀스와 관련하여 각 스피치 인식 가설(522)에 대한 각각의 단어 오류의 수를 식별한다. 여기서, MWER 손실 항 모듈(640)은 하나 이상의 스피치 인식 가설(522)에서 단어 오류의 평균 수를 나타내는 MWER 손실 항(535)을 결정할 수 있다(즉, 식(5)을 사용하여). 일부 예에서, MWER 손실 항 모듈(640)은 대응하는 트레이닝 발화에 대한 빔 검색의 N-최고 순위 스피치 인식 가설(522)에 대응하는 N-최상위 스피치 인식 가설(522) 목록을 수신한다. 따라서, MWER 손실 항 모듈(640)은 식(5)을 적용하여 빔 검색의 N-최상위 가설(522)에서 단어 오류의 평균 수를 나타내는 MWER 손실 항(535)을 결정/계산할 수 있다. 각각의 트레이닝 샘플(400)에 대한 MWER 손실 항 모듈(640)에 의해 출력된 MWER 손실 항(535)에 기초하여, 트레이닝 프로세스(500b)는 RNN-T 모델(200)을 트레이닝하여 대응하는 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설에 대해 식별된 각각의 단어 오류 수에 기초하여 MWER을 최소화한다. 일부 예에서, 트레이닝 프로세스(500b)의 제2 트레이닝 단계는 인코더(210)의 파라미터를 고정된 상태로 유지하면서 MWER 손실 항(535)에 기초하여 디코더(520)의 파라미터를 업데이트한다.

도 7은 스피치 인식 모델(200)(예: RNN-T 모델(200))을 트레이닝하기 위한 컴퓨터로 구현되는 방법(700)에 대한 예시적 동작 구성의 흐름도이다. 동작(702)에서, 방법(700)은 트레이닝 샘플들의 세트(400)를 획득하는 동작을 포함한다. 트레이닝 샘플들의 세트(400)의 각 트레이닝 샘플(400)은 트레이닝 발화에 대응하는 스피치 세그먼트들(405)의 대응 시퀀스 및 스피치 세그먼트들(405)의 시퀀스의 각각 스피치 세그먼트에 대한 하나 이상의 실측 전사들 (415)의 대응 시퀀스를 포함한다. 하나 이상의 실측 전사들 (415)의 대응 시퀀스에 있는 각각의 실측 전사 (415)는 대응 스피치 세그먼트(405)의 시작 시간(414) 및 종료 시간(416)을 포함한다.

트레이닝 샘플들의 세트의 각 트레이닝 샘플(400)에 대해, 방법(700)은 동작(704, 706 및 708)을 수행한다. 동작(704)에서, 방법(700)은 트레이닝 발화에 대한 하나 이상의 스피치 인식 가설들(522)을 획득하기 위해 상기 스피치 인식 모델(200)을 사용하여 스피치 세그먼트들(405)의 대응 시퀀스를 프로세싱하는 동작을 포함한다. 동작(706)에서, 방법(700)은 트레이닝 발화(410)에 대해 획득된 각각의 스피치 인식 가설(522)에 대해, 하나 이상의 실측 전사들 (415)의 대응 시퀀스에 대한 각각의 단어 오류 수 를 식별하는 동작을 포함한다. 동작(708)에서, 방법(700)은 트레이닝 발화(410)에 대해 획득된 각각의 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수 에 기초하여 WER을 최소화하도록 스피치 인식 모델(200)을 트레이닝하는 동작을 포함한다. 예를 들어, 방법(700)은 식 5를 사용하여 계산된 MWER 손실 항(535)을 사용하여 모델(200)을 트레이닝할 수 있다.

도 8은 긴 트레이닝 발화를 사용하여 스피치 인식 모델(200)(예: RNN-T 모델(200))을 트레이닝하기 위한 컴퓨터로 구현되는 방법(800)에 대한 다른 예시적 동작 구성의 흐름도이다. 동작(802)에서, 방법(800)은 트레이닝 샘플들의 세트(400)를 획득하는 동작을 포함한다. 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)은 하나 이상의 원시 스피치 세그먼트들(405)의 대응 시퀀스 및 원시 스피치 세그먼트들(405)의 시퀀스에 대한 실측 전사 (415)의 대응 시퀀스를 포함한다. 실측 전사들 (415)의 대응 시퀀스의 각각의 실측 전사 (415)는 대응하는 원시 스피치 세그먼트의 시작 시간(414) 및 종료 시간(416)을 포함한다.

동작(804)에서, 방법(800)은 연속적인 원시 스피치 세그먼트들(405G)의 각각의 연결된 그룹에 대한 각각의 긴 트레이닝 발화를 형성하기 위해 원시 스피치 세그먼트들(405)의 시퀀스로부터 연속적인 원시 스피치 세그먼트들(405G)의 2개 이상의 그룹을 연결하는 동작을 포함한다.

제1 트레이닝 단계 동안, 각각의 긴 트레이닝 발화에 대해, 방법(800)은 동작(806 및 808)을 수행한다. 동작(806)에서, 방법(800)은 각각의 긴 트레이닝 발화(614)에 대한 스피치 인식 가설(232)을 예측하기 위해 스피치 인식 모델(200)을 사용하여 연속적인 원시 스피치 세그먼트(405G)의 연결된 그룹을 프로세싱하는 동작을 포함한다.

동작(808)에서, 방법(800)은 각각의 긴 트레이닝 발화에 대한 예측된 스피치 인식 가설(232)과 실측 전사들 (415)의 대응하는 그룹에 기초한 로그 손실 (535)을 사용하여 스피치 인식 모델(200)을 트레이닝하는 동작을 포함한다.

점선으로 표시된 선택적 제2 트레이닝 단계 동안, 방법(800)은 선택적으로 동작(810, 812 및 814)을 수행한다. 짧은 트레이닝 샘플들(400)의 세트의 각각의 짧은 트레이닝 샘플(400)에 대해, 동작(810)에서, 방법(800)은 제1 트레이닝 단계에 의해 초기화된 스피치 인식 모델(200)을 사용하여, 하나 이상의 스피치 인식 가설(522)(예를 들어, 발화에 대한 각각의 후보 전사본에 각각 대응하는 가설의 N-최상위 목록(522))을 획득하기 위해 원시 스피치 세그먼트들(405)의 대응 시퀀스를 프로세싱하는 동작을 포함한다. 그 다음, 동작(812)에서, 방법(800)은 각각의 스피치 인식 가설(522)에 대해, 실측 전사들 (415)의 대응 시퀀스에 대해 각각의 단어 오류 수 를 식별하는 동작을 포함한다. 동작(814)에서, 방법(800)은 각각의 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수 에 기초하여 단어 오류율을 최소화하도록 스피치 인식 모델(200)을 트레이닝하는 동작을 포함한다.

도 9는 본 문서에 기술된 시스템 및 방법을 구현하는데 사용될 수 있는 예시적 컴퓨팅 디바이스(900)의 개략도이다. 컴퓨팅 디바이스(900)는 랩톱, 데스크톱, 워크 스테이션, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터들을 나타내기 위한 것이다. 여기에 도시된 컴포넌트들, 그들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것을 의미하며, 본 명세서에 기술된 및/또는 청구된 발명의 구현을 제한하는 것을 의미하지는 않는다.

컴퓨팅 디바이스(900)는 데이터 프로세싱 하드웨어(12 및/또는 62)를 구현하는데 사용될 수 있는 프로세서(910)(즉, 데이터 프로세싱 하드웨어), 메모리 하드웨어(14 및/또는 64)를 구현하는데 사용될 수 있는 메모리(920)(즉, 메모리 하드웨어), 메모리 하드웨어(14 및/또는 64)를 구현하는데 사용될 수 있는 저장 디바이스(930)(즉, 메모리 하드웨어), 메모리(920)에 연결되는 고속 인터페이스/컨트롤러(940) 및 고속 확장 포트(950) 및 저속 버스(970) 및 저장 디바이스(930)에 연결되는 저속 인터페이스/컨트롤러(960)를 포함한다. 컴포넌트들(910, 920, 930, 940, 950 및 960) 각각은 다양한 버스들을 사용하여 상호 연결되고, 공통 마더 보드 상에 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서(910)는 메모리(920) 또는 저장 디바이스(930)에 저장된 명령어들을 포함하는, 컴퓨팅 디바이스(900) 내에서 실행하기 위한 명령어들을 프로세싱하여, 고속 인터페이스(940)에 연결된 디스플레이(980)와 같은 외부 입/출력 디바이스상에 그래픽 사용자 인터페이스(GUI)에 대한 그래픽 정보를 디스플레이할 수 있다. 다른 구현예에서, 다수의 프로세서들 및/또는 다수의 버스들이 다수의 메모리들 및 다수의 유형의 메모리와 함께, 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(900)은 필요한 동작의 부분들을 제공하는 각 디바이스와 연결될 수 있다(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템).

메모리(920)는 컴퓨팅 디바이스(900) 내에 비일시적으로 정보를 저장한다. 메모리(920)는 컴퓨터 판독가능 매체, 휘발성 메모리 유닛(들), 비휘발성 메모리 유닛(들)일 수 있다. 비일시적 메모리(920)는 컴퓨팅 디바이스(900)에 의해 사용하기 위해 일시적 또는 영구적으로 프로그램(예를 들어, 명령어 시퀀스) 또는 데이터(예를 들어, 프로그램 상태 정보)를 저장하는데 사용되는 물리적 디바이스일 수 있다. 비휘발성 메모리의 예는 플래시 메모리 및 읽기 전용 메모리(ROM)/프로그래밍 가능한 읽기 전용 메모리(PROM)/지울 수 있는 프로그램 가능한 읽기 전용 메모리(EPROM)/전자적으로 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리(EEPROM)(예: 일반적으로 부팅 프로그램과 같은 펌웨어에 사용됨)를 포함하지만, 이에 한정되지 않는다. 휘발성 메모리의 예는 RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), PCM(Phase Change Memory), 디스크 또는 테이프 등을 포함하지만, 이에 한정되지 않는다.

저장 디바이스(930)는 컴퓨팅 디바이스(900)에 대한 대형 스토리지를 제공할 수 있다. 일부 구현예에서, 저장 디바이스(930)는 컴퓨터 판독가능 매체이다. 다양한 상이한 구현예에서, 저장 디바이스(930)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스를 포함하는 디바이스의 어레이일 수 있다. 일 구현예에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 수록된다. 컴퓨터 프로그램 제품은 또한 실행될 때 상기 기술된 바와 같은 하나 이상의 방법을 수행하는 명령어들을 포함한다. 정보 캐리어는 메모리(920), 저장 디바이스(930) 또는 프로세서(910)상의 메모리와 같은 컴퓨터 또는 기계 판독가능 매체이다.

고속 제어기(940)는 컴퓨팅 디바이스(900)에 대한 대역폭 집중 동작들을 관리하는 반면, 저속 제어기(960)는 낮은 대역폭 집중 동작들을 관리한다. 이러한 기능들의 할당은 단지 예시적인 것이다. 일부 구현예에서, 고속 제어기(940)는 메모리(920), 디스플레이(980)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(도시되지 않음)를 수용할 수 있는 고속 확장 포트(950)에 연결된다. 일부 구현예에서, 저속 제어기(960)는 저장 디바이스(930) 및 저속 확장 포트(990)에 연결된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트(990)는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스 또는 예를 들어 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 디바이스에 결합될 수 있다.

컴퓨팅 디바이스(900)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 표준 서버(900a)로서 또는 그러한 서버(900a)의 그룹에서 여러 번, 랩톱 컴퓨터(900b)로서 또는 랙 서버 시스템(900c)의 일부로서 구현될 수 있다.

본 명세서에 기술된 시스템들 및 기법들의 다양한 구현예들은 디지털 전자 및/또는 광학 회로, 집적 회로, 특수하게 설계된 ASIC들(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이들 다양한 구현예들은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행가능하고 및/또는 인터프리트가능한 하나 이상의 컴퓨터 프로그램들에서의 구현예를 포함할 수 있고, 이는 전용 또는 범용일 수 있고, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령어들을 수신하고 그에 데이터 및 명령어들을 전송하기 위해 연결될 수 있다.

소프트웨어 애플리케이션(즉, 소프트웨어 리소스)은 컴퓨팅 디바이스가 작업을 수행하게 하는 컴퓨터 소프트웨어를 지칭할 수 있다. 일부 예에서, 소프트웨어 애플리케이션은 "애플리케이션", "앱" 또는 "프로그램"으로 지칭될 수 있다. 예시적 애플리케이션은 시스템 진단 애플리케이션, 시스템 관리 애플리케이션, 시스템 유지보수 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드시트 애플리케이션, 메시징 애플리케이션, 미디어 스트리밍 애플리케이션, 소셜 네트워킹 애플리케이션 및 게임 애플리케이션을 포함하지만 이에 한정되지는 않는다.

이들 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 알려짐)은 프로그래머블 프로세서에 대한 기계 명령어를 포함하며, 하이레벨 절차어 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계어에서 구현될 수 있다. 본 명세서에서 사용된 바와 같이, 용어 "기계 판독가능 매체", "컴퓨터 판독가능 매체"는 기계 판독가능 신호로서 기계 명령어들을 수신하는 기계 판독가능 매체를 포함하여, 기계 명령어들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 컴퓨터 프로그램 물, 장치 및/또는 디바이스 예를 들어, 자기 디스크, 광학 디스크, 메모리, 비일시적 컴퓨터 판독가능 매체, 프로그래머블 로직 디바이스(PLD)를 지칭한다. 용어 "기계 판독가능 신호"는 기계 명령어들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 신호를 지칭한다.

본 명세서에 기술된 프로세스들 및 논리 흐름들은 입력 데이터를 동작하고 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 데이터 프로세싱 하드웨어로도 지칭되는 하나 이상의 프로그래머블 프로세서들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한 FPGA 또는 ASIC와 같은 특수 목적 논리 회로에 의해 수행될 수 있다. 컴퓨터 프로그램의 실행에 적절한 프로세서들은, 예시로서, 범용 및 전용 마이크로프로세서들과 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 읽기-전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 엘리먼트들은 명령어들을 수행하기 위한 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대형 저장 디바이스들 예를 들면, 자기적, 자기-광학 디스크들 또는 광학적 디스크들 또한 포함하거나 또는 그로부터 데이터를 수신하거나 그에 데이터를 전송하기 위해 동작적으로 결합될 수 있다. 그러나, 컴퓨터는 상기 디바이스들을 반드시 가져야 하는 것은 아니다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들; 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들과 같은 자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 그 안에 통합될 수 있다.

사용자와의 인터렉션을 제공하기 위해, 본 개시의 하나 이상의 양태는 사용자에게 정보를 디스플레이하기 위해 예를 들어, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터 또는 터치 스크린과 같은 디스플레이 디바이스 및 선택적으로 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스 예를 들어, 마우스 또는 트랙볼을 갖는 컴퓨터에서 구현될 수 있다. 다른 종류의 디바이스들도 사용자와의 인터렉션을 제공하는데 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 시각 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각적 피드백일 수 있고, 사용자로부터의 입력은 음향, 스피치 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 추가로, 컴퓨터는 사용자에 의해 사용되는 디바이스에 문서를 송수신함으로써 예를 들어, 웹브라우저로부터 수신된 요청에 응답하여, 사용자의 사용자 디바이스상의 웹브라우저에 웹페이지를 전송함으로써 사용자와 인터렉션할 수 있다.

반대로 명시적으로 언급되지 않는 한, "또는” 은 ‘포함적인 또는’을 지칭하는 것이지 ‘배타적인 또는’을 지칭하지 않는다. 예를 들어, "A, B 또는 C"는 (1) A 단독; (2) B 단독; (3) C 단독; (4) A와 B; (5) A와 C; (6) B와 C; 및 (7) A와 B 및 C와 같은 A, B, C의 조합 또는 서브세트를 지칭한다. 유사하게, "A 또는 B 중 적어도 하나"라는 문구는 (1) 적어도 하나의 A; (2) 적어도 하나의 B; 및 (3) 적어도 하나의 A 및 적어도 하나의 B와 같은 A와 B의 임의의 조합 또는 서브세트를 지칭하도록 의도된다. 또한, "A와 B 중 적어도 하나"라는 문구는 (1) 적어도 하나의 A; (2) 적어도 하나의 B; (3) 적어도 하나의 A와 적어도 하나의 B와 같은 A와 B의 임의의 조합 또는 서브세트를 지칭하도록 의도된다.

다수의 구현예들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 본 발명의 정신과 범위로부터 벗어나지 않고 이루어질 수 있다는 것이 이해될 것이다. 따라서, 다른 구현예들도 다음의 청구항들의 범위 내에 있다.

Claims (26)

1. 장문 스피치를 인식하기 위해 스피치 인식 모델(200)을 트레이닝하기 위한 컴퓨터로 구현되는 방법(700)으로서, 상기 컴퓨터로 구현되는 방법(700)은 데이터 프로세싱 하드웨어(910)에서 실행될 때 상기 데이터 프로세싱 하드웨어(910)로 하여금 동작들을 수행하게 하며, 상기 동작들은:
   트레이닝 샘플들(400)의 세트를 획득하는 동작, 상기 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)은 트레이닝 발화에 대응하는 스피치 세그먼트들(405)의 대응 시퀀스 및 스피치 세그먼트들(405)의 시퀀스에 대한 실측 전사들(415)의 대응 시퀀스를 포함하며, 실측 전사들(415)의 대응 시퀀스의 각 실측 전사(415)는 대응하는 스피치 세그먼트의 시작 시간(414) 및 종료 시간(416)을 포함하며; 및
   상기 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)에 대해:
   트레이닝 발화에 대한 하나 이상의 스피치 인식 가설들(522)을 획득하기 위해 상기 스피치 인식 모델(200)을 사용하여 스피치 세그먼트들(405)의 대응 시퀀스를 프로세싱하는 동작;
   상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설(522)에 대해, 실측 전사들(415)의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작; 및
   상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작을 포함하는, 컴퓨터로 구현되는 방법.
2. 청구항 1에 있어서,
   하나 이상의 스피치 인식 가설들(522)을 획득하기 위해 스피치 세그먼트들(405)의 시퀀스를 프로세싱하는 동작은 스피치 인식 가설들(522)의 N-최상위 목록(522)을 획득하기 위해 스피치 세그먼트들(405)의 시퀀스를 프로세싱하는 동작을 포함하고; 그리고
   단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작은 스피치 인식 가설들(522)의 N-최상위 목록의 각 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수의 평균에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작을 포함하는, 컴퓨터로 구현되는 방법.
3. 청구항 1 또는 청구항 2에 있어서, 상기 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)은 스피치 세그먼트들(405)의 시퀀스의 인접한 스피치 세그먼트들(405)의 각 쌍 사이에 각각의 비-스피치 세그먼트(425)를 더 포함하는, 컴퓨터로 구현되는 방법.
4. 청구항 1 내지 3 중 어느 한 항에 있어서, 스피치 세그먼트들(405)의 시퀀스의 각 스피치 세그먼트(405)는 적어도 6초의 평균 지속시간을 포함하는, 컴퓨터로 구현되는 방법.
5. 청구항 1 내지 4 중 어느 한 항에 있어서, 상기 스피치 인식 모델(200)은 인코더 네트워크(210), 예측 네트워크(300) 및 조인트 네트워크(220)를 포함하는 트랜스듀서 기반 스피치 인식 모델(200)을 포함하는, 컴퓨터로 구현되는 방법.
6. 청구항 5에 있어서, 상기 인코더 네트워크(210)는 복수의 멀티 헤드 어텐션 레이어들을 포함하는, 컴퓨터로 구현되는 방법.
7. 청구항 5 또는 청구항 6에 있어서,
   상기 예측 네트워크(300)는 초기 시간 단계 이후의 복수의 시간 단계들 각각에서:
   최종 소프트맥스 레이어(230)에 의해 출력된 비-공백 심볼들(232)의 시퀀스를 입력으로 수신하고;
   대응하는 시간 단계에서 입력으로 수신된 비-공백 심볼들(232)의 시퀀스의 비-공백 심볼(232) 각각에 대해:
   공유된 임베딩 행렬(304)을 사용하여, 대응하는 비-공백 심볼(232)의 임베딩(306)을 생성하고;
   각각의 포지션 벡터(308)를 대응하는 비-공백 심볼(232)에 할당하고; 그리고
   상기 임베딩(306)과 상기 각각의 포지션 벡터(308) 사이의 유사성에 비례하여 임베딩(306)에 가중치를 부여하고; 그리고
   대응하는 시간 단계에서, 단일 임베딩 벡터(350)를 출력으로서 생성하도록 구성되고, 상기 단일 임베딩 벡터(350)는 가중 임베딩들(318)의 가중 평균(324)에 기초하며; 그리고
   상기 조인트 네트워크(320)는 초기 시간 단계 이후의 복수의 시간 단계들 각각에서:
   상기 대응하는 시간 단계에서 상기 예측 네트워크(300)로부터 출력으로서 생성된 상기 단일 임베딩 벡터(350)를 입력으로서 수신하고; 그리고
   상기 대응하는 시간 단계에서 가능한 스피치 인식 가설들(522)에 대한 확률 분포(222)를 생성하도록 구성되는, 컴퓨터로 구현되는 방법.
8. 청구항 7에 있어서, 상기 예측 네트워크(300)는 공유 임베딩 행렬(304)의 차원을 조인트 네트워크(220)의 출력 레이어의 차원에 연결하는, 컴퓨터로 구현되는 방법.
9. 시스템(100)으로서,
   데이터 프로세싱 하드웨어(910); 및
   상기 데이터 프로세싱 하드웨어(910)와 통신하는 메모리 하드웨어(920)를 포함하며, 상기 메모리 하드웨어(126)는 상기 데이터 프로세싱 하드웨어(910)에 의해 실행될 때 상기 데이터 프로세싱 하드웨어(910)로 하여금 동작들을 수행하게 하는 명령어를 저장하며, 상기 동작들은:
   트레이닝 샘플들(400)의 세트를 획득하는 동작, 상기 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)은 트레이닝 발화에 대응하는 스피치 세그먼트들(405)의 대응 시퀀스 및 스피치 세그먼트들(405)의 시퀀스에 대한 실측 전사들(415)의 대응 시퀀스를 포함하며, 실측 전사들(415)의 대응 시퀀스의 각 실측 전사(415)는 대응하는 스피치 세그먼트의 시작 시간(414) 및 종료 시간(416)을 포함하며; 및
   상기 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)에 대해:
   트레이닝 발화에 대한 하나 이상의 스피치 인식 가설들(522)을 획득하기 위해 스피치 인식 모델(200)을 사용하여 스피치 세그먼트들(405)의 대응 시퀀스를 프로세싱하는 동작;
   상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설(522)에 대해, 실측 전사들(415)의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작; 및
   상기 트레이닝 발화에 대해 획득된 각각의 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작을 포함하는, 시스템.
10. 청구항 9에 있어서,
    하나 이상의 스피치 인식 가설들(522)을 획득하기 위해 스피치 세그먼트들(405)의 시퀀스를 프로세싱하는 동작은 스피치 인식 가설들(522)의 N-최상위 목록(522)을 획득하기 위해 스피치 세그먼트들(405)의 시퀀스를 프로세싱하는 동작을 포함하고; 그리고
    단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작은 스피치 인식 가설들(522)의 N-최상위 목록의 각 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수의 평균에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작을 포함하는, 시스템.
11. 청구항 9 또는 청구항 10에 있어서, 상기 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)은 스피치 세그먼트들(405)의 시퀀스의 인접한 스피치 세그먼트들(405)의 각 쌍 사이에 각각의 비-스피치 세그먼트(425)를 더 포함하는, 시스템.
12. 청구항 9 내지 11 중 어느 한 항에 있어서, 스피치 세그먼트들(405)의 시퀀스의 각 스피치 세그먼트(405)는 적어도 6초의 평균 지속시간을 포함하는, 시스템.
13. 청구항 9 내지 12 중 어느 한 항에 있어서, 상기 스피치 인식 모델(200)은 인코더 네트워크(210), 예측 네트워크(300) 및 조인트 네트워크(220)를 포함하는 트랜스듀서 기반 스피치 인식 모델(200)을 포함하는, 시스템.
14. 청구항 13에 있어서, 상기 인코더 네트워크(210)는 복수의 멀티 헤드 어텐션 레이어들을 포함하는, 시스템.
15. 청구항 13 또는 청구항 14에 있어서,
    상기 예측 네트워크(300)는 초기 시간 단계 이후의 복수의 시간 단계들 각각에서:
    최종 소프트맥스 레이어(230)에 의해 출력된 비-공백 심볼들(232)의 시퀀스를 입력으로 수신하고;
    대응하는 시간 단계에서 입력으로 수신된 비-공백 심볼들(232)의 시퀀스의 비-공백 심볼(232) 각각에 대해:
    공유된 임베딩 행렬(304)을 사용하여, 대응하는 비-공백 심볼(232)의 임베딩(306)을 생성하고;
    각각의 포지션 벡터(308)를 대응하는 비-공백 심볼(232)에 할당하고; 그리고
    상기 임베딩(306)과 상기 각각의 포지션 벡터(308) 사이의 유사성에 비례하여 임베딩(306)에 가중치를 부여하고; 그리고
    대응하는 시간 단계에서, 단일 임베딩 벡터(350)를 출력으로서 생성하도록 구성되고, 상기 단일 임베딩 벡터(350)는 가중 임베딩들(318)의 가중 평균(324)에 기초하며; 그리고
    상기 조인트 네트워크(320)는 초기 시간 단계 이후의 복수의 시간 단계들 각각에서:
    상기 대응하는 시간 단계에서 상기 예측 네트워크(300)로부터 출력으로서 생성된 상기 단일 임베딩 벡터(350)를 입력으로서 수신하고; 그리고
    상기 대응하는 시간 단계에서 가능한 스피치 인식 가설들(522)에 대한 확률 분포(222)를 생성하도록 구성되는, 시스템.
16. 청구항 15에 있어서, 상기 예측 네트워크(300)는 공유 임베딩 행렬(304)의 차원을 조인트 네트워크(220)의 출력 레이어의 차원에 연결하는, 시스템.
17. 장문 스피치를 인식하기 위해 스피치 인식 모델(200)을 트레이닝하기 위한 컴퓨터로 구현되는 방법(800)으로서,
    트레이닝 샘플들(400)의 세트를 획득하는 동작, 상기 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)은 원시 스피치 세그먼트들(405)의 대응 시퀀스 및 원시 스피치 세그먼트들(405)의 시퀀스에 대한 실측 전사들(415)의 대응 시퀀스를 포함하며, 실측 전사들(415)의 대응 시퀀스의 각 실측 전사(415)는 대응하는 원시 스피치 세그먼트의 시작 시간(414) 및 종료 시간(416)을 포함하며;
    연속적인 원시 스피치 세그먼트들(405)의 각각의 연결된 그룹(405G)에 대한 각각의 긴 트레이닝 발화를 형성하기 위해 원시 스피치 세그먼트들(405)의 시퀀스로부터 연속적인 원시 스피치 세그먼트들(405)의 2개 이상의 그룹을 연결하는 동작; 및
    제1 트레이닝 단계 동안, 각각의 긴 트레이닝 발화에 대해:
    각각의 긴 트레이닝 발화에 대한 스피치 인식 가설(522)을 예측하기 위해 스피치 인식 모델(200)을 사용하여, 연속적인 원시 스피치 세그먼트들(405)의 연결된 그룹(405G)을 프로세싱하는 동작; 및
    각각의 긴 트레이닝 발화에 대한 예측된 스피치 인식 가설(522)과 실측 전사들(415)의 대응하는 그룹(405G)에 기초한 로그 손실(537)을 사용하여 스피치 인식 모델(200)을 트레이닝하는 동작을 포함하는, 컴퓨터로 구현되는 방법.
18. 청구항 17에 있어서, 상기 방법은, 제2 트레이닝 단계 동안, 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)에 대해:
    제1 트레이닝 단계에 의해 초기화된 스피치 인식 모델(200)을 사용하여, 하나 이상의 스피치 인식 가설(522)을 획득하기 위해 원시 스피치 세그먼트들(405)의 대응 시퀀스를 프로세싱하는 동작;
    각각의 스피치 인식 가설에 대해(522), 실측 전사들(415)의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작; 및
    각각의 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작을 포함하는, 컴퓨터로 구현되는 방법.
19. 청구항 18에 있어서,
    하나 이상의 스피치 인식 가설들(522)을 획득하기 위해 원시 스피치 세그먼트들(405)의 시퀀스를 프로세싱하는 동작은 스피치 인식 가설들(522)의 N-최상위 목록(522)을 획득하기 위해 원시 스피치 세그먼트들(405)의 시퀀스를 프로세싱하는 동작을 포함하고; 그리고
    단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작은 스피치 인식 가설들(522)의 N-최상위 목록의 각 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수의 평균에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작을 포함하는, 컴퓨터로 구현되는 방법.
20. 청구항 17 내지 19 중 어느 한 항에 있어서, 상기 스피치 인식 모델(200)은 인코더 네트워크(210) 및 디코더(520)를 포함하는 트랜스듀서 기반 스피치 인식 모델(200)을 포함하며, 상기 디코더(520)는 예측 네트워크(300) 및 조인트 네트워크(220)를 포함하는, 컴퓨터로 구현되는 방법.
21. 청구항 20에 있어서, 상기 제2 트레이닝 단계 동안 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작은 제1 트레이닝 단계에 의해 초기화된 인코더 네트워크(210)의 임의의 파라미터를 파인튜닝하지 않고 제1 트레이닝 단계에 의해 초기화된 디코더(520)의 파라미터를 파인튜닝하는 동작을 포함하는, 컴퓨터로 구현되는 방법.
22. 시스템(100)으로서,
    데이터 프로세싱 하드웨어(910); 및
    상기 데이터 프로세싱 하드웨어(910)와 통신하는 메모리 하드웨어(920)를 포함하며, 상기 메모리 하드웨어(126)는 상기 데이터 프로세싱 하드웨어(910)에 의해 실행될 때 상기 데이터 프로세싱 하드웨어(910)로 하여금 동작들을 수행하게 하는 명령어를 저장하며, 상기 동작들은:
    트레이닝 샘플들(400)의 세트를 획득하는 동작, 상기 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)은 원시 스피치 세그먼트들(405)의 대응 시퀀스 및 원시 스피치 세그먼트들(405)의 시퀀스에 대한 실측 전사들(415)의 대응 시퀀스를 포함하며, 실측 전사들(415)의 대응 시퀀스의 각 실측 전사(415)는 대응하는 원시 스피치 세그먼트의 시작 시간(414) 및 종료 시간(416)을 포함하며;
    연속적인 원시 스피치 세그먼트들(405)의 각각의 연결된 그룹(405G)에 대한 각각의 긴 트레이닝 발화를 형성하기 위해 원시 스피치 세그먼트들(405)의 시퀀스로부터 연속적인 원시 스피치 세그먼트들(405)의 2개 이상의 그룹을 연결하는 동작; 및
    제1 트레이닝 단계 동안, 각각의 긴 트레이닝 발화에 대해:
    각각의 긴 트레이닝 발화에 대한 스피치 인식 가설(522)을 예측하기 위해 스피치 인식 모델(200)을 사용하여, 연속적인 원시 스피치 세그먼트들(405)의 연결된 그룹(405G)을 프로세싱하는 동작; 및
    각각의 긴 트레이닝 발화에 대한 예측된 스피치 인식 가설(522)과 실측 전사들(415)의 대응하는 그룹(405G)에 기초한 로그 손실(537)을 사용하여 스피치 인식 모델(200)을 트레이닝하는 동작을 포함하는, 시스템.
23. 청구항 22에 있어서, 제2 트레이닝 단계 동안, 트레이닝 샘플들(400)의 세트의 각 트레이닝 샘플(400)에 대해:
    제1 트레이닝 단계에 의해 초기화된 스피치 인식 모델(200)을 사용하여, 하나 이상의 스피치 인식 가설(522)을 획득하기 위해 원시 스피치 세그먼트들(405)의 대응 시퀀스를 프로세싱하는 동작;
    각각의 스피치 인식 가설에 대해(522), 실측 전사들(415)의 대응 시퀀스에 대한 각각의 단어 오류 수를 식별하는 동작; 및
    각각의 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작을 더 포함하는, 시스템.
24. 청구항 23에 있어서,
    하나 이상의 스피치 인식 가설들(522)을 획득하기 위해 원시 스피치 세그먼트들(405)의 시퀀스를 프로세싱하는 동작은 스피치 인식 가설들(522)의 N-최상위 목록(522)을 획득하기 위해 원시 스피치 세그먼트들(405)의 시퀀스를 프로세싱하는 동작을 포함하고; 그리고
    단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작은 스피치 인식 가설들(522)의 N-최상위 목록의 각 스피치 인식 가설(522)에 대해 식별된 각각의 단어 오류 수의 평균에 기초하여 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작을 포함하는, 시스템.
25. 청구항 22 내지 24 중 어느 한 항에 있어서, 상기 스피치 인식 모델(200)은 인코더 네트워크(210) 및 디코더(520)를 포함하는 트랜스듀서 기반 스피치 인식 모델(200)을 포함하며, 상기 디코더(520)는 예측 네트워크(300) 및 조인트 네트워크(220)를 포함하는, 시스템.
26. 청구항 25에 있어서, 상기 제2 트레이닝 단계 동안 단어 오류율을 최소화하기 위해 스피치 인식 모델(200)을 트레이닝하는 동작은 제1 트레이닝 단계에 의해 초기화된 인코더 네트워크(210)의 임의의 파라미터를 파인튜닝하지 않고 제1 트레이닝 단계에 의해 초기화된 디코더(520)의 파라미터를 파인튜닝하는 동작을 포함하는, 시스템.