KR20220127344A - 오디오 스트림의 안정적인 실시간 번역 - Google Patents

Abstract

소스 언어로 기록된 입력 오디오 데이터 스트림의 타겟 언어로 안정적인 실시간 텍스트 번역을 생성하는 것을 용이하게 하는 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램을 포함하는 방법, 시스템 및 장치. 제1 언어로 기록된 오디오 스트림이 획득된다. 오디오의 부분 전사는 복수의 연속적인 시간 간격의 각 시간 간격에 생성될 수 있다. 각 부분 전사는 제1 언어와 다른 제2 언어로 번역될 수 있다. 각 번역된 부분 전사는 번역된 부분 전사 입력의 일부가 안정적인지 여부를 결정하는 모델에 입력될 수 있다. 번역된 부분 전사 입력에 기초하여, 모델은 안정적일 것으로 예상되는 번역된 부분 전사의 부분을 식별한다. 번역된 부분 전사의 이 안정적인 부분은 사용자 디바이스에 디스플레이하기 위해 제공된다.

Description

오디오 스트림의 안정적인 실시간 번역

관련 출원에 대한 상호 참조

본 출원은 국제 출원이며 2020년 2월 6일에 출원된 미국 출원 번호 62/970,892의 이익을 주장한다. 상기 출원의 개시 내용은 그 전체가 본 명세서에 참조로서 통합된다.

본 명세서는 일반적으로 소스 언어로 기록된 입력 오디오 데이터 스트림의 타겟 언어로 안정적인 실시간 텍스트 번역을 생성하는 것과 관련된다.

실시간 번역 시스템은 소스 언어로 기록된 오디오 스트림의 타겟 언어로의 실시간 텍스트 번역을 제공하는 것을 목표로 한다. 즉, 실시간 번역 시스템은 이러한 시스템이 오디오 스트림을 수신할 때(또는 직후에) 오디오 스트림의 텍스트 번역을 생성하는 것을 목표로 한다. 일반적으로, 기존의 실시간 시스템은 스트림의 해당 부분이 수신된 직후에 수신된 오디오 스트림의 초기 부분의 텍스트 번역을 생성한다. 오디오 스트림의 추가 부분이 수신되면 이러한 시스템은 스트림 시작부터 추가 부분이 끝날 때까지 오디오의 업데이트된 텍스트 번역을 생성한다. 이 프로세스는 전체 오디오 스트림이 번역될 때까지 계속된다. 도 1은 기존의 실시간 번역 시스템에 의해 생성된 문장의 오디오 스트림("Set makers Feud over seat with big orders at state")의 실시간 스페인어 번역의 시간순 목록의 예를 도시한다. 도 1에 도시된 예시적 문장은 자동 기계 번역으로 인한 오류를 포함한다(원래 말한 문장은 "Jet makers feud over seat width with big orders at stake"였다).

기존의 실시간 번역 시스템은 스트림이 수신될 때 오디오 스트림의 텍스트 번역을 시각화할 수 있지만 텍스트 번역은 종종 오디오 스트림의 추가 부분이 수신됨에 따라 반복적으로 변경된다(본 명세서에서는 "번역 플릭커" 또는 간단히 "플릭커"라고 함). 이것은 처음 몇 번역에서 첫 번째 번역된 단어가 "Establecer"라는 단어에 정착하기 전에 여러 번 변경되는 도 1에 설명되어 있다. 이러한 번역 플릭커는 단어의 순서(예: 명사에 대한 동사 및 형용사의 순서)가 언어마다 다를 수 있기 때문에 발생할 수 있다. 이러한 번역 플릭커는 또한 기존 번역 알고리즘이 일반적으로 대략적으로 동등한 단어, 구 및 단어 순서 사이에서 임의의 결정을 내리고 오디오 스트림이 계속 수신됨에 따라 이러한 결정이 변경될 수 있기 때문에 발생할 수 있다.

일반적으로, 본 명세서에 기술된 발명의 일 혁신적 양태는 방법에 포함될 수 있으며, 상기 방법은: 오디오 데이터 스트림을 획득하는 단계; 상기 오디오 데이터 스트림의 오디오가 기록되는 제1 언어를 결정하는 단계; 복수의 연속적인 시간 간격 중 각 시간 간격에서, 상기 오디오의 부분 전사를 생성하는 단계, 각 부분 전사는 (1) 상기 오디오의 시작부터 특정한 시간 간격까지의 오디오의 전사이고, (2) 제1 언어로 된 것이며; 각 부분 전사에 대해: 상기 부분 전사를 상기 제1 언어와 다른 제2 언어로 번역하는 단계; 상기 번역된 부분 전사를 모델에 입력하는 단계, 상기 모델은 번역된 부분 전사 입력의 일부가 안정적인지 여부를 결정하며, 부분 전사 입력에 대한 시간 간격보다 늦은 시간 간격까지 상기 번역된 부분 전사 입력의 일부가 기록된 오디오의 다른 번역된 부분 전사로 변경될 것으로 예상되지 않는 경우 상기 번역된 부분 전사 입력의 일부는 안정적이며; 상기 모델에 의해, 번역된 부분 전사 입력에 기초하여, 상기 번역된 부분 전사의 일부를 안정적인 것으로 식별하는 단계; 및 상기 번역된 부분 전사의 일부를 안정적인 것으로 식별하는 것에 응답하여, 상기 식별을 사용하여 사용자 디바이스 상에 디스플레이하기 위해 상기 번역된 부분 전사의 일부를 제공하는 단계를 포함한다. 이 양태의 다른 실시예들은 상기 방법들의 액션들을 수행하도록 구성된 대응 시스템들, 디바이스들, 장치들 및 컴퓨터 프로그램들을 포함한다. 컴퓨터 프로그램들(예를 들어, 명령어들)은 컴퓨터 저장 디바이스에 인코딩될 수 있다.

이들 또는 다른 실시예들은 다음 구성들 중 하나 이상을 각각 선택적으로 포함할 수 있다.

일부 구현예에서, 상기 모델은 상기 제1 언어로 기록된 하나 이상의 트레이닝 오디오 데이터 파일로부터 생성된 전사의 번역에 기초하여 트레이닝될 수 있다.

일부 구현예에서, 하나 이상의 트레이닝 오디오 데이터 파일로부터 생성된 전사는, 각 트레이닝 오디오 데이터 파일에 대해, 오디오 데이터 파일의 복수의 부분 전사를 포함할 수 있고, 트레이닝 오디오 데이터 파일의 각 부분 전사는 복수의 연속적인 시간 간격 중 각각의 시간 간격에서 생성되고, 각 부분 전사는 (1) 오디오의 시작부터 특정 시간 간격까지의 오디오의 전사이고 (2) 제1 언어로 된 것이다.

일부 구현예에서, 상기 모델은 안정적인 하나 이상의 오디오 데이터 파일 중 각각의 오디오 데이터 파일의 각각의 번역된 부분 전사의 일부를 식별하는 안정성 값에 기초하여 트레이닝될 수 있다.

일부 구현예에서, 각 안정성 값은 하나 이상의 오디오 데이터 파일 중 각각의 오디오 데이터 파일에 대한 각각의 번역된 부분 전사 및 다른 번역된 부분 전사의 단어 포지션을 사용하여 생성될 수 있다.

일부 구현예에서, 방법은 안정적일 것으로 예상되는 부분 전사에서 단어의 시퀀스를 식별하도록 모델을 트레이닝하는 단계를 포함할 수 있고, 상기 트레이닝은: 트레이닝 오디오 데이터 파일을 획득하는 단계; 상기 트레이닝 오디오 데이터 파일로부터, 상기 제1 언어로 기록된 오디오를 포함하는 복수의 트레이닝 오디오 데이터 파일을 식별하는 단계; 상기 복수의 트레이닝 오디오 데이터 파일의 각 트레이닝 오디오 데이터 파일에 대해: 복수의 연속적인 시간 간격으로 상기 트레이닝 오디오 데이터 파일에서 오디오의 부분 전사를 생성하는 단계, 각 부분 전사는 (1) 오디오의 시작부터 특정 시간 간격까지의 오디오의 전사이고, (2) 제1 언어로 된 것이며; 및 오디오의 시작과 관련하여 가장 이른 것부터 가장 늦은 것까지 정렬된 부분 전사의 시간순 목록을 생성하는 단계; 및 부분 전사의 시간순 목록에 대응하는 번역된 부분 전사의 시간순 목록을 생성하는 단계, 상기 부분 전사의 시간순 목록에 대응하는 번역된 부분 전사의 시간순 목록을 생성하는 단계는: 부분 전사의 시간순 목록에서 각 부분 전사에 대해, 상기 부분 전사를 타겟 언어로 번역하는 단계; 번역된 부분 전사의 시간순 목록에서 제1 번역된 부분 전사로 시작하여, 각 번역된 부분 전사에 대해: 상기 번역된 부분 전사 및 다른 번역된 부분 전사에서 단어의 포지션을 사용하여, 안정적인 번역된 부분 전사의 일부를 식별하는 안정성 값을 생성하는 단계; 및 상기 번역된 부분 전사를 모델의 입력으로 사용하고 상기 안정성 값을 번역 안정성 모델의 출력으로 사용하여 모델을 트레이닝하는 단계를 포함할 수 있다.

일부 구현예에서, 안정성 값을 생성하는 단계는 번역된 부분 전사의 각 단어에 대한 정확성 확률을 계산하는 단계를 포함하며, 상기 정확성 확률은 번역된 부분 전사의 특정 포지션에 있는 단어가 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나타나는 하나 이상의 다른 번역된 부분 전사의 특정 포지션에서 나타날 확률을 측정하며; 및 번역된 부분 전사의 각 단어에 대한 정확성 확률을 사용하여, 번역된 부분 전사에 대한 안정성 값을 생성하는 단계를 포함할 수 있다.

일부 구현예에서, 번역된 부분 전사의 각 단어에 대한 정확성 확률을 계산하는 단계는: 번역된 부분 전사의 각 단어에 대해: 번역된 부분 전사에서 단어의 특정 포지션을 결정하는 단계; 제1 값을 계산하는 단계, 상기 제1 값은 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나열되는 부분 번역된 전사의 수이며; 제2 값을 계산하는 단계, 상기 제2 값은 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나타나는 번역된 부분 전사의 특정 포지션에서 단어가 나타나는 횟수를 지정하며; 및 상기 단어의 정확성 확률을 획득하기 위해 상기 제2 값을 상기 제1 값으로 나누는 단계를 포함할 수 있다.

일부 구현예에서, 상기 안정성 값을 생성하는 단계는 번역된 부분 전사의 각 단어에 대한 변경 빈도 메트릭을 계산하는 단계, 상기 변경 빈도 메트릭은 번역된 부분 전사의 특정 포지션에 있는 단어가 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나열된 번역된 부분 전사의 특정 포지션에서 변경되는 횟수를 측정하며; 및 번역된 부분 전사의 각 단어에 대한 변경 빈도 메트릭을 사용하여 번역된 부분 전사에 대한 안정성 값을 생성하는 단계를 포함할 수 있다.

일부 구현예에서, 상기 안정성 값을 생성하는 단계는: 부분 전사의 각 단어에 대한 마지막과 같음 메트릭(equal-to-last metric)을 계산하는 단계, 마지막과 같음 메트릭은 부분 전사에서 단어의 포지션이 번역된 부분 전사의 시간순 목록에서 마지막에 나타나는 부분 전사의 단어의 포지션과 동일한지 여부를 식별하며; 및 번역된 부분 전사의 각 단어에 대해 마지막과 같음 메트릭을 사용하여 번역된 부분 전사에 대한 안정성 값을 생성하는 단계를 포함할 수 있다.

일반적으로, 본 명세서에 기술된 발명의 다른 혁신적 양태는 방법에 포함될 수 있으며, 상기 방법은: 오디오 데이터 스트림을 획득하는 단계; 상기 오디오 데이터 스트림의 오디오가 기록되는 제1 언어를 결정하는 단계; 복수의 연속적인 시간 간격으로 상기 오디오의 부분 전사를 생성하는 단계, 각 부분 전사는 (1) 오디오의 시작부터 특정 시간 간격까지의 오디오의 전사이고, (2) 제1 언어로 된 것이며; 각 연속적인 특정 부분 전사에 대해: 상기 특정 부분 전사를 타겟 언어로 번역하는 단계; 및 번역된 특정 부분 전사의 각 단어에 대해, 번역된 특정 부분 전사의 단어 포지션이 번역된 특정 부분 전사에 선행하는 번역된 부분 전사 세트 내의 번역된 부분 전사의 임계수에서 단어의 포지션과 일치하는지 여부를 결정함으로써 단어에 대한 안정성 값을 계산하는 단계; 번역된 특정 부분 전사의 단어에 대한 계산된 안정성 값을 사용하여 번역된 특정 부분 전사에 대한 안정성 값을 생성하는 단계, 상기 번역된 특정 부분 전사에 대한 안정성 값은 안정적인 특정 번역된 부분 전사의 일부를 식별하며; 및 상기 안정성 값을 생성하는 것에 응답하여, 번역된 특정 부분 전사의 일부를 사용자 디바이스에 디스플레이하기 위해 제공하는 단계를 포함할 수 있다. 이 양태의 다른 실시예들은 상기 방법들의 액션들을 수행하도록 구성된 대응 시스템들, 디바이스들, 장치들 및 컴퓨터 프로그램들을 포함한다. 컴퓨터 프로그램들(예를 들어, 명령어들)은 컴퓨터 저장 디바이스에 인코딩될 수 있다.

본 명세서에 기술된 본 발명의 특정한 실시예들은 다음의 이점들을 실현하도록 구현될 수 있다. 본 명세서에 설명된 혁신은 실시간으로 오디오 스트림을 번역할 때 기존의 실시간 번역 시스템에서 일반적으로 발생하는 번역 플릭커를 감소시킨다. 이러한 감소된 번역 플릭커를 달성하기 위해, 본 명세서에 기술된 기법은 실시간 번역에서 안정적인 것으로 결정된 부분만 디스플레이한다(본 명세서에 기술된 바와 같이, 오디오 스트림의 추가 부분이 수신되고 번역될 때 변경될 것으로 예상/예측되지 않은 번역을 지칭한다).

또한, 본 명세서에서 설명된 기법은 번역을 생성하기 전에 특정 지연을 적용하는 기존의 실시간 번역 시스템에 비해 프로세싱 시간이 더 빠르다. 특히, 그러한 기존 시스템은 현재 시스템보다 번역된 텍스트를 생성하는데 더 오랜 시간을 기다린다. 따라서 이러한 지연 기반 기존 시스템은 다른 기존 시스템보다 더 높은 정확도 및/또는 더 낮은 번역 플리커를 달성하지만, 그 정확도는 더 긴 지연의 댓가이며, 이는 더 빠른 실시간 번역 출력이 필요한 설정에서는 실현 가능하지 않을 수 있다. 대조적으로, 본 명세서에 설명된 안정성 기반 기법은 지연 기반 기존 시스템에 달리 존재하는 지연을 최소화하지만, 그러한 기존 시스템과 유사하거나 아마도 더 나은 안정성/감소된 번역 플리커를 제공하면서 그렇게 한다.

본 명세서에서 추가로 설명되는 일 구현예에서, 모델(예를 들어, 지도 기계 학습 모델)은 안정적인 입력 오디오 스트림의 번역된 부분의 부분을 예측하는데 사용되며, 이는 차례로 디스플레이할 번역의 부분을 결정하는데 사용된다. 기존 시스템에서 수행될 수 있는 이미 번역된 텍스트로 모델을 트레이닝하는 대신, 본 명세서에 기술된 모델 트레이닝 기법은 전사된 다음 번역되는 실제 오디오 파일/스트림을 사용한다. 트레이닝 데이터를 선별하기 위해 실제 오디오를 사용하면 사람(또는 다른 개체)이 말하거나 소리를 내는 다양한 오디오 시나리오를 사용하여 트레이닝되기 때문에 모델이 (기존 시스템보다) 더 강력하다. 또한, 번역 중(예: 잘못된 번역 생성) 및/또는 오디오 전사(예: 하나 이상의 단어를 잘못 전사) 중에 도입되었을 수 있는 번역 오류는 모델 트레이닝 중에 전파된다. 예를 들어, 오디오 파일의 전사는 컨텍스트 정보를 사용하여 더 많은 오디오 데이터가 수신됨에 따라 전사를 지속적으로 업데이트할 수 있다. 오디오를 사용하여 트레이닝 데이터를 선별함으로써, 모델은 오디오 신호를 모델로 전사하는데 있어 불확실성을 효과적으로 통합할 수 있다. 결과적으로 모델은 잠재적으로 오류가 있는 트레이닝 데이터를 사용하여 트레이닝되며, 이는 실제로 번역이 수행되는 방식을 모방할 뿐만 아니라 번역의 안정성을 결정할 때 이러한 시스템 오류를 수용하도록 모델이 트레이닝되도록 한다.

또한, 본 명세서에서 설명된 모델 기반 기법은 트레이닝을 위해 이전에 라벨링된 데이터를 필요로 하지 않으며, 이러한 라벨을 얻거나 생성하는데 상당한 리소스가 필요하지 않다. 대신, 본 명세서에 설명된 기법은 획득한 오디오 트레이닝 데이터에 대한 트레이닝 라벨을 생성할 때 제한된 컴퓨터 프로세싱을 필요로 하는 간단한 규칙 세트를 활용한다.

본 명세서에서 추가로 설명된 다른 구현예에서, 알고리즘은 오디오 스트림의 이전 시간으로부터의 하나 이상의 이전 번역이 특정 번역에서와 같이 동일한 위치(들)에서 번역의 해당 부분에 포함되는지 여부에 기초하여 특정 번역의 안정적 부분을 예측하는데 사용된다. 이 기법은 모델을 트레이닝, 구축 및 저장하는데 필요한 것보다 적은 컴퓨팅 리소스(예: 프로세서 및 메모리 요구 사항)가 필요하기 때문에 모델 기반 기법보다 리소스 효율적이다.

본 명세서에서 본 발명의 하나 이상의 실시예들의 세부 사항은 첨부 도면과 아래의 설명에서 기술된다. 본 발명의 다른 구성들, 양태들 및 이점들은 설명, 도면 및 청구항으로부터 명백해질 것이다.

도 1은 기존의 실시간 번역 시스템에서 생성된 실시간 번역의 예시적 출력을 도시한다.
도 2는 소스 언어의 입력 오디오 스트림이 실시간으로 타겟 언어로 텍스트 번역되는 예시적 환경의 블록도이다.
도 3은 소스 언어로 기록된 입력 오디오 스트림의 실시간 텍스트 번역을 타겟 언어로 생성하기 위한 예시적 프로세스의 흐름도이다.
도 4는 번역된 부분 전사의 예시 목록과 도 2의 시스템에 의해 생성된 번역된 부분 전사에 대한 대응하는 안정성 값을 도시한다.
도 5는 도 2, 3 및 4를 참조하여 설명된 번역 안정성 모델을 트레이닝하기 위한 예시적 환경의 블록도이다.
도 6은 도 2, 3, 4 및 5를 참조하여 설명된 번역 안정성 모델을 트레이닝하기 위한 예시적 프로세스의 흐름도이다.
도 7는 소스 언어의 입력 오디오 스트림이 실시간으로 타겟 언어로 텍스트 번역되는 예시적 환경의 블록도이다.
도 8는 예시적 컴퓨터 시스템의 블록도이다.
다양한 도면들에서 동일한 참조 번호 및 기호는 동일한 컴포넌트를 표시한다.

본 명세서는 일반적으로 소스 언어로 기록된 입력 오디오 데이터 스트림의 타겟 언어로 안정적인 실시간 텍스트 번역을 생성하는 것과 관련된다.

아래에 요약되고 본 명세서 전체에 걸쳐 더 자세히 설명된 바와 같이, 실시간 번역기는 오디오 스트림을 수신하고 타겟 언어로 오디오 스트림의 안정적인 실시간 텍스트 번역을 생성한다. 본 명세서에서 사용되는 바와 같이, 안정적인 실시간 텍스트 번역은 실시간 번역이 오디오 스트림의 나중 부분에 대해 생성될 때(즉, 특정 시간 간격 후 발생한 시간 간격에 대한 스트림의 시작으로부터의 오디오 스트림의 부분) 변경될 것으로 예상/예측되지 않는 오디오 스트림의 제1 부분의 번역이다(즉, 특정 시간 간격에 대한 오디오 스트림의 시작).

오디오 스트림(또는 이 스트림의 일부)을 수신하면, 실시간 번역기는 오디오 스트림이 기록된 제1 언어(소스 언어라고도 함)를 결정한다. 실시간 번역기는 오디오 스트리밍 중에 여러 연속 시간 간격으로 오디오 스트림의 부분적 전사를 생성한다. 본 명세서에서 사용된 바와 같이, 부분 전사는 (1) 오디오의 시작부터 특정 시간 간격까지의 오디오의 전사이고, (2)는 제1 언어로 되어 있다. 그런 다음, 각 부분 전사에 대해, 실시간 번역기는 제1 언어와 다른 제2 언어(이 명세서에서는 타겟 언어라고도 함)로 부분 전사의 텍스트 번역을 생성한다.

번역된 각 부분 전사에 대해, 실시간 번역가는 번역된 부분 전사의 일부(번역된 부분 전사의 일부 또는 전체를 포함할 수 있음)가 안정적인지 여부 즉, 부분 전사 입력에 대한 시간 간격보다 늦은 시간 간격까지 상기 번역된 부분 전사가 기록된 오디오의 다른 번역된 부분 전사로 변경될 것으로 예상되지 않는지 여부를 결정한다.

실시간 번역기는 몇 가지 다른 방법으로 이 안정성을 결정할 수 있다. 일부 구현예에서, 실시간 번역기는 번역된 부분 전사 입력의 안정적인 부분을 식별하는 안정성 값을 생성하도록 트레이닝된 모델(예를 들어, 지도 또는 비지도 기계 학습 모델)을 사용할 수 있다. 이러한 모델은 번역된 부분 전사(실제 오디오 데이터 파일에서 생성됨) 세트와 번역된 부분 전사에 대한 대응 안정성 값을 사용하여 트레이닝된다. 다른 구현예에서, 실시간 번역기는 특정 번역된 부분 전사의 각 단어의 포지션이 특정 번역된 부분 전사에 선행하는 다른 번역된 부분 전사의 임계수에서 해당 단어의 포지션과 일치하는지 여부를 결정함으로써 특정 번역된 부분 전사의 안정성 값을 계산한다. 전사/번역의 각 단어는 다른 언어의 토큰으로 일반화될 수 있다.

안정적인 것으로 식별된 번역된 부분 전사의 일부를 식별하는 생성된 안정성 값을 사용하여, 실시간 번역기는 번역된 부분 전사의 해당 부분만 디스플레이하도록 제공한다.

실시간 번역기의 상술한 구성과 추가적 구성은 도 2-8을 참조하여 아래에서 더 설명된다.

도 2는 소스 언어의 입력 오디오 스트림이 실시간으로 타겟 언어로 텍스트 번역되는 예시적 환경(200)의 블록도이다.

실시간 번역기(204)(도 2에 도시됨)는 입력 오디오 스트림(202)의 실시간 번역을 생성한다. 입력 오디오 스트림(202)은 다수의 소스로부터 수신될 수 있다. 예를 들어, 오디오 스트림(202)은 사용자 디바이스에 저장된 음성 레코딩 또는 오디오 파일일 수 있다. 다른 예로서, 오디오 스트림(202)은 서버 또는 클라우드 서비스로부터 네트워크를 통해 획득될 수 있다.

일부 구현예에서, 사용자 디바이스의 사용자는 오디오 스트림(202)의 실시간 번역들을 생성하기 위해 실시간 번역기(204)에 요청을 보낼 수 있다. 이러한 요청은 오디오 스트림(202)을 포함할 수 있거나 대안적으로 오디오 스트림(202)을 획득하기 위해 실시간 번역기(204)에 의해 사용될 수 있는 오디오 스트림(202)의 위치 또는 소스를 식별할 수 있다.

실시간 번역기(204)는 다수의 컴포넌트 (1) 언어 검출기(206); (2) 전사기(208); (3) 번역기(210); (4) 번역 모델(212); 및 (5) 디스플레이 엔진(214)을 포함하는 데이터 프로세싱 장치이다. 이들 컴포넌트 각각은 또한 본 명세서에서 추가로 설명되는 데이터 프로세싱 장치이다. 이들 컴포넌트가 실시간 번역기(204)의 일부인 것으로 도시되어 있지만, 대안적 구현예에서, 이들 컴포넌트 중 하나 이상이 별도로 구현될 수 있다. 또한 이들은 별도의 컴포넌트로 도시되지만, 이러한 컴포넌트 중 하나 이상이 하나의 컴포넌트로 결합될 수 있다. 예를 들어, 전사기(208) 및 언어 검출기(206)는 단일 컴포넌트로 구현될 수 있다. 이러한 각 컴포넌트의 구조와 동작은 도 3을 참조하여 설명된다.

일부 구현예에서, 실시간 번역기(204)는 사용자 디바이스에 로컬적으로 상주하는 단일 소프트웨어 패키지로서 구현될 수 있다. 사용자 디바이스는 일반적으로 네트워크(108)를 통해 데이터의 송수신을 지원하기 위한 웹 브라우저와 같은 사용자 애플리케이션을 포함하지만, 클라이언트 디바이스(102)에 의해 실행되는 네이티브 애플리케이션(native application)도 네트워크(108)를 통해 콘텐츠의 송수신을 지원할 수 있다. 또는 실시간 번역기는 클라우드 또는 네트워크(예: LAN(Local Area Network), WAN(Wide Area Network), 인터넷 또는 이들의 조합)를 통해 사용자 디바이스가 엑세스가능한 서버에 배치될 수 있다.

도 3은 소스 언어로 기록된 입력 오디오 스트림의 실시간 텍스트 번역을 타겟 언어로 생성하기 위한 예시적 프로세스(300)의 흐름도이다. 프로세스(300)의 동작은 도 2의 실시간 번역기(204)(및 그 컴포넌트)를 참조하여 아래에서 예시적으로 설명된다. 프로세스(300)의 동작은 임의의 적절한 디바이스 또는 시스템, 예를 들어 임의의 적절한 데이터 프로세싱 장치에 의해 수행될 수 있다. 프로세스(300)의 동작은 또한 비일시적 컴퓨터 판독가능 매체에 저장된 명령어로서 구현될 수 있다. 명령어의 실행은 하나 이상의 데이터 프로세싱 장치로 하여금 프로세스(300)의 동작을 수행하게 한다.

실시간 번역기(204)는 오디오 데이터 스트림을 획득한다(302에서). 도 2를 참조하여 설명된 바와 같이, 입력 오디오 스트림(202)은 다수의 소스로부터 수신될 수 있다. 예를 들어, 오디오 스트림(202)은 사용자 디바이스에 저장된 음성 레코딩 또는 오디오 파일일 수 있다. 다른 예로서, 오디오 스트림(202)은 서버 또는 클라우드 서비스로부터 네트워크를 통해 획득될 수 있다.

언어 검출기(206)는 오디오 데이터 스트림의 오디오가 기록되는 제1 언어를 결정한다(304에서). 일부 구현예에서, 언어 검출기(206)는 오디오가 기록되는 제1 언어를 식별하는 태그를 검색하기 위해 오디오 스트림(202)에 포함된 메타데이터를 파싱한다. 대안적으로, 그러한 언어 식별자는 입력 오디오 스트림을 번역하기 위한 사용자 디바이스에 의한 요청에 포함될 수 있다. 그러한 언어 식별 태그가 오디오 스트림(202)에 포함되면(또는 그렇지 않으면 요청에 포함됨), 언어 검출기(206)는 오디오가 기록되는 제1 언어를 식별하는 이 태그와 연관된 데이터를 획득한다. 오디오 스트림 또는 파일이 이러한 언어 식별 태그를 포함하지 않는 경우, 언어 검출기(206)는 입력 오디오 스트림(202)의 특정 부분(예를 들어, 오디오의 특정 시간 간격(예를 들어, 1-3초)에 대응하는 부분)을 분석하여, 해당 부분에 대응하는 오디오가 기록되는 소스 언어를 결정한다. 일부 구현예에서, 이를 달성하기 위해, 언어 검출기(206)는 입력 오디오 스트림 또는 파일의 일부를 상이한 타겟 언어와 연관된 알려진 서명의 저장소와 비교할 수 있다. 일부 구현예에서, 언어 검출기(206)는 오디오의 특정 스니펫이 기록되고 오디오 스니펫 세트 및 각 오디오 스니펫이 기록된 언어를 식별하는 대응 라벨 세트를 사용하여 트레이닝되는 언어를 식별하는 잔여 신경망(RNN)(또는 다른 적절한 통계 모델)과 같은 기계 학습 모델을 포함할 수 있다.

전사기(208)는 오디오 스트림 동안 연속적인 시간 간격으로 오디오의 부분 전사를 생성한다(306에서). 일부 구현예에서, 전사기(208)는 자동화된 음성 인식(ASR) 알고리즘 또는 다른 적절한 오디오-텍스트 전사 서비스를 사용하여 구현된다. 오디오 스트림의 완전한 전사를 생성하기 전에 전체 오디오 스트림이 수신될 때까지 기다리는 기존의 ASR 알고리즘과 달리, 전사기(208)를 구현하는데 사용되는 알고리즘은 오디오 스트림 또는 재생의 연속적인 시간 간격(고정 시간, 예를 들어, 매 1-2초 또는 가변 시간)으로 오디오의 부분 전사를 생성한다. 본 명세서에서 사용된 바와 같이, 오디오의 부분 전사는 (1) 오디오의 시작부터 오디오에서 특정 시간 간격까지의 오디오의 전사이고, (2)는 오디오가 기록된 언어인 제1 언어로 되어 있다. 다시 말해서, 각각의 연속적인 시간 간격에서, 전사기(208)는 오디오의 시작부터 해당 특정 연속적인 시간 간격의 끝까지 오디오의 부분적인 전사를 생성한다.

도 2에 도시된 바와 같이, 전사기(208)는 타임라인에 도시된 각각의 시간 간격(T1 내지 TN)에서 오디오 스트림(202)의 오디오(TR1(208-1) 내지 TRN (208-N))의 부분 전사를 생성한다. 이와 같이, 전사기(208)는 시간 T1에 대한 부분 전사 TR1(208-1)을 생성하는데, 이는 오디오의 시작(시간 T0)으로부터 시간 T1까지의 오디오의 전사이다. 유사하게, 전사기(208)는 시간 T2에 대한 부분 전사 TR2(208-2)를 생성하는데, 이는 오디오의 시작(시간 T0)으로부터 시간 T2까지의 오디오의 전사이다. 다른 예로서, 전사기(208)는 시간 TN에 대한 부분 전사 TRN(208-N)을 생성하며, 이는 오디오의 시작(시간 T0)부터 시간 TN까지의 오디오의 전사이다.

각 부분 전사에 대해 다음의 동작(동작 308, 310, 312, 314)이 반복적으로 수행된다. 일부 구현예에서, 이러한 동작은 제1 부분 전사(TR1)로 시작하여 각각의 후속하는 연속적인 부분 전사(TR2, TR3 ...TRN)로 계속 수행된다.

번역기(210)는 부분 전사를 제1 언어와 다른 제2 언어로 번역한다(308에서). 번역기(210)는 소스 언어(즉, 제1 언어)의 텍스트를 타겟 언어(즉, 제2 언어)로 번역하는 종래의 기계 번역 서비스를 이용하여 구현될 수 있다. 일부 구현예에서, 번역기(210)는 제1/소스 언어로 된 각 부분 전사(전사기(208)에 의해 생성됨)를 입력으로서 수용한다. 이러한 부분 전사 각각에 대해, 번역기(210)는 타겟 언어의 부분 전사의 텍스트 번역을 생성한다. 도 2에 도시된 바와 같이, 번역기(210)는 부분 전사(TR1 208-1 내지 TRN 208-N)를 사용하여 대응하는 번역된 부분 전사(L1 210-1 내지 LN 210-N)를 생성한다.

실시간 번역기(204)는 번역된 부분 전사(동작 308에서 생성됨)를 번역 안정성 모델(212)에 입력한다(310에서). 번역 안정성 모델(212)은 번역된 부분 전사를 입력으로 받아들이고, 안정적인 (즉, 번역된 후속 번역된 부분(또는 전체) 전사(즉, 번역된 부분 전사 입력에 대한 시간 간격 이후의 시간 간격에 대한 다른 번역된 전사)에서 변경될 것으로 예상/예측되지 않는 부분 전사 입력의 부분) 번역된 부분 전사 입력의 일부를 식별하는 안정성 값을 출력한다. 일부 구현예에서, 번역 안정성 모델(212)에 의해 출력된 안정성 값은 번역된 부분 전사에서 안정적인 단어의 수를 표시한다. 예를 들어, 10개 단어를 포함하는 번역된 부분 전사에 대해, 안정성 값 5는 번역된 부분 전사의 처음 5개 단어가 안정적임을 표시한다.

일부 구현예에서, 번역 안정성 모델(212)은 RNN(예를 들어, 지도 또는 비지도 모델)과 같은 기계 학습 모델로서 구현될 수 있다. 대안적으로, 번역 안정성 모델(212)은 규칙 기반 엔진 또는 다른 적절한 통계 모델로서 구현될 수 있다. 번역 안정성 모델(212)이 지도 기계 학습 모델(예를 들어, 순환 신경망)로서 구현될 때, 번역된 부분 전사의 세트 및 번역된 부분 전사에 대한 대응하는 안정성 값 세트를 사용하여 트레이닝될 수 있다. 번역 안정성 모델(212)의 트레이닝에 관한 추가 세부사항 및 예시는 도 5 및 6를 참조하여 설명된다.

동작(308)에서 번역 안정성 모델(212)로의 번역된 부분 전사 입력에 응답하여 번역 안정성 모델(212)은 (312에서) 안정적일 것으로 예상/예측되는 번역된 부분 전사의 일부를 식별하는 안정성 값을 식별한다(그리고 실시간 번역기(202)는 모델(212)로부터 획득). 이것은 도 2에 추가로 설명되어 있다. 예를 들어, 도 2는 번역 안정성 모델(212)이 처음 두 개의 번역된 부분 전사(L1 210-1 및 L2 210-2)에 대해 0의 안정성 값을 출력하고, 세 번째 및 네 번째 번역된 부분 전사(L3 210-3 및 L4 210-4)에 대해 4의 안정성 값을 출력함을 도시한다.

안정적인 것으로 예상/예측되는 번역된 부분 전사의 일부의 식별에 응답하여, 실시간 번역기(204)는 디스플레이를 위해 번역된 부분 전사의 일부를 제공한다(314에서). 일부 구현예에서, 번역 안정성 모델(212)은 안정성 값을 출력하고, 이 값 뿐만 아니라 대응하는 번역된 부분 전사를 디스플레이 엔진(214)에 제공한다. 디스플레이 엔진(214)은 번역된 부분 전사 및 대응하는 안정성 값을 사용하여 안정성 값이 안정적인 것으로 식별하는 번역된 부분 전사의 일부만을 디스플레이하도록 제공한다. 예를 들어, (1) 번역된 부분 전사가 10개 단어를 포함하고 (2) 번역된 부분 전사의 처음 5개 단어가 안정적일 것으로 예상됨을 나타내는 안정성 값이 5인 경우, 디스플레이 엔진(214)은 번역된 부분 전사의 처음 다섯 단어만을 디스플레이하기 위해 제공한다. 예를 들어, 그리고 도 2에 도시된 바와 같이, 네 번째 번역된 부분 전사(L4)는 4의 안정성 값을 가지며, 따라서 디스플레이 엔진(214)은 이 번역된 부분 전사의 처음 4개 단어만을 제공할 것이다. 이는 도 4을 참조하여 추가로 설명된다.

동작(308-314)은 실시간 번역기(204)가 전체 오디오 스트림(202)을 전사 및 번역하고 디스플레이를 위해 번역의 예상되는 안정적인 부분을 제공할 때까지 계속된다. 이러한 방식으로, 실시간 번역기(204)는 제1/소스 언어로 기록된 입력 오디오 스트림의 실시간 텍스트 번역(제2/타겟 언어로)을 생성할 때 안정성 값을 사용한다.

도 4는 번역된 부분 전사의 예시 목록과 도 2의 실시간 번역기에 의해 생성된 번역된 부분 전사에 대한 대응하는 안정성 값을 도시한다.

참조(404)는 번역된 부분 전사를 도시하고, 참조(402)는 번역된 부분 전사 각각에 대한 안정성 값을 도시한다. 번역된 부분 전사는 스페인어로 되어 있지만, 부분 전사 및 그 번역은 다른 언어일 수 있다(즉, 본 명세서에 설명된 기법은 여러 언어 쌍 간의 번역에 적용됨). 흰색 텍스트가 있는 검은색 강조 표시는 번역 안정성 모델(212)에 의해 불안정한 것으로 결정된 텍스트를 표현하며, 따라서 디스플레이를 위해 제공되지 않는다(또는 숨겨진다). 반면에, 강조 표시가 없는 검은색 텍스트는 번역 안정성 모델(212)에 의해 안정적인 것으로 결정된 텍스트를 표현하며, 따라서 디스플레이를 위해 제공된다.

다음 단락에서, 처음 5개의 번역된 부분 전사 및 해당 안정성 값(도 4에 도시됨)은 디스플레이 엔진(214)에 의해 디스플레이를 위해 제공되는 것을 설명하기 위한 예로서 사용된다.

도 4에 도시된 처음 3개의 번역된 부분 전사("soy", "yo no" 및 "no soy vidente")는 안정성 값이 0이며, 이는 이러한 번역된 부분 전사의 단어 중 어느 것도 안정적일 것으로 예상되지 않음을 표시한다. 따라서, 이러한 번역된 부분 전사의 경우, 디스플레이 엔진(214)은 번역된 부분 전사의 단어를 디스플레이하기 위해 제공하지 않는다.

네 번째로 번역된 부분 전사("no soy vidente divisores de cajones con dicho")의 안정성 값은 3이며, 이는 번역된 부분 전사의 처음 세 단어가 안정적일 것으로 예상됨을 표시한다. 따라서, 디스플레이 엔진(214)은 이 번역된 부분 전사의 처음 세 단어("no soy vidente")를 디스플레이하기 위해 제공한다.

다섯 번째 부분 전사("no soy vidente divisors de cajones con dichoes")의 안정성 값은 8이며, 이는 번역된 부분 전사의 처음 8개 단어가 안정적일 것으로 예상됨을 표시한다. 따라서, 디스플레이 엔진(214)은 이 번역된 부분 전사의 처음 8개 단어("no soy vidente divisors de cajones con dicho")를 디스플레이하기 위해 제공한다.

도 5는 도 2, 3 및 4를 참조하여 설명된 번역 안정성 모델(212)을 트레이닝하기 위한 예시적 환경(500)의 블록도이다.

환경(500)은 오디오 스트림으로부터 획득된 번역된 부분 전사 입력에 대한 안정성 값을 생성하기 위해, 예를 들어 지도 기계 학습 모델로서 구현될 수 있는 번역 안정성 모델(212)을 트레이닝하는데 사용된다. 안정성 메트릭 생성기(504)를 제외하고 도 5에 도시된 실시간 번역기(204)의 모든 컴포넌트(및 연관된 구조 및 이들 컴포넌트에 의해 수행되는 동작)는 도 2-4를 참조하여 설명된 실시간 번역기(204)의 동명 컴포넌트와 동일하다.

일부 구현예에서, 번역 안정성 모델의 트레이닝에 사용되는 오디오 트레이닝 데이터를 선별하는데 임의의 오디오 발화가 사용될 수 있다. 다양한 오디오 트레이닝 데이터 세트를 선별하면, 사람(또는 다른 개체)이 말하거나 소리를 내는 다양한 오디오 시나리오를 사용하여 모델을 트레이닝할 수 있다.

더욱이, 실제(즉, 정확성에 대해 검증된) 번역된 부분 전사는 일반적으로 트레이닝에서 사용되지 않는다. 오히려, 번역 안정성 모델은 바람직하게는 번역기(210) 생성 번역된 부분 전사를 사용하여 트레이닝되고, 이는 차례로 전사기(208) 생성 부분 전사로부터 생성된다. 생성되고 번역된 부분 전사는 번역기(210)(예를 들어, 부정확한 번역을 생성함) 및/또는 전사기(208)(예를 들어, 하나 이상의 단어를 부정확하게 전사함)에 의해 도입되었을 수 있는 오류를 가질 수 있다. 이와 같이, 그러한 잠재적으로 오류가 있는 트레이닝 데이터에 대해 번역 안정성 모델(212)을 트레이닝하는 것은 모델이 안정성 값을 결정할 때 그러한 시스템 오류를 수용하도록 트레이닝되는 것을 보장한다.

아래에서 더 자세히 설명되는 바와 같이, 번역 안정성 모델(212)은 타겟/제2 언어로 번역된 부분 전사의 세트 및 각 번역된 부분 전사에 대한 안정성 값을 식별하는 대응하는 라벨 세트를 포함하는 트레이닝 라벨링된 데이터 세트를 사용하여 트레이닝된다. 번역 안정성 모델은 모델(212)의 손실(손실 함수(예: L1, L2 손실)에 의해 특정됨)을 줄이도록 트레이닝된다. 트레이닝 오디오 파일에 대응하는 번역된 부분 전사에 대한 안정성 값은 일반적으로 이미 존재하지 않기 때문에, 안정성 메트릭 생성기(504)는 이러한 번역된 부분 전사에 대한 안정성 값을 생성하는데 사용되며(도 6을 참조하여 아래에서 추가로 설명됨), 그런 다음 트레이닝 중에 라벨로 사용된다.

일부 구현예에서, 안정성 메트릭 생성기(502)는 트레이닝 오디오 데이터 파일들로부터 획득된 번역된 부분 전사에 대한 안정성 값들을 생성하는데 사용되는 규칙들의 세트를 포함하는 규칙 기반 엔진(즉, 데이터 프로세싱 장치의 유형)이다. 안정성 메트릭 생성기(504) 및 번역 안정성 모델(212)의 트레이닝에 관한 추가 세부사항은 도 6을 참조하여 아래에서 설명된다.

도 6은 도 2-5를 참조하여 설명되는 번역 안정성 모델(212)을 트레이닝하기 위한 예시적 프로세스(600)의 흐름도이다. 프로세스(600)의 동작은 도 5의 실시간 번역기(204)를 참조하여 아래에서 예시적으로 설명된다. 프로세스(600)의 동작은 임의의 적절한 디바이스 또는 시스템, 예를 들어 임의의 적절한 데이터 프로세싱 장치에 의해 수행될 수 있다. 프로세스(600)의 동작은 또한 비일시적 컴퓨터 판독가능 매체에 저장된 명령어로서 구현될 수 있다. 명령어의 실행은 하나 이상의 데이터 프로세싱 장치로 하여금 프로세스(600)의 동작을 수행하게 한다.

실시간 번역기(204)는 트레이닝 오디오 데이터 파일을 획득한다(602에서). 위에서 설명된 바와 같이, 실시간 번역기(204)는 기록된 오디오를 저장하는 임의의 소스로부터 트레이닝 오디오 데이터 파일을 획득할 수 있다. 이러한 소스의 예는 도 3을 참조하여 설명된다.

실시간 번역기(204)는 트레이닝 오디오 데이터 파일로부터 제1 언어로 기록된 오디오를 포함하는 복수의 트레이닝 오디오 데이터 파일을 식별한다(604에서). 언어 검출기(206)는 각각의 트레이닝 오디오 데이터 파일이 기록되는 언어를 결정하고(도 2 이상을 참조하여 설명된 것과 동일한 방식으로), 언어 검출기가 제1 언어(소스 언어)로 기록될 것으로 결정한 복수의 트레이닝 오디오 데이터 파일만을 식별한다.

복수의 트레이닝 오디오 데이터 파일의 각 트레이닝 오디오 데이터에 대해 다음의 동작(동작 606 내지 동작 614)이 수행된다.

전사기(208)는 복수의 연속적인 시간 간격으로 트레이닝 오디오 데이터 파일에서 오디오의 부분 전사를 생성한다(606에서). 이 동작은 도 3의 대응 동작(동작 306)을 참조하여 설명한 것과 실질적으로 동일한 방식으로 수행된다. 일부 구현예에서, 전사기(208)는 또한 부분 전사들의 상대적 순서를 결정하는데 사용될 수 있는 각각의 부분 전사에 오디오 순서 식별자를 할당한다. 일부 구현예에서, 오디오 순서 식별자는 부분 전사에 대응하는 오디오의 총 시간을 식별한다. 예를 들어, 오디오 데이터 파일에서 오디오의 2초마다 부분 전사가 생성된다고 가정한다. 이 예에서, 오디오의 처음 2초에 대한 첫 번째 부분 전사에는 2의 오디오 순서 식별자가 할당될 수 있고, 다음 2초 오디오에 대한 두 번째 부분 전사에는 4의 오디오 순서 식별자가 할당될 수 있고(즉, 오디오 시작부터 총 4초 경과), 다음 2초 오디오에 대한 세 번째 부분 전사에는 6의 오디오 순서 식별자가 할당될 수 있다(즉, 오디오 시작부터 경과된 총 6초 경과).

전사기(208)는 부분 전사의 시간순 목록을 생성한다(608에서). 일부 구현예에서, 전사기(208)는 오디오의 시작을 기준으로 가장 이른 것부터 가장 늦은 것까지 부분 전사(동작 606에서 생성됨)를 정렬한다. 일부 구현예에서, 전사기(208)는 부분 전사의 시간순 목록을 생성할 때 오디오 순서 식별자를 사용한다. 이러한 구현예에서, 전사기(208)는 오디오 순서 식별자 및 이들의 대응하는 부분 전사의 목록을 생성하고, 오디오 순서 식별자의 오름차순으로 이 목록을 정렬한다(하나의 부분 전사에 대한 오디오 순서 식별자가 선행 부분 전사에 대한 오디오 순서 식별자보다 크다고 가정함). 따라서 부분 전사의 결과 목록은 오디오의 시작을 참조하여 시간순으로 나열된다.

번역기(210)는 부분 전사의 시간순 목록에 대응하는 번역된 부분 전사의 시간순 목록을 생성한다(610에서). 일부 구현예에서, 부분 전사의 시간순 목록의 각 부분 전사에 대해 번역자는 번역된 부분 전사를 획득하기 위해 부분 전사를 타겟 언어로 번역한다. 이 동작은 도 3를 참조하여 설명된 동작(308)과 실질적으로 동일한 방식으로 수행된다.

다음 동작(동작 612 및 614)은 번역된 부분 전사의 시간순 목록에서 첫 번째 번역된 부분 전사로 시작하여 해당 시간순 목록의 각 연속적인 번역된 부분 전사로 계속되는 각 번역된 부분 전사에 대해 수행된다.

안정성 메트릭 생성기(504)는 안정적인 번역된 부분 전사의 일부를 식별하는 번역된 부분 전사에 대한 안정성 값을 생성한다(612에서). 안정성 값은 다른 방식으로 계산될 수 있으며, 그 각각은 번역된 부분 전사의 단어 및/또는 번역된 부분 전사의 시간순 목록에서 다른 번역된 부분 전사의 포지션을 사용해야 할 수 있다. 안정성 값을 계산하기 위한 몇 가지 다른 기법이 아래에 설명되어 있다.

안정성 값을 계산하는 한 가지 기법은 번역된 부분 전사의 각 단어에 대한 정확성 확률 계산을 기반으로 한다. 정확성 확률은 번역된 부분 전사의 특정 포지션에 있는 단어가 하나 이상의 후속 번역된 부분 전사에서 동일한 포지션에 나타날 확률을 측정한다(즉, 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나타나는 하나 이상의 번역된 부분 전사).

번역된 부분 전사의 단어에 대한 이 정확성 확률을 계산하기 위해, 안정성 메트릭 생성기(504)는 먼저 번역된 부분 전사의 시작(또는 첫 번째 단어)에 대한 해당 단어의 포지션(첫 번째 위치 또는 특정 포지션이라고도 함)을 결정한다. 일부 구현예에서, 안정성 메트릭 생성기(504)는 번역된 부분 전사의 첫 번째 단어로부터 특정 단어까지 단어의 수를 계산한다. 그 다음, 안정성 메트릭 생성기(504)는 제1 값 및 제2 값을 계산한다. 안정성 메트릭은 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나열된 부분 번역 전사의 수를 결정하여 제1 값을 계산한다. 안정성 메트릭 생성기(504)는 후속 번역된 부분 전사에서 특정 단어가 제1 포지션에 나타나는 횟수를 결정함으로써 제2 값을 계산한다(즉, 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나타나는 번역된 부분 전사에서). 안정성 메트릭은 제2 값을 제1 값으로 나누어 각 단어의 정확성 확률을 계산한다.

안정성 메트릭 생성기(504)는 번역된 부분 전사에 대한 안정성 값을 계산하기 위해 번역된 부분 전사의 각 단어에 대한 결과적인 정확성 확률 값을 사용한다. 일부 구현예에서, 안정성 메트릭 생성기(504)는 번역된 부분 전사의 각 단어에 대한 정확성 확률 값을 사용하여 어레이를 생성한다. 이러한 어레이의 위치/포지션은 번역된 부분 전사에서 단어가 나타나는 포지션에 대응하고, 이러한 어레이 포지션에 저장된 데이터는 해당 단어에 대한 정확성 확률 값에 대응한다. 예를 들어, 어레이 포지션 1은 번역된 부분 전사의 첫 번째 단어에 대응하고, 첫 번째 단어에 대한 정확성 확률을 포함할 수 있고, 어레이 포지션 2는 번역된 부분 전사의 두 번째 단어에 대응하고, 두 번째 단어에 대한 정확성 확률을 포함할 수 있는 식이다.

일부 구현예에서, 단어에 대한 정확성 확률이 임계값을 만족하면(예를 들어, 충족하거나 초과하면), 해당 단어는 어레이에서 안정적인 것으로 식별될 수 있다(예를 들어, 1의 단어에 라벨을 할당함으로써). 다른 한편으로, 단어에 대한 정확성 확률이 임계값을 만족하지 않는다면, 해당 단어는 어레이에서 불안정한 것으로 식별될 수 있다(예를 들어, 정확성 확률을 0으로 대체함으로써).

그 다음, 안정성 메트릭 생성기(504)는 첫 번째 불안정한 단어가 식별될 때까지 번역된 부분 전사에서 안정적인 단어의 수를 카운트함으로써 번역된 부분 전사에 대한 안정성 값을 결정한다. 일부 구현예에서 여기에는 어레이의 첫 번째 포지션에서 시작하여 첫 번째 "0"(또는 불안정한 단어를 나타내는 다른 값)을 마주할 때까지 "1"(또는 안정적인 단어를 나타내는 다른 값)의 수를 계산하는 것을 포함한다.

안정성 값을 계산하는 또 다른 기법은 번역된 부분 전사의 특정 포지션에 있는 단어가 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나열된 번역된 부분 전사의 특정 포지션에 나타나지 않는 횟수를 측정하는 변경 빈도 메트릭의 계산에 기반한다.

번역된 부분 전사의 단어에 대한 이 변경 빈도 값을 계산하기 위해, 안정성 메트릭 생성기(504)는 먼저 번역된 부분 전사의 시작(또는 첫 번째 단어)에 대한 해당 단어의 포지션(첫 번째 위치 또는 특정 포지션이라고도 함)을 결정한다(정확성 확률 메트릭을 참조하여 상기 기술된 바와 같이). 그 다음, 안정성 메트릭 생성기(504)는 제1 값 및 제2 값을 계산한다. 안정성 메트릭은 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나열된 부분 번역 전사의 수를 결정하여 제1 값을 계산한다. 안정성 메트릭 생성기(504)는 후속 번역된 부분 전사에서 단어가 특정 포지션에서 변경되는 횟수를 결정함으로써 제2 값을 계산한다(즉, 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나타나는 번역된 부분 전사에서). 안정성 메트릭은 제2 값을 제1 값으로 나누어 각 단어의 변경 빈도를 계산한다.

안정성 메트릭 생성기(504)는 번역된 부분 전사에 대한 안정성 값을 계산하기 위해 번역된 부분 전사의 각 단어에 대한 결과적인 변경 빈도 값을 사용한다. 일부 구현예에서, 안정성 메트릭 생성기(504)는 번역된 부분 전사의 단어에 대한 변경 빈도 값을 사용하여 어레이를 생성한다. 이러한 어레이의 위치/포지션은 번역된 부분 전사에서 단어가 나타나는 포지션에 대응하고, 이러한 어레이 포지션에 저장된 데이터는 해당 단어에 대한 변경 빈도 값에 대응한다. 예를 들어, 어레이 포지션 1은 번역된 부분 전사의 첫 번째 단어에 대응하고, 첫 번째 단어에 대한 변경 빈도를 포함할 수 있고, 어레이 포지션 2는 번역된 부분 전사의 두 번째 단어에 대응하고, 두 번째 단어에 대한 변경 빈도를 포함할 수 있는 식이다. 일부 구현예에서, 단어에 대한 변경 빈도가 임계값을 만족하면(예를 들어, 이하), 해당 단어는 어레이에서 안정적인 것으로 식별될 수 있다(예를 들어, 1의 단어에 라벨을 할당함으로써). 다른 한편으로, 단어에 대한 변경 빈도가 임계값을 만족하지 않는다면, 해당 단어는 어레이에서 불안정한 것으로 식별될 수 있다(예를 들어, 단어에 대한 라벨에 0을 할당함으로써).

그 다음, 안정성 메트릭 생성기(504)는 첫 번째 불안정한 단어가 식별될 때까지 번역된 부분 전사에서 안정적인 단어의 수를 카운트함으로써 번역된 부분 전사에 대한 안정성 값을 결정한다. 일부 구현예에서 여기에는 어레이의 첫 번째 포지션에서 시작하여 첫 번째 "0"(또는 불안정한 단어를 나타내는 다른 값)을 마주할 때까지 "1"(또는 안정적인 단어를 나타내는 다른 값)의 수를 계산하는 것을 포함한다.

안정성 값을 계산하는 또 다른 기법은 번역된 부분 전사에서 단어의 포지션이 번역된 부분 전사의 시간순 목록에서 마지막으로 번역된 부분 전사의 단어의 포지션과 동일한지 여부를 식별하는 마지막과 같음 메트릭을 기반으로 한다.

번역된 부분 전사의 단어에 대한 이 마지막과 같음 메트릭을 계산하기 위해, 안정성 메트릭 생성기(504)는 먼저 번역된 부분 전사의 시작(또는 첫 번째 단어)에 대한 해당 단어의 포지션(첫 번째 위치 특정 포지션이라고도 함)을 결정한다(정확성 확률 메트릭을 참조하여 상기 기술된 바와 같이). 그 다음, 안정성 메트릭 생성기(504)는 특정 단어가 "마지막" 번역된 부분 전사 즉, 번역된 부분 전사의 시간순 목록 끝에 나타나는 번역된 부분 전사의 첫 번째/특정 포지션에 나타나는지 여부를 결정함으로써 제1 값(단어에 대한 마지막과 같음 값이라고도 함)을 계산한다. 단어에 대한 제1 값은 단어가 안정적인지 여부를 표시한다. 일부 구현예에서, 안정성 메트릭 생성기(504)가 특정 단어가 "마지막" 번역된 부분 전사의 첫 번째 포지션에 나타나는 것으로 결정하면, "1"(또는 안정적인 단어를 나타내는 다른 값)을 제1 값에 할당하고; 그렇지 않으면 제1 값에 "0"(또는 불안정한 단어를 나타내는 다른 값)을 할당한다.

안정성 메트릭 생성기(504)는 번역된 부분 전사에 대한 안정성 값을 계산하기 위해 번역된 부분 전사의 각 단어에 대한 마지막과 같음 값을 사용한다. 일부 구현예에서, 안정성 메트릭 생성기(504)는 번역된 부분 전사의 단어에 대한 마지막과 같음 값을 사용하여 어레이를 생성한다. 이러한 어레이의 위치/포지션은 번역된 부분 전사에서 단어가 나타나는 포지션에 대응하고, 이러한 어레이 포지션에 저장된 데이터는 해당 단어에 대한 마지막과 같음 값에 대응한다. 예를 들어, 어레이 포지션 1은 번역된 부분 전사의 첫 번째 단어에 대응하고, 첫 번째 단어에 대한 마지막과 같음 값을 포함할 수 있고, 어레이 포지션 2는 번역된 부분 전사의 두 번째 단어에 대응하고, 두 번째 단어에 대한 마지막과 같음 값을 포함할 수 있는 식이다.

그 다음, 안정성 메트릭 생성기(504)는 첫 번째 불안정한 단어가 식별될 때까지 번역된 부분 전사에서 안정적인 단어의 수를 카운트함으로써 번역된 부분 전사에 대한 안정성 값을 결정한다. 위에서 언급한 바와 같이, 일부 구현예에서, 1의 마지막과 같음 값은 안정적인 단어를 나타내는 반면, 0의 마지막과 같음 값은 불안정한 단어를 나타낸다. 그러한 구현예에서, 번역된 부분 전사에 대한 안정성 값은 어레이의 첫 번째 포지션에서 시작하여 첫 번째 "0"(또는 불안정한 단어를 나타내는 다른 값)을 마주칠 때까지 "1"의 수를 세어 결정된다.

일부 구현예에서, 번역된 부분 전사에 대한 안정성 값을 계산하기 위한 위에서 식별된 기법 중 하나만이 안정성 메트릭 생성기(504)에 의해 사용될 수 있다. 다른 구현예에서, 이들 기법 중 둘 이상이 안정성 값을 계산하는데 사용될 수 있으며, 이 경우 안정성 메트릭 생성기(504)는 이러한 기법 각각을 사용하여 번역된 부분 전사에 대한 안정성 값을 계산한 다음 안정성 값 중 하나를 번역 안정성 모델(212)의 트레이닝에 사용하기 위한 최종 안정성 값으로 선택한다(예를 들어, 가장 낮은 안정성 값 또는 가장 높은 안정성 값).

프로세스(600)로 돌아가서, 실시간 번역기(204)는 번역된 부분 전사 및 동작(612)에서 결정된 안정성 값을 사용하여 번역 안정성 모델(212)을 트레이닝한다(614에서). 일부 구현예에서, 트레이닝은 트레이닝 오디오 데이터 파일 각각의 번역된 부분 전사가 모두 완료될 때까지 계속된다. 대안적으로, 트레이닝은 번역 안정성 모델(212)의 손실이 특정 임계값을 만족(예를 들어, 이하)할 때까지 계속된다.

프로세스(600)를 사용하여 트레이닝되면, 번역 안정성 모델(212)은 입력 번역된 부분 전사의 안정성 값을 식별하기 위해 추론 모드에서 사용될 수 있으며, 이는 차례로 수신된 오디오 스트림의 실시간 번역 동안 디스플레이할 예상/예측된 안정적인 번역된 단어를 결정하는데 사용될 수 있다(도 2-4 참조).

도 7는 소스 언어의 입력 오디오 스트림이 실시간으로 타겟 언어로 텍스트 번역되는 예시적 환경(700)의 블록도이다.

도 2-4를 참조하여 설명된 예시적 환경과 매우 유사하게, 예시적 환경(700)은 계산된 안정성 값을 사용하여 입력 오디오 스트림의 안정적인 실시간 텍스트 번역을 생성하는 시스템을 제공한다. 실제로, 번역 안정성 모델(212)을 제외하고 도 2에 도시된 실시간 번역기(204)의 모든 컴포넌트(및 연관된 구조 및 이들 컴포넌트에 의해 수행되는 동작 - 도 3을 참조하여 설명됨)는 도 7에 도시된 실시간 번역기(204)의 동명의 컴포넌트와 동일하다. 그러나, 도 2에 도시된 번역 안정성 모델(212) 대신에, 도 7의 실시간 번역기(204)는 번역기 비교기(702)를 포함한다. 번역 안정성 모델(212) 및 번역기 비교기(702) 모두 번역된 부분 전사에 대한 안정성 값을 생성하지만, 번역기 비교기(702)는 다른 방식으로 번역된 부분 전사에 대한 안정성 값을 생성한다(아래에서 추가로 설명됨).

번역된 부분 전사에 대한 안정성 값을 계산하기 위해, 번역기 비교기(702)는 먼저 번역된 부분 전사에서 단어의 안정성 값을 계산한다. 이것은 하나 이상의 이전에 번역된 부분 전사(즉, 더 이른 시간 간격에서 끝나는 오디오 스트림의 부분에 대응하는 하나 이상의 번역된 부분 전사)에 나타나는 단어를 사용하여 수행한다. 일부 구현예에서, 번역기 비교기(702)는 번역된 부분 전사에서 단어의 포지션을 식별한다. 따라서, 각각의 단어에 대해, 번역기 비교기(702)는 번역된 부분 전사에서 단어의 포지션을 나타내는 제1 포지션 값을 계산한다(도 6을 참조하여 위에서 제공된 단어의 포지션을 결정하는 설명과 유사함).

그런 다음, 번역된 부분 전사의 각 단어에 대해, 번역기 비교기(702)는 해당 단어가 이전에 번역된 부분 전사의 임계수(이는 1보다 크거나 같은 미리 결정된 숫자일 수 있음)에서 첫 번째 포지션에 나타나는지 여부를 결정하여 해당 단어의 안정성 값을 결정한다. 다시 말해, 번역기 비교기(702)는 번역된 부분 전사에서 단어의 포지션이 번역된 특정 부분 전사에 선행하는 번역된 부분 전사 세트 내에서 번역된 부분 전사의 임계수에서 단어의 포지션과 일치하는지 여부를 결정한다. 번역기 비교기(702)는 단어가 이전에 번역된 부분 전사의 임계수에서 첫 번째 포지션에 나타나는 것으로 결정하면 해당 단어에 "1"(또는 안정적인 단어를 나타내는 다른 값)을 할당하고, 그렇지 않으면 해당 단어에 "0"(또는 불안정한 단어를 나타내는 다른 값)을 할당한다.

번역기 비교기(702)는 번역된 부분 전사에 대한 안정성 값을 계산하기 위해 번역된 부분 전사의 각 단어에 대한 안정성 값을 사용한다. 일부 구현예에서, 번역기 비교기(702)는 번역된 부분 전사의 단어에 대한 안정성 값을 사용하여 어레이를 생성한다. 이러한 어레이의 위치/포지션은 번역된 부분 전사에서 단어가 나타나는 포지션에 대응하고, 이러한 어레이 포지션에 저장된 데이터는 해당 단어에 대한 안정성 값을 식별한다. 예를 들어, 어레이 포지션 1은 번역된 부분 전사의 첫 번째 단어에 대응하고, 첫 번째 단어에 대한 안정성 값을 포함할 수 있고, 어레이 포지션 2는 번역된 부분 전사의 두 번째 단어에 대응하고, 두 번째 단어에 대한 안정성 값을 포함할 수 있는 식이다.

그 다음, 번역 비교기(702)는 첫 번째 불안정한 단어가 식별될 때까지 번역된 부분 전사에서 안정적인 단어의 수를 카운트함으로써 번역된 부분 전사에 대한 안정성 값을 결정한다. 이는 어레이의 첫 번째 포지션에서 시작하여 첫 번째 "0"(또는 불안정한 단어를 나타내는 다른 적절한 값)을 마주할 때까지 "1"(또는 안정적인 단어를 나타내는 다른 값)의 수를 계산하여 결정된다.

번역된 부분 전사에 대한 계산된 안정성 값을 사용하여, 실시간 번역기(204)는 디스플레이를 위해 번역된 부분 전사의 일부를 제공한다. 일부 구현예에서, 번역 비교기(702)은 안정성 값을 출력하고, 이 값 뿐만 아니라 대응하는 번역된 부분 전사를 디스플레이 엔진(214)에 제공한다. 디스플레이 엔진(214)은 번역된 부분 전사 및 대응하는 안정성 값을 사용하여 안정성 값을 안정적일 것으로 예상/예측되는 것으로 식별하는 번역된 부분 전사의 일부만을 디스플레이하도록 제공한다. 예를 들어, (1) 번역된 부분 전사가 10개 단어를 포함하고 (2) 번역된 부분 전사의 처음 5개 단어가 안정적임을 나타내는 안정성 값이 5인 경우, 디스플레이 엔진(214)은 번역된 부분 전사의 처음 다섯 단어를 제공한다.

이와 같이, 도 7을 참조하여 설명된 안정성 값을 계산하는 기법은 도 2-6을 참조하여 설명된 번역 안정성 모델(212) 구축 접근 방식과 다르다. 일반적으로 번역 안정성 모델(212)은 현재 시퀀스를 미래의 결과에서 가능한 한 적게 벗어나는 것을 목표로 미래의 부분적 결과와 비교함으로써 안정성 예측을 구축한다. 대조적으로, 도 7을 참조하여 설명된 알고리즘은 가능한 한 과거에서 벗어나는 것을 목표로 과거 번역된 부분 전사를 사용한다. 또한, 도 7을 참조하여 설명된 알고리즘은 모델 트레이닝 및 개발이 필요하지 않기 때문에 도 2-6을 참조하여 설명된 모델 기반 기법보다 컴퓨팅 리소스 효율성이 높다.

도 8는 상기 기술된 동작들을 수행하는데 사용될 수 있는 예시적 컴퓨터 시스템(800)의 블록도이다. 시스템(800)은 프로세서(810), 메모리(820), 저장 디바이스(830) 및 입력/출력 디바이스(840)를 포함한다. 컴포넌트들(810, 820, 830 및 840) 각각은 예를 들면, 시스템 버스(850)를 사용하여 상호 연결될 수 있다. 프로세서(810)는 시스템(800) 내에서 실행하기 위한 명령어들을 프로세싱할 수 있다. 일부 구현예에서, 프로세서(810)는 단일-스레드 프로세서이다. 다른 구현예에서, 프로세서(810)는 멀티-스레드 프로세서이다. 프로세서(810)는 메모리(820) 또는 저장 디바이스(830)에 저장된 명령어들을 프로세싱할 수 있다.

메모리(820)는 시스템(400) 내에 정보를 저장한다. 일 구현예에서, 메모리(820)는 컴퓨터 판독가능 매체이다. 일부 구현예에서, 메모리(820)는 휘발성 메모리 유닛이다. 다른 구현예에서, 메모리(820)는 비휘발성 메모리 유닛이다.

저장 디바이스(830)는 시스템(800)에 대한 대형 저장소를 제공할 수 있다. 일부 구현예에서, 저장 디바이스(830)는 컴퓨터 판독가능 매체이다. 다양한 상이한 구현예에서, 저장 디바이스(830)는 예를 들면, 하드 디스크 디바이스, 광학 디스크 디바이스, 다수의 컴퓨팅 디바이스들(예를 들면, 클라우드 저장 디바이스)에 의해 네트워크를 통해 공유되는 저장 디바이스 또는 일부 기타 대용량 저장 디바이스를 포함할 수 있다.

입력/출력 디바이스(840)는 시스템(400)에 대한 입력/출력 동작들을 제공한다. 일부 구현예에서, 입력/출력 디바이스(840)는 네트워크 인터페이스 디바이스 예를 들어, 이더넷 카드, 직렬 통신 디바이스(예를 들어, RS-232 포트) 및/또는 무선 인터페이스 디바이스(예를 들어, 802.11 카드) 중 하나 이상을 포함할 수 있다. 다른 구현예에서, 입력/출력 디바이스는 입력 데이터를 수신하고 출력 데이터를 다른 입력/출력 디바이스들 예를 들어, 키보드, 프린터 및 디스플레이 디바이스들(860)에 송신하도록 구성된 드라이버 디바이스들을 포함할 수 있다. 그러나, 모바일 컴퓨팅 디바이스들, 모바일 통신 디바이스들, 셋톱 박스 텔레비전 클라이언트 디바이스들 등과 같은 다른 구현예들도 사용될 수 있다.

예시적 프로세싱 시스템이 도 8에서 기술되었지만, 본 발명의 구현예들 및 본 명세서에 기술된 기능적 동작들은 본 발명에 개시된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는 다른 유형의 디지털 전자 회로에서, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다.

본 발명의 실시예들과 본 명세서에 기술된 동작들은 본 발명에 개시된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는 디지털 전자회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다. 본 명세서에 기술된 본 발명의 실시예들은 하나 이상의 컴퓨터 프로그램들로서 구현될 수 있다. 즉, 데이터 프로세싱 장치에 의해 실행 또는 데이터 프로세싱 장치의 동작을 제어하기 위한 컴퓨터 저장 매체(또는 매체들)에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들. 대안적으로 또는 추가로, 프로그램 명령어들은 데이터 프로세싱 장치에 의해 실행하기 위한 적절한 수신기 장치에 전송하기 위한 정보를 인코딩하기 위해 생성된 인공적으로 생성된 전파된 신호 즉, 기계-생성 전기, 광학 또는 전자기적 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 저장 디바이스, 컴퓨터 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스 또는 그들 중 하나 이상의 조합이거나 그에 포함될 수 있다. 또한, 컴퓨터 저장 매체는 전파된 신호가 아니지만, 컴퓨터 저장 매체는 인공적으로 생성된 전파된 신호에 인코딩된 컴퓨터 프로그램 명령어들의 소스 또는 목적지일 수 있다. 또한, 컴퓨터 저장 매체는 하나 이상의 별개의 물리적 컴포넌트들 또는 매체(예를 들면, 다수의 CD들, 디스크들, 또는 다른 저장 디바이스들)이거나 또는 그에 포함될 수 있다.

본 명세서에 기술된 동작들은 하나 이상의 컴퓨터 판독가능 저장 디바이스들에 저장된 또는 다른 소스들로부터 수신된 데이터에서 데이터 프로세싱 장치에 의해 수행되는 동작들로서 구현될 수 있다.

용어 "데이터 프로세싱 장치"는 예시로서 프로그래머블 프로세서, 컴퓨터, 시스템 온 칩 또는 앞서 언급된 것들 중 다수의 것들 또는 조합들을 포함하는 데이터를 프로세싱하기 위한 모든 종류의 장치, 디바이스들 및 기계들을 포함한다. 상기 장치는 특수 목적 논리 회로, 예를 들어 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)을 포함할 수 있다. 또한, 장치는 하드웨어 이외에 문제의 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 크로스-플랫폼 런타임(cross-platform runtime) 실행 환경, 가상 머신 또는 그들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 장치 및 실행 환경은 웹 서비스들, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라와 같은 다양한 컴퓨팅 모델 인프라를 실현할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드로도 알려져 있음)은 컴파일된 또는 인터프리트된 언어들, 선언적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립 실행형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 객체로서 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 단위를 포함하는 임의의 형태로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 대응할 수 있지만, 반드시 그런 것은 아니다. 프로그램은 다른 프로그램들이나 데이터, 예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들을 가지는 파일의 부분에, 문제되는 프로그램 전용 단일의 파일에 또는 다수의 조정된 파일들, 예를 들어, 하나 이상의 모듈들, 서브프로그램 또는 코드의 일부를 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 사이트에 위치되어 있거나 다수의 사이트들에 걸쳐서 분산되어 있고 통신 네트워크에 의해 상호연결된 다수의 컴퓨터들에서 실행되도록 배포될 수 있다.

본 명세서에 기술된 프로세스들 및 논리 흐름들은 입력 데이터를 동작하고 출력을 생성함으로써 액션들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래머블 프로세서들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한 FPGA 또는 ASIC와 같은 특수 목적 논리 회로에 의해 수행될 수 있고, 장치는 또한 특수 목적 논리 회로로서 구현될 수 있다.

컴퓨터 프로그램의 실행에 적절한 프로세서들은, 예시로서, 범용 및 전용 마이크로프로세서들을 포함한다. 일반적으로, 프로세서는 읽기-전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 엘리먼트들은 명령어들에 따라 액션들을 수행하기 위한 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대형 저장 디바이스들 예를 들면, 자기적, 자기-광학 디스크들 또는 광학적 디스크들 또한 포함하거나 또는 그로부터 데이터를 수신하거나 그에 데이터를 전송하기 위해 동작적으로 결합될 수 있다. 그러나, 컴퓨터는 상기 디바이스들을 반드시 가져야하는 것은 아니다. 추가로, 컴퓨터는 다른 디바이스, 예를 들어, 몇 가지만 나열하면, 모바일 전화, 개인 휴대 정보 단말기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS 수신기 또는 휴대용 저장 디바이스 예를 들어, 범용 직렬 버스(USB) 플래시 드라이브에 내장될 수 있다. 컴퓨터 프로그램 명령어 및 데이터를 저장하기에 적합한 디바이스는 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스; 예를 들어, 내부 하드 디스크 또는 이동식 디스크와 같은 자기 디스크; 및 CD-ROM 및 DVD-ROM 디스크를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스를 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 그 안에 통합될 수 있다.

사용자와의 인터렉션을 제공하기 위해, 본 명세서에서 기술된 본 발명의 실시예들은 사용자에게 정보를 디스플레이하기 위해 예를 들어, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터와 같은 디스플레이 디바이스 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스 예를 들어, 마우스 또는 트랙볼을 갖는 컴퓨터에서 구현될 수 있다. 다른 종류의 디바이스들도 사용자와의 인터렉션을 제공하는데 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 시각 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각적 피드백일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 추가로, 컴퓨터는 사용자에 의해 사용되는 디바이스에 문서를 송수신함으로써 예를 들어, 웹브라우저로부터 수신된 요청에 응답하여, 사용자의 사용자 디바이스상의 웹브라우저에 웹페이지를 전송함으로써 사용자와 인터렉션할 수 있다.

본 명세서에서 기술된 발명의 실시예는 예를 들어 데이터 서버와 같은 백엔드 컴포넌트, 어플리케이션 서버와 같은 미들웨어 컴포넌트 또는 그래픽 사용자 인터페이스를 가지는 사용자 컴퓨터 또는 사용자가 본 명세서에 기술된 본 발명의 구현예와 인터렉션할 수 있는 웹브라우저와 같은 프론트엔드 컴포넌트 또는 하나 이상의 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예는 근거리 통신망("LAN") 및 광역 통신망("WAN"), 인터-네트워크(예를 들어, 인터넷) 및 피어투피어 네트워크(예를 들어, 애드혹 피어투피어 네트워크)를 포함한다.

컴퓨팅 시스템은 사용자들 및 서버들을 포함할 수 있다. 사용자와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터렉션한다. 사용자와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 사용자-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 일부 실시예에서, 서버는(예를 들어, 사용자 디바이스와 인터렉션하는 사용자에게 데이터를 디스플레이하고 사용자 입력을 수신하기 위해) 사용자 디바이스에 데이터(예를 들어, HTML 페이지)를 전송한다. 사용자 디바이스에서 생성된 데이터(예를 들어, 사용자 인터렉션의 결과)는 서버에서 사용자 디바이스로부터 수신될 수 있다.

본 명세서는 많은 특정 구현 세부내용을 포함하지만, 이들은 임의의 발명의 범위 또는 청구될 수 있는 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정한 발명의 특정한 실시예에 특정한 구성들에 대한 설명으로 해석되어야 한다. 별개의 실시예의 컨텍스트에서 본 명세서에서 기술되는 일정 구성들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예의 컨텍스트에서 기술된 다양한 구성들은 또한 다수의 실시예에서 개별적으로 또는 임의의 적절한 서브 조합으로 구현될 수 있다. 게다가, 구성들은 일정 조합으로 동작하고 심지어 초기적으로 그렇게 청구되는 것으로서 상기에서 기술될 수 있지만, 청구된 조합으로부터의 하나 이상의 구성들은 일부 경우, 조합으로부터 제거될 수 있고, 청구된 조합은 서브 조합 또는 서브 조합의 변형으로 안내될 수 있다.

유사하게, 동작들이 특정한 순서로 도면에서 도시되었지만, 이는 상기 동작들이 도시된 특정한 순서로 또는 시계열적 순서로 수행되어야 함을 요구하는 것으로서 또는 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안된다. 특정 환경에서, 멀티태스킹과 병렬 프로세싱은 이점이 있다. 게다가, 상기 기술된 실시예에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예에서 그러한 분리가 필요한 것으로서 이해되어서는 안되며, 일반적으로 기술된 프로그램 컴포넌트들 및 시스템들은 단일의 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들에 패키징될 수 있다고 이해되어야 한다.

따라서, 본 발명의 특정한 실시예들이 기술되었다. 다른 실시예들도 다음의 청구항들의 범위 내에 있다. 일부 경우에, 청구항들에서 기재된 액션들은 상이한 순서로 수행되고 여전히 원하는 결과들을 달성할 수 있다. 추가로, 첨부 도면들에 도시된 프로세스들은 원하는 결과들을 달성하기 위해 특정한 도시된 순서, 또는 시계열적 순서를 반드시 필요로 하지 않는다. 특정 구현예에서, 멀티태스킹과 병렬 프로세싱은 이점이 있다.

Claims (19)

1. 컴퓨터로 구현되는 방법으로서,
   오디오 데이터 스트림을 획득하는 단계;
   상기 오디오 데이터 스트림의 오디오가 기록되는 제1 언어를 결정하는 단계;
   복수의 연속적인 시간 간격 중 각 시간 간격에서, 상기 오디오의 부분 전사를 생성하는 단계, 각 부분 전사는 (1) 상기 오디오의 시작부터 특정한 시간 간격까지의 오디오의 전사이고, (2) 제1 언어로 된 것이며;
   각 부분 전사에 대해:
   상기 부분 전사를 상기 제1 언어와 다른 제2 언어로 번역하는 단계;
   상기 번역된 부분 전사를 모델에 입력하는 단계, 상기 모델은 번역된 부분 전사 입력의 일부가 안정적인지 여부를 결정하며, 부분 전사 입력에 대한 시간 간격보다 늦은 시간 간격까지 상기 번역된 부분 전사 입력의 일부가 기록된 오디오의 다른 번역된 부분 전사로 변경될 것으로 예상되지 않는 경우 상기 번역된 부분 전사 입력의 일부는 안정적이며;
   상기 모델에 의해, 번역된 부분 전사 입력에 기초하여, 상기 번역된 부분 전사의 일부를 안정적인 것으로 식별하는 단계; 및
   상기 번역된 부분 전사의 일부를 안정적인 것으로 식별하는 것에 응답하여, 상기 식별을 사용하여 사용자 디바이스 상에 디스플레이하기 위해 상기 번역된 부분 전사의 일부를 제공하는 단계를 포함하는, 방법.
2. 청구항 1에 있어서, 상기 모델은 상기 제1 언어로 기록된 하나 이상의 트레이닝 오디오 데이터 파일로부터 생성된 전사의 번역에 기초하여 트레이닝되는, 방법.
3. 청구항 2에 있어서, 하나 이상의 트레이닝 오디오 데이터 파일로부터 생성된 전사는, 각 트레이닝 오디오 데이터 파일에 대해, 오디오 데이터 파일의 복수의 부분 전사를 포함하고, 트레이닝 오디오 데이터 파일의 각 부분 전사는 복수의 연속적인 시간 간격 중 각각의 시간 간격에서 생성되고, 각 부분 전사는 (1) 오디오의 시작부터 특정 시간 간격까지의 오디오의 전사이고 (2) 제1 언어로 된 것인, 방법.
4. 임의의 선행하는 청구항에 있어서, 상기 모델은 안정적인 하나 이상의 오디오 데이터 파일 중 각각의 오디오 데이터 파일의 각각의 번역된 부분 전사의 일부를 식별하는 안정성 값에 기초하여 트레이닝되는, 방법.
5. 청구항 4에 있어서, 각 안정성 값은 하나 이상의 오디오 데이터 파일 중 각각의 오디오 데이터 파일에 대한 각각의 번역된 부분 전사 및 다른 번역된 부분 전사의 단어 포지션을 사용하여 생성되는, 방법.
6. 청구항 1에 있어서, 안정적일 것으로 예상되는 부분 전사에서 단어의 시퀀스를 식별하도록 모델을 트레이닝하는 단계를 더 포함하고, 상기 트레이닝은:
   트레이닝 오디오 데이터 파일을 획득하는 단계;
   상기 트레이닝 오디오 데이터 파일로부터, 상기 제1 언어로 기록된 오디오를 포함하는 복수의 트레이닝 오디오 데이터 파일을 식별하는 단계;
   상기 복수의 트레이닝 오디오 데이터 파일의 각 트레이닝 오디오 데이터 파일에 대해:
   복수의 연속적인 시간 간격으로 상기 트레이닝 오디오 데이터 파일에서 오디오의 부분 전사를 생성하는 단계, 각 부분 전사는 (1) 오디오의 시작부터 특정 시간 간격까지의 오디오의 전사이고, (2) 제1 언어로 된 것이며; 및
   오디오의 시작과 관련하여 가장 이른 것부터 가장 늦은 것까지 정렬된 부분 전사의 시간순 목록을 생성하는 단계; 및
   부분 전사의 시간순 목록에 대응하는 번역된 부분 전사의 시간순 목록을 생성하는 단계, 상기 부분 전사의 시간순 목록에 대응하는 번역된 부분 전사의 시간순 목록을 생성하는 단계는: 부분 전사의 시간순 목록에서 각 부분 전사에 대해, 상기 부분 전사를 타겟 언어로 번역하는 단계;
   번역된 부분 전사의 시간순 목록에서 제1 번역된 부분 전사로 시작하여, 각 번역된 부분 전사에 대해:
   상기 번역된 부분 전사 및 다른 번역된 부분 전사에서 단어의 포지션을 사용하여, 안정적인 번역된 부분 전사의 일부를 식별하는 안정성 값을 생성하는 단계; 및
   상기 번역된 부분 전사를 모델의 입력으로 사용하고 상기 안정성 값을 번역 안정성 모델의 출력으로 사용하여 모델을 트레이닝하는 단계를 포함하는, 방법.
7. 청구항 2에 있어서, 상기 안정성 값을 생성하는 단계는:
   번역된 부분 전사의 각 단어에 대한 정확성 확률을 계산하는 단계, 상기 정확성 확률은 번역된 부분 전사의 특정 포지션에 있는 단어가 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나타나는 하나 이상의 다른 번역된 부분 전사의 특정 포지션에서 나타날 확률을 측정하며; 및
   번역된 부분 전사의 각 단어에 대한 정확성 확률을 사용하여, 번역된 부분 전사에 대한 안정성 값을 생성하는 단계를 포함하는, 방법.
8. 청구항 7에 있어서, 번역된 부분 전사의 각 단어에 대한 정확성 확률을 계산하는 단계는:
   번역된 부분 전사의 각 단어에 대해:
   번역된 부분 전사에서 단어의 특정 포지션을 결정하는 단계;
   제1 값을 계산하는 단계, 상기 제1 값은 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나열되는 부분 번역된 전사의 수이며;
   제2 값을 계산하는 단계, 상기 제2 값은 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나타나는 번역된 부분 전사의 특정 포지션에서 단어가 나타나는 횟수를 지정하며; 및
   상기 단어의 정확성 확률을 획득하기 위해 상기 제2 값을 상기 제1 값으로 나누는 단계를 포함하는, 방법.
9. 청구항 4 내지 8 중 어느 한 항에 있어서, 상기 안정성 값을 생성하는 단계는:
   번역된 부분 전사의 각 단어에 대한 변경 빈도 메트릭을 계산하는 단계, 상기 변경 빈도 메트릭은 번역된 부분 전사의 특정 포지션에 있는 단어가 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나열된 번역된 부분 전사의 특정 포지션에서 변경되는 횟수를 측정하며; 및
   번역된 부분 전사의 각 단어에 대한 변경 빈도 메트릭을 사용하여 번역된 부분 전사에 대한 안정성 값을 생성하는 단계를 포함하는, 방법.
10. 청구항 4 내지 9 중 어느 한 항에 있어서, 상기 안정성 값을 생성하는 단계는:
    부분 전사의 각 단어에 대한 마지막과 같음 메트릭(equal-to-last metric)을 계산하는 단계, 마지막과 같음 메트릭은 부분 전사에서 단어의 포지션이 번역된 부분 전사의 시간순 목록에서 마지막에 나타나는 부분 전사의 단어의 포지션과 동일한지 여부를 식별하며; 및
    번역된 부분 전사의 각 단어에 대해 마지막과 같음 메트릭을 사용하여 번역된 부분 전사에 대한 안정성 값을 생성하는 단계를 포함하는, 방법.
11. 시스템으로서,
    오디오 데이터 스트림을 획득하는 단계;
    상기 오디오 데이터 스트림의 오디오가 기록되는 제1 언어를 결정하는 단계;
    복수의 연속적인 시간 간격으로 상기 오디오의 부분 전사를 생성하는 단계, 각 부분 전사는 (1) 오디오의 시작부터 특정 시간 간격까지의 오디오의 전사이고, (2) 제1 언어로 된 것이며;
    각 연속적인 특정 부분 전사에 대해:
    상기 특정 부분 전사를 타겟 언어로 번역하는 단계; 및
    번역된 특정 부분 전사의 각 단어에 대해, 번역된 특정 부분 전사의 단어 포지션이 번역된 특정 부분 전사에 선행하는 번역된 부분 전사 세트 내의 번역된 부분 전사의 임계수에서 단어의 포지션과 일치하는지 여부를 결정함으로써 단어에 대한 안정성 값을 계산하는 단계;
    번역된 특정 부분 전사의 단어에 대한 계산된 안정성 값을 사용하여 번역된 특정 부분 전사에 대한 안정성 값을 생성하는 단계, 상기 번역된 특정 부분 전사에 대한 안정성 값은 안정적인 특정 번역된 부분 전사의 일부를 식별하며; 및
    상기 안정성 값을 생성하는 것에 응답하여, 번역된 특정 부분 전사의 일부를 사용자 디바이스에 디스플레이하기 위해 제공하는 단계를 포함하는, 시스템.
12. 시스템으로서,
    명령어들을 저장하는 하나 이상의 메모리 디바이스들; 및
    상기 하나 이상의 메모리 디바이스들과 인터렉션하도록 구성되는 하나 이상의 데이터 프로세싱 장치를 포함하며, 상기 명령어들의 실행시 하나 이상의 데이터 프로세싱 장치로 하여금 동작들을 수행하게 하며, 동작들은:
    클라이언트 디바이스로부터, 콘텐츠 요청을 수신하는 동작;
    오디오 데이터 스트림을 획득하는 동작;
    상기 오디오 데이터 스트림의 오디오가 기록되는 제1 언어를 결정하는 동작;
    복수의 연속적인 시간 간격 중 각 시간 간격에서, 상기 오디오의 부분 전사를 생성하는 동작, 각 부분 전사는 (1) 상기 오디오의 시작부터 특정한 시간 간격까지의 오디오의 전사이고, (2) 제1 언어로 된 것이며;
    각 부분 전사에 대해:
    상기 부분 전사를 상기 제1 언어와 다른 제2 언어로 번역하는 동작;
    상기 번역된 부분 전사를 모델에 입력하는 동작, 상기 모델은 번역된 부분 전사 입력의 일부가 안정적인지 여부를 결정하며, 부분 전사 입력에 대한 시간 간격보다 늦은 시간 간격까지 상기 번역된 부분 전사 입력의 일부가 기록된 오디오의 다른 번역된 부분 전사로 변경될 것으로 예상되지 않는 경우 상기 번역된 부분 전사 입력의 일부는 안정적이며;
    상기 모델에 의해, 번역된 부분 전사 입력에 기초하여, 상기 번역된 부분 전사의 일부를 안정적인 것으로 식별하는 동작; 및
    상기 번역된 부분 전사의 일부를 안정적인 것으로 식별하는 것에 응답하여, 상기 식별을 사용하여 사용자 디바이스 상에 디스플레이하기 위해 상기 번역된 부분 전사의 일부를 제공하는 동작을 포함하는, 시스템.
13. 청구항 12에 있어서,
    상기 모델은 상기 제1 언어로 기록된 하나 이상의 트레이닝 오디오 데이터 파일로부터 생성된 전사의 번역에 기초하여 트레이닝되며,
    하나 이상의 트레이닝 오디오 데이터 파일로부터 생성된 전사는, 각 트레이닝 오디오 데이터 파일에 대해, 오디오 데이터 파일의 복수의 부분 전사를 포함하고, 트레이닝 오디오 데이터 파일의 각 부분 전사는 복수의 연속적인 시간 간격 중 각각의 시간 간격에서 생성되고, 각 부분 전사는 (1) 오디오의 시작부터 특정 시간 간격까지의 오디오의 전사이고 (2) 제1 언어로 된 것인, 시스템.
14. 청구항 11 또는 12에 있어서, 상기 모델은 안정적인 하나 이상의 오디오 데이터 파일 중 각각의 오디오 데이터 파일의 각각의 번역된 부분 전사의 일부를 식별하는 안정성 값에 기초하여 트레이닝되며, 그리고 각 안정성 값은 하나 이상의 오디오 데이터 파일 중 각각의 오디오 데이터 파일에 대한 각각의 번역된 부분 전사 및 다른 번역된 부분 전사의 단어 포지션을 사용하여 생성되는, 시스템.
15. 청구항 12에 있어서, 안정적일 것으로 예상되는 부분 전사에서 단어의 시퀀스를 식별하도록 모델을 트레이닝하는 동작을 더 포함하고, 상기 트레이닝하는 동작은:
    트레이닝 오디오 데이터 파일을 획득하는 동작;
    상기 트레이닝 오디오 데이터 파일로부터, 상기 제1 언어로 기록된 오디오를 포함하는 복수의 트레이닝 오디오 데이터 파일을 식별하는 동작;
    상기 복수의 트레이닝 오디오 데이터 파일의 각 트레이닝 오디오 데이터 파일에 대해:
    복수의 연속적인 시간 간격으로 상기 트레이닝 오디오 데이터 파일에서 오디오의 부분 전사를 생성하는 동작, 각 부분 전사는 (1) 오디오의 시작부터 특정 시간 간격까지의 오디오의 전사이고, (2) 제1 언어로 된 것이며; 및
    오디오의 시작과 관련하여 가장 이른 것부터 가장 늦은 것까지 정렬된 부분 전사의 시간순 목록을 생성하는 동작; 및
    부분 전사의 시간순 목록에 대응하는 번역된 부분 전사의 시간순 목록을 생성하는 동작, 상기 부분 전사의 시간순 목록에 대응하는 번역된 부분 전사의 시간순 목록을 생성하는 동작은: 부분 전사의 시간순 목록에서 각 부분 전사에 대해, 상기 부분 전사를 타겟 언어로 번역하는 동작;
    번역된 부분 전사의 시간순 목록에서 제1 번역된 부분 전사로 시작하여, 각 번역된 부분 전사에 대해:
    상기 번역된 부분 전사 및 다른 번역된 부분 전사에서 단어의 포지션을 사용하여, 안정적인 번역된 부분 전사의 일부를 식별하는 안정성 값을 생성하는 동작; 및
    상기 번역된 부분 전사를 모델의 입력으로 사용하고 상기 안정성 값을 번역 안정성 모델의 출력으로 사용하여 모델을 트레이닝하는 동작을 포함하는, 시스템.
16. 청구항 13에 있어서, 상기 안정성 값을 생성하는 동작은:
    번역된 부분 전사의 각 단어에 대한 정확성 확률을 계산하는 동작, 상기 정확성 확률은 번역된 부분 전사의 특정 포지션에 있는 단어가 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나타나는 하나 이상의 다른 번역된 부분 전사의 특정 포지션에서 나타날 확률을 측정하며; 및
    번역된 부분 전사의 각 단어에 대한 정확성 확률을 사용하여, 번역된 부분 전사에 대한 안정성 값을 생성하는 동작을 포함하는, 시스템.
17. 청구항 12 내지 16 중 어느 한 항에 있어서, 상기 안정성 값을 생성하는 동작은:
    번역된 부분 전사의 각 단어에 대한 변경 빈도 메트릭을 계산하는 동작, 상기 변경 빈도 메트릭은 번역된 부분 전사의 특정 포지션에 있는 단어가 번역된 부분 전사의 시간순 목록에서 번역된 부분 전사 후에 나열된 번역된 부분 전사의 특정 포지션에서 변경되는 횟수를 측정하며; 및
    번역된 부분 전사의 각 단어에 대한 변경 빈도 메트릭을 사용하여 번역된 부분 전사에 대한 안정성 값을 생성하는 동작을 포함하는, 시스템.
18. 청구항 4 내지 9 중 어느 한 항에 있어서, 상기 안정성 값을 생성하는 동작은:
    부분 전사의 각 단어에 대한 마지막과 같음 메트릭(equal-to-last metric)을 계산하는 동작, 마지막과 같음 메트릭은 부분 전사에서 단어의 포지션이 번역된 부분 전사의 시간순 목록에서 마지막에 나타나는 부분 전사의 단어의 포지션과 동일한지 여부를 식별하며; 및
    번역된 부분 전사의 각 단어에 대해 마지막과 같음 메트릭을 사용하여 번역된 부분 전사에 대한 안정성 값을 생성하는 동작을 포함하는, 시스템.
19. 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 하나 이상의 데이터 프로세싱 장치에 의해 실행될 때, 상기 하나 이상의 데이터 프로세싱 장치로 하여금 동작들을 수행하게 하며, 상기 동작들은:
    오디오 데이터 스트림을 획득하는 동작;
    상기 오디오 데이터 스트림의 오디오가 기록되는 제1 언어를 결정하는 동작;
    복수의 연속적인 시간 간격 중 각 시간 간격에서, 상기 오디오의 부분 전사를 생성하는 동작, 각 부분 전사는 (1) 상기 오디오의 시작부터 특정한 시간 간격까지의 오디오의 전사이고, (2) 제1 언어로 된 것이며;
    각 부분 전사에 대해:
    상기 부분 전사를 상기 제1 언어와 다른 제2 언어로 번역하는 동작;
    상기 번역된 부분 전사를 모델에 입력하는 동작, 상기 모델은 번역된 부분 전사 입력의 일부가 안정적인지 여부를 결정하며, 부분 전사 입력에 대한 시간 간격보다 늦은 시간 간격까지 상기 번역된 부분 전사 입력의 일부가 기록된 오디오의 다른 번역된 부분 전사로 변경될 것으로 예상되지 않는 경우 상기 번역된 부분 전사 입력의 일부는 안정적이며;
    상기 모델에 의해, 번역된 부분 전사 입력에 기초하여, 상기 번역된 부분 전사의 일부를 안정적인 것으로 식별하는 동작; 및
    상기 번역된 부분 전사의 일부를 안정적인 것으로 식별하는 것에 응답하여, 상기 식별을 사용하여 사용자 디바이스 상에 디스플레이하기 위해 상기 번역된 부분 전사의 일부를 제공하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 매체.

Images