KR20160006682A - 하이브리드, 오프라인/온라인 발화 번역 시스템 - Google Patents

하이브리드, 오프라인/온라인 발화 번역 시스템 Download PDF

Info

Publication number
KR20160006682A
KR20160006682A KR1020157030930A KR20157030930A KR20160006682A KR 20160006682 A KR20160006682 A KR 20160006682A KR 1020157030930 A KR1020157030930 A KR 1020157030930A KR 20157030930 A KR20157030930 A KR 20157030930A KR 20160006682 A KR20160006682 A KR 20160006682A
Authority
KR
South Korea
Prior art keywords
language
computing device
client computing
translation
model
Prior art date
Application number
KR1020157030930A
Other languages
English (en)
Other versions
KR101729154B1 (ko
Inventor
나오미 아오키 웨이벨
알렉산더 웨이벨
크리스티안 퓨근
케이 로트만
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20160006682A publication Critical patent/KR20160006682A/ko
Application granted granted Critical
Publication of KR101729154B1 publication Critical patent/KR101729154B1/ko

Links

Images

Classifications

    • G06F17/289—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G06F17/2809—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Abstract

무선-가능한 클라이언트 컴퓨팅 장치가, 오프라인 모드에서, 입력 음성 발화를 한 언어에서 다른 언어로 로컬에서 번역하고, 또한 무선 네트워크 연결이 있을 때 온라인 모드에서 원격 컴퓨터가 번역을 수행하고 다시 클라이언트 컴퓨팅 장치로 무선 네트워크를 통해 클라이언트 컴퓨팅 장치에 의한 청각적 출력을 위해 다시 전송하는 하이브리드 발화 번역 시스템이다. 클라이언트 컴퓨팅 장치의 사용자는 모드 간에서 이행할 수 있고 또는 이행은 사용자 선호도 또는 설정에 기반하여 자동으로 될 수 있다. 백-엔드 발화 번역 서버 시스템은 오프라인 모드에서 클라이언트 컴퓨팅 장치에 의해 사용되는 다양한 인식 및 번역 모델을 시간에 걸친 사용자 데이터 분석에 기반하여 적응시킬 수 있고, 그럼으로써 클라이언트 컴퓨팅 장치를 백-엔드 발화 번역 서버 시스템보다 규모가 작고, 보다 효율적이고 빠른 모델을 가지면서 사용자의 영역에 적응되도록 구성한다.

Description

하이브리드, 오프라인/온라인 발화 번역 시스템 {HYBRID, OFFLINE/ONLINE SPEECH TRANSLATION SYSTEM}
발화-대-발화 번역(speech-to-speech translation; STS) 시스템은 종종 두 상이한 형태 중 하나로 제공된다: 인터넷을 통한 온라인 또는 사용자의 장치(예컨대, 스마트폰 또는 다른 적절한 컴퓨팅 장치)에 내장된 오프라인. 온라인 버전은 큰 서버(클라우드)의 자원의 중요한 처리에서 오는 이점을 가지고, 향상과 사용자화를 가능하게 하는 데이터를 서비스 공급자에 공급한다. 하지만, 온라인 처리는 계속적인 네트워크 연결을 필요로 하고, 모든 장소에서 보장될 수 없거나 특정 상황에서는 로밍 비용 또는 사생활/보안 관련하여 바람직하지 않을 수 있다. 대안적인 전개로, Jibbigo 발화 번역 앱과 같은 발화-대-발화 번역기가 스마트폰 자체에 로컬로 내장되어 실행되는 소프트웨어로서 제공될 수 있고, 네트워크 연결은 번역 애플리케이션의 최초 다운로드 이후에 요구되지 않는다. 이러한 오프라인 내장 발화 번역 기능은 언어 지원이 필요하나, 네트워크가 사용 가능하지 않거나, 간헐적이거나 너무 비싼 실용적이지 않은 상황이라면 선호되는 배치이다. 많은 여행자가 그런 간헐적 또는 연결 부재를 경험하는데, 예컨대 항공기 운행 도중, 원격 지리적 위치, 빌딩 또는 단순히 외국에서의 여행 중 관련된 로밍 비용을 피하기 위하여 데이터 로밍이 꺼져있을 때이다.
이러한 발화 번역 서비스 또는 소프트웨어가 제공되는 방법 또한 어떤 규모로 소프트웨어가 영역(domain)-의존 또는 영역-독립적인 방식으로 구동할 수 있거나/해야하는지 및 사용자의 문맥에 적응할 수 있는지 여부에 영향을 준다. STS 시스템은 만약 엄밀하게 최적화되고 특정 영역 사용으로 전환하면 보통 한 영역에서는 잘 작동하고 다른 영역에서는 잘 작동하지 않을 것이고(영역-의존), 또는 모든 영역에 대해 더 또는 덜 동일하게 동작하도록 하여 영역-독립을 시도할 것이다. 어느 해결책이든 모든 특정 상황에서 성능을 제한한다.
사용자는 공통적으로 온라인 클라이언트 프로그램을 그/그녀의 컴퓨팅 장치에서 실행한다. 이 장치는 일반적으로 발화를 디지털화하고 인코딩할 수 있고, 통신 라인을 거쳐 샘플 또는 계수를 서버로 전송한다. 서버는 무거운 계산 발화 인식 및/또는 번역을 수행하고 결과를 통신 라인을 통해 사용자에게 다시 전송하고, 결과는 사용자의 장치에 디스플레이된다. 다른 온라인 디자인은 서버에 진행 체인의 다른 부분을 옮기고 장치에서 더 많은 또는 더 적은 계산 작업을 하는 것이 제안되어 왔다. 발화 인식, 번역 및 번역 시스템에서, 사용자의 장치는 마이크, 또는 아날로그-디지털 컨버터만큼 단순해질 수 있거나, 또는 노이즈 제거, 계수로 인코딩, 하나 이상의 발화 인식 패스, 또는 하나 이상의 언어 처리 스텝과 같은 보다 복잡한 기능을 제공할 수 있다. 오프라인 디자인은 반면 전체 애플리케이션을 장치 자체에서 내장된 애플리케이션으로 실행한다. 모든 계산은 장치에서 로컬로 수행되고 사용 중 클라이언트와 서버 간 전송은 필요하지 않다.
일반적으로, 온라인 디자인은 매우 단순한 클라이언트만 필요로 하는 장점이 있고 따라서 애플리케이션이 매우 단순한 컴퓨팅 장치 또는 휴대폰에서 실행될 수 있는 반면, 모든 무거운 계산 및 처리는 큰 컴퓨팅 서버에서 수행된다. 발화 및 기계 번역에 대하여 보다 진보됐지만 계산 집중된 알고리즘이 사용될 수 있고, 최신의 배경 정보가 사용될 수 있다는 의미이다. 사용자가 새로운 시스템 버전을 다운로드하거나 업그레이드하는 것을 요구하지 않고 서비스의 개발자 또는 조작자가 서비스 또는 기능을 서버에서 유지/발전시킬 수 있는 장점도 있다.
온라인 디자인의 단점은 네트워크 연결에 치명적으로 의존한다는 사실이다. 하지만 사용자가 원격지를 이동하고 여행함에 따라, 연결은 간헐적이고 및/또는 매우 비싸고(로밍) 따라서 많은 방법으로 사용 불가능하다. 발화 및 발화 번역 시스템에 있어서 이 요구사항은 종종 받아들일 수 없는 것이다. 텍스트 또는 이메일 전송과 다르게, 목소리는 연결의 임시적인 실수를 허용할 수 없고 정보 손실 없이 또는 실시간 퍼포먼스로 발화 스트림의 대응하는 인터럽션을 허용할 수 없다. 그러므로 온라인 디자인은 연속적이고, 실시간 전송과 그로 인한 사용 중 연속적인 연결을 보장해야 한다.
한 일반적인 측면에서, 본 발명은 무선-가능 클라이언트 컴퓨팅 장치(예컨대, 스마트폰 또는 태블릿 컴퓨터)가 입력 단어 구절(예컨대 발화를 입으로 입력하거나 텍스트를 입력)을 한 언어에서 다른 언어로 로컬로 번역할 수 있는, 예컨대 "오프라인" 모드에서, 그리고 또한, 무선 네트워크 연결이 있고 원격 컴퓨터, 예컨대 백-엔드 발화 번역 서버 시스템이 있을 때는 "온라인" 모드에서 번역을 수행하고 클라이언트 컴퓨팅 장치의 출력(스피커를 통한 소리로 및/또는 텍스트 디스플레이 필드를 통해)을 위해 무선 네트워크를 통해 클라이언트 컴퓨팅 장치로 다시 전송하는 하이브리드 발화 번역 시스템을 가리킨다. 다양한 실시예에서, 클라이언트 컴퓨팅 장치의 사용자가 모드 간에서 이행하거나 또는 이행은 사용자 선호 또는 설정에 기반하여 자동으로 - 또한 사용자에게 투명하게 - 이루어질 수 있다. 나아가, 백-엔드 발화 번역 서버 시스템은 시간에 걸친 사용자 데이터 분석에 기반하여 오프라인 모드에서 클라이언트 컴퓨팅 장치에 의해 사용되는 다양한 발화 번역 모델에 적응할 수 있고, 이로써 사용자의 영역에 여전히 적응하며 백-엔드 발화 번역 서버 시스템보다 축소되고, 훨씬 효과적이며 빠른 모델로 클라이언트 컴퓨팅 장치를 설정할 수 있다.
본 발명에 따른 실시예들은 특히 발화 번역 시스템 및 발화 번역 방법에 관한 첨부된 청구항들에 개시되며, 예컨대 방법과 같은 하나의 청구항 카테고리에 언급된 임의의 특징은 예컨대 시스템 같은 다른 청구항 카테고리에도 또한 청구될 수 있다. 첨부된 청구항과 후술되는 실시예의 의존 관계 또는 언급은 형식적인 이유만을 위하여 선택된 것이다. 하지만 임의의 이전의 청구항 또는 실시예(특히 다중 종속)의 의도적인 참조의 결과인 임의의 주제 역시 청구될 수 있고, 청구항과 그 특징의 임의의 조합이 개시되고 첨부된 청구항에서 선택된 종속 관계와 상관 없이 청구될 수 있다. 후술되는 실시예의 특징의 임의의 조합 역시 언급되는 참조와 상관 없이 개시된다.
본 발명에 따른 일실시예에서, 발화 번역 시스템은:
- 백-엔드 발화 번역 서버 시스템; 및
- 백-엔드 발화 번역 서버 시스템과 무선 네트워크를 통해 통신하도룩 구성된 클라이언트 컴퓨팅 장치를 포함하는 발화 번역 시스템으로서, 클라이언트 컴퓨팅 장치는:
- 마이크;
- 마이크와 연결된 프로세서;
- 프로세서와 연결되고 프로세서에 의해 실행되는 명령어를 저장하는 메모리; 및
- 프로세서와 연결된 스피커를 포함하고,
- 클라이언트 컴퓨팅 장치는 입력 단어 구절의 제1 언어로부터 제2 언어로의 번역을 스피커를 통해 출력하기 위한 것이고; 및
- 메모리는:
제1 구동 모드에서, 프로세서가 명령어를 실행할 때, 사용자에게 출력하기 위하여 프로세서가 입력 단어 구절을 제2 언어로 번역하고; 및
제2 구동 모드에서:
- 클라이언트 컴퓨팅 장치가 백-엔드 발화 번역 서버 시스템으로 무선 네트워크를 통하여 제1 언어로 클라이언트 컴퓨팅 장치로부터 수신한 입력 단어 구절에 관한 데이터를 전송하고;
- 백-엔드 발화 번역 서버 시스템은 제1 언어의 입력 단어 구절의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하고; 및
- 백-엔드 발화 번역 시스템은 제1 언어의 입력 단어 구절의 제2 언어로의 번역에 관한 데이터를 클라이언트 컴퓨팅 장치로 무선 네트워크를 통하여 전송하여 클라이언트 컴퓨팅 장치가 제1 언어의 입력 단어 구절의 제2 언어로의 번역을 출력하도록 하는 명령어를 저장한다.
클라이언트 컴퓨팅 장치는 사용자가 제1 구동 모드 및 제2 구동 모드 간에서 스위치하도록 하는 사용자 인터페이스를 가질 수 있다.
클라이언트 컴퓨팅 장치가 무선 네트워크의 연결 상태에 기반하여 자동으로 제1 구동 모드 또는 제2 구동 모드를 사용할 것인지 여부를 선택할 수 있다.
대안적으로, 클라이언트 컴퓨팅 장치는 클라이언트 컴퓨팅 장치의 사용자의 사용자 선호 설정에 기반하여 자동으로 제1 구동 모드 또는 제2 구동 모드를 사용할 것인지 여부를 선택할 수 있다.
본 발명에 따른 추가 실시예에서, 입력 단어 구절은 클라이언트 컴퓨팅에:
- 클라이언트 컴퓨팅 장치의 마이크에 의해 캡처된 입력 음성 발화; 또는 클라이언트 컴퓨팅 장치의 사용자 인터페이스의 텍스트 입력 필드를 통한 텍스트 입력 중 하나를 통해 입력된다.
클라이언트 컴퓨팅 장치는 번역을 스피커를 통해 청각적으로 출력할 수 있다.
본 발명의 발화 번역 시스템에서 클라이언트 컴퓨팅 장치는 메모리에 제1 구동 모드에서 제1 언어의 음성 발화를 인식하고 클라이언트 컴퓨팅 장치의 스피커를 통해 출력하기 위하여 인식된 음성 발화를 제2 언어로 번역하기 위한 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델을 저장할 수 있다.
백-엔드 발화 번역 서버 시스템은 제2 구동 모드에서 제1 언어의 음성 발화의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하기 위한 백-엔드 어쿠스틱 모델, 백-엔드 언어 모델, 백-엔드 번역모델 및 백-엔드 발화 합성 모델을 포함할 수 있다.
바람직하게는, 로컬 어쿠스틱 모델은 백-엔드 어쿠스틱 모델과는 상이할 수 있고;
로컬 언어 모델은 백-엔드 언어 모델과는 상이할 수 있고;
로컬 번역 모델은 백-엔드 번역 모델과는 상이할 수 있고; 및
로컬 발화 합성 모델은 백-엔드 발화 합성 모델과는 상이할 수 있다.
나아가, 백-엔드 발화 번역 서버 시스템은: 클라이언트 컴퓨팅 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화를 시간에 걸쳐 모니터링하고; 및 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나를 클라이언트 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화의 시간에 걸친 모니터링에 기반하여 업데이트하고, 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나의 업데이트는 백-엔드 발화 번역 서버 시스템으로부터 클라이언트 컴퓨팅 장치로 무선 네트워크를 통해 전송되도록 프로그래밍될 수 있다.
클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델은 사용자에 의한 번역 질의의 분석에 기반하여 업데이트될 수 있다.
클라이언트 컴퓨팅 장치는 클라이언트 컴퓨팅 장치의 위치를 결정하기 위한 GPS 시스템을 포함할 수 있다.
백-엔드 발화 번역 서버 시스템은 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나를 클라이언트 컴퓨팅 장치의 위치에 기반하여 업데이트하도록 더 프로그래밍될 수 있고, 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나의 업데이트는 백-엔드 발화 번역 서버 시스템으로부터 클라이언트 컴퓨팅 장치로 무선 네트워크를 통하여 전송된다.
나아가, 백-엔드 발화 번역 서버 시스템은 복수의 백-엔드발화 번역 시스템 중 하나일 수 있고, 클라이언트 컴퓨팅 장치는 복수의 백-엔드 발화 번역 서버 시스템 각각과 무선 네트워크를 통하여 통신하도록 구성될 수 있다.
제2 구동 모드에서, 복수의 백-엔드 발화 번역 서버 시스템 각각은 제1 언어의 입력 단어 구절의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하기 위한 것일 수 있고; 및 복수의 백-엔드 발화 번역 서버 시스템 중 하나는 클라이언트 컴퓨팅 장치로 전송하기 위하여 복수의 백-엔드 발화 번역 서버 시스템으로부터의 번역 중 하나를 선택할 수 있다.
대안적으로, 복수의 백-엔드 발화 번역 시스템 중 하나는 복수의 백-엔드 발화 번역 서버 시스템 중 둘 이상의 번역을 결합하여 클라이언트 컴퓨팅 장치로 전송하기 위하여 결합된 번역을 생성한다.
본 발명의 다른 측면에 따르면, 발화 번역 방법이 개시되고, 발화 번역 방법은:
- 제1 구동 모드에서:
- 클라이언트 컴퓨팅 장치에 의하여 제1 언어의 제1 입력 단어 구절을 수신하는 단계;
- 클라이언트 컴퓨팅 장치에 의하여 제1 입력 단어 구절을 제2 언어로 번역하는 단계;
- 클라이언트 컴퓨팅 장치에 의하여 제1 입력 단어 구절을 제2 언어로 출력하는 단계;
- 클라이언트 컴퓨팅 장치에 의하여 제1 구동 모드에서 제2 구동 모드로 이행하는 단계;
- 제2 구동 모드에서:
- 클라이언트 컴퓨팅 장치에 의하여 제1 언어의 제2 입력 단어 구절을 수신하는 단계;
- 클라이언트 컴퓨팅 장치에 의하여, 무선 네트워크를 통하여, 제2 입력 단어 구절에 관한 데이터를 백-엔드 발화 번역 서버 시스템으로 전송하는 단계;
- 클라이언트 컴퓨팅 장치에 의하여, 백-엔드 발화 번역 서버 시스템으로부터 무선 네트워크를 통하여, 백-엔드 발화 번역 서버 시스템에 의한 제2 입력 단어 구절의 제1 언어로부터 제2 언어로의 번역에 관한 데이터를 수신하는 단계; 및
- 클라이언트 컴퓨팅 장치에 의하여 제2 언어의 제2 입력 단어 구절을 출력하는 단계를 포함한다.
본 발명의 추가 실시예에서, 클라이언트 컴퓨팅 장치는 메모리에 제1 구동 모드에서 제1 언어의 음성 발화를 인식하고 클라이언트 컴퓨팅 장치의 스피커를 통해 출력하기 위하여 인식된 음성 발화를 제2 언어로 번역하기 위한 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델을 저장하고; 바람직하게는 백-엔드 발화 번역 서버 시스템은 제2 구동 모드에서 제1 언어의 음성 발화의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하기 위한 백-엔드 어쿠스틱 모델, 백-엔드 언어 모델, 백-엔드 번역모델 및 백-엔드 발화 합성 모델을 포함한다.
상기 방법은
- 백-엔드 발화 번역 서버 시스템에 의하여, 클라이언트 컴퓨팅 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화를 시간에 걸쳐 모니터링하는 단계; 및
- 백-엔드 발화 번역 서버 시스템에 의하여, 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나를 클라이언트 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화의 시간에 걸친 모니터링에 기반하여 업데이트하고, 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나의 업데이트는 백-엔드 발화 번역 서버 시스템으로부터 클라이언트 컴퓨팅 장치로 무선 네트워크를 통해 전송되는, 업데이트 하는 단계를 더 포함할 수 있다.
발화 번역 방법은 클라이언트 컴퓨팅 장치에 의하여 제1 및 제2 언어를 포함하는 언어 번역 쌍을 위한 애플리케이션 소프트웨어를 다운로드하는 단계를 더 포함할 수 있다.
언어 번역 쌍을 위한 애플리케이션 소프트웨어를 다운로드하는 단계는 클라이언트 컴퓨팅 장치 및 백-엔드 발화 번역 서버 시스템 간 적절한 연결이 무선 네트워크를 사용 가능할 때 언어 번역 쌍을 위한 애플리케이션 소프트웨어를 다운로드하는 단계를 포함할 수 있다.
본 발명의 추가 실시예에서, 발화 번역 방법은:
- 클라이언트 컴퓨팅 장치에 의하여 클라이언트 컴퓨팅 장치의 위치를 결정하는 단계; 및
- 클라이언트 컴퓨팅 장치에 의하여 클라이언트 컴퓨팅 장치의 결정된 위치에 기반하여 클라이언트 컴퓨팅 장치 및 백-엔드 발화 번역 서버 시스템 간 적절한 연결이 무선 네트워크를 사용 가능할 때 언어 번역 쌍을 위한 애플리케이션 소프트웨어를 다운로드하는 단계를 포함할 수 있다.
바람직하게는, 클라이언트 컴퓨팅 장치는 동시에 디스플레이되는 제1 언어 디스플레이 영역 및 제2 언어 디스플레이 영역을 가지는 그래픽 사용자 인터페이스를 포함할 수 있고; 및
- 제1 및 제2 언어 디스플레이 영역 각각은 사용자-접근가능한 복수의 언어의 목록을 포함할 수 있다.
상기 방법은 클라이언트 컴퓨팅 장치에 의하여 그래픽 사용자 인터페이스를 통하여 제1 언어 디스플레이 영역의 제1 언어의 선택 및 제2 언어 디스플레이 영역의 제2 언어의 선택을 수신하는 단계를 더 포함할 수 있어, 그럼으로써 클라이언트 컴퓨팅 장치가 입력 음성 발화를 제1 언어에서 제2 언어로 번역하도록 구성된다.
제1 구동 모드에서 사용 가능한 언어는 그래픽 사용자 인터페이스의 제1 및 제2 언어 디스플레이 영역에서 제1 구동 모드에서 사용 불가능한 언어와 시각적으로 다르게 지정될 수 있다.
클라이언트 컴퓨팅 장치에 의하여 제1 구동 모드에서 제2 구동 모드로 이행하는 단계는 클라이언트 컴퓨팅 장치의 사용자 인터페이스를 통한 제1 모드에서 제2 모드로의 이행 하는 입력에 응답하는 것이다.
본 발명의 이들 및 다른 장점은 후술되는 설명으로 명백해질 것이다.
본 발명의 내용 중에 포함되어 있다.
본 명세서에 서술되는 본 발명의 다양한 실시예들은 하기의 도면과 함께 예로서 본 명세서에 기술된다:
도 1 및 8은 본 발명의 다양한 실시예에 따른 하이브리드 발화 번역 시스템의 블록도이고;
도 2a 내지 2b 및 4a 내지 4b는 클라이언트 컴퓨팅 장치의 사용자가 원하는 언어 번역 쌍을 선택하고, 오프라인 모드에서 온라인 모드로 및 그 반대로 이행할 수 있는 본 발명의 다양한 실시예에 따른 그래픽 사용자 인터페이스의 샘플 스크린 샷을 제공하고;
도 3은 본 발명의 다양한 실시예에 따른 클라이언트 컴퓨팅 장치의 블록도이고;
도 5는 본 발명의 다양한 실시예에 따른 자동으로 오프라인 및 온라인 모드 간에 이행하는 클라이언트 컴퓨팅 장치의 프로세스를 도식화한 흐름도이고;
도 6은 본 발명의 다양한 실시예에 따른 오프라인 발화 번역의 다양한 모델과 표를 업데이트하는 클라이언트 컴퓨팅 장치의 프로세스를 도식화한 흐름도이고; 및
도 7은 본 발명의 다양한 실시예에 따른 오프라인 및 온라인 모드에서 발화 번역 처리를 도식화한 흐름도이다.
본 발명은 일반적으로 무선-가능 클라이언트 컴퓨팅 장치(예컨대, 스마트폰 또는 태블릿 컴퓨터)가 온라인(예컨대, 원격 컴퓨터 시스템에서 발화 번역이 처리됨)과 오프라인(예컨대, 클라이언트 컴퓨팅 장치에 내장되어 발화 번역이 처리됨) 능력을 모두 가지는 발화 번역 시스템에 관한 것이다. 도 1은 본 발명의 다양한 실시예에 따른 발화 번역 시스템(10)의 예시적인 실시예의 블록도이다. 도 1에 도시된 바와 같이, 시스템(10)은 무선-가능 클라이언트 컴퓨팅 장치(12), 무선 네트워크(14), 데이터 통신 네트워크(15)(예컨대, 인터넷), 백-엔드 발화 번역 서버 시스템(16) 및 애플리케이션 스토어 서버 시스템("앱 스토어")(18)을 포함한다. 클라이언트 컴퓨팅 장치(12)는 클라이언트 컴퓨팅 장치(12)에 의해 수신된 발화를 제1 언어에서 제2(혹은 또 다른) 언어로 번역하기 위해 사용자에 의해 사용된다. 클라이언트 컴퓨팅 장치(12)는 임의의 적절한 컴퓨팅 장치, 예컨대 데스크탑 또는 랩탑 컴퓨터일 수 있으나, 보다 바람직하게는 모바일, 휴대용 컴퓨팅 장치, 예컨대 스마트폰 또는 태블릿 컴퓨터일 수 있다. 클라이언트 컴퓨팅 장치(12)의 예시에 관한 보다 자세한 사항은 도 3과 관련하여 후술된다.
클라이언트 컴퓨팅 장치(12)는 또한 바람직하게는 무선 네트워크(14)를 통해 무선 데이터 통신(예컨대, 클라이언트 컴퓨팅 장치(12)는 "무선-가능"함)이 가능하다. 무선 네트워크(14)는 임의의 적절한 무선 네트워크, 예컨대 IEEE 802.11 WLAN 표준을 사용하는 무선 LAN(WLAN), 예컨대 와이파이 네트워크다. 무선 네트워크(14)는 또한 모바일 통신 네트워크, 예컨대 3G 또는 4G LTE 핸드폰 모바일 통신 네트워크를 포함할 수 있으나, 임의의 적절한 무선 통신 역시 사용될 수 있다. 무선 네트워크(14)는 바람직하게는, 예컨대 액세스 포인트 또는 기지국을 통해 인터넷(15)에 대한 연결을 제공한다. 백-엔드 발화 번역 서버 시스템(16)과 앱스토어(18)는 인터넷(15)에 연결되고, 따라서 클라이언트 컴퓨팅 장치(12)와 무선 네트워크(14)를 통해 통신한다.
본 명세서에 서술되는 바와 같이, 클라이언트 컴퓨팅 장치(12)는 클라이언트 컴퓨팅 장치(12)가 오프라이인 발화 번역을 수행하거나 온라인 발화 번역을 수행할 수 있도록 하는 소프트웨어(모델을 포함), 계산 집중적인 발화 인식 및/또는 번역 처리 스텝을 제공하는 백-엔드 발화 번역 서버 시스템(16)이 제공된다. 그러므로 백-엔드 발화 번역 서버 시스템(16)은 클라이언트 컴퓨팅 장치(12)로부터 무선 네트워크(14)를 통해 수신하는 데이터에 기반한 발화 번역을 수행하는 하나 이상의 네트워크 컴퓨터 서버를 포함할 수 있다. 그러므로 백-엔드 발화 번역 서버 시스템(16)은 예컨대: 제1 언어로 입력된 음성 발화 데이터의 발화를 인식하기 위한 자동 발화 인식(automatic speech recognition; ASR) 모듈(20); 제1 언어로 인식된 것을 선택된 제2 언어로 변환/번역하는 기계 번역(machine translation; MT) 모듈(22); 및 번역을 제2 언어로 합성하여 제2 언어의 청각적 출력 신호로 합성하는 발화 합성 모듈(24)을 포함할 수 있다. ASR 모듈(20)은 예컨대, (i) 단어의 큰 목록과 주어진 시퀀스에서 그들의 출현 확률을 포함하는 언어 모델, 및 (ii) 언어 모델에서 각 단어를 형성하는 개별 음의 통계적 표현을 포함하는 어쿠스틱 모델을 이용할 수 있다. MT 모델은 예컨대, 적절한 번역 표(또는 모델) 및 언어 모델을 이용할 수 있다. 발화 합성 모듈(24)은 적절한 발화 합성 모델(들)을 이용할 수 있다. 유사하게, 클라이언트 컴퓨팅 장치(12)를 위한 발화 번역 소프트웨어는 (언어 및 어쿠스틱 모듈을 가지는) ASR 모듈, (번역 표/모델 및 언어 모델을 가지는) MT 모듈 및 (발화 합성 모델을 가지는) 발화 합성 모듈을 포함할 수 있다. 온라인 및 오프라인 모드를 위한 ASR, MT 및 합성 모듈(또는 엔진)에 대한 보다 자세한 사항은 본 명세서에 참조로서 전체로 통합된 미국 특허 8,090,570호 및 8,204,739호에서 찾을 수 있다.
클라이언트 컴퓨팅 장치(12)의 사용자는 발화 번역 소프트웨어(또는 애플리케이션 또는 "앱")를 앱스토어(18)을 통해 구매할 수 있다. 다양한 실시예에서, 백-엔드 발화 번역 서버 시스템(16)이 발화 번역 처리의 대부분을 수행하는, 클라이언트 컴퓨팅 장치(12)로의 연결을 가정하는 번역 앱의 온라인 버전은 앱스토어(18)를 통해 무료 다운로드가 가능하다. 온라인 번역 앱은 클라이언트 컴퓨팅 장치(12)에 사용자 인터페이스, 번역을 위한 입력 단어 구절, 예컨대 음성 발화(클라이언트 컴퓨팅 장치(12)의 마이크로 캡처된) 또는 텍스트(사용자 인터페이스에서 제공되는 텍스트 필드를 통해)를 수집하는 능력 및 번역 출력(클라이언트 컴퓨팅 장치(12)의 스피커를 통하여 및/또는 사용자 인터페이스를 통하여 텍스트로)을 제공한다. 이러한 실시예에서, 클라이언트 컴퓨팅 장치(12)는 백-엔드 발화 번역 서버 시스템(16)으로, 무선 네트워크(14)를 통하여, 제1 언어로, 클라이언트 컴퓨팅 장치(12)의 마이크로 녹음되거나 텍스트 입력 필드를 통해 입력된, 번역될 입력 구절에 관한 데이터를 예컨대 디지털, 인코딩된 샘플 또는 입력 발화의 전처리 후 특징 벡터를 포함하는 데이터로서 전송할 수 있다. 수신된 입력 데이터에 기반하여, 백-엔드 발화 번역 서버 시스템(16)은 음성 발화를 선택된 제2 언어로 번역하고, 번역을 나타내는 데이터를 처리, 합성 및 클라이언트 컴퓨팅 장치(12)의 스피커를 통한 청각적 출력을 위하여 클라이언트 컴퓨팅 장치(12)로 무선 네트워크(14)를 통하여 다시 전송한다.
발화 번역 앱은 또한 오프라인 모드에서 구동될 수 있고, 클라이언트 컴퓨팅 장치(12)가 발화 번역을 로컬에서, 백-엔드 발화 번역 서버 시스템(16)과의 연결 없이 수행할 수 있다. 다양한 실시예에서, 클라이언트 컴퓨팅 장치(12)의 사용자가, 무선 네트워크(14)와 연결을 가지고, 선택한 언어 쌍(예컨대, 영어-스페인어, 기타 등등)을 위한 오프라인 앱 소프트웨어를 다운로드 받아서, 오프라인 시스템이 네트워크 연결이 중단된 채로 실행될 수 있다. 도 2a 및 b는 사용자가 원하는 언어 번역 쌍을 선택할 수 있도록 하는 앱을 사용하는 클라이언트 컴퓨팅 장치(12)에서 디스플레이되는 사용자 인터페이스의 샘플을 도시한다. 도시된 사용자 인터페이스 샘플은 또한 사용자가 사용자 컨트롤을 통하여 온라인 또는 오프라인 모드를 선택할 수 있음을 나타낸다. 예를 들어, 도 2a에서 구름 및/또는 설명 "온라인 번역기"로 표시되는 바와 같이 사용자는 사용자 컨트롤(40)을 온라인으로 스위치하고; 도 2b에서 구름을 가로지르는 대각선 및 설명 "오프라인 번역기"로 표시되는 바와 같이 사용자는 사용자 컨트롤(40)을 오프라인으로 스위치한다. 도 2a 및 b의 예시에서, 제1 및 제2 컬럼에서 강조된 선택 영역(46)의 언어로 표시되는, 사용자는 제1 및 제2 컬럼(42, 44)에서 사용자가 원하는 언어 쌍을 얻을 때까지 언어를 위아래로 스크롤한다(스크롤 휠과 같이). 도 2a의 예시에서, 선택된 언어 쌍은 영어(국제 버전) 및 스페인어(멕시코 버전)이다. 도 2b의 예시에서, 선택된 언어 쌍은 영어(국제 버전) 및 스페인어(스페인 버전)이다.
온라인 모드에서, 사용자는 제안된 임의의 언어 쌍에 접근할 수 있다. 이것은 도 2a에 도시된 바와 같이 사용자에게 두 컬럼(42, 44)에서 사용자 가능한 언어의 아이콘(예컨대, 국기)의 색을 보임으로써 표시할 수 있다. 사용자는 두 컬럼을 위/아래로 스크롤하여 원하는 언어 쌍이 선택 영역(46)에 보이도록 한다. 다양한 실시예에서 무선 네트워크 연결이 사용 가능하지 않을 때(후술되는 바와 같이 사용자에 의하여 사용자 컨트롤(40)을 통해 스위치 오프되거나 자동으로 스위치 오프되는 등의 이유로), 클라이언트 컴퓨팅 장치(12)에 이전에 설치된 언어 쌍만이 사용 가능하다. 유사하게, 도 2b에 도시된 바와 같이, 오프라인 모드에서 사용 가능한 언어가 두 컬럼(42, 44)에서 인스톨된 언어의 아이콘(예컨대, 국기)의 색을 보이는 한편 비-설치된 언어를 회색으로 보임으로써 사용자에게 표시될 수 있다.
도 7은 다양한 실시예에 따른 하이브리드 온라인/오프라인 프로세스를 도시하는 흐름도이다. 클라이언트 컴퓨팅 장치(12)(예컨대, 그 마이크)는 제1 언어의 입력 음성을 단계 70에서 캡처한다. 만약, 단계 72에서 온라인 모드가 사용되면, 단계 74에서 클라이언트 컴퓨팅 장치(12)가 무선 네트워크(14)를 통하여, 입력 음성 데이터에 관한 데이터(예컨대, 입력 음성 발화의 샘플 또는 계수)를 백-엔드 발화 번역 서버 시스템(16)으로 다시 전송하고, 단계 76에서 제2 언어로 음성을 번역한다. 단계 77에서, 백-엔드 발화 번역 서버 시스템(16)이 번역을 위한 데이터를 클라이언트 컴퓨팅 시스템(12)으로 무선 네트워크(14)를 통하여 다시 전송하여, 단계 79에서, 클라이언트 컴퓨팅 장치(12)(예컨대, 그 스피커)가 청각적으로 입력 음성의 제2 언어 번역을 출력할 수 있다. 만약 단계 72에서 오프라인 모드가 사용되면, 단계 78에서 클라이언트 컴퓨팅 장치(12)가 메모리에 저장된 다운로드된 오프라인 발화 번역 소프트웨어를 실행하고, 음성을 제2 언어로 번역하고, 단계 79에서 출력된다.
도 3은 다양한 실시예에 따른 클라이언트 컴퓨팅 장치(12)의 블록도이다. 도 3의 예시에 도시된 바와 같이, 장치(12)는 다수의 프로세서(202, 204)를 포함할 수 있다. 기저대역 프로세서(202)는 임의의 적절한 통신 기술(예컨대, 3G, 4G 등)에 따라 모바일 통신 네트워크(예컨대, 셀룰러 네트워크)를 통한 통신을 다룰 수 있다. 기저대역 프로세서(202)는 전용 랜덤 액세스 메모리(RAM)(214)를 포함할 수 있다. 다양한 실시예로, 기저대역 프로세서(202)는 송수신기(206)와 통신할 수 있다. 이후, 송수신기(206)는 하나 이상의 전력 증폭기(208) 및 안테나(210)와 통신할 수 있다. 모바일 통신 네트워크에 대한 발신 신호는 기저대역 프로세서(202)에 의한 기저대역에서 처리될 수 있고 송수신기(206)로 제공될 수 있다. 송수신기(206) 및/또는 기저대역 프로세서(206)는 발신 신호를 반송파 주파수로 변조할 수 있다. 하나 이상의 증폭기(208)는 이후 안테나(210)를 통해 전송될 수 있는 발신 신호를 증폭할 수 있다. 모바일 통신 네트워크에 대한 착신 신호는 안테나(210)에 의해 수신되고 하나 이상의 증폭기(208)에 의해 증폭되며 송수신기(206)로 제공될 수 있다. 송수신기(206) 또는 기저대역 프로세서(202) 중 하나는 착신 신호를 기저대역으로 복조할 수 있다.
응용 프로세서(204)는 운영 시스템뿐 아니라 본 명세서에 기술된 오프라인 및 온라인 발화 인식 및/또는 번역 기능을 포함하는 소프트웨어 애플리케이션을 실행할 수 있다. 또한, 응용 프로세서(204)는 터치 스크린 인터페이스(232)에 대한 소프트웨어를 실행할 수 있다. 또한, 응용 프로세서(204)는 애플리케이션 RAM(212) 및 비-휘발성 데이터 저장소(예컨대, ROM)(216)와 통신할 수 있다. RAM(212)은 프로세서(204)에 의해 실행되기 위하여, 특히 오프라인 및 온라인 번역을 위하여, 오프라인 처리를 위한 자동 발화 인식, 기계 번역 및 발화 합성 모듈 및 온라인 처리를 위한 백-엔드 발화 번역 서버 시스템(16)과 통신하는 소프트웨어를 포함하여, 앱스토어(18)를 통해 다운로드된 애플리케이션 소프트웨어를 저장할 수 있다.
응용 프로세서(204)는 WI-FI/BLUETOOTH 조합 송수신기(218)와 같은 다른 하드웨어 장치와 추가로 통신할 수 있다. WI-FI/BLUETOOTH 송수신기(218)는 (예컨대, WI-FI 표준이나 임의의 적절한 표준에 따라) LAN과의 무선(RF) 통신 또는 (예컨대, BLUETOOTH 표준이나 임의의 적절한 표준에 따라) 장치(200)와 또 다른 무선 장치 사이의 직접적인 RF 통신을 다룰 수 있다. 또한, 다양한 실시예로, 장치(200)는 장치(12)의 지리적 위치를 설명하는 정보를 응용 프로세서(204)에 제공하기 위해 GPS 안테나(223)를 통해 위성-기반 GPS 시스템과 통신하는 위성 항법 시스템(GPS)(222)을 포함할 수 있다. 터치 스크린(232)은 시각적 서식으로 장치(12)의 사용자에게 출력을 제공하고 사용자로부터 입력을 수신하는 것 모두를 할 수 있다. 입력은 사용자에 의한 스크린-터치를 표현하는 신호의 형태 내에 있을 수 있다. 오디오 코덱 모듈(224)은 오디오 신호를 부호화하고 실행하기 위한 하드웨어 및/또는 소프트웨어를 제공할 수 있다. 일부의 실시예로, 코덱(224)은 또한 디지털-대-아날로그 컨버터를 포함할 수 있다. 오디오 출력 신호는 오디오 출력 신호를 실행하기 위해 한 세트의 헤드폰 및/또는 스피커를 수신할 수 있는 장치 스피커(16) 및/또는 잭(미도시)으로 제공될 수 있다. 오디오 입력 신호는 장치 마이크로폰(들)(18)을 통해 제공될 수 있다. 또한, 장치는 디지털 카메라(240)를 포함할 수 있다.
다양한 다른 센서가 특정 실시예에 포함될 수 있다. 자기 센서(226)는 장치 근처의 자기장을 감지할 수 있다. 예컨대, 자기 센서(226)는 다양한 앱 및/또는 시스템 기능에 의해 나침반을 구현하는데 사용될 수 있다. 가속도계(228) 및 자이로스코프(230)는 장치의 동작을 기술하는 데이터를 제공할 수 있다. 예컨대, 가속도계(228) 및 자이로스코프(230)로부터의 데이터는 터치 스크린(232)의 디스플레이를 (예컨대, 세로 대 가로) 지향시키는데 사용될 수 있다. 장치(200)는 배터리(234)에 의해 전력을 공급받을 수 있는데, 이는 결국 전력 관리 집적 회로(PMIC)(236)에 의해 관리될 수 있다. I/O 송수신기(238)는 예컨대 USB(Universal Serial Bus) 또는 임의의 다른 적절한 표준에 따라 장치와 다른 장치 사이의 유선 통신을 관리할 수 있다. 커넥터(239)는 유선 연결을 용이하게 할 수 있다. 일부의 실시예로, 커넥터(239) 및/또는 I/O 송수신기(238)를 통한 연결은 배터리(234)를 충전하기 위한 전력을 제공할 수 있다.
상술한 바와 같이, 다양한 실시예에서 사용자는 예컨대 도 2a 및 2b의 예시에 도시된 바와 같이 사용자 컨트롤(40)의 활성에 의하여 온라인과 오프라인 모드 사이에서 스위치할 수 있다. 온라인 처리는 바람직하게 언어 모델에서 온라인 처리보다 큰 단어를 제공하지만, 온라인 처리는 사용자 입력 음성이 무선 네트워크(14) 및 인터넷을 통해 전송되지 않아 강화된 사용자 개인정보 및 보안을 제공할 수 있다. 또한 번역 앱 소프트웨어는 다양한 실시예에 따라 클라이언트 컴퓨팅 장치(12)가 자동으로 온라인 및 오프라인 모드 사이에서 스위치할 수 있도록 할 수 있다. 예를 들어, 사용자는 앱에 설정을 제공하여 만약 무선 네트워크(14)가 사용 가능하면(예컨대, 적절한 데이터 속도/연결 속도로 네트워크 연결), 온라인 구동 모드가 사용되고; 아니면 오프라인 구동 모드이다. 따라서, 그러한 실시예에서, 도 5의 예시적인 흐름도에 도시된 바와 같이, 만약 클라이언트 컴퓨팅 장치(14)가 무선 통신 모드(예컨대, 와이파이 또는 3G나 4G와 같은 핸드폰 네트워크)에 있으면(단계 50), 클라이언트 컴퓨팅 장치(12)의 프로세서가 메모리에 저장된 앱 소프트웨어를 실행하고, 와이파이 네트워크를 위한 데이터 속도/연결 속도를 체크할 수 있고(단계 52), 만약 임계 데이터 속도/연결 속도보다 높으면, 온라인 모드가 사용되고(단계 54); 그렇지 않으면 오프라인 모드가 사용된다(단계 56). 이런 방식으로, 사용자는 자동화되고, 연속적인 번역 기능을 가지고 오프라인 또는 온라인 모드의 사용이 사용자에게 투명하다. 클라이언트 컴퓨팅 장치(12)는 시각적으로 주어진 시간에 어떤 모드가 사용 중인지 표시할 수 있다(상술된 구름 및 비-구름 아이콘과 같이).
다른 실시예에서, 클라이언트 컴퓨팅 장치(12)의 프로세서는 메모리에 저장된 앱을 실행하고, 온라인 및 오프라인 구동 모드 사이에서 다른 인자, 예컨대: 가격(예컨대, 만약 로밍 비용이 적용되거나, 혹은 네트워크 연결이 없으면, 오프라인 구동 모드가 사용됨); 질(예컨대, 보다 좋은 번역, 어쿠스틱 또는 언어 모델, 예컨대, 특정 오프라인 스피커의 사용 또는 온라인 일반적인 영역 독립 모델); 위치(예컨대, GPS 시스템(222)에 의해 결정된 GPS 좌표에 기반하여); 개인정보(예컨대, 보안 무선 네트워크가 사용 가능할 때에만 온라인 모드를 사용); 및/또는 시간(예컨대, 하루 중 지정된 시간 중에는 지정된 모드)에 기반하여 자동으로 스위치할 수 있다. 다양한 실시예에서, 클라이언트 컴퓨팅 장치(14)의 사용자는 설정을 통해 온라인과 오프라인 구동 모드 사이에서 자동으로 이행하기 위한 응용 가능한 기준을 세우도록 앱을 구성할 수 있다. 예를 들어, 다양한 실시예에 따르면, 사용자는: 항상 오프라인 모드를 사용(온라인 모드를 절대 사용하지 않는 경우); 가장 빠른 서비스를 선호(무선 네트워크의 연결 속도가 임계치를 초과할 때만 온라인 모드를 사용하는 경우); 가장 정확한 번역(온라인 모드가 사용 가능할 때마다 사용하는 경우); 비용을 제한(예컨대, 로밍 비용이 적용 가능할 때 오프라인 모드를 사용)을 선택할 수 있다. 이러한 사용자 선호는 개인정보(데이터 전송), 질(발화 번역 모델의 크기 및 성능) 또는 비용(데이터 로밍)의 고려에 영향 받을 수 있다.
하이브리드 오프라인/온라인 번역 시스템의 또 다른 측면은 클라이언트 컴퓨팅 장치(12)에서 오프라인 모드에 사용 가능하게 된 언어 쌍이다. 클라이언트 컴퓨팅 장치(12)의 메모리 크기 제한 때문에, 많은 경우에 모든 사용 가능한 언어 쌍을 클라이언트 컴퓨팅 장치(12)에 다운로드하는 것은 비현실적이다. 이와 같이, 바람직하게는 클라이언트 컴퓨팅 장치(12)의 사용자는 클라이언트 컴퓨팅 장치(12)에 사용자가 필요한 선택된 언어 쌍만을 다운로드한다. 예를 들어, 다양한 실시예에서, 사용 가능한 오프라인 언어 쌍을 앱스토어(18)를 통하여 선택 또는 구매할 수 있다. 다양한 실시예에서, 사용자는 몇몇 언어 쌍(예컨대 유럽, 동남아시아 등과 같은 지리적 영역의 언어들, 또는 멕시코와 스페인 버전의 스페인어, 포르투갈과 브라질 버전의 포르투갈어 등과 같이 동일한 언어의 버전들)을 포함하는 패키지를 구매할 수 있고, 패키지 내의 모든 언어 쌍의 소프트웨어 앱이 클라이언트 컴퓨팅 장치(18)에 다운로드 가능하다. 예를 들어, 도 4a는 사용자가 구매할 다양한 번역 언어 쌍을 선택할 수 있는 샘플 스크린샷을 도시하고; 도 4b는 번역 언어 쌍의 패키지(이 예시에서, 세계 패키지)의 샘플 스크린샷을 포함한다. 만약 사용자가 클라이언트 컴퓨팅 장치로부터 동일한 메모리로 언어 쌍을 제거하고 싶다면, 다양한 실시예에서, 사용자는 그 사용 가능성을 잃지 않으면서 쌍과 대응하는 모델을 제거할 수 있다. 즉, 사용자는 나중에 모델을 다시 다운로드할 수 있다.
일실시예에서, 언어 쌍의 다운로드 선택은 사용자에게 남고, 사용자는 클라이언트 컴퓨팅 장치에 오프라인 번역을 위해 설치될 쌍을 선택한다. 만약 사용자가 선택한 언어 쌍(들)을 설치하기 원하지만 만족스러운 네트워크 연결이 없으면, 클라이언트 컴퓨팅 장치는 요청을 저장하고 다음에 네트워크 연결이 사용 가능할 때 사용자에게 쌍을 다운로드하기 위한 리마인더 메시지를 발행한다. 리마인더 메시지는 사용자에게 그/그녀가 선택된 언어 쌍(들)의 오프라인 버전을 다운로드하기 원하는지 질의하고 만약 사용자에게 확인 받으면 다운로드를 진행한다.
다른 실시예에서, 클라이언트 컴퓨팅 장치(12) 스스로 사용자를 위한 오프라인 번역 쌍을 관리할 수 있다. 예를 들어, 클라이언트 컴퓨팅 장치(12)는 전세계에서 사용되는 언어에 관한 데이터를 유지하고 사용자의 위치에 관한 오프라인 언어 쌍을 자동으로 다운로드할 수 있다. 예를 들어, 만약 GPS 시스템(22)가 사용자가 스페인에 있다고 표시하면, 스페인 버전의 스페인어가 다운로드될 수 있는 등이다. 또한, 예컨대, 사용자의 달력 데이터(예컨대, 여행) 또는 사용자의 관심 또는 세계의 특정 영역에 여행 가려는 계획을 나타내는 웹 검색 데이터에 기반하여 오프라인 언어 쌍이 자동으로 다운로드될 수 있다.
사용자의 위치(예컨대, GPS 데이터에 기반하여) 및/또는 관심(예컨대, 인터넷 검색 데이터 및/또는 발화 번역 질의)에의 접근 또한 발화 번역 시스템에 그 언어 행동의 사용자화를 제안한다. 특정 단어, 지역 이름 및 음식 타입이 선호될 수 있다. 특히, 이름(지역 이름, 사람 이름)이 보다 많이 또는 적게 관련될 수 있고 지역에 의존할 수 있다(예컨대, 일본의 카와사키 및 야마모토인 반면 스페인의 Martinez 또는 Gonzales, 기타 등등). 그러므로 인식 및 번역 모델의 모델링 파라미터, 가장 중요하게는 그들의 단어 및 가능한 번역이 사용자의 위치 및 관심사에 기반하여 조정될 수 있다. 온라인 모드에서, 이 모든 것이 설정된 적응 알고리즘을 사용하여 사용 중 동적으로 수행될 수 있다. 하지만 오프라인 시스템에서, 모든 단어가 저장되지 않고 메모리는 모바일 장치의 효율을 달성하기 위하여 아껴져야 한다. 그러므로 시스템은, 다양한 실시예에서, 사용자화된 파라미터 모델을 오프라인/내장 시스템에서조차 네트워크 연결이 사용 가능할 때 백-엔드 발화 번역 시스템(16)으로부터 다운로드하고, 단어 아이템, 언어 모델 및 수정된 확률적 어쿠스틱 파라미터를 교환한다.
발화 번역 시스템의 가장 메모리 집중적인 측면은 일반적으로 기계 번역 엔진의 번역 표 및 언어 모델, 인식 엔진의 어쿠스틱 및 언어 모델, 및 발화 합성 엔진의 음성 파라미터에서 주어진다. 클라이언트 컴퓨팅 장치(12)에 로컬화된 오프라인 번역 앱을 위한 모델의 크기를 줄이기 위하여, 모델의 타입에 의존하는 상이한 기술들이 사용될 수 있다. 어쿠스틱 모델 및 언어 모델과 같이 모델 파라미터로서 확률을 가지는 모델은 확률의 값 범위를 양자화하여 값 범위가 연속적으로부터 고정된 수의 값만을 가지는 이산적 공간으로 매핑될 수 있음으로써 감소될 수 있다. 양자화 인자에 의존하여, 저장 요구조건이 불과 한 바이트 또는 수 비트로 감소될 수 있다. 번역 표 및 언어 모델과 같이 단어의 구절을 저장하는 모델은 접두사 트리와 같은 효율적으로 구현된 저장 기술을 사용할 수 있다. 나아가, 메모리-매핑 기술이 사용되어 모델의 작은 부분만을 RAM(212/214)에 요구에 따라 로드할 수 있고, 필요하지 않은 부분은 비활성 저장소(216)에 건드리지 않고 남겨질 수 있다.
언어 모델 및/또는 번역 모델을 주어진 크기로 감소시켜 오프라인 클라이언트 컴퓨팅 장치에서 실행시키기 위한 또 다른, 보다 세련된 접근은 어휘 및 단어 N-그램을 제거하거나 추가적인 정보를 추가함으로써 기초 모델을 확장하는 특별한 트리밍/확장 휴리스틱을 사용하는 것이다. 제거는 기회적 방식(opportunistic manner)로 수행되어 사용자의 가장 가능성 있는 단어 및 표현이 자원 제한, 예컨대 어휘를 사용자-특정 서브셋만으로 제한하고 이 어휘에 의해 커버되는 일반 모델의 이들 부분만을 선택하거나, 자동으로 사용자-특정 정보를 사용자의 질의로부터 수집하고 사용자의 질의에 밀접하게 관련된 일반 모델의 이들 부분을 선택함에도 불구하고 여전히 표시된다. 반면 확장은 사용자 특정 - 예컨대, 사용자의 말하는 스타일에 기반하여 - 및/또는 영역 특정 - 예컨대, 관광업 사용 또는 인도주의적 사용 - 및/또는 상황 특정 - 예컨대, GPS 위치에 기반하여 - 및/또는 일반적인, 서버의 상술한 특정 정보 중 어느 것에도 관련되지 않은 정보만을 선택하고, 이 (델타) 정보만을 서버로부터 장치로 전송하고 이 정보를 장치에 저장된 기초 모델에 적용함으로써 수행될 수 있다.
예를 들어, 도 6의 흐름도와 관련하여, 단계 60에서 백-엔드 발화 번역 서버 시스템(16)이 단계 62에서 사용자의 오프라인 언어 모델 및/또는 번역 표가 업데이트되어 할지 결정할 사용자 데이터를 분석할 수 있고, 예를 들어, 드물게 사용되는 단어 또는 표현을 제거하는 한편, 흔히 쓰이는 사용자의 단어 및 표현을 유지하거나 흔히 쓰이는 번역 및 표현을 서버에서 추출하고 클라이언트 컴퓨팅 장치에 저장된 기초 모델에 적용한다. 상술한 바와 같이, 백-엔드 발화 번역 서버 시스템(16)은 흔히(또는 흔치 않게) 사용된 단어 및 표현을 결정하기 위하여, 사용자의 번역 질의(예컨대, 번역될 표현) 및/또는 인터넷 브라우징 이력을 번역할 수 있다. 이와 같이, 다양한 실시예에서, 사용자의 오프라인 모드에서의 번역 질의는 클라이언트 컴퓨팅 장치(12)에 의해 저장되고, 네트워크 연결 기간 동안 백-엔드 발화 번역 서버 시스템(16)에 업로드되어 백-엔드 발화 번역 서버 시스템(16)에 의해 분석될 수 있다. 유사하게, 사용자의 인터넷 브라우징 이력(예컨대, 쿠키 데이터)가 네트워크 연결 기간 동안 백-엔드 발화 번역 서버 시스템(16)에 업로드되어 사용자에 의해 흔히(또는 흔치 않게) 사용된 단어 및 표현을 결정하기 위해 백-엔드 발화 번역 서버 시스템(16)에 의해 분석될 수 있다. 만약, 사용자 데이터의 번역을 통하여, 백-엔드 발화 번역 서버 시스템(16)이 클라이언트 컴퓨팅 장치의 오프라인 처리 소프트웨어의 언어 모델 및/또는 번역 표가 업데이트되어야 하는 것으로 결정하면, 단계 64에서 업데이트된 소프트웨어(예컨대, 모델)이 클라이언트 컴퓨팅 장치로(예컨대, 백-엔드 발화 번역 서버 시스템(16)으로부터) 다운로드된다. 전체 모델을 다운로드하는 대신, 모델을 업데이트하는데 필요한 (델타) 정보만을 클라이언트 컴퓨팅 장치에 다운로드하는 것도 가능하다.
유사하게, 사용자 특정 정보 또한 예컨대 보다 일반적인 어쿠스틱 모델을 보다 작은 사용자-특정 모델로 대체함으로써 어쿠스틱 모델의 크기를 줄이는데 유용할 수 있다. 사용자-특정 데이터의 양에 의존하여, 예컨대, MLLR과 같은 어쿠스틱 모델 적응 기술을 사용하거나 추가의 새 데이터를 사용하여 어쿠스틱 모델을 완전히 재교육시킴으로써 이것이 달성될 수 있다. 그러므로, 예를 들어, 다시 도 6을 참조하면, 만약 단계 66에서 백-엔드 발화 번역 서버 시스템(16)이 사용자의 클라이언트 컴퓨팅 장치(12)를 위한 오프라인 모드 어쿠스틱 모델이 사용자 데이터의 분석에 기반하여 수정되어야 하는 것으로 결정하면, 단계 68에서 업데이트된 소프트웨어(예컨대, 어쿠스틱 모델)가 클라이언트 컴퓨팅 장치에(예컨대, 백-엔드 발화 번역 서버 시스템(16)으로부터) 다운로드된다.
발화-대-발화 번역 시스템에서 가장 큰 속도-제한 요소는 발화 인식 알고리즘이고, 그들이 많은 어쿠스틱 가설 및 발화 신호의 많은 시간 조각에 걸쳐 검색을 수행한다. 알고리즘 검색의 속도는 어쿠스틱 모델의 크기에 지배적으로 영향 받는다. 클라이언트 컴퓨팅 장치(12)에서 발화-대-발화 번역을 수행할 때 오프라인 시스템의 속도를 유지하기 위하여, 몇몇 기술이 사용될 수 있다. 예를 들어, 일실시예에서, 모델의 크기에 의존하여, 요구된 거리를 계산하는 대신 룩업 테이블이 모델과 입력 발화 간의 마할라노비스 거리(Mahalanobis distances)를 계산하는데 사용될 수 있다. 나아가, 가우시안 선택 기술이 오프라인 모드에서 평가를 위해 필요한 모델 파라미터의 전체 양을 감소시킬 수 있다. 도 6과 관련하여 상술한 바와 같이, 사용자 특정 정보가 사용 가능하자마자, 작고, 보다 효율적인 사용자 특정 모델이 대신 사용될 수 있다.
나아가, 다양한 실시예에 따르면, 온라인 모드 도중, 백-엔드 발화 번역 시스템(16)이 복수의 발화 인식 및 번역 엔진(모듈)을 사용하고 결합할 수 있다. 이들 백엔드 엔진은 동일한 발화 번역 공급자에게서 공급될 수 있고 동일한 서버에서 실행될 수 있고, 예를 들어, 다른 실시예에서는 세 분리된 독립적 백-엔드 발화 번역 시스템(16)을 도시하는 도 8의 예시에 도시된 바와 같이 상이한 위치의 독립적인 발화 번역 공급자로부터 공급될 수 있으며, 다른 실시예에선 더 적거나 많은 백-엔드 발화 번역 시스템(16)이 사용될 수 있다. 이러한 실시예에서, 각 발화 번역 시스템(16)이 인터넷(15)를 통해 동시에 번역을 수행하기 위해 요구될 수 있다. 이러한 실시예에서, 백-엔드 발화 번역 시스템(16)이 통신하고(예컨대, 인터넷(15)를 통하여) 백-엔드 발화 번역 시스템(16) 중 하나가 보다 좋은 번역을 선택하거나 그들을 결합할 수 있다. 복수의 시스템/번역 간에서 및/또는 시스템 조합을 어떻게 가중치를 줄 것인지 결정하기 위하여, ASR의 자신감 척도와 MT의 자신감 척도가 사용될 수 있다. 이러한 자신감 척도는 ASR 또는 MT 가설의 신뢰도를 결정하기 위해 사용된다. 만약 둘 이상의 ASR 또는 MT 엔진이 그러한 실시예에서 결합되면, ASR 출력을 결합하는 방법 "ROVER"(예컨대 J. G. Fiscus, "A post-processing system to yield reduced error word rates: Recognizer output voting error reduction (ROVER)," IEEE Workshop on Automatic Speech Recognition and Understanding, pp. 347-354, 1997 참조), 한 시스템의 다른 시스템에 대한 교차-적응, 또는 MT 시스템 결합 기술(예컨대 Rosti et al., "Combining Outputs from Multiple Machine Translation Systems," Proc. Of NAACL HLT, pp. 228-235, 2007 및 K. Heafield et al., "Combining Machine Translation Output with Open Source," Prague Bulletin of Mathematical Linguistics, No. 93, pp. 27-36, 2010 참조)과 같은 시스템 조합이 사용될 수 있다. 이러한 실시예에서, 선택되고 결합된 가설은 백-엔드에서 사용자를 위한 최선의 출력을 생성하기 위하여 경쟁할 수 있다. 한번 온라인 모드에서 수행되면, 시스템은 오프라인 시스템에서 도입을 위해 이 방식으로 도달한 최선의 선택을 기억할 것이다. 오프라인 시스템의 학습을 위하여, 결합된 온라인 시스템(16)이 메모리에서 복수의 ASR 엔진의 인식 가설 및/또는 MT 엔진의 번역 가설을 제한하고 조합 또는 이들 가설 중 보다 좋은 것을 사용하여 새 오프라인 시스템을 적응 또는 훈련시킨다. 이러한 재훈련 또는 적응된 시스템은 무선 네트워크가 사용 가능할 때 오프라인 시스템에서 순차적으로 교체될 수 있다.
그러므로, 한 일반적인 측면에서, 본 발명은 하이브리드, 오프라인 및 온라인 발화 번역을 위한 발화 번역 시스템 및 방법을 가리킨다. 다양한 실시예에 따르면, 시스템은 백-엔드 발화 번역 서버 시스템 및 백-엔드 발화 번역 서버 시스템과 무선 네트워크를 통해 통신하도록 구성된 클라이언트 컴퓨팅 장치를 포함할 수 있다. 클라이언트 컴퓨팅 장치는 마이크, 마이크와 연결된 프로세서, 프로세서와 연결되고 프로세서에 의해 실행되는 명령어를 저장하는 메모리, 프로세서와 연결된 스피커를 포함할 수 있다. 클라이언트 컴퓨팅 장치는 번역할 입력 단어 구절(예컨대 음성 발화 또는 텍스트 입력)의 제1 언어로부터 제2 언어로의 번역을 예컨대 스피커 또는 텍스트 디스플레이 필드를 통해 출력하기 위한 것이다. 메모리는 제1 구동 모드(오프라인 모드)에서, 프로세서가 명령어를 실행할 때, 출력하기 위하여 프로세서가 입력 단어 구절을 제2 언어로 번역한다. 제2 구동 모드(온라인 모드)에서: (i) 클라이언트 컴퓨팅 장치가 백-엔드 발화 번역 서버 시스템으로 무선 네트워크를 통하여 제1 언어로 마이크로부터 수신한 입력 단어 구절에 관한 데이터를 전송하고; (ii) 백-엔드 발화 번역 서버 시스템은 제1 언어의 입력 단어 구절의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하고; 및 (iii) 백-엔드 발화 번역 시스템은 제1 언어의 음성 발화의 제2 언어로의 번역에 관한 데이터를 클라이언트 컴퓨팅 장치로 무선 네트워크를 통하여 전송하여 클라이언트 컴퓨팅 장치가 제1 언어의 입력 단어 구절의 제2 언어로의 번역을 출력하도록 하는 명령어를 저장한다.
다양한 실시예에 따르면, 클라이언트 컴퓨팅 장치는 사용자가 제1 구동 모드 및 제2 구동 모드 간에서 스위치하도록 하는 사용자 인터페이스를 가진다. 대안적으로, 클라이언트 컴퓨팅 장치가 연결 또는 클라이언트 컴퓨팅 장치의 사용자의 사용자 선호 설정에 기반하여 자동으로 제1 구동 모드 또는 제2 구동 모드를 사용할 것인지 여부를 선택한다. 나아가, 클라이언트 컴퓨팅 장치는 메모리에 제1 구동 모드에서 제1 언어의 음성 발화를 인식하고 스피커를 통해 출력하기 위하여 인식된 음성 발화를 제2 언어로 번역하기 위한 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델을 저장할 수 있다. 또한, 백-엔드 발화 번역 서버 시스템은 제2 구동 모드에서 제1 언어의 음성 발화의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하기 위한 백-엔드 어쿠스틱 모델, 백-엔드 언어 모델, 백-엔드 번역모델 및 백-엔드 발화 합성 모델을 포함한다. 로컬 모델들은 백-엔드 어쿠스틱 모델들과는 상이하다(예컨대, 서브셋 또는 다른 변형).
나아가, 백-엔드 발화 번역 서버 시스템은: (i) 클라이언트 컴퓨팅 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화를 시간에 걸쳐 모니터링하고; 및 (ii) 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나를 클라이언트 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화의 시간에 걸친 모니터링에 기반하여 업데이트한다. 클라이언트 컴퓨팅 장치는 클라이언트 컴퓨팅 장치의 위치를 결정하기 위한 GPS 시스템을 포함할 수 있다. 이러한 실시예에서, 백-엔드 발화 번역 서버 시스템은 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나를 클라이언트 컴퓨팅 장치의 위치에 기반하여 업데이트하도록 프로그래밍될 수 있다. 클라이언트 컴퓨팅 장치의 로컬 모델들 중 적어도 하나의 임의의 업데이트는 백-엔드 발화 번역 서버 시스템으로부터 클라이언트 컴퓨팅 장치로 무선 네트워크를 통하여 전송될 수 있다.
나아가, 클라이언트 컴퓨팅 장치는 제1 및 제2 언어를 포함하는 언어 번역 쌍을 위한 애플리케이션 소프트웨어(모델을 포함하여)를 특히 클라이언트 컴퓨팅 장치 및 백-엔드 발화 번역 서버 시스템 간의 적절한 연결이 무선 네트워크를 통해 사용 가능할 때 다운로드하도록 구성될 수 있다. 또한, 클라이언트 컴퓨팅 장치가 GPS 시스템을 포함하는 실시예에서, 클라이언트 컴퓨팅 장치가 클라이언트 컴퓨팅 장치의 결정된 위치에 기반하여 클라이언트 컴퓨팅 장치 및 백-엔드 발화 번역 서버 시스템이 무선 네트워크를 통해 사용 가능할 때 언어 번역 쌍을 위한 애플리케이션 소프트웨어를 다운로드하도록 구성될 수 있다.
나아가, 클라이언트 컴퓨팅 장치는 동시에 디스플레이되는 제1 언어 디스플레이 영역 및 제2 언어 디스플레이 영역을 가지는 그래픽 사용자 인터페이스를 포함할 수 있다. 각 제1 및 제2 언어 디스플레이 영역은 사용자-접근가능한 복수의 언어의 목록을 포함할 수 있어, 클라이언트 컴퓨팅 장치의 사용자가 제1 언어 디스플레이 영역의 목록에서 제1 언어를 선택하고 제2 언어 디스플레이 영역에서 제2 언어를 선택하고, 그럼으로써 클라이언트 컴퓨팅 장치가 입력 음성 발화를 제1 언어에서 제2 언어로 번역하도록 구성될 수 있다. 제1 (오프라인) 구동 모드에서 사용 가능한 언어는 제1 및 제2 언어 디스플레이 영역에서 제1 구동 모드에서 사용 불가능한 언어와는 다르게 지정될 수 있다.
나아가, 다양한 실시예에서, 백-엔드 발화 번역 서버 시스템은 복수의 백-엔드발화 번역 시스템 중 하나이고, 클라이언트 컴퓨팅 장치는 복수의 백-엔드 발화 번역 서버 시스템 각각과 무선 네트워크를 통하여 통신하도록 구성된다. 제2(온라인) 구동 모드에서: 복수의 백-엔드 발화 번역 서버 시스템 각각은 제1 언어의 입력 단어 구절의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정한다. 이러한 환경에서, 복수의 백-엔드 발화 번역 서버 시스템 중 하나는 클라이언트 컴퓨팅 장치로 전송하기 위하여 복수의 백-엔드 발화 번역 서버 시스템으로부터의 번역 중 하나를 선택하거나, 복수의 백-엔드 발화 번역 서버 시스템 중 둘 이상의 번역이 결합되어 클라이언트 컴퓨팅 장치로 전송하기 위하여 결합된 번역을 생성한다.
일반적인 측면에서, 발화 번역 방법은 제1(오프라인) 구동 모드에서: (i) 클라이언트 컴퓨팅 장치에 의하여 제1 언어의 제1 입력 단어 구절을 수신하는 단계; (ii) 클라이언트 컴퓨팅 장치에 의하여 제1 입력 단어 구절을 제2 언어로 번역하는 단계; (iii) 클라이언트 컴퓨팅 장치에 의하여 제1 음성 발화를 제2 언어로 출력하는 단계(예컨대, 스피커를 통하여 청각적으로 및/또는 텍스트 디스플레이 필드를 통하여 시각적으로)를 포함한다. 방법은 클라이언트 컴퓨팅 장치에 의하여 제1 구동 모드에서 제2 구동 모드로 이행하는 단계, 그 후 제2(온라인) 구동 모드에서: (iv) 클라이언트 컴퓨팅 장치에 의하여 제1 언어의 제2 입력 단어 구절을 수신하는 단계; (v) 클라이언트 컴퓨팅 장치에 의하여, 무선 네트워크를 통하여, 제2 입력 단어 구절에 관한 데이터를 백-엔드 발화 번역 서버 시스템으로 전송하는 단계; 및 클라이언트 컴퓨팅 장치에 의하여, 백-엔드 발화 번역 서버 시스템으로부터 무선 네트워크를 통하여, 백-엔드 발화 번역 서버 시스템에 의한 제2 입력 단어 구절의 제1 언어로부터 제2 언어로의 번역에 관한 데이터를 수신하는 단계; 및 클라이언트 컴퓨팅 장치에 의하여 제2 언어의 제2 입력 단어 구절을 출력하는 단계를 더 포함한다.
본 명세서에 기술된 적어도 일부의 실시예는 소프트웨어, 펌웨어 및/또는 하드웨어의 많은 다른 실시예들로 구현될 수 있음이 당업자에게 명백할 것이다. 소프트웨어 및 펌웨어 코드는 프로세서 회로 또는 임의의 다른 유사한 컴퓨팅 장치에 의해 실행될 수 있다. 실시예들을 구현하는데 사용될 수 있는 소프트웨어 코드 또는 특화된 제어 하드웨어는 제한이 없다. 예컨대, 본 명세서에 기술된 실시예는 가령 종래의 기술 또는 객체-지향 기술을 사용하여, 임의의 적절한 컴퓨터 소프트웨어 언어 타입을 사용하는 컴퓨터 소프트웨어로 구현될 수 있다. 이런 소프트웨어는 예컨대 자기 저장매체나 광학 저장매체와 같은 임의의 타입의 적절한 컴퓨터-판독가능한 매체나 매체들에 저장될 수 있다. 실시예들의 동작이나 행동은 특정 소프트웨어 코드나 특화된 하드웨어 컴포넌트의 특정한 언급 없이도 기술될 수 있다. 당업자가 더 이상의 합리적인 노력 없이 그리고 과도한 실험 없이 본 설명을 기초로 실시예들을 구현하도록 소프트웨어 및 제어 하드웨어를 설계할 수 있음이 명백히 이해되기 때문에, 이런 특정한 언급이 기술되지 않을 수 있다.
게다가, 본 실시예들과 관련된 프로세스는 가령 컴퓨터나 컴퓨터 시스템, 모바일 장치, 스마트폰 및/또는 프로세서와 같은 프로그램가능한 기기로 실행될 수 있다. 프로그램가능한 기기가 프로세스를 실행하도록 할 수 있는 소프트웨어는 예컨대 컴퓨터 시스템 (비휘발성) 메모리, RAM, ROM, 플래시 메모리, 기타 등등과 같은 임의의 저장 장치에 저장될 수 있다. 게다가, 적어도 일부의 프로세스는 컴퓨터 시스템이 제조되거나 다양한 타입의 컴퓨터-판독가능한 매체에 저장될 때 프로그램화될 수 있다.
"컴퓨터", "컴퓨터 시스템", "호스트", "서버" 또는 "프로세서"는 예로서 제한 없이, 프로세서, 마이크로컴퓨터, 미니컴퓨터, 서버, 메인프레임, 랩톱, 개인용 정보 단말기(PDA), 무선 이메일 장치, 셀룰러폰, 스마트폰, 태블릿, 모바일 장치, 페이저, 프로세서, 팩스 머신, 스캐너 또는 네트워크를 통해 데이터를 송신 및/또는 수신하도록 구성된 임의의 다른 프로그램가능한 장치일 수 있다. 본 명세서에 개시된 컴퓨터 시스템 및 컴퓨터-기반 장치는 정보를 획득, 처리 및 통신하는데 사용되는 특정 소프트웨어 모듈이나 엔진을 저장하기 위한 메모리를 포함할 수 있다. 이런 메모리는 개시된 실시예들의 동작에 대해 내부 또는 외부에 있을 수 있음이 이해될 수 있다. 또한, 메모리는 하드 디스크, 광학 디스크, 플로피 디스크, ROM(read only memory), RAM(random access memory), PROM(programmable ROM), EEPROM(electrically erasable PROM) 및/또는 다른 컴퓨터-판독가능한 매체를 포함하는 소프트웨어 저장용 임의의 수단을 포함할 수 있다. 본 명세서에 기술된 소프트웨어 모듈 및 엔진은 모듈들을 저장하는 메모리에 접속하는 컴퓨터 장치의 프로세서(또는 경우에 따라 프로세서들)에 의해 실행될 수 있다.
본 명세서에 개시된 다양한 실시예로, 단일의 컴포넌트가 다수의 컴포넌트로 대체될 수 있고 다수의 컴포넌트는 소정의 기능이나 기능들을 수행하는 단일의 컴포넌트로 대체될 수 있다. 이런 대체가 작동될 수 없는 경우 이외에, 이런 대체는 실시예들의 의도된 범위 내에 있다. 본 명세서에 기술된 임의의 서버는 예컨대 협력 기능들이 위치되고 설정되는 "서버 팜(server farm)" 또는 (가령 서버 블래이드(server blades)와 같은) 네트워크형 서버의 다른 그룹화로 대체될 수 있다. 서버 팜은 팜의 개별 컴포넌트들 사이에 작업량을 분배하는 역할을 할 수 있고 다수의 서버의 공동의 협력적인 능력을 활용하여 컴퓨팅 프로세서를 신속히 처리할 수 있음이 이해될 수 있다. 이런 서버 팜은 예컨대 다른 기계들로부터의 능력을 처리기 위한 수요를 추적하기, 네트워크 수요를 기초로 업무를 순위화하고 스케쥴링하기 및/또는 컴포넌트 고장이나 동작성의 감소시 비상 백업을 제공하기와 같은 업무들을 수행하는 부하-균등 소프트웨어(load-balancing software)를 이용할 수 있다.
다양한 실시예들이 본 명세서에 기술되었지만, 이런 실시예들에 대한 다양한 변경, 변형 및 개조가 적어도 일부의 이점을 성취하도록 당업자에 의해 이루어질 수 있음이 명백해야 한다. 따라서, 개시된 실시예들은 본 명세서에 제시되는 바와 같은 실시예들의 범위를 벗어남이 없는 이런 모든 변경, 변형 및 개조를 포함하도록 의도된다.

Claims (15)

  1. 백-엔드 발화 번역 서버 시스템; 및
    백-엔드 발화 번역 서버 시스템과 무선 네트워크를 통해 통신하도룩 구성된 클라이언트 컴퓨팅 장치를 포함하는 발화 번역 시스템으로서, 클라이언트 컴퓨팅 장치는:
    마이크;
    마이크와 연결된 프로세서;
    프로세서와 연결되고 프로세서에 의해 실행되는 명령어를 저장하는 메모리; 및
    프로세서와 연결된 스피커를 포함하고,
    클라이언트 컴퓨팅 장치는 입력 단어 구절의 제1 언어로부터 제2 언어로의 번역을 스피커를 통해 출력하기 위한 것이고; 및
    메모리는:
    제1 구동 모드에서, 프로세서가 명령어를 실행할 때, 사용자에게 출력하기 위하여 프로세서가 입력 단어 구절을 제2 언어로 번역하고; 및
    제2 구동 모드에서:
    클라이언트 컴퓨팅 장치가 백-엔드 발화 번역 서버 시스템으로 무선 네트워크를 통하여 제1 언어로 클라이언트 컴퓨팅 장치로부터 수신한 입력 단어 구절에 관한 데이터를 전송하고;
    백-엔드 발화 번역 서버 시스템은 제1 언어의 입력 단어 구절의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하고; 및
    백-엔드 발화 번역 시스템은 제1 언어의 입력 단어 구절의 제2 언어로의 번역에 관한 데이터를 클라이언트 컴퓨팅 장치로 무선 네트워크를 통하여 전송하여 클라이언트 컴퓨팅 장치가 제1 언어의 입력 단어 구절의 제2 언어로의 번역을 출력하도록 하는 명령어를 저장하고;
    클라이언트 컴퓨팅 장치는 사용자가 제1 구동 모드 및 제2 구동 모드 간에서 스위치하도록 하는 사용자 인터페이스를 가지고 및/또는
    클라이언트 컴퓨팅 장치가 무선 네트워크의 연결 상태 또는 클라이언트 컴퓨팅 장치의 사용자의 사용자 선호 설정에 기반하여 자동으로 제1 구동 모드 또는 제2 구동 모드를 사용할 것인지 여부를 선택하는 발화 번역 시스템.
  2. 청구항 1에 있어서,
    입력 단어 구절은 클라이언트 컴퓨팅에:
    클라이언트 컴퓨팅 장치의 마이크에 의해 캡처된 입력 음성 발화; 또는 클라이언트 컴퓨팅 장치의 사용자 인터페이스의 텍스트 입력 필드를 통한 텍스트 입력 중 하나를 통해 입력되는 발화 번역 시스템.
  3. 청구항 1 또는 2에 있어서,
    클라이언트 컴퓨팅 장치는 번역을 스피커를 통해 청각적으로 출력하는 발화 번역 시스템.
  4. 청구항 1 내지 청구항 3 중 어느 하나의 항에 있어서,
    클라이언트 컴퓨팅 장치는 메모리에 제1 구동 모드에서 제1 언어의 음성 발화를 인식하고 클라이언트 컴퓨팅 장치의 스피커를 통해 출력하기 위하여 인식된 음성 발화를 제2 언어로 번역하기 위한 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델을 저장하고;
    백-엔드 발화 번역 서버 시스템은 제2 구동 모드에서 제1 언어의 음성 발화의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하기 위한 백-엔드 어쿠스틱 모델, 백-엔드 언어 모델, 백-엔드 번역모델 및 백-엔드 발화 합성 모델을 포함하고;
    로컬 어쿠스틱 모델은 백-엔드 어쿠스틱 모델과는 상이하고;
    로컬 언어 모델은 백-엔드 언어 모델과는 상이하고;
    로컬 번역 모델은 백-엔드 번역 모델과는 상이하고; 및
    로컬 발화 합성 모델은 백-엔드 발화 합성 모델과는 상이한 발화 번역 시스템.
  5. 청구항 1 내지 청구항 4 중 어느 하나의 항에 있어서,
    백-엔드 발화 번역 서버 시스템은:
    클라이언트 컴퓨팅 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화를 시간에 걸쳐 모니터링하고; 및
    클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나를 클라이언트 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화의 시간에 걸친 모니터링에 기반하여 업데이트하고, 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나의 업데이트는 백-엔드 발화 번역 서버 시스템으로부터 클라이언트 컴퓨팅 장치로 무선 네트워크를 통해 전송되도록 프로그래밍된 발화 번역 시스템.
  6. 청구항 1 내지 청구항 5 중 어느 하나의 항에 있어서,
    클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델은 사용자에 의한 번역 질의의 분석에 기반하여 업데이트되는 발화 번역 시스템.
  7. 청구항 1 내지 청구항 6 중 어느 하나의 항에 있어서,
    클라이언트 컴퓨팅 장치는 클라이언트 컴퓨팅 장치의 위치를 결정하기 위한 GPS 시스템을 포함하고; 및
    백-엔드 발화 번역 서버 시스템은 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나를 클라이언트 컴퓨팅 장치의 위치에 기반하여 업데이트하도록 프로그래밍되고, 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나의 업데이트는 백-엔드 발화 번역 서버 시스템으로부터 클라이언트 컴퓨팅 장치로 무선 네트워크를 통하여 전송되는 발화 번역 시스템.
  8. 청구항 1 내지 청구항 7 중 어느 하나의 항에 있어서,
    백-엔드 발화 번역 서버 시스템은 복수의 백-엔드발화 번역 시스템 중 하나이고, 클라이언트 컴퓨팅 장치는 복수의 백-엔드 발화 번역 서버 시스템 각각과 무선 네트워크를 통하여 통신하도록 구성되고; 및
    제2 구동 모드에서:
    복수의 백-엔드 발화 번역 서버 시스템 각각은 제1 언어의 입력 단어 구절의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하기 위한 것이고; 및
    복수의 백-엔드 발화 번역 서버 시스템 중 하나는 클라이언트 컴퓨팅 장치로 전송하기 위하여 복수의 백-엔드 발화 번역 서버 시스템으로부터의 번역 중 하나를 선택하거나
    복수의 백-엔드 발화 번역 서버 시스템 중 둘 이상의 번역을 결합하여 클라이언트 컴퓨팅 장치로 전송하기 위하여 결합된 번역을 생성하는 발화 번역 시스템.
  9. 제1 구동 모드에서:
    클라이언트 컴퓨팅 장치에 의하여 제1 언어의 제1 입력 단어 구절을 수신하는 단계;
    클라이언트 컴퓨팅 장치에 의하여 제1 입력 단어 구절을 제2 언어로 번역하는 단계;
    클라이언트 컴퓨팅 장치에 의하여 제1 입력 단어 구절을 제2 언어로 출력하는 단계;
    클라이언트 컴퓨팅 장치에 의하여 제1 구동 모드에서 제2 구동 모드로 이행하는 단계;
    제2 구동 모드에서:
    클라이언트 컴퓨팅 장치에 의하여 제1 언어의 제2 입력 단어 구절을 수신하는 단계;
    클라이언트 컴퓨팅 장치에 의하여, 무선 네트워크를 통하여, 제2 입력 단어 구절에 관한 데이터를 백-엔드 발화 번역 서버 시스템으로 전송하는 단계;
    클라이언트 컴퓨팅 장치에 의하여, 백-엔드 발화 번역 서버 시스템으로부터 무선 네트워크를 통하여, 백-엔드 발화 번역 서버 시스템에 의한 제2 입력 단어 구절의 제1 언어로부터 제2 언어로의 번역에 관한 데이터를 수신하는 단계; 및
    클라이언트 컴퓨팅 장치에 의하여 제2 언어의 제2 입력 단어 구절을 출력하는 단계를 포함하는 발화 번역 방법.
  10. 청구항 9에 있어서,
    클라이언트 컴퓨팅 장치는 메모리에 제1 구동 모드에서 제1 언어의 음성 발화를 인식하고 스피커를 통해 출력하기 위하여 인식된 음성 발화를 제2 언어로 번역하기 위한 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델을 저장하고;
    백-엔드 발화 번역 서버 시스템은 제2 구동 모드에서 제1 언어의 음성 발화의 제2 언어로의 번역을 무선 네트워크를 통하여 클라이언트 컴퓨팅 장치로부터 수신한 데이터에 기반하여 결정하기 위한 백-엔드 어쿠스틱 모델, 백-엔드 언어 모델, 백-엔드 번역모델 및 백-엔드 발화 합성 모델을 포함하고;
    상기 방법은
    백-엔드 발화 번역 서버 시스템에 의하여, 클라이언트 컴퓨팅 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화를 시간에 걸쳐 모니터링하는 단계; 및
    백-엔드 발화 번역 서버 시스템에 의하여, 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나를 클라이언트 장치로부터 제1 언어에서 제2 언어로의 번역을 위해 수신한 음성 발화의 시간에 걸친 모니터링에 기반하여 업데이트하고, 클라이언트 컴퓨팅 장치의 로컬 어쿠스틱 모델, 로컬 언어 모델, 로컬 번역 모델 및 로컬 발화 합성 모델 중 적어도 하나의 업데이트는 백-엔드 발화 번역 서버 시스템으로부터 클라이언트 컴퓨팅 장치로 무선 네트워크를 통해 전송되는, 업데이트 하는 단계를 더 포함하는 발화 번역 방법.
  11. 청구항 1 내지 청구항 10 중 어느 하나의 항에 있어서,
    클라이언트 컴퓨팅 장치에 의하여 제1 및 제2 언어를 포함하는 언어 번역 쌍을 위한 애플리케이션 소프트웨어를 다운로드하는 단계를 더 포함하고,
    특히
    언어 번역 쌍을 위한 애플리케이션 소프트웨어를 다운로드하는 단계는
    클라이언트 컴퓨팅 장치 및 백-엔드 발화 번역 서버 시스템 간 적절한 연결이 무선 네트워크를 사용 가능할 때 언어 번역 쌍을 위한 애플리케이션 소프트웨어를 다운로드하는 단계를 포함하는 발화 번역 방법.
  12. 청구항 11에 있어서,
    클라이언트 컴퓨팅 장치에 의하여 클라이언트 컴퓨팅 장치의 위치를 결정하는 단계; 및
    클라이언트 컴퓨팅 장치에 의하여 클라이언트 컴퓨팅 장치의 결정된 위치에 기반하여 클라이언트 컴퓨팅 장치 및 백-엔드 발화 번역 서버 시스템 간 적절한 연결이 무선 네트워크를 사용 가능할 때 언어 번역 쌍을 위한 애플리케이션 소프트웨어를 다운로드하는 단계를 더 포함하는 발화 번역 방법.
  13. 청구항 9 내지 청구항 12 중 어느 하나의 항에 있어서,
    클라이언트 컴퓨팅 장치는 동시에 디스플레이되는 제1 언어 디스플레이 영역 및 제2 언어 디스플레이 영역을 가지는 그래픽 사용자 인터페이스를 포함하고; 및
    제1 및 제2 언어 디스플레이 영역 각각은 사용자-접근가능한 복수의 언어의 목록을 포함하고, 및
    상기 방법은 클라이언트 컴퓨팅 장치에 의하여 그래픽 사용자 인터페이스를 통하여 제1 언어 디스플레이 영역의 목록의 제1 언어의 선택 및 제2 언어 디스플레이 영역의 제2 언어의 선택을 수신하는 단계를 더 포함하여, 그럼으로써 클라이언트 컴퓨팅 장치가 입력 음성 발화를 제1 언어에서 제2 언어로 번역하도록 구성되는 발화 번역 방법.
  14. 청구항 13에 있어서,
    제1 구동 모드에서 사용 가능한 언어는 그래픽 사용자 인터페이스의 제1 및 제2 언어 디스플레이 영역에서 제1 구동 모드에서 사용 불가능한 언어와 시각적으로 다르게 지정되는 발화 번역 방법.
  15. 청구항 9 내지 14 중 어느 하나의 항에 있어서,
    클라이언트 컴퓨팅 장치에 의한 제1 구동 모드에서 제2 구동 모드로의 이행은 클라이언트 컴퓨팅 장치의 사용자 인터페이스를 통한 제1 모드에서 제2 모드로의 이행 하는 입력에 응답하는 것인 발화 번역 방법.
KR1020157030930A 2013-05-13 2014-05-01 하이브리드, 오프라인/온라인 발화 번역 시스템 KR101729154B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361822629P 2013-05-13 2013-05-13
US61/822,629 2013-05-13
US13/915,820 2013-06-12
US13/915,820 US9430465B2 (en) 2013-05-13 2013-06-12 Hybrid, offline/online speech translation system
PCT/US2014/036454 WO2014186143A1 (en) 2013-05-13 2014-05-01 Hybrid, offline/online speech translation system

Publications (2)

Publication Number Publication Date
KR20160006682A true KR20160006682A (ko) 2016-01-19
KR101729154B1 KR101729154B1 (ko) 2017-04-21

Family

ID=51865427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157030930A KR101729154B1 (ko) 2013-05-13 2014-05-01 하이브리드, 오프라인/온라인 발화 번역 시스템

Country Status (10)

Country Link
US (2) US9430465B2 (ko)
JP (1) JP6157725B2 (ko)
KR (1) KR101729154B1 (ko)
CN (1) CN105210056B (ko)
AU (2) AU2014265782B2 (ko)
BR (1) BR112015028622A2 (ko)
CA (1) CA2907775C (ko)
IL (1) IL242230A (ko)
MX (1) MX348169B (ko)
WO (1) WO2014186143A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101959439B1 (ko) * 2017-09-12 2019-03-18 (주)한컴인터프리 통역방법
KR20190029238A (ko) * 2017-09-12 2019-03-20 (주)한컴인터프리 통역방법
CN109785831A (zh) * 2017-11-14 2019-05-21 奥迪股份公司 检查机动车的车载语音识别器的方法、控制装置和机动车
KR102182720B1 (ko) * 2019-05-16 2020-11-24 주식회사 포콘스 역할 전환 기능을 갖는 이어셋을 이용한 통역방법

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US8983825B2 (en) * 2011-11-14 2015-03-17 Amadou Sarr Collaborative language translation system
US20140136295A1 (en) 2012-11-13 2014-05-15 Apptio, Inc. Dynamic recommendations taken over time for reservations of information technology resources
US9342499B2 (en) * 2013-03-19 2016-05-17 Educational Testing Service Round-trip translation for automated grammatical error correction
US20150073790A1 (en) * 2013-09-09 2015-03-12 Advanced Simulation Technology, inc. ("ASTi") Auto transcription of voice networks
US9640173B2 (en) * 2013-09-10 2017-05-02 At&T Intellectual Property I, L.P. System and method for intelligent language switching in automated text-to-speech systems
JP2015060332A (ja) * 2013-09-18 2015-03-30 株式会社東芝 音声翻訳装置、音声翻訳方法およびプログラム
JP2015060423A (ja) * 2013-09-19 2015-03-30 株式会社東芝 音声翻訳装置、音声翻訳方法およびプログラム
KR101740332B1 (ko) * 2013-11-05 2017-06-08 한국전자통신연구원 자동 번역 장치 및 방법
US20150193432A1 (en) * 2014-01-03 2015-07-09 Daniel Beckett System for language translation
US11244364B2 (en) 2014-02-13 2022-02-08 Apptio, Inc. Unified modeling of technology towers
US20150254236A1 (en) * 2014-03-13 2015-09-10 Michael Lewis Moravitz Translation software built into internet
US9740687B2 (en) 2014-06-11 2017-08-22 Facebook, Inc. Classifying languages for objects and entities
KR102292546B1 (ko) * 2014-07-21 2021-08-23 삼성전자주식회사 컨텍스트 정보를 이용하는 음성 인식 방법 및 장치
CN107003996A (zh) 2014-09-16 2017-08-01 声钰科技 语音商务
KR102270034B1 (ko) * 2014-09-30 2021-06-28 삼성전자주식회사 다수 개의 무선 억세스 인터페이스들을 지원하는 이동 통신 시스템에서 스트리밍 서비스 데이터 수신 장치 및 방법
US20160098994A1 (en) * 2014-10-03 2016-04-07 Speaktoit, Inc. Cross-platform dialog system
US10397346B2 (en) 2014-11-24 2019-08-27 Facebook, Inc. Prefetching places
US10503377B2 (en) 2014-11-24 2019-12-10 Facebook, Inc. Dynamic status indicator
US20160150048A1 (en) * 2014-11-24 2016-05-26 Facebook, Inc. Prefetching Location Data
US10863354B2 (en) 2014-11-24 2020-12-08 Facebook, Inc. Automated check-ins
US10614799B2 (en) 2014-11-26 2020-04-07 Voicebox Technologies Corporation System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance
US9864744B2 (en) 2014-12-03 2018-01-09 Facebook, Inc. Mining multi-lingual data
US9830404B2 (en) 2014-12-30 2017-11-28 Facebook, Inc. Analyzing language dependency structures
US20160188292A1 (en) * 2014-12-30 2016-06-30 Voicebox Technologies Corporation System and method for interpreting natural language inputs based on storage of the inputs
US10067936B2 (en) 2014-12-30 2018-09-04 Facebook, Inc. Machine translation output reranking
US9830386B2 (en) 2014-12-30 2017-11-28 Facebook, Inc. Determining trending topics in social media
CN104622513B (zh) * 2015-02-12 2017-04-19 无锡海斯凯尔医学技术有限公司 弹性检测设备的数据分析处理方法及弹性检测设备
US9477652B2 (en) 2015-02-13 2016-10-25 Facebook, Inc. Machine learning dialect identification
US10083697B2 (en) 2015-05-27 2018-09-25 Google Llc Local persisting of data for selectively offline capable voice action in a voice-enabled electronic device
US9922138B2 (en) * 2015-05-27 2018-03-20 Google Llc Dynamically updatable offline grammar model for resource-constrained offline device
US9966073B2 (en) * 2015-05-27 2018-05-08 Google Llc Context-sensitive dynamic update of voice to text model in a voice-enabled electronic device
CN104916283A (zh) * 2015-06-11 2015-09-16 百度在线网络技术（北京）有限公司 语音识别方法和装置
CN104965426A (zh) 2015-06-24 2015-10-07 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制系统、方法和装置
US11151493B2 (en) 2015-06-30 2021-10-19 Apptio, Inc. Infrastructure benchmarking based on dynamic cost modeling
CN104992704B (zh) * 2015-07-15 2017-06-20 百度在线网络技术（北京）有限公司 语音合成方法和装置
KR101718987B1 (ko) * 2015-07-21 2017-03-22 김택진 보안기능을 갖는 단말기
JP6567059B2 (ja) * 2015-09-02 2019-08-28 三菱電機株式会社 リモートコントローラ
US9734142B2 (en) 2015-09-22 2017-08-15 Facebook, Inc. Universal translation
US10268684B1 (en) * 2015-09-28 2019-04-23 Amazon Technologies, Inc. Optimized statistical machine translation system with rapid adaptation capability
US10185713B1 (en) * 2015-09-28 2019-01-22 Amazon Technologies, Inc. Optimized statistical machine translation system with rapid adaptation capability
US9959271B1 (en) 2015-09-28 2018-05-01 Amazon Technologies, Inc. Optimized statistical machine translation system with rapid adaptation capability
US10387815B2 (en) 2015-09-29 2019-08-20 Apptio, Inc. Continuously variable resolution of resource allocation
US10133738B2 (en) 2015-12-14 2018-11-20 Facebook, Inc. Translation confidence scores
US9734143B2 (en) 2015-12-17 2017-08-15 Facebook, Inc. Multi-media context language processing
US10002125B2 (en) 2015-12-28 2018-06-19 Facebook, Inc. Language model personalization
US9747283B2 (en) 2015-12-28 2017-08-29 Facebook, Inc. Predicting future translations
US10726367B2 (en) * 2015-12-28 2020-07-28 Apptio, Inc. Resource allocation forecasting
US9805029B2 (en) 2015-12-28 2017-10-31 Facebook, Inc. Predicting future translations
WO2017130795A1 (ja) * 2016-01-26 2017-08-03 ヤマハ株式会社 端末装置、情報提供方法およびプログラム
US9836527B2 (en) * 2016-02-24 2017-12-05 Google Llc Customized query-action mappings for an offline grammar model
CN205644540U (zh) * 2016-02-24 2016-10-12 苏州龙诺法智能科技有限公司 智能会议翻译系统
US10127228B2 (en) * 2016-04-13 2018-11-13 Google Llc Techniques for proactively providing translated text to a traveling user
US10902221B1 (en) 2016-06-30 2021-01-26 Facebook, Inc. Social hash for language models
US10902215B1 (en) 2016-06-30 2021-01-26 Facebook, Inc. Social hash for language models
CN205942689U (zh) * 2016-07-02 2017-02-08 苏州龙诺法智能科技有限公司 智能随身翻译器
US20170039190A1 (en) * 2016-08-05 2017-02-09 Joseph Ricardo Two Way (+) Language Translation Communication Technology
US11115463B2 (en) * 2016-08-17 2021-09-07 Microsoft Technology Licensing, Llc Remote and local predictions
KR101917648B1 (ko) 2016-09-08 2018-11-13 주식회사 하이퍼커넥트 단말 및 그 제어 방법
US10474974B2 (en) 2016-09-08 2019-11-12 Apptio, Inc. Reciprocal models for resource allocation
US10936978B2 (en) 2016-09-20 2021-03-02 Apptio, Inc. Models for visualizing resource allocation
US9747282B1 (en) 2016-09-27 2017-08-29 Doppler Labs, Inc. Translation with conversational overlap
US10191903B2 (en) 2016-09-30 2019-01-29 Microsoft Technology Licensing, Llc Customized and contextual translated content for travelers
JP6767046B2 (ja) * 2016-11-08 2020-10-14 国立研究開発法人情報通信研究機構 音声対話システム、音声対話装置、ユーザー端末、および音声対話方法
US10482407B2 (en) 2016-11-14 2019-11-19 Apptio, Inc. Identifying resource allocation discrepancies
KR20180070970A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 음성 인식 방법 및 장치
US10971157B2 (en) * 2017-01-11 2021-04-06 Nuance Communications, Inc. Methods and apparatus for hybrid speech recognition processing
CN107039032A (zh) * 2017-04-19 2017-08-11 上海木爷机器人技术有限公司 一种语音合成处理方法及装置
US10417349B2 (en) * 2017-06-14 2019-09-17 Microsoft Technology Licensing, Llc Customized multi-device translated and transcribed conversations
CN107424607B (zh) * 2017-07-04 2023-06-06 珠海格力电器股份有限公司 语音控制模式切换方法、装置及具有该装置的设备
US20190043509A1 (en) * 2017-08-04 2019-02-07 Cirrus Logic International Semiconductor Ltd. Audio privacy based on user identification
US10380249B2 (en) 2017-10-02 2019-08-13 Facebook, Inc. Predicting future trending topics
US11328130B2 (en) * 2017-11-06 2022-05-10 Orion Labs, Inc. Translational bot for group communication
WO2019111346A1 (ja) * 2017-12-06 2019-06-13 ソースネクスト株式会社 双方向音声翻訳システム、双方向音声翻訳方法及びプログラム
US11775552B2 (en) 2017-12-29 2023-10-03 Apptio, Inc. Binding annotations to data objects
US11170762B2 (en) 2018-01-04 2021-11-09 Google Llc Learning offline voice commands based on usage of online voice commands
CN108304391A (zh) * 2018-01-25 2018-07-20 芜湖应天光电科技有限责任公司 一种基于gps定位的自适应翻译机
US10636423B2 (en) 2018-02-21 2020-04-28 Motorola Solutions, Inc. System and method for managing speech recognition
CN108491397A (zh) * 2018-03-26 2018-09-04 安阳师范学院 一种英语翻译电子系统
JP1621612S (ko) 2018-05-25 2019-01-07
CN110648657B (zh) * 2018-06-27 2024-02-02 北京搜狗科技发展有限公司 一种语言模型训练方法、构建方法和装置
US10896675B1 (en) 2018-06-29 2021-01-19 X Development Llc Multi-tiered command processing
CN109036379B (zh) * 2018-09-06 2021-06-11 百度时代网络技术（北京）有限公司 语音识别方法、设备及存储介质
CN109088995B (zh) * 2018-10-17 2020-11-13 永德利硅橡胶科技(深圳)有限公司 支持全球语言翻译的方法及手机
KR20200046188A (ko) * 2018-10-19 2020-05-07 삼성전자주식회사 인공 지능 모델을 재구성하기 위한 전자 장치 및 그의 제어 방법
US11475875B2 (en) * 2018-10-26 2022-10-18 Sriram Chakravarthy Method and system for implementing language neutral virtual assistant
WO2020122972A1 (en) * 2018-12-14 2020-06-18 Google Llc Voice-based interface for a networked system
CN110021291B (zh) * 2018-12-26 2021-01-29 创新先进技术有限公司 一种语音合成文件的调用方法及装置
WO2021029643A1 (en) 2019-08-13 2021-02-18 Samsung Electronics Co., Ltd. System and method for modifying speech recognition result
US11532310B2 (en) 2019-08-13 2022-12-20 Samsung Electronics Co., Ltd. System and method for recognizing user's speech
WO2021029627A1 (en) 2019-08-13 2021-02-18 Samsung Electronics Co., Ltd. Server that supports speech recognition of device, and operation method of the server
CN111105795B (zh) * 2019-12-16 2022-12-16 青岛海信智慧生活科技股份有限公司 一种智能家居训练离线语音固件的方法及装置
CN111144128B (zh) * 2019-12-26 2023-07-25 北京百度网讯科技有限公司 语义解析方法和装置
WO2021184249A1 (en) * 2020-03-18 2021-09-23 Citrix Systems, Inc. Machine translation of digital content
CN112100352A (zh) * 2020-09-14 2020-12-18 北京百度网讯科技有限公司 与虚拟对象的对话方法、装置、客户端及存储介质
US11568858B2 (en) * 2020-10-17 2023-01-31 International Business Machines Corporation Transliteration based data augmentation for training multilingual ASR acoustic models in low resource settings
US20220215857A1 (en) * 2021-01-05 2022-07-07 Electronics And Telecommunications Research Institute System, user terminal, and method for providing automatic interpretation service based on speaker separation

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3176059B2 (ja) * 1990-11-15 2001-06-11 キヤノン株式会社 翻訳装置
US5497319A (en) * 1990-12-31 1996-03-05 Trans-Link International Corp. Machine translation and telecommunications system
JPH10198680A (ja) * 1997-01-07 1998-07-31 Hitachi Ltd 分散辞書管理方法及びそれを用いた機械翻訳方法
US6161082A (en) * 1997-11-18 2000-12-12 At&T Corp Network based language translation system
US6901367B1 (en) * 1999-01-28 2005-05-31 International Business Machines Corporation Front end translation mechanism for received communication
US6385586B1 (en) * 1999-01-28 2002-05-07 International Business Machines Corporation Speech recognition text-based language conversion and text-to-speech in a client-server configuration to enable language translation devices
US6408272B1 (en) * 1999-04-12 2002-06-18 General Magic, Inc. Distributed voice user interface
US6438515B1 (en) * 1999-06-28 2002-08-20 Richard Henry Dana Crawford Bitextual, bifocal language learning system
GB2352933A (en) * 1999-07-31 2001-02-07 Ibm Speech encoding in a client server system
US7110938B1 (en) * 1999-09-17 2006-09-19 Trados, Inc. E-services translation portal system
US7725307B2 (en) * 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US6490547B1 (en) * 1999-12-07 2002-12-03 International Business Machines Corporation Just in time localization
AUPQ539700A0 (en) * 2000-02-02 2000-02-24 Worldlingo.Com Pty Ltd Translation ordering system
WO2001078287A2 (en) 2000-04-07 2001-10-18 Morris, Robert Method for voice activated network access
US7366673B2 (en) * 2001-06-15 2008-04-29 International Business Machines Corporation Selective enablement of speech recognition grammars
JP2003010855A (ja) 2001-06-27 2003-01-14 Mamoru Osawa 磁力応用活水器
GB2378275B (en) * 2001-07-31 2005-06-22 Hewlett Packard Co Distributed metadata processing system
JP4035975B2 (ja) * 2001-09-27 2008-01-23 セイコーエプソン株式会社 機械翻訳端末装置、機械翻訳システム、機械翻訳端末装置の制御方法、機械翻訳システムの制御方法、機械翻訳端末装置の制御プログラム及び記録媒体
JP3980331B2 (ja) * 2001-11-20 2007-09-26 株式会社エビデンス 多言語間会話支援システム
US8498871B2 (en) * 2001-11-27 2013-07-30 Advanced Voice Recognition Systems, Inc. Dynamic speech recognition and transcription among users having heterogeneous protocols
US7272377B2 (en) 2002-02-07 2007-09-18 At&T Corp. System and method of ubiquitous language translation for wireless devices
GB0204246D0 (en) * 2002-02-22 2002-04-10 Mitel Knowledge Corp System and method for message language translation
JP3959453B2 (ja) * 2002-03-14 2007-08-15 沖電気工業株式会社 翻訳仲介システム及び翻訳仲介サーバ
US7359861B2 (en) * 2002-04-24 2008-04-15 Polyglot Systems, Inc. Inter-language translation device
US7590534B2 (en) * 2002-05-09 2009-09-15 Healthsense, Inc. Method and apparatus for processing voice data
US20030236671A1 (en) * 2002-06-20 2003-12-25 Deere & Company System and method of loadable languages for implement monitoring display
US20040049374A1 (en) * 2002-09-05 2004-03-11 International Business Machines Corporation Translation aid for multilingual Web sites
EP1576586A4 (en) * 2002-11-22 2006-02-15 Transclick Inc LANGUAGE TRANSLATION SYSTEM AND METHOD
US20050227768A1 (en) * 2003-05-27 2005-10-13 Blackburn Christopher W Gaming network environment having a language translation service
US7539619B1 (en) * 2003-09-05 2009-05-26 Spoken Translation Ind. Speech-enabled language translation system and method enabling interactive user supervision of translation and speech recognition accuracy
US7983896B2 (en) * 2004-03-05 2011-07-19 SDL Language Technology In-context exact (ICE) matching
US20050234700A1 (en) * 2004-04-15 2005-10-20 International Business Machines Corporation Autonomic method, system and program product for translating content
US7403898B2 (en) * 2004-08-20 2008-07-22 At&T Delaware Intellectual Property, Inc., Methods, systems, and storage mediums for implementing voice-commanded computer functions
JP2006099296A (ja) * 2004-09-29 2006-04-13 Nec Corp 翻訳システム、翻訳通信システム、機械翻訳方法、および、プログラム
US8249854B2 (en) * 2005-05-26 2012-08-21 Microsoft Corporation Integrated native language translation
US7996228B2 (en) * 2005-12-22 2011-08-09 Microsoft Corporation Voice initiated network operations
BRPI0706404B1 (pt) * 2006-02-17 2019-08-27 Google Inc acesso escalável, de codificação e adaptável de modelos distribuídos
US20070219782A1 (en) * 2006-03-14 2007-09-20 Qing Li User-supported multi-language online dictionary
US8275602B2 (en) * 2006-04-21 2012-09-25 Scomm, Inc. Interactive conversational speech communicator method and system
US8849653B2 (en) * 2006-05-09 2014-09-30 International Business Machines Corporation Updating dictionary during application installation
US8898052B2 (en) 2006-05-22 2014-11-25 Facebook, Inc. Systems and methods for training statistical speech translation systems from speech utilizing a universal speech recognizer
US20080077384A1 (en) * 2006-09-22 2008-03-27 International Business Machines Corporation Dynamically translating a software application to a user selected target language that is not natively provided by the software application
KR100834549B1 (ko) * 2006-10-19 2008-06-02 한국전자통신연구원 번역 시스템 및 번역 서비스 제공방법
US8972268B2 (en) * 2008-04-15 2015-03-03 Facebook, Inc. Enhanced speech-to-speech translation system and methods for adding a new word
US9128926B2 (en) 2006-10-26 2015-09-08 Facebook, Inc. Simultaneous translation of open domain lectures and speeches
US8090570B2 (en) 2006-10-26 2012-01-03 Mobile Technologies, Llc Simultaneous translation of open domain lectures and speeches
WO2008066836A1 (en) 2006-11-28 2008-06-05 Treyex Llc Method and apparatus for translating speech during a call
US8155947B2 (en) * 2006-11-29 2012-04-10 Ubiquity Broadcasting Corporation Multilingual translation system using character set
US8700998B2 (en) * 2006-11-30 2014-04-15 Red Hat, Inc. Foreign language translation tool
US20080221862A1 (en) * 2007-03-09 2008-09-11 Yahoo! Inc. Mobile language interpreter with localization
US7895030B2 (en) * 2007-03-16 2011-02-22 International Business Machines Corporation Visualization method for machine translation
TWI502380B (zh) * 2007-03-29 2015-10-01 Nokia Corp 配合預測式本文輸入使用之方法、裝置、伺服器、系統及電腦程式產品
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US20090043562A1 (en) * 2007-08-08 2009-02-12 Vinay Vishwas Peshave Method and apparatus for receiving and displaying a short message in a user preferred language
US20090177462A1 (en) * 2008-01-03 2009-07-09 Sony Ericsson Mobile Communications Ab Wireless terminals, language translation servers, and methods for translating speech between languages
US8473276B2 (en) * 2008-02-19 2013-06-25 Google Inc. Universal language input
WO2009129315A1 (en) 2008-04-15 2009-10-22 Mobile Technologies, Llc System and methods for maintaining speech-to-speech translation in the field
US20100030549A1 (en) * 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8019608B2 (en) * 2008-08-29 2011-09-13 Multimodal Technologies, Inc. Distributed speech recognition using one way communication
US9323854B2 (en) * 2008-12-19 2016-04-26 Intel Corporation Method, apparatus and system for location assisted translation
US8868430B2 (en) * 2009-01-16 2014-10-21 Sony Corporation Methods, devices, and computer program products for providing real-time language translation capabilities between communication terminals
GB2468278A (en) * 2009-03-02 2010-09-08 Sdl Plc Computer assisted natural language translation outputs selectable target text associated in bilingual corpus with input target text from partial translation
US8423353B2 (en) * 2009-03-25 2013-04-16 Microsoft Corporation Sharable distributed dictionary for applications
US8478579B2 (en) * 2009-05-05 2013-07-02 Google Inc. Conditional translation header for translation of web documents
US8892439B2 (en) * 2009-07-15 2014-11-18 Microsoft Corporation Combination and federation of local and remote speech recognition
US8990064B2 (en) * 2009-07-28 2015-03-24 Language Weaver, Inc. Translating documents based on content
US20110030724A1 (en) * 2009-08-04 2011-02-10 Gus Alexander Multifunction Pressure Washer
CN104825173B (zh) * 2009-10-07 2018-03-06 旭石墨尼龙株式会社 柳叶刀穿刺装置
US20110282647A1 (en) * 2010-05-12 2011-11-17 IQTRANSLATE.COM S.r.l. Translation System and Method
US8386235B2 (en) * 2010-05-20 2013-02-26 Acosys Limited Collaborative translation system and method
US8775156B2 (en) * 2010-08-05 2014-07-08 Google Inc. Translating languages in response to device motion
US8468010B2 (en) 2010-09-24 2013-06-18 Damaka, Inc. System and method for language translation in a hybrid peer-to-peer environment
JP5017441B2 (ja) * 2010-10-28 2012-09-05 株式会社東芝 携帯型電子機器
US9053095B2 (en) * 2010-10-31 2015-06-09 Speech Morphing, Inc. Speech morphing communication system
KR20120050153A (ko) 2010-11-10 2012-05-18 임권세 멀티미디어 플레이어 제공 장치 및 방법
US9002696B2 (en) * 2010-11-30 2015-04-07 International Business Machines Corporation Data security system for natural language translation
US10244500B2 (en) * 2011-03-30 2019-03-26 Wei Lu Open wireless architecture (OWA) mobile cloud infrastructure and method
US9015030B2 (en) * 2011-04-15 2015-04-21 International Business Machines Corporation Translating prompt and user input
US8805672B2 (en) * 2011-06-30 2014-08-12 International Business Machines Corporation Translation cache prediction
US20130030789A1 (en) * 2011-07-29 2013-01-31 Reginald Dalce Universal Language Translator
US8983825B2 (en) * 2011-11-14 2015-03-17 Amadou Sarr Collaborative language translation system
US20130138421A1 (en) * 2011-11-28 2013-05-30 Micromass Uk Limited Automatic Human Language Translation
US8903708B2 (en) * 2012-02-10 2014-12-02 Microsoft Corporation Analyzing restaurant menus in view of consumer preferences
US9087046B2 (en) * 2012-09-18 2015-07-21 Abbyy Development Llc Swiping action for displaying a translation of a textual image
US9183198B2 (en) * 2013-03-19 2015-11-10 International Business Machines Corporation Customizable and low-latency interactive computer-aided translation
US20150120296A1 (en) * 2013-10-29 2015-04-30 At&T Intellectual Property I, L.P. System and method for selecting network-based versus embedded speech processing
US10133738B2 (en) * 2015-12-14 2018-11-20 Facebook, Inc. Translation confidence scores

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101959439B1 (ko) * 2017-09-12 2019-03-18 (주)한컴인터프리 통역방법
KR20190029238A (ko) * 2017-09-12 2019-03-20 (주)한컴인터프리 통역방법
CN109785831A (zh) * 2017-11-14 2019-05-21 奥迪股份公司 检查机动车的车载语音识别器的方法、控制装置和机动车
KR20190054984A (ko) * 2017-11-14 2019-05-22 아우디 아게 자동차의 온보드 음성 인식기를 검사하기 위한 방법, 제어장치 및 자동차
US10720163B2 (en) 2017-11-14 2020-07-21 Audi Ag Method for checking an onboard speech detection system of a motor vehicle and control device and motor vehicle
CN109785831B (zh) * 2017-11-14 2023-04-18 奥迪股份公司 检查机动车的车载语音识别器的方法、控制装置和机动车
KR102182720B1 (ko) * 2019-05-16 2020-11-24 주식회사 포콘스 역할 전환 기능을 갖는 이어셋을 이용한 통역방법

Also Published As

Publication number Publication date
US9430465B2 (en) 2016-08-30
KR101729154B1 (ko) 2017-04-21
CN105210056B (zh) 2018-02-09
US20160364385A1 (en) 2016-12-15
CA2907775A1 (en) 2014-11-20
AU2017210631A1 (en) 2017-08-24
AU2014265782A1 (en) 2015-10-15
US10331794B2 (en) 2019-06-25
IL242230A (en) 2017-04-30
BR112015028622A2 (pt) 2017-07-25
CN105210056A (zh) 2015-12-30
MX348169B (es) 2017-05-31
AU2014265782B2 (en) 2017-05-04
JP2016527587A (ja) 2016-09-08
CA2907775C (en) 2018-06-12
US20140337007A1 (en) 2014-11-13
WO2014186143A1 (en) 2014-11-20
JP6157725B2 (ja) 2017-07-05
MX2015015799A (es) 2016-03-09
AU2017210631B2 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
KR101729154B1 (ko) 하이브리드, 오프라인/온라인 발화 번역 시스템
EP3652734B1 (en) Voice data processing method and electronic device supporting the same
US20200312329A1 (en) Performing speech recognition using a local language context including a set of words with descriptions in terms of components smaller than the words
EP2930716B1 (en) Speech recognition using electronic device and server
US11790890B2 (en) Learning offline voice commands based on usage of online voice commands
AU2013252518B2 (en) Embedded system for construction of small footprint speech recognition with user-definable constraints
CN112970059B (zh) 用于处理用户话语的电子装置及其控制方法
CN110858481B (zh) 用于处理用户语音话语的系统和用于操作该系统的方法
US9224404B2 (en) Dynamic audio processing parameters with automatic speech recognition
EP2804113A2 (en) Hybrid, offline/online speech translation system
CN111640429A (zh) 提供语音识别服务的方法和用于该方法的电子装置
US10976997B2 (en) Electronic device outputting hints in an offline state for providing service according to user context
JP2015141226A (ja) 情報処理装置
KR102421745B1 (ko) Tts 모델을 생성하는 시스템 및 전자 장치
CN112219235A (zh) 包括处理用户语音的电子设备和控制电子设备上语音识别的方法的系统
US11670294B2 (en) Method of generating wakeup model and electronic device therefor
JP6281856B2 (ja) ローカル言語資源の補強装置及びサービス提供設備装置
US11368828B2 (en) Method and device for transmitting data on basis of change in state related to movement of electronic device
EP2760019A9 (en) Dynamic audio processing parameters with automatic speech recognition
JP2018194849A (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant