KR101640024B1 - 사용자의 상황에 기반한 휴대용 통역 장치 및 방법 - Google Patents

사용자의 상황에 기반한 휴대용 통역 장치 및 방법 Download PDF

Info

Publication number
KR101640024B1
KR101640024B1 KR1020090089861A KR20090089861A KR101640024B1 KR 101640024 B1 KR101640024 B1 KR 101640024B1 KR 1020090089861 A KR1020090089861 A KR 1020090089861A KR 20090089861 A KR20090089861 A KR 20090089861A KR 101640024 B1 KR101640024 B1 KR 101640024B1
Authority
KR
South Korea
Prior art keywords
speaker
user
information
model
situation
Prior art date
Application number
KR1020090089861A
Other languages
English (en)
Other versions
KR20110032394A (ko
Inventor
이재원
안기서
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090089861A priority Critical patent/KR101640024B1/ko
Publication of KR20110032394A publication Critical patent/KR20110032394A/ko
Application granted granted Critical
Publication of KR101640024B1 publication Critical patent/KR101640024B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

사용자의 상황에 기반한 휴대용 번역 장치 및 방법이 개시된다. 휴대용 번역 장치는 화자별 음성인식 모델을 참조하여 음성을 문자로 변환하고, 상황별 번역 모델을 참조하여 문자를 번역한다.
Figure R1020090089861
사용자, 상황, 통역, 화자, 식별, 인식

Description

사용자의 상황에 기반한 휴대용 통역 장치 및 방법{PORTABLE INTERPRETATION APPARATUS AND METHOD BASED ON UER'S SITUATION}
아래의 실시예들은 사용자의 상황에 기반한 휴대용 통역 장치 및 방법에 관한 것이다.
자동 통역 장치는 사용자가 번역하고자 하는 제1 언어로 된 문장을 음성으로 입력 받으면, 입력된 음성을 자동으로 텍스트로 변환하여 기계적으로 번역을 수행하고, 번역된 결과물인 제2 언어로 된 문장을 다시 음성으로 합성하여 출력한다.
이러한 음성을 텍스트로 변환하는 음성인식 과정에서는 성별을 비롯한 화자별 특성 및 모델이 포함하고 있는 어휘의 종류와 개수에 따라 인식 성능과 범위가 결정된다. 또한 번역을 위한 번역 모델은 모델의 크기가 작을 경우 번역할 수 있는 문장의 종류가 제한되고, 모델이 커질 경우 번역 속도와 번역 정확도가 떨어진다.
이러한 자동 통역 장치는 단일 음성인식/번역 모델을 사용하는 장치상의 제한된 자원으로 인해 원활한 통역 기능을 구동하기 어려움이 있다.
본 발명의 일실시예에 따른 휴대용 통역 장치는, 사용자로부터 통역 요청된 음성 정보를 입력 받는 사용자 인터페이스 모듈과, 사용자의 위치 정보를 인식하는 위치 인식 모듈과, 상기 인식된 위치 정보 및 통역 요청된 음성 정보를 통역 서버로 전송하고, 상기 통역 서버로부터 통역 요청된 음성 정보에 대응되는 번역 결과를 수신하는 통신 모듈 및 상기 수신된 번역 결과를 음성으로 합성하는 음성 합성 모듈을 포함하고, 상기 사용자 인터페이스 모듈은 상기 음성으로 합성된 번역 결과를 상기 사용자에게 제공하고, 상기 통역 서버는 상기 위치 정보에 따라 상기 사용자의 상황을 파악하고, 상기 사용자의 상황에 대응되는 화자/상황별 음성인식/번역 모델에 따라 상기 통역 요청된 음성 정보를 인식하여 문자 데이터로 변환하고, 상기 변환된 문자 데이터를 번역하여 상기 통역 요청된 음성 정보에 대응되는 번역 결과로 전송한다.
또한 본 발명의 일실시예에 따른 휴대용 통역 장치는, 사용자의 위치 정보를 인식하는 위치 인식 모듈과, 사용자로부터 화자 정보 및 상황 정보를 입력 받고, 상기 화자 정보 및 상황 정보에 대응되는 음성인식/번역 모델의 다운로드를 요청 받고, 통역할 음성 정보를 입력 받는 사용자 인터페이스 모듈과, 상기 화자 정보 및 상황 정보에 대응되는 음성인식/번역 모델의 다운로드 요청을 상기 통역 서버로 전송하고, 상기 통역 서버로부터 상기 화자 정보에 대응되는 음성인식 모델 및 상기 상황 정보에 대응되는 번역 모델을 수신하는 통신 모듈과, 상기 수신된 음 성인식 모델 및 번역 모델을 저장하는 저장 모듈과, 상기 음성인식 모델을 참조하여 상기 통역할 음성 정보를 문자 데이터로 변환하는 음성 인식 모듈과, 상기 번역 모델을 참조하여 상기 변환된 문자 데이터를 번역하는 번역 모듈 및 상기 번역된 문자 데이터를 음성으로 합성하는 음성 합성 모듈을 포함하고, 상기 사용자 인터페이스 모듈은 상기 합성된 음성을 상기 사용자에게 제공하고, 상기 통역 서버는 화자별 음성인식 모델 및 상황별 번역 모델을 저장하고, 상기 다운로드 요청에 따라 상기 화자 및 상황을 식별하고, 상기 식별된 화자에 대응되는 음성인식 모델 및 상기 식별된 상황에 대응되는 번역 모델을 전송한다.
또한 본 발명의 일실시예에 따른 통역 방법은, 사용자로부터 통역 요청된 음성 정보를 입력 받는 단계와, 사용자의 위치 정보를 인식하는 단계와, 상기 인식된 위치 정보 및 통역 요청된 음성 정보를 통역 서버로 전송하는 단계와, 상기 통역 서버로부터 통역 요청된 음성 정보에 대응되는 번역 결과를 수신하는 단계와, 상기 수신된 번역 결과를 음성으로 합성하는 단계 및 상기 음성으로 합성된 번역 결과를 상기 사용자에게 제공하는 단계를 포함하고, 상기 통역 서버는 상기 위치 정보에 따라 상기 사용자의 상황을 파악하고, 상기 사용자의 상황에 대응되는 화자/상황별 음성인식/번역 모델을 참조하여 상기 통역 요청된 음성 정보를 인식하여 문자 데이터로 변환하고, 상기 변환된 문자 데이터를 번역한다.
또한 본 발명의 일실시예에 따른 통역 방법은, 사용자로부터 화자 정보에 대응되는 음성인식 모델 및 상황 정보에 대응되는 번역 모델에 대한 다운로드 요청을 입력 받는 단계와, 상기 다운로드 요청에 따라 통역 서버로부터 상기 화자 정보에 대응되는 음성인식 모델 및 상황 정보에 대응되는 번역 모델을 수신하는 단계와, 상기 수신된 음성인식 모델 및 번역 모델을 저장하는 단계와, 상기 사용자로부터 통역할 음성 정보를 입력 받는 단계와, 상기 음성인식 모델을 참조하여 상기 음성 정보를 문자 데이터로 변환하는 단계와, 상기 번역 모델을 참조하여 상기 문자 데이터를 번역하는 단계와, 상기 번역된 문자 데이터를 음성으로 합성하는 단계 및 상기 합성된 음성을 상기 사용자에게 제공하는 단계를 포함하고, 상기 통역 서버는 화자별 음성인식 모델 및 상황별 번역 모델을 저장하고, 상기 다운로드 요청에 따라 상기 화자 및 상황을 식별하고, 상기 식별된 화자에 대응되는 음성인식 모델 및 상기 식별된 상황에 대응되는 번역 모델을 전송한다.
본 발명의 일실시예는 화자의 특성과 상황에 적합한 다양한 음성인식 모델 및 상황별 번역 모델을 사전에 구축하고, 사용자의 화자 정보 및 사용자가 처한 상황 정보에 기반하여 통역 정확도를 높일 수 있다.
또한 본 발명의 일실시예는 사용자의 화자 정보 및 사용자가 처한 상황 정보에 최적화된 통역 모델을 탑재하여 온라인 또는 오프라인 상에서 통역을 수행할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 휴대용 통역 장치, 웹 서버 및 통역 서버 간의 연동 관계를 나타내는 도면이다.
도 1을 참조하면, 휴대용 통역 장치(110), 웹 서버(120) 및 통역 서버(130)는 유/무선 통신 환경을 통해 연동된다.
휴대용 통역 장치(110)는 사용자의 위치를 인식하는 기능을 수행한다. 일례로 휴대용 통역 장치(110)는 GPS 등과 같이 사용자의 위치 좌표를 식별하고, 상기 식별된 사용자의 위치 좌표로 상기 사용자의 위치를 인식할 수 있다.
휴대용 통역 장치(110)는 모델 다운로드 서비스에 따라 모바일 네트워크 통신 기능을 수행하여 웹 서버(120)와 연동하여 통역 서버(130)로부터 화자/상황별 음성 인식/번역 모델을 다운로드 받고, 다운로드된 화자별 음성 인식 모델 및 상황별 번역 모델을 저장한다.
휴대용 통역 장치(110)는 상기 화자/상황별 음성인식/번역 모델이 다운로드되어 저장된 상태에서 오프라인 통역 서비스를 수행하는 경우, 사용자로부터 입력된 음성 신호를 상기 화자별 음성인식 모델에 따라 인식하여 문자 데이터로 변환하고, 상기 상황별 번역 모델에 따라 상기 문자 데이터를 번역한 후 상기 번역된 문자 데이터를 음성으로 합성하여 상기 사용자에게 제공한다. 이와 같이, 휴대용 통역 장치(110)는 화자에 대응되는 음성인식 모델 및 상황에 대응되는 번역 모델을 사전에 다운로드받아 저장함으로써 저장된 음성인식 모델 및 번역 모델을 참조하여 오프라인 통역 서비스를 사용자에게 제공할 수 있다.
한편 휴대용 통역 장치(110)는 상기 상황별 음성/인식 모델이 다운로드되지 않은 상태에서 실시간 통역 서비스를 수행하는 경우, 웹 서버(120)를 통해 통역 서버(130)에게 실시간 통역 중계 서비스를 요청하고, 통역 서버(130)에서 상기 요청된 실시간 통역 중계 서비스에 따라 번역된 문자 데이터를 수신하여 상기 수신된 문자 데이터를 음성으로 합성한다.
웹 서버(120)는 휴대용 통역 장치(110)와 통역 서버(130)간의 통신 및 세션 컨트롤을 수행하고, 모델 다운로드 서비스 또는 실시간 통역 중계 서비스를 제공한다. 상기 모델 다운로드 서비스는 휴대용 통역 장치(110)로부터 화자/상황별 음성인식/번역 모델에 대한 다운로드를 요청 받으면, 통역 서버(130)에서 저장된 화자/상황별 음성인식/번역 모델을 휴대용 통역 장치(110)로 다운로드한다. 상기 실시간 통역 중계 서비스는 휴대용 통역 장치(110)로부터 통역을 요청 받으면, 통역 서버(130)에서 수행된 통역 서비스 결과를 휴대용 통역 장치(110)로 중계한다.
통역 서버(130)는 통역 모델 훈련 기능을 통해 화자별 음성인식 모델 및 상황별 번역 모델을 구축하고, 웹 서버(120)를 통해 휴대용 통역 장치(110)로부터 상기 화자별 음성인식 모델 및 상황별 번역 모델에 대한 다운로드를 요청 받으면, 해당 화자별 음성인식 모델 및 상황별 번역 모델을 웹 서버(120)를 통해 휴대용 통역 장치(110)로 전송한다.
한편, 통역 서버(130)는 웹 서버(120)를 통해 실시간 통역 중계 서비스를 수행하기 위해 휴대용 통역 장치(110)로부터 전송된 음성 신호를 디코딩한다. 통역 서버(130)는 상기 화자별 음성인식 모델에 따라 상기 디코딩된 음성 신호를 문자 데이터로 변환한 후 상기 상황별 번역 모델에 따라 상기 문자 데이터를 번역하 고, 상기 번역된 문자 데이터를 인코딩하여 웹 서버(120)를 통해 전송한다.
웹 서버(120)는 상기 실시간 통역 중계 서비스에 따라 통역 서버(130)로부터 전송되는 번역된 문자 데이터를 휴대용 통역 장치(110)로 중계한다.
휴대용 통역 장치(110)는 상기 실시간 통역 중계 서비스에 따라 웹 서버(120)로부터 상기 번역된 문자 데이터를 수신하고, 상기 수신된 문자 데이터를 음성으로 변환하여 상기 사용자에게 제공한다. 이와 같이, 휴대용 통역 장치(110)는 화자/상황별 음성인식/번역 모델이 다운로드되지 않은 상태에도 웹 서버(120)를 통해 통역 서버(130)로부터 실시간 통역 중계 서비스를 제공 받을 수 있다.
도 2는 본 발명의 일실시예에 따른 온라인 통역 서비스를 위한 휴대용 통역 장치, 웹 서버 및 통역 서버의 구성을 나타내는 도면이다.
도 2를 참조하면, 휴대용 통역 장치(210)는 위치 인식 모듈(211), 사용자 인터페이스 모듈(212), 통신 모듈(213) 및 음성 합성 모듈(214)을 포함한다.
위치 인식 모듈(211)은 사용자의 위치를 인식한다. 일례로 위치 인식 모듈(211)은 GPS를 이용하여 사용자의 위치 좌표를 식별하고, 상기 식별된 사용자의 위치 좌표로 상기 사용자의 위치를 인식할 수 있다.
사용자 인터페이스 모듈(212)은 사용자로부터 통역할 음성 신호를 입력 받고, 상기 입력된 음성 신호에 대한 통역 서비스를 요청 받는다.
통신 모듈(213)은 유/무선 통신 환경을 통해 웹 서버(220)와 연동되어 상기 요청된 통역 서비스에 따라 상기 입력된 음성 신호 및 사용자의 위치 정보를 웹 서버(220)로 전송한다. 통신 모듈(213)은 웹 서버(220)로부터 실시간 통역 중계 서 비스(221)에 따른 상기 입력된 음성 신호에 대한 번역 결과를 수신한다.
음성 합성 모듈(214)는 상기 수신된 번역 결과를 음성으로 합성하여 사용자 인터페이스 모듈(212)을 통해 출력한다.
웹 서버(220)는 휴대용 통역 장치(210)와 통역 서버(230)간의 실시간 통역 중계 서비스(221)를 위한 통신 및 세션 컨트롤 모듈을 구비한다. 웹 서버(220)는 상기 통신 및 세션 컨트롤 모듈을 통해 실시간 통역 중계 서비스(221)를 위해 휴대용 통역 장치(210)로부터 수신된 음성 신호를 통역 서버(230)로 전송하고, 통역 서버(230)로부터 수신된 음성 신호에 대한 번역 결과를 휴대용 통역 장치(210)로 전송한다.
통역 서버(230)는 화자/상황별 모델 구축 모듈(231), 저장 모듈(232), 통신 모듈(233), 화자/상황 인식 모듈(234), 음성 인식 모듈(235) 및 번역 모듈(236)을 포함한다.
화자/상황별 모델 구축 모듈(231)은 각 화자에 대응하는 화자별 음성인식 모델을 구축하고, 각 상황에 대응하는 상황별 번역 모델을 구축한다. 즉, 화자/상황별 모델 구축 모듈(231)은 다양한 사용자의 특성에 맞는 다양한 화자별 음성인식 모델을 구축하고, 사용자가 직면할 수 있는 여러 가지 상황에 맞는 상황별 번역 모델을 구축한다. 일례로 화자/상황별 모델 구축 모듈(231)은 화자의 성별이 남자인 경우 남자에 대응되는 음성인식 모델을 구축하고, 화자의 상황이 비즈니스인 경우 비즈니스 상황에 대응되는 번역 모델을 구축할 수 있다.
저장 모듈(232)은 화자별 음성인식 모델 및 상황별 번역 모델을 저장한다. 즉, 저장 모듈(232)은 화자/상황별 모델 구축 모듈(231)을 통해 구축된 화자별 음성인식 모델 및 상황별 번역 모델을 저장한다.
통신 모듈(233)은 웹 서버(220)의 실시간 통역 중계 서비스(221)를 통해 휴대용 통역 장치(210)로부터 전송된 음성 신호 및 사용자의 위치 정보를 수신한다.
화자/상황 인식 모듈(234)은 상기 수신된 음성 신호 및 사용자의 위치 정보를 이용하여 화자 및 상황을 인식한다. 즉, 화자/상황 인식 모듈(234)은 상기 수신된 음성 신호를 분석하여 화자의 특성을 인식하고, 상기 사용자의 위치 정보를 분석하여 화자의 상황을 인식한다. 일례로 화자/상황 인식 모듈(234)은 상기 사용자의 위치 좌표를 포함한 사용자의 위치 정보를 기반으로 하여 상기 사용자가 공항에 위치한 경우 상기 사용자가 처해진 상황이 여행이라고 인식할 수 있다.
음성 인식 모듈(235)은 상기 인식된 화자의 특성에 따라 저장 모듈(232)에 저장된 화자별 음성인식 모델을 참조하여 상기 수신된 음성 신호를 문자 데이터로 변환한다. 일례로 음성 인식 모듈(235)은 상기 인식된 화자의 성별이 남자인 경우 저장 모듈(232)에 저장된 화자별 음성인식 모델 중에서 남자 화자에 대응되는 음성인식 모델을 참조하여 상기 수신된 음성 신호를 문자 데이터로 변환할 수 있다.
번역 모듈(236)은 상기 인식된 화자의 상황에 따라 저장 모듈(232)에 저장된 상황별 번역 모델을 참조하여 상기 문자 데이터를 번역한다. 일례로 번역 모듈(236)은 상기 인식된 화자의 상황이 비즈니스인 경우 저장 모듈(232)에 저장된 상황별 번역 모델 중에서 비즈니스 상황에 대응되는 번역 모델을 참조하여 제1 언 어의 문자 데이터를 제2 언어의 문자 데이터로 번역할 수 있다.
통신 모듈(233)은 상기 번역된 문자 데이터를 음성 신호에 대한 번역 결과로 웹 서버(220)를 통해 휴대용 번역 장치(210)로 전송한다.
휴대용 통역 장치(210)는 웹 서버(220)를 통해 통역 서버(230)와 온라인으로 연결된 상태에서 통역할 음성 신호를 입력 받아 통역 서버(230)로부터 음성 신호에 대한 번역 결과를 수신하고, 수신된 번역 결과를 음성으로 합성하여 사용자에게 실시간 통역 서비스를 제공할 수 있다.
도 3은 본 발명의 일실시예에 따른 오프라인 통역 서비스를 위한 휴대용 통역 장치, 웹 서버 및 통역 서버의 구성을 나타내는 도면이다.
도 3을 참조하면, 휴대용 통역 장치(310)는 사용자 인터페이스 모듈(311), 위치 인식 모듈(312), 통신 모듈(313), 저장 모듈(314), 음성 인식 모듈(315), 번역 모듈(316) 및 음성 합성 모듈(317)을 포함한다.
휴대용 통역 장치(310)는 오프라인 통역 서비스를 위해 미리 웹 서버(320)을 통한 모델 다운로드 서비스(321)에 따라 통역 서버(330)와 접속하여 통역 서버(330)로부터 화자/상황별 음성인식/번역 모델을 다운로드 받는다.
사용자 인터페이스 모듈(311)은 오프라인 통역 서비스를 위해 사전에 사용자로부터 화자 및 상화에 대응되는 음성인식/번역 모델에 대한 다운로드를 요청 받는다. 상기 오프라인 통역 서비스는 사용자가 통역을 요청하는 경우 휴대용 통역 장치(310)가 통역 서버(330)와 온라인으로 연결된 상태가 아닌 오프라인 상태에서 통역 서비스를 제공하는 것이다. 일례로 상기 사용자가 비즈니스를 위해 일본인을 만나는 경우, 사용자 인터페이스 모듈(311)은 상기 사용자로부터 일본인 화자 및 비즈니스 상황에 대응되는 음성인식/번역 모델에 대한 다운로드를 요청 받을 수 있다. 다른 일례로 상기 사용자가 미국 여행을 가는 경우, 사용자 인터페이스 모듈(311)은 상기 사용자로부터 미국인 화자 및 여행 상황에 대응되는 음성인식/번역 모델에 대한 다운로드를 요청 받을 수 있다. 상기 음성인식/번역 모델에 대한 다운로드 요청에 화자 정보 및 위치 정보가 포함된다. 상기 화자 정보는 상기 화자의 성별 및 상기 화자가 통역할 언어 정보가 포함될 수 있고, 상기 위치 정보는 상기 화자가 통역할 위치 좌표 또는 장소 정보가 포함될 수 있다.
위치 인식 모듈(312)은 휴대용 통역 장치(310)의 위치를 인식한다. 일례로 위치 인식 모듈(312)는 GPS를 통해 휴대용 통역 장치(310)의 위치 좌표를 식별하고, 상기 식별된 위치 좌표를 통해 현재 위치가 공항인 것을 인식할 수 있다.
통신 모듈(313)은 상기 음성인식/번역 모델에 대한 다운로드 요청을 웹 서버(320)로 전송한다.
웹 서버(320)는 통신 및 세션 컨트롤 모듈을 구비하고, 상기 화자/상황별 음성인식/번역 모델에 대한 다운로드 서비스(321)를 휴대용 통역 장치(310)로 제공한다. 웹 서버(320)는 상기 통신 및 세션 컨트롤 모듈을 통해 모델 다운로드 서비스(321)에 따라 휴대용 통역 장치(310)로부터 상기 음성인식/번역 모델에 대한 다운로드 요청을 통역 서버(330)로 전송하고, 통역 서버(330)로부터 해당 화자/상황별 음성인식/번역 모델을 수신하여 휴대용 통역 장치(310)로 전송한다.
통역 서버(330)는 화자/상황별 모델 구축 모듈(331), 저장 모듈(332), 통신 모듈(333), 화자/상황 식별 모듈(334) 및 화자/상황별 모델 선별 모듈(335)을 포함한다.
화자/상황별 모델 구축 모듈(331)은 사전에 다양한 상황 또는 화자에 따른 음성인식/번역 모델들을 구축하고, 상기 구축된 화자/상황별 음성인식/번역 모델들을 저장 모듈(332)에 저장한다. 즉, 화자/상황별 모델 구축 모듈(331)은 다양한 화자에 대한 모델 훈련 기능에 의해 화자별 음성인식 모델을 구축하고, 다양한 상황에 대한 모델 훈련 기능에 의해 상황별 번역 모델들을 구축하고, 구축된 화자별 음성인식 모델 및 상황별 번역 모델을 저장 모듈(332)에 저장한다. 일례로 화자/상황별 모델 구축 모듈(331)은 다양한 일본어 화자에 대한 모델 훈련 기능에 의해 일본어 화자 음성인식 모델을 구축할 수 있다. 다른 일례로 화자/상황별 모델 구축 모듈(331)은 비즈니스 상황에 대한 모델 훈련 기능에 의해 비즈니스 상황에 적합한 번역 모델을 구축할 수 있다.
통역 서버(330)는 상기 화자/상황별 음성인식/번역 모델에 대한 다운로드 요청을 통신 모듈(333)을 통해 수신하면, 화자/상황 식별 모듈(334)을 통해 상기 화자/상황별 음성인식/번역 모델에 대한 다운로드 요청에 따른 화자 및 상황을 식별한다. 화자/상황 식별 모듈(334)은 상기 화자/상황별 음성인식/번역 모델에 대한 다운로드 요청에 포함된 화자 정보 및 위치 정보를 이용하여 화자의 특성 및 화자의 상황을 식별한다. 일례로 화자/상황 식별 모듈(334)은 상기 화자/상황별 음성인식/번역 모델에 대한 다운로드 요청에 포함된 화자 정보를 이용하여 화자의 성별을 식별하고, 상기 위치 정보를 이용하여 화자의 상황을 식별할 수 있다.
화자/상황별 모델 선별 모듈(335)은 저장 모듈(332)에 저장된 화자/상황별 음성인식/번역 모델들 중에 상기 식별된 화자 및 상황에 대응되는 화자/상황별 음성인식/번역 모델을 선별한다. 일례로 화자/상황별 모델 선별 모듈(335)은 저장 모듈(332)에 저장된 화자/상황별 음성인식/번역 모델들 중에서 상기 화자/상황별 음성인식/번역 모델에 대한 다운로드 요청에 따라 식별된 화자가 남자이고, 상황이 여행인 경우, 남자 화자에 대응되는 음성인식 모델 및 여행 상황에 대응되는 번역 모델을 선별할 수 있다.
통신 모듈(333)은 상기 선별된 화자/상황별 음성인식/번역 모델을 웹 서버(320)로 전송한다. 일례로 통신 모듈(333)은 상기 선별된 남자 화자에 대응되는 음성인식 모델 및 여행 상황에 대응되는 번역 모델을 웹 서버(320)로 전송한다.
웹 서버(320)는 상기 통신 및 세션 컨트롤 모듈을 통해 모델 다운로드 서비스에 따라 통역 서버(330)로부터 상기 화자/상황별 음성인식/번역 모델을 수신하여 휴대용 통역 장치(310)로 전송한다. 일례로 웹 서버(320)는 상기 통신 및 세션 컨트롤 모듈을 통해 상기 모델 다운로드 서비스에 따라 통역 서버(330)로부터 상기 남자 화자에 대응되는 음성인식 모델 및 여행 상황에 대응되는 번역 모델을 수신하여 휴대용 통역 장치(310)로 전송할 수 있다.
휴대용 통역 장치(310)는 웹 서버(320)을 통해 통역 서버(330)로부터 전송된 음성인식/번역 모델을 수신하여 저장 모듈(314)에 저장한다. 일례로 상기 사용자가 성별이 남자이고, 비즈니스 상황에 필요한 통역을 위한 모델 다운로드 서비스를 요청한 경우, 휴대용 통역 장치(310)는 통역 서버(330)로부터 웹 서버(320)을 통한 모델 다운로드 서비스(321)에 따라 남자 음성인식 모델 및 비즈니스 상황 번역 모델을 다운로드하여 저장 모듈(314)에 저장할 수 있다.
사용자 인터페이스 모듈(311)은 사용자로부터 통역할 음성을 입력 받는다. 또한 사용자 인터페이스 모듈(311)은 사용자로부터 화자 또는 상황 정보를 입력 받을 수 있다. 일례로 사용자 인터페이스 모듈(311)은 상기 사용자로부터 사용자의 성별, 번역 언어쌍(제1 언어 및 제2 언어) 및 사용자가 처한 상황을 입력 받을 수 있다.
음성 인식 모듈(315)은 저장 모듈(314)에 저장된 음성인식 모델을 참조하여 상기 입력된 음성을 인식하여 문자 데이터로 변환한다.
번역 모듈(316)은 저장 모듈(313)에 저장된 번역 모델을 참조하여 상기 변환된 문자 데이터를 사용자가 원하는 언어로 번역한다.
음성 합성 모듈(317)은 상기 사용자가 번역을 원하는 언어로 번역된 문자 데이터를 음성으로 합성한다. 일례로 상기 사용자가 번역을 원하는 언어가 영어인 경우, 음성 합성 모듈(317)은 상기 영어로 번역된 문자 데이터를 음성으로 합성할 수 있다.
사용자 인터페이스 모듈(311)은 상기 사용자가 원하는 언어로 번역된 문자 데이터가 음성으로 합성된 결과를 상기 사용자에게 출력한다. 일례로 상기 사용자가 통역을 원하는 언어가 영어인 경우, 사용자 인터페이스 모듈(311)은 상기 영어로 합성된 음성을 사용자에게 출력할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 휴대용 통역 장치(310)는 화자/상황 별 음성인식/번역 모델을 사전에 다운로드 받아 저장한 후 화자/상황별 음성인식/번역 모델을 참조하여 입력된 음성을 인식하여 문자 데이터로 변환하고, 변환된 문자 데이터를 번역한 후 번역된 문자 데이터를 음성으로 합성하여 사용자에게 통역 서비스를 제공할 수 있다.
도 4는 본 발명의 일실시예에 따른 상황별 통역 모델 생성 과정을 나타내는 도면이다.
도 4를 참조하면, 통역 서버는 말뭉치(401)를 색인화하고(S410), 상기 색인화된 말뭉치를 말뭉치 색인 데이터베이스(402)에 기록한다. 일례로 상기 통역 서버는 제1 언어, 제2 언어 및 상기 제1 언어에 대한 음성 데이터가 병렬로 나열되어 있는 대역 말뭉치(401)에서 색인을 생성할 수 있다.
상기 통역 서버는 상황 목록(403)에서 웹/온톨로지 데이터베이스(404)를 참조하여 핵심어를 추출하고(S420), 추출된 핵심어를 상황별 핵심어(405)으로 분류한다. 일례로 상기 통역 서버는 사용자가 처할 수 있는 다수의 상황 목록(403)에서 각각의 상황과 관련 있는 다수의 핵심어를 온톨로지를 포함하는 지식 자원을 참조하여 추출할 수 있다.
상기 통역 서버는 말뭉치 색인 데이터베이스(402)를 참조하여 상황별 핵심어(405)에 대해 검색하고(S403), 검색 결과에 따라 상황별 말뭉치(406)를 분류한다. 일례로 상기 통역 서버는 상기 추출된 각 상황에 대응하는 다수의 핵심어를 이용하여 대역 말뭉치를 검색하고, 검색 결과물을 상황별 말뭉치로 취합한다.
상기 통역 서버는 상기 분류된 상황별 말뭉치(406)를 이용하여 음성인식/번 역 모델을 생성하고(S440), 상황별 음성인식/번역 모델(407)을 제공한다. 일례로 상기 통역 서버는 상기 상황별 말뭉치를 이용하여 상황별 음성인식 및 번역 모델을 훈련할 수 있다.
도 5는 본 발명의 일실시예에 따른 통역 방법의 플로우 차트를 나타내는 도면이다.
도 3 및 도 5를 참조하면, 통역 서버(330)는 사용자 성별 및 상황을 식별한다(S510). 휴대용 통역 장치(310)는 화자 및 상황에 적합한 음성인식/번역 모델에 대한 다운로드를 요청하기 위해 사용자로부터 입력된 화자 정보 및 인식된 위치 정보를 웹 서버(320)로 전송한다. 웹 서버(320)는 통신 및 세션 컨트롤 모듈을 통해 모델 다운로드 서비스(321)에 따라 휴대용 통역 장치(310)로부터 수신된 상기 화자 정보 및 위치 정보를 통역 서버(330)로 전송한다. 통역 서버(330)는 통신 모듈(333)을 통해 휴대용 통역 장치(310)로부터 웹 서버(320)의 중계에 의해 상기 화자 정보 및 위치 정보를 수신하고, 상기 화자 정보를 이용하여 화자의 성별을 식별하고, 상기 위치 정보를 이용하여 화자의 상황을 식별한다. 일례로 통역 서버(330)는 상기 화자 정보를 이용하여 상기 화자의 성별이 남성인 것을 식별하고, 상기 위치 정보가 공항인 경우 상기 화자의 상황이 여행인 것으로 식별할 수 있다.
통역 서버(330)는 상기 식별된 사용자의 성별 및 상황에 따라 화자/상황별 음성인식/번역 모델을 선별한다(S520). 즉, 통역 서버(330)는 화자/상황 식별 모듈(334)을 통해 상기 화자/상황별 음성인식/번역 모델로부터 상기 식별된 화자의 특성에 대응되는 음성인식 모델 및 상기 식별된 상황에 대응되는 번역 모델을 선별 한다. 일례로 통역 서버(330)는 화자별 음성인식 모델로부터 남성 화자에 대응되는 음성인식 모델을 선별하고, 상황별 번역 모델로부터 여행 상황에 대응되는 번역 모델을 선택할 수 있다. 통역 서버(330)는 통신 모듈(333)을 통해 상기 선별된 음성인식 모델 및 번역 모델을 웹 서버(320)의 중계에 의해 휴대용 통역 장치(310)로 전송한다.
휴대용 통역 장치(310)는 통역 서버(330)로부터 전송된 음성인식/번역 모델을 탑재한다(S530). 즉, 휴대용 통역 장치(310)는 통신 모듈(313)을 통해 웹 서버(320)의 중계에 의해 상기 전송된 음성인식 모델 및 번역 모델을 수신하고, 상기 음성인식 모델 및 번역 모델을 저장 모듈(314)에 저장한다. 일례로 휴대용 통역 장치(310)는 상기 남성 화자에 대응되는 음성인식 모델 및 상기 번역 모델은 상기 여행 상황에 대응되는 번역 모델을 저장 모듈(314)에 저장할 수 있다.
휴대용 통역 장치(310)는 상기 사용자로부터 번역할 문장을 음성으로 입력 받는다(S540). 즉, 휴대용 통역 장치(310)는 사용자 인터페이스 모듈(311)을 통해 상기 사용자로부터 제2 언어로 번역할 문장을 제1 언어의 음성으로 입력 받는다.
휴대용 통역 장치(310)는 상기 탑재된 음성인식 모델을 참조하여 상기 입력된 음성을 인식하여 문장으로 변환한다(S550). 일례로 휴대용 통역 장치(310)는 저장 모듈(314)에 저장된 남자 화자에 대응되는 음성인식 모델을 참조하여 상기 입력된 제1 언어의 음성을 제1 언어의 문장으로 변환할 수 있다.
휴대용 통역 장치(310)는 상기 탑재된 번역 모델을 참조하여 상기 변환된 문장을 번역하고(S560), 상기 번역된 문장을 음성으로 합성하여 출력한다(S560). 일례로 휴대용 통역 장치(310)는 저장 모듈(314)에 저장된 여행 상황에 대응되는 번역 모델을 참조하여 번역 모듈(316)을 통해 상기 변환된 제1 언어의 문장을 제2 언어의 문장으로 번역하고, 음성 합성 모듈(317)을 통해 상기 번역된 제2 언어의 문장을 음성으로 합성하여 사용자 인터페이스 모듈(311)을 통해 상기 사용자에게 합성된 제2 언어의 음성을 출력할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 통역 방법은 휴대용 통역 장치에서 통역 서버로부터 화자 및 상황에 적합한 음성인식 모델 및 번역 모델을 사전에 다운로드받아 탑재한 후 입력된 음성 신호를 탑재된 음성인식 모델에 따라 문자 데이터로 변환하고, 변환된 문자 데이터를 탑재된 번역 모델에 따라 번역한 후 번역된 문자 데이터를 음성 합성함으로써 사용자에게 통역 서비스를 제공할 수 있다.
도 6은 본 발명의 일실시예에 따른 위치 인식을 통한 상황 정보 추출 과정을 나타내는 도면이다.
도 2 및 도 6을 참조하면, 휴대용 통역 장치(210)는 GPS 위치 정보를 인식하고, 상기 인식된 GPS 위치 정보로 사용자의 위치 좌표를 식별한다(S610). 즉, 휴대용 통역 장치(210)는 위치 인식 모듈(211)을 통해 사용자의 위치 정보를 인식하고, 상기 인식된 위치 정보로 상기 사용자의 위치 좌표를 식별한다.
휴대용 통역 장치(210)는 통신망을 이용하여 웹 서버(220)를 통해 상기 위치 좌표를 통역 서버(230)로 전송한다(S620). 즉, 휴대용 통역 장치(210)는 통신 모듈(213)을 통해 웹 서버(220)로 상기 위치 좌표를 전송하고, 웹 서버(220)가 상기 위치 좌표를 통역 서버(230)로 중계한다.
통역 서버(230)는 위치 대 장소 데이터베이스를 검색하여 사용자가 위치해 있는 장소를 식별하여 위치 좌표에 따른 장소 정보를 추출한다(S630). 상기 위치 대 장소 데이터베이스는 위치 좌표에 대응하여 장소 정보를 기록하고 유지할 수 있다.
통역 서버(230)는 장소 대 상황 데이터베이스를 검색하여 상황 범주를 식별하여 장소 정보에 따른 상황 정보를 추출한다(S640). 상기 장소 대 상황 데이터베이스는 상기 장소 정보에 대응되는 상황 정보를 기록하고 유지할 수 있다. 일례로 상기 장소 정보가 레스토랑인 경우, 통역 서버(230)는 상기 장소 대 상황 데이터베이스를 검색하여 레스토랑에 따른 식사 상황을 추출할 수 있다.
통역 서버(230)는 상황 정보에 따른 번역 모델을 선별하여 통역 작업을 수행한다(S650). 통역 서버(230)는 화자 정보에 따라 선별된 음성인식 모델 및 상기 상황 정보에 따라 선별된 번역 모델을 이용하여 휴대용 통역 장치(210)로부터 요청된 음성 신호에 대한 통역 작업을 수행한다. 일례로 통역 서버(230)는 남성 화자에 따라 선별된 음성인식 모델을 참조하여 휴대용 통역 장치(210)로부터 전송된 통역할 제1 언어의 음성 신호를 제1 언어의 문자 데이터로 변환하고, 여행 상황에 따라 선별된 번역 모델을 참조하여 상기 변환된 제1 언어의 문자 데이터를 제2 언어로 번역하여 휴대용 통역 장치(210)로 전송할 수 있다. 휴대용 통역 장치(210)는 통역 서버(230)로부터 상기 제2 언어로 번역된 문자 데이터를 수신하고, 상기 제2 언어의 문자 데이터를 제2 언어의 음성으로 합성하여 사용자 인터페이스 모듈(212)을 통해 상기 사용자에게 제1 언어의 음성에 대한 통역 결과로 합성된 제2 언어의 음성을 제공할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 통역 방법은 휴대용 통역 장치에서 통역할 화자 정보, 음성 신호 및 위치 정보를 통역 서버로 전송하고, 통역 서버에서 화자 정보에 따라 식별된 화자에 대응되는 음성인식 모델을 이용하여 음성 신호를 문자 데이터로 변환하고, 위치 정보에 따라 식별된 상황에 대응되는 번역 모델을 이용하여 문자 데이터를 번역하고, 휴대용 통역 장치에서 번역된 문자 데이터를 수신하여 음성 합성함으로써 통역 서비스를 제공할 수 있다.
본 발명의 일실시예에 따른 통역 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발 명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 휴대용 통역 장치, 웹 서버 및 통역 서버 간의 연동 관계를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 온라인 통역 서비스를 위한 휴대용 통역 장치, 웹 서버 및 통역 서버의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 오프라인 통역 서비스를 위한 휴대용 통역 장치, 웹 서버 및 통역 서버의 구성을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 상황별 번역 모델 생성 과정을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 통역 방법의 플로우 차트를 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 위치 인식을 통한 상황 추출 과정을 나타내는 도면이다.

Claims (11)

  1. 사용자로부터 통역 요청된 음성 정보를 입력 받는 사용자 인터페이스 모듈;
    사용자의 위치 정보를 인식하는 위치 인식 모듈;
    상기 인식된 위치 정보 및 통역 요청된 음성 정보를 통역 서버로 전송하고, 상기 통역 서버로부터 통역 요청된 음성 정보에 대응되는 번역 결과를 수신하는 통신 모듈; 및
    상기 수신된 번역 결과를 음성으로 합성하는 음성 합성 모듈
    을 포함하고,
    상기 사용자 인터페이스 모듈은,
    상기 음성으로 합성된 번역 결과를 상기 사용자에게 제공하고,
    상기 통역 서버는,
    상기 통역 요청된 음성 정보를 분석하여 상기 통역 요청된 음성 정보에 대응하는 화자의 특성을 인식하고, 상기 화자의 특성에 대응되는 화자별 음성인식 모델에 따라 상기 통역 요청된 음성 정보를 인식하여 문자 데이터로 변환하며,
    상기 위치 정보를 분석하여 상기 사용자의 상황을 파악하고, 상기 사용자의 상황에 대응되는 상황별 번역 모델을 참조로 상기 변환된 문자 데이터를 번역하여 상기 통역 요청된 음성 정보에 대응되는 번역 결과로 전송하고,
    상기 화자별 음성 인식 모델은
    동일한 언어를 사용하는 다수의 화자에 대한 모델 훈련 기능에 의하여 구축되어 상기 언어를 사용하는 화자의 특성에 대응되는 화자별 음성인식 모델을 포함하는 휴대용 통역 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 위치 인식 모듈은,
    상기 사용자의 위치 좌표를 식별하고,
    상기 통신 모듈은,
    상기 식별된 사용자의 위치 좌표를 상기 통역 서버로 전송하고,
    상기 통역 서버는,
    위치/장소 데이터베이스로부터 상기 전송된 사용자의 위치 좌표에 대응되는 장소 정보를 추출하고, 장소/상황 데이터베이스로부터 추출된 장소 정보에 대응되는 상황 정보를 추출하고, 상기 추출된 상황 정보에 대응되는 상황별 번역 모델을 이용하여 상기 문자 데이터를 번역하는, 휴대용 통역 장치.
  4. 사용자의 위치 정보를 인식하는 위치 인식 모듈;
    사용자로부터 화자 정보 및 상황 정보를 입력 받고, 상기 화자 정보에 대응되는 화자별 음성인식 모델 및 상황 정보에 대응되는 상황별 번역 모델의 다운로드를 요청 받고, 통역할 음성 정보를 입력 받는 사용자 인터페이스 모듈;
    상기 화자 정보에 대응되는 화자별 음성인식 모델 및 상황 정보에 대응되는 상황별 번역 모델의 다운로드 요청을 통역 서버로 전송하고, 상기 통역 서버로부터 상기 화자 정보에 대응되는 화자별 음성인식 모델 및 상기 상황 정보에 대응되는 상황별 번역 모델을 수신하는 통신 모듈;
    상기 수신된 화자별 음성인식 모델 및 상황별 번역 모델을 저장하는 저장 모듈;
    상기 화자별 음성인식 모델을 참조하여 상기 통역할 음성 정보를 문자 데이터로 변환하는 음성 인식 모듈;
    상기 상황별 번역 모델을 참조하여 상기 변환된 문자 데이터를 번역하는 번역 모듈; 및
    상기 번역된 문자 데이터를 음성으로 합성하는 음성 합성 모듈
    을 포함하고,
    상기 사용자 인터페이스 모듈은,
    상기 합성된 음성을 상기 사용자에게 제공하고,
    상기 화자별 음성 인식 모델은
    동일한 언어를 사용하는 다수의 화자에 대한 모델 훈련 기능에 의하여 구축되어 상기 언어를 사용하는 화자의 특성에 대응되는 음성인식 모델을 포함하며,
    상기 통역 서버는,
    화자별 음성인식 모델 및 상황별 번역 모델을 저장하고, 상기 다운로드 요청에 포함된 상기 화자 정보를 이용하여 화자의 특성을 식별하며, 식별한 화자의 특성에 대응되는 화자별 음성인식 모델을 전송하고,
    상기 다운로드 요청에 포함된 상기 위치 정보를 분석하여 상기 사용자의 상황을 파악하고, 상기 사용자의 상황에 대응되는 상기 상황별 번역 모델을 전송하는, 휴대용 통역 장치.
  5. 제1항 또는 제4항에 있어서,
    상기 통역 서버는,
    다수의 상황 목록에서 각각의 상황과 관련된 다수의 핵심어를 온톨로지로 포함하는 지식 자원을 참조하여 각 상황별 핵심어를 추출하고, 색인 데이터베이스로부터 상기 추출된 상황별 핵심어를 이용하여 대역 말뭉치를 검색한 결과를 각 상황별 말뭉치로 취합하고, 상기 상황별 말뭉치를 이용하여 상기 상황별 번역 모델을 훈련시키는, 휴대용 통역 장치.
  6. 사용자로부터 통역 요청된 음성 정보를 입력 받는 단계;
    사용자의 위치 정보를 인식하는 단계;
    상기 인식된 위치 정보 및 통역 요청된 음성 정보를 통역 서버로 전송하는 단계;
    상기 통역 서버로부터 통역 요청된 음성 정보에 대응되는 번역 결과를 수신하는 단계;
    상기 수신된 번역 결과를 음성으로 합성하는 단계; 및
    상기 음성으로 합성된 번역 결과를 상기 사용자에게 제공하는 단계
    를 포함하고,
    상기 통역 서버는,
    상기 음성 신호를 분석하여 상기 사용자의 특성을 인식하고, 상기 사용자의 특성에 대응되는 화자별 음성인식 모델에 따라 상기 통역 요청된 음성 정보를 인식하여 문자 데이터로 변환하며,
    상기 위치 정보를 분석하여 상기 사용자의 상황을 파악하고, 상기 사용자의 상황에 대응되는 상황별 번역 모델을 참조로 상기 변환된 문자 데이터를 번역하여 상기 통역 요청된 음성 정보에 대응되는 번역 결과로 전송하고,
    상기 화자별 음성 인식 모델은
    동일한 언어를 사용하는 다수의 화자에 대한 모델 훈련 기능에 의하여 구축되어 상기 언어를 사용하는 사용자의 특성에 대응되는 화자별 음성인식 모델을 포함하는, 통역 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 사용자의 위치 정보를 인식하는 단계는,
    상기 사용자의 위치 좌표를 식별하고,
    상기 통역 서버로 전송하는 단계는,
    상기 식별된 사용자의 위치 좌표를 상기 통역 서버로 전송하고,
    상기 통역 서버는,
    위치/장소 데이터베이스로부터 상기 전송된 사용자의 위치 좌표에 대응되는 장소 정보를 추출하고, 장소/상황 데이터베이스로부터 추출된 장소 정보에 대응되는 상황 정보를 추출하고, 상기 추출된 상황 정보에 대응되는 상황별 번역 모델을 참조하여 상기 문자 데이터를 번역하는 상기 음성 정보를 번역하는, 통역 방법.
  9. 사용자로부터 화자 정보에 대응되는 화자별 음성인식 모델 및 상황 정보에 대응되는 상황별 번역 모델에 대한 다운로드 요청을 입력 받는 단계;
    상기 다운로드 요청에 따라 통역 서버로부터 상기 화자 정보에 대응되는 화자별 음성인식 모델 및 상황 정보에 대응되는 상황별 번역 모델을 수신하는 단계;
    상기 수신된 화자별 음성인식 모델 및 상황별 번역 모델을 저장하는 단계;
    상기 사용자로부터 통역할 음성 정보를 입력 받는 단계;
    상기 화자별 음성인식 모델을 참조하여 상기 음성 정보를 문자 데이터로 변환하는 단계;
    상기 상황별 번역 모델을 참조하여 상기 문자 데이터를 번역하는 단계;
    상기 번역된 문자 데이터를 음성으로 합성하는 단계; 및
    상기 합성된 음성을 상기 사용자에게 제공하는 단계
    를 포함하고,
    상기 화자별 음성 인식 모델은
    동일한 언어를 사용하는 다수의 화자에 대한 모델 훈련 기능에 의하여 구축되어 상기 언어를 사용하는 화자의 특성에 대응되는 음성인식 모델을 포함하며,
    상기 다운로드 요청은
    사용자의 화자 정보 및 사용자의 위치 정보를 포함하고,
    상기 통역 서버는,
    화자별 음성인식 모델 및 상황별 번역 모델을 저장하고, 상기 다운로드 요청에 포함된 상기 화자 정보를 이용하여 화자의 특성을 식별하며, 식별한 화자의 특성에 대응되는 화자별 음성인식 모델을 전송하고,
    상기 다운로드 요청에 포함된 상기 위치 정보를 분석하여 상기 사용자의 상황을 파악하고, 상기 사용자의 상황에 대응되는 상기 상황별 번역 모델을 전송하는, 통역 방법.
  10. 제6항 또는 제9항에 있어서,
    상기 통역 서버는,
    다수의 상황 목록에서 각각의 상황과 관련된 다수의 핵심어를 온톨로지로 포함하는 지식 자원을 참조하여 각 상황별 핵심어를 추출하고, 색인 데이터베이스로부터 상기 추출된 상황별 핵심어를 이용하여 대역 말뭉치를 검색한 결과를 각 상황별 말뭉치로 취합하고, 상기 상황별 말뭉치를 이용하여 상황별 번역 모델을 훈련시키는, 통역 방법.
  11. 제6항, 제8항 내지 제9항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020090089861A 2009-09-23 2009-09-23 사용자의 상황에 기반한 휴대용 통역 장치 및 방법 KR101640024B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090089861A KR101640024B1 (ko) 2009-09-23 2009-09-23 사용자의 상황에 기반한 휴대용 통역 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090089861A KR101640024B1 (ko) 2009-09-23 2009-09-23 사용자의 상황에 기반한 휴대용 통역 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110032394A KR20110032394A (ko) 2011-03-30
KR101640024B1 true KR101640024B1 (ko) 2016-07-15

Family

ID=43937143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090089861A KR101640024B1 (ko) 2009-09-23 2009-09-23 사용자의 상황에 기반한 휴대용 통역 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101640024B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949731B1 (ko) * 2011-10-20 2019-02-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기를 이용한 음성 번역 방법
KR102186866B1 (ko) * 2013-12-12 2020-12-04 한국전자통신연구원 로그 데이터를 이용한 자동 번역 장치 및 그 방법
KR102172367B1 (ko) * 2014-01-20 2020-10-30 삼성전자주식회사 사용자 맞춤형 정보를 제공하는 방법 및 장치
KR102307357B1 (ko) * 2014-01-20 2021-09-30 삼성전자주식회사 사용자 맞춤형 정보를 제공하는 방법 및 장치
KR102292546B1 (ko) 2014-07-21 2021-08-23 삼성전자주식회사 컨텍스트 정보를 이용하는 음성 인식 방법 및 장치
KR102275685B1 (ko) * 2015-01-29 2021-07-12 한국전자통신연구원 콘텐츠 제공 방법 및 상기 방법을 수행하는 콘텐츠 제공 서버, 해설자 단말
CN109074242A (zh) * 2016-05-06 2018-12-21 电子湾有限公司 在神经机器翻译中使用元信息
KR102449875B1 (ko) * 2017-10-18 2022-09-30 삼성전자주식회사 음성 신호 번역 방법 및 그에 따른 전자 장치
KR102449181B1 (ko) 2017-11-24 2022-09-29 삼성전자 주식회사 전자장치 및 그 제어방법
KR102426783B1 (ko) * 2020-10-26 2022-07-28 삼성전자주식회사 사용자 맞춤형 정보를 제공하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148176A (ja) * 1998-11-18 2000-05-26 Sony Corp 情報処理装置および方法、提供媒体、音声認識システム、音声合成システム、翻訳装置および方法、並びに翻訳システム
JP2003108551A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 携帯型機械翻訳装置、翻訳方法及び翻訳プログラム
JP2008310561A (ja) * 2007-06-14 2008-12-25 Sharp Corp 電子機器およびその制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000072073A (ko) * 2000-07-21 2000-12-05 백종관 음성 인식 및 음성 합성 기술을 이용한 자동동시통역서비스 방법 및 그 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148176A (ja) * 1998-11-18 2000-05-26 Sony Corp 情報処理装置および方法、提供媒体、音声認識システム、音声合成システム、翻訳装置および方法、並びに翻訳システム
JP2003108551A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 携帯型機械翻訳装置、翻訳方法及び翻訳プログラム
JP2008310561A (ja) * 2007-06-14 2008-12-25 Sharp Corp 電子機器およびその制御方法

Also Published As

Publication number Publication date
KR20110032394A (ko) 2011-03-30

Similar Documents

Publication Publication Date Title
KR101640024B1 (ko) 사용자의 상황에 기반한 휴대용 통역 장치 및 방법
US11049493B2 (en) Spoken dialog device, spoken dialog method, and recording medium
KR101577607B1 (ko) 상황 및 의도인지 기반의 언어 표현 장치 및 그 방법
CN101030368B (zh) 在保持情感的同时跨通道进行通信的方法和系统
EP0954856B1 (en) Context dependent phoneme networks for encoding speech information
KR20170033722A (ko) 사용자의 발화 처리 장치 및 방법과, 음성 대화 관리 장치
KR20190104941A (ko) 감정 정보 기반의 음성 합성 방법 및 장치
KR20190077088A (ko) 성문 구축 및 등록 방법 및 그 장치
US20130297288A1 (en) Mobile Speech-to-Speech Interpretation System
KR20180005850A (ko) 자동 통역 방법 및 장치, 및 기계 번역 방법 및 장치
CN102439661A (zh) 用于车辆内自动交互的面向服务语音识别
US9390426B2 (en) Personalized advertisement device based on speech recognition SMS service, and personalized advertisement exposure method based on partial speech recognition SMS service
JP2005088179A (ja) 自律移動ロボットシステム
JP2015176099A (ja) 対話システム構築支援装置、方法、及びプログラム
KR20190106890A (ko) 감정 정보 기반의 음성 합성 방법 및 장치
JP6370962B1 (ja) 生成装置、生成方法および生成プログラム
KR20100111164A (ko) 사용자의 발화의도를 파악하는 음성 대화 처리장치 및 음성 대화 처리방법
EP3678130A1 (en) Information processing device, information processing method, and program
WO2017168637A1 (ja) 意図推定装置及び意図推定方法
US20220293095A1 (en) Artificial intelligence apparatus for recognizing speech including multiple languages, and method for the same
KR102312993B1 (ko) 인공신경망을 이용한 대화형 메시지 구현 방법 및 그 장치
CN117216212A (zh) 对话处理方法、对话模型训练方法、装置、设备及介质
JP2008234427A (ja) ユーザ間の対話を支援する装置、方法およびプログラム
KR101207435B1 (ko) 대화형 음성인식 서버, 대화형 음성인식 클라이언트 및 대화형 음성인식 방법
KR20170008357A (ko) 크라우드 소싱을 이용한 웹툰 언어 자동 번역 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 4