KR102069237B1 - 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법 - Google Patents

핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법 Download PDF

Info

Publication number
KR102069237B1
KR102069237B1 KR1020180023132A KR20180023132A KR102069237B1 KR 102069237 B1 KR102069237 B1 KR 102069237B1 KR 1020180023132 A KR1020180023132 A KR 1020180023132A KR 20180023132 A KR20180023132 A KR 20180023132A KR 102069237 B1 KR102069237 B1 KR 102069237B1
Authority
KR
South Korea
Prior art keywords
interpretation
hands
user
terminal
information
Prior art date
Application number
KR1020180023132A
Other languages
English (en)
Other versions
KR20180026687A (ko
Inventor
김상훈
김기현
김동현
왕지현
윤승
이민규
이담허
최무열
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20180026687A publication Critical patent/KR20180026687A/ko
Application granted granted Critical
Publication of KR102069237B1 publication Critical patent/KR102069237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

핸즈프리 자동 통역 서비스를 위한 자동 통역 시스템에 관한 것이다. 핸즈프리 기반의 자동 통역 시스템은 핸즈프리 장치, 단말 장치 및 통역 서버를 포함할 수 있다. 이때, 단말 장치는 핸즈프리 장치의 요청에 따라 통역 환경을 초기화하는 통역 환경 초기화부와, 사용자 및 상대방의 통역 결과를 중개하는 통역 중개부 및 상대방의 통역 결과를 설정된 통역 환경에 기초하여 음성으로 합성하여 핸즈프리 장치에 전송하는 통역 처리부를 포함할 수 있다. 이와 같이, 핸즈프리 장치를 통하여 통역 서비스를 제공함으로써 사용자 편의성이 향상될 수 있다.

Description

핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법{TERMINAL AND HANDSFREE DEVICE FOR SERVICING HANDSFREE AUTOMATIC INTERPRETATION, AND METHOD THEREOF}
핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법에 관한 것으로, 보다 상세하게는 핸즈프리 장치 및 사용자 단말을 이용하여 사용자들 사이에 자동 통역을 지원하는 기술에 관한 것이다.
종래 스마트폰을 이용한 자동 통역 방법은 스마트폰을 손에 들고 자동 통역 앱 화면의 인터페이스를 터치하여 자동 통역 앱을 실행해야 하기 때문에 양손을 이용해야 하는 불편이 있었다. 특히 여행 상황에서는 가방을 들거나, 여권을 보여주는 등 양손을 사용해야 하는 경우가 매우 빈번하게 발생하는데, 이런 상황에서 손에 들고 하는 스마트폰 통역은 언어 소통이라는 매우 편리한 기능을 제공함에도 불구하고, 실제 환경에서의 사용성 불편으로 자동통역 기능의 효과를 저하시키는 원인이 되고 있다. 또한, 일반적인 스마트폰을 이용한 자동통역은 자신이 가지고 있는 상대방에게 주어서 상대방이 타인의 스마트폰에 발성을 하고, 스마트폰에서 나오는 합성음을 상대편이 듣는 것으로 양방향 자동통역이 이루어지고 있는데, 이러한 상황도 양방향 자동 통역을 부자연스럽게 하는 요인이 된다. 한국 공개 특허 제10-2010-0068965호는 자동 통역 장치 및 그 방법에 대해 개시하고 있다. 이와 같이, 일반적인 스마트폰 환경에서의 자동통역 사용상의 불편하기 위한 핸즈프리 방식의 자동 통역 기술이 필요하다.
핸즈프리 방식을 이용하여 편리하게 자동 통역을 수행할 수 있도록 서비스하는 단말 장치 및 방법과, 그 핸즈프리 장치를 제시한다.
일 양상에 따르면, 핸즈프리 자동 통역 서비스를 위한 단말 장치는 핸즈프리 장치의 요청에 따라 핸즈프리 장치와 페어링을 수행하고, 통역 환경을 초기화하는 통역 환경 초기화부, 핸즈프리 장치로부터 수신된 사용자의 음성 정보를 통역한 통역 결과를 상대방 단말에 전송하고, 상대방 단말로부터 상대방의 음성 정보를 통역한 통역 결과를 수신하는 통역 중개부 및 상대방 단말로부터 통역 결과가 수신되면, 초기화된 통역 환경에 기초하여 상대방의 통역 결과를 음성으로 합성하고, 합성된 음성 정보를 핸즈프리 장치에 전송하는 통역 처리부를 포함할 수 있다.
통역 환경 초기화부는 상대방 단말로부터 상대방의 언어 정보 및 성별 정보 중의 하나 이상을 포함하는 통역 환경 정보를 수신하는 환경 정보 수신부 및 수신된 통역 환경 정보에 기초하여, 통역 언어 정보 및 합성음 정보 중의 하나 이상의 통역 환경 정보를 설정하는 통역 환경 설정부를 포함할 수 있다.
통역 처리부는 상대방 단말로부터 통역 결과가 수신되면, 설정된 합성음 정보에 기초하여 그 통역 결과를 남성 또는 여성 음성으로 합성하는 음성 합성부를 포함할 수 있다.
음성 합성부는 상대방 단말로부터 부가 정보가 더 수신되면, 수신된 부가 정보를 기초로 사용자의 발화 속도 및 감정 상태 중의 하나 이상을 반영하여 음성으로 합성할 수 있다.
또한, 단말 장치는 사용자 상태 정보 및 개인 정보 중의 하나 이상을 포함하는 부가 정보를 수집하는 부가 정보 수집부를 더 포함할 수 있고, 사용자 상태 정보는 사용자의 음성 정보로부터 추출된 발화 속도 및 감정 상태 중의 하나 이상을 포함하고, 개인 정보는 사용자로부터 입력된 이름, 국적 및 이미지 정보 중의 하나 이상을 포함할 수 있다.
통역 중개부는 핸즈프리 장치로부터 음성 정보가 수신되면, 통역 서버에 그 음성 정보를 전송하고, 통역 서버로부터 통역 결과를 수신하는 서버 중개부 및 수신된 통역 결과를 미리 정의된 통역 프로토콜에 따라 상대방 단말에 전송하는 단말 중개부를 포함할 수 있다.
또한, 단말 장치는 사용자의 현재 위치 정보 및 배경음 정보 중의 하나 이상을 포함하는 상황 정보를 수집하는 상황 정보 수집부를 더 포함할 수 있고, 서버 중개부는 핸즈프리 장치로부터 수신된 음성 정보 및 수집된 상황 정보를 통역 서버에 전송할 수 있다.
이때, 사용자의 음성 정보를 통역한 통역 결과는 음성 정보를 텍스트 또는 음성 형식으로 통역한 통역 데이터 및 통역 오류 수정 데이터 중의 하나 이상을 포함하고, 오류 수정 데이터는 유사의도문장 및 N-베스트(N-best) 인식 데이터 중의 하나 이상을 포함할 수 있다.
통역 처리부는 통역 결과에 오류 수정 데이터가 포함되어 있으면, 상기 오류 수정 데이터 중에서 하나 이상의 사용자의 선택 정보를 기초로 상기 통역 데이터를 수정하는 통역 오류 수정부를 포함할 수 있다.
일 양상에 따르면, 사용자 단말 장치가 수행하는 핸즈프리 자동 통역 서비스 방법은, 핸즈프리 장치의 요청에 따라 핸즈프리 장치와 페어링을 수행하고, 통역 환경을 초기화하는 단계, 핸즈프리 장치로부터 사용자의 음성 정보가 수신되면, 수신된 사용자의 음성 정보를 통역 서버에 전송하고, 통역 서버로부터 통역 결과를 수신하는 단계, 수신된 통역 결과를 상대방 단말에 전송하는 단계, 상대방 단말로부터 상대방의 음성 정보를 통역한 통역 결과를 수신하는 단계, 상대방 단말로부터 수신된 통역 결과를 초기화된 통역 환경에 기초하여 음성으로 합성하는 단계 및 합성된 음성 정보를 핸즈프리 장치에 전송하는 단계를 포함할 수 있다.
통역 환경을 초기화하는 단계는 상대방 단말로부터 상대방의 언어 정보 및 성별 정보 중의 하나 이상을 포함하는 통역 환경 정보를 수신하는 단계 및 수신된 통역 환경 정보에 기초하여, 통역 언어 정보 및 합성음 정보 중의 하나 이상의 통역 환경 정보를 설정하는 단계를 포함할 수 있다.
음성을 합성하는 단계는 상대방 단말로부터 통역 결과가 수신되면, 설정된 합성음 정보에 기초하여 그 통역 결과를 남성 또는 여성 음성으로 합성할 수 있다.
음성을 합성하는 단계는 상대방 단말로부터 부가 정보가 더 수신되면, 수신된 부가 정보를 기초로 사용자의 발화 속도 및 감정 상태 중의 하나 이상을 반영하여 음성으로 합성할 수 있다.
또한, 그 통역 방법은 사용자의 현재 위치 정보 및 배경음 정보 중의 하나 이상을 포함하는 상황 정보를 수집하는 단계를 더 포함할 수 있고, 사용자의 음성 정보를 통역 서버에 전송하는 단계는 핸즈프리 장치로부터 수신된 음성 정보 및 상기 수집된 상황 정보를 통역 서버에 전송할 수 있다.
또한, 그 통역 방법은 통역 서버로부터 수신된 통역 결과에 오류 수정 데이터가 포함되어 있으면, 오류 수정 데이터를 디스플레이에 출력하는 단계, 사용자로부터 오류 수정 데이터 중에서 하나 이상의 선택 정보를 수신하는 단계 및 수신된 선택 정보를 기초로 통역 데이터를 수정하는 단계를 더 포함할 수 있다.
일 양상에 따르면, 마이크 및 스피커를 포함하는 핸즈프리 자동 통역 서비스를 위한 핸즈프리 장치는, 사용자의 통역 요청이 입력되면 사용자 단말과의 페어링을 수행하며, 사용자 단말에 통역 환경을 초기화하도록 요청하는 통역 기능 실행부 및 마이크를 통해 입력된 사용자의 음성 정보를 통신부로 하여금 사용자 단말에 전송하도록 제어하며, 통신부에 의해 사용자 단말로부터 수신된 음성 정보를 스피커를 통해 출력하는 제어부를 포함할 수 있다.
통역 기능 실행부는 사용자의 통역 요청이 입력되면, 사용자 단말에 설치된 통역 애플리케이션을 실행하여 통역 환경을 초기화하도록 요청할 수 있다.
통역 기능 실행부는 근거리에 위치한 통역 대상 상대방 단말을 검출하고, 검출된 상대방 단말 정보를 통신부를 통해 사용자 단말에 전송하여 상대방 단말과의 통역 환경을 초기화하도록 요청할 수 있다.
또한, 핸즈프리 장치는 가속도 센서 및 자이로 센서 중의 하나 이상을 포함하는 모션 인식 센서를 이용하여 사용자의 모션을 인식하는 모션 인식부를 더 포함할 수 있고, 제어부는 인식된 모션에 기초하여 사용자 단말의 디스플레이에 출력된 오류 수정 데이터의 선택을 제어할 수 있다.
이때, 마이크는 사용자의 입 근처에 위치하는 제1 마이크, 사용자의 귀 근처에 위치하는 제2 마이크 및 골도 마이크 중의 하나 이상을 포함할 수 있다.
핸즈프리 방식을 이용하여 자동 통역 서비스를 제공함으로써 양손을 통한 제스처 입력 등의 완전한 멀티모달이 가능해져 자연스러운 통역 서비스를 제공할 수 있고 이와 동시에 사용자 편의성이 향상될 수 있다.
또한, 잡음에 강한 자동 통역이 가능하고, 사용자의 현재 상황 정보나 발화속도나 감정 상태 등의 부가 정보를 활용하여 통역 서비스를 제공함으로써 통역 성능을 향상시킬 수 있다.
도 1은 일 실시예에 따른 핸즈프리 기반의 자동 통역 시스템의 블록도이다.
도 2 및 도 3은 일 실시예에 따른 자동 통역 시스템에서 수행되는 자동 통역의 흐름을 개략적으로 도시한 것이다.
도 4 및 도 5는 일 실시예에 따른 핸즈프리 장치의 구조도이다.
도 6은 일 실시예에 따른 핸즈프리 기반의 자동 통역을 위한 핸즈프리 장치의 블록도이다.
도 7은 일 실시예에 따른 핸즈프리 기반의 자동 통역을 위한 단말 장치의 블록도이다.
도 8은 도 7의 단말 장치 중의 통역 환경 초기화부의 상세 블록도이다.
도 9는 도 7의 단말 장치 중의 통역 중개부의 상세 블록도이다.
도 10은 도 7의 단말 장치 중의 통역 처리부의 상세 블록도이다.
도 11는 일 실시예에 따른 핸즈프리 기반의 자동 통역을 위한 통역 서버의 블록도이다.
도 12는 일 실시예에 따른 핸즈프리 기반의 자동 통역 방법의 흐름도이다.
도 13은 일 실시예에 따른 핸즈프리 장치에서 수행되는 자동 통역 방법의 흐름도이다.
도 14는 일 실시예에 따른 단말 장치에서 수행되는 자동 통역 방법의 흐름도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따른 핸즈프리 기반의 자동 통역 시스템의 블록도이다. 도 2 및 도 3은 일 실시예에 따른 자동 통역 시스템에서 수행되는 자동 통역의 흐름을 개략적으로 도시한 것이다.
도 1을 참조하면, 일 실시예에 따른 핸즈프리 기반의 자동 통역 시스템(1)은 핸즈프리 장치(100), 단말 장치(200) 및 통역 서버(300)를 포함할 수 있다.
도 1을 참조하면, 핸즈프리 장치(100)는 자동 통역을 위하여 사용자의 단말 장치(200)와 페어링을 수행한다. 이때, 핸즈프리 장치(100)는 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Communication), 와이파이(WiFi) 및 와이파이 다이렉트(WiFi Direct) 등의 근거리 통신 방식을 이용하여 사용자 단말과 페어링을 수행할 수 있다.
핸즈프리 장치(100)는 사용자로부터 통역 요청이 입력되면 사용자 단말 장치(200)에 설치되어 있는 통역 애플리케이션을 자동 실행하여 통역 환경을 초기화하도록 요청할 수 있다.
핸즈프리 장치(100)는 단말 장치(200)의 통역 초기화가 완료되면, 사용자로부터 통역을 위한 음성 정보를 입력받고 이를 사용자의 단말 장치(200)에 전송하여 통역을 요청한다. 또한, 핸즈프리 장치(100)는 단말 장치(200)로부터 상대방의 통역 결과를 음성으로 합성한 합성음을 수신하고, 이를 사용자에게 출력할 수 있다.
단말 장치(200)는 핸즈프리 장치(100)의 요청에 따라 상대방 단말과의 통신 연결 및 통역 환경을 초기화할 수 있다. 단말 장치(200)는 스마트폰, 스마트 패드, 노트북 등의 다양한 통신 단말 장치를 포함할 수 있다. 이때, 단말 장치(200)는 상대방 단말과의 블루투스(Bluetooth), 와이파이(WiFi), 와이파이 다이렉트(WiFi Direct) 등의 근거리 통신을 통하여 페어링을 수행하고, 상대방 단말로부터 필요한 초기화 환경 정보, 예컨대 상대방의 언어 정보, 성별 정보 등의 정보를 수신하고 이를 기초로 통역 환경을 초기화할 수 있다.
또한, 핸즈프리 장치(100)로부터 통역을 위한 음성 정보가 입력되면, 입력된 음성 정보를 통역 서버(300)에 전송하여 통역을 요청할 수 있다.
한편, 자동 통역 시스템(1)은 도 2에 도시된 바와 같이, 사용자들은 핸즈프리 장치(100) 및 단말 장치(200)를 통해 동일한 자동 통역 서버(300)에 접속하여 자동 통역 서비스를 이용할 수 있다. 즉, 사용자 A는 자신의 핸즈프리 장치(100a) 및 단말 장치(200a)를 이용하여 통역 서버(300)에 접속하고, 사용자 B는 핸즈프리 장치(100b) 및 단말 장치(200b)를 이용하여 동일한 통역 서버(300)에 접속할 수 있다. 이때, 핸즈프리 장치(100)는 양 사용자 중의 어느 일방만이 착용하는 것도 가능하다.
다른 실시예에 따르면, 도 3에 도시된 바와 같이 사용자 A 및 사용자 B는 각자 선호하는 통역 서버에 접속하여 통역 요청 및 결과를 수신하고, 수신된 통역 결과를 상대방에게 표준화된 통역 프로토콜을 이용하여 전송하는 것도 가능하다.
한편, 단말 장치(200)는 무선 이동 통신을 통하여 통역 서버(300)에 접속할 수 있다. 이때, 무선 이동 통신은 3G, LTE, LTE 어드밴스드(LTE Advanced) 등을 포함하지만, 통신 방식에 있어서 특별히 제한이 되는 것은 아니며 향후 기술 발전에 따라 개발되는 다양한 통신 방식이 이용될 수 있음은 자명하다.
또한, 단말 장치(200)는 탑재된 다양한 센서(예: GPS 등)를 이용하여 사용자의 현재 상황 정보를 수집하고, 수집된 정보를 통역 서버에 함께 전송할 수 있다.
또한, 단말 장치(200)는 핸즈프리 장치(100)로부터 음성 정보가 수신되면, 그 음성 정보에서 발화속도나 감정 상태 등의 부가 정보를 획득하고, 획득된 부가 정보를 통역 서버(300)로부터 수신된 통역 결과와 함께 상대방 단말에 전송할 수 있다.
또한, 단말 장치(200)는 상대방 단말로부터 상대방이 입력한 음성 정보를 통역한 통역 결과를 수신하면, 수신된 통역 결과를 이용하여 음성으로 합성할 수 있다. 이때, 통역 환경 초기화시 설정된 상대방의 성별(예: 남성, 여성) 정보에 기초하여 해당하는 성별의 음성으로 합성할 수 있다. 또한, 상대방 단말로부터 부가 정보가 함께 수신되면, 수신된 부가 정보를 반영하여 합성음을 생성할 수 있다.
통역 서버(300)는 사용자의 단말 장치(200)로부터 음성 정보가 수신되면, 수신된 음성을 인식하여 텍스트로 변환하고, 변환된 텍스트를 상대방의 언어에 맞도록 번역할 수 있다. 그리고, 번역된 결과를 텍스트 형태 또는 음성 형태로 변환하고 변환된 통역 결과를 사용자 단말 장치(200)에 전송할 수 있다. 이때, 사용자 단말 장치(200)로부터 음성 정보와 함께 상황 정보가 수신되면, 사용자의 현재 상황 정보를 판단하고, 판단된 상황에 맞게 번역할 수 있다.
도 4 및 도 5는 일 실시예에 따른 핸즈프리 장치(10)의 구조도이다.
도 4 및 도 5에 도시된 핸즈프리 장치(10)는 도 1의 핸즈프리 장치(100)의 일 실시예로서 사용자가 착용할 수 있는 형태 특히, 귀에 착용할 수 있는 형태로 제작될 수 있다.
도 4 및 도 5를 참조하면, 핸즈프리 장치(10)는 하나 이상의 마이크(11,12,16), 볼륨 조절 버튼(13), PTT(Push To Talk) 버튼(14) 및 스피커(15)를 포함할 수 있다.
핸즈프리 장치(10)는 도 2에 도시된 바와 같이 입 근처에 위치하는 마이크(11) 즉, 채널 1과 귀 근처에 위치하는 마이크(12) 즉 채널 2를 통해 사용자의 음성을 2채널로 수신할 수 있다. 이와 같이, 2 채널로 입력되는 음성을 수신하는 사용자 단말이나 통역 서버는 2채널 잡음 처리를 할 수 있어 고잡음 환경에서도 음성 인식 성공률을 높일 수 있다.
이때, 채널 1의 마이크(11)는 사용자의 체형에 맞게 길이 조절을 할 수 있도록, 스프링 형태나 도시된 바와 같이 입출력되는 형태로 제작될 수 있다.
핸즈프리 장치(10)는 도 3에 도시된 바와 같이 골도 마이크(16)를 포함할 수 있다. 골도 마이크(16)는 다른 채널 1 또는 채널 2의 마이크(11,12)와 함께 형성되어 3 채널을 구성할 수 있으며, 또는 별도로 형성될 수 있다. 도시된 바와 같이, 골도 마이크(16)는 귀에 걸리는 고리 부분 즉, 귓바퀴 부분에 형성되어 골전도 음성을 수신함으로써 사용자 단말에서 입력된 음성의 끝점 검출에 활용하도록 할 수 있다.
한편, 본 실시예에 따르면, 핸즈프리 장치(10)는 PTT 버튼(14)을 포함할 수 있으며, PTT 버튼(14)은 사용자가 발화 때마다 PTT 버튼을 눌러 통역을 요청하도록 함으로써 편리하게 음성을 입력할 수 있고, 사용자 단말은 이를 통해 음성 시작점과 끝점 검출을 보다 용이하게 할 수 있다. 이때, PTT 버튼(14)는 골도 마이크(16)가 형성된 경우에는 생략이 가능하다.
스피커(15)는 사용자 단말로부터 수신되는 통역 결과 합성음 정보를 사용자에게 출력한다. 또한, 볼륨 조절 버튼(13)은 사용자의 요청에 따라 사용자에게 출력되는 볼륨의 크기를 조절한다.
또한, 도 4 및 도 5에는 도시되지 않았으나, 핸즈프리 장치(10)는 내부에 자이로 센서, 가속도 센서 등의 모션 인식 센서가 내장될 수 있다. 핸즈프리 장치(10)는 내장된 모션 인식 센서를 통하여 인식된 모션에 따라 사용자 단말에 출력된 인터페이스를 제어할 수 있다.
도 6은 일 실시예에 따른 핸즈프리 기반의 자동 통역을 위한 핸즈프리 장치의 블록도이다.
도 6을 참조하여, 자동 통역을 위한 핸즈프리 장치(100)를 좀 더 구체적으로 설명하면, 핸즈프리 장치(100)는 마이크(110), 스피커(120), 모션 인식 센서(130), 제어부(140), 통역 기능 실행부(150), 통신부(160) 및 모션 인식부(170)를 포함할 수 있다.
제어부(140)는 핸즈프리 장치(100)의 각종 제어 동작을 수행한다. 예를 들어, 사용자가 마이크(110)를 통하여 미리 정의된 통역 시작 요청 음성(예: "통역 시작")을 입력하게 되면, 입력된 음성을 인식하여 통역 요청인지를 판단할 수 있다. 판단 결과 통역 요청으로 판단되면 통역 기능 실행부(150)로 하여금 통역 기능을 실행하도록 요청할 수 있다. 또는, 핸즈프리 장치(100)에 장착된 통역 요청 버튼을 클릭하는 경우, 통역 요청으로 인식하고 통역 기능 실행부(150)로 하여금 통역 기능을 실행하도록 요청할 수 있다.
제어부(140)는 사용자로부터 통역 시작 요청이 입력되어 통역 기능이 실행이 완료되거나, 통역 종료 요청이 입력되어 통역 기능이 종료되면 스피커를 통하여 미리 정의된 효과음을 출력할 수 있다. 이로 인해 사용자는 통역 기능이 실행되었음을 인지하고 통역 대상 음성 정보를 입력할 수 있다.
또한, 제어부(140)는 통역이 완료되는 경우 즉, 사용자로부터 미리 정의된 통역 종료 요청 음성(예: "통역 종료")이 입력되면, 이를 인식하여 통역 종료 요청인, 통역 대상 음성인지를 판단하고 통역 종료 요청 음성으로 판단되면 단말 장치의 통역 애플리케이션을 자동으로 종료할 수 있다.
통역 기능 실행부(150)는 제어부(140)의 제어에 따라 연결된 단말 장치에 통역 요청이 수신되었음을 알리고, 통역 환경을 초기화하도록 요청할 수 있다.
예를 들어, 통역 기능 실행부(150)는 근거리 통신을 이용하여 사용자의 단말 장치와의 페어링을 수행한다. 또한, 통역 기능 실행부(150)는 사용자 단말 장치와 연결이 되면, 단말 장치에 설치되어 있는 통역 애플리케이션을 자동으로 실행시켜 단말 장치로 하여금 필요한 통역 환경을 초기화하도록 할 수 있다.
이때, 단말 장치는 통역 기능 실행부(150)의 요청에 따라 상대방 단말과의 페어링, 통역 서버 접속, 상대방의 언어 및 성별 정보 등의 환경 정보를 설정할 수 있다.
한편, 통역 기능 실행부(150)는 통역 요청이 입력되면, 근거리(예: 반경 2m 이내)에 위치한 통역 대상 상대방 단말을 검출하고, 검출된 상대방 단말 정보를 통신부(160)를 경유하여 사용자 단말 장치에 전송할 수 있다.
사용자 단말 장치는 통역 기능 실행부(150)로부터 상대방 단말 정보를 포함하는 통역 환경 초기화 요청이 입력되면, 상대방 단말 정보를 이용하여 상대방 단말과의 연결을 수행하고, 필요한 환경 정보를 상대방 단말로부터 수신할 수 있다. 이때, 사용자 단말과 상대방 단말 간에는 블루투스 페어링을 통하여 연결할 수 있다.
또한, 제어부(140)는 통역 기능이 실행된 후 사용자가 마이크(110)를 통해 통역 대상 음성 정보를 입력하면, 입력된 음성 정보를 통신부(160)로 하여금 단말 장치에 전송하도록 하고, 통신부(160)가 사용자의 단말 장치로부터 상대방의 음성 정보의 통역 결과 합성음 정보를 수신하면 스피커를 제어하여 사용자에게 합성음 정보를 출력할 수 있다.
또한, 제어부(140)는 자이로 센서나 가속도 센서 등의 모션 인식 센서(130) 및 모션 인식부(170)를 제어하여, 모션 인식 센서(130)에 의해 측정되는 신호를 모션 인식부(170)를 통해 미리 정의된 모션으로 인식할 수 있다. 또한, 인식된 모션을 통하여 사용자 단말의 디스플레이에 출력된 인터페이스에서의 사용자의 선택을 제어할 수 있다.
예를 들어, 사용자가 핸즈프리 장치(100)를 귀에 착용하고 고개를 상하로 움직이는 동작에 대응하여 단말 장치의 인터페이스에 출력된 메뉴나 항목(예: 오류 수정 데이터)의 선택을 상하로 이동시킬 수 있고, 특정 메뉴나 항목을 선택한 상태에서 고개를 빠르게 끄덕이거나 좌우로 움직이는 경우 그 항목을 사용자가 최종 선택한 항목으로 입력할 수 있다.
즉, 단말 장치가 통역 서버로부터 통역 결과와, N-베스트 또는 유사의미문장 등의 오류 수정 데이터를 수신하여 그 오류 수정 데이터를 단말 장치의 디스플레이에 출력하게 되면, 사용자는 직접 손으로 단말 장치를 터치하여 선택할 필요없이 손쉽게 수정 데이터를 입력할 수 있다.
도 7은 일 실시예에 따른 핸즈프리 기반의 자동 통역을 위한 단말 장치의 블록도이다. 도 8은 도 7의 단말 장치 중의 통역 환경 초기화부의 상세 블록도이다. 도 9는 도 7의 단말 장치 중의 통역 중개부의 상세 블록도이다. 도 10은 도 7의 단말 장치 중의 통역 처리부의 상세 블록도이다.
도 7 내지 도 10을 참조하여 핸즈프리 기반의 자동 통역을 위한 단말 장치(200)를 설명하면, 단말 장치(200)는 통역 환경 초기화부(210), 통역 중개부(220), 통역 처리부(230), 상황 정보 수집부(240), 부가 정보 수집부(250)를 포함할 수 있다.
통역 환경 초기화부(210)는 핸즈프리 장치의 요청에 따라 핸즈프리 장치와 페어링을 수행하고, 통역 환경을 초기화할 수 있다. 이때, 통역 환경 정보는 상대방 사용자의 언어 정보 및 성별(남자, 여자) 정보를 포함할 수 있다.
도 8을 참조하여, 통역 환경 초기화부(210)를 좀 더 구체적으로 설명하면, 통역 환경 초기화부(210)는 초기화 요청 수신부(211), 페어링 수행부(212), 환경 정보 수신부(213) 및 통역 환경 설정부(214)를 포함할 수 있다.
초기화 요청 수신부(211)는 핸즈프리 장치로부터 통역 환경 초기화 요청을 수신한다. 이때, 전술한 바와 같이, 핸즈프리 장치는 단말 장치(200)에 설치되어 있는 통역 애플리케이션을 자동으로 실행시킬 수 있으며, 통역 애플리케이션이 자동 실행되면, 이를 핸즈프리 장치의 통역 환경 초기화 및 통역 요청으로 인식할 수 있다.
페어링 수행부(212)는 초기화 요청 수신부(211)가 통역 환경 초기화 요청을 수신하면, 이동 통신망에 접속하여 미리 정의된 통역 서버 또는 선호하는 통역 서버에 연결할 수 있다. 또한, 블루투스 등의 근거리 통신을 통하여 상대방 단말에 페어링 요청을 전송하고, 상대방 단말로부터 페어링 승인이 수신되면, 상대방 단말과 연결할 수 있다.
페어링 수행부(212)에 의해 통역 서버 및 상대방 단말과 연결이 완료되면, 환경 정보 수신부(213)는 상대방 단말로부터 상대방의 언어 정보 및 성별 정보를 수신할 수 있다.
추가적인 실시예에 따르면, 사용자에게 제공된 인터페이스를 통하여 사용자로부터 언어 정보나 성별 정보 등의 환경 정보를 입력받거나, 미리 설정되어 있는 환경 정보를 상대방의 단말에 전송하는 환경 정보 전송부(미도시)를 포함할 수 있다. 단말 장치(200)는 경우에 따라 다수의 사용자가 이용할 수 있으므로, 핸즈프리 장치로부터 통역 요청이 수신되는 경우 환경 정보를 입력받기 위한 인터페이스를 사용자에게 제공할 수 있고, 사용자로부터 그 인터페이스를 통하여 필요한 환경 정보를 입력받아 상대방 단말에 전송할 수 있다. 이때, 전술한 바와 같이 핸즈프리 장치는 단말 장치(200)에 설치되어 있는 통역 애플리케이션을 실행시킬 수 있고, 통역 애플리케이션이 실행되면 통역 애플리케이션에서 제공되는 인터페이스를 이용하여 통역에 필요한 환경 정보를 입력받을 수 있다.
통역 환경 설정부(214)는 상대방 단말로부터 언어 정보 및 성별 정보를 수신하고, 사용자의 언어 정보 및 성별 정보 등의 환경 정보가 입력되면, 입력된 환경 정보를 이용하여 통역 언어 및 합성음 등의 통역 환경을 설정할 수 있다.
통역 중개부(220)는 통역 환경이 설정되면 핸즈프리 장치로부터 사용자의 통역 대상 음성 정보를 수신하고, 그 통역 대상 음성 정보를 통역한 통역 결과를 상대방 단말에 전송한다. 또한, 상대방 단말로부터 상대방의 음성 정보를 통역한 통역 결과를 수신한다.
도 9를 참조하면, 일 실시예에 따른 통역 중개부(220)는 서버 중개부(221) 및 단말 중개부(222)를 포함하고, 통역 서버를 통하여 통역을 수행할 수 있다. 하지만, 이에 한정되는 것은 아니므로 단말 장치(200)에 통역 기능이 내장되어 있는 경우에는 통역 서버를 경유할 필요없이 그 통역 기능을 이용하여 바로 사용자의 음성 정보를 상대방의 언어에 맞게 통역하는 것도 가능하다.
서버 중개부(221)는 핸즈프리 장치로부터 통역 대상인 사용자의 음성 정보가 수신되면, 수신된 음성 정보를 통역 서버에 전송하여 통역을 요청할 수 있다. 이때, 서버 중개부(221)는 미리 설정된 통역 환경 정보 중의 사용자의 언어 정보 및 상대방의 언어 정보를 확인하고, 그 정보를 통역 대상 음성 정보와 함께 전송할 수 있다.
서버 중개부(221)는 핸즈프리 장치로부터 사용자의 음성 정보가 입력되기 시작되면 음성 시작점과 음성 끝점을 검출하고, 음성 끝점이 검출되면 그 음성 정보를 통역 서버에 전송할 수 있다. 서버 중개부(221)는 핸즈프리 장치에 탑재되는 골도 마이크 또는 PTT 버튼을 통하여 음성이 입력되는 경우 음성 시작점과 끝점을 용이하게 검출할 수 있다.
또한, 서버 중개부(221)는 통역 서버로부터 사용자의 음성 정보를 상대방의 언어로 통역한 통역 결과를 수신할 수 있다. 이때, 통역 결과는 사용자의 음성 정보를 상대방의 언어로 통역한 텍스트 형식 또는 음성 형식의 통역 데이터를 포함하고, 추가적으로 유사 의도문장이나 N-베스트(N-best) 인식 데이터 중의 하나 이상의 오류 수정 데이터를 포함할 수 있다.
단말 중개부(222)는 통역 서버로부터 사용자의 음성 정보를 통역한 통역 결과를 수신하면, 수신된 통역 결과를 상대방 단말 장치에 전송할 수 있다. 이때, 단말 중개부(222)는 상대방 단말 장치와 미리 정의된 통역 프로토콜에 따라 통역 결과를 송수신할 수 있다. 또한, 단말 중개부(222)는 상대방 단말 장치로부터 상대방의 음성 정보를 통역 결과를 수신할 수 있다.
다시 도 7을 참조하면, 상황 정보 수집부(240)는 통역 환경 초기화부(210)에 의해 통역 환경이 초기화되면, 사용자의 현재 상황 정보를 수집할 수 있다. 일 예로, 단말 장치(200)에 내장되거나, 단말 장치(200)와 연결된 외부의 GPS 센서 등의 위치 측정 센서나 마이크 등을 이용하여 사용자의 현재 위치 정보나, 사용자가 위치한 장소(예: 공항, 식당, 호텔, 길거리 등)의 배경음 정보를 수집할 수 있다.
통역 중개부(220)는 상황 정보 수집부(240)에 의해 사용자의 현재 상황 정보가 수집되면, 수집된 상황 정보를 통역 서버에 전송할 수 있다. 이와 같이 사용자의 현재 상황 정보를 반영하여 통역을 수행함으로써, 보다 정확한 통역이 가능해진다.
또한, 부가 정보 수집부(250)는 사용자의 상태 정보를 부가 정보로서 수집할 수 있다. 예를 들어, 부가 정보 수집부(250)는 핸즈프리 장치로부터 사용자의 음성 정보가 수신되면, 수신된 사용자의 음성 정보를 분석하여 사용자의 발화 속도나 감정 상태 등을 추출할 수 있다. 이때, 발화 속도 정보는 인식된 음성 정보로부터 음절 내 모음의 길이를 재서 미리 정의된 정상 상태의 모음 길이와 비교하여 발화 속도 비율을 측정할 수 있다. 감정 상태 정보는 별도의 통계적 모델을 통해 예측할 필요없이 문장 피치의 높낮이와 문장 발화 속도, 평균 음량의 크기를 각 발화별로 추출할 수 있다. 하지만, 이에 한정되는 것은 아니므로 그 밖의 알려진 다양한 방법이 이용될 수 있다.
또한, 부가 정보 수집부(250)는 사용자의 개인 정보를 부가 정보로서 수집할 수 있다. 부가 정보 수집부(250)는 사용자에게 제공된 인터페이스를 통하여 사용자로부터 사용자의 이미지, 이름, 국적 등의 정보를 입력받을 수 있다.
통역 중개부(220)는 부가 정보 수집부(250)에 의해 부가 정보가 수집되면, 통역 결과와 함께 상대방 단말에 전송할 수 있다.
통역 처리부(230)는 통역 서버로부터 수신된 통역 결과 또는 상대방 단말로부터 수신된 통역 결과를 처리하여 사용자의 핸즈프리 장치에 전송하거나, 상대방 단말에 전송하도록 할 수 있다.
도 10을 참조하여, 통역 처리부(230)를 좀 더 상세하게 설명하면, 통역 처리부(230)는 음성 합성부(231), 텍스트 출력부(232) 및 통역 오류 수정부(233)를 포함할 수 있다.
음성 합성부(231)는 상대방 단말로부터 통역 결과가 수신되면, 상대방의 성별 정보 등을 기초로 설정된 합성음 정보를 이용하여, 통역 결과를 남성 음성 또는 여성 음성으로 합성할 수 있다.
또한, 상대방 단말로부터 부가 정보가 함께 수신되면, 합성되는 음성에 부가 정보를 반영할 수 있다. 예를 들어, 부가 정보 중의 발화 속도 정보가 수신되면 합성된 남성 또는 여성 음성을 발화 속도를 반영하고, 또한, 부가 정보 중의 감정 상태 정보가 수신되면, 감정 상태 정보 중의 문장 피치의 높낮이, 문장 발화 속도, 평균 음량의 크기 등을 음성합성기의 운율 조절 파라미터로 반영하여 감정 상태를 반영할 수 있다.
한편, 음성 합성부(231)는 단말 장치(200)와 연결된 핸즈프리 장치가 없는 경우에는 단말 장치(200)에 내장된 스피커를 통하여 합성된 음성을 출력하는 것도 가능하다.
텍스트 출력부(232)는 상대방의 통역 결과를 텍스트 형식으로 단말 장치(200)의 디스플레이에 출력하여 사용자가 시각적으로 확인하도록 할 수 있다. 즉, 사용자의 단말 장치(200)가 핸즈프리 장치와 연결되어 있는 것으로 전제하고 설명하였으나, 사용자나 상대방은 핸즈프리 장치의 도움 없이 통역 기능을 이용할 수 있다. 이와 같이, 핸즈프리 장치가 연결되어 있지 않은 경우 통역 결과를 텍스트 형식으로 디스플레이에 출력할 수 있다.
통역 오류 수정부(233)는 통역 서버로부터 수신된 통역 결과에 유사의도문장이나 N-베스트 인식 결과 등의 오류 수정 데이터가 포함되어 있으면, 그 오류 수정 데이터를 단말 장치(200)의 디스플레이의 인터페이스에 출력하여 사용자로 하여금 통역 오류를 수정하도록 할 수 있다.
통역 오류 수정부(233)는 사용자가 인터페이스에 출력된 오류 수정 데이터 중의 가장 적절한 어느 하나의 데이터를 선택하면, 선택된 데이터를 이용하여 통역 결과 중의 통역 데이터를 수정하여 통역 중개부(220)로 하여금 상대방 단말 장치에 전송하도록 할 수 있다. 이때, 사용자는 전술한 바와 같이 핸즈프리 장치를 착용한 상태에서 모션을 수행하여 단말 장치(200)의 인터페이스에 출력된 오류 수정 데이터를 선택할 수 있다.
도 11은 일 실시예에 따른 핸즈프리 기반의 자동 통역을 위한 통역 서버의 블록도이다.
도 11을 참조하면, 통역 서버(300)는 통역 정보 수신부(310), 음성 인식부(320), 번역부(330), 통역 결과 전송부(340) 및 상황 판단부(350)를 포함할 수 있다.
통역 정보 수신부(310)는 단말 장치(200)로부터 통역 정보를 수신한다. 이때, 통역 정보는 통역 대상 음성 정보, 사용자 및 상대방의 언어 정보, 사용자의 현재 위치, 배경음 정보 등의 상황 정보를 포함할 수 있다.
음성 인식부(320)는 통역 대상 음성 정보를 인식하고, 인식된 음성을 텍스트로 변환할 수 있다.
한편, 상황 판단부(350)는 수신된 통역 정보에 사용자의 상황 정보가 포함된 경우, 상황 정보를 이용하여 사용자의 상황을 판단할 수 있다. 예를 들어, 상황 판단부(350)는 상황 정보 중의 사용자의 위치 정보를 이용하여, 사용자가 현재 위치한 주변 지역을 대략적으로 파악하고, 또한, 배경음 정보를 통해 미리 모델링 된 배경음별 GMM(Gaussian Mixture Model)과 비교하고, 가장 일치도가 높은 모델을 구체적인 상황으로 결정할 수 있다.
이때, 음성 인식부(320)는 상황 판단부(350)에 의해 구체적인 상황이 판단되면, 그 상황에 적합한 음향 모델을 이용하거나 배경 잡음에 적합한 잡음 제거 신호 처리를 하여 정확하게 음성을 인식할 수 있다.
번역부(330)는 음성 인식부(320)에 의해 사용자의 음성 정보가 텍스트로 변환되면, 사용자 및 상대방의 언어 정보를 이용하여 상대방의 언어에 맞도록 텍스트를 변환한다.
이때, 번역부(330)는 N-베스트 인식 결과나 유사의도문장을 추출하고 추출된 결과를 오류 수정 데이터로 생성할 수 있다.
통역 결과 전송부(340)는 번역 결과 또는 오류 수정 데이터를 통역 결과로서 단말 장치(200)에 전송한다.
도 12는 일 실시예에 따른 핸즈프리 기반의 자동 통역 방법의 흐름도이다.
도 12는 도 1의 핸즈프리 기반의 자동 통역 시스템에 의해 수행되는 자동 통역 방법의 일 실시예일 수 있다.
먼저, 사용자의 핸즈프리 장치(100a)는 사용자로부터 통역 요청을 수신하면(단계 411), 사용자의 단말 장치(200a)에 통역 기능을 실행하도록 요청할 수 있다(단계 412). 이때, 사용자 단말 장치(200)에 설치되어 있는 통역 애플리케이션을 자동 실행하여 통역 환경을 초기화하도록 요청할 수 있다.
사용자의 단말 장치(200a)는 핸즈프리 장치(100a)의 통역 기능 실행 요청이 입력되면, 상대방 단말 장치(200b)에 통역 환경 정보를 요청하고, 상대방 단말 장치(200b)로부터 상대방의 통역 환경 정보, 예컨대 언어 정보, 성별 정보 등을 수신할 수 있다(단계 413).
그 다음, 상대방 단말 장치(200b)로부터 통역 환경 정보가 수신되면(단계 413), 수신된 환경 정보를 이용하여 통역 환경을 초기화할 수 있다(단계 414).
그 다음, 사용자의 단말 장치(200a)는 핸즈프리 장치(100a)로부터 사용자의 통역 대상 음성 정보를 수신하면, 수신된 음성 정보의 끝점을 검출하고(단계 416), 음성 정보를 통역 서버(300)에 전송할 수 있다(단계 417). 이때, 사용자의 위치 정보나 배경음 정보 등의 사용자의 상황 정보를 수집할 수 있고(단계 416), 수집된 사용자의 상황 정보를 함께 전송할 수 있다(단계 417).
그 다음, 통역 서버(300)는 수신된 음성 정보 또는 상황 정보를 기초로 상황을 판단하고, 상황 판단 결과를 기초로 정확한 음성을 인식할 수 있다(단계 418). 또한, 음성이 인식되면, 이를 텍스트로 변환할 수 있다.
그 다음, 변환된 텍스트를 이용하여 상대방의 언어에 맞게 번역하고(단계 419), 통역 결과 및 오류 수정 데이터를 사용자의 단말 장치(200a)에 전송할 수 있다(단계 420).
그 다음, 사용자의 단말 장치(200a)는 통역 결과를 수신하면, 통역 결과를 상대방의 단말 장치(200b)에 전송할 수 있다(단계 421).
그 다음, 상대방의 단말 장치(200b)는 통역 결과를 수신하면, 설정된 통역 환경 정보에 기초하여 사용자의 성별에 맞도록 음성을 합성하고(단계 422), 합성음을 핸즈프리 장치(100b)에 전송할 수 있다(단계 423).
마지막으로, 상대방의 핸즈프리 장치(100b)는 수신한 합성음을 출력할 수 있다(단계 424).
도 13은 일 실시예에 따른 핸즈프리 장치에서 수행되는 자동 통역 방법의 흐름도로서, 도 6의 핸즈프리 장치가 수행하는 자동 통역 방법의 일 실시예일 수 있다.
도 13을 참조하면, 먼저, 핸즈프리 장치는 사용자로부터 통역 요청을 수신한다(단계 510). 이때, 사용자는 전술한 바와 같이 미리 정의된 음성을 입력함으로써 통역 시작을 요청할 수 있다. 또는, 핸즈프리 장치에 별도로 구비된 통역 요청 버튼을 통하여 통역 요청을 입력할 수 있다.
핸즈프리 장치는 통역 요청이 입력되면 단말 장치와의 페어링을 수행하고 단말 장치에 통역 초기화를 요청할 수 있다(단계 520). 이때, 핸즈프리 장치는 블루투스, 지그비, NFC 등의 근거리 통신을 이용하여 페어링을 수행할 수 있다. 또한, 단말 장치와 페어링이 수행되면 단말 장치에 설치되어 있는 통역 애플리케이션을 실행하여 통역 환경 초기화를 요청할 수 있다.
그 다음, 단말 장치에 의해 통역 환경 초기화가 완료되어 통역 기능이 실행되면, 마이크를 통해 사용자로부터 통역 대상 음성 정보를 수신할 수 있다(단계 530). 이때, 마이크는 둘 이상의 채널로 구성될 수 있고, 이를 통해 입력된 음성 정보는 단말 장치 또는 통역 서버에서 잡음을 용이하게 제거하도록 할 수 있다. 또한, 마이크는 골도 마이크를 포함할 수 있으며, 골도 마이크를 통하여 입력되는 음성의 끝점 검출을 용이하게 할 수 있다.
그 다음, 수신된 통역 대상 음성 정보를 연결된 단말 장치에 전송할 수 있다(단계 540).
그 다음, 사용자 단말로부터 상대방의 통역 결과를 음성으로 합성한 음성 정보를 수신하고(단계 550), 수신된 합성음 정보를 스피커를 통하여 사용자에게 출력할 수 있다(단계 560).
도 14는 일 실시예에 따른 단말 장치에서 수행되는 자동 통역 방법의 흐름도로서, 도 7의 단말 장치(200)에 의해 수행되는 자동 통역 방법의 일 실시예일 수 있다.
도 14를 참조하면, 단말 장치(200)는 핸즈프리 장치의 요청에 따라 핸즈프리 장치와 페어링을 수행하고, 통역 환경을 초기화할 수 있다(단계 610). 단말 장치(200)는 핸즈프리 장치로부터 페어링 요청이 감지되면, 이를 승인함으로써 핸즈프리 장치와 연결하고, 통역 서버 또는 상대방 단말 장치와 이동통신망이나 근거리 통신망을 통하여 연결할 수 있다. 또한, 상대방 단말 장치로부터 상대방의 언어 정보나 성별 정보 등의 환경 정보를 수신하여 통역 환경을 설정할 수 있다.
그 다음, 핸즈프리 장치로부터 음성 정보가 수신되면, 통역 서버에 음성 정보를 전송하여 통역을 요청한다(단계 620). 이때, 통역 서버에 사용자 및 상대방의 언어 정보를 함께 전송할 수 있다. 또한, 사용자의 현재 위치나 사용자가 위치한 장소의 배경음 정보 등의 상황 정보를 수집하고, 이를 통역 서버에 함께 전송할 수 있다.
그 다음, 통역 서버로부터 통역 결과를 수신하면, 상대방 단말에 통역 결과를 전송할 수 있다(단계 630). 이때, 수신된 통역 결과에 오류 수정 데이터가 존재하면 이를 인터페이스에 출력하고, 사용자로 하여금 통역 결과를 수정하고 수정된 통역 결과를 상대방 단말에 전송할 수 있다.
그 다음, 상대방 단말로부터 상대방의 음성 정보를 통역한 통역 결과를 수신하고(단계 640), 수신된 통역 결과를 통역 환경 정보에 기초하여 음성으로 합성할 수 있다(단계 660). 이때, 상대방 단말로부터 발화속도나 감정 상태 등의 부가 정보가 함께 수신되면, 통역 결과에 상대방의 발화속도나 감정 상태를 반영하여 음성으로 합성할 수 있다.
그 다음, 합성된 음성 정보를 핸즈프리 장치에 전송할 수 있다(단계 660). 이때, 연결된 핸즈프리 장치가 존재하지 않는 경우에는 단말 장치의 스피커를 통해 합성음을 바로 출력하는 것도 가능하다.
본 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 자동 통역 시스템 100: 핸즈프리 장치
110: 마이크 120: 스피커
130: 모션 인식 센서 140: 제어부
150: 통역 기능 실행부 160: 통신부
170: 모션인식부 200: 사용자 단말
210: 통역 환경 초기화부 211: 초기화 요청 수신부
212: 페어링 수행부 213: 환경정보 수신부
214: 통역 환경 설정부 220: 통역 중개부
221: 서버 중개부 223: 단말 중개부
230: 통역 처리부 231: 음성 합성부
232: 텍스트 출력부 233: 통역 오류 수정부
240: 상황 정보 수집부 250: 부가정보 수집부
300: 통역 서버 310: 통역 정보 수신부
320: 음성인식부 330: 번역부
340: 통역 결과 전송부 350: 상황판단부

Claims (11)

  1. 핸즈프리 장치의 요청에 따라 핸즈프리 장치와 페어링을 수행하고, 통역 환경을 초기화하는 통역 환경 초기화부;
    핸즈프리 장치로부터 수신된 사용자의 음성 정보를 통역한 통역 결과를 상대방 단말에 전송하고, 상대방 단말로부터 상대방의 음성 정보를 통역한 통역 결과를 수신하는 통역 중개부; 및
    상대방 단말로부터 통역 결과가 수신되면, 상기 초기화된 통역 환경에 기초하여 상대방의 통역 결과를 음성으로 합성하고, 합성된 음성 정보를 상기 핸즈프리 장치에 전송하는 통역 처리부를 포함하고,
    상기 통역 환경 초기화부는
    상기 핸즈프리 장치의 통역 요청에 따라
    상기 상대방 단말에게 페어링 요청을 수행하여 상기 상대방 단말로부터 페어링 승인이 수신되면 상대방 단말과 페어링을 수행하고,
    상기 페어링을 통해 연결된 상기 상대방 단말로부터 상대방의 언어 정보를 수신하고,
    상기 상대방의 언어 정보에 기반한 자동 통역 서비스를 수행하기 위하여
    상기 상대방 단말과의 통역 환경을 설정하고,
    상기 통역 처리부는
    상기 사용자의 선택에 기초하여 상기 통역 결과의 오류를 수정하는 핸즈프리 자동 통역 서비스를 위한 단말 장치.
  2. 제1항에 있어서,
    상기 통역 중개부는
    상기 핸즈프리 장치로부터 음성 정보가 수신되면, 통역 서버에 그 음성 정보를 전송하고, 상기 통역 서버로부터 통역 결과를 수신하는 서버 중개부; 및
    상기 수신된 통역 결과를 미리 정의된 통역 프로토콜에 따라 상대방 단말에 전송하는 단말 중개부를 포함하는 핸즈프리 자동 통역 서비스를 위한 단말 장치.
  3. 제1항에 있어서,
    상기 통역 처리부는
    인터페이스를 통해 상기 사용자에게 출력된 하나 이상의 데이터 중에서 사용자가 선택한 어느 하나의 데이터를 이용하여 상기 통역 결과의 오류를 수정하는 통역 오류 수정부를 포함하는 핸즈프리 자동 통역 서비스를 위한 단말 장치.
  4. 제1항에 있어서,
    상기 핸즈프리 장치는
    근거리에 위치한 통역 대상이 되는 상기 상대방 단말을 검출하고, 검출된 상기 상대방 단말의 상대방 단말 정보를 상기 사용자의 단말 장치에 전송하여 상기 상대방 단말과의 통역 환경을 초기화하도록 요청하는 핸즈프리 자동 통역 서비스를 위한 단말 장치.
  5. 사용자 단말 장치가 수행하는 핸즈프리 자동 통역 서비스 방법으로서,
    핸즈프리 장치의 요청에 따라 핸즈프리 장치와 페어링을 수행하고, 통역 환경을 초기화하는 단계;
    핸즈프리 장치로부터 사용자의 음성 정보가 수신되면, 수신된 사용자의 음성 정보를 통역 서버에 전송하고, 통역 서버로부터 통역 결과를 수신하는 단계;
    상기 수신된 통역 결과를 상대방 단말에 전송하는 단계;
    상대방 단말로부터 상대방의 음성 정보를 통역한 통역 결과를 수신하는 단계;
    상대방 단말로부터 수신된 통역 결과를 상기 초기화된 통역 환경에 기초하여 음성으로 합성하는 단계; 및
    상기 합성된 음성 정보를 핸즈프리 장치에 전송하는 단계를 포함하고,
    상기 통역 환경을 초기화하는 단계는
    상기 핸즈프리 장치의 통역 요청에 따라
    상기 상대방 단말에게 페어링 요청을 수행하여 상기 상대방 단말로부터 페어링 승인이 수신되면 상대방 단말과 페어링을 수행하고,
    상기 페어링을 통해 연결된 상기 상대방 단말로부터 상대방의 언어 정보를 수신하고,
    상기 상대방의 언어 정보에 기반한 자동 통역 서비스를 수행하기 위하여
    상기 상대방 단말과의 통역 환경을 설정하고,
    상기 통역 결과를 수신하는 단계는
    사용자의 선택에 기초하여 상기 통역 결과의 오류를 수정하는 핸즈프리 자동 통역 서비스 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 통역 환경을 초기화하는 단계는
    근거리에 위치한 통역 대상 상대방 단말을 검출하고, 검출된 상대방 단말 정보를 통신부를 통해 사용자 단말에 전송하여 상대방 단말과의 통역 환경을 초기화하도록 요청하는 핸즈프리 자동 통역 서비스 방법.
  8. 마이크 및 스피커를 포함하는 핸즈프리 자동 통역 서비스를 위한 핸즈프리 장치에 있어서,
    사용자의 통역 요청이 입력되면 사용자 단말과의 페어링을 수행하며, 사용자 단말에 통역 환경을 초기화하도록 요청하는 통역 기능 실행부; 및
    상기 마이크를 통해 입력된 사용자의 음성 정보를 통신부로 하여금 사용자 단말에 전송하도록 제어하며, 통신부에 의해 사용자 단말로부터 수신된 음성 정보를 상기 스피커를 통해 출력하는 제어부를 포함하고,
    상기 사용자 단말은
    상기 핸즈프리 장치의 통역 요청에 따라
    상대방 단말에게 페어링 요청을 수행하여 상기 상대방 단말로부터 페어링 승인이 수신되면 상대방 단말과 페어링을 수행하고,
    상기 페어링을 통해 연결된 상기 상대방 단말로부터 상대방의 언어 정보를 수신하고,
    상기 상대방의 언어 정보에 기반한 자동 통역 서비스를 수행하기 위하여
    상기 상대방 단말과의 통역 환경을 설정하고,
    상기 상대방 단말로부터 수신한 통역 결과를 상기 사용자의 선택에 기초하여 상기 통역 결과의 오류를 수정하는 핸즈프리 장치.
  9. 제8항에 있어서,
    상기 통역 기능 실행부는
    사용자의 통역 요청이 입력되면, 사용자 단말에 설치된 통역 애플리케이션을 실행하여 통역 환경을 초기화하도록 요청하는 핸즈프리 장치.
  10. 제9항에 있어서,
    상기 통역 기능 실행부는
    근거리에 위치한 통역 대상 상대방 단말을 검출하고, 검출된 상대방 단말 정보를 통신부를 통해 사용자 단말에 전송하여 상대방 단말과의 통역 환경을 초기화하도록 요청하는 핸즈프리 장치.
  11. 제8항에 있어서,
    상기 사용자 단말은
    인터페이스를 통해 상기 사용자에게 출력된 하나 이상의 데이터 중에서 사용자가 선택한 어느 하나의 데이터를 이용하여 상기 통역 결과의 오류를 수정하는 핸즈프리 장치.
KR1020180023132A 2013-08-28 2018-02-26 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법 KR102069237B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130102267 2013-08-28
KR20130102267 2013-08-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140022712A Division KR101834546B1 (ko) 2013-08-28 2014-02-26 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법

Publications (2)

Publication Number Publication Date
KR20180026687A KR20180026687A (ko) 2018-03-13
KR102069237B1 true KR102069237B1 (ko) 2020-01-22

Family

ID=53022609

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140022712A KR101834546B1 (ko) 2013-08-28 2014-02-26 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
KR1020180023132A KR102069237B1 (ko) 2013-08-28 2018-02-26 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020140022712A KR101834546B1 (ko) 2013-08-28 2014-02-26 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법

Country Status (2)

Country Link
US (1) US10216729B2 (ko)
KR (2) KR101834546B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101834546B1 (ko) * 2013-08-28 2018-04-13 한국전자통신연구원 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
JP6275606B2 (ja) * 2014-09-17 2018-02-07 株式会社東芝 音声区間検出システム、音声始端検出装置、音声終端検出装置、音声区間検出方法、音声始端検出方法、音声終端検出方法およびプログラム
US10489515B2 (en) 2015-05-08 2019-11-26 Electronics And Telecommunications Research Institute Method and apparatus for providing automatic speech translation service in face-to-face situation
US10298736B2 (en) 2015-07-10 2019-05-21 Electronics And Telecommunications Research Institute Apparatus and method for processing voice signal and terminal
KR102366776B1 (ko) * 2015-08-21 2022-02-24 한국전자통신연구원 군중 밀집지역에서의 자동통역 서비스 연결방법
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
KR102158739B1 (ko) * 2017-08-03 2020-09-22 한국전자통신연구원 자동통역 시스템, 디바이스 및 방법
EP3474156A1 (en) * 2017-10-20 2019-04-24 Tap Sound System Real-time voice processing
KR102441407B1 (ko) 2017-12-14 2022-09-07 한국전자통신연구원 스마트 글라스를 이용한 발화자 선택 장치 및 방법
KR102078149B1 (ko) * 2017-12-28 2020-02-17 주식회사 오르페오사운드웍스 인-이어 마이크로폰을 갖는 이어셋을 이용한 실시간 통역서비스 시스템 및 방법
CN110048871B (zh) * 2018-01-16 2022-03-15 普天信息技术有限公司 Mcptt用户终端初始化配置方法及装置
KR20200027331A (ko) * 2018-09-04 2020-03-12 엘지전자 주식회사 음성 합성 장치
WO2020101358A2 (ko) * 2018-11-14 2020-05-22 주식회사 오르페오사운드웍스 이어셋을 이용한 서비스 제공방법
KR102191422B1 (ko) * 2018-11-14 2020-12-15 주식회사 오르페오사운드웍스 발화자 음성 복원기능을 갖는 이어셋
US20200193965A1 (en) * 2018-12-13 2020-06-18 Language Line Services, Inc. Consistent audio generation configuration for a multi-modal language interpretation system
CN110610720B (zh) * 2019-09-19 2022-02-25 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
KR102285877B1 (ko) * 2019-10-25 2021-08-05 주식회사 이엠텍 이어셋을 이용한 통역 시스템
WO2021080362A1 (ko) * 2019-10-25 2021-04-29 주식회사 이엠텍 이어셋을 이용한 언어 처리 시스템
KR102350787B1 (ko) * 2019-11-29 2022-01-14 주식회사 이엠텍 음성 진동 마이크를 이용한 통역 시스템
US11425487B2 (en) 2019-11-29 2022-08-23 Em-Tech Co., Ltd. Translation system using sound vibration microphone
US11776557B2 (en) 2020-04-03 2023-10-03 Electronics And Telecommunications Research Institute Automatic interpretation server and method thereof
KR102248701B1 (ko) * 2020-07-08 2021-05-06 주식회사 엔디소프트 다국어 음성 자동 통역 채팅시 통역의 시점과 종점과 소정 정보 제공을 소정의 음성으로 제어하는 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101834546B1 (ko) * 2013-08-28 2018-04-13 한국전자통신연구원 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052441A (en) 1995-01-11 2000-04-18 Fujitsu Limited Voice response service apparatus
JP3936351B2 (ja) 1995-01-11 2007-06-27 富士通株式会社 音声応答サービス装置
US6161082A (en) 1997-11-18 2000-12-12 At&T Corp Network based language translation system
US6513006B2 (en) * 1999-08-26 2003-01-28 Matsushita Electronic Industrial Co., Ltd. Automatic control of household activity using speech recognition and natural language
US6912498B2 (en) * 2000-05-02 2005-06-28 Scansoft, Inc. Error correction in speech recognition by correcting text around selected area
KR20000072073A (ko) 2000-07-21 2000-12-05 백종관 음성 인식 및 음성 합성 기술을 이용한 자동동시통역서비스 방법 및 그 시스템
KR100399574B1 (ko) 2000-12-27 2003-09-26 한국전자통신연구원 외국인을 위한 전화안내 자동 통역시스템 및 방법
US8527280B2 (en) 2001-12-13 2013-09-03 Peter V. Boesen Voice communication device with foreign language translation
AUPR956901A0 (en) * 2001-12-17 2002-01-24 Jayaratne, Neville Real time translator
US20050033571A1 (en) * 2003-08-07 2005-02-10 Microsoft Corporation Head mounted multi-sensory audio input system
US7664639B2 (en) * 2004-01-14 2010-02-16 Art Advanced Recognition Technologies, Inc. Apparatus and methods for speech recognition
US7421387B2 (en) * 2004-02-24 2008-09-02 General Motors Corporation Dynamic N-best algorithm to reduce recognition errors
KR100738072B1 (ko) * 2005-02-01 2007-07-12 삼성전자주식회사 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법
US7706510B2 (en) * 2005-03-16 2010-04-27 Research In Motion System and method for personalized text-to-voice synthesis
US8417185B2 (en) * 2005-12-16 2013-04-09 Vocollect, Inc. Wireless headset and method for robust voice data communication
US20070203987A1 (en) * 2006-02-24 2007-08-30 Intervoice Limited Partnership System and method for voice-enabled instant messaging
US7496693B2 (en) * 2006-03-17 2009-02-24 Microsoft Corporation Wireless enabled speech recognition (SR) portable device including a programmable user trained SR profile for transmission to external SR enabled PC
CA2648617C (en) * 2006-04-05 2017-12-12 Yap, Inc. Hosted voice recognition system for wireless devices
US8972268B2 (en) * 2008-04-15 2015-03-03 Facebook, Inc. Enhanced speech-to-speech translation system and methods for adding a new word
EP2129083A4 (en) * 2007-01-12 2010-05-19 Panasonic Corp METHOD FOR CONTROLLING THE LANGUAGE RECOGNITION FUNCTION OF A PORTABLE END UNIT AND WIRELESS COMMUNICATION SYSTEM
US8886537B2 (en) * 2007-03-20 2014-11-11 Nuance Communications, Inc. Method and system for text-to-speech synthesis with personalized voice
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US20090177462A1 (en) * 2008-01-03 2009-07-09 Sony Ericsson Mobile Communications Ab Wireless terminals, language translation servers, and methods for translating speech between languages
US8478578B2 (en) * 2008-01-09 2013-07-02 Fluential, Llc Mobile speech-to-speech interpretation system
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US8370148B2 (en) * 2008-04-14 2013-02-05 At&T Intellectual Property I, L.P. System and method for answering a communication notification
US8121837B2 (en) * 2008-04-24 2012-02-21 Nuance Communications, Inc. Adjusting a speech engine for a mobile computing device based on background noise
US8270606B2 (en) * 2008-05-01 2012-09-18 International Business Machines Corporation Open architecture based domain dependent real time multi-lingual communication service
US8374881B2 (en) * 2008-11-26 2013-02-12 At&T Intellectual Property I, L.P. System and method for enriching spoken language translation with dialog acts
KR20100068965A (ko) 2008-12-15 2010-06-24 한국전자통신연구원 자동 통역 장치 및 그 방법
US8868430B2 (en) * 2009-01-16 2014-10-21 Sony Corporation Methods, devices, and computer program products for providing real-time language translation capabilities between communication terminals
US20100185432A1 (en) * 2009-01-22 2010-07-22 Voice Muffler Corporation Headset Wireless Noise Reduced Device for Language Translation
KR101589433B1 (ko) 2009-03-11 2016-01-28 삼성전자주식회사 동시 통역 시스템
US20100304783A1 (en) * 2009-05-29 2010-12-02 Logan James R Speech-driven system with headset
JP5471106B2 (ja) 2009-07-16 2014-04-16 独立行政法人情報通信研究機構 音声翻訳システム、辞書サーバ装置、およびプログラム
KR101683943B1 (ko) 2009-10-02 2016-12-07 코쿠리츠켄큐카이하츠호진 죠호츠신켄큐키코 음성번역 시스템, 제1 단말장치, 음성인식 서버장치, 번역 서버장치, 및 음성합성 서버장치
JP5545467B2 (ja) 2009-10-21 2014-07-09 独立行政法人情報通信研究機構 音声翻訳システム、制御装置、および情報処理方法
KR20110065916A (ko) 2009-12-10 2011-06-16 삼성전자주식회사 통역오류 정정 및 오류 자동추출 절차를 수행하는 통역시스템
US8798985B2 (en) * 2010-06-03 2014-08-05 Electronics And Telecommunications Research Institute Interpretation terminals and method for interpretation through communication between interpretation terminals
KR20130005160A (ko) * 2011-07-05 2013-01-15 한국전자통신연구원 음성인식기능을 이용한 메세지 서비스 방법
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
KR101949731B1 (ko) 2011-10-20 2019-02-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기를 이용한 음성 번역 방법
US8949745B2 (en) * 2011-10-21 2015-02-03 Konntech Inc. Device and method for selection of options by motion gestures
KR20130052862A (ko) 2011-11-14 2013-05-23 현대모비스 주식회사 핸즈프리 시스템 및 그 제어 방법
KR101703214B1 (ko) * 2014-08-06 2017-02-06 주식회사 엘지화학 문자 데이터의 내용을 문자 데이터 송신자의 음성으로 출력하는 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101834546B1 (ko) * 2013-08-28 2018-04-13 한국전자통신연구원 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법

Also Published As

Publication number Publication date
KR20150026754A (ko) 2015-03-11
US20160210283A1 (en) 2016-07-21
KR20180026687A (ko) 2018-03-13
KR101834546B1 (ko) 2018-04-13
US10216729B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
KR102069237B1 (ko) 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
KR102351366B1 (ko) 음성 인식 방법 및 장치
JP6289448B2 (ja) 即時翻訳システム
KR102222122B1 (ko) 감성음성 합성장치, 감성음성 합성장치의 동작방법, 및 이를 포함하는 이동 단말기
EP2770445A2 (en) Method and system for supporting a translation-based communication service and terminal supporting the service
JP2018173652A (ja) 翻訳装置および翻訳方法
KR20160093529A (ko) 청각 장애인을 위한 착용형 장치
JP7437356B2 (ja) 電子機器の通訳機能提供方法およびイヤセット機器
WO2015143114A1 (en) Sign language translation apparatus with smart glasses as display featuring a camera and optionally a microphone
EP3669277B1 (en) Associating a user voice query with head direction
JP6514475B2 (ja) 対話装置および対話方法
KR101412657B1 (ko) 두 대 이상의 통역 단말기간 상호 통신을 이용한 통역 방법 및 장치
KR20120127773A (ko) 음성인식 정보검색 시스템 및 그 방법
CN109686359B (zh) 语音输出方法、终端及计算机可读存储介质
WO2015030340A1 (ko) 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
EP3662387B1 (en) Associating a user voice query with head direction
WO2015100108A1 (en) Location tracking from natural speech
KR20200082137A (ko) 전자 장치 및 그의 제어 방법
KR20160053391A (ko) 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 글라스형 웨어러블 디바이스용 어플리케이션
KR20140049922A (ko) 사용자 정보를 이용한 다국어 자동통역기의 언어인식 장치
CN108806675B (zh) 语音输入输出装置、无线连接方法、语音对话系统
KR20140117771A (ko) 움직임 센서 기반의 휴대용 자동 통역 장치 및 그의 제어방법
KR20160035517A (ko) 스마트 수화 장갑
KR102393112B1 (ko) 이어셋을 이용한 통역기능 제공 방법 및 장치
KR101906549B1 (ko) 청각 장애인을 위한 착용형 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant