KR20180107904A - 사용자 단말을 통해 통번역 서비스를 제공하는 방법 및 그 장치 - Google Patents

사용자 단말을 통해 통번역 서비스를 제공하는 방법 및 그 장치 Download PDF

Info

Publication number
KR20180107904A
KR20180107904A KR1020170036798A KR20170036798A KR20180107904A KR 20180107904 A KR20180107904 A KR 20180107904A KR 1020170036798 A KR1020170036798 A KR 1020170036798A KR 20170036798 A KR20170036798 A KR 20170036798A KR 20180107904 A KR20180107904 A KR 20180107904A
Authority
KR
South Korea
Prior art keywords
interpretation
translation
terminal
result
caller
Prior art date
Application number
KR1020170036798A
Other languages
English (en)
Other versions
KR102349620B1 (ko
Inventor
박재연
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020170036798A priority Critical patent/KR102349620B1/ko
Publication of KR20180107904A publication Critical patent/KR20180107904A/ko
Application granted granted Critical
Publication of KR102349620B1 publication Critical patent/KR102349620B1/ko

Links

Images

Classifications

    • G06F17/289
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)

Abstract

발신자 단말을 통해 통번역 서비스를 제공하는 방법은, 발신자로부터 수신자 단말 전화번호를 입력 받는 단계, 통번역 어플리케이션을 통해 적어도 하나의 타겟 언어를 시각적으로 노출하는 단계, 상기 발신자로부터 타겟 언어에 대한 선택 입력을 수신하는 단계, 상기 수신자 단말과의 통화 호 설정 요청과 함께, 통번역 서버로 상기 수신자 단말 전화번호 및 상기 타겟 언어에 대한 선택 입력을 전송하는 단계 및 상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하는 단계를 포함하고, 상기 통번역 서버는 상기 선택 입력에 기초하여 상기 원어 음성 정보를 상기 타겟 언어로 통역한 통역 결과를 상기 수신자 단말로 전송한다.

Description

사용자 단말을 통해 통번역 서비스를 제공하는 방법 및 그 장치{METHOD AND APPARATUS FOR PROVIDING INTERPRETATION AND TRANSLATION SERVICES USING USER TERMINAL}
사용자 단말을 통해 서로 다른 언어를 사용하는 발신자와 수신자 양 측에게 통역과 번역 서비스를 함께 제공하는 방법 및 장치가 개시된다.
통화 시 발신자와 수신자가 서로 다른 언어를 사용하고, 서로가 상대방의 언어를 구사하지 못하는 경우, 상기 발신자와 수신자 간의 원활한 커뮤니케이션을 위해서는 통역 또는 번역이 필요하다.
기존의 사용자 단말을 통한 통번역 서비스는 통역 또는 번역 중 하나의 서비스만을 제공한다.
또한, 기존의 사용자 단말을 통한 통번역 서비스는 발신자 단말 및 수신자 단말에 모두 통번역 어플리케이션이 설치되어 있어야 통번역 서비스 이용이 가능하다.
또한, 기존의 사용자 단말을 통한 통번역 서비스는 통번역 서비스를 이용할 음성 정보 입력의 종료 시점을 명확히 구분하기 어렵다.
또한, 기존의 사용자 단말을 통한 통번역 서비스는 통화 중 통번역 서비스의 활성화 및 비활성화의 전환이 어렵다.
번역 서비스 제공과 관련된 방법은 공개특허공보(KR 10-2016-0049947 A) 및 공개특허공보(KR 10-2013-0043293 A)에 개시되어 있다.
사용자 단말을 통해 통역 서비스 및 번역 서비스를 동시에 제공하는 방법 및 장치가 개시된다.
발신자 단말에만 통번역 어플리케이션이 설치되어 있어도 발신자 및 수신자에게 통번역 서비스 제공이 가능한 방법 및 장치가 개시된다.
통번역 서비스를 이용할 음성 정보 입력의 종료 시점을 명확하게 구분할 수 있는 통번역 어플리케이션을 통한 통번역 서비스 제공 방법 및 장치가 개시된다.
통화 중 통번역 서비스의 활성화 및 비활성화 전환이 가능한 통번역 서비스 제공 방법 및 장치가 개시된다.
발신자 단말을 통해 통번역 서비스를 제공하는 방법은, 발신자로부터 수신자 단말 전화번호를 입력 받는 단계, 통번역 어플리케이션을 통해 적어도 하나의 타겟 언어를 시각적으로 노출하는 단계, 상기 발신자로부터 타겟 언어에 대한 선택 입력을 수신하는 단계, 상기 수신자 단말과의 통화 호 설정 요청과 함께, 통번역 서버로 상기 수신자 단말 전화번호 및 상기 타겟 언어에 대한 선택 입력을 전송하는 단계 및 상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하는 단계를 포함하고, 상기 통번역 서버는 상기 선택 입력에 기초하여 상기 원어 음성 정보를 상기 타겟 언어로 통역한 통역 결과를 상기 수신자 단말로 전송한다.
상기 통화 호 설정 요청을 상기 통번역 서버로 전송하는 단계는, 상기 수신자 단말과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 출력하는 단계를 포함할 수 있다.
상기 수신자 단말은, 상기 발신자 단말과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 출력할 수 있다.
상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하는 단계는, 미리 정해진 코드를 더 수신하고, 상기 미리 정해진 코드가 수신되기 전까지 수신된 원어 음성에 기초하여 상기 원어 음성 정보를 생성할 수 있다.
상기 수신자 단말에 상기 통번역 어플리케이션이 설치된 경우, 상기 수신자 단말로 상기 원어 음성 정보에 대한 STT 처리 결과 또는 상기 번역 결과를 더 전송할 수 있다.
상기 통번역 어플리케이션은, 상기 수신자 단말과 통화 호가 설정된 상태에서 상기 발신자로부터 입력되는 상기 통번역 어플리케이션의 활성화 명령 또는 비활성화 명령에 따라 활성화되거나 비활성화될 수 있다.
상기 수신자 단말과 통화 호가 설정된 상태에서, 상기 발신자로부터 입력되는 스피커폰 모드 활성화 명령 또는 비활성화 명령에 따라 상기 발신자 단말의 스피커폰 모드가 활성화되거나 비활성화될 수 있다.
발신자 단말을 통해 통번역 서비스를 제공하는 방법은, 상기 통번역 어플리케이션을 통해, 상기 통번역 서버로부터 수신된 상기 원어음성 정보에 대한 STT 처리 결과 또는 상기 원어 음성 정보를 상기 타겟 언어로 번역한 번역 결과를 출력하는 단계를 더 포함할 수 있다.
상기 발신자 단말을 통해 통번역 서비스를 제공하는 방법은, 상기 발신자로부터 상기 통화 호 설정의 해제 입력이 수신된 경우, 상기 수신자 단말과 통화 호가 설정된 이후부터 상기 통화 호 설정이 해제되기 전까지 수신된 상기 STT 처리 결과 또는 상기 번역 결과에 기초하여 누적 번역 결과를 생성하는 단계를 더 포함할 수 있다.
상기 통번역 서버는, 상기 통역 결과를 생성한 후, 상기 통역 결과를STT(Speech To Text) 처리하여 상기 번역 결과를 생성할 수 있다.
상기 통번역 서버는, 상기 원어 음성 정보에 대한 STT(Speech To Text) 처리 결과를 생성한 후, 상기 STT 처리 결과에 기초하여 상기 번역 결과를 생성할 수 있다.
상기 발신자로부터 상기 통화 호 설정에 대한 해제 입력이 수신되기 전까지, 상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하는 단계 및 상기 통번역 어플리케이션을 통해, 상기 통번역 서버로부터 수신된 상기 원어음성 정보에 대한 STT 처리 결과 또는 상기 원어 음성 정보를 상기 타겟 언어로 번역한 번역 결과를 출력하는 단계를 반복할 수 있다.
상기 수신자 단말은, 수신자로부터 수신된 타겟 언어 음성에 기초하여 생성한 타겟 언어 음성 정보를 상기 통번역 서버로 전송할 수 있고, 상기 통번역 서버는, 상기 타겟 언어 음성 정보에 대한 STT 처리 결과, 상기 선택 입력에 기초하여 상기 타겟 언어 음성 정보를 원어(原語)로 번역한 번역 결과 또는 상기 타겟 언어 음성 정보를 상기 원어로 통역한 통역 결과를 상기 발신자 단말로 전송할 수 있고, 상기 발신자 단말을 통해 발신자 단말을 통해 통번역 서비스를 제공하는 방법은, 상기 통번역 어플리케이션을 통해 상기 STT 처리 결과, 상기 번역 결과를 출력하고, 상기 스피커를 통해 상기 통역 결과를 출력하는 단계를 더 포함할 수 있다.
상기 발신자 단말은, 상기 수신자 단말은, 수신자로부터 수신된 타겟 언어 음성에 기초하여 생성한 타겟 언어 음성 정보를 상기 통번역 서버로 전송할 수 있고, 상기 통번역 서버는, 상기 타겟 언어 음성 정보에 대한 STT 처리 결과, 상기 발신자 단말로부터 수신된 원어 정보에 기초하여 상기 타겟 언어 음성 정보를 원어(原語)로 번역한 번역 결과 중 적어도 어느 하나 상기 타겟 언어 음성 정보를 상기 원어로 통역한 통역 결과를 상기 발신자 단말로 전송할 수 있고, 상기 발신자 단말은, 상기 통번역 어플리케이션을 통해 상기 STT 처리 결과, 상기 번역 결과 또는 상기 통역 결과를 출력하는 단계를 더 포함할 수 있다.
상기 통번역 어플리케이션은 상기 발신자로부터 상기 수신자 단말 전화번호와 함께 입력된 활성화 명령에 따라 활성화(activation)될 수 있다.
발신자로부터 수신자 단말 전화번호 및 타겟 언어에 대한 선택 입력을 수신하는 통번역 어플리케이션, 상기 수신자 단말과의 통화 호 설정 요청과 함께, 통번역 서버로 상기 수신자의 단말 전화번호 및 상기 타겟 언어에 대한 선택 입력을 전송하고, 상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하는 통신 인터페이스를 포함하고, 상기 통번역 서버는 상기 선택 입력에 기초하여 상기 원어 음성 정보를 상기 타겟 언어로 통역한 통역 결과를 상기 수신자 단말로 전송한다.
상기 통번역 어플리케이션은, 상기 수신자 단말과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 출력할 수 있다.
상기 수신자 단말은, 상기 발신자 단말과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 출력할 수 있다.
상기 통번역 어플리케이션은 미리 정해진 코드가 수신되기 전까지 상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 원어 음성 정보를 생성할 수 있다.
상기 수신자 단말에 상기 통번역 어플리케이션이 설치된 경우, 상기 수신자 단말로 상기 원어 음성 정보에 대한 원문 STT 처리 결과 또는 상기 번역 결과를 더 전송할 수 있다.
상기 통번역 어플리케이션은, 상기 수신자 단말과 통화 호가 설정된 상태에서 상기 발신자로부터 입력되는 상기 통번역 어플리케이션의 활성화 명령 또는 비활성화 명령에 따라 활성화되거나 비활성화될 수 있다.
상기 수신자 단말과 통화 호가 설정된 상태에서, 상기 발신자로부터 입력되는 스피커폰 모드 활성화 명령 또는 비활성화 명령에 따라 상기 발신자 단말의 스피커폰 모드가 활성화되거나 비활성화될 수 있다.
상기 통번역 어플리케이션은 상기 통번역 서버로부터 수신된 상기 원어음성 정보에 대한 STT 처리 결과 또는 상기 원어 음성 정보를 상기 타겟 언어로 번역한 번역 결과를 출력할 수 있다.
상기 통번역 어플리케이션은, 상기 발신자로부터 상기 통화 호 설정의 해제 입력이 수신된 경우, 상기 수신자 단말과 통화 호가 설정된 이후부터 상기 통화 호 설정이 해제되기 전까지 수신된 상기 STT 처리 결과 또는 상기 번역 결과에 기초하여 누적 번역 결과를 생성할 수 있다.
상기 통번역 서버는, 상기 통역 결과를 생성한 후, 상기 통역 결과를STT(Speech To Text) 처리하여 상기 번역 결과를 생성할 수 있다.
상기 통번역 서버는, 상기 원어 음성 정보에 대한 STT(Speech To Text) 처리 결과를 생성한 후, 상기 STT 처리 결과에 기초하여 상기 번역 결과를 생성할 수 있다.
상기 통번역 어플리케이션은, 상기 발신자로부터 상기 통화 호 설정에 대한 해제 입력이 수신되기 전까지, 상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하고, 상기 통번역 서버로부터 수신된 상기 원어음성 정보에 대한 STT 처리 결과 또는 상기 원어 음성 정보를 상기 타겟 언어로 번역한 번역 결과를 출력하는 단계를 반복할 수 있다.
상기 발신자 단말은, 통역 결과 출력을 위한 스피커를 더 포함할 수 있고, 상기 수신자 단말은, 수신자로부터 수신된 타겟 언어 음성에 기초하여 생성한 타겟 언어 음성 정보를 상기 통번역 서버로 전송할 수 있고, 상기 통번역 서버는, 상기 타겟 언어 음성 정보에 대한 STT 처리 결과, 상기 발신자 단말로부터 수신된 원어 정보에 기초하여 상기 타겟 언어 음성 정보를 원어(原語)로 번역한 번역 결과 및 상기 타겟 언어 음성 정보를 상기 원어로 통역한 통역 결과 중 적어도 어느 하나를 상기 발신자 단말로 전송할 수 있고, 상기 통번역 어플리케이션은 상기 STT 처리 결과 또는 상기 번역 결과를 출력하고, 상기 스피커를 통해 상기 통역 결과를 출력할 수 있다.
통화 중 통역 서비스와 번역 서비스를 동시에 제공할 수 있다.
발신자 단말에만 통번역 어플리케이션이 설치되어 있어도 발신자 및 수신자모두에게 통번역 서비스를 제공할 수 있다.
통번역 서비스를 이용할 음정 정보 입력의 종료 시점을 명확히 구분할 수 있다.
통화 중 통번역 서비스의 활성화 및 비활성화 전환이 가능하다.
도 1은 통번역 서비스를 제공하는 발신자 단말, 통번역 서버, 수신자 단말의 개념도이다.
도 2는 통번역 서비스를 제공하는 발신자 단말의 블록도이다.
도 3은 통번역 어플리케이션을 통한 통번역 서비스 제공 방법의 흐름도이다.
도 4는 통번역 어플리케이션을 통한 통번역 서비스 제공 방법의 흐름도이다.
도 5a 및 도 5b는 통번역 어플리케이션의 사용자 인터페이스를 도시한다.
도 6a 및 도 6b는 통번역 어플리케이션의 사용자 인터페이스를 도시한다.
도 7a 및 도 7b는 발신자 단말 및 수신자 단말을 통해 출력되는 통번역 결과를 도시한다.
도 8은 발신자 단말을 통해 출력되는 STT 처리 결과 및 번역 결과를 도시한다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 통번역 서비스를 제공하는 발신자 단말, 통번역 서버, 수신자 단말의 개념도이다.
발신자 단말(100), 통번역 서버(200) 및 수신자 단말(300)은 유무선 네트워크를 통해 정보를 송수신할 수 있다. 발신자 단말(100)과 수신자 단말(300)은 통번역 어플리케이션 설치가 가능한 모든 디바이스를 지칭하는 것으로, 상기 디바이스는 이동 단말, 휴대 단말, 핸드폰, 스마트폰, 태블릿 PC 등 중 어느 하나일 수 있다. 발신자 단말(100)은 통화 호 설정 요청, 수신자 단말(300)의 전화번호 및 타겟 언어에 대한 선택 입력을 통번역 서버(200)로 전송한다. 발신자 단말(100)은, 수신자 단말(300)과 통화 호가 설정된 후, 발신자로부터 수신한 원어 음성에 기초하여 생성한 원어 음성 정보를 통번역 서버(200)로 전송한다. 발신자 단말(100)은 통번역 서버(200)로부터 수신한 STT 처리 결과 또는 번역 결과를 출력할 수 있다.
수신자 단말(300)은 통번역 서버(200)로부터 통역 결과를 수신할 수 있고, 통번역 어플리케이션이 설치된 경우, 통번역 서버(200)로부터 원어 음성 정보에 대한 STT 처리 결과 또는 번역 결과를 통번역 서버(200)로부터 더 수신할 수 있다.
통번역 서버(200)는 발신자 단말(100)의 전화번호 및 수신자 단말(300)의 전화번호를 이용하여 발신자 단말(100)과 수신자 단말(300) 간의 통화 호를 설정(setup)할 수 있다. 통번역 서버(200)는, 수신자 단말(300)의 전화번호를 이용하거나 수신자 단말(300)로 통번역 어플리케이션 설치 확인 요청을 전송함으로써 수신자 단말(300)에 통번역 어플리케이션이 설치되어 있는지 판단할 수 있다. 통번역 서버(200)는, 수신자 단말(300)에 통번역 어플리케이션이 설치되어 있는지 여부에 기초하여 원어 음성 정보에 대한 STT 처리 결과 또는 번역 결과를 수신자 단말(300)로 더 전송할지 여부를 결정할 수 있다.
통번역 서버(200)는 발신자 단말(100)(또는 수신자 단말(300))로부터 수신한 원어 음성 정보를 통역 처리, 번역 처리 또는 STT 처리할 수 있다. 통번역 서버(200)는 원어 음성 정보를 통역(또는 번역)하기 위해 복수의 외국어(예를 들어, 영어, 중국어, 일본어, 아랍어, 프랑스어, 인도네시아어, 스페인어 또는 베트남어 등)에 관한 언어 데이터베이스를 보유하고, 보유한 언어 데이터베이스를 참조하여 통역(또는 번역)을 수행할 수 있다. 통번역 서버(200)는, 타겟 언어가 영어 이외의 언어인 경우, 원어 음성 정보를 타겟 언어로 바로(directly) 통역 또는 번역하거나, 원어 음성 정보를 우선 영어로 통역 또는 번역한 후, 상기 번역 결과를 타겟 언어로 다시 통역 또는 번역하여 통역 결과 또는 번역 결과를 생성할 수 있다.
도 2는 통번역 서비스를 제공하는 발신자 단말의 블록도이다.
발신자 단말(100)은 중앙 처리부(110), 통신 인터페이스(120), 마이크(130) 및 스피커(140)를 포함한다. 메모리는 통번역 어플리케이션을 기록하고, 중앙 처리부(110)는, 메모리에 기록된 통번역 어플리케이션에 따라 동작한다. 상기 통번역 어플리케이션은 발신자로부터 수신자 단말 전화번호 및 통번역 어플리케이션의 활성화 명령을 입력 받는 단계, 상기 통번역 어플리케이션의 활성화 명령에 따라 상기 통번역 어플리케이션을 활성화시키는 단계, 상기 통번역 어플리케이션을 통해 적어도 하나의 타겟 언어를 시각적으로 노출하는 단계, 상기 발신자로부터 타겟 언어에 대한 선택 입력을 수신하는 단계, 상기 수신자 단말(300)과의 통화 호 설정 요청과 함께, 통번역 서버(200)로 상기 수신자의 단말 전화번호 및 상기 타겟 언어에 대한 선택 입력을 전송하는 단계, 상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버(200)로 전송하는 단계 및 상기 통번역 어플리케이션을 통해, 상기 통번역 서버(200)로부터 수신된 상기 원어음성 정보에 대한 STT 처리 결과 또는 상기 원어 음성 정보를 상기 타겟 언어로 번역한 번역 결과를 출력하는 단계를 수행한다.
발신자 단말(100)은 통신 인터페이스(120)를 통해 통번역 서버(200)와 통신을 수행한다. 통신 인터페이스(120)는 송신측과 수신측 간의 정보 전송을 위한 인터페이스를 의미하는 것으로, 기계적인 케이블이나 커넥터의 형상, 전기적 특성 상의 인터페이스 및 소프트웨어적 인터페이스를 위한 절차를 포함할 수 있다. 또한, 통신 인터페이스(120)는 다른 외부 시뮬레이션에서 수신한 메시지를 처리하거나 자신의 메시지를 송신하는 기능을 수행하는 매개체로 이해될 수 있고, 입력 채널 및 출력 채널을 포함할 수 있다. 통신 인터페이스(120)는 컴퓨터 등 하드웨어 장치를 상호 접속시켜 상호 간 정보가 전송될 수 있도록 하는 플러그, 접속기, 카드 또는 기타 형태의 하드웨어 인터페이스를 모두 포함할 수 있다.
발신자 단말(100)은 마이크(130)를 통해 발신자의 원어 음성 정보를 수신하고, 스피커(140)를 통해 통번역 서버(200)로부터 수신된 통역 결과를 출력할 수 있다. 상기 통역 결과는, 수신자가 발화한 타겟 언어 음성 정보를 발신자의 원어로 통역한 것을 의미한다.
도 3은 통번역 어플리케이션을 통한 통번역 서비스 제공 방법의 흐름도이다.
발신자 단말(100)은 발신자로부터 수신자 단말의 전화번호 및 통번역 어플리케이션의 활성화(activation) 명령을 입력 받고, 수신한 통번역 어플리케이션의 활성화 명령에 따라 통번역 어플리케이션을 활성화한다(S100).
통번역 어플리케이션은 발신자 단말(100)로 통역 및 번역 서비스를 제공하기 위한 어플리케이션을 의미한다. 통번역 어플리케이션의 활성화 명령은, 실행 전 상태인 통번역 어플리케이션에 대한 실행 명령 및 유휴(Idle) 상태의 통번역 어플리케이션에 대한 웨이크업(Wake-Up) 명령 등을 포함할 수 있다.
도 5a를 함께 참조하면, 통번역 어플리케이션 활성화 명령은 발신자 단말의 표시부 또는 입력부에 대한 발신자의 입력을 통해 수신될 수 있다. 통번역 어플리케이션 활성화 명령 입력을 위한 "통번역" 입력 영역이 0 내지 9, "#" 및 "*"를 포함하는 키패드(예를 들어, "#" 와 "*" 사이의 공간)와 함께 디스플레이될 수 있다. 통번역 어플리케이션 활성화 명령은 수신자 단말의 전화번호를 입력하기 전이나 후에 입력될 수 있다. 통번역 어플리케이션 활성화 명령은 물리적 버튼을 구비한 폴더폰의 특정 키(예를 들어, "*", "#" 또는 기타 키의 조합 등)를 통해서도 입력할 수 있다.
일실시예에 있어서, 발신자는 수신자 단말의 전화번호가 010-9999-1623이고, 수신자와 통화 시 통번역 서비스를 원할 경우, 상기 수신자 단말의 전화번호 010-9999-1623을 입력한 후, "통번역" 입력 영역을 터치하여 통번역 어플리케이션 활성화 명령을 입력할 수 있다.
다시 도 3을 참조하면, 발신자 단말은 통번역 어플리케이션을 통해 적어도 하나의 타겟 언어를 시각적으로 노출한다(S110).
활성화된 통번역 어플리케이션은 적어도 하나의 타겟 언어를 시각적으로 노출할 수 있다. 타겟 언어는 수신자가 사용하는 언어 또는 발신자가 본인의 원어(原語) 음성을 변환하고자 하는 목적 언어를 의미할 수 있다. 예를 들어, 수신자가 중국어를 사용하거나, 발신자가 본인의 원어 음성을 중국어로 통역(또는 번역)하고자 하는 경우, 타겟 언어는 중국어를 의미할 수 있다. 통번역 어플리케이션은 팝업(Pop-Up), 펼침 메뉴 또는 드롭 다운 등의 방식을 통해 복수의 타겟 언어를 시각적으로 노출할 수 있다.
도 5b를 함께 참조하면, 통번역 어플리케이션은 베트남어, 일본어, 스페인어, 인도네시아어, 영어, 프랑스어, 아랍어, 중국어, 러시아어 등의 타겟 언어를 노출할 수 있다. 상기 노출되는 타겟 언어는 통번역 서버(200)가 제공하는 통번역 서비스에 따라 새로운 언어가 추가되거나 변경될 수 있다.
다시 도 3을 참조하면, 발신자 단말은 발신자로부터 타겟 언어에 대한 선택 입력을 수신한다(S120).
상기 선택 입력은 발신자의 신체 일부(예를 들어, 손가락 등) 또는 입력 도구(예를 들어, 터치펜, 스타일러스 펜 등)를 이용하여 입력 영역 또는 입력부를 통해 입력될 수 있다. 노출된 타겟 언어에 대한 선택 입력이 수신된 영역은 다른 영역과 시각적으로 다르게(예를 들어, 빗금, 음영, 역상, 컬러 등을 이용한 시각적 변형) 디스플레이 될 수 있다. 도 5b를 함께 참조하면, 복수의 타겟 언어 중 선택 입력이 수신된 중국어 영역이 빗금으로 표시될 수 있다.
다시 도 3을 참조하면, 발신자 단말은 통화 호 설정 요청, 수신자 단말의 전화번호, 타겟 언어에 대한 선택 입력을 통번역 서버로 전송한다(S130).
통화 호 설정은 데이터 교환망의 발신 단말이 필요로 하는 주소 ID 또는 네트워크를 통한 경로 선택 및 수신 단말에 연결 허용 등을 포함한 2개의 단말 간의 통신 회선 설정 처리를 의미한다. 통화 호 설정은 어떤 데이터 단말 장치(DTE: Data Terminal Equipment)가 ID 신호를 송출해서 네트워크를 경유하여 수신 단말(호 설정을 받는 단말)에 연결되는 일련의 과정으로 이해될 수도 있다.
일실시예에 있어서, 발신자 단말(100)은 수신자 단말의 전화번호인 010-9999-1623, 중국어에 대한 선택 입력 및 010-9999-1623의 전화번호를 가진 수신자 단말(300)로의 통화 호 설정 요청을 통번역 서버(200)로 전송할 수 있다.
통번역 서버는 발신자 단말로부터 수신한 통화 호 설정 요청 및 수신자 단말의 전화번호에 기초하여 발신자 단말과 수신자 단말 간의 통화 호를 설정(Setup)할 수 있다(S140).
일실시예에 있어서, 통번역 서버(200)는 발신자 단말(100)을 전화번호 010-9999-1623의 수신자 단말(300)과의 통화 호를 설정할 수 있다.
발신자 단말(100)은 수신자 단말(300)과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 시각적 또는 청각적으로 출력할 수 있다. 상기 알람은 발신자 단말(100)에 저장되거나 통번역 서버(200)로부터 수신된 것일 수 있다.
일실시예에 있어서, 발신자 단말(100)은 "지금부터 동시 통번역 서비스가 개시됩니다. 한 문장씩 정확히 말씀해 주세요."라는 음성 정보를 스피커(140)를 통해 출력하거나, 상기 내용의 문자 정보를 발신자 단말(100)의 디스플레이에 시각적으로 출력할 수 있다.
수신자 단말(300)은 발신자 단말(100)과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 시각적 또는 청각적으로 출력할 수 있다. 상기 알람은 수신자 단말(300)에 저장되거나 통번역 서버(200)로부터 수신된 것일 수 있다.
일실시예에 있어서, 수신자 단말(300)은 "상대방의 요청으로 동시 통번역 서비스가 개시됩니다. 한 문장씩 정확히 말씀해 주세요."라는 음성 정보를 스피커를 통해 출력하거나, 상기 내용의 문자 정보를 수신자 단말(300)의 디스플레이에 시각적으로 출력할 수 있다.
일실시예에 있어서, 발신자 단말(100)은 수신자 단말(300)과의 통화 호가 설정된 경우, 사용자 인터페이스(UI: User Interface)를 디스플레이할 수 있다. 도 6a를 참조하면, 사용자 인터페이스는, 표시부의 일 측단에 "통번역 서비스 모드"를 디스플레이함으로써 현재 발신자 단말(100)이 통번역 어플리케이션을 통해 통번역 서비스를 제공 중임을 표시할 수 있다.
또한, 도 6a를 참조하면, 발신자 단말(100)은 스피커폰 모드의 활성화(또는 비활성화) 제어를 위한 입력 영역을 표시부의 일 측단에 표시할 수 있다.
발신자 단말(100)은, 통번역 서비스 제공 중 발신자로부터 스피커(140)폰 모드 활성화 명령이 입력될 경우, 스피커폰 모드를 활성화할 수 있다. 스피커폰 모드를 활성화할 경우, 통번역 어플리케이션이 시각적으로 출력하는 STT 처리 결과 또는 번역 결과를 통역 결과와 함께 확인할 수 있다. 또한, 발신자 단말(100)은 스피커폰 모드가 활성화 된 상태에서 발신자로부터 스피커폰 비활성화 명령이 입력될 경우, 스피커폰 모드를 비활성화할 수 있다.
또한, 도 6a를 참조하면, 발신자 단말(100)은 통번역 서비스의 활성화(또는 비활성화) 제어를 위한 입력 영역을 표시부의 일 측단에 표시할 수 있다.
통번역 어플리케이션은, 수신자 단말(300)과 호가 설정된 상태에서 발신자로부터 통번역 어플리케이션의 비활성화 명령이 입력될 경우, 비활성화 상태로 전환될 수 있다. 상기 비활성화된 통번역 어플리케이션은, 발신자로부터 통번역 어플리케이션의 활성화 명령이 입력될 경우, 다시 활성화될 수 있다. 또한, 통번역 어플리케이션이 비활성화된 상태에서 수신자 단말(300)과의 통화 호가 설정된 상태라 하더라도, 통화 중 발신자(또는 수신자)의 통번역 어플리케이션 활성화 요청이 수신되면 발신자 단말(100)(또는 수신자 단말(300))에 설치된 통번역 어플리케이션을 활성화시킬 수 있다.
상기 사용자 인터페이스는 통번역 서비스를 제공할 원어 음성을 구분하기 위해 발신자로부터 미리 정해진 코드를 입력 받을 수 있다. 도 6a를 참조하면, 사용자 인터페이스는 미리 정해진 코드 입력을 위해 "Go"라는 입력 영역을 더 디스플레이할 수 있다. 미리 정해진 코드에 관해서는 아래의 단계(S150)에서 자세히 후술한다.
발신자 단말은 발신자로부터 수신한 원어(原語) 음성에 기초하여 원어 음성 정보를 생성한다(S150).
원어 음성 정보는 원어 음성으로부터 추출하거나, 상기 원어 음성 정보를 인코딩 또는 녹음함으로써 생성될 수 있다.
발신자 단말은 생성한 원어 음성 정보를 통번역 서버로 전송한다(S160).
원어는 발신자가 발화(發話)하는 언어 또는 통번역 서비스의 대상이 되는 언어를 의미할 수 있다. 예를 들어, 발신자가 한국어를 발화할 경우, 원어는 한국어를 의미할 수 있고, 발신자가 영어를 발화할 경우, 원어는 영어를 의미할 수 있다.
일실시예에 있어서, 원어는 통번역 어플리케이션이 발신자 단말(100)에 설정된 사용자 언어(User Language)를 참조하여 결정될 수 있다. 예를 들어, 발신자 단말의 언어가 한국어 모드로 설정된 경우, 발신자 단말은 한국어를 원어로 판단할 수 있다.
다른 일실시예에 있어서, 원어는 통번역 어플리케이션을 통해 선택될 수 있다. 예를 들어, 통번역 어플리케이션은 발신자로부터 원어에 대한 선택 정보를 더 입력 받을 수 있다. 즉, 발신자가 구사하는 언어가 한국어인 경우, 발신자 단말(100)은 발신자로부터 한국어에 대해 원어 선택 입력을 수신할 수 있다.
또 다른 일실시예에 있어서, 원어는 통번역 서버(200)에 의해 결정되도록 구현될 수도 있다. 예를 들어, 통번역 서버(200)는 수신된 원어 음성 정보에 기초하여 원어가 어떤 언어인지 결정할 수 있다.
발신자 단말(100)은 발신자로부터 원어 음성을 수신한 후 미리 정해진 코드를 더 수신할 수 있다(도시되지 않음). 발신자 단말(100)은, 미리 정해진 코드가 수신되기 전까지 수신된 원어 음성에 기초하여 원어 음성 정보를 생성할 수 있다. 즉, 미리 정해진 코드는 통번역 처리할 원어 음성 정보를 구분하기 위한 구분자(separator)의 기능을 수행할 수 있다. 미리 정해진 코드는 발신자 단말의 키패드(또는 키패드가 디스플레이되는 영역)를 통한 0 내지 9, "#", "*" 또는 기타 키의 조합으로 구성될 수 있다. 도 6a을 함께 참조하면, 미리 정해진 코드는 발신자 단말(100)의 일 측단에 디스플레이되는 입력 영역(예를 들어, "Go")을 통해 수신될 수도 있다.
도 6b를 함께 참조하면, 발신자 단말(100)은 발신자로부터 "안녕하세요"라는 원어 음성을 수신한 후, 입력 영역("Go")을 통해 미리 정해진 코드를 수신한 경우, 원어 음성 입력이 완료된 것으로 판단할 수 있다. 발신자 단말(100)은 원어 음성 입력이 완료된 것으로 판단한 경우, 원어 음성으로부터 원어 음성 정보를 생성하여 통번역 서버(200)로 전송할 수 있다.
상기 원어 음성 정보는 대한 원어 정보(예를 들어, 원어가 한국어라는 정보)를 포함할 수 있다. 예를 들어, "안녕하세요?"를 포함하는 원어 음성 정보는 원어가 한국어라는 정보를 더 포함할 수 있다.
다시 도 3을 참조하면, 통번역 서버는 발신자 단말로부터 수신된 음성 정보를STT 처리하고, 상기 원어 음성 정보를 상기 타겟 언어로 번역 및 통역하여, STT 처리 결과, 번역 결과 또는 통역 결과를 생성한다(S170).
일실시예에 있어서, 통번역 서버(200)는 원어 음성 정보를 타겟 언어로 통역한 통역 결과를 먼저 생성한 후, 상기 통역 결과를 STT(Speech To Text) 처리하여 번역 결과를 생성할 수 있다. 예를 들어, 통번역 서버(200)는 "요즘 잘 지내세요"라는 원어 음성 정보를 타겟 언어(예를 들어, 중국어)로 통역하여 "最近得?"이라는 통역 결과를 생성한 후, 상기 통역 결과를 STT 처리하여 "最近得?"이라는 번역 결과를 생성할 수 있다.
통번역 서버(200)는 원어 음성 정보를 STT 처리한 STT 처리 결과를 생성한 후, STT 처리 결과에 기초하여 번역 결과를 생성할 수 있다. 예를 들어, 통번역 서버(200)는 "요즘 잘 지내세요"라는 원어 음성 정보를 STT 처리하여 "요즘 잘 지내세요?"라는 STT 처리 결과를 생성하고, 상기 STT 처리 결과를 타겟 언어(예를 들어, 중국어)로 번역하여 "最近得?"이라는 번역 결과를 생성할 수도 있다.
통번역 서버는 STT 처리 결과 또는 번역 결과를 발신자 단말로 전송하고, 통역결과를 수신자 단말로 전송한다(S180).
일실시예에 있어서, 통번역 서버(200)는 STT 처리 결과인 "요즘 잘 지내세요" 및 번역 결과인 "最近得?"를 발신자 단말(100)로 전송하고, 통역 결과인 "最近得?"를 수신자 단말(300)로 전송할 수 있다.
도 4를 함께 참조하면, 통번역 서버는 수신자 단말에 통번역 어플리케이션이 설치되어 있는지 판단할 수 있다(S192).
일실시예에 있어서, 통번역 서버(200)는 수신자 단말(300)로 통번역 어플리케이션가 설치되었는지에 대한 확인 요청을 전송하고, 수신자 단말(300)로부터 상기 확인 요청에 대한 Ack가 수신된 경우, 수신자 단말(300)에 통번역 어플리케이션이 설치되어 있다고 판단할 수 있다.
판단 결과, 수신자 단말에 통번역 어플리케이션이 설치되어 있는 경우, 통번역 서버는 수신자 단말로 STT 처리 결과 및/또는 번역 결과를 더 전송할 수 있다(S194).
일실시예에 있어서, 통번역 서버(200)는 수신자 단말(300)에 통번역 어플리케이션이 설치된 경우, 원어 음성 정보 "요즘 잘 지내세요"에 대한 번역 결과인 "最近得?" 및 STT 처리 결과인 "요즘 잘 지내세요"를 수신자 단말(300)로 더 전송할 수 있다.
다시 도 3을 참조하면, 발신자 단말은 통번역 서버로부터 수신된 STT 처리 결과 및/또는 번역 결과를 출력할 수 있고(S182), 수신자 단말은 통번역 서버로부터 수신된 통역 결과를 출력할 수 있다(S198).
도 7a를 함께 참조하면, 발신자 단말(100)은 원어 음성 정보 "요즘 잘 지내세요?"의 STT 처리 결과인 "요즘 잘 지내세요?" 및 번역 결과인 "最近得?"을 시각적으로 출력할 수 있다.
도 7b를 함께 참조하면, 통번역 어플리케이션이 설치된 수신자 단말(300)은 통번역 서버(200)로부터 STT 처리 결과 및/또는 번역 결과를 더 수신할 수 있다. 통번역 어플리케이션이 설치된 수신자 단말(300)은 STT 처리 결과인 "요즘 잘 지내세요" 및 번역 결과인 "最近得?"을 시각적으로 출력하고, 통역 결과인 "最近得?"을 청각적으로 출력할 수 있다. 통역 결과는 수신자 단말(300)의 스피커를 통해 출력될 수 있다.
통화 호 설정 중, 수신자 단말(300)은 수신자로부터 수신된 타겟 언어 음성에 기초하여 생성한 타겟 언어 음성 정보를 통번역 서버(200)로 전송할 수 있다(도시되지 않음). 이 경우, 통번역 서버(200)는, 타겟 언어 음성 정보에 대한 STT 처리 결과, 상기 발신자 단말(100)로부터 수신된 원어 정보에 기초하여 상기 타겟 언어 음성 정보를 원어로 번역한 번역 결과 및/또는 타겟 언어 음성 정보를 원어로 통역한 통역 결과를 발신자 단말(100)로 전송할 수 있다. 발신자 단말(100)을 통해 통번역 서비스를 제공하는 방법은 통번역 어플리케이션을 통해 상기 STT 처리 결과, 상기 번역 결과를 출력하고, 상기 스피커(140)를 통해 상기 통역 결과를 출력하는 단계를 더 포함할 수 있다.
발신자 단말(100)(또는 수신자 단말(300))은, 통화 호 설정 중 발신자(또는 수신자)로부터 통화 호 설정의 해제 입력을 수신한 경우, 통화 호가 설정된 이후부터 통화 호 설정이 해제되기 전까지 수신된 STT 처리 결과 및/또는 번역 결과에 기초하여 누적 번역 결과를 생성할 수 있다.
누적 번역 결과는 원어 음성에 대한 텍스트인 STT 처리 결과 및/또는 타겟 언어의 텍스트인 번역 결과를 모두 포함할 수 있다. 또한, 누적 번역 결과는 상대방이 발화한 음성 정보의 STT 처리 결과 및/또는 번역 결과를 더 포함할 수 있다.
도 8을 참조하면, 발신자가 "요즘 잘 지내세요"라고 발화하고, 수신자가 "我好"라고 발화한 후, 다시 발신자가 "거기 날씨가 어때요"라고 발화한 경우, 누적 번역 결과는 상기 발신자 및 수신자의 모든 발화에 대한 STT 처리 결과 및/또는 그 번역 결과인, "요즘 잘 지내세요? / 最近得?", "我好 / 저는 잘 지내요.", "거기 날씨가 어때요 / 那天"이라는 텍스트 정보를 모두 포함할 수 있다. 일실시예에 따르면, 누적 번역 결과는 원어가 타겟 언어보다 먼저 표시되도록 구현될 수 있고, 발신자가 발화한 원어 음성 정보의 경우에만 원어가 타겟 언어보다 먼저 표시되도록 구현될 수도 있다.
발신자 단말(100)(또는 수신자 단말(300))은 통화 호 설정에 대한 해제 입력이 발신자(또는 수신자)로부터 수신되기 전까지, 발신자로부터 수신된 원어 음성에 기초하여 생성한 원어 음성 정보를 통번역 서버(200)로 전송하는 단계, 및 통번역 어플리케이션을 통해 통번역 서버(200)로부터 수신된 상기 원어 음성 정보에 대한 STT 처리 결과 및/또는 원어 음성 정보를 타겟 언어로 번역한 번역 결과를 출력하는 단계를 반복할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 발신자 단말
110: 중앙 처리부
120: 통신 인터페이스
130: 마이크
140: 스피커
200: 통번역 서버
300: 수신자 단말

Claims (28)

  1. 발신자로부터 수신자 단말 전화번호를 입력 받는 단계;
    통번역 어플리케이션을 통해 적어도 하나의 타겟 언어를 시각적으로 노출하는 단계;
    상기 발신자로부터 타겟 언어에 대한 선택 입력을 수신하는 단계;
    상기 수신자 단말과의 통화 호 설정 요청과 함께, 통번역 서버로 상기 수신자 단말 전화번호 및 상기 타겟 언어에 대한 선택 입력을 전송하는 단계; 및
    상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하는 단계
    를 포함하고,
    상기 통번역 서버는 상기 선택 입력에 기초하여 상기 원어 음성 정보를 상기 타겟 언어로 통역한 통역 결과를 상기 수신자 단말로 전송하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  2. 제1항에 있어서,
    상기 통화 호 설정 요청을 상기 통번역 서버로 전송하는 단계는,
    상기 수신자 단말과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 출력하는 단계
    를 포함하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  3. 제1항에 있어서,
    상기 수신자 단말은, 상기 발신자 단말과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 출력하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  4. 제1항에 있어서,
    상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하는 단계는,
    미리 정해진 코드를 더 수신하고,
    상기 미리 정해진 코드가 수신되기 전까지 수신된 원어 음성에 기초하여 상기 원어 음성 정보를 생성하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  5. 제1항에 있어서,
    상기 수신자 단말에 상기 통번역 어플리케이션이 설치된 경우, 상기 수신자 단말로 상기 원어 음성 정보에 대한 STT 처리 결과 또는 상기 번역 결과를 더 전송하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  6. 제1항에 있어서,
    상기 통번역 어플리케이션은, 상기 수신자 단말과 통화 호가 설정된 상태에서 상기 발신자로부터 입력되는 상기 통번역 어플리케이션의 활성화 명령 또는 비활성화 명령에 따라 활성화되거나 비활성화되는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  7. 제1항에 있어서,
    상기 수신자 단말과 통화 호가 설정된 상태에서, 상기 발신자로부터 입력되는 스피커폰 모드 활성화 명령 또는 비활성화 명령에 따라 상기 발신자 단말의 스피커폰 모드가 활성화되거나 비활성화되는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  8. 제 1항에 있어서,
    상기 통번역 어플리케이션을 통해, 상기 통번역 서버로부터 수신된 상기 원어음성 정보에 대한 STT 처리 결과 또는 상기 원어 음성 정보를 상기 타겟 언어로 번역한 번역 결과를 출력하는 단계를 더 포함하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  9. 제8항에 있어서,
    상기 발신자로부터 상기 통화 호 설정의 해제 입력이 수신된 경우, 상기 수신자 단말과 통화 호가 설정된 이후부터 상기 통화 호 설정이 해제되기 전까지 수신된 상기 STT 처리 결과 또는 상기 번역 결과에 기초하여 누적 번역 결과를 생성하는 단계
    를 더 포함하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  10. 제1항에 있어서,
    상기 통번역 서버는, 상기 통역 결과를 생성한 후, 상기 통역 결과를STT(Speech To Text) 처리하여 상기 번역 결과를 생성하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  11. 제1항에 있어서,
    상기 통번역 서버는, 상기 원어 음성 정보에 대한 STT(Speech To Text) 처리 결과를 생성한 후, 상기 STT 처리 결과에 기초하여 상기 번역 결과를 생성하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  12. 제1항에 있어서,
    상기 발신자로부터 상기 통화 호 설정에 대한 해제 입력이 수신되기 전까지,
    상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하는 단계; 및
    상기 통번역 어플리케이션을 통해, 상기 통번역 서버로부터 수신된 상기 원어음성 정보에 대한 STT 처리 결과 또는 상기 원어 음성 정보를 상기 타겟 언어로 번역한 번역 결과를 출력하는 단계를 반복하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  13. 제5항에 있어서,
    상기 수신자 단말은, 수신자로부터 수신된 타겟 언어 음성에 기초하여 생성한 타겟 언어 음성 정보를 상기 통번역 서버로 전송하고,
    상기 통번역 서버는, 상기 타겟 언어 음성 정보에 대한 STT 처리 결과, 상기 발신자 단말로부터 수신된 원어 정보에 기초하여 상기 타겟 언어 음성 정보를 원어(原語)로 번역한 번역 결과 및 상기 타겟 언어 음성 정보를 상기 원어로 통역한 통역 결과 중 적어도 어느 하나를 상기 발신자 단말로 전송하고,
    상기 발신자 단말은 상기 통번역 어플리케이션을 통해 상기 STT 처리 결과, 상기 번역 결과 또는 상기 통역 결과를 출력하는 단계
    를 더 포함하는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  14. 제1항에 있어서,
    상기 통번역 어플리케이션은 상기 발신자로부터 상기 수신자 단말 전화번호와 함께 입력된 활성화 명령에 따라 활성화(activation)되는,
    발신자 단말을 통해 통번역 서비스를 제공하는 방법.
  15. 발신자로부터 수신자 단말 전화번호 및 타겟 언어에 대한 선택 입력을 수신하는 통번역 어플리케이션; 및
    상기 수신자 단말과의 통화 호 설정 요청과 함께, 통번역 서버로 상기 수신자의 단말 전화번호 및 상기 타겟 언어에 대한 선택 입력을 전송하고,상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하는 통신 인터페이스
    를 포함하고,
    상기 통번역 서버는 상기 선택 입력에 기초하여 상기 원어 음성 정보를 상기 타겟 언어로 통역한 통역 결과를 상기 수신자 단말로 전송하는,
    통번역 서비스를 제공하는 발신자 단말.
  16. 제15항에 있어서,
    상기 통번역 어플리케이션은,
    상기 수신자 단말과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 출력하는,
    통번역 서비스를 제공하는 발신자 단말.
  17. 제15항에 있어서,
    상기 수신자 단말은, 상기 발신자 단말과 통화 호가 설정된 후, 통번역 서비스가 개시됨을 알리는 알람(alarm)을 출력하는,
    통번역 서비스를 제공하는 발신자 단말.
  18. 제15항에 있어서,
    상기 통번역 어플리케이션은 미리 정해진 코드가 수신되기 전까지 상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 원어 음성 정보를 생성하는,
    통번역 서비스를 제공하는 발신자 단말.
  19. 제15항에 있어서,
    상기 수신자 단말에 상기 통번역 어플리케이션이 설치된 경우, 상기 수신자 단말로 상기 원어 음성 정보에 대한 원문 STT 처리 결과 또는 상기 번역 결과를 더 전송하는,
    통번역 서비스를 제공하는 발신자 단말.
  20. 제15항에 있어서,
    상기 통번역 어플리케이션은, 상기 수신자 단말과 통화 호가 설정된 상태에서 상기 발신자로부터 입력되는 상기 통번역 어플리케이션의 활성화 명령 또는 비활성화 명령에 따라 활성화되거나 비활성화되는,
    통번역 서비스를 제공하는 발신자 단말.
  21. 제15항에 있어서,
    상기 수신자 단말과 통화 호가 설정된 상태에서, 상기 발신자로부터 입력되는 스피커폰 모드 활성화 명령 또는 비활성화 명령에 따라 상기 발신자 단말의 스피커폰 모드가 활성화되거나 비활성화되는,
    통번역 서비스를 제공하는 발신자 단말.
  22. 제 15항에 있어서,
    상기 통번역 어플리케이션은 상기 통번역 서버로부터 수신된 상기 원어음성 정보에 대한 STT 처리 결과 또는 상기 원어 음성 정보를 상기 타겟 언어로 번역한 번역 결과를 출력하는,
    통번역 서비스를 제공하는 발신자 단말.
  23. 제22항에 있어서,
    상기 통번역 어플리케이션은,
    상기 발신자로부터 상기 통화 호 설정의 해제 입력이 수신된 경우, 상기 수신자 단말과 통화 호가 설정된 이후부터 상기 통화 호 설정이 해제되기 전까지 수신된 상기 STT 처리 결과 또는 상기 번역 결과에 기초하여 누적 번역 결과를 생성하는,
    통번역 서비스를 제공하는 발신자 단말.
  24. 제15항에 있어서,
    상기 통번역 서버는, 상기 통역 결과를 생성한 후, 상기 통역 결과를STT(Speech To Text) 처리하여 상기 번역 결과를 생성하는,
    통번역 서비스를 제공하는 발신자 단말.
  25. 제15항에 있어서,
    상기 통번역 서버는, 상기 원어 음성 정보에 대한 STT(Speech To Text) 처리 결과를 생성한 후, 상기 STT 처리 결과에 기초하여 상기 번역 결과를 생성하는,
    통번역 서비스를 제공하는 발신자 단말.
  26. 제15항에 있어서,
    상기 통번역 어플리케이션은,
    상기 발신자로부터 상기 통화 호 설정에 대한 해제 입력이 수신되기 전까지,
    상기 발신자로부터 수신된 원어(原語) 음성에 기초하여 생성한 원어 음성 정보를 상기 통번역 서버로 전송하고, 상기 통번역 서버로부터 수신된 상기 원어음성 정보에 대한 STT 처리 결과 또는 상기 원어 음성 정보를 상기 타겟 언어로 번역한 번역 결과를 출력하는 단계를 반복하는,
    통번역 서비스를 제공하는 발신자 단말.
  27. 제19항에 있어서,
    통역 결과 출력을 위한 스피커를 더 포함하고,
    상기 수신자 단말은, 수신자로부터 수신된 타겟 언어 음성에 기초하여 생성한 타겟 언어 음성 정보를 상기 통번역 서버로 전송하고,
    상기 통번역 서버는, 상기 타겟 언어 음성 정보에 대한 STT 처리 결과, 상기 발신자 단말로부터 수신된 원어 정보에 기초하여 상기 타겟 언어 음성 정보를 원어(原語)로 번역한 번역 결과 및 상기 타겟 언어 음성 정보를 상기 원어로 통역한 통역 결과 중 적어도 어느 하나를 상기 발신자 단말로 전송하고,
    상기 통번역 어플리케이션은 상기 STT 처리 결과 또는 상기 번역 결과를 출력하고, 상기 스피커를 통해 상기 통역 결과를 출력하는,
    통번역 서비스를 제공하는 발신자 단말.
  28. 제1항의 통번역 서비스를 제공하는 방법을 수행하는 통번역 어플리케이션이 기록된,
    컴퓨터 판독 가능한 기록매체.
KR1020170036798A 2017-03-23 2017-03-23 사용자 단말을 통해 통번역 서비스를 제공하는 방법 및 그 장치 KR102349620B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170036798A KR102349620B1 (ko) 2017-03-23 2017-03-23 사용자 단말을 통해 통번역 서비스를 제공하는 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170036798A KR102349620B1 (ko) 2017-03-23 2017-03-23 사용자 단말을 통해 통번역 서비스를 제공하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20180107904A true KR20180107904A (ko) 2018-10-04
KR102349620B1 KR102349620B1 (ko) 2022-01-10

Family

ID=63862886

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170036798A KR102349620B1 (ko) 2017-03-23 2017-03-23 사용자 단말을 통해 통번역 서비스를 제공하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102349620B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286725A (zh) * 2018-10-15 2019-01-29 华为技术有限公司 翻译方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998018085A1 (en) * 1996-10-18 1998-04-30 Gedanken Corporation Methods and apparatus for translating between languages
US20060080082A1 (en) * 2004-08-23 2006-04-13 Geneva Software Technologies Limited System and method for product migration in multiple languages
KR20140105673A (ko) * 2013-02-22 2014-09-02 삼성전자주식회사 번역 기반 통신 서비스 지원 방법 및 시스템과, 이를 지원하는 단말기
KR20160122371A (ko) * 2015-04-14 2016-10-24 권형석 전자장치를 이용한 자동 통·번역 시스템 및 방법.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998018085A1 (en) * 1996-10-18 1998-04-30 Gedanken Corporation Methods and apparatus for translating between languages
EP0932871B1 (en) * 1996-10-18 2002-04-24 Gedanken Corporation Methods and apparatus for translating between languages
US20060080082A1 (en) * 2004-08-23 2006-04-13 Geneva Software Technologies Limited System and method for product migration in multiple languages
KR20140105673A (ko) * 2013-02-22 2014-09-02 삼성전자주식회사 번역 기반 통신 서비스 지원 방법 및 시스템과, 이를 지원하는 단말기
KR20160122371A (ko) * 2015-04-14 2016-10-24 권형석 전자장치를 이용한 자동 통·번역 시스템 및 방법.

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286725A (zh) * 2018-10-15 2019-01-29 华为技术有限公司 翻译方法及终端
CN109286725B (zh) * 2018-10-15 2021-10-19 华为技术有限公司 翻译方法及终端
US11893359B2 (en) 2018-10-15 2024-02-06 Huawei Technologies Co., Ltd. Speech translation method and terminal when translated speech of two users are obtained at the same time

Also Published As

Publication number Publication date
KR102349620B1 (ko) 2022-01-10

Similar Documents

Publication Publication Date Title
KR102178738B1 (ko) 적절한 에이전트의 자동화된 어시스턴트 호출
JP6032713B2 (ja) 電子装置及びそのデータ処理方法
CN104050966B (zh) 终端设备的语音交互方法和使用该方法的终端设备
US8442563B2 (en) Automated text-based messaging interaction using natural language understanding technologies
JP5967569B2 (ja) 音声処理システム
US10425365B2 (en) System and method for relaying messages
US20100299150A1 (en) Language Translation System
KR20100065317A (ko) 개인용 통신 장치를 위한 음성-텍스트 전사
CN105793921A (zh) 基于部分热词发起动作
EP4089994A1 (en) Method performed by communication terminal and program executed by communication terminal
US9560188B2 (en) Electronic device and method for displaying phone call content
CN109144458B (zh) 用于执行与语音输入相对应的操作的电子设备
CN108062290B (zh) 消息文本处理方法及装置、电子设备、存储介质
US10394964B2 (en) Gesture based system for translation and transliteration of input text and a method thereof
CN109347980B (zh) 呈现、推送信息的方法、介质、装置和计算设备
CN103064828A (zh) 一种操作文本的方法及装置
KR102349620B1 (ko) 사용자 단말을 통해 통번역 서비스를 제공하는 방법 및 그 장치
CN108132717A (zh) 候选词的推荐方法、装置、存储介质及移动终端
JP2016091266A (ja) 翻訳装置、翻訳方法、及び翻訳プログラム
US20220206884A1 (en) Systems and methods for conducting an automated dialogue
CN109873743A (zh) 一种翻译聊天装置
CN103475574A (zh) 一种用于发送消息的方法及装置
WO2021205516A1 (ja) 会話制御プログラム、会話制御方法および情報処理装置
CN111711562A (zh) 消息处理方法及装置、计算机存储介质、电子设备
CN115526186A (zh) 翻译方法、电子设备及可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant