KR102393112B1 - 이어셋을 이용한 통역기능 제공 방법 및 장치 - Google Patents

이어셋을 이용한 통역기능 제공 방법 및 장치 Download PDF

Info

Publication number
KR102393112B1
KR102393112B1 KR1020200123193A KR20200123193A KR102393112B1 KR 102393112 B1 KR102393112 B1 KR 102393112B1 KR 1020200123193 A KR1020200123193 A KR 1020200123193A KR 20200123193 A KR20200123193 A KR 20200123193A KR 102393112 B1 KR102393112 B1 KR 102393112B1
Authority
KR
South Korea
Prior art keywords
earphone
language
interpretation
voice
earphone device
Prior art date
Application number
KR1020200123193A
Other languages
English (en)
Other versions
KR20200112791A (ko
Inventor
박준형
박시용
Original Assignee
네이버 주식회사
라인 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170082430A external-priority patent/KR102161554B1/ko
Application filed by 네이버 주식회사, 라인 가부시키가이샤 filed Critical 네이버 주식회사
Priority to KR1020200123193A priority Critical patent/KR102393112B1/ko
Publication of KR20200112791A publication Critical patent/KR20200112791A/ko
Application granted granted Critical
Publication of KR102393112B1 publication Critical patent/KR102393112B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)

Abstract

이어셋을 이용한 통역기능 제공 방법 및 장치를 제공한다. 일실시예에서 통역기능 제공 방법은, 제1 이어셋 기기와 제2 이어셋 기기 중 적어도 하나의 이어셋 기기를 통해 입력되어 수신된 음성에 대한 다른 언어로의 통역기능을 제공할 수 있다.

Description

이어셋을 이용한 통역기능 제공 방법 및 장치{METHOD AND APPARATUS FOR FUNCTION OF TRANSLATION USING EARSET}
아래의 설명은 이어셋을 이용한 통역기능 제공 방법 및 장치, 그리고 컴퓨터와 결합되어 본 발명의 실시예들에 따른 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체에 관한 것이다.
이어셋(earset)은 전화기에 연결하여 손을 쓰지 않고 통화를 하는데 이용되는 이어폰과 마이크를 포함하는 기기로서, 예를 들어, 스마트폰과 연결되어 전화통화뿐만 아니라, 음악과 같은 오디오를 수신하여 출력하거나 또는 물리적인 버튼이나 센서 혹은 음성을 통해 스마트폰을 제어하기 위한 다양한 제어 신호를 스마트폰으로 제공할 수 있다. 예를 들어, 한국공개특허 제10-2017-0030375호는 이어커낼 마이크가 내장된 블루투스 이어셋을 개시하고 있다.
이어셋을 이용하여 통역기능을 제공할 수 있는 통역기능 제공 방법 및 장치, 그리고 컴퓨터와 결합되어 본 발명의 실시예들에 따른 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.
제1 이어셋 기기를 통해 입력되어 수신된 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제2 이어셋 기기로 제공하고, 제2 이어셋 기기를 통해 입력되어 수신된 제2 언어의 음성을 제1 언어의 음성으로 변환하여 제1 이어셋 기기로 제공함으로써, 제1 이어셋 기기와 제2 이어셋 기기를 포함하는 이어셋 페어(pair)를 통해 서로 다른 언어의 두 사용자들간의 통역기능을 제공할 수 있는 통역기능 제공 방법 및 장치, 그리고 컴퓨터와 결합되어 본 발명의 실시예들에 따른 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.
전자 기기의 통역기능 제공 방법에 있어서, 제1 이어셋 기기 또는 제2 이어셋 기기에서 발생하는 어플리케이션 실행 신호를 수신하는 단계; 상기 수신된 어플리케이션 실행 신호에 대응하는 어플리케이션을 실행하는 단계; 및 상기 실행된 어플리케이션의 제어에 따라, 상기 제1 이어셋 기기 및 상기 제2 이어셋 기기 중 적어도 하나를 통해 입력되어 수신된 음성에 대한 다른 언어로의 통역기능을 제공하는 단계를 포함하는 것을 특징으로 하는 통역기능 제공 방법을 제공한다.
제1 이어셋 기기의 통역기능 제공 방법에 있어서, 상기 제1 이어셋 기기로 입력되는 제1 언어의 음성이 전자 기기에서 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환되어 상기 제1 이어셋 기기와 이어셋 페어를 이루는 제2 이어셋 기기로 제공되도록, 상기 제1 언어의 음성을 상기 전자 기기로 전송하는 단계; 상기 제2 이어셋 기기로 입력되어 상기 전자 기기로 수신된 제2 언어의 음성을 상기 전자 기기가 상기 실행된 어플리케이션의 통역기능에 따라 제1 언어의 음성으로 변환함에 응답하여, 상기 전자 기기로부터 상기 변환된 제1 언어의 음성을 수신하는 단계; 및 상기 수신된 제1 언어의 음성을 출력하는 단계를 포함하는 것을 특징으로 하는 통역기능 제공 방법을 제공한다.
상기 통역기능 제공 방법을 컴퓨터에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터와 결합하여 상기 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
제1 이어셋 기기에 있어서, 소리를 입력받기 위한 소리신호 입력부; 소리를 출력하기 위한 소리신호 출력부; 상기 전자 기기 또는 상기 제1 이어셋 기기와 이어셋 페어를 이루는 제2 이어셋 기기와 통신하기 위한 통신부; 및 상기 소리신호 입력부, 상기 소리신호 출력부 및 상기 통신부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 소리신호 입력부를 통해 입력되는 제1 언어의 음성이 상기 전자 기기에서 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환되어 상기 제1 이어셋 기기와 이어셋 페어를 이루는 제2 이어셋 기기로 제공되도록, 상기 제1 언어의 음성을 상기 전자 기기로 전송하도록 상기 통신부를 제어하고, 상기 제2 이어셋 기기로 입력되어 상기 전자 기기로 수신된 제2 언어의 음성을 상기 전자 기기가 상기 실행된 어플리케이션의 통역기능에 따라 제1 언어의 음성으로 변환함에 응답하여, 상기 전자 기기로부터 상기 변환된 제1 언어의 음성을 수신하도록 상기 통신부를 제어하고, 상기 수신된 제1 언어의 음성을 출력하도록 상기 소리신호 출력부를 제어하는 것을 특징으로 하는 제1 이어셋 기기를 제공한다.
이어셋을 이용하여 통역기능을 제공할 수 있으며, 제1 이어셋 기기와 제2 이어셋 기기를 포함하는 이어셋 페어를 통해 서로 다른 언어의 두 사용자들간의 통역기능을 제공할 수 있다.
통역기능을 통해 제1 언어에서 제2 언어로 통역된 음성을 전화통화 상대방에게 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 이어셋을 이용한 통역기능 제공 과정의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 이어셋 페어의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 이어셋 페어와 전자 기기간 통신의 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 이어셋 페어와 전자 기기간 통신의 다른 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 전자 기기, 이어셋 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 일실시예에 있어서, 클라우드 인공지능 플랫폼의 예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 통역기능 제공 방법의 예를 도시한 흐름도이다.
도 8은 본 발명의 일실시예에 있어서, 셀프 통역 및 다자간 통역을 위한통역기능을 제공하는 예를 도시한 흐름도이다.
도 9는 본 발명의 일실시예에 있어서, 음악감상모드 또는 전화통화모드와 통역모드간 전환 예를 도시한 흐름도이다.
도 10은 본 발명의 일실시예에 있어서, 전화통화 중에 통역기능을 제공하는 예를 도시한 흐름도이다.
도 11은 본 발명의 일실시예에 있어서, 이어셋 기기의 통역기능 제공 방법의 예를 도시한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시예들에 따른 통역기능 제공 방법은, 이후 설명될 전자 기기나 이어셋 기기에 의해 수행될 수 있다. 예를 들어, 전자 기기나 이어셋 기기에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 전자 기기나 이어셋 기기는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 일실시예에 따른 통역기능 제공 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터로 구현되는 전자 기기나 이어셋 기기와 결합되어 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다. 여기서 설명한 컴퓨터 프로그램은 독립된 하나의 프로그램 패키지의 형태를 가질 수도 있고, 독립된 하나의 프로그램 패키지의 형태가 컴퓨터에 기 설치되어 구동된 운영체제나 다른 프로그램 패키지들과 연계되는 형태를 가질 수도 있다.
도 1은 본 발명의 일실시예에 따른 이어셋을 이용한 통역기능 제공 과정의 예를 도시한 도면이다. 도 1은 전자 기기(110), 제1 이어셋 기기(120) 및 제2 이어셋 기기(130)를 도시하고 있으며, 제1 사용자(140)가 제1 이어셋 기기(120)를 오른쪽 귀에, 제2 사용자(150)가 제2 이어셋 기기(130)를 왼쪽 귀에 각각 착용한 예를 나타내고 있다. 여기서 제1 사용자(140)는 제1 언어를 사용하고 제2 사용자(150)는 제2 언어를 사용한다고 가정한다.
이때, 제1 사용자(140)가 발화하는 제1 언어의 음성은 제1 이어셋 기기(120)가 포함하는 마이크와 같은 소리신호 입력부로 입력될 수 있고, 제1 이어셋 기기(120)는 입력된 제1 언어의 음성을 전자 기기(110)로 전송할 수 있다. 이 경우, 전자 기기(110)는 전자 기기(110)에 설치된 어플리케이션의 통역기능을 이용하여 수신한 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제2 이어셋 기기(130)로 제공할 수 있다. 이때, 제2 이어셋 기기(130)는 제공된 제2 언어의 음성을 제2 이어셋 기기(130)가 포함하는 스피커(이어폰)와 같은 소리신호 출력부를 통해 출력할 수 있다. 따라서 제2 사용자(150)는 제1 사용자(140)가 발화하는 제1 언어의 음성을, 제2 언어로 통역된 음성으로 들을 수 있게 된다.
또한, 제2 사용자(150)가 발화하는 제2 언어의 음성은 제2 이어셋 기기(130)가 포함하는 마이크와 같은 소리신호 입력부로 입력될 수 있고, 제2 이어셋 기기(130)는 입력된 제2 언어의 음성을 전자 기기(110)로 전송할 수 있다. 이 경우, 전자 기기(110)는 전자 기기(110)에 설치된 어플리케이션의 통역기능을 이용하여 수신한 제2 언어의 음성을 제1 언어의 음성으로 변환하여 제1 이어셋 기기(120)로 제공할 수 있다. 이때, 제1 이어셋 기기(120)는 제공된 제1 언어의 음성을 제1 이어셋 기기(120)가 포함하는 스피커(이어폰)와 같은 소리신호 출력부를 통해 출력할 수 있다. 따라서, 제1 사용자(140)는 제2 사용자(150)가 발화하는 제2 언어의 음성을, 제1 언어로 통역된 음성으로 들을 수 있게 된다.
이처럼, 도 1의 실시예에 따르면, 하나의 이어셋 페어를 이루는 제1 이어셋 기기(120)와 제2 이어셋 기기(130)를 이용하여 다자간 통역의 기능을 제공하는 것이 가능해진다.
만약, 도 1의 실시예에서와는 다른 실시예로, 제1 사용자(140)가 제1 이어셋 기기(120)와 제2 이어셋 기기(130)를 각각 양쪽 귀에 착용하고 있는 경우를 고려할 수 있다. 이 경우, 제1 사용자(140)가 발화하는 제1 언어의 음성은 제1 이어셋 기기(120)와 제2 이어셋 기기(130) 중 적어도 하나를 통해 입력되어 전자 기기(110)로 전송될 수 있다. 이때, 전자 기기(110)는 전자 기기(110)에 설치된 어플리케이션의 통역기능을 이용하여 수신한 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제1 이어셋 기기(120)와 제2 이어셋 기기(130) 중 적어도 하나로 전송할 수 있다. 이때, 제1 이어셋 기기(120) 및/또는 제2 이어셋 기기(130)는 제2 언어로 변환된 음성을 출력할 수 있고, 제1 사용자(140)는 자신이 제1 언어로 발화한 음성을 통역한 제2 언어의 음성을 들을 수 있게 된다. 이처럼, 도 1의 실시예에서와 달리 본 발명의 다른 실시예에서는 셀프 통역을 위한 기능을 제공할 수도 있다.
다자간 통역을 위한 기능과 셀프 통역을 위한 기능은 전자 기기(110)에 설치된 어플리케이션에서 모드를 변경함에 따라 각각 제공될 수 있다. 예를 들어, 어플리케이션은 다자간 통역모드와 셀프 통역모드 중 하나를 설정할 수 있는 사용자 인터페이스를 제공하도록 전자 기기(110)를 제어할 수 있으며, 제공된 사용자 인터페이스를 통해 사용자가 직접 다자간 통역모드와 셀프 통역모드 중 하나를 설정할 수 있다. 혹은 이러한 모드의 설정이 제1 이어셋 기기(120) 및 제2 이어셋 기기(130) 중 적어도 하나가 포함하는 물리적인 버튼에 대한 입력에 의해 이루어질 수도 있다. 또 다른 예로, 모드의 설정은 제1 이어셋 기기(120) 및 제2 이어셋 기기(130)로 입력되는 음성을 분석하여 이루어질 수도 있다. 예를 들어, 제1 이어셋 기기(120)와 제2 이어셋 기기(130)로 각각 입력되는 음성의 피치나 크기 등이 유사한 경우 셀프 통역모드가 설정될 수 있고, 제1 이어셋 기기(120)와 제2 이어셋 기기(130)로 각각 입력되는 음성의 피치나 크기 등이 전혀 상이한 경우 다자간 통역모드가 설정될 수 있다.
도 2는 본 발명의 일실시예에 따른 이어셋 페어의 예를 도시한 도면이다. 본 실시예에 따른 이어셋 페어는 도 2에 도시된 바와 같이 제1 이어셋 기기(120)와 제2 이어셋 기기(130)를 포함하고 있다. 도 1 및 도 2의 실시예들에서는 제1 이어셋 기기(120)를 오른쪽 귀에, 제2 이어셋 기기(130)가 왼쪽 귀에 착용 가능한 모습을 보이고 있으나, 이는 발명의 설명을 위한 하나의 실시예일뿐, 이에 한정되지 않는다. 예를 들어, 제1 이어셋 기기(120)가 왼쪽 귀에, 제2 이어셋 기기(130)가 오른쪽 귀에 착용 가능하도록 구현될 수도 있다.
또한, 도 2의 실시예는 제1 이어셋 기기(120) 및 제2 이어셋 기기(130)의 보관, 거치, 충전 등의 기능을 제공하는 크래들(cradle, 210)의 예를 나타내고 있다. 이러한 크래들(210) 역시 제1 이어셋 기기(120)와 제2 이어셋 기기(130)가 하나의 이어셋 페어를 이루는 실시예를 설명하기 위한 하나의 예시일 뿐, 모양이나 기능 등이 도 2의 설명을 통해 한정되는 것은 아니다.
도 3은 본 발명의 일실시예에 있어서, 이어셋 페어와 전자 기기간 통신의 예를 도시한 도면이다. 일반적으로 스마트폰은 블루투스(Bluetooth), 지그비(Zigbee), 와이파이(WiFi) 등과 같은 근거리 무선 통신 프로토콜을 이용하여 이어셋이나 무선 스피커와 같은 주변 기기들과 통신할 수 있다. 도 3의 실시예에서도 전자 기기(110)가 이러한 근거리 무선 통신 프로토콜을 이용하여 이어셋 페어와 통신하는 예를 설명한다. 다만, 전자 기기(110)는 하나의 근거리 무선 통신 프로토콜(일례로, 블루투스 4.1)을 이용하여 한번에 하나의 기기(도 3의 실시예에서는 제1 이어셋 기기(120))하고만 통신해야 하는 경우가 존재한다. 다시 말해, 전자 기기(110)가 하나의 근거리 무선 통신 프로토콜을 통해 둘 이상의 기기들과 동시에 통신할 수 없는 경우를 고려할 수 있다. 본 실시예에서 전자 기기(110)는 하나의 근거리 무선 통신 프로토콜을 이용하여 하나의 기기로서 제1 이어셋 기기(120)와 통신할 수 있으며, 제2 이어셋 기기(130)와는 제1 이어셋 기기(120)의 중계를 통해 통신할 수 있다. 이를 위해, 제1 이어셋 기기(120)와 제2 이어셋 기기(130)가 서로 근거리 무선 통신을 할 수 있다. 예를 들어, 제2 이어셋 기기(130)는 입력된 제2 언어의 음성을 제1 이어셋 기기(120)를 통해 전자 기기(110)로 전송할 수 있다. 역으로, 전자 기기(110)가 전송하는 제1 언어로 통역된 음성을 제1 이어셋 기기(120)를 통해 제2 이어셋 기기(130)로 전송할 수 있다. 이러한 중계 통신을 위해 일례로, TWS(True Wireless Stereo) 방식이 이용될 수 있다.
도 4는 본 발명의 일실시예에 있어서, 이어셋 페어와 전자 기기간 통신의 다른 예를 도시한 도면이다. 도 3의 실시예에서와 달리 전자 기기(110)는 하나의 근거리 무선 통신 프로토콜을 이용하여 제1 이어셋 기기(120) 및 제2 이어셋 기기(130) 모두와 동시에 통신할 수도 있다. 예를 들어, 블루투스 5.0과 같은 근거리 무선 통신 프로토콜은 스마트폰이 동시에 두 개의 기기들과 블루투스 연결 및 통신이 가능한 기술을 제공한다. 도 4의 실시예는 이처럼 동시에 복수의 기기들과 통신이 가능한 근거리 무선 통신 프로토콜을 활용하여 제1 이어셋 기기(120) 및 제2 이어셋 기기(130) 모두와 동시에 통신할 수도 있다.
한편, 전자 기기(110)는 어플리케이션을 통해 통역기능을 제공함에 있어서, 어플리케이션이 자체적으로 갖는 통역기능을 제공할 수도 있으나, 어플리케이션과 연계된 서버를 통해 통역기능을 제공받을 수도 있다. 예를 들어, 전자 기기(110)는 어플리케이션의 제어에 따라 서버에 접속하여 제1 언어의 음성 및 제1 언어의 음성을 통역하고자 하는 제2 언어에 대한 정보를 전달할 수 있다. 이 경우, 서버는 제1 언어의 음성을 제2 언어의 음성으로 변환하여 전자 기기(110)로 제공할 수 있고, 전자 기기(110)는 제1 언어의 음성에 대해 통역된 제2 언어의 음성을 얻을 수 있게 된다.
도 5는 본 발명의 일실시예에 있어서, 전자 기기, 이어셋 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 5의 서버(520)는 전자 기기(110)에 설치 및 구동된 어플리케이션과 연계하여 통역기능을 제공하는 외부 시스템일 수 있다.
전자 기기(110)와 서버(520)는 메모리(511, 521), 프로세서(512, 522), 통신 인터페이스(513, 523) 그리고 입출력 인터페이스(514, 524)를 포함할 수 있다. 메모리(511, 521)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(511, 521)와는 구분되는 별도의 영구 저장 장치로서 전자 기기(110)나 서버(520)에 포함될 수도 있다. 또한, 메모리(511, 521)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 전자 기기(110)에 설치되어 특정 서비스의 제공을 위해 전자 기기(110)에서 구동되는 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(511, 521)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(513, 523)을 통해 메모리(511, 521)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크(530)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 전자 기기(110)의 메모리(511)에 로딩될 수 있다.
프로세서(512, 522)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(511, 521) 또는 통신 인터페이스(513, 523)에 의해 프로세서(512, 522)로 제공될 수 있다. 예를 들어 프로세서(512, 522)는 메모리(511, 521)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(513, 523)은 네트워크(530)를 통해 전자 기기(110)과 서버(520)가 서로 통신하기 위한 기능을 제공할 수 있으며, 전자 기기(110) 및/또는 서버(520)가 다른 전자 기기 또는 다른 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 전자 기기(110)의 프로세서(512)가 메모리(511)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 인터페이스(513)의 제어에 따라 네트워크(530)를 통해 서버(520)로 전달될 수 있다. 역으로, 서버(520)의 프로세서(522)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 인터페이스(523)과 네트워크(530)를 거쳐 전자 기기(110)의 통신 인터페이스(513)을 통해 전자 기기(110)로 수신될 수 있다. 예를 들어 통신 인터페이스(513)을 통해 수신된 서버(520)의 제어 신호나 명령, 컨텐츠, 파일 등은 프로세서(512)나 메모리(511)로 전달될 수 있고, 컨텐츠나 파일 등은 전자 기기(110)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(514)는 입출력 장치(515)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(514)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(515)는 전자 기기(110)와 하나의 장치로 구성될 수도 있다. 또한, 서버(520)의 입출력 인터페이스(524)는 서버(520)와 연결되거나 서버(520)가 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다.
또한, 다른 실시예들에서 전자 기기(110) 및 서버(520)는 도 5의 구성요소들보다 더 적은 또는 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 전자 기기(110)는 상술한 입출력 장치(515) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 전자 기기(110)가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 전자 기기(110)에 더 포함되도록 구현될 수 있다.
제1 이어셋 기기(120)는 소리를 입력받기 위한 소리신호 입력부(541), 소리를 출력하기 위한 소리신호 출력부(542), 전자 기기(110) 또는 제1 이어셋 기기(120)와 이어셋 페어를 이루는 제2 이어셋 기기(130)와 통신하기 위한 통신부(543) 그리고 소리신호 입력부(541), 소리를 출력하기 위한 소리신호 출력부(542) 및 통신부(543)를 제어하는 제어부(544)를 포함할 수 있다. 예를 들어, 제어부(544)는 사용자(일례로, 도 1의 제1 사용자(140))가 발화하는 제1 언어의 음성을 입력받도록 소리신호 입력부(541)를 제어할 수 있다. 또한, 제어부(544)는 입력되는 제1 언어의 음성이 전자 기기(110)에서 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환되어 제2 이어셋 기기(130)로 제공되도록, 제1 언어의 음성을 전자 기기(110)로 전송하도록 통신부(543)를 제어할 수 있다. 또한, 제어부(544)는 제2 이어셋 기기(120)로 입력되어 전자 기기(110)로 수신된 제2 언어의 음성을 전자 기기(110) 실행된 어플리케이션의 통역기능에 따라 제1 언어의 음성으로 변환함에 응답하여, 전자 기기(110)로부터 변환된 제1 언어의 음성을 수신하도록 통신부(543)를 제어할 수 있다. 또한, 제어부(544)는 전자 기기(110)로부터 수신된 제1 언어의 음성을 출력하도록 소리신호 출력부(542)를 제어할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 클라우드 인공지능 플랫폼의 예를 도시한 도면이다. 도 6은 전자 기기들(610)과 클라우드 인공지능 플랫폼(620) 및 컨텐츠·서비스(630)를 나타내고 있다.
일례로, 전자 기기들(610)은 일례로 스마트홈 네트워크를 통해 연결되는 댁내의 기기들을 포함할 수 있으나 각각 혹은 적어도 하나가 앞서 설명한 전자 기기(110)에 대응될 수도 있다. 이러한 전자 기기들(610)이나 전자 기기들(610)에 설치 및 구동되는 어플리케이션들(이하, 앱들)은 인터페이스 커넥트(640)를 통해 클라우드 인공지능 플랫폼(620)과 연계될 수 있다. 여기서 인터페이스 커넥트(640)는 전자 기기들(610)이나 전자 기기들(610)에 설치 및 구동되는 앱들의 개발을 위한 SDK(Software Development Kit) 및/또는 개발 문서들을 개발자들에게 제공할 수 있다. 또한, 인터페이스 커넥트(640)는 전자 기기들(610)이나 전자 기기들(610)에 설치 및 구동되는 앱들이 클라우드 인공지능 플랫폼(620)이 제공하는 기능들을 활용할 수 있는 API(Application Program Interface)를 제공할 수 있다. 구체적인 예로, 개발자들은 인터페이스 커넥트(640)가 제공하는 SDK(Software Development Kit) 및/또는 개발 문서를 이용하여 개발한 기기나 앱은 인터페이스 커넥트(640)가 제공하는 API를 이용하여 클라우드 인공지능 플랫폼(620)이 제공하는 기능들(일례로, 통역기능)을 활용할 수 있게 된다.
여기서 클라우드 인공지능 플랫폼(620)은 통역기능뿐만 아니라 다양한 음성 기반의 서비스를 제공하기 위한 기능을 제공할 수도 있다. 예를 들어, 클라우드 인공지능 플랫폼(620)은 수신된 음성을 인식하고, 출력될 음성을 합성하기 위한 음성처리모듈(621), 수신된 영상이나 동영상을 분석하여 처리하기 위한 비전처리모듈(622), 수신된 음성에 따라 알맞은 음성(일례로, 제2 언어로 통역된 음성)을 출력하기 위해 적절한 대화를 결정하기 위한 대화처리모듈(623), 수신된 음성에 알맞은 기능을 추천하기 위한 추천모듈(624), 인공지능이 데이터 학습을 통해 문장 단위로 언어를 번역할 수 있도록 지원하는 인공신경망 기반 기계 번역(Neural Machine Translation, NMT, 625) 등과 같이 음성 기반 서비스를 제공하기 위한 다양한 모듈들을 포함할 수 있다.
예를 들어, 전자 기기(110)는 제1 언어의 음성과 통역될 제2 언어에 대한 정보를 인터페이스 커넥트(640)에서 제공하는 API를 이용하여 클라우드 인공지능 플랫폼(620)으로 전송할 수 있다. 이 경우, 클라우드 인공지능 플랫폼(620)은 수신된 제1 언어의 음성을 상술한 모듈들(621 내지 625)을 활용하여 인식 및 분석할 수 있으며, 제1 언어의 음성을 제2 언어의 음성으로 통역하여 적절한 답변 음성을 합성하여 제공할 수 있다.
또한, 확장 키트(650)는 제3자 콘텐츠 개발자 또는 회사들이 클라우드 인공지능 플랫폼(620)에 기반하여 새로운 음성기반 기능을 구현할 수 있는 개발 키트를 제공할 수 있다. 예를 들어, 클라우드 인공지능 플랫폼(620)의 통역기능을 활용 가능한 별도의 어플리케이션들과 서버들이 제공된 개발 키트를 통해 개발될 수 있다.
이러한 클라우드 인공지능 플랫폼(620)은 전자 기기(110)로 통역기능을 제공하기 위한 서버(520)의 구체적인 하나의 예시일 뿐, 전자 기기(110)로 통역기능을 제공할 수 있는 서버(520)라면 한정되지 않는다.
도 7은 본 발명의 일실시예에 있어서, 통역기능 제공 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 통역기능 제공 방법은 앞서 설명한 전자 기기(110)와 같은 컴퓨터 장치에 의해 수행될 수 있다. 이때, 전자 기기(110)의 프로세서(512)는 메모리(511)가 포함하는 운영체제의 코드나 적어도 하나의 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(512)는 전자 기기(110)에 저장된 코드가 제공하는 제어 명령에 따라 전자 기기(110)가 도 7의 통역기능 제공 방법이 포함하는 단계들(710 내지 730)을 수행하도록 전자 기기(110)를 제어할 수 있다.
단계(710)에서 전자 기기(110)는 제1 이어셋 기기 또는 제2 이어셋 기기에서 발생하는 어플리케이션 실행 신호를 수신할 수 있다. 여기서 제1 이어셋 기기와 제2 이어셋 기기는 앞서 설명한 제1 이어셋 기기(120) 및 제2 이어셋 기기(130)에 대응할 수 있다. 예를 들어, 제1 이어셋 기기 및 제2 이어셋 기기는 왼쪽 귀와 오른쪽 귀를 위한 이어셋 페어를 구성할 수 있다. 어플리케이션 실행 신호는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나가 포함하는 물리적인 버튼을 통한 입력 또는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나가 포함하는 센서의 출력값에 의해 발생될 수 있다. 예를 들어, 제1 이어셋 기기(또는 제2 이어셋 기기)는 사용자가 제1 이어셋 기기(또는 제2 이어셋 기기)가 포함하는 버튼을 누름에 따라 발생하는 입력 신호를 감지하고, 감지된 입력 신호에 대응하여 어플리케이션 실행 신호를 생성할 수 있다. 또한 제1 이어셋 기기(또는 제2 이어셋 기기)는 생성된 어플리케이션 실행 신호를 전자 기기(110)로 전송할 수 있다. 다른 예로, 제1 이어셋 기기(또는 제2 이어셋 기기)는 조도 센서를 포함할 수 있다. 이때, 제1 이어셋 기기(또는 제2 이어셋 기기)는 사용자가 조도 센서의 측정부위에 손가락을 일정 시간 이상 가져다 데는 행위를 감지하고, 이러한 행위의 감지에 따라 어플리케이션 실행 신호를 생성할 수도 있다. 이처럼, 사용자의 특정한 행위를 감지하여 어플리케이션 실행 신호를 생성하기 위한 다양한 방법들 중 하나가 활용될 수 있음을 당업자가 쉽게 이해할 수 있을 것이다.
단계(720)에서 전자 기기(110)는 수신된 어플리케이션 실행 신호에 대응하는 어플리케이션을 실행할 수 있다. 이때, 실행되는 어플리케이션은 자체적으로 또는 앞서 설명한 서버(520)와의 연계를 통해 통역기능을 제공하기 위한 컴퓨터 프로그램일 수 있다.
단계(730)에서 전자 기기(110)는 실행된 어플리케이션의 제어에 따라, 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 통해 입력되어 수신된 음성에 대한 다른 언어로의 통역기능을 제공할 수 있다. 이때, 통역기능은 앞서 설명한 바와 같이 셀프 통역을 위한 기능과 다자간 통역을 위한 기능을 포함할 수 있다.
이처럼, 사용자(혹은 사용자들)은 이어셋 기기를 통해 전자 기기(110)의 통역기능을 위한 어플리케이션을 실행시킬 수 있으며, 이어셋 기기를 이용하여 발화된 음성에 대한 다른 언어로의 통역기능을 제공받을 수 있게 된다.
도 8은 본 발명의 일실시예에 있어서, 셀프 통역 및 다자간 통역을 위한통역기능을 제공하는 예를 도시한 흐름도이다. 도 8의 단계들(810 내지 890)은 도 7의 단계(730)에서 통역기능을 제공하기 위한 구체적인 과정의 일례를 나타내고 있다.
단계(810)에서 전자 기기(110)는 통역모드가 실행 중인지 여부를 판단할 수 있다. 예를 들어, 통역모드가 종료되었거나 또는 어플리케이션이 종료됨에 따라 통역모드가 실행중이지 않은 경우 도 8의 과정은 종료될 수 있다. 전자 기기(110)는 단계(810)에서 통역모드가 실행 중인 경우, 단계(820)를 수행할 수 있다.
단계(820)에서 전자 기기(110)는 통역모드가 다자간 통역모드인지 여부를 판단할 수 있다. 통역모드가 다자간 통역모드인 경우 단계(830)이 수행될 수 있다. 만약, 통역모드가 다자간 통역모드가 아니라면, 전자 기기(110)는 단계(870)을 수행할 수 있다.
단계(830)에서 전자 기기(110)는 제1 이어셋 기기로부터 음성을 수신하였는지 여부를 판단할 수 있다. 여기서 제1 이어셋 기기는 이어셋 페어가 포함하는 두 개의 이어셋 기기들 중 어느 하나일 수 있다. 이때, 제1 이어셋 기기로부터 음성을 수신한 경우, 전자 기기(110)는 단계(840)을 수행할 수 있다. 만약, 제1 이어셋 기기로부터 음성을 수신하지 않은 경우, 전자 기기(110)는 단계(850)을 수행할 수 있다.
단계(840)에서 전자 기기(110)는 제1 이어셋 기기를 통해 입력되어 수신된 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제2 이어셋 기기로 제공할 수 있다. 여기서 제2 이어셋 기기는 단계(830)에서 음성을 제공한 이어셋 기기를 제외한 다른 하나의 이어셋 기기일 수 있다. 제2 이어셋 기기는 변환된 제2 언어의 음성을 출력함으로써, 제2 이어셋 기기를 착용한 제2 사용자에게 제1 이어셋 기기를 착용한 제1 사용자가 제1 언어로 발화한 음성이 제2 언어의 음성으로 통역되어 제공될 수 있다.
단계(850)에서 전자 기기(110)는 제2 이어셋 기기로부터 음성을 수신하였는지 여부를 판단할 수 있다. 이때, 제2 이어셋 기기로부터 음성을 수신한 경우, 전자 기기(110)는 단계(860)을 수행할 수 있다. 만약, 제2 이어셋 기기로부터 음성을 수신하지 않은 경우, 전자 기기(110)는 다시 단계(810)을 수행할 수 있다.
단계(860)에서 전자 기기(110)는 제2 이어셋 기기를 통해 입력되어 수신된 제2 언어의 음성을 제1 언어의 음성으로 변환하여 제1 이어셋 기기로 제공할 수 있다. 제1 이어셋 기기는 변환된 제1 언어의 음성을 출력함으로써, 제1 이어셋 기기를 착용한 제1 사용자에게 제2 이어셋 기기를 착용한 제2 사용자가 제2 언어로 발화한 음성이 제1 언어의 음성으로 통역되어 제공될 수 있다. 이후 전자 기기(110)는 다시 단계(810)을 수행할 수 있다.
단계(870)에서 전자 기기(110)는 통역모드가 셀프 통역모드인지 여부를 판단할 수 있다. 통역모드가 셀프 통역모드인 경우 단계(880)이 수행될 수 있다. 만약, 통역모드가 다자간 통역모드가 아니라면, 전자 기기(110)는 단계(890)을 수행할 수 있다.
단계(880)에서 전자 기기(110)는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 통해 입력되어 수신된 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나로 제공할 수 있다. 셀프 통역모드는 한 명의 사용자가 제1 이어셋 기기와 제2 이어셋 기기를 모두 착용하고 있다고 판단하기 때문에, 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 통해 제1 언어의 음성을 수신하고, 통역된 제2 언어의 음성을 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나로 제공할 수 있다. 단계(880) 이후 전자 기기(110)는 다시 단계(810)을 수행할 수 있다.
단계(890)에서 전자 기기(110)는 모드를 설정할 수 있다. 예를 들어, 전자 기기(110)는 어플리케이션의 제어에 따라 사용자에게 통역모드를 다자간 통역모드 및 셀프 통역모드 중 하나를 설정할 것을 요청할 수 있다. 예를 들어, 전자 기기(110)는 어플리케이션이 제공하는 사용자 인터페이스를 통해 다자간 통역모드 및 셀프 통역모드 중 하나를 설정하도록 사용자에게 요청하거나 또는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나가 포함하는 버튼이나 센서를 통한 입력을 사용자에게 요청할 수 있다. 다른 예로, 전자 기기(110)가 입력되는 음성을 분석하는 등의 분석 과정을 거쳐 자동으로 다자간 통역모드 및 셀프 통역모드 중 하나를 설정할 수도 있다. 단계(890) 이후 전자 기기(110)는 다시 단계(810)을 수행할 수 있다.
이처럼, 도 8의 실시예에서는 다자간 통역모드와 셀프 통역모드에 따라 통역기능을 제공하는 구체적인 예를 설명하고 있다. 이러한 도 8의 실시예에서는 셀프 통역모드와 다자간 통역모드에 따른 동작의 예시를 나타내고 있으나, 실시예에 따라 셀프 통역모드만이 제공되거나 또는 다자간 통역모드만이 제공될 수도 있다.
전자 기기(110)와 제1 이어셋 기기 및 제2 이어셋 기기간의 통신은 도 3 및 도 4를 통해 설명한 바와 같이, 직/간접 통신으로 이루어질 수 있다. 예를 들어, 전자 기기(110)는 제1 이어셋 기기 및 제2 이어셋 기기 중 어느 하나의 이어셋 기기와 직접 통신하고, 직접 통신하는 이어셋 기기와 나머지 하나의 이어셋 기기간의 무선 통신을 통해 나머지 하나의 이어셋 기기와 간접 통신을 할 수 있다. 다른 예로, 전자 기기(110)는 제1 이어셋 기기 및 제2 이어셋 기기 모두와 동시에 직접 통신을 할 수도 있다.
또한, 사용자(일례로, 도 1의 제1 사용자(140))가 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 착용한 상태로 음악감상을 하거나 전화통화를 진행 중인 상황에서 통역기능이 필요할 수도 있다.
도 9는 본 발명의 일실시예에 있어서, 음악감상모드 또는 전화통화모드와 통역모드간 전환 예를 도시한 흐름도이다.
단계(910)에서 전자 기기(110)는 수신된 어플리케이션 실행 신호 또는 실행된 어플리케이션을 통해 입력되는 통역모드 시작신호에 기초하여, 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 이용한 음악감상모드 또는 전화통화모드를 통역모드로 전환할 수 있다. 예를 들어, 전자 기기(110)는 블루투스 연결을 통한 음악감상모드에서 음악감상모드를 통역모드로 변경하면서, 음악 재생을 위한 A2DP(Advanced Audio Distribution Profile)을 사용자의 음성을 입력받기 위해 HFP(Hands Free profile)로 변경할 수 있다. 또한, 전자 기기(110)는 전화통화모드에서 전화통화를 종료한 후에 통역모드로 진입할 수도 있으나, 전화통화를 잠시 대기 상태로 변경한 후 통역모드로 진입할 수도 있다.
이러한 단계(910)는 도 7을 통해 설명한 단계(710) 또는 단계(720)이 수행된 후에 수행될 수 있다. 예를 들어, 수신된 어플리케이션 실행 신호에 따라 음악감상모드 또는 전화통화모드를 통역모드로 전환하는 경우, 단계(910)는 단계(710) 이후에 실행될 수 있다. 다른 예로, 실행된 어플리케이션을 통해 입력되는 통역모드 시작신호에 기초하여 음악감상모드 또는 전화통화모드를 통역모드로 전환하는 경우, 단계(910)는 단계(720) 이후에 실행될 수 있다. 단계(910)이 수행된 이후, 단계(730)이 수행되어 일례로, 도8과 같이 통역기능이 제공될 수 있다.
단계(920)에서 전자 기기(110)는 제1 이어셋 기기와 제2 이어셋 기기를 포함하는 이어셋 페어 중 어느 하나의 이어셋 기기에서 발생하는 어플리케이션 종료 신호 또는 어플리케이션을 통해 입력되는 통역모드 종료신호에 기초하여, 통역모드를 다시 음악감상모드 또는 전화통화모드로 전환할 수 있다. 이 경우, 사용자는 다시 음악감상이나 전화통화를 이어나갈 수 있다.
도 10은 본 발명의 일실시예에 있어서, 전화통화 중에 통역기능을 제공하는 예를 도시한 흐름도이다.
단계(1010)에서 전자 기기(110)는 수신된 어플리케이션 실행 신호 또는 실행된 어플리케이션을 통해 입력되는 통역모드 시작신호에 기초하여, 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 이용하여 진행되는 전화통화모드를 통역모드로 전환할 수 있다. 도 9의 단계(910)에서와 유사하게, 단계(1010)는 도 7을 통해 설명한 단계(710) 또는 단계(720)이 수행된 후에 수행될 수 있다.
단계(1020)에서 전자 기기(110)는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 통해 입력되어 수신된 제1 언어의 음성을 통역기능을 이용하여 제2 언어의 음성으로 변환할 수 있다. 이러한 단계(1020)는 도 7의 단계(730)에 포함되어 수행될 수 있다.
단계(1030)에서 전자 기기(110)는 제1 이어셋 기기 또는 제2 이어셋 기기에서 발생하는 어플리케이션 종료 신호 또는 어플리케이션을 통해 입력되는 통역모드 종료신호에 기초하여, 통역모드를 다시 전화통화모드로 전환할 수 있다. 변환된 제2 언어의 음성은 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나로 먼저 전달되어 사용자의 확인을 받을 수도 있다. 또한, 변환된 제2 언어의 음성은 메모리(511) 등에 일시 저장될 수 있다.
단계(1040)에서 전자 기기(110)는 변환된 제2 언어의 음성을 전화통화모드를 통해 전화통화 상대방에게 제공할 수 있다. 예를 들어, 메모리(511)에 일시 저장된 제2 언어의 음성이 전화통화모드를 통해 전화통화 상대방에게 전송될 수 있다. 보다 구체적인 예로, 제1 언어를 사용하는 제1 사용자가 제2 언어를 사용하는 제2 사용자와 전화통화중인 경우, 제1 사용자가 통역기능을 이용하여 제2 언어로 통역된 음성을 제2 사용자에게 제공할 수 있게 된다. 이때, 전화통화는 화상통화 역시 포함할 수 있다.
도 11은 본 발명의 일실시예에 있어서, 이어셋 기기의 통역기능 제공 방법의 예를 도시한 흐름도이다.
단계(1110)에서 제1 이어셋 기기(120)는 제1 이어셋 기기(120)로 입력되는 제1 언어의 음성이 전자 기기(110)에서 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환되어 제1 이어셋 기기(120)와 이어셋 페어를 이루는 제2 이어셋 기기(130)로 제공되도록, 제1 언어의 음성을 전자 기기(110)로 전송할 수 있다. 이미 설명한 바와 같이 전자 기기(110)는 수신되는 제1 언어의 음성을 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환하여 제2 이어셋 기기(130)로 제공할 수 있고, 제2 이어셋 기기(130)는 변환된 제2 언어의 음성을 출력함으로써, 제2 이어셋 기기(130)를 착용한 제2 사용자가 제1 이어셋 기기(120)를 착용한 제1 사용자의 제1 언어에 대한 통역기능을 제공받을 수 있다.
단계(1120)에서 제1 이어셋 기기(120)는 제2 이어셋 기기(130)로 입력되어 전자 기기(110)로 수신된 제2 언어의 음성을 전자 기기(110)가 실행된 어플리케이션의 통역기능에 따라 제1 언어의 음성으로 변환함에 응답하여, 전자 기기(110)로부터 변환된 제1 언어의 음성을 수신할 수 있다. 이미 설명한 바와 같이 전자 기기(110)는 제2 이어셋 기기(130)로부터 수신한 제2 언어의 음성을 제1 언어의 음성으로 변환하여 제1 이어셋 기기(120)로 제공할 수 있다.
단계(1130)에서 제1 이어셋 기기(120)는 수신된 제1 언어의 음성을 출력할 수 있다. 따라서 제1 이어셋 기기(120)의 제1 사용자는 제2 사용자의 제2 언어에 대한 통역기능을 제공받을 수 있다.
이미 설명한 바와 같이 제1 이어셋 기기(120)는 이어셋 페어의 두 개의 이어셋 기기들 중 어느 하나에 대응할 수 있다. 따라서, 도 11의 실시예에서는 다자간 통역모드에서의 제1 이어셋 기기(120)의 동작에 대해서만 설명하였으나, 앞의 설명들을 통해 셀프 통역모드에서의 제1 이어셋 기기(120)의 동작이나 제2 이어셋 기기(130)의 동작 역시 당업자가 쉽게 이해할 수 있을 것이다.
또한, 앞선 실시예들에서는 두 개의 이어셋 기기들이 이어셋 페어를 이루는 경우의 실시예들에 대해서만 설명하였으나, 셋 이상의 이어셋 기기들이 전자 기기(110)와 직접적으로 혹은 간접적으로 연결되어 다자간 통역모드가 진행될 수도 있음을 앞의 설명들을 통해 당업자가 쉽게 이해할 수 있을 것이다. 예를 들어, 이어셋 기기 1의 제1 언어의 음성이 제2 언어와 제3 언어의 음성들로 각각 통역되어 이어셋 기기 2와 이어셋 기기 3으로 각각 전달될 수도 있다. 또한, 이어셋 기기 2의 제2 언어의 음성이 제1 언어와 제3 언어의 음성들로 각각 통역되어 이어셋 기기 1과 이어셋 기기 3으로 각각 전달될 수 있으며, 이어셋 기기 3의 제3 언어의 음성이 제1 언어와 제2 언어의 음성들로 각각 통역되어 이어셋 기기 1과 이어셋 기기 2로 각각 전달될 수 있다. 통신의 예로서, 전자 기기(110)은 이어셋 기기 1 및 이어셋 기기 2와 직접 통신하고, 이어셋 기기 1이나 이어셋 기기 2를 통해 이어셋 기기 3과 간접 통신할 수 있다.
이처럼 본 실시예들에 따르면, 이어셋을 이용하여 통역기능을 제공할 수 있으며, 제1 이어셋 기기와 제2 이어셋 기기를 포함하는 이어셋 페어를 통해 서로 다른 언어의 두 사용자들간의 통역기능을 제공할 수 있다. 또한, 통역기능을 통해 제1 언어에서 제2 언어로 통역된 음성을 전화통화 상대방에게 제공할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 전자 기기의 통역기능 제공 방법에 있어서,
    좌우의 귀에 착용되는 하나의 이어셋 페어(pair)를 형성하는 제1 이어셋 기기 및 제2 이어셋 기기에 대해, 상기 제1 이어셋 기기 또는 상기 제2 이어셋 기기에서 발생하는 어플리케이션 실행 신호를 상기 전자 기기에서 수신하는 단계;
    상기 수신된 어플리케이션 실행 신호에 대응하는 어플리케이션을 상기 전자 기기상에서 실행하는 단계;
    상기 수신된 어플리케이션 실행 신호 또는 상기 실행된 어플리케이션을 통해 입력되는 통역모드 시작신호에 기초하여, 상기 제1 이어셋 기기 및 상기 제2 이어셋 기기 중 적어도 하나를 이용한 음악감상모드 또는 전화통화모드를 상기 제1 이어셋 기기 및 상기 제2 이어셋 기기간의 통역기능을 제공하기 위한 통역모드로 전환하는 단계;
    상기 실행된 어플리케이션의 제어 및 상기 전환된 통역모드에 따라 상기 전자 기기가, 제1 사용자의 오른쪽 귀에 착용된 상기 제1 이어셋 기기 및 제2 사용자의 왼쪽 귀에 착용된 상기 제2 이어셋 기기와 통신하여 상기 제1 사용자 및 상기 제2 사용자간의 서로 다른 언어로의 통역기능을 제공하는 단계; 및
    상기 제1 이어셋 기기와 제2 이어셋 기기를 포함하는 이어셋 페어 중 어느 하나의 이어셋 기기에서 발생하는 어플리케이션 종료 신호 또는 상기 어플리케이션을 통해 입력되는 통역모드 종료신호에 기초하여, 상기 제1 이어셋 기기 및 상기 제2 이어셋 기기간의 상기 통역모드를 상기 음악감상모드 또는 전화통화모드로 다시 전환하는 단계
    를 포함하는 것을 특징으로 하는 통역기능 제공 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 수신된 어플리케이션 실행 신호 또는 상기 실행된 어플리케이션을 통해 입력되는 통역모드 시작신호에 기초하여, 상기 제1 이어셋 기기 및 상기 제2 이어셋 기기 중 적어도 하나를 이용하여 진행되는 전화통화모드를 전화통화상에서의 통역기능을 제공하기 위한 통역모드로 전환하는 단계;
    상기 제1 이어셋 기기 및 상기 제2 이어셋 기기 중 적어도 하나를 통해 입력되어 수신된 제1 언어의 음성을 상기 통역기능을 이용하여 제2 언어의 음성으로 변환하는 단계;
    상기 제1 이어셋 기기 또는 제2 이어셋 기기에서 발생하는 어플리케이션 종료 신호 또는 상기 어플리케이션을 통해 입력되는 통역모드 종료신호에 기초하여, 상기 전화통화상에서의 통역기능을 제공하기 위한 통역모드를 상기 전화통화모드로 전환하는 단계; 및
    상기 변환된 제2 언어의 음성을 상기 전화통화모드를 통해 전화통화 상대방에게 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 통역기능 제공 방법.
  6. 제1항에 있어서,
    상기 어플리케이션 실행 신호는 상기 제1 이어셋 기기 및 상기 제2 이어셋 기기 중 적어도 하나가 포함하는 물리적인 버튼을 통한 입력 또는 상기 제1 이어셋 기기 및 상기 제2 이어셋 기기 중 적어도 하나가 포함하는 센서의 출력값에 의해 발생되는 것을 특징으로 하는 통역기능 제공 방법.
  7. 제1항에 있어서,
    상기 통역기능을 제공하는 단계는,
    상기 제1 이어셋 기기를 통해 입력되어 수신된 음성의 제1 언어와 상기 제2 이어셋 기기를 통해 입력되어 수신된 음성의 제2 언어를 감지하는 단계;
    감지된 제1 언어의 음성을 감지된 제2 언어의 음성으로 변환하고, 감지된 제2 언어의 음성을 감지된 제1 언어의 음성으로 변환하는 단계; 및
    상기 변환된 제2 언어의 음성을 상기 제2 이어셋 기기로 제공하고, 상기 변환된 제1 언어의 음성을 상기 제1 이어셋 기기로 제공하는 단계
    를 포함하는 것을 특징으로 하는 통역기능 제공 방법.
  8. 제1항에 있어서,
    상기 통역기능을 제공하는 단계는,
    상기 제1 이어셋 기기를 통해 입력되어 수신된 음성을 상기 어플리케이션을 통해 상기 제2 이어셋 기기에 대해 설정된 제2 언어로 변환하고, 상기 제2 이어셋 기기를 통해 입력되어 수신된 음성을 상기 어플리케이션을 통해 상기 제1 이어셋 기기에 대해 설정된 제1 언어로 변환하는 단계; 및
    상기 변환된 제2 언어의 음성을 상기 제2 이어셋 기기로 제공하고, 변환된 제1 언어의 음성을 상기 제1 이어셋 기기로 제공하는 단계
    를 포함하는 것을 특징으로 하는 통역기능 제공 방법.
  9. 컴퓨터와 결합되어 제1항 또는 제5항 내지 제8항 중 어느 한 항의 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  10. 제1항 또는 제5항 내지 제8항 중 어느 한 항의 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
KR1020200123193A 2017-06-29 2020-09-23 이어셋을 이용한 통역기능 제공 방법 및 장치 KR102393112B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200123193A KR102393112B1 (ko) 2017-06-29 2020-09-23 이어셋을 이용한 통역기능 제공 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170082430A KR102161554B1 (ko) 2017-06-29 2017-06-29 이어셋을 이용한 통역기능 제공 방법 및 장치
KR1020200123193A KR102393112B1 (ko) 2017-06-29 2020-09-23 이어셋을 이용한 통역기능 제공 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170082430A Division KR102161554B1 (ko) 2017-06-29 2017-06-29 이어셋을 이용한 통역기능 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200112791A KR20200112791A (ko) 2020-10-05
KR102393112B1 true KR102393112B1 (ko) 2022-05-02

Family

ID=81593542

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200123193A KR102393112B1 (ko) 2017-06-29 2020-09-23 이어셋을 이용한 통역기능 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102393112B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446223A (zh) * 2020-11-23 2021-03-05 维沃移动通信有限公司 翻译方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177885A1 (en) * 2007-01-03 2014-06-26 Starkey Laboratories, Inc. Wireless system for hearing communication devices providing wireless stereo reception modes
KR101517975B1 (ko) * 2013-11-29 2015-05-06 유한회사 청텍 동시 통/번역 기능을 가지는 이어폰 장치
KR101619133B1 (ko) * 2014-12-22 2016-05-10 해보라 주식회사 통역용 이어셋

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101589433B1 (ko) * 2009-03-11 2016-01-28 삼성전자주식회사 동시 통역 시스템
KR101058493B1 (ko) * 2010-10-26 2011-08-26 장동수 무선 음성 인식 이어폰

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177885A1 (en) * 2007-01-03 2014-06-26 Starkey Laboratories, Inc. Wireless system for hearing communication devices providing wireless stereo reception modes
KR101517975B1 (ko) * 2013-11-29 2015-05-06 유한회사 청텍 동시 통/번역 기능을 가지는 이어폰 장치
KR101619133B1 (ko) * 2014-12-22 2016-05-10 해보라 주식회사 통역용 이어셋

Also Published As

Publication number Publication date
KR20200112791A (ko) 2020-10-05

Similar Documents

Publication Publication Date Title
JP7274527B2 (ja) ウェアラブルデバイスの状態に基づいたコンパニオン通信デバイスの動作の変更
JP7437356B2 (ja) 電子機器の通訳機能提供方法およびイヤセット機器
KR101971911B1 (ko) 이미지를 디스플레이하기 위한 방법 및 그 전자 장치
KR102265931B1 (ko) 음성 인식을 이용하는 통화 수행 방법 및 사용자 단말
CN110556127B (zh) 语音识别结果的检测方法、装置、设备及介质
JP7114531B2 (ja) イヤーセット制御方法およびシステム
KR102374620B1 (ko) 음성 인식을 위한 전자 장치 및 시스템
JP6619488B2 (ja) 人工知能機器における連続会話機能
WO2018190507A1 (ko) 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
KR20200097444A (ko) 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법
KR20200113349A (ko) 전자 장치 및 멀티 태스킹 지원 방법
KR20180076830A (ko) 오디오 장치 및 그 제어방법
KR102629796B1 (ko) 음성 인식의 향상을 지원하는 전자 장치
KR102393112B1 (ko) 이어셋을 이용한 통역기능 제공 방법 및 장치
KR20150088532A (ko) 통화 중 서비스 제공 장치 및 이를 이용하는 방법
KR20210015234A (ko) 전자 장치, 및 그의 음성 명령에 따른 기능이 실행되도록 제어하는 방법
KR20200107058A (ko) 복수 개의 엔드 포인트가 포함된 플랜들을 처리하는 방법 및 그 방법을 적용한 전자 장치
KR20200056754A (ko) 개인화 립 리딩 모델 생성 방법 및 장치
KR20190142192A (ko) 전자 장치 및 전자 장치의 제어 방법
KR102407275B1 (ko) 이어셋 제어 방법 및 시스템
CN115698949A (zh) 用于ai服务的通用客户端api
KR20210059367A (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR20210028380A (ko) 음성 인식 기능을 이용한 동작을 수행하는 전자 장치 및 이를 이용한 동작과 관련된 알림을 제공하는 방법
EP4167580A1 (en) Audio control method, system, and electronic device
KR20220128882A (ko) 어시스턴스 모듈을 이용하여 상대방과 통신을 수행하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant