KR102161554B1

KR102161554B1 - Method and apparatus for function of translation using earset

Info

Publication number: KR102161554B1
Application number: KR1020170082430A
Authority: KR
Inventors: 박준형; 박시용
Original assignee: 네이버 주식회사; 라인 가부시키가이샤
Priority date: 2017-06-29
Filing date: 2017-06-29
Publication date: 2020-10-05
Also published as: KR20190002069A; WO2019004762A1; JP2021177418A; JP7437356B2; JP6985113B2; JP2019012507A

Abstract

이어셋을 이용한 통역기능 제공 방법 및 장치를 제공한다. 일실시예에서 통역기능 제공 방법은, 제1 이어셋 기기와 제2 이어셋 기기 중 적어도 하나의 이어셋 기기를 통해 입력되어 수신된 음성에 대한 다른 언어로의 통역기능을 제공할 수 있다.It provides a method and apparatus for providing an interpretation function using an ear set. According to an exemplary embodiment, the method of providing an interpretation function may provide an interpretation function for a voice input through at least one of a first earset device and a second earset device in a different language.

Description

Method and apparatus for providing interpretation function using ear set {METHOD AND APPARATUS FOR FUNCTION OF TRANSLATION USING EARSET}

아래의 설명은 이어셋을 이용한 통역기능 제공 방법 및 장치, 그리고 컴퓨터와 결합되어 본 발명의 실시예들에 따른 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체에 관한 것이다.The following description is a method and apparatus for providing an interpretation function using an earset, and a computer program stored in a computer-readable recording medium and a recording medium thereof in order to execute the method for providing an interpretation function according to embodiments of the present invention on a computer. It is about.

이어셋(earset)은 전화기에 연결하여 손을 쓰지 않고 통화를 하는데 이용되는 이어폰과 마이크를 포함하는 기기로서, 예를 들어, 스마트폰과 연결되어 전화통화뿐만 아니라, 음악과 같은 오디오를 수신하여 출력하거나 또는 물리적인 버튼이나 센서 혹은 음성을 통해 스마트폰을 제어하기 위한 다양한 제어 신호를 스마트폰으로 제공할 수 있다. 예를 들어, 한국공개특허 제10-2017-0030375호는 이어커낼 마이크가 내장된 블루투스 이어셋을 개시하고 있다.Earsets are devices that include earphones and microphones that are used to make calls without using hands by connecting to a phone. For example, they are connected to a smartphone to receive and output audio such as music as well as phone calls. Alternatively, various control signals for controlling the smartphone may be provided to the smartphone through physical buttons, sensors, or voice. For example, Korean Patent Laid-Open No. 10-2017-0030375 discloses a Bluetooth earset with a built-in ear canal microphone.

이어셋을 이용하여 통역기능을 제공할 수 있는 통역기능 제공 방법 및 장치, 그리고 컴퓨터와 결합되어 본 발명의 실시예들에 따른 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.A method and apparatus for providing an interpretation function capable of providing an interpretation function using an ear set, and a computer program stored in a computer-readable recording medium to execute the method for providing an interpretation function according to embodiments of the present invention in combination with a computer And its recording media.

제1 이어셋 기기를 통해 입력되어 수신된 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제2 이어셋 기기로 제공하고, 제2 이어셋 기기를 통해 입력되어 수신된 제2 언어의 음성을 제1 언어의 음성으로 변환하여 제1 이어셋 기기로 제공함으로써, 제1 이어셋 기기와 제2 이어셋 기기를 포함하는 이어셋 페어(pair)를 통해 서로 다른 언어의 두 사용자들간의 통역기능을 제공할 수 있는 통역기능 제공 방법 및 장치, 그리고 컴퓨터와 결합되어 본 발명의 실시예들에 따른 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.The voice of the first language input and received through the first earset device is converted into the voice of the second language and provided to the second earset device, and the voice of the second language input and received through the second earset device is first Interpretation function capable of providing an interpretation function between two users of different languages through an earphone pair including a first earphone device and a second earphone device by converting the voice of the language and providing it to the first earphone device Provides a computer program stored in a computer-readable recording medium and a recording medium thereof in order to execute a method for providing an interpreter function according to embodiments of the present invention in a computer in combination with a providing method and apparatus, and a computer.

전자 기기의 통역기능 제공 방법에 있어서, 제1 이어셋 기기 또는 제2 이어셋 기기에서 발생하는 어플리케이션 실행 신호를 수신하는 단계; 상기 수신된 어플리케이션 실행 신호에 대응하는 어플리케이션을 실행하는 단계; 및 상기 실행된 어플리케이션의 제어에 따라, 상기 제1 이어셋 기기 및 상기 제2 이어셋 기기 중 적어도 하나를 통해 입력되어 수신된 음성에 대한 다른 언어로의 통역기능을 제공하는 단계를 포함하는 것을 특징으로 하는 통역기능 제공 방법을 제공한다.A method of providing an interpretation function of an electronic device, the method comprising: receiving an application execution signal generated from a first earset device or a second earset device; Executing an application corresponding to the received application execution signal; And providing an interpreter function for a voice input through at least one of the first earset device and the second earset device in a different language according to the control of the executed application. Provides a method of providing interpretation functions.

제1 이어셋 기기의 통역기능 제공 방법에 있어서, 상기 제1 이어셋 기기로 입력되는 제1 언어의 음성이 전자 기기에서 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환되어 상기 제1 이어셋 기기와 이어셋 페어를 이루는 제2 이어셋 기기로 제공되도록, 상기 제1 언어의 음성을 상기 전자 기기로 전송하는 단계; 상기 제2 이어셋 기기로 입력되어 상기 전자 기기로 수신된 제2 언어의 음성을 상기 전자 기기가 상기 실행된 어플리케이션의 통역기능에 따라 제1 언어의 음성으로 변환함에 응답하여, 상기 전자 기기로부터 상기 변환된 제1 언어의 음성을 수신하는 단계; 및 상기 수신된 제1 언어의 음성을 출력하는 단계를 포함하는 것을 특징으로 하는 통역기능 제공 방법을 제공한다.A method for providing an interpretation function of a first earphone device, wherein the voice of the first language inputted to the first earset device is converted into a voice of the second language according to the interpreting function of an application executed on the electronic device, and the first earphone device Transmitting the voice of the first language to the electronic device so as to be provided to a second earphone device forming a wired pair; In response to the electronic device converting the voice of the second language input to the second earphone device and received by the electronic device into the voice of the first language according to the interpreting function of the executed application, the conversion from the electronic device Receiving a voice of the first language spoken; And outputting the received voice of the first language.

상기 통역기능 제공 방법을 컴퓨터에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체를 제공한다.It provides a computer-readable recording medium, characterized in that the computer program for executing the interpretation function providing method on a computer is recorded.

컴퓨터와 결합하여 상기 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.In combination with a computer, a computer program stored in a computer-readable recording medium is provided to execute the method for providing the interpretation function on the computer.

제1 이어셋 기기에 있어서, 소리를 입력받기 위한 소리신호 입력부; 소리를 출력하기 위한 소리신호 출력부; 상기 전자 기기 또는 상기 제1 이어셋 기기와 이어셋 페어를 이루는 제2 이어셋 기기와 통신하기 위한 통신부; 및 상기 소리신호 입력부, 상기 소리신호 출력부 및 상기 통신부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 소리신호 입력부를 통해 입력되는 제1 언어의 음성이 상기 전자 기기에서 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환되어 상기 제1 이어셋 기기와 이어셋 페어를 이루는 제2 이어셋 기기로 제공되도록, 상기 제1 언어의 음성을 상기 전자 기기로 전송하도록 상기 통신부를 제어하고, 상기 제2 이어셋 기기로 입력되어 상기 전자 기기로 수신된 제2 언어의 음성을 상기 전자 기기가 상기 실행된 어플리케이션의 통역기능에 따라 제1 언어의 음성으로 변환함에 응답하여, 상기 전자 기기로부터 상기 변환된 제1 언어의 음성을 수신하도록 상기 통신부를 제어하고, 상기 수신된 제1 언어의 음성을 출력하도록 상기 소리신호 출력부를 제어하는 것을 특징으로 하는 제1 이어셋 기기를 제공한다.A first earphone device comprising: a sound signal input unit for receiving sound; A sound signal output unit for outputting sound; A communication unit for communicating with the electronic device or a second earset device forming an earset pair with the first earset device; And a control unit for controlling the sound signal input unit, the sound signal output unit, and the communication unit, wherein the control unit includes an interpretation function of an application executed in the electronic device in which the voice of the first language input through the sound signal input unit is The communication unit controls the communication unit to transmit the voice of the first language to the electronic device so that the voice of the first language is transmitted to the electronic device so that the voice of the first language is converted into a voice of the second language and provided to a second earphone pair forming an earphone pair with the first earphone. In response to the electronic device converting the voice of the second language input through the earset device and received by the electronic device into the voice of the first language according to the interpreting function of the executed application, the converted first voice from the electronic device It provides a first earphone device, characterized in that controlling the communication unit to receive a speech of the language, and controlling the sound signal output unit to output the received speech of the first language.

이어셋을 이용하여 통역기능을 제공할 수 있으며, 제1 이어셋 기기와 제2 이어셋 기기를 포함하는 이어셋 페어를 통해 서로 다른 언어의 두 사용자들간의 통역기능을 제공할 수 있다.An interpretation function may be provided using an ear set, and an interpretation function between two users of different languages may be provided through an ear set pair including a first ear set device and a second ear set device.

통역기능을 통해 제1 언어에서 제2 언어로 통역된 음성을 전화통화 상대방에게 제공할 수 있다. Through the interpretation function, a voice interpreted from the first language to the second language may be provided to the other party of the telephone call.

도 1은 본 발명의 일실시예에 따른 이어셋을 이용한 통역기능 제공 과정의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 이어셋 페어의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 이어셋 페어와 전자 기기간 통신의 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 이어셋 페어와 전자 기기간 통신의 다른 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 전자 기기, 이어셋 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 일실시예에 있어서, 클라우드 인공지능 플랫폼의 예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 통역기능 제공 방법의 예를 도시한 흐름도이다.
도 8은 본 발명의 일실시예에 있어서, 셀프 통역 및 다자간 통역을 위한통역기능을 제공하는 예를 도시한 흐름도이다.
도 9는 본 발명의 일실시예에 있어서, 음악감상모드 또는 전화통화모드와 통역모드간 전환 예를 도시한 흐름도이다.
도 10은 본 발명의 일실시예에 있어서, 전화통화 중에 통역기능을 제공하는 예를 도시한 흐름도이다.
도 11은 본 발명의 일실시예에 있어서, 이어셋 기기의 통역기능 제공 방법의 예를 도시한 흐름도이다.1 is a diagram showing an example of a process of providing an interpretation function using an ear set according to an embodiment of the present invention.
2 is a diagram showing an example of an earphone pair according to an embodiment of the present invention.
3 is a diagram illustrating an example of communication between an earphone pair and an electronic device according to an embodiment of the present invention.
4 is a diagram illustrating another example of communication between an earphone pair and an electronic device according to an embodiment of the present invention.
5 is a block diagram illustrating an internal configuration of an electronic device, an earphone device, and a server according to an embodiment of the present invention.
6 is a diagram showing an example of a cloud artificial intelligence platform according to an embodiment of the present invention.
7 is a flowchart illustrating an example of a method for providing an interpretation function according to an embodiment of the present invention.
8 is a flowchart illustrating an example of providing an interpretation function for self-interpretation and multi-party interpretation according to an embodiment of the present invention.
9 is a flow chart illustrating an example of switching between a music listening mode or a telephone conversation mode and an interpretation mode according to an embodiment of the present invention.
10 is a flowchart showing an example of providing an interpreter function during a telephone conversation in an embodiment of the present invention.
11 is a flowchart illustrating an example of a method of providing an interpretation function of an earphone device according to an embodiment of the present invention.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

본 발명의 실시예들에 따른 통역기능 제공 방법은, 이후 설명될 전자 기기나 이어셋 기기에 의해 수행될 수 있다. 예를 들어, 전자 기기나 이어셋 기기에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 전자 기기나 이어셋 기기는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 일실시예에 따른 통역기능 제공 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터로 구현되는 전자 기기나 이어셋 기기와 결합되어 통역기능 제공 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다. 여기서 설명한 컴퓨터 프로그램은 독립된 하나의 프로그램 패키지의 형태를 가질 수도 있고, 독립된 하나의 프로그램 패키지의 형태가 컴퓨터에 기 설치되어 구동된 운영체제나 다른 프로그램 패키지들과 연계되는 형태를 가질 수도 있다.The method of providing an interpretation function according to embodiments of the present invention may be performed by an electronic device or an earphone device to be described later. For example, a computer program according to an embodiment of the present invention may be installed and driven in an electronic device or an earset device, and an electronic device or an earset device according to an embodiment of the present invention according to the control of the driven computer program. The method of providing an interpreter function can be performed. The above-described computer program may be combined with an electronic device or an earphone device implemented as a computer and stored in a computer-readable recording medium to execute a method for providing an interpretation function on the computer. The computer program described herein may have a form of an independent program package, or a form of an independent program package may have a form associated with an operating system or other program packages already installed and driven in the computer.

도 1은 본 발명의 일실시예에 따른 이어셋을 이용한 통역기능 제공 과정의 예를 도시한 도면이다. 도 1은 전자 기기(110), 제1 이어셋 기기(120) 및 제2 이어셋 기기(130)를 도시하고 있으며, 제1 사용자(140)가 제1 이어셋 기기(120)를 오른쪽 귀에, 제2 사용자(150)가 제2 이어셋 기기(130)를 왼쪽 귀에 각각 착용한 예를 나타내고 있다. 여기서 제1 사용자(140)는 제1 언어를 사용하고 제2 사용자(150)는 제2 언어를 사용한다고 가정한다.1 is a diagram showing an example of a process of providing an interpretation function using an ear set according to an embodiment of the present invention. 1 shows an electronic device 110, a first earset device 120, and a second earset device 130, wherein the first user 140 holds the first earset device 120 in the right ear, and the second user Reference numeral 150 shows an example in which the second ear set device 130 is worn on the left ear, respectively. Here, it is assumed that the first user 140 uses a first language and the second user 150 uses a second language.

이때, 제1 사용자(140)가 발화하는 제1 언어의 음성은 제1 이어셋 기기(120)가 포함하는 마이크와 같은 소리신호 입력부로 입력될 수 있고, 제1 이어셋 기기(120)는 입력된 제1 언어의 음성을 전자 기기(110)로 전송할 수 있다. 이 경우, 전자 기기(110)는 전자 기기(110)에 설치된 어플리케이션의 통역기능을 이용하여 수신한 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제2 이어셋 기기(130)로 제공할 수 있다. 이때, 제2 이어셋 기기(130)는 제공된 제2 언어의 음성을 제2 이어셋 기기(130)가 포함하는 스피커(이어폰)와 같은 소리신호 출력부를 통해 출력할 수 있다. 따라서 제2 사용자(150)는 제1 사용자(140)가 발화하는 제1 언어의 음성을, 제2 언어로 통역된 음성으로 들을 수 있게 된다.At this time, the voice of the first language spoken by the first user 140 may be input through a sound signal input unit such as a microphone included in the first earset device 120, and the first earset device 120 Voice of one language may be transmitted to the electronic device 110. In this case, the electronic device 110 may convert the voice of the first language received using the interpretation function of the application installed on the electronic device 110 into the voice of the second language and provide the converted voice to the second earphone device 130. have. In this case, the second ear set device 130 may output the provided second language voice through a sound signal output unit such as a speaker (earphone) included in the second ear set device 130. Accordingly, the second user 150 can hear the voice of the first language spoken by the first user 140 as a voice interpreted in the second language.

또한, 제2 사용자(150)가 발화하는 제2 언어의 음성은 제2 이어셋 기기(130)가 포함하는 마이크와 같은 소리신호 입력부로 입력될 수 있고, 제2 이어셋 기기(130)는 입력된 제2 언어의 음성을 전자 기기(110)로 전송할 수 있다. 이 경우, 전자 기기(110)는 전자 기기(110)에 설치된 어플리케이션의 통역기능을 이용하여 수신한 제2 언어의 음성을 제1 언어의 음성으로 변환하여 제1 이어셋 기기(120)로 제공할 수 있다. 이때, 제1 이어셋 기기(120)는 제공된 제1 언어의 음성을 제1 이어셋 기기(120)가 포함하는 스피커(이어폰)와 같은 소리신호 출력부를 통해 출력할 수 있다. 따라서, 제1 사용자(140)는 제2 사용자(150)가 발화하는 제2 언어의 음성을, 제1 언어로 통역된 음성으로 들을 수 있게 된다.In addition, the voice of the second language spoken by the second user 150 may be input through a sound signal input unit such as a microphone included in the second ear set device 130, and the second ear set device 130 Voice of two languages may be transmitted to the electronic device 110. In this case, the electronic device 110 may convert the voice of the second language received using the interpretation function of the application installed on the electronic device 110 into the voice of the first language and provide the converted voice to the first earphone device 120. have. In this case, the first earphone device 120 may output the provided voice of the first language through a sound signal output unit such as a speaker (earphone) included in the first earphone device 120. Accordingly, the first user 140 can hear the voice of the second language spoken by the second user 150 as a voice interpreted in the first language.

이처럼, 도 1의 실시예에 따르면, 하나의 이어셋 페어를 이루는 제1 이어셋 기기(120)와 제2 이어셋 기기(130)를 이용하여 다자간 통역의 기능을 제공하는 것이 가능해진다.As such, according to the embodiment of FIG. 1, it is possible to provide a function of multi-party interpretation by using the first ear set device 120 and the second ear set device 130 forming one ear set pair.

만약, 도 1의 실시예에서와는 다른 실시예로, 제1 사용자(140)가 제1 이어셋 기기(120)와 제2 이어셋 기기(130)를 각각 양쪽 귀에 착용하고 있는 경우를 고려할 수 있다. 이 경우, 제1 사용자(140)가 발화하는 제1 언어의 음성은 제1 이어셋 기기(120)와 제2 이어셋 기기(130) 중 적어도 하나를 통해 입력되어 전자 기기(110)로 전송될 수 있다. 이때, 전자 기기(110)는 전자 기기(110)에 설치된 어플리케이션의 통역기능을 이용하여 수신한 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제1 이어셋 기기(120)와 제2 이어셋 기기(130) 중 적어도 하나로 전송할 수 있다. 이때, 제1 이어셋 기기(120) 및/또는 제2 이어셋 기기(130)는 제2 언어로 변환된 음성을 출력할 수 있고, 제1 사용자(140)는 자신이 제1 언어로 발화한 음성을 통역한 제2 언어의 음성을 들을 수 있게 된다. 이처럼, 도 1의 실시예에서와 달리 본 발명의 다른 실시예에서는 셀프 통역을 위한 기능을 제공할 수도 있다.If, as an embodiment different from the embodiment of FIG. 1, a case where the first user 140 wears the first earset device 120 and the second earset device 130 on both ears, respectively, may be considered. In this case, the voice of the first language spoken by the first user 140 may be input through at least one of the first earset device 120 and the second earset device 130 and transmitted to the electronic device 110. . At this time, the electronic device 110 converts the voice of the first language received using the interpreter function of the application installed on the electronic device 110 into the voice of the second language, and the first ear set device 120 and the second ear set device It may be transmitted to at least one of (130). At this time, the first earset device 120 and/or the second earset device 130 may output a voice converted into a second language, and the first user 140 may use the voice uttered in the first language. You will be able to hear the interpreted second language voice. As described above, unlike the embodiment of FIG. 1, in another embodiment of the present invention, a function for self-interpretation may be provided.

다자간 통역을 위한 기능과 셀프 통역을 위한 기능은 전자 기기(110)에 설치된 어플리케이션에서 모드를 변경함에 따라 각각 제공될 수 있다. 예를 들어, 어플리케이션은 다자간 통역모드와 셀프 통역모드 중 하나를 설정할 수 있는 사용자 인터페이스를 제공하도록 전자 기기(110)를 제어할 수 있으며, 제공된 사용자 인터페이스를 통해 사용자가 직접 다자간 통역모드와 셀프 통역모드 중 하나를 설정할 수 있다. 혹은 이러한 모드의 설정이 제1 이어셋 기기(120) 및 제2 이어셋 기기(130) 중 적어도 하나가 포함하는 물리적인 버튼에 대한 입력에 의해 이루어질 수도 있다. 또 다른 예로, 모드의 설정은 제1 이어셋 기기(120) 및 제2 이어셋 기기(130)로 입력되는 음성을 분석하여 이루어질 수도 있다. 예를 들어, 제1 이어셋 기기(120)와 제2 이어셋 기기(130)로 각각 입력되는 음성의 피치나 크기 등이 유사한 경우 셀프 통역모드가 설정될 수 있고, 제1 이어셋 기기(120)와 제2 이어셋 기기(130)로 각각 입력되는 음성의 피치나 크기 등이 전혀 상이한 경우 다자간 통역모드가 설정될 수 있다.A function for multi-party interpretation and a function for self-interpretation may be provided by changing a mode in an application installed in the electronic device 110, respectively. For example, the application may control the electronic device 110 to provide a user interface capable of setting one of the multi-party interpretation mode and the self-interpretation mode, and the user can directly control the multi-party interpretation mode and the self-interpretation mode through the provided user interface. You can set either. Alternatively, such a mode may be set by inputting a physical button included in at least one of the first and second earphones 120 and 130. As another example, setting of the mode may be performed by analyzing voices input to the first earset device 120 and the second earset device 130. For example, when the pitch or size of voices input to the first earset device 120 and the second earset device 130 are similar, the self-interpretation mode may be set, and the first earset device 120 and the second earset device 130 2 When the pitch or size of voices input to the earphone device 130 are completely different, the multi-party interpretation mode may be set.

도 2는 본 발명의 일실시예에 따른 이어셋 페어의 예를 도시한 도면이다. 본 실시예에 따른 이어셋 페어는 도 2에 도시된 바와 같이 제1 이어셋 기기(120)와 제2 이어셋 기기(130)를 포함하고 있다. 도 1 및 도 2의 실시예들에서는 제1 이어셋 기기(120)를 오른쪽 귀에, 제2 이어셋 기기(130)가 왼쪽 귀에 착용 가능한 모습을 보이고 있으나, 이는 발명의 설명을 위한 하나의 실시예일뿐, 이에 한정되지 않는다. 예를 들어, 제1 이어셋 기기(120)가 왼쪽 귀에, 제2 이어셋 기기(130)가 오른쪽 귀에 착용 가능하도록 구현될 수도 있다.2 is a diagram showing an example of an earphone pair according to an embodiment of the present invention. The earset pair according to the present embodiment includes a first earset device 120 and a second earset device 130 as shown in FIG. 2. In the embodiments of FIGS. 1 and 2, the first ear set device 120 is worn on the right ear and the second ear set device 130 is worn on the left ear, but this is only one embodiment for the description of the invention, It is not limited to this. For example, the first earset device 120 may be worn on the left ear, and the second earset device 130 may be worn on the right ear.

또한, 도 2의 실시예는 제1 이어셋 기기(120) 및 제2 이어셋 기기(130)의 보관, 거치, 충전 등의 기능을 제공하는 크래들(cradle, 210)의 예를 나타내고 있다. 이러한 크래들(210) 역시 제1 이어셋 기기(120)와 제2 이어셋 기기(130)가 하나의 이어셋 페어를 이루는 실시예를 설명하기 위한 하나의 예시일 뿐, 모양이나 기능 등이 도 2의 설명을 통해 한정되는 것은 아니다.In addition, the embodiment of FIG. 2 shows an example of a cradle 210 that provides functions such as storage, mounting, and charging of the first earset device 120 and the second earset device 130. This cradle 210 is also only an example for describing an embodiment in which the first earset device 120 and the second earset device 130 form one earset pair, and the shape and function are described in FIG. 2. It is not limited through.

도 3은 본 발명의 일실시예에 있어서, 이어셋 페어와 전자 기기간 통신의 예를 도시한 도면이다. 일반적으로 스마트폰은 블루투스(Bluetooth), 지그비(Zigbee), 와이파이(WiFi) 등과 같은 근거리 무선 통신 프로토콜을 이용하여 이어셋이나 무선 스피커와 같은 주변 기기들과 통신할 수 있다. 도 3의 실시예에서도 전자 기기(110)가 이러한 근거리 무선 통신 프로토콜을 이용하여 이어셋 페어와 통신하는 예를 설명한다. 다만, 전자 기기(110)는 하나의 근거리 무선 통신 프로토콜(일례로, 블루투스 4.1)을 이용하여 한번에 하나의 기기(도 3의 실시예에서는 제1 이어셋 기기(120))하고만 통신해야 하는 경우가 존재한다. 다시 말해, 전자 기기(110)가 하나의 근거리 무선 통신 프로토콜을 통해 둘 이상의 기기들과 동시에 통신할 수 없는 경우를 고려할 수 있다. 본 실시예에서 전자 기기(110)는 하나의 근거리 무선 통신 프로토콜을 이용하여 하나의 기기로서 제1 이어셋 기기(120)와 통신할 수 있으며, 제2 이어셋 기기(130)와는 제1 이어셋 기기(120)의 중계를 통해 통신할 수 있다. 이를 위해, 제1 이어셋 기기(120)와 제2 이어셋 기기(130)가 서로 근거리 무선 통신을 할 수 있다. 예를 들어, 제2 이어셋 기기(130)는 입력된 제2 언어의 음성을 제1 이어셋 기기(120)를 통해 전자 기기(110)로 전송할 수 있다. 역으로, 전자 기기(110)가 전송하는 제1 언어로 통역된 음성을 제1 이어셋 기기(120)를 통해 제2 이어셋 기기(130)로 전송할 수 있다. 이러한 중계 통신을 위해 일례로, TWS(True Wireless Stereo) 방식이 이용될 수 있다.3 is a diagram illustrating an example of communication between an earphone pair and an electronic device according to an embodiment of the present invention. In general, a smartphone can communicate with peripheral devices such as earphones or wireless speakers using a short-range wireless communication protocol such as Bluetooth, Zigbee, and WiFi. Also in the embodiment of FIG. 3, an example in which the electronic device 110 communicates with an earphone pair using such a short-range wireless communication protocol will be described. However, when the electronic device 110 needs to communicate with only one device at a time (the first earphone device 120 in the embodiment of FIG. 3) using one short-range wireless communication protocol (for example, Bluetooth 4.1) exist. In other words, a case in which the electronic device 110 cannot simultaneously communicate with two or more devices through one short-range wireless communication protocol may be considered. In the present embodiment, the electronic device 110 may communicate with the first earset device 120 as a device using one short-range wireless communication protocol, and the first earset device 120 with the second earset device 130 ) Through the relay. To this end, the first earset device 120 and the second earset device 130 may perform short-range wireless communication with each other. For example, the second earphone device 130 may transmit an input voice of the second language to the electronic device 110 through the first earphone device 120. Conversely, the voice interpreted in the first language transmitted from the electronic device 110 may be transmitted to the second earphone 130 through the first earphone 120. For such relay communication, as an example, a TWS (True Wireless Stereo) method may be used.

도 4는 본 발명의 일실시예에 있어서, 이어셋 페어와 전자 기기간 통신의 다른 예를 도시한 도면이다. 도 3의 실시예에서와 달리 전자 기기(110)는 하나의 근거리 무선 통신 프로토콜을 이용하여 제1 이어셋 기기(120) 및 제2 이어셋 기기(130) 모두와 동시에 통신할 수도 있다. 예를 들어, 블루투스 5.0과 같은 근거리 무선 통신 프로토콜은 스마트폰이 동시에 두 개의 기기들과 블루투스 연결 및 통신이 가능한 기술을 제공한다. 도 4의 실시예는 이처럼 동시에 복수의 기기들과 통신이 가능한 근거리 무선 통신 프로토콜을 활용하여 제1 이어셋 기기(120) 및 제2 이어셋 기기(130) 모두와 동시에 통신할 수도 있다.4 is a diagram illustrating another example of communication between an earphone pair and an electronic device according to an embodiment of the present invention. Unlike in the embodiment of FIG. 3, the electronic device 110 may simultaneously communicate with both the first earset device 120 and the second earset device 130 using one short-range wireless communication protocol. For example, a short-range wireless communication protocol such as Bluetooth 5.0 provides a technology that enables a smartphone to connect and communicate with two devices simultaneously. The embodiment of FIG. 4 may simultaneously communicate with both the first earset device 120 and the second earset device 130 using a short-range wireless communication protocol capable of simultaneously communicating with a plurality of devices.

한편, 전자 기기(110)는 어플리케이션을 통해 통역기능을 제공함에 있어서, 어플리케이션이 자체적으로 갖는 통역기능을 제공할 수도 있으나, 어플리케이션과 연계된 서버를 통해 통역기능을 제공받을 수도 있다. 예를 들어, 전자 기기(110)는 어플리케이션의 제어에 따라 서버에 접속하여 제1 언어의 음성 및 제1 언어의 음성을 통역하고자 하는 제2 언어에 대한 정보를 전달할 수 있다. 이 경우, 서버는 제1 언어의 음성을 제2 언어의 음성으로 변환하여 전자 기기(110)로 제공할 수 있고, 전자 기기(110)는 제1 언어의 음성에 대해 통역된 제2 언어의 음성을 얻을 수 있게 된다.Meanwhile, in providing an interpretation function through an application, the electronic device 110 may provide an interpretation function that the application has itself, but may also receive an interpretation function through a server linked to the application. For example, the electronic device 110 may access a server according to the control of an application and transmit information on a voice of a first language and a second language for interpreting the voice of the first language. In this case, the server may convert the voice of the first language into the voice of the second language and provide it to the electronic device 110, and the electronic device 110 may provide the voice of the second language interpreted for the voice of the first language. Will be able to get.

도 5는 본 발명의 일실시예에 있어서, 전자 기기, 이어셋 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 5의 서버(520)는 전자 기기(110)에 설치 및 구동된 어플리케이션과 연계하여 통역기능을 제공하는 외부 시스템일 수 있다.5 is a block diagram illustrating an internal configuration of an electronic device, an earphone device, and a server according to an embodiment of the present invention. The server 520 of FIG. 5 may be an external system that provides an interpretation function in connection with an application installed and driven in the electronic device 110.

전자 기기(110)와 서버(520)는 메모리(511, 521), 프로세서(512, 522), 통신 인터페이스(513, 523) 그리고 입출력 인터페이스(514, 524)를 포함할 수 있다. 메모리(511, 521)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(511, 521)와는 구분되는 별도의 영구 저장 장치로서 전자 기기(110)나 서버(520)에 포함될 수도 있다. 또한, 메모리(511, 521)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 전자 기기(110)에 설치되어 특정 서비스의 제공을 위해 전자 기기(110)에서 구동되는 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(511, 521)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(513, 523)을 통해 메모리(511, 521)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크(530)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 전자 기기(110)의 메모리(511)에 로딩될 수 있다.The electronic device 110 and the server 520 may include memories 511 and 521, processors 512 and 522, communication interfaces 513 and 523, and input/output interfaces 514 and 524. The memories 511 and 521 are computer-readable recording media, and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive. Here, a non-destructive large-capacity recording device such as a ROM and a disk drive may be included in the electronic device 110 or the server 520 as a separate permanent storage device separated from the memories 511 and 521. In addition, the memories 511 and 521 store an operating system and at least one program code (for example, a code for an application that is installed in the electronic device 110 and driven by the electronic device 110 to provide a specific service). I can. These software components may be loaded from a computer-readable recording medium separate from the memories 511 and 521. Such a separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, disk, tape, DVD/CD-ROM drive, and memory card. In another embodiment, software components may be loaded into the memories 511 and 521 through communication interfaces 513 and 523 other than a computer-readable recording medium. For example, at least one program is electronic based on a computer program (for example, the above-described application) installed by files provided by the file distribution system for distributing the installation files of the developers or applications through the network 530 It may be loaded into the memory 511 of the device 110.

프로세서(512, 522)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(511, 521) 또는 통신 인터페이스(513, 523)에 의해 프로세서(512, 522)로 제공될 수 있다. 예를 들어 프로세서(512, 522)는 메모리(511, 521)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The processors 512 and 522 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. The instructions may be provided to the processors 512 and 522 by the memories 511 and 521 or the communication interfaces 513 and 523. For example, the processors 512 and 522 may be configured to execute a command received according to a program code stored in a recording device such as the memories 511 and 521.

통신 인터페이스(513, 523)은 네트워크(530)를 통해 전자 기기(110)과 서버(520)가 서로 통신하기 위한 기능을 제공할 수 있으며, 전자 기기(110) 및/또는 서버(520)가 다른 전자 기기 또는 다른 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 전자 기기(110)의 프로세서(512)가 메모리(511)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 인터페이스(513)의 제어에 따라 네트워크(530)를 통해 서버(520)로 전달될 수 있다. 역으로, 서버(520)의 프로세서(522)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 인터페이스(523)과 네트워크(530)를 거쳐 전자 기기(110)의 통신 인터페이스(513)을 통해 전자 기기(110)로 수신될 수 있다. 예를 들어 통신 인터페이스(513)을 통해 수신된 서버(520)의 제어 신호나 명령, 컨텐츠, 파일 등은 프로세서(512)나 메모리(511)로 전달될 수 있고, 컨텐츠나 파일 등은 전자 기기(110)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.The communication interfaces 513 and 523 may provide a function for the electronic device 110 and the server 520 to communicate with each other through the network 530, and the electronic device 110 and/or the server 520 A function for communicating with an electronic device or other server may be provided. As an example, a request generated by the processor 512 of the electronic device 110 according to a program code stored in a recording device such as the memory 511 is sent to the server 520 through the network 530 under the control of the communication interface 513. ) Can be delivered. Conversely, control signals, commands, contents, files, etc. provided under the control of the processor 522 of the server 520 are transmitted through the communication interface 523 and the network 530 through the communication interface 513 of the electronic device 110. ) Through the electronic device 110. For example, control signals, commands, contents, files, etc. of the server 520 received through the communication interface 513 may be transmitted to the processor 512 or the memory 511, and contents or files may be transmitted to an electronic device ( 110) may be stored in a storage medium (permanent storage device described above) that may further include.

입출력 인터페이스(514)는 입출력 장치(515)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(514)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(515)는 전자 기기(110)와 하나의 장치로 구성될 수도 있다. 또한, 서버(520)의 입출력 인터페이스(524)는 서버(520)와 연결되거나 서버(520)가 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다.The input/output interface 514 may be a means for an interface with the input/output device 515. For example, the input device may include a device such as a microphone, a keyboard, or a mouse, and the output device may include a device such as a display or a speaker. As another example, the input/output interface 514 may be a means for interfacing with a device in which input and output functions are integrated into one, such as a touch screen. The input/output device 515 may be configured with the electronic device 110 and one device. In addition, the input/output interface 524 of the server 520 may be a means for interface with a device (not shown) for input or output that is connected to the server 520 or that the server 520 may include.

또한, 다른 실시예들에서 전자 기기(110) 및 서버(520)는 도 5의 구성요소들보다 더 적은 또는 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 전자 기기(110)는 상술한 입출력 장치(515) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 전자 기기(110)가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 전자 기기(110)에 더 포함되도록 구현될 수 있다.In addition, in other embodiments, the electronic device 110 and the server 520 may include fewer or more components than the components of FIG. 5. However, there is no need to clearly show most of the prior art components. For example, the electronic device 110 may be implemented to include at least some of the input/output devices 515 described above, or other components such as a transceiver, a global positioning system (GPS) module, a camera, various sensors, and a database. May include more. As a more specific example, when the electronic device 110 is a smartphone, an acceleration sensor or a gyro sensor, a camera module, various physical buttons, a button using a touch panel, an input/output port, a vibrator for vibration generally included in the smartphone Various components such as may be implemented to be further included in the electronic device 110.

제1 이어셋 기기(120)는 소리를 입력받기 위한 소리신호 입력부(541), 소리를 출력하기 위한 소리신호 출력부(542), 전자 기기(110) 또는 제1 이어셋 기기(120)와 이어셋 페어를 이루는 제2 이어셋 기기(130)와 통신하기 위한 통신부(543) 그리고 소리신호 입력부(541), 소리를 출력하기 위한 소리신호 출력부(542) 및 통신부(543)를 제어하는 제어부(544)를 포함할 수 있다. 예를 들어, 제어부(544)는 사용자(일례로, 도 1의 제1 사용자(140))가 발화하는 제1 언어의 음성을 입력받도록 소리신호 입력부(541)를 제어할 수 있다. 또한, 제어부(544)는 입력되는 제1 언어의 음성이 전자 기기(110)에서 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환되어 제2 이어셋 기기(130)로 제공되도록, 제1 언어의 음성을 전자 기기(110)로 전송하도록 통신부(543)를 제어할 수 있다. 또한, 제어부(544)는 제2 이어셋 기기(120)로 입력되어 전자 기기(110)로 수신된 제2 언어의 음성을 전자 기기(110) 실행된 어플리케이션의 통역기능에 따라 제1 언어의 음성으로 변환함에 응답하여, 전자 기기(110)로부터 변환된 제1 언어의 음성을 수신하도록 통신부(543)를 제어할 수 있다. 또한, 제어부(544)는 전자 기기(110)로부터 수신된 제1 언어의 음성을 출력하도록 소리신호 출력부(542)를 제어할 수 있다.The first earphone device 120 includes a sound signal input unit 541 for receiving sound, a sound signal output unit 542 for outputting sound, an electronic device 110 or a first earphone device 120 and an earphone pair. A communication unit 543 and a sound signal input unit 541 for communicating with the second earset device 130 forming, a sound signal output unit 542 for outputting sound, and a control unit 544 for controlling the communication unit 543 can do. For example, the control unit 544 may control the sound signal input unit 541 to receive a voice of a first language spoken by a user (for example, the first user 140 of FIG. 1 ). In addition, the control unit 544 converts the voice of the input first language into the voice of the second language according to the interpretation function of the application executed in the electronic device 110 and provides the first language to the second earset device 130. The communication unit 543 may be controlled to transmit the speech of the language to the electronic device 110. In addition, the control unit 544 converts the voice of the second language input to the second earset device 120 and received by the electronic device 110 into the voice of the first language according to the interpreting function of the application executed by the electronic device 110. In response to the conversion, the communication unit 543 may be controlled to receive the converted voice of the first language from the electronic device 110. Also, the control unit 544 may control the sound signal output unit 542 to output the voice of the first language received from the electronic device 110.

도 6은 본 발명의 일실시예에 있어서, 클라우드 인공지능 플랫폼의 예를 도시한 도면이다. 도 6은 전자 기기들(610)과 클라우드 인공지능 플랫폼(620) 및 컨텐츠·서비스(630)를 나타내고 있다.6 is a diagram showing an example of a cloud artificial intelligence platform according to an embodiment of the present invention. 6 shows electronic devices 610, a cloud artificial intelligence platform 620, and contents/services 630.

일례로, 전자 기기들(610)은 일례로 스마트홈 네트워크를 통해 연결되는 댁내의 기기들을 포함할 수 있으나 각각 혹은 적어도 하나가 앞서 설명한 전자 기기(110)에 대응될 수도 있다. 이러한 전자 기기들(610)이나 전자 기기들(610)에 설치 및 구동되는 어플리케이션들(이하, 앱들)은 인터페이스 커넥트(640)를 통해 클라우드 인공지능 플랫폼(620)과 연계될 수 있다. 여기서 인터페이스 커넥트(640)는 전자 기기들(610)이나 전자 기기들(610)에 설치 및 구동되는 앱들의 개발을 위한 SDK(Software Development Kit) 및/또는 개발 문서들을 개발자들에게 제공할 수 있다. 또한, 인터페이스 커넥트(640)는 전자 기기들(610)이나 전자 기기들(610)에 설치 및 구동되는 앱들이 클라우드 인공지능 플랫폼(620)이 제공하는 기능들을 활용할 수 있는 API(Application Program Interface)를 제공할 수 있다. 구체적인 예로, 개발자들은 인터페이스 커넥트(640)가 제공하는 SDK(Software Development Kit) 및/또는 개발 문서를 이용하여 개발한 기기나 앱은 인터페이스 커넥트(640)가 제공하는 API를 이용하여 클라우드 인공지능 플랫폼(620)이 제공하는 기능들(일례로, 통역기능)을 활용할 수 있게 된다.As an example, the electronic devices 610 may include in-house devices connected through a smart home network, for example, but each or at least one may correspond to the electronic device 110 described above. These electronic devices 610 or applications (hereinafter referred to as apps) installed and driven on the electronic devices 610 may be linked with the cloud artificial intelligence platform 620 through the interface connect 640. Here, the interface connect 640 may provide developers with a software development kit (SDK) and/or development documents for the development of electronic devices 610 or apps installed and driven in the electronic devices 610. In addition, the interface connect 640 provides an API (Application Program Interface) in which apps installed and driven on the electronic devices 610 or the electronic devices 610 can utilize functions provided by the cloud artificial intelligence platform 620. Can provide. As a specific example, developers may use a software development kit (SDK) provided by the interface connect 640 and/or a development document to develop a device or app using an API provided by the interface connect 640. It is possible to utilize functions (for example, an interpreter function) provided by 620).

여기서 클라우드 인공지능 플랫폼(620)은 통역기능뿐만 아니라 다양한 음성 기반의 서비스를 제공하기 위한 기능을 제공할 수도 있다. 예를 들어, 클라우드 인공지능 플랫폼(620)은 수신된 음성을 인식하고, 출력될 음성을 합성하기 위한 음성처리모듈(621), 수신된 영상이나 동영상을 분석하여 처리하기 위한 비전처리모듈(622), 수신된 음성에 따라 알맞은 음성(일례로, 제2 언어로 통역된 음성)을 출력하기 위해 적절한 대화를 결정하기 위한 대화처리모듈(623), 수신된 음성에 알맞은 기능을 추천하기 위한 추천모듈(624), 인공지능이 데이터 학습을 통해 문장 단위로 언어를 번역할 수 있도록 지원하는 인공신경망 기반 기계 번역(Neural Machine Translation, NMT, 625) 등과 같이 음성 기반 서비스를 제공하기 위한 다양한 모듈들을 포함할 수 있다.Here, the cloud artificial intelligence platform 620 may provide not only an interpretation function but also a function for providing various voice-based services. For example, the cloud artificial intelligence platform 620 is a voice processing module 621 for recognizing a received voice and synthesizing a voice to be output, and a vision processing module 622 for analyzing and processing the received image or video. , A conversation processing module 623 for determining an appropriate conversation to output an appropriate voice (for example, a voice interpreted in a second language) according to the received voice, and a recommendation module for recommending a function suitable for the received voice ( 624), and various modules for providing speech-based services, such as Neural Machine Translation (NMT, 625), which support artificial intelligence to translate language in sentence units through data learning. have.

예를 들어, 전자 기기(110)는 제1 언어의 음성과 통역될 제2 언어에 대한 정보를 인터페이스 커넥트(640)에서 제공하는 API를 이용하여 클라우드 인공지능 플랫폼(620)으로 전송할 수 있다. 이 경우, 클라우드 인공지능 플랫폼(620)은 수신된 제1 언어의 음성을 상술한 모듈들(621 내지 625)을 활용하여 인식 및 분석할 수 있으며, 제1 언어의 음성을 제2 언어의 음성으로 통역하여 적절한 답변 음성을 합성하여 제공할 수 있다.For example, the electronic device 110 may transmit voice of a first language and information about a second language to be interpreted to the cloud artificial intelligence platform 620 using an API provided by the interface connect 640. In this case, the cloud artificial intelligence platform 620 may recognize and analyze the received voice of the first language using the modules 621 to 625 described above, and convert the voice of the first language into the voice of the second language. Interpretation can be provided by synthesizing an appropriate answer voice.

또한, 확장 키트(650)는 제3자 콘텐츠 개발자 또는 회사들이 클라우드 인공지능 플랫폼(620)에 기반하여 새로운 음성기반 기능을 구현할 수 있는 개발 키트를 제공할 수 있다. 예를 들어, 클라우드 인공지능 플랫폼(620)의 통역기능을 활용 가능한 별도의 어플리케이션들과 서버들이 제공된 개발 키트를 통해 개발될 수 있다.In addition, the extension kit 650 may provide a development kit that enables third-party content developers or companies to implement new voice-based functions based on the cloud artificial intelligence platform 620. For example, separate applications and servers capable of utilizing the interpretation function of the cloud artificial intelligence platform 620 may be developed through a provided development kit.

이러한 클라우드 인공지능 플랫폼(620)은 전자 기기(110)로 통역기능을 제공하기 위한 서버(520)의 구체적인 하나의 예시일 뿐, 전자 기기(110)로 통역기능을 제공할 수 있는 서버(520)라면 한정되지 않는다.This cloud artificial intelligence platform 620 is only one specific example of the server 520 for providing an interpretation function to the electronic device 110, the server 520 that can provide an interpretation function to the electronic device 110 Ramen is not limited.

도 7은 본 발명의 일실시예에 있어서, 통역기능 제공 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 통역기능 제공 방법은 앞서 설명한 전자 기기(110)와 같은 컴퓨터 장치에 의해 수행될 수 있다. 이때, 전자 기기(110)의 프로세서(512)는 메모리(511)가 포함하는 운영체제의 코드나 적어도 하나의 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(512)는 전자 기기(110)에 저장된 코드가 제공하는 제어 명령에 따라 전자 기기(110)가 도 7의 통역기능 제공 방법이 포함하는 단계들(710 내지 730)을 수행하도록 전자 기기(110)를 제어할 수 있다.7 is a flowchart illustrating an example of a method for providing an interpretation function according to an embodiment of the present invention. The method of providing an interpreter function according to the present embodiment may be performed by a computer device such as the electronic device 110 described above. In this case, the processor 512 of the electronic device 110 may be implemented to execute a control instruction according to a code of an operating system included in the memory 511 or a code of at least one program. Here, the processor 512 is an electronic device so that the electronic device 110 performs steps 710 to 730 included in the method of providing an interpretation function of FIG. 7 according to a control command provided by a code stored in the electronic device 110. (110) can be controlled.

단계(710)에서 전자 기기(110)는 제1 이어셋 기기 또는 제2 이어셋 기기에서 발생하는 어플리케이션 실행 신호를 수신할 수 있다. 여기서 제1 이어셋 기기와 제2 이어셋 기기는 앞서 설명한 제1 이어셋 기기(120) 및 제2 이어셋 기기(130)에 대응할 수 있다. 예를 들어, 제1 이어셋 기기 및 제2 이어셋 기기는 왼쪽 귀와 오른쪽 귀를 위한 이어셋 페어를 구성할 수 있다. 어플리케이션 실행 신호는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나가 포함하는 물리적인 버튼을 통한 입력 또는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나가 포함하는 센서의 출력값에 의해 발생될 수 있다. 예를 들어, 제1 이어셋 기기(또는 제2 이어셋 기기)는 사용자가 제1 이어셋 기기(또는 제2 이어셋 기기)가 포함하는 버튼을 누름에 따라 발생하는 입력 신호를 감지하고, 감지된 입력 신호에 대응하여 어플리케이션 실행 신호를 생성할 수 있다. 또한 제1 이어셋 기기(또는 제2 이어셋 기기)는 생성된 어플리케이션 실행 신호를 전자 기기(110)로 전송할 수 있다. 다른 예로, 제1 이어셋 기기(또는 제2 이어셋 기기)는 조도 센서를 포함할 수 있다. 이때, 제1 이어셋 기기(또는 제2 이어셋 기기)는 사용자가 조도 센서의 측정부위에 손가락을 일정 시간 이상 가져다 데는 행위를 감지하고, 이러한 행위의 감지에 따라 어플리케이션 실행 신호를 생성할 수도 있다. 이처럼, 사용자의 특정한 행위를 감지하여 어플리케이션 실행 신호를 생성하기 위한 다양한 방법들 중 하나가 활용될 수 있음을 당업자가 쉽게 이해할 수 있을 것이다.In operation 710, the electronic device 110 may receive an application execution signal generated from the first earphone device or the second earphone device. Here, the first earset device and the second earset device may correspond to the first earset device 120 and the second earset device 130 described above. For example, the first ear set device and the second ear set device may constitute an ear set pair for the left ear and the right ear. The application execution signal may be generated by an input through a physical button included in at least one of the first earset device and the second earset device, or an output value of a sensor included in at least one of the first earset device and the second earset device. . For example, the first ear set device (or the second ear set device) detects an input signal generated when a user presses a button included in the first ear set device (or second ear set device), and responds to the detected input signal. In response, an application execution signal may be generated. In addition, the first earphone device (or the second earphone device) may transmit the generated application execution signal to the electronic device 110. As another example, the first earphone device (or the second earphone device) may include an illuminance sensor. In this case, the first ear set device (or the second ear set device) may detect an action when the user brings a finger to the measurement part of the illuminance sensor for a predetermined time or longer, and may generate an application execution signal according to the detection of this action. As such, it will be readily understood by those skilled in the art that one of various methods for generating an application execution signal by detecting a specific behavior of a user may be used.

단계(720)에서 전자 기기(110)는 수신된 어플리케이션 실행 신호에 대응하는 어플리케이션을 실행할 수 있다. 이때, 실행되는 어플리케이션은 자체적으로 또는 앞서 설명한 서버(520)와의 연계를 통해 통역기능을 제공하기 위한 컴퓨터 프로그램일 수 있다.In operation 720, the electronic device 110 may execute an application corresponding to the received application execution signal. In this case, the executed application may be a computer program for providing an interpreter function by itself or through linkage with the server 520 described above.

단계(730)에서 전자 기기(110)는 실행된 어플리케이션의 제어에 따라, 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 통해 입력되어 수신된 음성에 대한 다른 언어로의 통역기능을 제공할 수 있다. 이때, 통역기능은 앞서 설명한 바와 같이 셀프 통역을 위한 기능과 다자간 통역을 위한 기능을 포함할 수 있다.In step 730, the electronic device 110 may provide an interpretation function for the received voice in another language by being input through at least one of the first and second earset devices, according to the control of the executed application. have. In this case, the interpretation function may include a function for self-interpretation and a function for multilateral interpretation, as described above.

이처럼, 사용자(혹은 사용자들)은 이어셋 기기를 통해 전자 기기(110)의 통역기능을 위한 어플리케이션을 실행시킬 수 있으며, 이어셋 기기를 이용하여 발화된 음성에 대한 다른 언어로의 통역기능을 제공받을 수 있게 된다.In this way, the user (or users) can run an application for the interpretation function of the electronic device 110 through the earset device, and can receive an interpretation function for the spoken voice in another language using the earset device. There will be.

도 8은 본 발명의 일실시예에 있어서, 셀프 통역 및 다자간 통역을 위한통역기능을 제공하는 예를 도시한 흐름도이다. 도 8의 단계들(810 내지 890)은 도 7의 단계(730)에서 통역기능을 제공하기 위한 구체적인 과정의 일례를 나타내고 있다.8 is a flowchart illustrating an example of providing an interpretation function for self-interpretation and multi-party interpretation according to an embodiment of the present invention. Steps 810 to 890 of FIG. 8 illustrate an example of a specific process for providing an interpretation function in step 730 of FIG. 7.

단계(810)에서 전자 기기(110)는 통역모드가 실행 중인지 여부를 판단할 수 있다. 예를 들어, 통역모드가 종료되었거나 또는 어플리케이션이 종료됨에 따라 통역모드가 실행중이지 않은 경우 도 8의 과정은 종료될 수 있다. 전자 기기(110)는 단계(810)에서 통역모드가 실행 중인 경우, 단계(820)를 수행할 수 있다.In step 810, the electronic device 110 may determine whether the interpretation mode is being executed. For example, when the interpretation mode is ended or the interpretation mode is not running as the application is ended, the process of FIG. 8 may be ended. The electronic device 110 may perform step 820 when the interpretation mode is being executed in step 810.

단계(820)에서 전자 기기(110)는 통역모드가 다자간 통역모드인지 여부를 판단할 수 있다. 통역모드가 다자간 통역모드인 경우 단계(830)이 수행될 수 있다. 만약, 통역모드가 다자간 통역모드가 아니라면, 전자 기기(110)는 단계(870)을 수행할 수 있다.In step 820, the electronic device 110 may determine whether the interpretation mode is a multi-party interpretation mode. When the interpretation mode is a multi-party interpretation mode, step 830 may be performed. If the interpretation mode is not a multilateral interpretation mode, the electronic device 110 may perform step 870.

단계(830)에서 전자 기기(110)는 제1 이어셋 기기로부터 음성을 수신하였는지 여부를 판단할 수 있다. 여기서 제1 이어셋 기기는 이어셋 페어가 포함하는 두 개의 이어셋 기기들 중 어느 하나일 수 있다. 이때, 제1 이어셋 기기로부터 음성을 수신한 경우, 전자 기기(110)는 단계(840)을 수행할 수 있다. 만약, 제1 이어셋 기기로부터 음성을 수신하지 않은 경우, 전자 기기(110)는 단계(850)을 수행할 수 있다.In step 830, the electronic device 110 may determine whether a voice has been received from the first earphone device. Here, the first earphone device may be any one of two earphone devices included in the earphone pair. In this case, when a voice is received from the first earphone device, the electronic device 110 may perform step 840. If voice is not received from the first earphone device, the electronic device 110 may perform step 850.

단계(840)에서 전자 기기(110)는 제1 이어셋 기기를 통해 입력되어 수신된 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제2 이어셋 기기로 제공할 수 있다. 여기서 제2 이어셋 기기는 단계(830)에서 음성을 제공한 이어셋 기기를 제외한 다른 하나의 이어셋 기기일 수 있다. 제2 이어셋 기기는 변환된 제2 언어의 음성을 출력함으로써, 제2 이어셋 기기를 착용한 제2 사용자에게 제1 이어셋 기기를 착용한 제1 사용자가 제1 언어로 발화한 음성이 제2 언어의 음성으로 통역되어 제공될 수 있다.In step 840, the electronic device 110 may convert the voice of the first language input and received through the first earphone device into the voice of the second language and provide the converted voice to the second earphone device. Here, the second earset device may be one other earset device other than the earset device that provided voice in step 830. The second earphone device outputs the converted voice of the second language, so that the voice uttered in the first language by the first user wearing the first earphone to the second user wearing the second earset device is in the second language. It can be provided by voice interpretation.

단계(850)에서 전자 기기(110)는 제2 이어셋 기기로부터 음성을 수신하였는지 여부를 판단할 수 있다. 이때, 제2 이어셋 기기로부터 음성을 수신한 경우, 전자 기기(110)는 단계(860)을 수행할 수 있다. 만약, 제2 이어셋 기기로부터 음성을 수신하지 않은 경우, 전자 기기(110)는 다시 단계(810)을 수행할 수 있다.In step 850, the electronic device 110 may determine whether a voice has been received from the second earphone device. In this case, when a voice is received from the second earphone device, the electronic device 110 may perform step 860. If voice is not received from the second earphone device, the electronic device 110 may perform step 810 again.

단계(860)에서 전자 기기(110)는 제2 이어셋 기기를 통해 입력되어 수신된 제2 언어의 음성을 제1 언어의 음성으로 변환하여 제1 이어셋 기기로 제공할 수 있다. 제1 이어셋 기기는 변환된 제1 언어의 음성을 출력함으로써, 제1 이어셋 기기를 착용한 제1 사용자에게 제2 이어셋 기기를 착용한 제2 사용자가 제2 언어로 발화한 음성이 제1 언어의 음성으로 통역되어 제공될 수 있다. 이후 전자 기기(110)는 다시 단계(810)을 수행할 수 있다.In operation 860, the electronic device 110 may convert the voice of the second language input and received through the second earphone device into the voice of the first language and provide the converted voice to the first earphone device. The first earphone device outputs the converted voice of the first language, so that the voice spoken in the second language by the second user wearing the second earphone device to the first user wearing the first earphone device is It can be provided by voice interpretation. Thereafter, the electronic device 110 may perform step 810 again.

단계(870)에서 전자 기기(110)는 통역모드가 셀프 통역모드인지 여부를 판단할 수 있다. 통역모드가 셀프 통역모드인 경우 단계(880)이 수행될 수 있다. 만약, 통역모드가 다자간 통역모드가 아니라면, 전자 기기(110)는 단계(890)을 수행할 수 있다.In step 870, the electronic device 110 may determine whether the interpretation mode is a self interpretation mode. If the interpretation mode is the self interpretation mode, step 880 may be performed. If the interpretation mode is not a multi-party interpretation mode, the electronic device 110 may perform step 890.

단계(880)에서 전자 기기(110)는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 통해 입력되어 수신된 제1 언어의 음성을 제2 언어의 음성으로 변환하여 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나로 제공할 수 있다. 셀프 통역모드는 한 명의 사용자가 제1 이어셋 기기와 제2 이어셋 기기를 모두 착용하고 있다고 판단하기 때문에, 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 통해 제1 언어의 음성을 수신하고, 통역된 제2 언어의 음성을 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나로 제공할 수 있다. 단계(880) 이후 전자 기기(110)는 다시 단계(810)을 수행할 수 있다.In step 880, the electronic device 110 converts the voice of the first language input and received through at least one of the first and second earphones into the voice of the second language, It can be provided with at least one of the earset devices. In the self-interpretation mode, since it is determined that one user is wearing both the first and second earphones, the voice of the first language is received through at least one of the first and second earphones, and interpretation The voice of the second language may be provided to at least one of the first earphone device and the second earphone device. After step 880, the electronic device 110 may perform step 810 again.

단계(890)에서 전자 기기(110)는 모드를 설정할 수 있다. 예를 들어, 전자 기기(110)는 어플리케이션의 제어에 따라 사용자에게 통역모드를 다자간 통역모드 및 셀프 통역모드 중 하나를 설정할 것을 요청할 수 있다. 예를 들어, 전자 기기(110)는 어플리케이션이 제공하는 사용자 인터페이스를 통해 다자간 통역모드 및 셀프 통역모드 중 하나를 설정하도록 사용자에게 요청하거나 또는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나가 포함하는 버튼이나 센서를 통한 입력을 사용자에게 요청할 수 있다. 다른 예로, 전자 기기(110)가 입력되는 음성을 분석하는 등의 분석 과정을 거쳐 자동으로 다자간 통역모드 및 셀프 통역모드 중 하나를 설정할 수도 있다. 단계(890) 이후 전자 기기(110)는 다시 단계(810)을 수행할 수 있다.In step 890, the electronic device 110 may set a mode. For example, the electronic device 110 may request the user to set one of the multilateral interpretation mode and the self interpretation mode to the user according to the control of the application. For example, the electronic device 110 requests the user to set one of a multi-party interpretation mode and a self-interpretation mode through a user interface provided by the application, or includes at least one of a first earset device and a second earset device. User can request input through button or sensor. As another example, the electronic device 110 may automatically set one of a multi-party interpretation mode and a self-interpretation mode through an analysis process such as analyzing an input voice. After step 890, the electronic device 110 may perform step 810 again.

이처럼, 도 8의 실시예에서는 다자간 통역모드와 셀프 통역모드에 따라 통역기능을 제공하는 구체적인 예를 설명하고 있다. 이러한 도 8의 실시예에서는 셀프 통역모드와 다자간 통역모드에 따른 동작의 예시를 나타내고 있으나, 실시예에 따라 셀프 통역모드만이 제공되거나 또는 다자간 통역모드만이 제공될 수도 있다.As described above, in the embodiment of FIG. 8, a specific example of providing an interpretation function according to a multi-party interpretation mode and a self interpretation mode is described. The embodiment of FIG. 8 shows an example of the operation according to the self-interpretation mode and the multi-party interpretation mode, but only the self-interpretation mode or only the multi-party interpretation mode may be provided according to the embodiment.

전자 기기(110)와 제1 이어셋 기기 및 제2 이어셋 기기간의 통신은 도 3 및 도 4를 통해 설명한 바와 같이, 직/간접 통신으로 이루어질 수 있다. 예를 들어, 전자 기기(110)는 제1 이어셋 기기 및 제2 이어셋 기기 중 어느 하나의 이어셋 기기와 직접 통신하고, 직접 통신하는 이어셋 기기와 나머지 하나의 이어셋 기기간의 무선 통신을 통해 나머지 하나의 이어셋 기기와 간접 통신을 할 수 있다. 다른 예로, 전자 기기(110)는 제1 이어셋 기기 및 제2 이어셋 기기 모두와 동시에 직접 통신을 할 수도 있다.Communication between the electronic device 110 and the first ear set device and the second ear set device may be performed through direct/indirect communication, as described with reference to FIGS. 3 and 4. For example, the electronic device 110 directly communicates with one of the first and second earset devices, and the other earset through wireless communication between the directly communicating earset device and the other earset device. Indirect communication with the device is possible. As another example, the electronic device 110 may directly communicate with both the first ear set device and the second ear set device at the same time.

또한, 사용자(일례로, 도 1의 제1 사용자(140))가 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 착용한 상태로 음악감상을 하거나 전화통화를 진행 중인 상황에서 통역기능이 필요할 수도 있다.In addition, when a user (for example, the first user 140 of FIG. 1) is listening to music while wearing at least one of the first and second earphones, an interpreter function is required. May be.

도 9는 본 발명의 일실시예에 있어서, 음악감상모드 또는 전화통화모드와 통역모드간 전환 예를 도시한 흐름도이다.9 is a flow chart illustrating an example of switching between a music listening mode or a telephone conversation mode and an interpretation mode according to an embodiment of the present invention.

단계(910)에서 전자 기기(110)는 수신된 어플리케이션 실행 신호 또는 실행된 어플리케이션을 통해 입력되는 통역모드 시작신호에 기초하여, 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 이용한 음악감상모드 또는 전화통화모드를 통역모드로 전환할 수 있다. 예를 들어, 전자 기기(110)는 블루투스 연결을 통한 음악감상모드에서 음악감상모드를 통역모드로 변경하면서, 음악 재생을 위한 A2DP(Advanced Audio Distribution Profile)을 사용자의 음성을 입력받기 위해 HFP(Hands Free profile)로 변경할 수 있다. 또한, 전자 기기(110)는 전화통화모드에서 전화통화를 종료한 후에 통역모드로 진입할 수도 있으나, 전화통화를 잠시 대기 상태로 변경한 후 통역모드로 진입할 수도 있다.In step 910, based on the received application execution signal or the interpretation mode start signal input through the executed application, the electronic device 110 is in a music listening mode using at least one of the first earset device and the second earset device, or You can change the telephone conversation mode to the interpretation mode. For example, the electronic device 110 changes the music listening mode to the interpretation mode from the music listening mode through a Bluetooth connection, while changing the A2DP (Advanced Audio Distribution Profile) for music playback to receive the user's voice. Free profile). In addition, the electronic device 110 may enter the interpretation mode after ending the telephone conversation in the telephone conversation mode, but may enter the interpretation mode after changing the telephone conversation to a standby state for a while.

이러한 단계(910)는 도 7을 통해 설명한 단계(710) 또는 단계(720)이 수행된 후에 수행될 수 있다. 예를 들어, 수신된 어플리케이션 실행 신호에 따라 음악감상모드 또는 전화통화모드를 통역모드로 전환하는 경우, 단계(910)는 단계(710) 이후에 실행될 수 있다. 다른 예로, 실행된 어플리케이션을 통해 입력되는 통역모드 시작신호에 기초하여 음악감상모드 또는 전화통화모드를 통역모드로 전환하는 경우, 단계(910)는 단계(720) 이후에 실행될 수 있다. 단계(910)이 수행된 이후, 단계(730)이 수행되어 일례로, 도8과 같이 통역기능이 제공될 수 있다.This step 910 may be performed after the step 710 or step 720 described with reference to FIG. 7 is performed. For example, when switching the music listening mode or the telephone conversation mode to the interpretation mode according to the received application execution signal, step 910 may be executed after step 710. As another example, when the music listening mode or the telephone conversation mode is switched to the interpretation mode based on the interpretation mode start signal input through the executed application, step 910 may be executed after step 720. After step 910 is performed, step 730 may be performed to provide an interpreter function as shown in FIG. 8 as an example.

단계(920)에서 전자 기기(110)는 제1 이어셋 기기와 제2 이어셋 기기를 포함하는 이어셋 페어 중 어느 하나의 이어셋 기기에서 발생하는 어플리케이션 종료 신호 또는 어플리케이션을 통해 입력되는 통역모드 종료신호에 기초하여, 통역모드를 다시 음악감상모드 또는 전화통화모드로 전환할 수 있다. 이 경우, 사용자는 다시 음악감상이나 전화통화를 이어나갈 수 있다.In step 920, the electronic device 110 is based on an application end signal generated from any one of the ear set devices including the first ear set device and the second ear set device or an interpretation mode end signal input through the application. , Interpretation mode can be switched back to music listening mode or telephone conversation mode. In this case, the user can continue listening to music or making a phone call again.

도 10은 본 발명의 일실시예에 있어서, 전화통화 중에 통역기능을 제공하는 예를 도시한 흐름도이다.10 is a flowchart showing an example of providing an interpreter function during a telephone conversation in an embodiment of the present invention.

단계(1010)에서 전자 기기(110)는 수신된 어플리케이션 실행 신호 또는 실행된 어플리케이션을 통해 입력되는 통역모드 시작신호에 기초하여, 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 이용하여 진행되는 전화통화모드를 통역모드로 전환할 수 있다. 도 9의 단계(910)에서와 유사하게, 단계(1010)는 도 7을 통해 설명한 단계(710) 또는 단계(720)이 수행된 후에 수행될 수 있다.In step 1010, the electronic device 110 uses at least one of the first earset device and the second earset device based on the received application execution signal or the interpretation mode start signal input through the executed application. You can change the call mode to interpretation mode. Similar to step 910 of FIG. 9, step 1010 may be performed after step 710 or step 720 described with reference to FIG. 7 is performed.

단계(1020)에서 전자 기기(110)는 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나를 통해 입력되어 수신된 제1 언어의 음성을 통역기능을 이용하여 제2 언어의 음성으로 변환할 수 있다. 이러한 단계(1020)는 도 7의 단계(730)에 포함되어 수행될 수 있다.In step 1020, the electronic device 110 may convert the voice of the first language inputted and received through at least one of the first and second earphones into the voice of the second language using an interpreter function. . This step 1020 may be performed while being included in step 730 of FIG. 7.

단계(1030)에서 전자 기기(110)는 제1 이어셋 기기 또는 제2 이어셋 기기에서 발생하는 어플리케이션 종료 신호 또는 어플리케이션을 통해 입력되는 통역모드 종료신호에 기초하여, 통역모드를 다시 전화통화모드로 전환할 수 있다. 변환된 제2 언어의 음성은 제1 이어셋 기기 및 제2 이어셋 기기 중 적어도 하나로 먼저 전달되어 사용자의 확인을 받을 수도 있다. 또한, 변환된 제2 언어의 음성은 메모리(511) 등에 일시 저장될 수 있다.In step 1030, the electronic device 110 switches the interpretation mode back to the telephone conversation mode based on an application termination signal generated from the first or second earphone device or an interpretation mode termination signal input through the application. I can. The converted voice of the second language may be first transmitted to at least one of the first and second earphones to receive confirmation from the user. Also, the converted voice of the second language may be temporarily stored in the memory 511 or the like.

단계(1040)에서 전자 기기(110)는 변환된 제2 언어의 음성을 전화통화모드를 통해 전화통화 상대방에게 제공할 수 있다. 예를 들어, 메모리(511)에 일시 저장된 제2 언어의 음성이 전화통화모드를 통해 전화통화 상대방에게 전송될 수 있다. 보다 구체적인 예로, 제1 언어를 사용하는 제1 사용자가 제2 언어를 사용하는 제2 사용자와 전화통화중인 경우, 제1 사용자가 통역기능을 이용하여 제2 언어로 통역된 음성을 제2 사용자에게 제공할 수 있게 된다. 이때, 전화통화는 화상통화 역시 포함할 수 있다.In step 1040, the electronic device 110 may provide the converted voice of the second language to the phone call counterpart through the phone call mode. For example, the voice of the second language temporarily stored in the memory 511 may be transmitted to the phone call counterpart through the phone call mode. As a more specific example, when a first user who speaks a first language is on a phone call with a second user who speaks a second language, the first user sends the voice interpreted in the second language to the second user by using the interpreter function. It will be able to provide. At this time, the telephone call may also include a video call.

도 11은 본 발명의 일실시예에 있어서, 이어셋 기기의 통역기능 제공 방법의 예를 도시한 흐름도이다.11 is a flowchart illustrating an example of a method of providing an interpretation function of an earphone device according to an embodiment of the present invention.

단계(1110)에서 제1 이어셋 기기(120)는 제1 이어셋 기기(120)로 입력되는 제1 언어의 음성이 전자 기기(110)에서 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환되어 제1 이어셋 기기(120)와 이어셋 페어를 이루는 제2 이어셋 기기(130)로 제공되도록, 제1 언어의 음성을 전자 기기(110)로 전송할 수 있다. 이미 설명한 바와 같이 전자 기기(110)는 수신되는 제1 언어의 음성을 실행된 어플리케이션의 통역기능에 따라 제2 언어의 음성으로 변환하여 제2 이어셋 기기(130)로 제공할 수 있고, 제2 이어셋 기기(130)는 변환된 제2 언어의 음성을 출력함으로써, 제2 이어셋 기기(130)를 착용한 제2 사용자가 제1 이어셋 기기(120)를 착용한 제1 사용자의 제1 언어에 대한 통역기능을 제공받을 수 있다.In step 1110, the first earset device 120 converts the voice of the first language inputted to the first earset device 120 into the voice of the second language according to the interpretation function of the application executed in the electronic device 110. The voice of the first language may be transmitted to the electronic device 110 to be provided to the first earset device 120 and the second earset device 130 forming an earset pair. As already described, the electronic device 110 may convert the received voice of the first language into voice of the second language according to the interpreting function of the executed application and provide the converted voice to the second earphone device 130, and the second earphone The device 130 outputs the converted voice of the second language, so that the second user wearing the second earset device 130 interprets the first language of the first user who wears the first earset device 120 Function can be provided.

단계(1120)에서 제1 이어셋 기기(120)는 제2 이어셋 기기(130)로 입력되어 전자 기기(110)로 수신된 제2 언어의 음성을 전자 기기(110)가 실행된 어플리케이션의 통역기능에 따라 제1 언어의 음성으로 변환함에 응답하여, 전자 기기(110)로부터 변환된 제1 언어의 음성을 수신할 수 있다. 이미 설명한 바와 같이 전자 기기(110)는 제2 이어셋 기기(130)로부터 수신한 제2 언어의 음성을 제1 언어의 음성으로 변환하여 제1 이어셋 기기(120)로 제공할 수 있다.In step 1120, the first earset device 120 transmits the voice of the second language input to the second earset device 130 and received by the electronic device 110 to the interpretation function of the application on which the electronic device 110 is executed. Accordingly, in response to converting the voice of the first language, the converted voice of the first language may be received from the electronic device 110. As described above, the electronic device 110 may convert the voice of the second language received from the second earphone 130 into the voice of the first language and provide the converted voice to the first earphone 120.

단계(1130)에서 제1 이어셋 기기(120)는 수신된 제1 언어의 음성을 출력할 수 있다. 따라서 제1 이어셋 기기(120)의 제1 사용자는 제2 사용자의 제2 언어에 대한 통역기능을 제공받을 수 있다.In step 1130, the first earphone device 120 may output the received voice of the first language. Accordingly, the first user of the first earset device 120 may be provided with an interpreter function for the second language of the second user.

이미 설명한 바와 같이 제1 이어셋 기기(120)는 이어셋 페어의 두 개의 이어셋 기기들 중 어느 하나에 대응할 수 있다. 따라서, 도 11의 실시예에서는 다자간 통역모드에서의 제1 이어셋 기기(120)의 동작에 대해서만 설명하였으나, 앞의 설명들을 통해 셀프 통역모드에서의 제1 이어셋 기기(120)의 동작이나 제2 이어셋 기기(130)의 동작 역시 당업자가 쉽게 이해할 수 있을 것이다.As already described, the first earset device 120 may correspond to any one of the two earset devices of the earset pair. Accordingly, in the embodiment of FIG. 11, only the operation of the first earset device 120 in the multi-party interpretation mode has been described, but through the above description, the operation of the first earset device 120 or the second earset in the self-interpretation mode The operation of the device 130 will also be easily understood by those skilled in the art.

또한, 앞선 실시예들에서는 두 개의 이어셋 기기들이 이어셋 페어를 이루는 경우의 실시예들에 대해서만 설명하였으나, 셋 이상의 이어셋 기기들이 전자 기기(110)와 직접적으로 혹은 간접적으로 연결되어 다자간 통역모드가 진행될 수도 있음을 앞의 설명들을 통해 당업자가 쉽게 이해할 수 있을 것이다. 예를 들어, 이어셋 기기 1의 제1 언어의 음성이 제2 언어와 제3 언어의 음성들로 각각 통역되어 이어셋 기기 2와 이어셋 기기 3으로 각각 전달될 수도 있다. 또한, 이어셋 기기 2의 제2 언어의 음성이 제1 언어와 제3 언어의 음성들로 각각 통역되어 이어셋 기기 1과 이어셋 기기 3으로 각각 전달될 수 있으며, 이어셋 기기 3의 제3 언어의 음성이 제1 언어와 제2 언어의 음성들로 각각 통역되어 이어셋 기기 1과 이어셋 기기 2로 각각 전달될 수 있다. 통신의 예로서, 전자 기기(110)은 이어셋 기기 1 및 이어셋 기기 2와 직접 통신하고, 이어셋 기기 1이나 이어셋 기기 2를 통해 이어셋 기기 3과 간접 통신할 수 있다.In addition, in the previous embodiments, only the embodiments in which two earphone devices form an earphone pair have been described, but three or more earphone devices are directly or indirectly connected to the electronic device 110 so that a multi-party interpretation mode may be performed. It will be easily understood by those skilled in the art through the above description. For example, voices of the first language of the earset device 1 may be interpreted into voices of the second language and the third language, respectively, and may be transmitted to the earphones 2 and 3, respectively. In addition, the voice of the second language of the earset device 2 may be interpreted into voices of the first language and the third language, respectively, and transmitted to the earphone device 1 and the earphone 3, respectively, and the voice of the third language of the earphone device 3 is Voices of the first language and the second language may be interpreted and transmitted to the earphone 1 and the earphone 2, respectively. As an example of communication, the electronic device 110 may directly communicate with the ear set device 1 and the ear set device 2, and may indirectly communicate with the ear set device 3 through the ear set device 1 or the ear set device 2.

이처럼 본 실시예들에 따르면, 이어셋을 이용하여 통역기능을 제공할 수 있으며, 제1 이어셋 기기와 제2 이어셋 기기를 포함하는 이어셋 페어를 통해 서로 다른 언어의 두 사용자들간의 통역기능을 제공할 수 있다. 또한, 통역기능을 통해 제1 언어에서 제2 언어로 통역된 음성을 전화통화 상대방에게 제공할 수 있다.As described above, according to the present embodiments, an interpretation function can be provided using an ear set, and an interpretation function between two users of different languages can be provided through an ear set pair including a first ear set device and a second ear set device. have. In addition, a voice interpreted from the first language to the second language may be provided to the other party through the interpretation function.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The system or device described above may be implemented as a hardware component, a software component, or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. Can be embodyed in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The medium may be one that continuously stores a program executable by a computer, or temporarily stores a program for execution or download. In addition, the medium may be a variety of recording means or storage means in a form in which a single piece of hardware or several pieces of hardware are combined. The medium is not limited to a medium directly connected to a computer system, but may be distributed on a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks, and And a ROM, RAM, flash memory, and the like, and may be configured to store program instructions. In addition, examples of other media include an app store that distributes applications, a site that supplies or distributes various software, and a recording medium or storage medium managed by a server. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description by those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.

Claims

In the method of providing an interpretation function of an electronic device,
Receiving, from the electronic device, an application execution signal generated by the first earset device or the second earset device for a first earset device and a second earset device forming one earset pair;
Executing an application corresponding to the received application execution signal on the electronic device; And
In the electronic device that directly or indirectly communicates with the first earset device and the second earset device, it is input through the first earset device according to the control in the multi-party interpretation mode of the application executed on the electronic device. A second user who converts the voice of the first language of the first user received through the electronic device into the voice of the second language and provides it to a second earphone device, and is input through the second earset device and received by the electronic device Converting the voice of the second language of the first language into the voice of the first language and providing the first earphone to the first earphone to provide an interpreter function in different languages among multiple characters
Including,
The first earset device and the second earset device form the one earset pair worn on the left and right ears, wherein the first earset device is on the right ear of the first user, and the second earset device is on the second user The method of providing an interpretation function, characterized in that each worn on the left ear of the first user and the second user provides an interpretation function in different languages.

The method of claim 1,
Providing an interpreter function for a voice input through at least one of the first earset device and the second earset device in a different language according to the control in the self-interpretation mode of the executed application
Including more,
The executed application selectively sets any one of the multi-party interpretation mode and the self-interpretation mode according to the degree of similarity of at least one of the pitch and size of the voices respectively input to the first and second earphones. Method of providing an interpreter function, characterized in that.

The method of claim 1,
The electronic device directly communicates with any one of the first and second earset devices, and the other earset device and the other earset device through wireless communication between the directly communicating earset device and the other earset device. Interpretation function providing method, characterized in that indirect communication.

The method of claim 1,
The method of providing an interpretation function, wherein the electronic device communicates directly with both the first and second earphones at the same time.

The method of claim 1,
Based on the received application execution signal or an interpretation mode start signal input through the executed application, a music listening mode or a phone call mode using at least one of the first and second earphones is converted into an interpretation mode. Converting; And
Based on an application termination signal generated from any one of an earphone pair including the first earphone device and the second earphone device or an interpretation mode termination signal input through the application, the interpretation mode is set to the music listening mode. Or switching to the phone call mode
Interpretation function providing method further comprising a.

The method of claim 1,
Based on the received application execution signal or an interpretation mode start signal input through the executed application, the telephone conversation mode conducted using at least one of the first and second earphones is switched to an interpretation mode. Step to do;
Converting a voice of a first language input and received through at least one of the first and second earphones into a voice of a second language by using the interpretation function;
Switching the interpretation mode to the telephone conversation mode based on an application end signal generated from the first or second earset device or an interpretation mode end signal input through the application; And
Providing the converted voice of the second language to a telephone call counterpart through the telephone call mode
Interpretation function providing method further comprising a.

The method of claim 1,
The first ear set device and the second ear set device comprises an ear set pair for a left ear and a right ear.

The method of claim 1,
The application execution signal is input through a physical button included in at least one of the first earset device and the second earset device, or an output value of a sensor included in at least one of the first earset device and the second earset device. Method for providing an interpretation function, characterized in that generated by.

The method of claim 1,
The step of providing the interpretation function,
Detecting a first language of the voice input and received through the first earset device and a second mermaid of the voice input and received through the second earset device;
Converting the sensed voice of the first language into the sensed voice of the second language, and converting the sensed voice of the second language into the sensed voice of the first language; And
Providing the converted voice of the second language to the second earphone device, and providing the converted voice of the first language to the first earphone device
Interpretation function providing method comprising a.

The method of claim 1,
The step of providing the interpretation function,
The voice input and received through the first earset device is converted into a second language set for the second earset device through the application, and the voice input and received through the second earset device is transmitted through the application. Converting into a first language set for the first earphone device; And
Providing the converted voice of the second language to the second earphone device, and providing the converted voice of the first language to the first earphone device
Interpretation function providing method comprising a.

In the method of providing an interpretation function of the first earphone device,
The first earset device forms a pair of earphones worn on the left and right ears together with the second earset device, wherein the first earset device is in the right ear of the first user, and the second earset device is in the left ear of the second user, respectively. It is worn to provide an interpretation function in different languages between the first user and the second user,
The voice of the first user's first language, which is worn on the right ear of the first user and input to the first earset device, is converted to the voice of the second language according to the interpretation function in the multi-party interpretation mode of the application executed on the electronic device. Transmitting the voice of the first language to the electronic device so as to be converted to form an ear set pair with the first ear set device and provided to the second ear set device worn on the left ear of the second user;
The second earset device worn on the left ear of the second user receives the voice in the second language of the second user and transmits the voice to the electronic device, so that the voice in the second language received by the electronic device is transmitted to the electronic device. Receiving the converted voice of the first language from the electronic device in response to converting the voice of the first language according to the interpretation function in the multilateral interpretation mode of the executed application; And
Outputting the received voice of the first language through the speaker of the first earphone device worn on the right ear of the first user
Interpretation function providing method comprising a.

The method of claim 11,
Interpretation function providing method, characterized in that relaying communication between the second earset device and the electronic device or communicating with the electronic device through a relay of the second earset device.

The method of claim 11,
The electronic device is generated by an input through a physical button included in at least one of the first earset device and the second earset device or an output value of a sensor included in at least one of the first earset device and the second earset device. An interpretation function providing method, characterized in that the application is executed in the electronic device according to an application execution signal transmitted to a device.

The method of claim 11,
The first language includes a language that detects the language of the voice input through the first earphone device using the executed application, or includes a language preset in the executed application corresponding to the first earphone device. and,
The second language includes a language that detects the language of the voice input through the second earset device using the executed application, or includes a language preset in the executed application corresponding to the second earphone device. Method of providing an interpreter function, characterized in that to.

A computer program combined with a computer and stored in a computer-readable recording medium for executing the method of any one of claims 1 to 14 on a computer.

A computer-readable recording medium having a program recorded thereon for causing a computer to execute the method of any one of claims 1 to 14.

In the first earphone device,
A sound signal input unit for receiving sound;
A sound signal output unit for outputting sound;
A communication unit for communicating with an electronic device or a second ear set device forming an ear set pair with the first ear set device; And
A control unit for controlling the sound signal input unit, the sound signal output unit, and the communication unit
Including,
The first earphone device forms a pair of earphones worn on left and right ears together with the second earset device, wherein the first earset device is in the right ear of the first user, and the second earset device is in the left ear of the second user. Each is worn to provide an interpretation function in different languages between the first user and the second user,
The control unit,
The voice of the first user's first language input through the sound signal input unit of the first earset device worn on the right ear of the first user is applied to the interpretation function in the multi-party interpretation mode of the application executed on the electronic device. The voice of the first language is transmitted to the electronic device so that the voice of the second language is converted into a voice of the second language to form an earphone pair with the first ear set device, and provided to the second ear set device worn on the left ear of the second user. Control the communication unit to be
The second earset device worn on the left ear of the second user receives the voice in the second language of the second user and transmits the voice to the electronic device, so that the voice in the second language received by the electronic device is transmitted to the electronic device. In response to converting the voice of the first language according to the interpretation function in the multilateral interpretation mode of the executed application, controlling the communication unit to receive the converted voice of the first language from the electronic device,
The first ear set device, characterized in that controlling the sound signal output unit of the first ear set device worn on the right ear of the first user to output the received voice of the first language.

The method of claim 17,
The control unit,
The first earphone device, characterized in that for controlling the communication unit to relay communication between the second earphone device and the electronic device, or to control the communication unit to communicate with the electronic device through relaying of the second earphone device.

The method of claim 17,
The electronic device is generated by an input through a physical button included in at least one of the first earset device and the second earset device or an output value of a sensor included in at least one of the first earset device and the second earset device. The first earphone device, characterized in that the electronic device executes the application according to an application execution signal transmitted to the device.

The method of claim 17,
The first language includes a language that detects the language of the voice input through the first earphone device using the executed application, or includes a language preset in the executed application corresponding to the first earphone device. and,
The second language includes a language that detects the language of the voice input through the second earset device using the executed application, or includes a language preset in the executed application corresponding to the second earphone device. The first ear set device, characterized in that.