KR101989127B1

KR101989127B1 - 번역 장치, 번역 방법 및 번역 컴퓨터 프로그램

Info

Publication number: KR101989127B1
Application number: KR1020170067801A
Authority: KR
Inventors: 최성준; 최문용; 정은교
Original assignee: 네이버랩스 주식회사
Priority date: 2017-05-31
Filing date: 2017-05-31
Publication date: 2019-09-30
Also published as: KR20180131155A

Abstract

마이크 모듈; 스피커; 및 프로세서; 를 포함하고, 상기 프로세서는, 상기 마이크 모듈로부터 획득한 입력 음성 신호를 분석하여 제1 화자가 존재하는 제1 방향을 결정하는 화자 방향 결정부; 상기 입력 음성 신호에 기초하여, 상기 제1 방향에서 수신된 음성 신호를 추출하고, 상기 제1 방향에서 수신된 음성 신호로부터 제1 번역 대상 데이터를 생성하는 번역 대상 데이터 생성부; 상기 제1 번역 대상 데이터에 대한 제1 번역 데이터를 획득하여 출력 음성 신호를 상기 스피커로 출력하는 번역 데이터 획득부; 를 포함하는, 번역 장치가 제공된다.

Description

번역 장치, 번역 방법 및 번역 컴퓨터 프로그램{METHOD, SYSTEM AND COMPUTER PROGRAM FOR TRANSLATION}

본 발명은 번역 장치, 번역 방법 및 번역 방법을 위한 컴퓨터 프로그램에 관한 것으로, 보다 상세하게는 입력 음성 신호로부터 복수명 화자의 방향을 결정한 후, 각 화자의 방향을 고려하여 음성을 추출하고 번역된 음성 신호를 출력할 수 는 장치, 방법 및 프로그램에 관한 것이다.

발화-대-발화 번역(speech-to-speech translation; STS) 장치는 화자의 음성을 수신하기 위한 마이크로폰(microphone, 이하 마이크)을 포함한다. 기존의 번역 장치는 마이크를 통해 입력된 사용자의 음성을 음성 인식 처리하여 번역된 텍스트 혹은 음성으로 출력하였다. 이러한 음성 인식 과정에는 자주 오류가 발생하여 사용자가 여러 번 발화를 하여야 하는 경우가 많았다. 이는 단순히 마이크를 사용한 음성 인식만을 통해 통역을 시도하는 경우 잘못된 음성을 인식할 가능성이 높기 때문이다.

예를 들어, 한국 특허출원 제2013-0043293호는 사용자 단말기에 내장된 마이크에서 수신된 사용자 음성을 텍스트로 인식한 후 다른 언어로 번역하는 번역 모듈을 개시하고 있다.

본 발명은 마이크 모듈을 이용하여 입력 음성 신호로부터 화자의 방향을 결정한 후, 각 화자의 방향을 고려하여 음성을 추출하여 번역 대상 데이터를 생성하는 번역 장치를 제공하는 것을 일 목적으로 한다.

본 발명의 일 실시예에 따르면, 마이크 모듈; 스피커; 및 프로세서; 를 포함하고, 상기 프로세서는, 상기 마이크 모듈로부터 획득한 입력 음성 신호를 분석하여 제1 화자가 존재하는 제1 방향을 결정하는 방향 결정부; 상기 입력 음성 신호에 기초하여, 상기 제1 방향에서 수신된 음성 신호를 추출하고, 상기 제1 방향에서 수신된 음성 신호로부터 제1 번역 대상 데이터를 생성하는 번역 대상 데이터 생성부; 및 상기 제1 번역 대상 데이터에 대한 제1 번역 데이터를 획득하여 출력 음성 신호를 상기 스피커로 출력하는 번역 데이터 획득부; 를 포함하는 번역 장치가 제공된다.

본 발명에 있어서, 상기 방향 결정부는, 상기 마이크 모듈로부터 획득한 입력 음성 신호를 분석하여 제2 화자가 존재하는 제2 방향을 결정하고, 상기 번역 대상 데이터 생성부는, 상기 제2 방향에서 수신된 음성 신호를 추출하고, 상기 제2 방향에서 수신된 음성 신호로부터 제2 번역 대상 데이터를 생성하며, 상기 번역 데이터 획득부는, 상기 제2 번역 대상 데이터에 대한 제2 번역 데이터를 획득하여 스피커에 출력할 수 있다.

본 발명에 있어서, 상기 입력 음성 신호의 입력 방향이 상기 제1 방향과 오차 범위 내인지 혹은 상기 제2 방향과 오차 범위 내인지 여부를 판단하여 상기 입력 음성 신호의 화자를 결정하는 화자 결정부; 를 추가적으로 포함하고, 상기 번역 대상 데이터 생성부는 상기 입력 음성 신호의 화자에 따라 제1 번역 대상 데이터 또는 제2 번역 대상 데이터 중 하나를 생성할 수 있다.

본 발명에 있어서, 상기 제1 번역 데이터는 상기 제1 번역 대상 데이터를 상기 제2 번역 대상 데이터의 언어로 번역한 것이고, 상기 제2 번역 데이터는 상기 제2 번역 대상 데이터를 상기 제1 번역 대상 데이터의 언어로 번역한 것일 수 있다.

본 발명에 있어서, 상기 방향 결정부는, 상기 입력 음성 신호 중에서 초기 설정 구간의 음성 신호를 분석하여 상기 제1 방향을 결정할 수 있다.

본 발명에 있어서, 상기 번역 대상 데이터 생성부는, 상기 제1 방향에서 수신된 음성 신호를 추출할 때, 상기 제1 방향을 기설정된 값 이상으로 벗어나는 방향 범위에서 수신되는 음성 신호에 대해 노이즈 제거 처리를 할 수 있다.

본 발명에 있어서, 상기 마이크 모듈은, 복수개의 개별 지향성 마이크들을 포함하는 마이크 모듈일 수 있다.

본 발명에 있어서, 상기 마이크 모듈은 4개의 지향성 마이크들을 포함하며, 상기 4개의 지향성 마이크들은 가상의 사각형의 꼭지점들에 각각 대응되는 형상으로 배치될 수 있다.

본 발명에 있어서, 상기 번역 장치는 화자의 방향 또는 발화 상태를 나타내도록 점멸하는 하나 이상의 발광 소자를 더 포함할 수 있다.

본 발명의 다른 일 실시예에 따르면, 마이크 모듈로부터 획득한 입력 음성 신호를 분석하여 화자가 존재하는 방향을 결정하는 방향 결정 단계; 상기 입력 음성 신호에 기초하여, 상기 화자가 존재하는 방향에서 수신된 음성 신호를 추출하고, 상기 화자가 존재하는 방향에서 수신된 음성 신호로부터 번역 대상 데이터를 생성하는 번역 대상 데이터 생성 단계; 및 상기 번역 대상 데이터에 대한 번역 데이터를 획득하여 출력 음성 신호를 스피커로 출력하는 번역 데이터 획득 단계; 를 포함하는 번역 방법이 제공된다.

본 발명에 있어서, 상기 방향 결정 단계는, 상기 마이크 모듈로부터 획득한 입력 음성 신호를 분석하여 제1 화자가 존재하는 제1 방향 또는 제2 화자가 존재하는 제2 방향 중 하나 이상의 방향을 결정하고, 상기 번역 대상 데이터 생성 단계는, 상기 제1 방향 또는 제2 방향에서 수신된 음성 신호를 추출하고, 상기 제1 방향 또는 제2 방향에서 수신된 음성 신호로부터 제1 번역 대상 데이터 또는 제2 번역 대상 데이터를 생성하며, 상기 번역 데이터 획득 단계는, 상기 제1 번역 대상 데이터 또는 상기 제2 번역 대상 데이터에 대한 제1 번역 데이터 또는 제2 번역 데이터를 획득하여 스피커에 출력할 수 있다.

본 발명에 있어서, 상기 방향 결정 단계 이후에, 상기 입력 음성 신호의 입력 방향이 상기 제1 방향과 오차 범위 내인지 혹은 상기 제2 방향과 오차 범위 내인지 여부를 판단하여 상기 입력 음성 신호의 화자를 결정하는 화자 결정 단계; 를 추가적으로 포함하고, 상기 번역 대상 데이터 생성 단계는 상기 입력 음성 신호의 화자에 따라 제1 번역 대상 데이터 또는 제2 번역 대상 데이터 중 하나 이상을 생성할 수 있다.

본 발명에 있어서, 상기 방향 결정 단계는, 상기 입력 음성 신호 중에서 초기 설정 구간의 음성 신호를 분석하여 상기 화자가 존재하는 방향을 결정할 수 있다.

본 발명에 있어서, 상기 번역 대상 데이터 생성 단계는, 상기 화자가 존재하는 방향에서 수신된 음성 신호를 추출할 때, 상기 제1 방향을 기설정된 값 이상으로 벗어나는 방향 범위에서 수신되는 음성 신호에 대해 노이즈 제거 처리를 할 수 있다.

또한, 본 발명의 번역 방법을 실행시키기 위해 컴퓨터로 구현되는 전자 기기와 결합되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.

본 발명에 의하면, 마이크 모듈을 이용하여 입력 음성 신호로부터 화자의 방향을 결정한 후, 각 화자의 방향을 고려하여 음성을 추출함으로써, 마이크를 화자 가까이에 두지 않아도 정확한 번역 대상 데이터를 생성할 수 있는 번역 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 복수명 화자의 방향에 대응하는 화자의 언어를 결정함으로써, 번역 대상이 되는 언어와 번역 언어를 자동으로 선택할 수 있는 번역 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 화자의 방향에 대응하는 화자의 언어를 결정할 수 있으므로, 화자의 발화 시마다 입력 음성 신호의 언어를 인식할 필요가 없는 번역 장치를 제공할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2 는 본 발명의 일 실시예에 따른 번역 장치, 사용자 단말 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 3 은 본 발명의 일 실시예에 따른 프로세서의 내부 구성을 나타낸 것이다.
도 4 는 본 발명의 일 실시예에 따른 번역 방법을 시계열적으로 나타낸 도면이다.
도 5a 는 본 발명의 일 실시예에 따르면 번역 장치의 사용예를 설명하기 위한 도면이다.
도 5b 는 번역 장치 내외부의 데이터 흐름을 도식적으로 나타낸 것이다.
도 6 은 본 발명의 일 실시예에 따른 사용자 단말과 번역 장치의 동작을 설명하기 위한 도면이다.
도 7a 내지 도 7c 는 본 발명의 일 실시예에 따른 사용자 단말과 번역 장치의 동작을 설명하기 위한 도면이다.
도 8 은 입력 음성 신호에서 각 화자의 음성을 추출하기 위한 방법을 설명하기 위한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1 은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.

도 1의 네트워크 환경은 번역 장치(10), 복수의 사용자 단말들(110, 120, 130, 140), 및 서버(150)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 단말의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.

번역 장치(10)는 마이크 모듈(11) 및 스피커(12)를 포함하는 장치로서, 본 발명의 일 실시예에 따라 화자의 방향을 결정하고, 입력 음성 신호 중 화자의 방향에서 수신된 음성 신호를 추출하여 번역 대상 데이터를 생성하며, 번역 대상 데이터에 대한 번역 데이터를 획득하여 출력 음성 신호를 스피커로 출력할 수 있다. 번역 장치(10)의 구체적인 동작은 후술하기로 한다.

복수의 사용자 단말들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 사용자 단말들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 사용자 단말 1(110)은 무선 또는 유선 통신 방식을 이용하여 네트워크를 통해 번역 장치(10), 다른 사용자 단말들(120, 130, 140) 및/또는 서버(150)와 통신할 수 있다.

서버(150)는 번역 장치(10) 및 복수의 사용자 단말들(110, 120, 130, 140)과 네트워크를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.

일례로, 서버(150)는 네트워크를 통해 접속한 사용자 단말 1(110)로 본 발명의 번역 장치(10)의 위한 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 사용자 단말 1(110)은 서버(150)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한 사용자 단말 1(110)이 포함하는 운영체제(Operating System, OS) 및 적어도 하나의 프로그램(일례로 브라우저나 설치된 어플리케이션)의 제어에 따라 서버(150)에 접속하여 서버(150)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 예를 들어, 사용자 단말 1(110)이 어플리케이션의 제어에 따라 네트워크를 통해 번역 대상 데이터의 문자 데이터 변환 및 번역 요청을 서버(150)로 전송하면, 서버(150)는 번역 대상 데이터를 문자 데이터로 변환한 후 번역 데이터를 사용자 단말 1(110)로 전송할 수 있고, 사용자 단말 1(110)은 어플리케이션의 제어에 따라 번역 데이터를 번역 장치(10) 제공할 수 있다. 다른 예로, 서버(150)는 데이터 송수신을 위한 통신 세션을 설정하고, 설정된 통신 세션을 통해 사용자 단말(110)과 번역 장치(10) 간의 데이터 송수신을 라우팅할 수도 있다.

도 2 는 본 발명의 일 실시예에 따른 번역 장치, 사용자 단말 및 서버의 내부 구성을 설명하기 위한 블록도이다.

도 2 에서는 하나의 사용자 단말에 대한 예로서 번역 장치(10), 사용자 단말 1(110, 이하 사용자 단말), 그리고 서버(150)의 내부 구성을 설명한다. 다른 사용자 단말들(120, 130, 140)들 역시 동일한 또는 유사한 내부 구성을 가질 수 있다.

번역 장치(10)는 마이크 모듈(11), 스피커(12), 메모리(21), 프로세서(22), 통신 모듈(23), 그리고 입출력 인터페이스(24)를 포함할 수 있다. 메모리(21)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(21)에는 번역 장치(10)를 제어하기 위한 프로그램 코드 및 설정, 그리고 입력 음성 신호가 일시적 또는 영구적으로 저장될 수 있다.

프로세서(22)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(21) 또는 통신 모듈(23)에 의해 프로세서(22)로 제공될 수 있다. 예를 들어 프로세서(22)는 메모리(21)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

통신 모듈(23)은 네트워크(230, 240)를 통해 사용자 단말(110) 및 서버(150)와 통신하기 위한 기능을 제공할 수 있다. 일례로, 번역 장치(10)의 프로세서(22)가 메모리(21)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(23)의 제어에 따라 네트워크(230, 240)를 통해 사용자 단말(110) 또는 서버(150)로 전달될 수 있다. 역으로, 사용자 단말(110) 또는 서버(150)의 프로세서(212, 222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크(230, 240)를 거쳐 통신 모듈(23)을 통해 번역 장치(10)로 수신될 수 있다. 예를 들어 통신 모듈(23)을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서(22)나 메모리(21)로 전달될 수 있고, 컨텐츠나 파일 등은 사용자 단말(110)이 더 포함할 수 있는 저장 매체로 저장될 수 있다.

또한, 통신 모듈(23)은 사용자 단말(110)과 네트워크(230)를 통해 통신하고, 서버(160)와 네트워크(240)를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크(230)는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크(230)는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다. 네트워크(240)는 사용자 단말(110)과 서버(160) 간의 네트워크(240)의 개념을 동일하게 사용할 수 있으며, 이에 대해서는 후술하기로 한다.

입출력 인터페이스(24)는 마이크 모듈(11), 스피커(12) 및 외부의 음향 출력 장치(25)와의 인터페이스를 위한 수단일 수 있다. 마이크 모듈(11)은 복수개의 개별 마이크를 포함하는 마이크 모듈일 수 있다. 일 예로, 마이크 모듈(11)에 포함된 개별 마이크들은 지향성 마이크로서, 서로 다른 방향의 음향을 수신할 수 있도록 마이크 모듈(11)에 구비될 수 있다. 또한, 일 예로, 마이크 모듈(11)은 도 1 또는 도 5a 에 도시된 바와 같이, 4개의 지향성 마이크를 포함하며, 4개의 지향성 마이크들은 가상의 사각형의 꼭지점들에 각각 대응되는 형상으로 배치될 수 있다. 이때, 번역 장치(10)를 화자 가까이에 두지 않아도 입력 음성 신호를 수집할 수 있도록 각 개별 마이크는 장거리 음성포착 마이크(Far Field Microphone)로서, 최대 5m 까지 녹음이 가능한 마이크일 수 있다. 본 발명에 의하면, 마이크 모듈(11)이 4개 이상의 개별 마이크를 포함함으로써, 입력 음성 신호의 방향을 결정할 수 있다.

또한, 스피커(12)는 음향 신호를 출력할 수 있는 장치로서, 공지의 스피커들이 본원 발명이 스피커(12)에 제한 없이 적용될 수 있다. 또한, 음향 출력 장치(25)는 이어폰, 헤드셋, 외부 스피커 등의 번역 장치(10) 외부의 음향 출력 장치로서, 번역 장치(10)의 스피커(12)를 대신하여 출력 음성 신호를 출력할 수 있다.

또한, 비록 도 1 및 도 2 에는 도시되지 않았지만 번역 장치(10)는 하나 이상의 발광 소자를 더 포함할 수 있다. 본 발명의 일 실시예에 따르면, 발광 소자는 LED 발광 소자로서 화자의 방향 및 발화 상태를 나타내도록 점멸할 수 있다. 예를 들어, 번역 장치(10)는 제1 화자에 대응하는 제1 발광 소자 및 제2 화자에 대응하는 제2 발광 소자를 각각 구비하고, 입력 음성 신호의 방향이 제1 방향일 때 제1 발광 소자가 점멸됨으로써 제1 화자의 음성이 녹음 중임을 나타낼 수 있고, 입력 음성 신호의 방향이 제2 방향일 때 제2 발광 소자가 점멸함으로써 제2 화자의 음성이 녹음 중임을 나타낼 수 있다.

또한, 다른 실시예들에서 번역 장치(10)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 번역 장치(10)는 번역 장치의 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있다.

사용자 단말(110)과 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(211, 221)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 사용자 단말(110)에 설치되어 구동되는 브라우저나 상술한 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism)을 이용하여 메모리(211, 221)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(150))이 네트워크(240)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.

프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

통신 모듈(213, 223)은 네트워크(240)를 통해 사용자 단말(110)과 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 사용자 단말(일례로 사용자 단말 2(120)) 또는 다른 서버(일례로 서버(150))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 사용자 단말(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(213)의 제어에 따라 네트워크(240)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(240)를 거쳐 사용자 단말(110)의 통신 모듈(213)을 통해 사용자 단말(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 컨텐츠나 파일 등은 사용자 단말(110)이 더 포함할 수 있는 저장 매체로 저장될 수 있다.

통신 방식은 제한되지 않으며, 네트워크(240)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(240)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(240)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.

입출력 인터페이스(214, 224)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 사용자 단말(110)의 프로세서(212)는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 사용자 단말 2(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다.

또한, 다른 실시예들에서 사용자 단말(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 사용자 단말(110)은 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.

도 3 은 본 발명의 일 실시예에 따른 프로세서의 내부 구성을 나타낸 것이다.

도 3 의 (a)는 번역 장치(10)의 프로세서(22)의 내부 구성을 나타낸 것이다. 프로세서(22)는 방향 결정부(311), 화자 결정부(312), 번역 대상 데이터 생성부(313) 및 번역 데이터 획득부(314)를 포함한다. 실시예에 따라 프로세서(22)의 구성요소들은 선택적으로 프로세서(22)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(22)의 구성요소들은 프로세서(22)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.

이러한 프로세서(22) 및 프로세서(22)의 구성요소들은 도 4 의 번역 방법이 포함하는 단계들(S41 내지 S44)을 수행하도록 번역 장치(10)를 제어할 수 있다. 예를 들어, 프로세서(22) 및 프로세서(22)의 구성요소들은 메모리(21)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(22)의 구성요소들은 번역 장치(10) 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(22)에 의해 수행되는 프로세서(22)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서(22)의 내부 구성 및 구체적인 동작에 대해서는 도 4 의 번역 방법 및 도 5 내지 도 8 의 실시예를 참조하여 설명하기로 한다.

도 3 의 (b) 는 사용자 단말(110) 또는 서버(150)의 프로세서(212, 222)의 내부 구성을 나타낸 것이다. 프로세서(22)와 마찬가지로, 프로세서(212, 222)구성요소들은 선택적으로 프로세서(212, 222)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(212, 222)의 구성요소들은 프로세서(212, 222)의 기능의 표현을 위해 분리 또는 병합될 수도 있다. 또한, 프로세서(212, 222)의 내부 구성은 선택적으로 사용자 단말(110) 또는 서버(150)의 프로세서(212, 222)에서 구현될 수 있다. 예를 들어, 언어 인식부(321), 문자 변환부(322), 음성 변환부(324)가 프로세서(212)에서 구현되고, 번역부(323)가 프로세서(222)에서 구현될 수 있다. 내부 구성이 프로세서(212, 222)에서 선택적으로 구현되는 경우, 각 내부 구성의 기능의 수행을 위해 사용자 단말(110)과 서버(150)가 통신할 수 있다. 혹은, 프로세서(212, 222) 중 어느 하나의 프로세서에 언어 인식부(321), 문자 변환부(322), 번역부(323) 및 음성 변환부(324)가 모두 구현될 수 있다.

언어 인식부(321)는 번역 장치(10)로부터 획득한 번역 대상 데이터에 기초하여 번역 대상 데이터의 언어를 인식한다. 문자 변환부(322)는 인식된 언어에 기초하여, 혹은 화자의 방향 정보나 화자 정보에 대응하는 언어에 기초하여, 음성 데이터인 번역 대상 데이터를 문자로 변환한다. 번역부(323)는 문자로 변환된 번역 대상 데이터를 다른 언어로 번역한다. 음성 변환부는 다른 언어로 번역된 문자 데이터를 음성 데이터로 변환하여 번역 대상 데이터로 생성하고, 번역 대상 데이터를 번역 장치(10)로 전송한다. 예를 들어, 사용자 단말(110)의 어플리케이션은 번역 장치(10)로부터 번역 대상 데이터를 획득하여 서버(150)로 전송할 수 있다. 서버(150)의 프로세서(222)는 번역 대상 데이터의 언어를 인식하고, 인식된 언어에 기초하여 번역 대상 데이터를 문자 데이터로 변환하고, 변환된 문자 데이터를 다른 언어로 번역 후 번역 데이터 생성한 후 번역 데이터를 사용자 단말(110)에 전송할 수 있다. 사용자 단말(110)은 획득된 번역 데이터를 번역 장치(10)에 전송할 수 있다.

도 4 는 본 발명의 일 실시예에 따른 번역 방법을 시계열적으로 나타낸 도면이다.

도 4 를 참조하면, 먼저 방향 결정부(311)는 마이크 모듈(11)로부터 획득한 입력 음성 신호를 분석하여 화자가 존재하는 방향을 결정한다(S41). 이때, 화자가 존재하는 방향을 결정하기 위한 입력 음성 신호는 마이크 모듈(11)이 수집하는 입력 음성 신호 중 사용자의 설정 또는 번역 장치(10)의 내부 설정에 의한 초기 설정 구간의 신호일 수 있다. 보다 구체적으로, 방향 결정부(311)는 마이크 모듈(11)로부터 획득한 초기 설정 구간의 음성 신호를 분석하여 제1 화자가 존재하는 제1 방향을 결정하고, 제2 화자가 존재하는 제2 방향을 결정할 수 있다. 이때, 제1 방향 및 제2 방향은 공지의 사운드 소스 위치(Sound source location) 알고리즘을 이용하여 결정될 수 있다. 방향 결정부(311)는 마이크 모듈(11)에 포함된 개별 마이크들의 지향성 정보와, 개별 마이크들이 획득한 음성 신호로부터 사운드 소스 위치 알고리즘을 이용하여 화자가 존재하는 방향을 결정할 수 있다. 이때, 화자가 존재하는 방향은 입력 음성 신호의 dB(데시벨)이 최대치가 되는 방향일 수 있다. 또한, 제1 방향 및 제2 방향은 번역 장치(10)를 기준으로 결정될 수 있다.

다음으로, 화자 결정부(312)는 입력 음성 신호의 입력 방향이 제1 방향과 오차 범위 내인지 혹은 제2 방향과 오차 범위 내인지 여부를 판단하여 입력 음성 신호의 화자를 결정한다. 이때, 입력 방향이 제1 방향 또는 제2 방향과 오차 범위 내라는 것은 현재 입력 음성 신호의 방향(예를 들어, 사운드 소스 위치알고리즘으로 도출한 방향)이 제1 방향 또는 제2 방향으로부터 기설정된 각도 내인 것을 뜻할 수 있다. 즉, 본 발명의 화자 결정부(312)는 제1 화자의 방향인 제1 방향과 제2 화자의 방향인 제2 방향에 기초하여, 현재 수집 및 녹음되는 입력 음성 신호가 제1 화자에 의한 것인지 혹은 제2 화자에 의한 것인지를 결정할 수 있다.

다음으로, 번역 대상 데이터 생성부(313)는 입력 음성 신호에 기초하여, 화자가 존재하는 방향(제1 방향 또는 제2 방향)에서 수신된 음성 신호를 추출하고, 해당 방향에서 수신된 음성 신호로부터 번역 대상 데이터를 생성한다(S42). 이때, 화자 결정부(312)가 입력 음성 신호의 화자가 제1 화자라고 결정한 경우, 번역 대상 데이터 생성부(313)는 입력 음성 신호에 기초하여, 제1 방향에서 수신된 음성 신호를 추출하고, 제1 방향에서 수신된 음성 신호로부터 제1 번역 대상 데이터를 생성한다. 마찬가지로, 화자 결정부(312)가 입력 음성 신호의 화자가 제2 화자라고 결정한 경우, 번역 대상 데이터 생성부(313)는 입력 음성 신호에 기초하여, 제2 방향에서 수신된 음성 신호를 추출하고, 제2 방향에서 수신된 음성 신호로부터 제2 번역 대상 데이터를 생성한다.

또한, 번역 대상 데이터 생성부(313)가 생성한 번역 대상 데이터는 음성 신호뿐만 아니라, 음성 신호에 대응하는 화자 정보 또는 화자의 방향 정보 또는 화자 정보를 포함할 수 있다. 따라서, 사용자 단말(110) 또는 서버(150)는 번역 대상 데이터를 획득할 때마다 번역 대상 데이터의 언어를 인식할 필요 없이, 화자 정보 또는 방향 정보에 기초하여 번역 대상 데이터의 언어 및 번역 언어를 결정할 수 있으므로 번역 시간이 줄어들 수 있다.

또한, 번역 대상 데이터 생성부(313)는 화자가 존재하는 방향을 기설정된 값 이상 벗어나는 방향 범위에서 수신된 음성 신호에 대해 노이즈 제거 처리를 할 수 있다. 즉, 본 발명의 일 실시예에 따르면 화자가 존재하는 방향의 음성 신호를 추출할 수 있기 때문에, 다른 방향의 음성 신호는 노이즈 제거 처리를 하여 번역의 질을 높일 수 있다.

다음으로, 프로세서(212, 222)는 획득된 번역 대상 데이터를 문자 데이터로 변환하여 번역 후 번역 데이터를 생성한다(S43). 상술한 바와 같이, 사용자 단말(110) 또는 서버(150)는 번역 대상 데이터의 언어를 인식하고, 인식된 언어에 기초하여 번역 대상 데이터를 문자 데이터로 변환하고, 변환된 문자 데이터를 다른 언어로 번역 후 번역 데이터 생성한 후 번역 데이터를 번역 장치(10)에 전달할 수 있다. 이때, 다른 언어는 다른 화자의 언어이다. 또한, 본 발명의 일 실시예에 따르면 상술한 바와 같이 초기 설정 시가 아니라면 번역 대상 데이터에 포함된 화자 정보 또는 방향 정보에 기초하여 번역 대상 데이터의 언어를 결정할 수 있으므로, 언어 인식 과정이 생략되어 번역 시간이 감소할 수 있다.

다음으로, 번역 데이터 획득부(314)는 번역 대상 데이터에 대한 번역 데이터를 획득하여 출력 음성 신호를 스피커로 출력할 수 있다. 보다 상세히, 번역 데이터 획득부(314)는 제1 번역 대상 데이터에 대한 제1 번역 데이터를 획득하여 출력 음성 신호를 스피커로 출력하거나, 제2 번역 대상 데이터에 대한 제1 번역 데이터를 획득하여 출력 음성 신호를 스피커로 출력할 수 있다. 이때, 제1 번역 데이터는 제1 번역 대상 데이터를 제2 번역 대상 데이터의 언어로 번역한 것이고, 제2 번역 데이터는 제2 번역 대상 데이터를 제1 번역 대상 데이터의 언어로 번역한 것일 수 있다.

즉, 본 발명의 번역 장치(10)는 제1 화자의 음성을 제2 화자의 언어로 번역하여 출력할 수 있고, 제2 화자의 음성을 제1 화자의 언어로 번역하여 출력할 수 있다. 이때, 각 화자의 음성은 방향을 고려하여 자동으로 추출되므로, 기존의 마이크와 같이 현재 말하고 있는 화자 가까이에 번역 장치(10)가 존재할 필요 없이 번역 장치(10)를 제1 및 제2 화자의 근처에 놓아두는 것 만으로 제1 화자의 음성을 제2 화자의 언어의 음성으로, 혹은 그 반대로 번역하여 출력할 수 있다.

도 5a 는 본 발명의 일 실시예에 따르면 번역 장치의 사용예를 설명하기 위한 도면이다.

도 5a 를 참조하면, 테이블(53) 상에 번역 장치(10) 및 사용자 단말(110)을 두고, 번역 장치(10)를 기준으로 제1 화자(51)가 제1 방향(51')에, 제2 화자(52)가 제2 방향(52')에 위치할 수 있다. 본 발명에 의하면 화자의 음성을 수집할 때 마이크를 화자의 근처로 갖고 갈 필요 없이, 화자들로부터 5m 거리 이내에, 바람직하게는 1 내지 2m 거리 이내에 번역 장치(10)를 놓고 화자들간의 대화를 번역할 수 있다. 번역 장치(10)는 제1 방향(51')의 음성 신호를 추출하여 제2 화자(52)의 언어로 변환하여 스피커(12)로 출력하고, 제2 방향(52')의 음성 신호를 추출하여 제1 화자(51)의 언어로 변환하여 스피커(12)로 출력할 수 있다. 또한, 번역 장치(10)로부터 소정 거리 내에 사용자 단말(110)을 두고 번역 장치(10)를 제어하기 위한 신호를 입력하거나, 혹은 번역 장치(10)의 현재 상태를 나타내는 정보를 표시할 수 있다.

도 5b 는 번역 장치 내외부의 데이터 흐름을 도식적으로 나타낸 것이다.

도 6b 를 참조하면, 번역 장치(10)의 프로세서(22)는 마이크 모듈(11)로부터 입력 음성 신호를 획득한다. 이때, 입력 음성 신호는 마이크 모듈(11)의 개별 마이크들로부터 획득된 음성 신호일 수 있다. 프로세서(22)는 획득된 입력 음성 신호를 분석하여 화자가 존재하는 방향을 결정하고, 입력 음성 신호에 기초하여 화자가 존재하는 방향에서 수신된 음성 신호를 추출한 후 추출된 음성 신호로부터 번역 대상 데이터를 생성한다. 번역 대상 데이터를 수신한 사용자 단말(110) 또는 서버(150)는 번역 대상 데이터에 대한 번역 데이터를 번역 장치(10)로 전달한다. 번역 데이터를 획득한 프로세서(22)는 스피커로 출력 음성 신호를 출력한다.

도 6 은 본 발명의 일 실시예에 따른 사용자 단말과 번역 장치의 동작을 설명하기 위한 도면이다.

도 6 의 실시예에서, 사용자 단말(110)에는 번역 장치(10)를 위한 애플리케이션이 설치되어 있을 수 있으며, 사용자는 사용자 단말(110)을 이용하여 번역 장치(10)를 제어할 수 있다. 다만, 도 6 및 도 7a 내지 7c 의 실시예는 본 발명의 이해를 돕기 위해 사용자 단말(110)에 설치된 어플리케이션을 통해 번역 장치(10)를 제어하거나 번역 장치(10)의 현재 동작을 나타낸 실시예를 도시한 것일 뿐, 본 발명의 다른 실시예에 따르면 번역 장치(10)는 사용자의 직접적인 입력에 의해 제어될 수 있다. 또한, 이하의 설명에서 사용자 단말(110)에 대한 설명은 서버(150)에 대한 설명으로 이해될 수도 있다.

도 6 을 참조하면, 먼저 화자들은 서로의 언어를 번역하기 위해, 화자들의 방향 및 언어를 초기 설정할 수 있다. 도 6 에서는 <초기 설정을 위한 음성 인식 단계> 임이 안내되고, '- 입력 시작 버튼을 선택하고 5초간 말해주세요 -' 라는 안내문이 표시될 수 있다. 이때, 화자들은 입력 시작 버튼(61)을 선택하여 제1 화자의 방향 및 언어를 초기 설정하고, 입력 시작 버튼(63)을 선택하여 제2 화자의 방향 및 언어를 초기 설정할 수 있다.

예를 들어, 입력 시작 버튼(61)이 선택되면, 번역 장치(10)의 프로세서(22)는 마이크 모듈(11)로부터 입력 음성 신호를 획득하여, 제1 화자가 존재하는 제1 방향을 결정한 후, 사용자 단말(110)에 제1 번역 대상 데이터를 제공한다. 이때, 번역 장치(10)의 프로세서는 입력 시작 버튼(61, 63)이 선택된 후 5초간의 구간을 초기 설정 구간으로 설정하고, 입력 음성 신호 중에서 초기 설정 구간의 음성 신호를 분석하여 화자의 방향을 결정할 수 있다.

제1 번역 대상 데이터를 획득한 사용자 단말(110)은 제1 번역 대상 데이터를 문자 신호로 변환하고, 변환된 문자 신호를 분석하여 제1 화자의 언어를 인식하여 화자의 언어(62)를 표시할 수 있다. 만약, 사용자는 디스플레이에 나타난 화자의 언어가 실제 언어와 다른 경우 다시 입력 시작 버튼(61)을 선택하여 화자의 언어를 재설정할 수 있다. 제2 화자의 경우에도 제1 화자와 마찬가지의 방법으로 화자의 언어를 설정할 수 있다. 화자의 언어가 설정 완료되면, 사용자는 번역 시작 버튼(65)을 선택하여 화자들의 음성을 번역할 수 있다. 다만, 도 6 은 본 발명의 일 실시예에 따른 예일 뿐이고, 화자들의 언어가 직접 입력되는 경우 도 6 과 같은 초기의 언어를 설정하는 단계는 생략될 수 있다.

도 7a 내지 도 7c 는 본 발명의 일 실시예에 따른 사용자 단말과 번역 장치의 동작을 설명하기 위한 도면이다.

도 7a 의 화면은, 도 6 의 화면에서 사용자가 번역 시작 버튼(65)을 선택하였을 때 나타날 수 있는 화면이다. 번역 장치(10)의 프로세서(22)는 입력 음성 신호를 획득하여, 입력 음성 신호의 화자를 결정한다. 즉, 도 7a 의 실시예에서는, 도 6 의 실시예에서 결정된 제1 방향 및 제2 방향에 기초하여, 입력 음성 신호의 입력 방향이 제1 방향 또는 제2 방향과 오차 범위 내인지 여부를 판단하여 입력 음성 신호의 화자를 제1 화자인 것으로 결정한 예이다. 본 발명의 다른 실시예에서, 입력 음성 신호의 화자는 사용자의 입력을 통해 결정될 수 있다.

도 7a 의 실시예에서, 입력 음성 신호의 입력 방향이 제1 방향과 오차 범위 내인 것으로 판단되어 입력 음성 신호의 화자가 제1 화자인 것으로 결정되는 경우, 프로세서(22)는 사용자 단말(110)에 제1 화자의 음성 신호를 획득 중이라는 정보를 전달(①)할 수 있고, 이에 따라 사용자 단말(110)에는 '제1 화자 음성 인식 중' 이라는 정보가 표시될 수 있다. 사용자는 번역 버튼(71)을 선택하여 번역 시작 버튼(65)을 선택한 때로부터 번역 버튼(71)을 선택한 때까지 녹음된 입력 음성 신호에 대한 번역 대상 데이터를 요청할 수 있다(②).

번역 대상 데이터를 요청 받은 프로세서(22)는 입력 음성 신호에 기초하여, 제1 방향에서 수신된 음성 신호를 추출하고, 제1 방향에서 수신된 음성 신호로부터 제1 번역 대상 데이터를 생성하여 사용자 단말에 전달할 수 있다(④).

번역 대상 데이터를 수신한 사용자 단말(110)은 번역 대상 데이터를 문자 데이터로 변환하여 제2 화자의 언어로 번역 후 음성 신호인 번역 데이터를 생성하고, 생성된 번역 데이터를 번역 장치(10)의 프로세서(22)에 전달할 수 있다(④)

번역 데이터를 획득한 프로세서(22)는 출력 음성 신호를 스피커로 출력하면서, 번역 음성이 출력중이라는 정보를 사용자 단말(110)에 전달(⑤)하고, 따라서 사용자 단말(110)에는 '제1 화자 번역 음성 출력 중'이라는 정보가 표시될 수 있다. 이로써 번역 장치(10)의 스피커(12)에서 제1 화자의 음성이 한국어로 번역된 음성 신호가 출력될 수 있이다. 또한, 추가적으로 제1 화자 언어(영어)가 제2 화자 언어(한국어)로 번역되고 있음을 표시하는 정보가 표시될 수 있다. 사용자는 음성 인식 중 혹은 번역 음성 출력 중에 제2 화자 음성 인식 버튼(72)을 선택하여 음성을 인식할 화자를 변경할 수 있다.

도 7b 의 실시예는 도 7a 의 실시예와 달리, 입력 음성 신호의 입력 방향이 제1 방향 또는 제2 방향과 오차 범위 내인지 여부를 판단하여 입력 음성 신호의 화자를 제2 화자인 것으로 결정한 예이다. 즉, 도 7b 의 사용자 단말(110)의 화면에는 '제2 화자 음성 인식 중'이라는 정보가 표시될 수 있다. 또한, 사용자가 번역 버튼(71)을 선택하는 경우 번역 장치(10)의 스피커(12)에서는 제2 화자의 음성이 영어로 번역된 음성 신호가 출력되고, 이에 따라 '제2 화자 번역음성 출력 중'이라는 정보가 사용자 단말(110)에 표시될 수 있다. 사용자는 음성 인식 중 혹은 번역 음성 출력 중에 제1 화자 음성 인식 버튼(72)을 선택하여 음성을 인식할 화자를 변경할 수 있다. 화자가 상이하다는 차이점 말고는 도 7a 의 실시예와 도 7b 의 실시예는 동일하므로, 중복된 설명은 생략하기로 한다.

도 7c 의 실시예는 도 7a 및 도 7b의 실시예와 달리, 번역 장치(10)가 제1 화자 및 제2 화자의 번역된 음성 신호를 실시간으로 출력하는 경우에 사용자 단말(110)에 나타날 수 있는 화면을 예시한 것이다. 보다 상세히, 도 7c 의 실시예에서는 [제1 화자 음성 녹화->제1 화자 번역음성 출력->제2 화자 음성 녹화->제2 화자 번역음성 출력]의 순차적인 단계를 거칠 필요 없이, 제1 화자 또는 제2 화자의 번역 음성이 거의 실시간으로 스피커에서 출력될 수 있다. 이는, 상술한 바와 같이, 본 발명은 방향에 따라 화자를 판별하므로, 복수명의 화자가 존재하는 경우라도 실시간으로 화자의 음성 인식 및 번역음성 출력이 가능하기 때문이다.

도 8 은 입력 음성 신호에서 각 화자의 음성을 추출하기 위한 방법을 설명하기 위한 도면이다.

도 8 의 번역 장치(10)의 마이크 모듈(11)이 (a) 입력 음성 신호를 수신하는 경우, 프로세서(22)는 마이크 모듈(11)의 각 마이크들이 수집한 입력 음성 신호를 분석하여 (b) 제1 방향에서 수신된 입력 음성 신호, (c) 제2 방향에서 수신된 입력 음성 신호를 추출할 수 있다. 또한, 프로세서(22)는 제1 방향 또는 제2 방향에서 수신된 입력 음성 신호를 제외한 나머지 음성 신호를 (d) 노이즈로 판단할 수 있다.

도 8 을 참조하면, (a) 입력 음성 신호의 T1 및 T4 구간에는 제1 방향의 음성 신호가 주된 것으로 제1 화자가 말하고 있고, T2 구간에는 제2 방향의 음성 신호가 주된 것으로 제2 화자가 말하고 있으며, T3 구간에서는 노이즈만 검출되어 제1 화자 및 제2 화자 모두 말하고 있지 않음을 알 수 있다.

따라서, 도 8 의 (a) 입력 음성 신호를 획득하는 경우, 프로세서는 T1 및 T4 구간에서 실시간으로 제1 번역 대상 데이터를 생성하고 제1 번역 데이터를 획득한 후 출력 음성 신호를 스피커로 출력할 수 있고, T2 구간에서 실시간으로 제2 번역 대상 데이터를 생성하고 제2 번역 데이터를 획득한 후 출력 음성 신호를 스피커로 출력할 수 있다. 이는, 본 발명에 따르면 방향을 인식하여 번역 대상 데이터를 생성하므로 제1 화자 및 제2 화자의 입력 음성을 구분하여 번역 대상 데이터를 생성하고 각각의 번역 데이터를 획득할 수 있기 때문이다.

본 발명에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 단계들은 적당한 순서로 행해질 수 있다. 반드시 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

마이크 모듈;
스피커; 및
프로세서; 를 포함하는 번역 장치로서, 상기 프로세서는,
상기 마이크 모듈로부터 획득한 입력 음성 신호를 분석하여 제1 화자가 존재하는 제1 방향을 결정하는 방향 결정부;
상기 입력 음성 신호에 기초하여, 상기 제1 방향에서 수신된 음성 신호를 추출하고, 상기 제1 방향에서 수신된 음성 신호로부터 제1 번역 대상 데이터를 생성하는 번역 대상 데이터 생성부; 및
상기 제1 번역 대상 데이터에 대한 제1 번역 데이터를 획득하여 출력 음성 신호를 상기 스피커로 출력하는 번역 데이터 획득부;
를 포함하고,
상기 번역 데이터 획득부는 상기 번역 장치와 다른 타 장치로부터 상기 제1 번역 대상 데이터를 다른 언어로 번역한 상기 제1 번역 데이터를 획득하는, 번역 장치.
제 1 항에 있어서,
상기 방향 결정부는, 상기 마이크 모듈로부터 획득한 입력 음성 신호를 분석하여 제2 화자가 존재하는 제2 방향을 결정하고,
상기 번역 대상 데이터 생성부는, 상기 제2 방향에서 수신된 음성 신호를 추출하고, 상기 제2 방향에서 수신된 음성 신호로부터 제2 번역 대상 데이터를 생성하며,
상기 번역 데이터 획득부는, 상기 제2 번역 대상 데이터에 대한 제2 번역 데이터를 획득하여 스피커에 출력하는, 번역 장치.
제 2 항에 있어서,
상기 입력 음성 신호의 입력 방향이 상기 제1 방향과 오차 범위 내인지 혹은 상기 제2 방향과 오차 범위 내인지 여부를 판단하여 상기 입력 음성 신호의 화자를 결정하는 화자 결정부; 를 추가적으로 포함하고,
상기 번역 대상 데이터 생성부는 상기 입력 음성 신호의 화자에 따라 제1 번역 대상 데이터 또는 제2 번역 대상 데이터 중 하나를 생성하는, 번역 장치.
제 2 항에 있어서,
상기 제1 번역 데이터는 상기 제1 번역 대상 데이터를 상기 제2 번역 대상 데이터의 언어로 번역한 것이고,
상기 제2 번역 데이터는 상기 제2 번역 대상 데이터를 상기 제1 번역 대상 데이터의 언어로 번역한 것인, 번역 장치.
제 1 항에 있어서,
상기 방향 결정부는,
상기 입력 음성 신호 중에서 초기 설정 구간의 음성 신호를 분석하여 상기 제1 방향을 결정하는, 번역 장치.
제 1 항에 있어서,
상기 번역 대상 데이터 생성부는,
상기 제1 방향에서 수신된 음성 신호를 추출할 때, 상기 제1 방향을 기설정된 값 이상으로 벗어나는 방향 범위에서 수신되는 음성 신호에 대해 노이즈 제거 처리를 하는, 번역 장치.
제 1 항에 있어서,
상기 마이크 모듈은, 복수개의 개별 지향성 마이크들을 포함하는 마이크 모듈인, 번역 장치.
제 7 항에 있어서,
상기 마이크 모듈은 4개의 지향성 마이크들을 포함하며, 상기 4개의 지향성 마이크들은 가상의 사각형의 꼭지점들에 각각 대응되는 형상으로 배치되는, 번역 장치.
제 1 항에 있어서,
상기 번역 장치는 화자의 방향 또는 발화 상태를 나타내도록 점멸하는 하나 이상의 발광 소자를 더 포함하는, 번역 장치.
번역 장치에 의해 수행되는 번역 방법으로서, 상기 번역 방법은,
마이크 모듈로부터 획득한 입력 음성 신호를 분석하여 화자가 존재하는 방향을 결정하는 방향 결정 단계;
상기 입력 음성 신호에 기초하여, 상기 화자가 존재하는 방향에서 수신된 음성 신호를 추출하고, 상기 화자가 존재하는 방향에서 수신된 음성 신호로부터 번역 대상 데이터를 생성하는 번역 대상 데이터 생성 단계; 및
상기 번역 대상 데이터에 대한 번역 데이터를 획득하여 출력 음성 신호를 스피커로 출력하는 번역 데이터 획득 단계;
를 포함하고,
상기 번역 데이터 획득 단계는, 상기 번역 장치와 다른 타 장치로부터 번역 대상 데이터를 다른 언어로 번역한 번역 데이터를 획득하는, 번역 방법.
제 10 항에 있어서,
상기 방향 결정 단계는, 상기 마이크 모듈로부터 획득한 입력 음성 신호를 분석하여 제1 화자가 존재하는 제1 방향 또는 제2 화자가 존재하는 제2 방향 중 하나 이상의 방향을 결정하고,
상기 번역 대상 데이터 생성 단계는, 상기 제1 방향 또는 제2 방향에서 수신된 음성 신호를 추출하고, 상기 제1 방향 또는 제2 방향에서 수신된 음성 신호로부터 제1 번역 대상 데이터 또는 제2 번역 대상 데이터를 생성하며,
상기 번역 데이터 획득 단계는, 상기 제1 번역 대상 데이터 또는 상기 제2 번역 대상 데이터에 대한 제1 번역 데이터 또는 제2 번역 데이터를 획득하여 스피커에 출력하는, 번역 방법.
제 11 항에 있어서,
상기 방향 결정 단계 이후에,
상기 입력 음성 신호의 입력 방향이 상기 제1 방향과 오차 범위 내인지 혹은 상기 제2 방향과 오차 범위 내인지 여부를 판단하여 상기 입력 음성 신호의 화자를 결정하는 화자 결정 단계; 를 추가적으로 포함하고,
상기 번역 대상 데이터 생성 단계는 상기 입력 음성 신호의 화자에 따라 제1 번역 대상 데이터 또는 제2 번역 대상 데이터 중 하나 이상을 생성하는, 번역 방법.
제 11 항에 있어서,
상기 제1 번역 데이터는 상기 제1 번역 대상 데이터를 상기 제2 번역 대상 데이터의 언어로 번역한 것이고,
상기 제2 번역 데이터는 상기 제2 번역 대상 데이터를 상기 제1 번역 대상 데이터의 언어로 번역한 것인, 번역 방법.
제 10 항에 있어서,
상기 방향 결정 단계는,
상기 입력 음성 신호 중에서 초기 설정 구간의 음성 신호를 분석하여 상기 화자가 존재하는 방향을 결정하는, 번역 방법.
제 11 항에 있어서,
상기 번역 대상 데이터 생성 단계는,
상기 화자가 존재하는 방향에서 수신된 음성 신호를 추출할 때, 상기 제1 방향을 기설정된 값 이상으로 벗어나는 방향 범위에서 수신되는 음성 신호에 대해 노이즈 제거 처리를 하는, 번역 방법.
제 10 항 내지 제 15 항 중 어느 한 항의 번역 방법을 실행시키기 위해 컴퓨터로 구현되는 전자 기기와 결합되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.