KR20200090579A - 스마트 디바이스를 이용한 통번역 방법 및 시스템 - Google Patents

스마트 디바이스를 이용한 통번역 방법 및 시스템 Download PDF

Info

Publication number
KR20200090579A
KR20200090579A KR1020190007782A KR20190007782A KR20200090579A KR 20200090579 A KR20200090579 A KR 20200090579A KR 1020190007782 A KR1020190007782 A KR 1020190007782A KR 20190007782 A KR20190007782 A KR 20190007782A KR 20200090579 A KR20200090579 A KR 20200090579A
Authority
KR
South Korea
Prior art keywords
smart device
voice signal
user
translation
language
Prior art date
Application number
KR1020190007782A
Other languages
English (en)
Other versions
KR102173975B1 (ko
Inventor
조진욱
Original Assignee
(주)한컴인터프리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한컴인터프리 filed Critical (주)한컴인터프리
Priority to KR1020190007782A priority Critical patent/KR102173975B1/ko
Publication of KR20200090579A publication Critical patent/KR20200090579A/ko
Application granted granted Critical
Publication of KR102173975B1 publication Critical patent/KR102173975B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Landscapes

  • Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 스마트 디바이스를 이용한 통번역 방법 및 시스템에 관한 것으로, 본 발명에 따른 제1 스마트 디바이스 및 제2 스마트 디바이스와의 통신을 통해 통번역 서비스를 지원하는 서비스 서버가 수행하는 통번역 방법은 제1 스마트 디바이스로부터 사용자의 음성 신호를 수신하는 단계, 수신한 음성 신호를 분석하여 번역 대상 언어를 인식하는 단계, 인식된 번역 대상 언어로 사용자의 음성 신호를 번역하는 단계 및 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스에 전송하여 제2 스마트 디바이스를 통해 출력되도록 하는 단계를 포함한다. 본 발명에 의하면, 복수의 스마트 디바이스를 통해 서로 다른 언어를 사용하는 복수의 사용자 간에 먼 거리에서도 실시간으로 대화할 수 있게 된다.

Description

스마트 디바이스를 이용한 통번역 방법 및 시스템{Method and System for Interpreting and Translating using Smart Device}
본 발명은 스마트 디바이스를 이용한 통번역 방법 및 시스템에 관한 것으로, 보다 상세하게는 스마트 디바이스를 이용하여 먼 거리에서 서로 다른 언어를 사용하더라도 실시간으로 대화할 수 있도록 한 스마트 디바이스를 이용한 통번역 방법 및 시스템에 관한 것이다.
최근 들어, 스마트폰의 사용이 보편화됨에 따라 인터넷을 통해 제공되던 서비스들이 단말 장치를 통해 제공되고 있으며, 국내 기업의 해외 진출 및 해외 기업의 국내 진출이 활발해지고 해외로 여행하는 여행객이 늘어남에 따라 번역 또는 통역 등을 이용할 수 있는 서비스의 중요성이 커지고 있다.
그리고 외국에 지사를 둔 기업, 기관 또는 지자체 등의 고객이나 해외와 활발한 의사소통을 수행해야 하는 많은 분야에서는 번역/통역 등의 서비스를 필요로 하고 있어, 관련 기업에서는 음성으로 번역 또는 통역을 수행하여 즉각적으로 의사소통의 문제를 해결해줄 수 있도록 한 다국어 번역/통역 서비스 및 고객과 기업에 맞는 솔루션을 개발하고 있다,
또한, 다국적 친구와 채팅을 하려고 할 경우 예컨대, 한국어일 경우 일본어로, 일본어일 경우 한국어로 자동 인식할 수 있도록 해당 국가의 언어를 선택하고 설정 또는 실행하여 이용하고 있다.
하지만, 상술한 종래의 번역 또는 통역 서비스는 해당 서비스 이용자가 서비스를 이용할 때마다 상대방이 쓰는 언어와 자신이 말할 언어를 선택 및 실행하여 국가적 및 언어적 정보를 설정하는 과정을 반드시 거쳐야 하는 번거로움이 있었다.
그리고 스마트폰을 이용하여 번역 또는 통역 서비스를 수행할 경우, 사용자가 항상 스마트폰을 가지고 있어야 하며, 서비스 이용자와 상대방 중 하나라도 스마트폰을 가지고 있지 않을 경우에는 먼 거리에서 해당 서비스를 전혀 이용할 수 없는 문제점이 있었다.
따라서 자신이 사용하는 언어와 상대방이 사용하는 언어를 매번 선택하여 실행해야 하는 별도의 조작 과정 없이 상대방이 사용하는 언어를 자동으로 인식하여 번역할 수 있으며, 서로 다른 언어를 사용하는 서비스 이용자와 상대방이 먼 거리에 있어도 실시간으로 대화할 수 있는 기술의 필요성이 요구되었다.
한국공개특허공보 제2008-0040960호(공개일: 2008. 05. 09)
따라서 본 발명이 해결하고자 하는 기술적 과제는 복수의 스마트 디바이스를 이용하여 서로 다른 언어를 사용하는 복수의 사용자 간에 먼 거리에서도 실시간으로 대화할 수 있도록 한 스마트 디바이스를 이용한 통번역 방법 및 시스템에 관한 것이다.
그리고 본 발명이 해결하고자 하는 다른 기술적 과제는 사용자가 사용하는 언어와 상대방이 사용하는 언어를 매번 선택하여 실행해야 하는 별도의 조작 과정 없이도 상대방이 사용하는 언어를 자동으로 인식하여 번역할 수 있는 스마트 디바이스를 이용한 통번역 방법 및 시스템에 관한 것이다.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 제1 스마트 디바이스 및 제2 스마트 디바이스와의 통신을 통해 통번역 서비스를 지원하는 서비스 서버가 수행하는 통번역 방법은 상기 제1 스마트 디바이스로부터 사용자의 음성 신호를 수신하는 단계; 상기 수신한 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식하는 단계; 상기 인식된 번역 대상 언어로 상기 사용자의 음성 신호를 번역하는 단계; 및 상기 번역 대상 언어로 번역된 사용자의 음성 신호를 상기 제2 스마트 디바이스에 전송하여 상기 제2 스마트 디바이스를 통해 출력되도록 하는 단계를 포함한다.
상기 번역 대상 언어 인식 단계는 상기 수신한 사용자의 음성 신호를 분석하여 상기 사용자의 음성 신호에서 핵심어를 추출하고, 미리 저장되어 있는 통번역 언어 리스트에서 상기 추출된 핵심어에 대응하는 번역 대상 언어를 검색하여 상기 번역 대상 언어를 인식할 수 있다.
상기 제2 스마트 디바이스로부터 상기 사용자의 음성 신호에 응답하는 상대방의 음성 신호를 수신하는 단계; 상기 상대방의 음성 신호를 사용자의 언어로 번역하는 단계; 및 상기 사용자의 언어로 번역된 상대방의 음성 신호를 상기 제1 스마트 디바이스로 전송하여 상기 제1 스마트 디바이스를 통해 출력되도록 하는 단계를 더 포함할 수 있다.
상기 핵심어는 상기 상대방의 이름이나 별명을 포함할 수 있다.
상기 제2 스마트 디바이스 출력 단계는 상기 제2 스마트 디바이스가 복수 개인 경우, 상기 번역 대상 언어로 번역된 사용자의 음성 신호를 상기 복수 개의 제2 스마트 디바이스에 전송하여 상기 복수 개의 제2 스마트 디바이스를 통해 출력되도록 하고, 상기 복수 개의 제2 스마트 디바이스 중 상기 상대방의 음성 신호를 수신한 제2 스마트 디바이스의 동작 모드를 활성화시킬 수 있다.
한편, 본 발명의 다른 실시예에 따른 적어도 하나의 제2 스마트 디바이스와의 통신을 통해 통번역 서비스를 지원하는 제1 스마트 디바이스가 수행하는 통번역 방법은 사용자의 음성 신호를 입력 받는 단계; 상기 입력 받은 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식하는 단계; 상기 인식된 번역 대상 언어로 상기 사용자의 음성 신호를 번역하는 단계; 및 상기 번역 대상 언어로 번역된 상기 사용자의 음성 신호를 상기 제2 스마트 디바이스에 전송하여 상기 제2 스마트 디바이스를 통해 출력되도록 하는 단계를 포함할 수 있다.
상기 번역 대상 언어 인식 단계는 상기 입력 받은 사용자의 음성 신호를 분석하여 상기 사용자의 음성 신호에서 핵심어를 추출하고, 미리 저장되어 있는 통번역 언어 리스트에서 상기 추출된 핵심어에 대응하는 번역 대상 언어를 검색하여 상기 번역 대상 언어를 인식할 수 있다.
상기 출력된 사용자의 음성 신호에 응답하는 상대방의 음성 신호를 상기 제2 스마트 디바이스를 통해 수신하는 단계, 상기 수신된 상대방의 음성 신호를 사용자의 언어로 번역하는 단계; 및 상기 사용자의 언어로 번역된 상대방의 음성 신호를 출력하는 단계를 더 포함할 수 있다.
상기 출력된 사용자의 음성 신호에 응답하는 상대방의 음성 신호가 상기 제2 스마트 디바이스에 입력되면, 상기 제2 스마트 디바이스가 상기 상대방의 음성 신호를 사용자의 언어로 번역하는 단계; 및 상기 사용자의 언어로 번역된 상대방의 음성 신호를 상기 제1 스마트 디바이스로 전송하여 상기 제1 스마트 디바이스를 통해 출력되도록 하는 단계를 더 포함할 수 있다.
상기 제2 스마트 디바이스 출력 단계는 상기 번역 대상 언어로 번역된 상기 사용자의 음성 신호와 함께 상기 사용자의 언어에 대한 정보를 상기 제2 스마트 디바이스에 전송할 수 있다.
또 한편, 본 발명의 일 실시예에 따른 스마트 디바이스를 이용한 통번역 시스템은 제1 스마트 디바이스로부터 사용자의 음성 신호를 수신하고, 상기 수신한 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식하고, 상기 인식된 번역 대상 언어로 상기 사용자의 음성 신호를 번역하고, 상기 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스에 전송하여 상기 제2 스마트 디바이스를 통해 출력되도록 하는 서비스 서버를 포함한다.
상기 서비스 서버는 상기 수신한 사용자의 음성 신호를 분석하여 상기 음성 신호에서 핵심어를 추출하고, 미리 저장되어 있는 통번역 언어 리스트에서 상기 추출된 핵심어에 대응하는 번역 대상 언어를 검색하여 상기 번역 대상 언어를 인식할 수 있다.
상기 서비스 서버는 상기 제2 스마트 디바이스로부터 상기 사용자의 음성 신호에 응답하는 상대방의 음성 신호를 수신하고, 상기 상대방의 음성 신호를 사용자의 언어로 번역하며, 상기 사용자의 언어로 번역된 상대방의 음성 신호를 상기 제1 스마트 디바이스로 전송하여 상기 제1 스마트 디바이스를 통해 출력되도록 할 수 있다.
상기 핵심어는 상기 상대방의 이름이나 별명을 포함할 수 있다.
상기 서비스 서버는 상기 제2 스마트 디바이스가 복수 개인 경우, 상기 번역 대상 언어로 번역된 사용자의 음성 신호를 상기 복수 개의 제2 스마트 디바이스에 전송하여 상기 복수 개의 제2 스마트 디바이스를 통해 출력되도록 할 수 있다.
상기 서비스 서버는 상기 복수 개의 제2 스마트 디바이스 중 상기 상대방의 음성 신호를 수신한 제2 스마트 디바이스의 동작 모드를 활성화시킬 수 있다.
이와 같이 본 발명의 실시예에 따른 스마트 디바이스를 이용한 통번역 방법 및 시스템에 따르면, 복수의 스마트 디바이스를 이용하여 서로 다른 언어를 사용하는 복수의 사용자 간에 먼 거리에서도 실시간으로 대화할 수 있게 하는 장점이 있다.
그리고 사용자가 사용하는 언어와 상대방이 사용하는 언어를 매번 선택하여 실행해야 하는 별도의 조작 과정 없이 상대방이 사용하는 언어를 자동으로 인식하여 번역할 수 있는 장점이 있다.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스를 이용한 통번역 시스템을 보여주는 구성도이다.
도 2는 도 1에 도시한 스마트 디바이스 및 서비스 서버의 세부 구성도이다.
도 3은 본 발명의 다른 실시예에 따른 스마트 디바이스를 이용한 통번역 시스템을 보여주는 구성도이다.
도 4는 본 발명의 일 실시예에 따른 스마트 디바이스를 이용한 통번역 과정을 보여주는 동작 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 스마트 디바이스를 이용한 통번역 과정을 보여주는 동작 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 스마트 디바이스를 이용한 통번역 과정을 보여주는 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스를 이용한 통번역 시스템을 보여주는 구성도 및 도 2는 도 1에 도시한 스마트 디바이스 및 서비스 서버의 세부 구성도를 나타낸다.
도 1 및 도 2에 도시한 바와 같이, 스마트 디바이스를 이용한 통번역 시스템은 복수의 스마트 디바이스(100) 및 서비스 서버(200)를 포함하여 구성된다.
복수의 스마트 디바이스(100)는 통신망(10)을 통해 서비스 서버(200)와 각종 정보를 교환할 수 있다.
여기서, 통신망(10)은 구내 정보 통신망(Local Area Network, LAN), 도시권 통신망(Metropolitan Area Network: MAN), 광역 통신망(Wide Area Network: WAN), 인터넷(Internet), 3G/4G/5G(generation) 이동통신망, 와이파이(Wi-Fi), WIBRO(Wireless Broadband Internet) 또는 LTE(Long Term Evolution) 등을 포함하는 각종 데이터 통신망을 포함할 수 있고, 유선과 무선을 가리지 않으며 어떠한 통신 방식을 사용하더라도 상관없다.
복수의 스마트 디바이스(100)는 미리 정해진 위치에 각각 설치될 수 있다. 예컨대, 주거 공간을 기준으로 설명할 경우, 복수의 스마트 디바이스(100)는 화장실, 안방, 창고, 주방, 거실 또는 테라스 등에 각각 설치될 수 있으며, 사무 공간을 기준으로 설명할 경우, 복수의 스마트 디바이스(100)는 회의실, 화장실, 휴게실 또는 창고 등에 각각 설치될 수 있다.
복수의 스마트 디바이스(100)는 음성 신호를 입력 받는 기능 및 음성 신호를 출력하는 기능을 수행할 수 있으며, 입력 받은 음성 신호를 서비스 서버(200)로 전송하고, 서비스 서버(200)로부터 전송 받은 음성 신호를 출력하는 기능을 수행할 수 있다.
서비스 서버(200)는 복수의 스마트 디바이스(100)와의 통신을 통해 통번역 서비스를 지원할 수 있다. 여기서, 설명의 편의를 위하여 복수의 스마트 디바이스(100)를 제1 스마트 디바이스(110) 및 제2 스마트 디바이스(130)로 구분하여 설명하도록 한다.
보다 자세하게 설명하면, 서비스 서버(200)는 통신부(210), 제어부(220), 저장부(230), 입력부(240) 및 출력부(250)를 포함할 수 있다.
통신부(210)는 제어부(220)의 제어 하에 복수의 스마트 디바이스(100)와 유선 또는 무선 통신 방식으로 통신하여 각종 정보를 교환할 수 있다. 통신부(210)는 제1 스마트 디바이스(110)로부터 사용자의 음성 신호를 수신할 수 있다. 예컨대, 주방에 제1 스마트 디바이스(110)가 설치된 상태에서 주방에 있던 사용자가 “데이비드! 어디 있니?”라고 소리칠 경우, 제1 스마트 디바이스(110)는 사용자의 음성 신호를 입력 받아 서비스 서버(200)로 전송할 수 있다.
제어부(220)는 제1 스마트 디바이스(110)로부터 수신한 음성 신호를 분석하여 번역 대상 언어를 인식할 수 있다. 즉, 제어부(220)는 제1 스마트 디바이스(110)로부터 수신한 사용자의 음성 신호를 분석하여 사용자의 음성 신호에서 핵심어를 추출하고, 저장부(230)에 저장되어 있는 통번역 언어 리스트에서 핵심어에 대응하는 번역 대상 언어를 검색하여 번역 대상 언어를 인식할 수 있다. 핵심어는 상대방의 이름이나 별명 등으로 이루어질 수 있으며, 이외에 상대방을 식별하기 위한 다양한 단어 정보로 이루어질 수 있다. 그리고 통번역 언어 리스트에는 사용자별로 핵심어에 대응하는 번역 대상 언어가 리스트 형태로 저장되어 있을 수 있다. 예컨대, 데이비드(제1 핵심어)-영어(제1 번역 대상 언어), 미카엘(제2 핵심어)-독어(제2 번역 대상 언어), 아무로(제3 핵심어)-일어(제3 번역 대상 언어) 등의 형태로 통번역 언어 리스트가 저장될 수 있다.
이와 같이, 제어부(220)는 사용자의 음성 신호인 “데이비드! 어디 있니?”에서 핵심어인 “데이비드”를 인식할 수 있으며, 저장부(230)에 저장되어 있는 통번역 언어 리스트에서 데이비드에 대응하는 번역 대상 언어를 검색하여 데이비드의 번역 대상 언어가 영어인 것을 인식할 수 있다.
제어부(220)는 인식된 번역 대상 언어로 사용자의 음성 신호를 번역할 수 있으며, 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스(130)에 전송하여 제2 스마트 디바이스(130)를 통해 출력되도록 제어할 수 있다.
예를 들어 설명하면, 제어부(220)는 사용자의 음성 신호인 “데이비드! 어디 있니?”를 “David! Where are you?”로 번역한 후 통신부(210)를 통해 제2 스마트 디바이스(130)로 전송할 수 있다. 그러면 제2 스마트 디바이스(130)에서는 “David! Where are you?”를 스피커를 통해 출력할 수 있다.
이때, 제2 스마트 디바이스(130)가 복수 개인 경우, 제어부(220)는 번역 대상 언어로 번역된 사용자의 음성 신호를 복수 개의 제2 스마트 디바이스(130)에 각각 전송하여 복수 개의 제2 스마트 디바이스(130)를 통해 출력되도록 제어할 수 있다.
예컨대, 주방에는 제1 스마트 디바이스가 설치되어 있고, 이를 제외한 공간인 화장실, 안방, 창고, 거실 및 테라스마다 제2 스마트 디바이스가 설치되어 있을 경우, 제어부(220)는 사용자가 위치한 주방을 제외한 공간에 있는 복수 개의 제2 스마트 디바이스를 통해 번역 대상 언어로 번역된 사용자의 음성 신호가 출력되도록 제어할 수 있다.
그러면, 상대방이 사용자와 같은 공간에 없더라도 제2 스마트 디바이스(130)를 통해 사용자의 음성 신호를 들을 수 있게 된다.
한편, 통신부(210)는 제2 스마트 디바이스(130)로부터 사용자의 음성 신호에 응답하는 상대방의 음성 신호를 수신할 수 있다. 예컨대, 화장실에 있던 데이비드가 화장실에 설치된 제2 스마트 디바이스(130)를 통해 “David! Where are you?”를 들었을 경우, “I’m in the bathroom”이라고 대답할 수 있으며, “I’m in the bathroom”라는 데이비드의 음성 신호는 제2 스마트 디바이스(130)로 입력되어 서비스 서버(200)로 전송될 수 있다.
그러면, 제어부(220)는 통신부(210)를 통해 제2 스마트 디바이스(130)로부터 전송되는 상대방의 음성 신호를 수신하여 사용자의 언어로 번역하고, 사용자의 언어로 번역된 상대방의 음성 신호를 제1 스마트 디바이스(110)로 전송하여 제1 스마트 디바이스(110)를 통해 출력되도록 제어할 수 있다. 이때, 사용자의 언어에 대한 정보는 저장부(230)에 미리 저장되어 있을 수 있다. 예컨대, 제어부(220)는 상대방의 음성 신호인 “I’m in the bathroom.”를 사용자의 언어인 한국어로 번역하여 “저는 화장실에 있어요.”를 생성할 수 있고, 이를 제1 스마트 디바이스(110)로 전송하여 스피커를 통해 출력되도록 제어할 수 있다.
그러면, 사용자는 번역된 데이비드의 음성 신호를 들은 후 다시 자신의 음성 신호를 출력할 수 있으며, 복수의 스마트 디바이스(100) 및 서비스 서버(200)를 통해 음성 신호를 송수신하고 번역하는 과정을 반복하여 사용자와 상대방 간에 실시간으로 대화할 수 있도록 한다.
이때, 제2 스마트 디바이스(130)가 복수 개인 경우, 복수 개의 제2 스마트 디바이스(130) 중 상대방의 음성 신호를 수신한 제2 스마트 디바이스(130)의 동작 모드를 활성화시킬 수 있다. 예컨대, 6개의 제2 스마트 디바이스가 화장실, 안방, 창고, 주방, 거실, 테라스에 각각 설치된 상태에서 화장실에 있는 제2 스마트 디바이스에서 상대방의 음성 신호를 수신한 경우, 화장실에 있는 제2 스마트 디바이스만 동작할 수 있는 상태로 전환하고, 나머지 공간에 있는 제2 스마트 디바이스는 대기 모드로 전환하여 에너지를 절약할 수 있도록 한다.
즉, 제어부(220)는 상대방의 음성 신호를 가장 큰 세기로 수신하는 제2 스마트 디바이스(130)에 대해서만 동작 모드를 활성화시키고, 나머지 제2 스마트 디바이스(130)에 대해서는 대기 모드로 전환할 수 있도록 제어 신호를 출력할 수 있다. 그러면, 출력된 제어 신호를 수신한 제2 스마트 디바이스(130)는 대기 모드로 전환할 수 있으며, 대기 모드로 전환된 상태에서 음성 신호가 수신되면 동작 모드가 활성화될 수 있다.
저장부(230)는 서비스 서버(200)를 제어하고 음성 신호를 번역하기 위한 제어 프로그램 및 다양한 기능을 수행하기 위한 프로그램이 저장될 수 있다. 그리고 저장부(230)는 통번역 언어 리스트 등이 저장될 수 있으며, 이러한 통번역 언어 리스트는 통번역 서비스를 이용하고자 하는 사용자로부터 미리 제공받아 저장될 수 있다.
이때, 통번역 언어 리스트는 전화번호부를 이용하여 생성될 수 있는데, 사용자가 전화번호부를 입력할 때 상대방의 이름 및 연락처 정보와 함께 상대방의 국가나 언어에 대한 정보를 저장할 경우 별도의 통번역 언어 리스트를 생성하지 않고 사용자가 자신의 전화번호부를 서비스 서버(200)에 전송하는 것만으로도 서비스 서버(200)에 통번역 언어 리스트를 자동으로 등록할 수 있다.
입력부(240)는 서비스 서버(200)를 관리하는 관리자로부터 서비스 서버(200)를 관리하기 위한 신호를 입력 받아 제어부(220)로 전송할 수 있고, 출력부(250)는 제어부(220)의 제어 하에 서비스 서버(200)의 상태나 메뉴 화면 등을 출력할 수 있다.
한편, 제1 스마트 디바이스(110)는 제1 입력 모듈(111), 제1 제어 모듈(112), 제1 통신 모듈(113), 제1 출력 모듈(114) 및 제1 저장 모듈(115)을 포함하고, 제2 스마트 디바이스(130)는 제2 입력 모듈(131), 제2 제어 모듈(132), 제2 통신 모듈(133), 제2 출력 모듈(134) 및 제2 저장 모듈(135)을 포함할 수 있다.
제1 입력 모듈(111)은 마이크로폰 및 증폭기를 포함할 수 있으며, 마이크로폰을 통해 음파로 된 음성 신호를 입력 받고, 증폭기를 통해 음성 신호의 음량을 증폭할 수 있다.
제1 제어 모듈(112)은 제1 스마트 디바이스(110)를 전반적으로 제어하는 수단으로서, 제1 입력 모듈(111)을 통해 입력 받은 음성 신호가 제1 통신 모듈(113)을 통해 서비스 서버(200)로 전송되도록 제어할 수 있으며, 제1 통신 모듈(113)을 통해 번역이 완료된 음성 신호를 서비스 서버(200)로부터 수신하여 제1 출력 모듈(114)을 통해 출력되도록 제어할 수 있다.
제1 통신 모듈(113)은 제1 제어 모듈(112)의 제어 하에 서비스 서버(200)와 유선 또는 무선 통신 방식으로 통신하여 각종 정보를 교환할 수 있다.
제1 출력 모듈(114)은 번역이 완료된 음성 신호를 출력할 수 있는 스피커로 이루어질 수 있다. 즉, 제1 출력 모듈(114)는 번역이 완료된 음성 신호를 스피커를 통해 출력하여 사용자 또는 상대방이 들을 수 있도록 한다.
제1 저장 모듈(115)은 제1 스마트 디바이스(100)를 제어하기 위한 제어 프로그램 및 다양한 기능을 수행하기 위한 프로그램이 저장될 수 있다.
제2 스마트 디바이스(130)를 이루고 있는 구성요소가 수행하는 기능은 제1 스마트 디바이스(110)를 이루고 있는 구성요소가 수행하는 기능과 동일하므로 중복되는 내용에 대해서는 생략하도록 한다.
이하에서는 본 발명의 다른 실시예에 따른 스마트 디바이스를 이용한 통번역 시스템에 대하여 설명하도록 한다.
도 3은 본 발명의 다른 실시예에 따른 스마트 디바이스를 이용한 통번역 시스템을 보여주는 구성도를 나타낸다.
도 3에 도시한 바와 같이, 스마트 디바이스를 이용한 통번역 시스템은 제1 스마트 디바이스(300) 및 제2 스마트 디바이스(400)를 포함하여 구성된다.
제1 스마트 디바이스(300)는 제1 입력 모듈(310), 제1 제어 모듈(320), 제1 통신 모듈(330), 제1 출력 모듈(340) 및 제1 저장 모듈(350)을 포함할 수 있다.
제1 입력 모듈(310)은 마이크로폰 및 증폭기를 포함할 수 있으며, 마이크로폰을 통해 음파로 된 음성 신호를 입력 받고, 증폭기를 통해 음성 신호의 음량을 증폭할 수 있다. 즉, 제1 입력 모듈(310)은 사용자의 음성 신호를 입력 받을 수 있다. 예컨대, 주방에 제1 스마트 디바이스(300)가 설치된 상태에서 주방에 있던 사용자가 “데이비드! 어디 있니?”라고 소리칠 경우, 제1 입력 모듈(310)은 사용자의 음성 신호를 입력 받을 수 있다.
제1 제어 모듈(320)은 제1 스마트 디바이스(300)를 전반적으로 제어하는 수단으로서, 제1 입력 모듈(310)을 통해 입력 받은 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식할 수 있다.
즉, 제1 제어 모듈(320)은 제1 입력 모듈(310)로부터 수신한 사용자의 음성 신호를 분석하여 사용자의 음성 신호에서 핵심어를 추출하고, 제1 저장 모듈(350)에 저장되어 있는 통번역 언어 리스트에서 핵심어에 대응하는 번역 대상 언어를 검색하여 번역 대상 언어를 인식할 수 있다. 핵심어는 상대방의 이름이나 별명 등으로 이루어질 수 있으며, 이외에 상대방을 식별하기 위한 다양한 단어 정보로 이루어질 수 있다. 그리고 통번역 언어 리스트에는 사용자별로 핵심어에 대응하는 번역 대상 언어가 리스트 형태로 저장되어 있을 수 있다. 예컨대, 데이비드(제1 핵심어)-영어(제1 번역 대상 언어), 미카엘(제2 핵심어)-독어(제2 번역 대상 언어), 아무로(제3 핵심어)-일어(제3 번역 대상 언어) 등의 형태로 통번역 언어 리스트가 저장될 수 있다.
이와 같이, 제1 제어 모듈(320)은 사용자의 음성 신호인 “데이비드! 어디 있니?”에서 핵심어인 “데이비드”를 인식할 수 있으며, 제1 저장 모듈(350)에 저장되어 있는 통번역 언어 리스트에서 데이비드에 대응하는 번역 대상 언어를 검색하여 데이비드의 번역 대상 언어가 영어인 것을 인식할 수 있다.
제1 제어 모듈(320)은 인식된 번역 대상 언어로 사용자의 음성 신호를 번역할 수 있으며, 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스(400)에 전송하여 제2 스마트 디바이스(400)를 통해 출력되도록 제어할 수 있다.
예컨대, 제1 제어 모듈(320)은 사용자의 음성 신호인 “데이비드! 어디 있니?”를 “David! Where are you?”로 번역한 후 제1 통신 모듈(330)을 통해 제2 스마트 디바이스(400)로 전송할 수 있다. 그러면 제2 스마트 디바이스(400)에서는 “David! Where are you?”를 스피커를 통해 출력할 수 있다.
이때, 제2 스마트 디바이스(400)가 복수 개인 경우, 제1 제어 모듈(320)은 번역 대상 언어로 번역된 사용자의 음성 신호를 제1 통신 모듈(330)을 통해 복수 개의 제2 스마트 디바이스(400)에 각각 전송하여 복수 개의 제2 스마트 디바이스(400)를 통해 출력되도록 제어할 수 있다.
예컨대, 주방에는 제1 스마트 디바이스가 설치되어 있고, 이를 제외한 공간인 화장실, 안방, 창고, 거실 및 테라스마다 제2 스마트 디바이스가 설치되어 있을 경우, 제1 제어 모듈(320)은 사용자가 위치한 주방을 제외한 공간에 있는 복수 개의 제2 스마트 디바이스(400)를 통해 번역 대상 언어로 번역된 사용자의 음성 신호가 출력되도록 제어할 수 있다.
그러면, 상대방이 사용자와 같은 공간에 없더라도 제2 스마트 디바이스(400)를 통해 사용자의 음성 신호를 들을 수 있게 된다.
그리고 사용자의 음성 신호에 응답하는 상대방의 음성 신호가 제2 스마트 디바이스(400)로 입력되면, 제2 스마트 디바이스(400)는 상대방의 음성 신호를 제1 스마트 디바이스(300)로 전송할 수 있다. 그러면, 제1 스마트 디바이스(300)의 제1 제어 모듈(320)은 제1 통신 모듈(330)을 통해 제2 스마트 디바이스(400)로부터 전송되는 상대방의 음성 신호를 수신할 수 있다. 예컨대, 화장실에 있던 데이비드가 화장실에 설치되어 있는 제2 스마트 디바이스(400)에서 출력된 “David! Where are you?”를 들을 경우, “I’m in the bathroom”이라고 대답할 수 있으며, “I’m in the bathroom”라는 데이비드의 음성 신호는 제2 스마트 디바이스(400)로 입력되어 제1 스마트 디바이스(300)로 전송될 수 있다.
제1 제어 모듈(320)은 제2 스마트 디바이스(400)로부터 전송 받은 상대방의 음성 신호를 사용자의 언어로 번역하고, 사용자의 언어로 번역된 상대방의 음성 신호를 제1 출력 모듈(340)을 통해 출력되도록 제어할 수 있다. 이때, 사용자의 언어에 대한 정보는 제1 저장 모듈(350)에 미리 저장되어 있을 수 있다.
예컨대, 제1 제어 모듈(320)은 상대방의 음성 신호인 “I’m in the bathroom.”를 사용자의 언어인 한국어로 번역하여 “저는 화장실에 있어요.”를 생성할 수 있고, 이를 제1 출력 모듈(340)을 통해 출력되도록 제어할 수 있다. 그러면, 사용자는 번역된 데이비드의 음성을 들은 후 다시 자신의 음성 신호를 출력할 수 있으며, 제1 스마트 디바이스(300) 및 제2 스마트 디바이스(400)를 통해 음성 신호를 송수신하고 번역하는 과정을 반복하여 사용자와 상대방 간에 실시간으로 대화할 수 있도록 한다.
이때, 제2 스마트 디바이스(400)가 복수 개인 경우, 복수 개의 제2 스마트 디바이스(400) 중 상대방의 음성 신호를 수신하는 제2 스마트 디바이스(400)의 동작 모드를 활성화시킬 수 있다. 예컨대, 6개의 제2 스마트 디바이스가 화장실, 안방, 창고, 주방, 거실, 테라스에 각각 설치된 상태에서 화장실에 있는 제2 스마트 디바이스에서 상대방의 음성 신호를 수신한 경우, 화장실에 있는 제2 스마트 디바이스만 동작할 수 있는 상태로 전환하고, 나머지 공간에 있는 제2 스마트 디바이스는 대기 모드로 전환할 수 있다.
즉, 제1 제어 모듈(320)은 상대방의 음성 신호를 가장 큰 세기로 수신하는 제2 스마트 디바이스(400)에 대해서만 동작 모드를 활성화시키고, 나머지 제2 스마트 디바이스(400)에 대해서는 대기 모드로 전환할 수 있도록 제어 신호를 출력할 수 있다. 그러면, 출력된 제어 신호를 수신한 제2 스마트 디바이스(400)는 대기 모드로 전환할 수 있으며, 대기 모드로 전환된 상태에서 음성 신호가 수신되면 동작 모드가 활성화될 수 있다.
제1 통신 모듈(330)은 제1 제어 모듈(320)의 제어 하에 제2 스마트 디바이스(400)와 유선 또는 무선 통신 방식으로 통신하여 각종 정보를 교환할 수 있다.
제1 출력 모듈(340)은 번역이 완료된 음성 신호를 출력할 수 있는 스피커로 이루어질 수 있다. 즉, 제1 출력 모듈(340)은 사용자 언어로 번역된 상대방의 음성 신호를 스피커를 통해 출력하여 사용자가 들을 수 있도록 한다.
제1 저장 모듈(350)은 제1 스마트 디바이스(300)를 제어하고 음성 신호를 번역하기 위한 제어 프로그램 및 다양한 기능을 수행하기 위한 프로그램이 저장될 수 있다. 그리고 제1 저장 모듈(350)은 통번역 언어 리스트 등이 저장될 수 있으며, 이러한 통번역 언어 리스트는 전화번호부를 이용하여 생성될 수 있는데, 사용자가 전화번호부를 입력할 때 상대방의 이름 및 연락처 정보와 함께 상대방의 국가나 언어에 대한 정보를 저장할 경우 별도의 통번역 언어 리스트를 생성하지 않고 사용자의 전화번호부를 이용하는 것만으로도 번역 대상 언어를 획득할 수 있다.
제2 스마트 디바이스(400)는 제2 입력 모듈(410), 제2 제어 모듈(420), 제2 통신 모듈(430), 제2 출력 모듈(440) 및 제2 저장 모듈(450)을 포함할 수 있다.
제2 입력 모듈(410)은 마이크로폰 및 증폭기를 포함할 수 있으며, 마이크로폰을 통해 음파로 된 음성 신호를 입력 받고, 증폭기를 통해 음성 신호의 음량을 증폭할 수 있다. 즉, 제2 입력 모듈(410)은 사용자의 음성 신호에 응답하는 상대방의 음성 신호를 입력 받을 수 있다.
제2 제어 모듈(420)은 제2 스마트 디바이스(400)를 전반적으로 제어하는 수단으로서, 제2 입력 모듈(410)을 통해 입력 받은 상대방의 음성 신호가 제2 통신 모듈(430)을 통해 제1 스마트 디바이스(300)로 전송되도록 제어할 수 있다. 그리고 제2 제어 모듈(420)은 제2 통신 모듈(430)을 통해 번역 대상 언어로 번역된 사용자의 음성 신호를 수신하면, 번역 대상 언어로 번역된 사용자의 음성 신호가 제2 출력 모듈(440)을 통해 출력되도록 제어할 수 있다.
제2 통신 모듈(430)은 제2 제어 모듈(420)의 제어 하에 제2 스마트 디바이스(400)와 유선 또는 무선 통신 방식으로 통신하여 각종 정보를 교환할 수 있다.
제2 출력 모듈(440)은 음성 신호를 출력할 수 있는 스피커로 이루어질 수 있다. 즉, 제2 출력 모듈(440)은 번역 대상 언어로 번역된 사용자의 음성 신호를 스피커를 통해 출력하여 상대방이 들을 수 있도록 한다.
제2 저장 모듈(450)은 제2 스마트 디바이스(400)를 제어하기 위한 제어 프로그램 및 다양한 기능을 수행하기 위한 프로그램이 저장될 수 있다.
도 3에 도시한 본 발명의 다른 실시예에 따르면, 제1 스마트 디바이스(300)가 사용자의 음성 신호 및 상대방의 음성 신호를 모두 번역하는 과정을 수행하도록 설명하고 있으나, 제2 스마트 디바이스(400)가 상대방의 음성 신호를 사용자의 언어로 번역하는 과정을 직접 수행한 후 사용자의 언어로 번역된 상대방의 음성 신호를 제1 스마트 디바이스(300)에 전송하는 것도 가능하다.
즉, 제1 스마트 디바이스(300)에서 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스(400)로 전송할 경우, 번역 대상 언어로 번역된 사용자의 음성 신호와 함께 사용자의 언어에 대한 정보를 제2 스마트 디바이스(400)에 전송할 수 있다. 그러면, 제2 스마트 디바이스(400)에서는 사용자의 언어에 대한 정보를 이용하여 상대방의 음성 신호를 사용자의 언어로 번역한 후, 사용자의 언어로 번역된 상대방의 음성 신호를 제1 스마트 디바이스(300)로 전송하여 제1 스마트 디바이스(300)를 통해 출력되게 할 수 있다.
이하에서는 본 발명의 실시예에 따른 스마트 디바이스를 이용한 통번역 방법에 대하여 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 스마트 디바이스를 이용한 통번역 과정을 보여주는 동작 흐름도를 나타낸다.
도 4를 참조하면, 제1 스마트 디바이스는 사용자로부터 음성 신호를 입력 받으면(S400), 입력 받은 사용자의 음성 신호를 서비스 서버로 전송할 수 있다(S401).
예컨대, 주방에 제1 스마트 디바이스가 설치된 상태에서 주방에 있던 사용자가 “데이비드! 어디 있니?”라고 소리칠 경우, 제1 스마트 디바이스는 사용자의 음성 신호를 입력 받아 서비스 서버로 전송할 수 있다.
그러면, 서비스 서버는 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식할 수 있다(S402). 이때, 서비스 서버는 사용자의 음성 신호를 분석하여 사용자의 음성 신호에서 핵심어를 추출하고, 미리 저장되어 있는 통번역 언어 리스트에서 핵심어에 대응하는 번역 대상 언어를 검색하여 번역 대상 언어를 인식할 수 있다. 핵심어는 상대방의 이름이나 별명 등으로 이루어질 수 있으며, 이외에 상대방을 식별하기 위한 다양한 단어 정보로 이루어질 수 있다. 그리고 통번역 언어 리스트에는 사용자별로 핵심어에 대응하는 번역 대상 언어가 리스트 형태로 저장되어 있을 수 있다. 예컨대, 데이비드(제1 핵심어)-영어(제1 번역 대상 언어), 미카엘(제2 핵심어)-독어(제2 번역 대상 언어), 아무로(제3 핵심어)-일어(제3 번역 대상 언어) 등의 형태로 통번역 언어 리스트가 저장될 수 있다.
그리고 통번역 언어 리스트는 전화번호부를 이용하여 생성될 수 있는데, 사용자가 전화번호부를 입력할 때 상대방의 이름 및 연락처 정보와 함께 상대방의 국가나 언어에 대한 정보를 저장할 경우 별도의 통번역 언어 리스트를 생성하지 않고 사용자가 자신의 전화번호부를 서비스 서버에 전송하는 것만으로도 서비스 서버에 통번역 언어 리스트를 자동으로 등록할 수 있다.
다음으로, 서비스 서버는 인식된 번역 대상 언어로 사용자의 음성 신호를 번역(S403)한 후, 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스에 전송(S404)하여 제2 스마트 디바이스를 통해 출력되게 할 수 있다(S405).
예를 들어 설명하면, 서비스 서버는 사용자의 음성 신호인 “데이비드! 어디 있니?”를 “David! Where are you?”로 번역한 후제2 스마트 디바이스로 전송할 수 있다. 그러면 제2 스마트 디바이스에서는 “David! Where are you?”를 스피커를 통해 출력할 수 있다.
이때, 제2 스마트 디바이스가 복수 개인 경우, 서비스 서버는 번역 대상 언어로 번역된 사용자의 음성 신호를 복수 개의 제2 스마트 디바이스에 각각 전송하여 복수 개의 제2 스마트 디바이스를 통해 출력되도록 제어할 수 있다.
예컨대, 주방에는 제1 스마트 디바이스가 설치되어 있고, 이를 제외한 공간인 화장실, 안방, 창고, 거실 및 테라스마다 제2 스마트 디바이스가 설치되어 있을 경우, 서비스 서버는 사용자가 위치한 주방을 제외한 공간에 있는 복수 개의 제2 스마트 디바이스를 통해 번역 대상 언어로 번역된 사용자의 음성 신호가 출력되도록 제어할 수 있다.
그러면, 상대방이 사용자와 같은 공간에 없더라도 제2 스마트 디바이스를 통해 사용자의 음성 신호를 들을 수 있게 된다.
그 후, 제2 스마트 디바이스가 번역된 사용자의 음성 신호를 들은 상대방으로부터 사용자의 음성 신호에 응답하는 음성 신호를 입력 받으면(S406), 제2 스마트 디바이스는 상대방의 음성 신호를 서비스 서버로 전송할 수 있다(S407).
예컨대, 화장실에 있던 데이비드가 화장실에 설치된 제2 스마트 디바이스를 통해 “David! Where are you?”를 들었을 경우, “I’m in the bathroom”이라고 대답할 수 있으며, “I’m in the bathroom”라는 데이비드의 음성 신호는 제2 스마트 디바이스로 입력되어 서비스 서버로 전송될 수 있다.
그러면, 서비스 서버는 제2 스마트 디바이스로부터 상대방의 음성 신호를 수신하여 사용자의 언어로 번역(S408)할 수 있으며, 사용자의 언어로 번역된 상대방의 음성 신호를 제1 스마트 디바이스로 전송(S409)하여 제1 스마트 디바이스를 통해 출력되게 할 수 있다(S410). 이때, 사용자의 언어에 대한 정보는 미리 저장되어 있을 수 있다.
예컨대, 서비스 서버는 상대방의 음성 신호인 “I’m in the bathroom.”를 사용자의 언어인 한국어로 번역하여 “저는 화장실에 있어요.”를 생성할 수 있고, 이를 제1 스마트 디바이스로 전송하여 스피커를 통해 출력되도록 제어할 수 있다. 그러면, 사용자는 번역된 데이비드의 음성 신호를 들은 후 다시 자신의 음성 신호를 출력할 수 있으며, 복수의 스마트 디바이스 및 서비스 서버를 통해 음성 신호를 송수신하고 번역하는 과정을 반복하여 사용자와 상대방 간에 실시간으로 대화할 수 있도록 한다.
이때, 제2 스마트 디바이스가 복수 개인 경우, 복수 개의 제2 스마트 디바이스 중 상대방의 음성 신호를 수신한 제2 스마트 디바이스의 동작 모드를 활성화시킬 수 있다. 예컨대, 6개의 제2 스마트 디바이스가 화장실, 안방, 창고, 주방, 거실, 테라스에 각각 설치된 상태에서 화장실에 있는 제2 스마트 디바이스에서 상대방의 음성 신호를 수신한 경우, 화장실에 있는 제2 스마트 디바이스만 동작할 수 있는 상태로 전환하고, 나머지 공간에 있는 제2 스마트 디바이스는 대기 모드로 전환하여 에너지를 절약할 수 있도록 한다.
즉, 서비스 서버는 상대방의 음성 신호를 가장 큰 세기로 수신하는 제2 스마트 디바이스에 대해서만 동작 모드를 활성화시키고, 나머지 제2 스마트 디바이스에 대해서는 대기 모드로 전환할 수 있도록 제어 신호를 출력할 수 있다. 그러면, 출력된 제어 신호를 수신한 제2 스마트 디바이스는 대기 모드로 전환할 수 있으며, 대기 모드로 전환된 상태에서 음성 신호가 수신되면 동작 모드가 활성화될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 스마트 디바이스를 이용한 통번역 과정을 보여주는 동작 흐름도를 나타낸다.
도 5에 도시한 바와 같이, 제1 스마트 디바이스는 사용자의 음성 신호를 입력 받으면(S500), 입력 받은 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식할 수 있다(S501).
즉, 제1 스마트 디바이스는 사용자의 음성 신호를 분석하여 사용자의 음성 신호에서 핵심어를 추출하고, 미리 저장되어 있는 통번역 언어 리스트에서 핵심어에 대응하는 번역 대상 언어를 검색하여 번역 대상 언어를 인식할 수 있다. 핵심어는 상대방의 이름이나 별명 등으로 이루어질 수 있으며, 이외에 상대방을 식별하기 위한 다양한 단어 정보로 이루어질 수 있다. 그리고 통번역 언어 리스트에는 사용자별로 핵심어에 대응하는 번역 대상 언어가 리스트 형태로 저장되어 있을 수 있다. 예컨대, 데이비드(제1 핵심어)-영어(제1 번역 대상 언어), 미카엘(제2 핵심어)-독어(제2 번역 대상 언어), 아무로(제3 핵심어)-일어(제3 번역 대상 언어) 등의 형태로 통번역 언어 리스트가 저장될 수 있다.
이와 같이, 제1 스마트 디바이스는 사용자의 음성 신호인 “데이비드! 어디 있니?”에서 핵심어인 “데이비드”를 인식할 수 있으며, 미리 저장되어 있는 통번역 언어 리스트에서 데이비드에 대응하는 번역 대상 언어를 검색하여 데이비드의 번역 대상 언어가 영어인 것을 인식할 수 있다.
그러면, 제1 스마트 디바이스는 인식된 번역 대상 언어로 사용자의 음성 신호를 번역(S502)할 수 있으며, 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스에 전송(S503)하여 제2 스마트 디바이스를 통해 출력되도록 제어할 수 있다(S504).
예컨대, 제1 스마트 디바이스는 사용자의 음성 신호인 “데이비드! 어디 있니?”를 “David! Where are you?”로 번역한 후 제2 스마트 디바이스로 전송할 수 있다. 그러면 제2 스마트 디바이스에서는 “David! Where are you?”를 스피커를 통해 출력할 수 있다.
이때, 제2 스마트 디바이스가 복수 개인 경우, 제1 스마트 디바이스는 번역 대상 언어로 번역된 사용자의 음성 신호를 복수 개의 제2 스마트 디바이스에 각각 전송하여 복수 개의 제2 스마트 디바이스를 통해 출력되도록 제어할 수 있다.
예컨대, 주방에는 제1 스마트 디바이스가 설치되어 있고, 이를 제외한 공간인 화장실, 안방, 창고, 거실 및 테라스마다 제2 스마트 디바이스가 설치되어 있을 경우, 제1 스마트 디바이스는 사용자가 위치한 주방을 제외한 공간에 있는 복수 개의 제2 스마트 디바이스를 통해 번역 대상 언어로 번역된 사용자의 음성 신호가 출력되도록 제어할 수 있다.
그러면, 상대방이 사용자와 같은 공간에 없더라도 제2 스마트 디바이스를 통해 사용자의 음성 신호를 들을 수 있게 된다.
다음으로, 제2 스마트 디바이스가 번역된 사용자의 음성 신호를 들은 상대방으로부터 사용자의 음성 신호에 응답하는 음성 신호를 입력 받으면(S505), 제2 스마트 디바이스는 상대방의 음성 신호를 제1 스마트 디바이스로 전송할 수 있다(S506).
예컨대, 화장실에 있던 데이비드가 화장실에 설치되어 있는 제2 스마트 디바이스에서 출력된 “David! Where are you?”를 들을 경우, “I’m in the bathroom”이라고 대답할 수 있으며, “I’m in the bathroom”라는 데이비드의 음성 신호는 제2 스마트 디바이스로 입력되어 제1 스마트 디바이스로 전송될 수 있다.
이와 같이, 제1 스마트 디바이스가 사용자의 음성 신호에 응답하는 상대방의 음성 신호를 제2 스마트 디바이스로부터 수신하면, 제1 스마트 디바이스는 수신된 상대방의 음성 신호를 사용자의 언어로 번역(S507)하여 사용자의 언어로 번역된 상대방의 음성 신호를 스피커를 통해 출력할 수 있다(S508).
예컨대, 제1 스마트 디바이스는 상대방의 음성 신호인 “I’m in the bathroom.”를 사용자의 언어인 한국어로 번역하여 “저는 화장실에 있어요.”를 생성할 수 있고, 이를 스피커를 통해 출력되도록 제어할 수 있다. 그러면, 사용자는 번역된 데이비드의 음성을 들은 후 다시 자신의 음성 신호를 출력할 수 있으며, 제1 스마트 디바이스 및 제2 스마트 디바이스를 통해 음성 신호를 송수신하고 번역하는 과정을 반복하여 사용자와 상대방 간에 실시간으로 대화할 수 있도록 한다.
도 6은 본 발명의 또 다른 실시예에 따른 스마트 디바이스를 이용한 통번역 과정을 보여주는 동작 흐름도를 나타낸다.
도 6을 참조하면, 제1 스마트 디바이스는 사용자의 음성 신호를 입력 받으면(S600), 입력 받은 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식할 수 있다(S601).
즉, 제1 스마트 디바이스는 사용자의 음성 신호를 분석하여 사용자의 음성 신호에서 핵심어를 추출하고, 미리 저장되어 있는 통번역 언어 리스트에서 핵심어에 대응하는 번역 대상 언어를 검색하여 번역 대상 언어를 인식할 수 있다. 핵심어는 상대방의 이름이나 별명 등으로 이루어질 수 있으며, 이외에 상대방을 식별하기 위한 다양한 단어 정보로 이루어질 수 있다. 그리고 통번역 언어 리스트에는 사용자별로 핵심어에 대응하는 번역 대상 언어가 리스트 형태로 저장되어 있을 수 있다. 예컨대, 데이비드(제1 핵심어)-영어(제1 번역 대상 언어), 미카엘(제2 핵심어)-독어(제2 번역 대상 언어), 아무로(제3 핵심어)-일어(제3 번역 대상 언어) 등의 형태로 통번역 언어 리스트가 저장될 수 있다.
이와 같이, 제1 스마트 디바이스는 사용자의 음성 신호인 “데이비드! 어디 있니?”에서 핵심어인 “데이비드”를 인식할 수 있으며, 미리 저장되어 있는 통번역 언어 리스트에서 데이비드에 대응하는 번역 대상 언어를 검색하여 데이비드의 번역 대상 언어가 영어인 것을 인식할 수 있다.
그러면, 제1 스마트 디바이스는 인식된 번역 대상 언어로 사용자의 음성 신호를 번역(S602)할 수 있으며, 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스에 전송(S603)하여 제2 스마트 디바이스를 통해 출력되도록 제어할 수 있다(S604).
예컨대, 제1 스마트 디바이스는 사용자의 음성 신호인 “데이비드! 어디 있니?”를 “David! Where are you?”로 번역한 후 제2 스마트 디바이스로 전송할 수 있다. 그러면 제2 스마트 디바이스에서는 “David! Where are you?”를 스피커를 통해 출력할 수 있다.
이때, 제2 스마트 디바이스가 복수 개인 경우, 제1 스마트 디바이스는 번역 대상 언어로 번역된 사용자의 음성 신호를 복수 개의 제2 스마트 디바이스에 각각 전송하여 복수 개의 제2 스마트 디바이스를 통해 출력되도록 제어할 수 있다.
예컨대, 주방에는 제1 스마트 디바이스가 설치되어 있고, 이를 제외한 공간인 화장실, 안방, 창고, 거실 및 테라스마다 제2 스마트 디바이스가 설치되어 있을 경우, 제1 스마트 디바이스는 사용자가 위치한 주방을 제외한 공간에 있는 복수 개의 제2 스마트 디바이스를 통해 번역 대상 언어로 번역된 사용자의 음성 신호가 출력되도록 제어할 수 있다.
그러면, 상대방이 사용자와 같은 공간에 없더라도 제2 스마트 디바이스를 통해 사용자의 음성 신호를 들을 수 있게 된다.
다음으로, 제2 스마트 디바이스가 번역된 사용자의 음성 신호를 들은 상대방으로부터 사용자의 음성 신호에 응답하는 음성 신호를 입력 받으면(S605), 제2 스마트 디바이스는 상대방의 음성 신호를 사용자의 언어로 번역할 수 있다(S606).
즉, 제1 스마트 디바이스에서 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스로 전송할 경우, 번역 대상 언어로 번역된 사용자의 음성 신호와 함께 사용자의 언어에 대한 정보를 제2 스마트 디바이스에 전송할 수 있다.
그러면, 제2 스마트 디바이스는 전송 받은 사용자의 언어에 대한 정보를 이용하여 상대방의 음성 신호를 사용자의 언어로 번역한 후, 사용자의 언어로 번역된 상대방의 음성 신호를 제1 스마트 디바이스로 전송(S607)하여 사용자 언어로 번역된 상대방의 음성 신호가 제1 스마트 디바이스를 통해 출력되게 할 수 있다(S608).
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 스마트 디바이스를 이용한 통번역 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 스마트 디바이스
200: 서비스 서버
210: 통신부
220: 제어부
230: 저장부
240: 입력부
250: 출력부

Claims (16)

  1. 제1 스마트 디바이스 및 제2 스마트 디바이스와의 통신을 통해 통번역 서비스를 지원하는 서비스 서버가 수행하는 통번역 방법에 있어서,
    상기 제1 스마트 디바이스로부터 사용자의 음성 신호를 수신하는 단계;
    상기 수신한 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식하는 단계;
    상기 인식된 번역 대상 언어로 상기 사용자의 음성 신호를 번역하는 단계; 및
    상기 번역 대상 언어로 번역된 사용자의 음성 신호를 상기 제2 스마트 디바이스에 전송하여 상기 제2 스마트 디바이스를 통해 출력되도록 하는 단계
    를 포함하는 스마트 디바이스를 이용한 통번역 방법.
  2. 제 1 항에서,
    상기 번역 대상 언어 인식 단계는,
    상기 수신한 사용자의 음성 신호를 분석하여 상기 사용자의 음성 신호에서 핵심어를 추출하고,
    미리 저장되어 있는 통번역 언어 리스트에서 상기 추출된 핵심어에 대응하는 번역 대상 언어를 검색하여 상기 번역 대상 언어를 인식하는 스마트 디바이스를 이용한 통번역 방법.
  3. 제 2 항에서,
    상기 제2 스마트 디바이스로부터 상기 사용자의 음성 신호에 응답하는 상대방의 음성 신호를 수신하는 단계;
    상기 상대방의 음성 신호를 사용자의 언어로 번역하는 단계; 및
    상기 사용자의 언어로 번역된 상대방의 음성 신호를 상기 제1 스마트 디바이스로 전송하여 상기 제1 스마트 디바이스를 통해 출력되도록 하는 단계를 더 포함하는 스마트 디바이스를 이용한 통번역 방법.
  4. 제 3 항에서,
    상기 핵심어는,
    상기 상대방의 이름이나 별명을 포함하는 스마트 디바이스를 이용한 통번역 방법.
  5. 제 3 항에서,
    상기 제2 스마트 디바이스 출력 단계는,
    상기 제2 스마트 디바이스가 복수 개인 경우, 상기 번역 대상 언어로 번역된 사용자의 음성 신호를 상기 복수 개의 제2 스마트 디바이스에 전송하여 상기 복수 개의 제2 스마트 디바이스를 통해 출력되도록 하고,
    상기 복수 개의 제2 스마트 디바이스 중 상기 상대방의 음성 신호를 수신한 제2 스마트 디바이스의 동작 모드를 활성화시키는 스마트 디바이스를 이용한 통번역 방법.
  6. 적어도 하나의 제2 스마트 디바이스와의 통신을 통해 통번역 서비스를 지원하는 제1 스마트 디바이스가 수행하는 통번역 방법에 있어서,
    사용자의 음성 신호를 입력 받는 단계;
    상기 입력 받은 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식하는 단계;
    상기 인식된 번역 대상 언어로 상기 사용자의 음성 신호를 번역하는 단계; 및
    상기 번역 대상 언어로 번역된 상기 사용자의 음성 신호를 상기 제2 스마트 디바이스에 전송하여 상기 제2 스마트 디바이스를 통해 출력되도록 하는 단계
    를 포함하는 스마트 디바이스를 이용한 통번역 방법.
  7. 제 6 항에서,
    상기 번역 대상 언어 인식 단계는,
    상기 입력 받은 사용자의 음성 신호를 분석하여 상기 사용자의 음성 신호에서 핵심어를 추출하고,
    미리 저장되어 있는 통번역 언어 리스트에서 상기 추출된 핵심어에 대응하는 번역 대상 언어를 검색하여 상기 번역 대상 언어를 인식하는 스마트 디바이스를 이용한 통번역 방법.
  8. 제 7 항에서,
    상기 출력된 사용자의 음성 신호에 응답하는 상대방의 음성 신호를 상기 제2 스마트 디바이스를 통해 수신하는 단계,
    상기 수신된 상대방의 음성 신호를 사용자의 언어로 번역하는 단계; 및
    상기 사용자의 언어로 번역된 상대방의 음성 신호를 출력하는 단계를 더 포함하는 스마트 디바이스를 이용한 통번역 방법.
  9. 제 7 항에서,
    상기 출력된 사용자의 음성 신호에 응답하는 상대방의 음성 신호가 상기 제2 스마트 디바이스에 입력되면, 상기 제2 스마트 디바이스가 상기 상대방의 음성 신호를 사용자의 언어로 번역하는 단계; 및
    상기 사용자의 언어로 번역된 상대방의 음성 신호를 상기 제1 스마트 디바이스로 전송하여 상기 제1 스마트 디바이스를 통해 출력되도록 하는 단계를 더 포함하는 스마트 디바이스를 이용한 통번역 방법.
  10. 제 9 항에서,
    상기 제2 스마트 디바이스 출력 단계는,
    상기 번역 대상 언어로 번역된 상기 사용자의 음성 신호와 함께 상기 사용자의 언어에 대한 정보를 상기 제2 스마트 디바이스에 전송하는 스마트 디바이스를 이용한 통번역 방법.
  11. 제1 스마트 디바이스로부터 사용자의 음성 신호를 수신하고,
    상기 수신한 사용자의 음성 신호를 분석하여 번역 대상 언어를 인식하고, 상기 인식된 번역 대상 언어로 상기 사용자의 음성 신호를 번역하고,
    상기 번역 대상 언어로 번역된 사용자의 음성 신호를 제2 스마트 디바이스에 전송하여 상기 제2 스마트 디바이스를 통해 출력되도록 하는 서비스 서버
    를 포함하는 스마트 디바이스를 이용한 통번역 시스템.
  12. 제 11 항에서,
    상기 서비스 서버는,
    상기 수신한 사용자의 음성 신호를 분석하여 상기 음성 신호에서 핵심어를 추출하고,
    미리 저장되어 있는 통번역 언어 리스트에서 상기 추출된 핵심어에 대응하는 번역 대상 언어를 검색하여 상기 번역 대상 언어를 인식하는 스마트 디바이스를 이용한 통번역 시스템.
  13. 제 12 항에서,
    상기 서비스 서버는,
    상기 제2 스마트 디바이스로부터 상기 사용자의 음성 신호에 응답하는 상대방의 음성 신호를 수신하고,
    상기 상대방의 음성 신호를 사용자의 언어로 번역하며,
    상기 사용자의 언어로 번역된 상대방의 음성 신호를 상기 제1 스마트 디바이스로 전송하여 상기 제1 스마트 디바이스를 통해 출력되도록 하는 스마트 디바이스를 이용한 통번역 시스템.
  14. 제 13 항에서,
    상기 핵심어는,
    상기 상대방의 이름이나 별명을 포함하는 스마트 디바이스를 이용한 통번역 시스템.
  15. 제 13 항에서,
    상기 서비스 서버는,
    상기 제2 스마트 디바이스가 복수 개인 경우, 상기 번역 대상 언어로 번역된 사용자의 음성 신호를 상기 복수 개의 제2 스마트 디바이스에 전송하여 상기 복수 개의 제2 스마트 디바이스를 통해 출력되도록 하는 스마트 디바이스를 이용한 통번역 시스템.
  16. 제 15 항에서,
    상기 서비스 서버는,
    상기 복수 개의 제2 스마트 디바이스 중 상기 상대방의 음성 신호를 수신한 제2 스마트 디바이스의 동작 모드를 활성화시키는 스마트 디바이스를 이용한 통번역 시스템.
KR1020190007782A 2019-01-21 2019-01-21 스마트 디바이스를 이용한 통번역 방법 및 시스템 KR102173975B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190007782A KR102173975B1 (ko) 2019-01-21 2019-01-21 스마트 디바이스를 이용한 통번역 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190007782A KR102173975B1 (ko) 2019-01-21 2019-01-21 스마트 디바이스를 이용한 통번역 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200090579A true KR20200090579A (ko) 2020-07-29
KR102173975B1 KR102173975B1 (ko) 2020-11-04

Family

ID=71893722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190007782A KR102173975B1 (ko) 2019-01-21 2019-01-21 스마트 디바이스를 이용한 통번역 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102173975B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160827A (zh) * 2021-04-07 2021-07-23 深圳鱼亮科技有限公司 一种基于多语言模型的语音转写系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080040960A (ko) 2006-11-06 2008-05-09 한국전자통신연구원 대응 문형 패턴 기반 자동통역 방법 및 장치
KR20160047244A (ko) * 2014-10-22 2016-05-02 주식회사 케이티 통번역 서비스 제공 방법, 휴대 단말 및 컴퓨터 판독 가능 매체
KR20160123747A (ko) * 2015-04-17 2016-10-26 (주)에스앤아이스퀘어 근거리 무선 통신망을 기반으로 하는 음성인식 통역기 및 음성인식 통역기의 동작 방법
KR20170060439A (ko) * 2015-11-24 2017-06-01 한국전자통신연구원 자동 언어설정 기능을 갖는 다국어 통번역 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080040960A (ko) 2006-11-06 2008-05-09 한국전자통신연구원 대응 문형 패턴 기반 자동통역 방법 및 장치
KR20160047244A (ko) * 2014-10-22 2016-05-02 주식회사 케이티 통번역 서비스 제공 방법, 휴대 단말 및 컴퓨터 판독 가능 매체
KR20160123747A (ko) * 2015-04-17 2016-10-26 (주)에스앤아이스퀘어 근거리 무선 통신망을 기반으로 하는 음성인식 통역기 및 음성인식 통역기의 동작 방법
KR20170060439A (ko) * 2015-11-24 2017-06-01 한국전자통신연구원 자동 언어설정 기능을 갖는 다국어 통번역 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160827A (zh) * 2021-04-07 2021-07-23 深圳鱼亮科技有限公司 一种基于多语言模型的语音转写系统及方法

Also Published As

Publication number Publication date
KR102173975B1 (ko) 2020-11-04

Similar Documents

Publication Publication Date Title
KR101827320B1 (ko) 인공지능 콜센터 서버
US20210314440A1 (en) Synchronous Communication Using Voice and Text
US10860289B2 (en) Flexible voice-based information retrieval system for virtual assistant
US20130144619A1 (en) Enhanced voice conferencing
JP6767046B2 (ja) 音声対話システム、音声対話装置、ユーザー端末、および音声対話方法
CN105100360A (zh) 用于语音通话的通话辅助方法和装置
CN111095892A (zh) 电子装置及其控制方法
JP6652231B1 (ja) 会話制御プログラム、会話制御方法および情報処理装置
US20220300127A1 (en) Computer-readable recording medium storing conversation control program, conversation control method, and information processing device
CN111639503A (zh) 会议数据处理方法、装置、存储介质及设备
CN105120373A (zh) 语音传输控制方法及系统
JP2017120616A (ja) 機械翻訳方法、及び、機械翻訳システム
KR102173975B1 (ko) 스마트 디바이스를 이용한 통번역 방법 및 시스템
JP6120708B2 (ja) 端末装置およびプログラム
KR20080026704A (ko) 휴대 단말기에서 정보 검색 방법
US11216242B2 (en) Audio output system, audio output method, and computer program product
KR20050034680A (ko) 문자메시지를 이용한 전화번호안내시스템
KR20210042520A (ko) 전자 장치 및 이의 제어 방법
KR102584436B1 (ko) 화자분리 기반 자동통역 서비스를 제공하는 시스템, 사용자 단말 및 방법
KR100380829B1 (ko) 에이전트를 이용한 대화 방식 인터페이스 운영 시스템 및방법과 그 프로그램 소스를 기록한 기록 매체
CN116134803A (zh) 交流系统
KR102192447B1 (ko) 복수의 언어 사용자 대화 시 자동 번역 제공 방법
KR20160097406A (ko) 실시간 통번역 통화서비스 시스템 및 그 제공방법
US20170185587A1 (en) Machine translation method and machine translation system
JP2006146507A (ja) 不動産管理システム及びその方法

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant