KR102178415B1 - 양방향 통역 시스템 - Google Patents

양방향 통역 시스템 Download PDF

Info

Publication number
KR102178415B1
KR102178415B1 KR1020180156379A KR20180156379A KR102178415B1 KR 102178415 B1 KR102178415 B1 KR 102178415B1 KR 1020180156379 A KR1020180156379 A KR 1020180156379A KR 20180156379 A KR20180156379 A KR 20180156379A KR 102178415 B1 KR102178415 B1 KR 102178415B1
Authority
KR
South Korea
Prior art keywords
interpretation
voice
voice data
data
communication unit
Prior art date
Application number
KR1020180156379A
Other languages
English (en)
Other versions
KR20200069155A (ko
Inventor
정승규
김천명
유병민
Original Assignee
주식회사 이엠텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이엠텍 filed Critical 주식회사 이엠텍
Priority to KR1020180156379A priority Critical patent/KR102178415B1/ko
Priority to JP2019193357A priority patent/JP2020091472A/ja
Priority to CN201911112251.8A priority patent/CN111291574A/zh
Priority to US16/704,494 priority patent/US20200184157A1/en
Publication of KR20200069155A publication Critical patent/KR20200069155A/ko
Application granted granted Critical
Publication of KR102178415B1 publication Critical patent/KR102178415B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/025—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H04R5/0335—Earpiece support, e.g. headbands or neckrests
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Abstract

본 발명은 복수의 대화자 중 1인에게 설치된 통역 장치를 이용하여 복수의 언어들 간의 양방향 통역이 가능하도록 하는 양방향 통역 시스템에 관한 것이다.
본 발명인 양방향 통역 시스템은 적어도 하나 이상의 청음 보조 장치와 통신하는 제 1 통신부와, 통신 단말기와 통신하는 제 2 통신부와, 음성을 획득하는 마이크와, 음 방출하는 스피커와, 청음 보조 장치에 의해 획득된 음성을 포함하는 제 1 음성 데이터와, 마이크에 의해 획득된 음성을 포함하는 제 2 음성 데이터를 생성하여, 제 2 통신부를 통하여 통신 단말기로 전송하고, 통신 단말기로부터 제 1 음성 데이터에 대응하는 제 1 통역 음성 데이터와, 제 2 음성 데이터에 대응하는 제 2 통역 음성 데이터를 수신하며, 제 1 통역 음성 데이터에 포함된 제 1 통역 음성을 스피커를 통하여 음 방출시키고, 제 2 통역 음성 데이터를 제 1 통신부를 통하여 청음 보조 장치로 인가하여 청음 보조 장치에서 음 방출시키는 데이터 프로세서를 포함하는 통역 중계 장치를 구비한다.

Description

양방향 통역 시스템{BIDIRECTIONAL TRANSLATING SYSTEM}
본 발명은 통역 시스템에 관한 것으로서, 특히 복수의 대화자 중 1인에게 설치된 통역 장치를 이용하여 복수의 언어들 간의 양방향 통역이 가능하도록 하는 양방향 통역 시스템에 관한 것이다.
최근 우리나라를 방문하는 외국인 방문객들과 해외를 방문하는 내국인의 수가 해를 거듭할수록 꾸준한 증가 추세를 보이고 있다. 특히 산업 전반적인 분야에서 중국과의 거래가 이루어지면서 중국인의 우리나라 방문이 급증하고 있다. 뿐만 아니라 일본을 비롯한 세계 각 국의 방문객들이 대거 방문할 것임은 쉽게 예상할 수 있다. 또한 사업을 목적으로 우리나라를 방문하는 사람들 수도 증가일로에 있다. 따라서 세계 각 국의 수많은 방문자들간의 의사소통과 우리나라 국민간의 의사소통이 매우 중요하게 대두되고 있다.
이러한 외국인 방문객들 및 해외 여행자들은 통상적으로는 서비스가 철저한 호텔 등을 이용하게 되는데, 일반적으로 호텔에서는 방문객이 자국의 언어를 사용하여 의사소통을 하고자 하는 경우, 또는 자신과는 다른 언어권의 언어를 사용하는 사람과 의사소통을 하고자 하는 경우, 호텔에 상주하는 통역사를 거쳐 의사소통을 하거나, 인터넷을 이용한 이-메일(e-mail)또는 팩시밀리 등을 이용할 수 있도록 하고 있다. 또한 호텔에 세계 각 국의 언 어를 구사할 수 있는 통역사들을 모두 배치시키는 것은 현실적으로 어려움이 있으며, 통역사를 항시 동반해야 하며 한 두 명의 통역사들로는 다수의 방문객들에게 만족할 만한 서비스를 제공할 수 없는 불합리함, 그리고 원 하는 시간에 통역서비스를 제공받지 못하는 문제점이 발생하게 된다.
이에 따라 해당 기술분야에서는 관광 시 자신이 소지한 통신 단말기를 이용해 외국인과의 대화 시 실시간으로 동시통역을 위한 기술개발이 요구되고 있다.
대한민국 특허공개공보 제10-2015-0021707호 "동시 통역 단말기"
본 발명은 복수의 대화자 중 1인에게 설치된 통역 장치를 이용하여 복수의 대화자들의 언어들 간의 양방향 통역(예를 들면, 한글<-->일어, 한글<-->영어 등)이 가능하도록 하는 양방향 통역 시스템을 제공하는 것을 목적으로 한다.
본 발명인 양방향 통역 시스템은 적어도 하나 이상의 청음 보조 장치와 통신하는 제 1 통신부와, 통신 단말기와 통신하는 제 2 통신부와, 음성을 획득하는 마이크와, 음 방출하는 스피커와, 청음 보조 장치에 의해 획득된 음성을 포함하는 제 1 음성 데이터와, 마이크에 의해 획득된 음성을 포함하는 제 2 음성 데이터를 생성하여, 제 2 통신부를 통하여 통신 단말기로 전송하고, 통신 단말기로부터 제 1 음성 데이터에 대응하는 제 1 통역 음성 데이터와, 제 2 음성 데이터에 대응하는 제 2 통역 음성 데이터를 수신하며, 제 1 통역 음성 데이터에 포함된 제 1 통역 음성을 스피커를 통하여 음 방출시키고, 제 2 통역 음성 데이터를 제 1 통신부를 통하여 청음 보조 장치로 인가하여 청음 보조 장치에서 음 방출시키는 데이터 프로세서를 포함하는 통역 중계 장치와, 음성을 획득하는 마이크와, 통역 중계 장치와 무선 통신을 수행하는 통신부를 구비하여 마이크로부터 획득된 음성을 통신부를 통하여 통역 중계 장치로 전송하며, 사용자가 원하는 위치에 설치되는 무선 마이크 장치와, 데이터 프로세서는 제 1 통신부를 통하여 무선 마이크 장치와 통신하며, 무선 마이크 장치에 의해 획득된 음성을 포함하는 제 3 음성 데이터를 통신 단말기로 제 2 통신부를 통하여 전송하고, 통신 단말기로부터 제 3 음성 데이터에 대응하는 제 3 통역 음성 데이터를 수신하며, 제 3 통역 음성 데이터를 제 1 통신부를 통하여 청음 보조 장치로 인가하여 청음 보조 장치에서 음 방출시킨다.
또한, 데이터 프로세서는 제 1 음성 데이터에 포함된 음성을 반전시켜서 마이크에서 획득된 음성과 합산하여 합산된 음성을 포함하는 제 2 음성 데이터를 생성하는 것이 바람직하다.
삭제
또한, 통신 단말기는 통역 중계 장치로부터 제 1 또는 제 2 또는 제 3 음성 데이터를 수신하고, 수신된 제 1 또는 제 2 또는 제 3 음성 데이터를 직접 통역 처리하여 제 1 또는 제 2 또는 제 3 통역 음성 데이터를 생성하거나, 수신된 제 1 또는 제 2 또는 제 3 음성 데이터와 통역 언어 정보를 포함하는 제 1 또는 제 2 또는 제 3 통역 데이터를 생성하여 통역 서버로 전송하고, 통역 서버로부터 제 1 또는 제 2 또는 제 3 통역 데이터에 대응하는 제 1 또는 제 2 또는 제 3 통역 음성 데이터를 수신하며 통역 중계 장치로 생성되거나 수신된 제 1 또는 제 2 또는 제 3 통역 음성 데이터를 전송하는 것이 바람직하다.
또한, 청음 보조 장치는 적어도 일부분이 사용자의 청각 기관에 삽입 가능하며 음성이나 음성 진동을 획득하는 마이크를 구비하며, 획득된 음성이나 음성 진동을 포함하는 제 1 음성 데이터를 생성하여 통역 중계 장치로 인가하고, 통역 중계 장치로부터 제 2 또는 제 3 통역 음성 데이터를 수신하여 음 방출시키는 것이 바람직하다.
본 발명은 종래의 동시통역 기기가 두 개의 Ear-set 형태로 화자와 청자 모두가 ear-set을 착용해야 하므로 타인이 착용했던 ear-set의 착용에 대한 불편함과 비위생적인 부분이 존재하였으나, 복수의 대화자 중 1인에게 설치된 통역 장치를 이용하여 복수의 대화자들의 언어들 간의 양방향 통역(예를 들면, 한글<-->일어, 한글<-->영어 등)이 가능하도록 하는 효과가 있다.
또한, 본 발명은 사용자(착용자)의 음성과 상대방의 음성을 동시에 인식함에 있어서, 목적 음성 이외의 음성을 제거하기 용이하므로 음성 인식률이 증대시키는 효과가 있다.
도 1은 본 발명에 따른 양방향 통역 시스템의 구성도이다.
도 2는 도 1의 제 1 및 제 2 청음 보조 장치(10a, 10b)와 통역 중계 장치(20)의 사시도이다.
이하에서, 본 발명은 실시예와 도면을 통하여 상세하게 설명된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명에 따른 양방향 통역 시스템의 구성도이다.
양방향 통역 시스템은 음성 획득 기능과 음성 표출 기능을 지닌 제 1 및 제 2 청음 보조 장치(10a, 10b)와, 제 1 및 제 2 청음 보조 장치(10a, 10b)와 유선 또는 무선 통신을 수행하며 통신 단말기(30)와 유선 또는 무선 통신을 수행하는 통역 중계 장치(20)와, 통역 중계 장치(20)와 유선 또는 무선 통신을 수행하며 네트워크(50)를 통하여 통역 서버(40)와 무선 통신을 수행하는 통신 단말기(30)와, 통역 동작을 수행하며 통신 단말기(30)와 무선 통신을 수행하는 통역 서버(40)와, 통신 단말기(30)와 통역 서버(40) 간의 무선 통신이 가능하도록 하는 네트워크(50)를 포함한다. 또한, 양방향 통역 시스템은 사용자가 원하는 위치에 설치되며 통역 중계 장치(20)와 무선 통신을 수행하는 무선 마이크 장치(60)를 포함할 수도 있다.
본 명세서에서는 사용자(착용자)와, 사용자와 대화하는 상대방으로 이루어진 복수의 대화자들 간에서 이종의 언어들 간의 통역이 이루어지도록 하며, 제 1 및 제 2 청음 보조 장치(10a, 10b) 중의 적어도 하나 이상의 청음 보조 장치가 사용자의 좌 또는 우 청각 기관(예를 들면, 귓구멍) 각각의 내부에 적어도 일부분이 삽입되어 동작하며, 통역 중계 장치(20)가 사용자의 인체나 의류 등에 안착되거나 설치되어 동작하는 것이 예시적으로 기재된다. 즉, 제 1 및 제 2 청음 보조 장치(10a, 10b) 중의 적어도 하나 이상의 청음 보조 장치와 통역 중계 장치(20)가 1명의 사용자(착용자)가 모두 착용하고 적어도 1명 이상의 상대방과의 통역 대화가 이루어진다.
먼저, 사용자는 통역 단말기(30)로 양방향 통역할 언어들에 대한 정보(예를 들면, 입력 언어(착용자(사용자)-한국어), 출력 언어(상대방-일본어) 등)를 입력하거나, 통역 단말기(30)가 독립적으로 양방향 통역할 언어들을 결정할 수도 있다. 본 실시예에서는 착용자(사용자)(한국어 사용), 상대방(일본어 사용), 그리고 사용자가 제 1 청음 보조 장치(10a)와 통역 중계 장치(20)를 착용하고, 제 1 청음 보조 장치(10a) 및 통역 중계 장치(20) 간의 통신, 통역 중계 장치(20)와 통신 단말기(30) 간의 통신 및/또는 통신 단말기(30)와 통역 서버(40) 간의 통신이 모두 가능한 상태이다.
먼저, 사용자의 한국어를 상대방의 일본어로 통역하여 제공하는 과정이 설명된다. 제 1 청음 보조 장치(10a)는 사용자의 청각 기관에 적어도 일부분이 삽입되는 마이크(도 1의 1a)를 통하여 사용자의 음성을 획득하고, 획득된 음성을 포함하는 음성 데이터를 통역 중계 장치(20)로 인가한다. 통역 중계 장치(20)는 인가된 음성 데이터를 통신 단말기(30)로 인가하고, 통신 단말기(30)는 인가된 음성 데이터를 내장된 통역 알고리즘을 수행하여 인가된 음성에 대한 통역을 수행하여 통역 음성을 포함하는 통역 음성 데이터를 생성하거나, 네트워크(50)를 통하여 통역 서버(40)로 음성 데이터 및 통역 언어 정보(한국어에서 일본어로의 통역)를 포함하는 통역 데이터를 전송하여 통역 서버(40)로부터 통역 음성 데이터를 수신한다. 여기서, 통역 서버(40)는 통역 데이터에 포함된 통역 언어 정보를 기준으로 하여 전송된 음성 데이터를 내장된 통역 알고리즘을 수행하여 인가된 음성에 대한 통역을 수행하여 통역 음성을 포함하는 통역 음성 데이터를 생성하여 통신 단말기(30)로 전송한다. 통신 단말기(30)는 생성된 통역 음성 데이터 또는 수신된 통역 음성 데이터를 통역 중계 장치(20)로 인가한다. 통역 중계 장치(20)는 인가된 통역 음성 데이터를 스피커(16)를 통하여 음 방출시킴으로써, 상대방이 사용자의 한국어에서 일본어로 통역된 음성을 청취하게 된다.
다음으로, 상대방의 일본어를 사용자의 한국어로 통역하여 제공하는 과정이 설명된다. 통역 중계 장치(20)는 마이크(12)를 통하여 상대방의 음성을 획득하고, 획득된 음성을 포함하는 음성 데이터를 통신 단말기(30)로 인가한다. 통신 단말기(30)는 인가된 음성 데이터를 내장된 통역 알고리즘을 수행하여 인가된 음성에 대한 통역을 수행하여 통역 음성을 포함하는 통역 음성 데이터를 생성하거나, 네트워크(50)를 통하여 통역 서버(40)로 음성 데이터 및 통역 언어 정보(일본어를 한국어로의 통역)를 포함하는 통역 데이터를 전송하여 통역 서버(40)로부터 통역 음성 데이터를 수신한다. 여기서, 통역 서버(40)는 통역 데이터에 포함된 통역 언어 정보를 기준으로 하여 전송된 음성 데이터를 내장된 통역 알고리즘을 수행하여 인가된 음성에 대한 통역을 수행하여 통역 음성을 포함하는 통역 음성 데이터를 생성하여 통신 단말기(30)로 전송한다. 통신 단말기(30)는 생성된 통역 음성 데이터 또는 수신된 통역 음성 데이터를 통역 중계 장치(20)로 인가한다. 통역 중계 장치(20)는 인가된 통역 음성 데이터에 포함된 통역 음성을 제 1 청음 보조 장치(10a)로 인가하고, 제 1 청음 보조 장치(10a)는 인가된 통역 음성을 리시버(3a)를 통하여 음 방출하여, 사용자가 상대방의 일본어에서 한국어로의 통역된 음성을 청취하게 된다.
상술된 통역 언어 정보는 사용자의 음성을 통역할 때의 정보(입력 언어-한국어, 출력 언어-일본어)와, 상대방의 음성을 통역할 때의 정보(입력 언어-일본어, 출력 언어-한국어)에서와 같이, 통역할 대상자에 따라 입력 언어와 출력 언어가 서로 반대가 된다.
상술된 사용자(착용자)의 음성 및 상대방의 음성 간의 양방향 통역을 위해, 본 발명인 양방향 통역 시스템의 제 1 및 제 2 청음 보조 장치(10a, 10b)와, 통역 중계 장치(20)와, 통신 단말기(30)와, 통역 서버(40)의 세부 구성에 대해서 하기에서 기재된다. 다만, 네트워크(50)는 유선 및/또는 무선 통신을 수행하도록 하는 통신 시스템으로서, 본 발명이 속하는 기술분야의 통상의 기술자에게 당연히 인식되는 정도의 기술에 해당되어 상세한 설명이 생략된다.
먼저, 제 1 청음 보조 장치(10a)는 착용자의 청각 기관 내부에 적어도 일부분이 삽입되어 착용자의 음성을 획득하는 마이크(1a)와, 착용자의 청각 기관으로 음성 방출(또는 표출)을 수행하는 리시버(3a)와, 통역 중계 장치(20)와의 유선 또는 무선 통신을 수행하는 통신부(5a)와, 음성 획득 및 음성 표출(또는 방출) 기능을 수행하는 데이터 프로세서(9a)를 포함한다. 다만, 제 1 청음 보조 장치(10a) 내에 전원을 공급하는 전원부(미도시)가 제 1 청음 보조 장치(10a)에 구비되나, 본 발명이 속하는 기술 분야의 통상의 기술자에게는 당연히 인식되는 정도의 기술에 해당되어 상세할 설명이 생략된다.
마이크(1a)는 착용자의 청각 기관 내에 적어도 일부분이 삽입될 수 있는 구조이며, 청각 기관으로 전달되는 음성 진동이나 청각 기관 내의 음성을 획득하고, 음성 진동이나 음성(이하, '음성'으로 통칭됨)을 데이터 프로세서(9a)에 인가한다. 제 1 청음 보조 장치(10a)의 케이스는 마이크(1a)를 내장하면서 마이크(1a)의 적어도 일부분이 청각 기관으로 삽입될 수 있도록 하는 구조 형태를 지닌다.
리시버(3a)는 데이터 프로세서(9a)로부터 인가되는 통역 음성을 음 방출하여 착용자가 통역 음성을 청취할 수 있도록 한다. 리시버(3a)는 제 1 청음 보조 장치(10a)의 케이스 내에서 마이크(1a)가 장착된 위치에서 외측으로 형성되어 착용자의 청각 기관 내부에 삽입되지 않는 위치의 케이스 내부에 내장된다.
통신부(5a)는 통역 중계 장치(20)와의 유선 또는 무선 통신을 수행하도록 하는 구성에 해당되며, 예를 들면, 유선 통신을 위한 음성 전달 케이블이거나, 무선 통신을 수행하기 위한 무선 통신 모듈(예를 들면, 블루투스 등)로 구현될 수 있다.
데이터 프로세서(9a)는 음성 획득 기능과 음성 표출 기능을 수행하기 위한 프로세서(예를 들면, CPU, MICROPROCESSOR 등)로 구현된다. 데이터 프로세서(9a)는 마이크(1a)로부터 인가되는 음성을 포함하는 음성 데이터(제 1 음성 데이터)를 생성하고, 생성된 제 1 음성 데이터를 통신부(5a)를 통하여 또는 통신부(5a)를 제어하여 통역 중계 장치(20)로 인가하거나 전송한다. 또한, 데이터 프로세서(9a)는 통역 중계 장치(20)로부터 인가되거나 전송되는 상대방의 통역 음성 데이터(제 2 통역 음성 데이터)를 통신부(5a)로부터 인가 받고, 인가된 제 2 통역 음성 데이터에 포함된 통역 음성을 리시버(3a)로 인가하여 음성 방출되도록 한다.
제 2 청음 보조 장치(10b)는 제 1 청음 보조 장치(10a)와 동일한 구조를 지닌다.
다음으로, 통역 중계 장치(20)는 제 1 및/또는 제 2 청음 보조 장치(10a, 10b)와 유선 또는 무선 통신을 수행하는 제 1 통신부(11)와, 음성이나 음향을 획득하는 마이크(12)와, 사용자(착용자)로부터의 입력(예를 들면, 전원 온/오프, 통역 기능의 온/오프, 볼륨 크기 증감 조절 등)을 획득하는 입력부(13)와, 전원의 상태(온/오프), 통역 기능의 상태(온/오프) 등을 표시하는 표시부(15)와, 음성이나 음향을 방출하는 스피커(16)와, 통신 단말기(30)와 무선 통신을 수행하는 제 2 통신부(17)와, 음성 수신 및 전송 기능과 통역 음성의 수신 및 전송 기능을 수행하는 데이터 프로세서(19)를 포함한다. 다만, 통신 중계 장치(20) 내에 전원을 공급하는 전원부(미도시), 마이크(12), 입력부(13), 표시부(15) 및 스피커(16) 등은 본 발명이 속하는 기술 분야의 통상의 기술자에게는 당연히 인식되는 정도의 기술에 해당되어 상세할 설명이 생략된다.
제 1 통신부(11)는 제 1 및/또는 제 2 청음 보조 장치(10a, 10b)와의 유선 또는 무선 통신을 수행하도록 하는 구성에 해당되며, 예를 들면, 유선 통신을 위한 음성 전달 케이블이거나, 무선 통신을 수행하기 위한 무선 통신 모듈(예를 들면, 블루투스 등)로 구현될 수 있다.
제 2 통신부(17)는 통신 단말기(30)와의 무선 통신을 수행하도록 하는 구성에 해당되며, 예를 들면, 무선 통신을 수행하기 위한 무선 통신 모듈(예를 들면, 블루투스 등)로 구현될 수 있다. 제 1 및 제 2 통신부(11), (17)는 하나의 통신 모듈로 구현될 수도 있다.
데이터 프로세서(19)는 음성 수신 및 전송 기능과 통역 음성의 수신 및 전송 기능 및/또는 음성 처리 기능을 수행하는 프로세서(예를 들면, CPU, MICROPROCESSOR 등)와, 음성 처리 기능을 위한 음성 처리 알고리즘 등을 저장하는 저장 공간을 포함한다.
먼저, 음성 수신 및 전송 기능을 위해, 데이터 프로세서(19)는 제 1 통신부(11)를 통하여 또는 제 1 통신부(11)를 제어하여 제 1 및/또는 제 2 청음 보조 장치(10a, 10b)로부터 제 1 음성 데이터를 수신하고, 수신된 제 1 음성 데이터를 제 2 통신부(17)를 제어하여 통신 단말기(30)로 전송한다. 또한, 데이터 프로세서(19)는 마이크(12)로부터 획득되는 음성(예를 들면, 상대방의 음성 및/또는 착용자의 음성)을 포함하는 제 2 음성 데이터를 생성하고, 제 2 통신부(17)를 제어하여 통신 단말기(30)로 전송한다.
또한, 제 2 음성 데이터의 생성에서, 데이터 프로세서(19)는 제 1 음성 데이터에 포함된 음성(대부분이거나 전체가 착용자의 음성임)을 이용하여 제 2 음성 데이터에 포함된 착용자의 음성을 제거하거나 감쇄시키는 음성 처리를 수행하여 상대방의 음성 인식률을 향상시킨다. 예를 들면, 데이터 프로세서(19)는 제 1 음성 데이터에 포함된 착용자의 음성(마이크(1a)에서 획득된 음성)을 위상 반전시키고, 마이크(12)로부터 획득되는 음성과 합산하여 합산된 음성을 제 2 음성 데이터에 포함시킴으로써 착용자의 음성이 제거되거나 감쇄되도록 하고, 상대적으로 제 2 음성 데이터에서 상대방의 음성이 차지하는 비율을 증대시킨다.
또한, 통역 음성 수신 및 전송 기능을 위해, 데이터 프로세서(19)는 제 2 통신부(17)를 통하여 통신 단말기(30)로부터 제 1 음성 데이터에 대응하는 제 1 통역 음성 데이터를 수신하고, 제 1 통역 음성 데이터에 포함된 통역 음성을 스피커(16)로 인가하여 음성 표출되도록 하여 상대방이 착용자의 통역 음성을 청취할 수 있도록 한다. 또한, 데이터 프로세서(19)는 제 2 통신부(17)를 통하여 통신 단말기(30)로부터 제 2 음성 데이터에 대응하는 제 2 통역 음성 데이터를 수신하고, 제 2 통역 음성 데이터를 제 1 통신부(11)를 통하여 제 1 및/또는 제 2 청음 보조 장치(10a, 10b)로 인가한다.
다음으로, 통신 단말기(30)는 통역 중계 장치(20)와 무선 통신을 수행하는 제 1 통신부(21)와, 사용자로부터의 입력(통역 기능의 설정/해제, 양방향 통역할 언어들에 대한 선택/입력 등)을 획득하는 입력부(23)와, 통역 기능의 설정/해제 상태 표시, 양방향 통역할 언어들의 표시 등을 수행하는 표시부(25)와, 네트워크(50)를 통하여 통역 서버(40)와 유선 또는 무선 통신을 수행하는 제 2 통신부(27)와, 통역 중계 장치(20)로부터 인가되는 제 1 및 제 2 음성 데이터에 대한 통역 동작이 수행되도록 하여, 제 1 및 제 2 통역 음성 데이터를 통역 중계 장치(20)로 전송하는 데이터 프로세서(29)를 포함한다. 다만, 통신 단말기(30) 내에 전원을 공급하는 전원부(미도시), 입력부(23), 표시부(25) 등은 본 발명이 속하는 기술 분야의 통상의 기술자에게는 당연히 인식되는 정도의 기술에 해당되어 상세할 설명이 생략된다.
제 1 통신부(21)는 통역 중계 장치(20)와의 무선 통신을 수행하도록 하는 구성에 해당되며, 예를 들면, 무선 통신을 수행하기 위한 무선 통신 모듈(예를 들면, 블루투스 등)로 구현될 수 있다.
제 2 통신부(27)는 통역 서버(40)와의 유선 또는 무선 통신을 수행하도록 하는 구성에 해당되며, 예를 들면, 무선 통신을 수행하기 위한 무선 통신 모듈로 구현될 수 있다. 제 1 및 제 2 통신부(21), (27)는 하나의 통신 모듈로 구현될 수도 있다.
데이터 프로세서(29)는 제 1 및 제 2 음성 데이터의 수신 및 전송 기능과, 제 1 및 제 2 통역 음성 데이터의 수신 및 전송 또는 제 1 및 제 2 통역 음성 데이터의 생성 등을 수행하는 프로세서(예를 들면, CPU, MICROPROCESSOR 등)와, 통역 기능의 설정/해제에 대한 정보, 양방향 통역할 언어들에 대한 통역 언어 정보, 통역 음성의 생성을 위한 통역 알고리즘 등을 저장하는 저장 공간을 포함한다.
데이터 프로세서(29)는 입력부(23)를 통하여 통역 기능의 설정 또는 해제 입력을 획득하여 저장하며, 통역 기능의 설정 또는 해제를 수행한다.
또한, 데이터 프로세서(29)는 입력부(23)를 통하여 양방향 통역할 언어들에 대한 입력 또는 선택을 획득하여, 획득된 양방향 통역할 언어들에 대응하는 통역 언어 정보를 저장한다.
먼저, 음성 데이터의 수신 및 전송에 대해서, 데이터 프로세서(29)는 통역 중계 장치(20)로부터 제 1 또는 제 2 음성 데이터를 제 1 통신부(21)를 통하여 수신하고, 통역 서버(40)에서 통역을 수행하는 경우에는 수신된 제 1 또는 제 2 음성 데이터와, 통역 언어 정보를 각각 포함하는 제 1 또는 제 2 통역 데이터를 생성하여 제 2 통신부(27)를 통하여 통역 서버(40)로 전송한다. 예를 들면, 제 1 통역 데이터는 제 1 음성 데이터와 통역 언어 정보(한국어를 일본어로 통역)를 포함하고, 제 2 통역 데이터는 제 2 음성 데이터와 통역 언어 정보(일본어를 한국어로 통역)를 포함한다. 또한, 데이터 프로세서(29)가 직접 통역을 수행하는 경우에는 저장 공간에 저장한다.
또한, 제 1 및 제 2 통역 음성 데이터의 수신 및 전송에 대해서, 데이터 프로세서(29)는 통역 서버(40)로부터 제 1 또는 제 2 통역 데이터에 각각 대응하는 제 1 또는 제 2 통역 음성 데이터를 수신하고, 수신된 제 1 또는 제 2 통역 음성 데이터를 제 1 통신부(21)를 통하여 통역 중계 장치(20)로 전송한다.
또한, 데이터 프로세서(29)는 기저장된 통역 알고리즘을 수행하여, 수신된 제 1 또는 제 2 음성 데이터에 포함된 음성 각각에 대한 통역 음성을 생성하여, 제 1 또는 제 2 통역 음성 데이터를 생성하여 제 1 통신부(21)를 통하여 통역 중계 장치(20)로 전송한다.
또한, 데이터 프로세서(29)는 통역 기능의 설정/해제, 양방향 통역할 언어들의 선택/입력, 음성 데이터의 수신 및 전송, 통역 데이터의 생성 및 전송, 직접 통역 수행 등을 수행하기 위한 통역 어플리케이션을 저장하고, 통역 어플리케이션을 수행할 수도 있다.
또한, 통역 서버(40)는 제 1 또는 제 2 통역 데이터를 수신하고 제 1 또는 제 2 통역 음성 데이터를 전송하는 통신부(미도시)와, 통신부로부터의 제 1 또는 제 2 통역 데이터에 포함된 음성을 통역 언어 정보를 기준으로 하여 통역을 수행하여 제 1 또는 제 2 통역 음성 데이터를 생성하여 통신부로 인가하는 데이터 프로세서(미도시)를 포함한다. 다만, 통신부와 데이터 프로세서는 본 발명이 속하는 기술 분야의 통상의 기술자에게 당연히 인식되는 기술 정도에 해당되어, 상세한 설명이 생략된다.
무선 마이크 장치(60)는 음성을 획득하는 마이크(51)와, 통역 중계 장치(20)와 무선 통신을 수행하는 통신부(53)와, 음성 획득 및 음성 전송 기능을 수행하는 데이터 프로세서(59)를 포함한다. 다만, 전원을 공급하는 전원부(미도시)가 무선 마이크 장치(60)에 구비되나, 본 발명이 속하는 기술 분야의 통상의 기술자에게는 당연히 인식되는 정도의 기술에 해당되어 상세한 설명이 생략된다. 무선 마이크 장치(60)는 이동이 용이한 장치로 사용자가 원하는 위치에 설치될 수 있다.
마이크(51)는 외부의 음성을 획득하여 데이터 프로세서(59)에 인가한다.
통신부(53)는 통역 중계 장치(20)와의 유선 또는 무선 통신을 수행하도록 하는 구성에 해당되며, 예를 들면, 무선 통신을 수행하기 위한 무선 통신 모듈(예를 들면, 블루투스 등)로 구현될 수 있다. 통신부(53)는 제 1 또는 제 2 통신부(11), (17)와 무선 통신을 수행할 수 있으며, 본 실시예에서는 제 1 통신부(11)와 무선 통신하는 것으로 설명된다.
데이터 프로세서(59)는 음성 획득 기능과 음성 전송 기능을 수행하기 위한 프로세서(예를 들면, CPU, MICROPROCESSOR 등)로 구현된다. 데이터 프로세서(59)는 마이크(51)로부터 인가되는 음성을 포함하는 제 3 음성 데이터를 생성하고, 생성된 제 3 음성 데이터를 통신부(53)를 통역 중계 장치(20)로 인가하거나 전송한다.
또한, 데이터 프로세서(19)는 제 1 통신부(11)를 통하여 제 3 음성 데이터를 수신하고 제 2 통신부(17)를 통하여 수신된 제 3 음성 데이터를 통신 단말기(30)로 전송한다. 통신 단말기(30)의 데이터 프로세서(29)는 제 1 통신부(21)를 통하여 제 3 음성 데이터를 수신하고, 수신된 제 3 음성 데이터와 통역 언어 정보를 포함하는 제 3 통역 데이터를 생성하여 제 2 통신부(27)를 제어하여 네트워크(50)를 통하여 통역 서버(40)에 전송하거나 통역 알고리즘을 이용하여 제 3 음성 데이터에 대응하는 통역 음성을 포함하는 제 3 통역 데이터를 독립적으로 생성한다. 통역 서버(40)는 제 1 및 제 2 통역 데이터에 대한 처리와 동일하게, 제 3 통역 데이터에 포함된 제 3 음성 데이터를 통역 언어 정보를 기준으로 하여 통역 처리하고, 통역 음성을 포함하는 제 3 통역 음성 데이터를 생성하여 통신 단말기(30)로 전송한다. 통신 단말기(30)의 데이터 프로세서(29)는 제 2 통신부(27)를 통하여 제 3 통역 음성 데이터를 수신하고, 수신되거나 독립적으로 통역 처리한 제 3 통역 음성 데이터를 제 1 통신부(21)를 통하여 통역 중계 장치(20)로 전송한다. 통역 중계 장치(20)의 데이터 프로세서(19)는 제 2 통신부(17)를 통하여 제 3 통역 음성 데이터를 수신하고, 제 3 통역 음성 데이터를 제 1 또는 제 2 청음 보조 장치(10a), (10b)로 제 1 통신부(11)를 통하여 인가한다. 제 1 또는 제 2 청음 보조 장치(10a, 10b)의 데이터 프로세서(9a, 9b)는 통신부(5a, 5b)를 통하여 제 3 통역 음성 데이터를 수신하고, 제 3 통역 음성 데이터에 포함된 통역 음성이 리시버(3a, 3b)를 통하여 음 방출되도록 한다. 이러한 무선 마이크 장치(60)에 의해, 원거리에 있는 상대방의 음성도 사용자가 명확하게 청취할 수 있도록 한다.
또한, 통역 중계 장치(20)와 통신 단말기(30)에서 통역 기능의 해제 상태인 경우, 통신 단말기(30)는 멀티미디어 데이터(예를 들면, 음향, 음악 등)를 통역 중계 장치(20)로 전송하거나, 멀티미디어 데이터의 재생 데이터를 통역 중계 장치(20)로 전송할 수 있다. 통역 중계 장치(20)는 수신된 멀티미디어 데이터를 재생하거나 재생 데이터를 수신하여, 스피커(16) 및/또는 제 1 또는 제 2 청음 보조 장치(10a, 10b)를 통하여 음 방출시킨다.
제 1 및 제 2 청음 보조 장치(10a, 10b)의 다른 실시예로, 데이터 프로세서(9a, 9b)를 구비하지 않으며, 통신부(5a, 5b)는 신호 전송을 위한 유선 통신용 케이블(예를 들면, 전선 등)로 구현될 수 있다. 즉, 제 1 및 제 2 청음 보조 장치(10a, 10b)에서의 마이크(1a, 1b) 각각은 음성을 획득하여 통신부(5a, 5b) 각각을 통하여 통역 중계 장치(20)의 제 1 통신부(11)로 인가하고, 데이터 프로세서(19)는 획득된 음성을 포함하는 제 1 음성 데이터를 생성하여 통신 단말기(30)로 전송하며, 그 이후의 통신 단말기(30)가 처리하는 과정은 상술된 과정과 동일하다. 또한, 데이터 프로세서(19)는 통신 단말기(30)로부터 제 2 음성 데이터에 대응하는 제 2 통역 음성 데이터를 통신 단말기(30)로부터 수신하여, 제 2 통역 음성 데이터에 포함된 통역 음성을 제 1 통신부(11)를 통하여 제 1 및 제 2 청음 보조 장치(10a, 10b)의 통신부(5a, 5b)로 인가하고, 리시버(3a, 3b) 각각이 통신부(5a, 5b) 각각으로 인가된 통역 음성을 수신하여 음 방출한다. 본 실시예에서, 통역 중계 장치(20)의 데이터 프로세서(19)가 마이크(1a, 1b)로부터의 음성에 대한 처리와 리시버(3a, 3b)로의 음성의 전송을 제어하여 수행한다.
도 2는 도 1의 제 1 및 제 2 청음 보조 장치(10a, 10b)와 통역 중계 장치(20)의 사시도이다.
통역 중계 장치(20)는 사용자의 목 주위나 어깨 위에 안착되는 적어도 일부분의 개방 공간이 형성되며, 서로 분리된 양 단부들을 연결하여 이루어진 환형의 케이스(20a)와, 제 1 및 제 2 청음 보조 장치(10a, 10b) 각각에 연결된 제 1 및 제 2 연결선(11a, 11b)와, 케이스(20a)의 측면(외측면)에 형성된 마이크(12a, 12b)(도 1에서는12로 통칭됨)와, 케이스(20a)의 양 단부들 각각에 형성된 입력부(13a, 13b)(도 1에서는 13으로 통칭됨)와, 케이스(20a)의 마주보는 양 측면에 형성된 스피커(16a, 16b)(도 1에서는 16으로 통칭됨)로 구성된다.
제 1 및 제 2 청음 보조 장치(10a, 10b) 각각은 청각 기관 내부에 적어도 일부분이 삽입되는 삽입부(A)와, 삽입부(A)에 연결되며, 일단에 제 1 및 제 2 연결선(11a, 11b)이 연결되는 연결부(B)를 구비한다. 삽입부(A) 내부에는 마이크(1a), (1b) 각각이 설치되며, 연결부(B) 내부에는 리시버(3a), (3b) 각각이 설치된다. 삽입부(A)는 탄성 재질로 이루어진다.
본 실시예에서, 제 1 통신부(11)은 유선 연결을 가능하도록 하는 제 1 및 제 2 연결선(11a, 11b)을 구비한다.
다양한 실시 예에 따른 장치(예: 프로세서 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예:자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magnetoopticalmedia)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등)등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 프로세서 또는 프로세서에 의한 기능들은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상 설명한 바와 같이, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형의 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10a: 제 1 청음 보조 장치 10b: 제 2 청음 보조 장치
20: 통역 중계 장치 30: 통신 단말기

Claims (5)

  1. 적어도 하나 이상의 청음 보조 장치와 통신하는 제 1 통신부와, 통신 단말기와 통신하는 제 2 통신부와, 음성을 획득하는 마이크와, 음 방출하는 스피커와, 청음 보조 장치에 의해 획득된 음성을 포함하는 제 1 음성 데이터와, 마이크에 의해 획득된 음성을 포함하는 제 2 음성 데이터를 생성하여, 제 2 통신부를 통하여 통신 단말기로 전송하고, 통신 단말기로부터 제 1 음성 데이터에 대응하는 제 1 통역 음성 데이터와, 제 2 음성 데이터에 대응하는 제 2 통역 음성 데이터를 수신하며, 제 1 통역 음성 데이터에 포함된 제 1 통역 음성을 스피커를 통하여 음 방출시키고, 제 2 통역 음성 데이터를 제 1 통신부를 통하여 청음 보조 장치로 인가하여 청음 보조 장치에서 음 방출시키는 데이터 프로세서를 포함하는 통역 중계 장치와;
    음성을 획득하는 마이크와, 통역 중계 장치와 무선 통신을 수행하는 통신부를 구비하여 마이크로부터 획득된 음성을 통신부를 통하여 통역 중계 장치로 전송하며, 사용자가 원하는 위치에 설치되는 무선 마이크 장치와;
    데이터 프로세서는 제 1 통신부를 통하여 무선 마이크 장치와 통신하며, 무선 마이크 장치에 의해 획득된 음성을 포함하는 제 3 음성 데이터를 통신 단말기로 제 2 통신부를 통하여 전송하고, 통신 단말기로부터 제 3 음성 데이터에 대응하는 제 3 통역 음성 데이터를 수신하며, 제 3 통역 음성 데이터를 제 1 통신부를 통하여 청음 보조 장치로 인가하여 청음 보조 장치에서 음 방출시키는 것을 특징으로 하는 양방향 통역 시스템.
  2. 제 1 항에 있어서,
    데이터 프로세서는 제 1 음성 데이터에 포함된 음성을 반전시켜서 마이크에서 획득된 음성과 합산하여 합산된 음성을 포함하는 제 2 음성 데이터를 생성하는 것을 특징으로 하는 양방향 통역 시스템.
  3. 삭제
  4. 제 1 항 또는 제 2 항에 있어서,
    양방향 통역 시스템은 통신 단말기를 포함하고, 통신 단말기는 통역 중계 장치로부터 제 1 또는 제 2 또는 제 3 음성 데이터를 수신하고, 수신된 제 1 또는 제 2 또는 제 3 음성 데이터를 직접 통역 처리하여 제 1 또는 제 2 또는 제 3 통역 음성 데이터를 생성하거나, 수신된 제 1 또는 제 2 또는 제 3 음성 데이터와 통역 언어 정보를 포함하는 제 1 또는 제 2 또는 제 3 통역 데이터를 생성하여 통역 서버로 전송하고, 통역 서버로부터 제 1 또는 제 2 또는 제 3 통역 데이터에 대응하는 제 1 또는 제 2 또는 제 3 통역 음성 데이터를 수신하며 통역 중계 장치로 생성되거나 수신된 제 1 또는 제 2 또는 제 3 통역 음성 데이터를 전송하는 것을 특징으로 하는 양방향 통역 시스템.
  5. 제 1 항 또는 제 2 항에 있어서,
    양방향 통역 시스템은 청음 보조 장치를 포함하고, 청음 보조 장치는 적어도 일부분이 사용자의 청각 기관에 삽입 가능하며 음성이나 음성 진동을 획득하는 마이크를 구비하며, 획득된 음성이나 음성 진동을 포함하는 제 1 음성 데이터를 생성하여 통역 중계 장치로 인가하고, 통역 중계 장치로부터 제 2 또는 제 3 통역 음성 데이터를 수신하여 음 방출시키는 것을 특징으로 하는 양방향 통역 시스템.
KR1020180156379A 2018-12-06 2018-12-06 양방향 통역 시스템 KR102178415B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180156379A KR102178415B1 (ko) 2018-12-06 2018-12-06 양방향 통역 시스템
JP2019193357A JP2020091472A (ja) 2018-12-06 2019-10-24 双方向通訳システム
CN201911112251.8A CN111291574A (zh) 2018-12-06 2019-11-14 双向翻译系统
US16/704,494 US20200184157A1 (en) 2018-12-06 2019-12-05 Bidirectional Translation System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180156379A KR102178415B1 (ko) 2018-12-06 2018-12-06 양방향 통역 시스템

Publications (2)

Publication Number Publication Date
KR20200069155A KR20200069155A (ko) 2020-06-16
KR102178415B1 true KR102178415B1 (ko) 2020-11-13

Family

ID=70970470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180156379A KR102178415B1 (ko) 2018-12-06 2018-12-06 양방향 통역 시스템

Country Status (4)

Country Link
US (1) US20200184157A1 (ko)
JP (1) JP2020091472A (ko)
KR (1) KR102178415B1 (ko)
CN (1) CN111291574A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619133B1 (ko) * 2014-12-22 2016-05-10 해보라 주식회사 통역용 이어셋
KR101895543B1 (ko) * 2016-03-30 2018-09-05 주식회사 플렉싱크 Fm동시통역수신기와 스마트디바이스의 연동을 이용한 동시통역시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129594A (ja) * 1993-10-29 1995-05-19 Toshiba Corp 自動通訳システム
JPH09172479A (ja) * 1995-12-20 1997-06-30 Yokoi Kikaku:Kk 送受話器およびそれを用いた通話装置
JPH09292971A (ja) * 1996-04-26 1997-11-11 Sony Corp 翻訳装置
JP2001357033A (ja) * 2000-06-15 2001-12-26 Happy Net Kk ネットワークを利用した自動翻訳システム及びネットワークを利用した自動翻訳システム用サーバー
JP2008077601A (ja) * 2006-09-25 2008-04-03 Toshiba Corp 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
JP4481972B2 (ja) * 2006-09-28 2010-06-16 株式会社東芝 音声翻訳装置、音声翻訳方法及び音声翻訳プログラム
US20100250231A1 (en) * 2009-03-07 2010-09-30 Voice Muffler Corporation Mouthpiece with sound reducer to enhance language translation
KR101589433B1 (ko) * 2009-03-11 2016-01-28 삼성전자주식회사 동시 통역 시스템
JP2014186713A (ja) * 2013-02-21 2014-10-02 Panasonic Corp 会話システムおよびその会話処理方法
KR20150021707A (ko) 2013-08-21 2015-03-03 삼성전기주식회사 동시 통역 단말기
KR101747874B1 (ko) * 2014-11-25 2017-06-27 한국전자통신연구원 자동 통역 시스템
WO2018008227A1 (ja) * 2016-07-08 2018-01-11 パナソニックＩｐマネジメント株式会社 翻訳装置および翻訳方法
WO2018209102A2 (en) * 2017-05-11 2018-11-15 Waverly Labs Inc. Smart sound devices and language translation system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619133B1 (ko) * 2014-12-22 2016-05-10 해보라 주식회사 통역용 이어셋
KR101895543B1 (ko) * 2016-03-30 2018-09-05 주식회사 플렉싱크 Fm동시통역수신기와 스마트디바이스의 연동을 이용한 동시통역시스템

Also Published As

Publication number Publication date
US20200184157A1 (en) 2020-06-11
CN111291574A (zh) 2020-06-16
KR20200069155A (ko) 2020-06-16
JP2020091472A (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
US11626125B2 (en) System and apparatus for real-time speech enhancement in noisy environments
US11412333B2 (en) Interactive system for hearing devices
JP4837917B2 (ja) 音声に基づく装置制御
DK2882204T3 (en) Hearing aid device for hands-free communication
US10681453B1 (en) Automatic active noise reduction (ANR) control to improve user interaction
US20190138603A1 (en) Coordinating Translation Request Metadata between Devices
US9729994B1 (en) System and method for listener controlled beamforming
US20210090548A1 (en) Translation system
WO2019228329A1 (zh) 个人听力装置、外部声音处理装置及相关计算机程序产品
JP2009178783A (ja) コミュニケーションロボット及びその制御方法
US20170148466A1 (en) Method and system for reducing background sounds in a noisy environment
KR102178415B1 (ko) 양방향 통역 시스템
JP2018512754A (ja) 多数のユーザ間でステレオ音声を共有するための技術
US10002611B1 (en) Asynchronous audio messaging
JP2018149625A (ja) コミュニケーションロボット、プログラム及びシステム
US20190251982A1 (en) Vocal Feedback Device And Method Of Use
WO2021080362A1 (ko) 이어셋을 이용한 언어 처리 시스템
KR102285877B1 (ko) 이어셋을 이용한 통역 시스템
JP2018081147A (ja) コミュニケーション装置、サーバ、制御方法、および情報処理プログラム
KR101592114B1 (ko) 골전도 스피커와 마이크를 이용한 실시간 통역
KR20210121818A (ko) 대화자간 실시간 동시통역 서비스 제공방법
KR20210080764A (ko) 넥밴드형 음향 변환 장치를 이용한 학습 시스템
JP2008249893A (ja) 音声応答装置及びその方法
KR102350787B1 (ko) 음성 진동 마이크를 이용한 통역 시스템
KR102195128B1 (ko) 청음 보조 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant