KR102592476B1 - 공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법 - Google Patents
공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법 Download PDFInfo
- Publication number
- KR102592476B1 KR102592476B1 KR1020220019885A KR20220019885A KR102592476B1 KR 102592476 B1 KR102592476 B1 KR 102592476B1 KR 1020220019885 A KR1020220019885 A KR 1020220019885A KR 20220019885 A KR20220019885 A KR 20220019885A KR 102592476 B1 KR102592476 B1 KR 102592476B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- voice
- voice signal
- sound
- caller
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000005236 sound signal Effects 0.000 claims abstract description 113
- 238000004891 communication Methods 0.000 claims description 21
- 210000000613 ear canal Anatomy 0.000 claims description 6
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 36
- 210000003128 head Anatomy 0.000 description 21
- 238000012546 transfer Methods 0.000 description 16
- 210000005069 ears Anatomy 0.000 description 12
- 230000004044 response Effects 0.000 description 11
- 210000003454 tympanic membrane Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 210000000883 ear external Anatomy 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010924 continuous production Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
- H04M1/6041—Portable telephones adapted for handsfree use
- H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
- H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Headphones And Earphones (AREA)
Abstract
본 발명은, 제1 통화자 측의 제1 소리 파동을 제1 오디오 신호로 변환하는 좌측 바이노럴 마이크 및 우측 바이노럴 마이크, 제1 디바이스를 이용하는 제1 통화자의 제1 음성에 대응하는 제1 음성 신호를 상기 제1 오디오 신호에서 분리하는 신호 분리기 및 제2 디바이스를 이용하는, 제1 통화자의 통화 상대인 제2 통화자 측에서 수집된 제2 소리 파동에 대응하는 제2 오디오 신호에 포함된 제2 통화자의 제2 음성 신호를 출력하는 좌측 스피커 모듈 및 우측 스피커 모듈을 포함하는 이어폰을 개시한다. 본 발명에 따르면, 바이노럴 마이크가 내장된 이어폰을 이용하여 향상된 음질로 핸즈 프리 통화가 가능하다.
Description
본 발명은 공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법에 관한 것으로, 더욱 상세하게는 소리를 입체적으로 출력하는 이어폰, 이를 포함하는 디바이스 및 이를 이용하는 통화 방법에 관한 것이다.
바이노럴 레코딩이란, 양쪽 귀의 소리 크기 차, 시간 차에 의한 입체적 음향 효과를 이어폰(또는 헤드폰)을 통해 재생시키기 위해, 인간이 양 귀로 느끼는 입체적인 소리를 레코딩하는 기술을 의미한다. 바이노럴 레코딩 기술은 인간의 머리와 동일하게 생긴 모형(더미)의 양쪽 귀 고막 위치에 마이크를 설치하고 현장의 음을 녹음한 후, 이어폰 또는 헤드폰을 사용하는 사람에게 매우 사실적인 소리를 체험할 수 있다.
그런데 바이노럴 레코딩 방식으로 녹음된 소리는 청취자가 이어폰(또는 헤드폰)을 사용하지 않으면 의도한 효과를 얻을 수 없다는 것이 바이노럴 레코딩의 단점이다.
소리의 전달 단계에서 나타나는 음향의 입체적 효과를, 소리 자체에 구현하는 과정을 바이노럴 레코딩이라 한다면, 머리전달함수(head-related transfer function, HRTF)는 신호 처리를 통해 음향에 입체적 효과를 부가함으로써 녹음된 소리가 바이노럴 녹음된 소리처럼 들리게 하는 기술이다. 머리전달함수를 이용하여 오디오 신호를 처리하는 것을 바이노럴 렌더링(binaural rendering)기술이라 한다.
머리전달함수를 이용하기 위해서는, 바이노럴 레코딩을 통해 음원에서 발생된 소리가 공간 상에 전달되어 고막 위치에 장착된 마이크에 이르렀을 때, 어떠한 입체적 효과를 갖는지를 측정하는 것으로 방위각, 고도, 거리를 변화해 가면서 측정된 머리전달함수의 데이터베이스를 만드는 과정이 필요하다.
그런데 바이노럴 녹음 시에 사용되었던 마이크의 위치 및 더미의 귀의 형태적 특징이, 재생 시 청취자의 이어폰 위치 및 청취자 귀의 형태적 특징과 동일하지 않으므로, VR 환경에서 최적의 사용자 경험을 제공하는 데에는 어느정도 한계가 있다. 이러한 한계를 개선하려는 차원에서 머리전달함수의 개인화에 관한 연구가 활발히 진행되고 있다.
머리전달함수는 음 발생 방향에 따른 주파수 반응을 측정하여 3차원 함수로 정리한 것을 말한다. x(t)는 특정 위치에서 발생된 음원, hL(t)는 소리 발생 위치와 좌측 귀 고막 위치 사이의 음 전달 특성에 대응하는 좌측 머리전달함수, hR(t)는 소리 발생 위치와 우측 귀 고막 위치 사이의 음 전달 특성에 대응하는 우측 머리전달함수, XL(t)는 음원에 좌측 머리전달함수 값을 곱하여 생성된 좌측 귀 소리 값, XR(t)는 음원에 우측 머리전달함수 값을 곱하여 생성된 우측 귀 소리 값을 뜻한다.
임의의 음원 x(t)가 고막에서 생성된 음압을 구하려면, 음원에서 고막까지의 임펄스 응답 h(t)만 있으면 된다. 이것을 HRIR(Head-Related Impulse Response)이라고 하며, 이것의 푸리에 변환 H(f)를 HRTF(Head Related Transfer Function)라고 한다. 왼쪽 귀와 오른쪽 귀에 대한 HRTF 정보를 알면 모노 음원을 이용하여 정확한 바이노럴 신호를 합성할 수 있다.
HRTF는 세 개의 공간 좌표(방위각, 고도, 거리)와 주파수라는 네 가지 변수를 모두 포함하는 복잡한 함수이다. 구면 좌표에서 거리가 약 1미터 이상인 경우 음원은 원거리 음장(Far field)에 존재하며 HRTF 크기는 거리에 반비례한다. 대부분의 HRTF 측정은 기본적으로 원거리 음장에서 이루어진다.
KEMAR로 알려진 국제 표준 인체 모형을 이용하여 일련의 HRIR 측정이 수행될 수 있다. KEMAR는 청각 연구를 위한 Knowles Electronics 인체 모형을 의미한다.
음은 청취자의 머리, 귀바퀴, 상반신, 외이도 모양에 따라 일부 주파수는 증폭하고 다른 주파수는 감쇄한다. 일반적으로 HRTF는 2,700Hz에서 +17dB 정도 증가시킨다. 하지만 주파수 응답 곡선은 더 복잡하고 광범위한 주파수에 영향을 미치며 사람마다 특성이 크게 다르다.
한 쌍의 HRTF는 공간상의 특정 지점에서 나오는 것처럼 보이는 바이노럴 사운드를 합성하는 데 사용할 수 있다. 특정 지점의 소리가 귀(일반적으로 외이도의 바깥쪽 끝)에 전달되는 방식을 설명하는 전달 함수이다. 스테레오(2개 스피커) 헤드폰에서 서라운드 사운드를 재생하도록 설계된 일부 소비자 홈 엔터테인먼트 제품은 이러한 HRTF를 사용한다. HRTF 처리는 또한 음향기기에서 서라운드 사운드 재생을 시뮬레이션하기 위해 컴퓨터 소프트웨어에도 포함되어 있다.
인간은 귀는 두 개지만 범위(거리), 위아래 방향(고도), 좌우 방향(방위각)의 3차원적으로 소리를 찾을 수 있다. 이것은 뇌, 내이 및 외이(귓바퀴)가 함께 작동하여 위치를 추론하기 때문에 가능한 것이다.
음원의 위치를 파악하는 이 능력은 진화의 필수 요소로 발전했을 수 있다. 눈은 보는 사람 주변 세계의 일부만 볼 수 있고 어둠 속에서 방해를 받는 반면, 음원의 위치를 파악하는 능력은, 주변 조명에 관계없이 모든 방향에서 작동하기 때문이다.
인간은 음원을 한쪽 귀에서 수음하고, 양쪽 귀에서 수음된 음을 비교하여 음원의 위치를 *?*추정한다. 양 귀 신호 중에는 도착 시간 차이와 크기 차이가 있다. 음원의 위치는 음원 위치와 고막까지의 임펄스 응답 측정을 통해 캡처될 수 있다. 이 임펄스 응답을 머리임펄스응답(head-related impulse response, HRIR)이라 한다. 머리임펄스응답을 사용한 임의 음원과의 컨볼루션은 사운드가 음원 위치에서 재생되고 청취자의 귀가 수신기 위치에 있는 경우 청취자가 들을 수 있는 소리로 변환한다. 머리임펄스응답은 가상 서라운드 사운드를 생성하는 데 사용된다.
머리전달함수는 머리임펄스응답의 푸리에 변환에 해당한다.
왼쪽 및 오른쪽 귀에 대한 머리전달함수는 왼쪽 및 오른쪽 귀에서 각각 xL(t) 및 xR(t)로 인식되기 전에 음원(x(t))의 필터링을 설명한다.
머리전달함수는 또한 반사음이 없는 자유 음장에서 고막에 도달할 때 까지의 소리 특성으로 설명될 수 있다. 이러한 특성에는 청자의 외이의 모양, 청자의 머리와 몸의 모양, 소리가 재생되는 공간의 음향적 특성 등이 모두 포함된다. 이러한 모든 특성은 청취자가 소리가 나오는 방향을 정확히 알 수 있는 방법(또는 여부)에 영향을 미친다.
AES69-2015 표준에서 AES(Audio Engineering Society)는 머리전달함수와 같은 공간 지향 음향 데이터를 저장하기 위한 SOFA 파일 형식을 정의했다. SOFA 소프트웨어 라이브러리 및 파일은 소파 컨벤션 웹사이트에서 수집된다.
본 발명과 관련된 기술로서, 대한민국 공개 특허 제10-2011-0108449호의 입체 음향을 이용하는 디지털 무선 음성 통신 시스템은, 마이크와 헤드폰을 포함하는 디지털 무선 음성 통신 시스템을 개시하고 있지만, 음성과 GPS 위치 정보 송신에 관한 관련된 기술은, 주변음과 음성을 분리하는 구성을 갖는 본원과 발명의 목적, 구성 및 효과 면에서 구별된다.
본 발명이 해결하고자 하는 일 과제는, 바이노럴 레코딩이 가능한 마이크가 포함된 이어폰을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 바이노럴 마이크를 이용하여 핸즈 프리 통화 시에 통화 음질을 개선할 수 있는 이어폰을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 바이노럴 레코딩에 기반하여 음원 분리를 가능하게 하는 이어폰을 제공하는 것이다.
본 발명의 일 실시 예에 따른 이어폰은, 제1 통화자 측의 제1 소리 파동을 제1 오디오 신호로 변환하는 좌측 바이노럴 마이크(left binaural microphone) 및 우측 바이노럴 마이크(right binaural microphone); 제1 디바이스를 이용하는 상기 제1 통화자의 제1 음성에 대응하는 제1 음성 신호를 상기 제1 오디오 신호에서 분리하는 신호 분리기; 및 제2 디바이스를 이용하는, 상기 제1 통화자의 통화 상대인 제2 통화자 측에서 수집된 제2 소리 파동에 대응하는 제2 오디오 신호에 포함된 상기 제2 통화자의 제2 음성 신호를 출력하는 좌측 스피커 모듈(left speaker module) 및 우측 스피커 모듈(right speaker module)을 포함하도록 구성될 수 있다.
또한, 좌측 바이노럴 마이크는 상기 제1 통화자의 좌측 외이도 주변의 상기 제1 통화자의 제1 음성의 좌측 파동과 제1 주변음의 좌측 파동을 좌측 제1 오디오 신호로 변환하고, 우측 바이노럴 마이크는, 상기 제1 통화자의 우측 외이도 주변의 상기 제1 통화자의 제1 음성의 우측 파동과 제1 주변음의 우측 파동을 우측 제1 오디오 신호로 변환하도록 구성될 수 있다.
또한, 신호 분리기는, 좌측 제1 오디오 신호 및 상기 우측 제1 오디오 신호 중 적어도 하나의 제1 오디오 신호에서 상기 제1 음성 신호를 분리하도록 구성될 수 있다.
또한, 제2 오디오 신호에 포함된 상기 제2 음성 신호와 제2 주변음에 대응하는 제2 주변음 신호가 서로 분리되지 않은 경우, 신호 분리기는, 제2 오디오 신호에서 상기 제2 통화자의 음성에 대응되는 상기 제2 음성 신호를 분리하도록 구성될 수 있다.
또한, 좌측 스피커 모듈 및 우측 스피커 모듈은, 제2 오디오 신호에 포함된 신호 중에서 상기 제2 주변음 신호와 분리된 상기 제2 통화자의 음성에 대응되는 상기 제2 음성 신호를 소리로 변환하여 출력하도록 구성될 수 있다.
또한, 이어폰은 제2 오디오 신호에서 분리된 상기 제2 음성 신호 및 상기 제2 주변음에 대응되는 제2 주변음 신호를 서로 혼합하는 오디오 믹서를 더 포함하고, 좌측 스피커 모듈 및 우측 스피커 모듈은, 서로 혼합된 상기 제2 음성 신호 및 상기 제2 주변음 신호를 출력하도록 구성될 수 있다.
또한, 이어폰은 제2 음성 신호 및 상기 제2 주변음 신호의 레벨을 독립적으로 설정하는 사용자 인터페이스를 더 포함하고, 좌측 스피커 모듈 및 우측 스피커 모듈은, 사용자 인터페이스에 의해 독립적으로 설정된 레벨에 따라 상기 제2 음성 신호 및 상기 제2 주변음 신호를 출력하도록 구성될 수 있다.
또한, 이어폰은, 이어폰과 제1 디바이스의 연결을 위한 입출력 인터페이스(input-output interface)를 더 포함하되, 입출력 인터페이스는, 제1 디바이스가 상기 제1 음성에 대응하는 제1 음성 신호가 포함된 TX 신호를 상기 제2 디바이스로 송신할 수 있도록, 상기 제1 음성 신호를 상기 제1 디바이스로 출력하도록 구성될 수 있다.
또한, 입출력 인터페이스는 케이블 또는 근거리 통신 모듈 중에서 적어도 하나를 포함하도록 구성될 수 있다.
또한, 이어폰은 좌측 바이노럴 마이크, 상기 우측 바이노럴 마이크, 상기 신호 분리기, 상기 좌측 스피커 모듈, 상기 우측 스피커 모듈 및 상기 근거리 통신 모듈에 구동 전력을 각각 공급하는 배터리 모듈을 더 포함하도록 구성될 수 있다.
본 발명의 일 실시 예에 따른 디바이스는, 제1 주변음과 제1 음성을 포함하는 제1 소리 파동을 제1 오디오 신호로 변환하는 좌측 바이노럴 마이크 및 우측 바이노럴 마이크, 제1 디바이스를 이용하는 제1 통화자의 상기 제1 음성에 대응하는 제1 음성 신호를, 상기 제1 오디오 신호에서 분리하는 신호 분리기 및 상기 제1 통화자의 통화 상대인 제2 통화자의 제2 디바이스 측에서 생성된 제2 오디오 신호에 포함된 제2 음성 신호를 출력하는 좌측 스피커 모듈 및 우측 스피커 모듈을 포함하는 이어폰, 이어폰을 연결시키는 입출력 인터페이스 및 음성 통화를 위해 상기 제1 디바이스와 상기 제2 디바이스 사이를 통신 연결시키는 무선 통신 모듈을 포함하도록 구성될 수 있다.
또한, 상기 무선 통신 모듈은, 상기 제1 음성 신호 및 제1 주변음에 대응하는 제1 주변음 신호를 포함하는 TX 신호를 상기 제2 디바이스에 송신하고, 제1 디바이스는 상기 제1 음성 신호가 상기 제1 오디오 신호로부터 분리된 신호임을 상기 TX 신호에 표시하도록 구성될 수 있다.
또한, 제2 음성에 대응하는 제2 음성 신호가 제2 주변음 신호와 분리되지 않은 상태로, 상기 제2 디바이스로부터 수신된 RX 신호에 포함된 경우, 신호 분리기는, RX 신호에서 상기 제2 통화자의 음성에 대응하는 제2 음성 신호를 분리하도록 구성될 수 있다.
본 발명의 일 실시 예에 따른 통화 방법은, 제1 통화자의 제1 디바이스 및 제2 통화자의 제2 디바이스 간의 통화 중에 상기 제1 디바이스에 연결된 이어폰 및 상기 제1 디바이스에 의해 수행하는 통화 방법에 있어서, TX 신호에 포함될 제1 음성 신호를 생성하는 단계, TX 신호를 상기 제2 디바이스에 송신하는 단계 및 제2 디바이스로부터 수신된 RX 신호에 포함된 제2 음성 신호를 출력하는 단계를 포함하되, 제1 음성 신호를 생성하는 단계는, 좌측 바이노럴 마이크 및 우측 바이노럴 마이크를 이용하여 제1 오디오 신호를 생성하는 단계 및 제1 오디오 신호로부터 제1 주변음 신호와 구별되는 상기 제1 통화자의 음성에 대응되는 상기 제1 음성 신호를 분리하는 단계를 포함하도록 구성될 수 있다.
또한, TX 신호를 상기 제2 디바이스에 송신하는 단계는, 제1 오디오 신호에서 분리된 상기 제1 음성 신호 및 상기 제1 주변음 신호를 패킷화하는 단계 및 제1 음성 신호가 분리된 신호임을 상기 패킷에 표시하는 단계를 포함하도록 구성될 수 있다.
또한, RX 신호에 포함된 제2 음성 신호를 출력하는 단계는, RX 신호의 패킷을 이용하여 제2 주변음 신호와 구별되는, 제2 통화자의 음성에 대응하는 제2 음성 신호 분리 여부를 확인하는 단계를 포함하고, 만약 상기 RX 신호에 상기 제2 음성 신호가 분리된 체 포함된 경우, 제2 음성 신호를 소리로 변환하여 출력하는 단계를 더 포함하도록 구성될 수 있다.
또한, RX 신호에 포함된 제2 음성 신호를 출력하는 단계는, RX 신호의 패킷을 이용하여 제2 주변음 신호와 구별되는, 제2 통화자의 음성에 대응하는 제2 음성 신호 분리 여부를 확인하는 단계를 포함하고, 만약 상기 RX 신호에 상기 제2 음성 신호가 분리되지 않은 체 포함된 경우, RX 신호로부터 상기 제2 음성 신호를 분리하는 단계 및 제2 음성 신호를 소리로 변환하여 출력하는 단계를 더 포함하도록 구성될 수 있다.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의하면, 바이노럴 마이크가 내장된 이어폰을 이용하여 향상된 음질로 핸즈 프리 통화가 가능하다.
또한, 핸즈 프리 통화 시에 상대 통화자의 음성만의 선택 청취가 가능하다.
또한, 핸즈 프리 통화 시에 상대 통화자의 음성과 주변음의 레벨이 조절될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 공간 오디오 이어폰 및 디바이스가 포함된 통신 시스템의 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 공간 오디오 이어폰을 이용하는 통화자의 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 공간 오디오 이어폰의 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 신호 분리의 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 통화 방법의 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 공간 오디오 이어폰을 이용하는 통화자의 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 공간 오디오 이어폰의 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 신호 분리의 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 통화 방법의 흐름도이다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 공간 오디오 이어폰 및 디바이스가 포함된 통신 시스템의 예시도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 제1 이어폰(110-1), 제1 이어폰(110-1)이 연결되는 제1 디바이스(101), 제2 이어폰(110-2), 제2 이어폰(110-2)이 연결되는 제2 디바이스(102) 및 네트워크(300)를 포함하는 통신 시스템이 묘사되어 있다.
제1 디바이스(101) 및 제2 디바이스(102)는 음성 통화를 위해 네트워크(300)를 통해 서로 통신 연결될 수 있다. 그리고 제1 디바이스(101)의 사용자는 제1 통화자이고, 제2 디바이스(102)의 사용자는 제2 통화자인것으로 가정한다.
제1 이어폰(110-1)은 본 발명의 일 실시 예에 따른 공간 오디오 이어폰(110)에 해당하고, 제2 이어폰(110-2)은 본 발명의 일 실시 예에 따른 공간 오디오 이어폰(110)이거나 또는 공간 오디오 이어폰(110)이 아니고 다른 형태의 모델, 예를 들면 유선 또는 무선의 일반적인 이어폰 또는 헤드폰일 수 있다. 더 나아가 제2 통화자는 제2 이어폰(110-2)을 이용하지 않고 제2 디바이스(102)에 내장된 마이크 및 스피커를 이용하여 통화할 수도 있다.
본 발명의 일 실시 예에 따른 공간 오디오 이어폰(110)(이하 이어폰)은 오디오 수신 장치 및 오디오 출력 장치에 해당한다. 이어폰(110)은 디바이스(100)에 연결되어 디바이스(100)에 오디오 신호를 출력하고, 디바이스(100)로부터 오디오 신호를 수신하는 기능을 갖는다. 이어폰(110)은 귀에 착용되는 장치에 한정되지 않고, 오디오 입력 및 출력 기능을 갖는 헤드폰, 헤드셋, 및 그 밖의 다양한 형태의 핸즈 프리 장치가 이어폰(110)에 포함될 수 있다.
디바이스(100)는 본 발명의 일 실시 예에 따른 공간 오디오 이어폰(110)을 포함하는 것을 특징으로 한다. 디바이스(100)는 이어폰(110)을 통해 소리를 입력 받아 신호로 변환하고, 가공된 신호를 소리로 변환하여 출력할 수 있는 기능, 즉 오디오 신호 프로세싱 기능을 갖는 장치에 해당한다. 이어폰(110)도 오디오 신호 프로세싱 기능을 가지도록 구성될 수 있다.
디바이스(100)는 통신 단말에 해당할 수 있다. 디바이스(100)는 세대(generation) 변화에 따른 모바일 통신 방식을 이용하여 전화 통화 및 데이터 통신이 가능한 단말기, 예를 들어 셀룰러폰, 스마트폰, 휴대폰, 핸드폰 등의 형태로 구현될 수 있다.
네트워크(300)는 유선 및 무선 네트워크, 예를 들어 시리얼 통신, LAN(local area network), WAN(wide area network), 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 그리고 모바일 네트워크, 예를 들어 셀룰러, 3G, LTE, WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.
네트워크(300)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(300)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(300)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.
네트워크(300)에는 제1 디바이스(101) 및 제2 디바이스(102) 간의 음성 통화를 가능하게 하는, 중계기, 기지국 및 교환기 등을 포함하도록 구성될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 공간 오디오 이어폰을 이용하는 통화자의 예시도이다.
도 2를 참조하면, 도 1에 묘사된 제1 이어폰(110-1), 즉 이어폰(110)을 착용한 제1 통화자 및 디바이스(100)가 묘사되어 있다. 이어폰(110)은 2개의 피스, 즉 좌측 이어폰(110L) 및 우측 이어폰(110R)으로 구성될 수 있다.
제1 통화자가 속하는 통화 공간이 존재하고, 통화 공간에는 복수 개, 예를 들어 n개의 음원이 존재할 수 있다. 제1 음원은 제1 통화자에 해당하고, 제2 음원 내지 제n 음원은 제1 통화자의 음성에 대해 소음들을 발생시키는 음원이라 가정하고, 전체 소음들을 주변음이라 칭한다.
음원들에서 발생된 소리, 예를 들어 제1 음원인, 제1 통화자에서 비롯된 음성(speech) 및 주변에서 비롯된 주변음은 양 이어폰 피스로 파동 형태로 입력될 수 있다. 각 피스에 입력되는 소리 파동, 예를 들어 좌측 피스에 입력되는 소리 파동으로 W(n-1)L와 W1L, 그리고 우측 피스에 입력되는 소리 파동으로 W(n-1)R와 W1R가 각각 묘사되어 있다.
각 피스에 입력된 소리 파동은 각 피스에 포함된 마이크에 의해 오디오 신호로 변환될 수 있다.
도 1 및 도 2를 참조하면, 제1 이어폰(110-1)은 제1 음성(W1L, W1R) 및 제1 주변음(W(n-1)L, W(n-1)R)이 혼재된 제1 소리 파동을 변환시켜 제1 오디오 신호를 생성할 수 있다. 제1 오디오 신호는 제1 이어폰(110-1)에 의해 제1 음성에 대응하는 제1 음성 신호(S1L, S1R) 및 제1 주변음에 대응하는 제1 주변음 신호(S(n-1)L, S(n-1)R)로 분리될 수 있다. 제1 디바이스(101)는 제1 음성 신호 및 제1 주변음 신호가 포함된 TX 신호를 제2 디바이스(102)로 송신할 수 있다. 제1 디바이스(101)는 제2 디바이스(102)로부터 제2 음성 및 제2 주변음 혼재된 제2 소리 파동에 대응하는 제2 오디오 신호가 포함된 RX 신호를 수신할 수 있다. 제1 이어폰(110-1)은 RX 신호에서 제2 음성에 대응하는 제2 음성 신호를 분리할 수 있다. 그리고 제1 이어폰(110-1)은 제2 음성 신호를 소리로 변환하여 출력할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 공간 오디오 이어폰의 블록도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 이어폰(110)은 좌측 바이노럴 마이크(111), 우측 바이노럴 마이크(112), 증폭기(113), ADC(114), 신호 분리기(115), 입출력 인터페이스(116), 제어기(117), 좌측 스피커 모듈(118), 우측 스피커 모듈(119), DAC(120), 오디오 믹서(121), 사용자 인터페이스(122) 및 배터리(123)를 포함하도록 구성될 수 있다.
좌측 바이노럴 마이크(111) 및 우측 바이노럴 마이크(112)는 이어폰(110)을 구성하는 2개의 피스 각각에 구비된 마이크에 해당한다. 이어폰(110)은 용도 별로 다양한 타입의 마이크, 예를 들어 액티브 노이즈 캔슬링(active noise cancelling)에 필요한 마이크를 포함하도록 구성될 수 있다. 좌측 바이노럴 마이크(111)는 좌측 귀 주변에서 수집된 소리 파동을 아날로그 오디오 신호로 변환하고, 우측 바이노럴 마이크(112)는 우측 귀 주변에서 수집된 소리 파동을 아날로그 오디오 신호로 변환하는 기능을 갖는다.
좌측 바이노럴 마이크(111) 및 우측 바이노럴 마이크(112)는, 이어폰(110)을 착용한 통화자의 음성을 수집할 수 있는 위치에 배치되도록 구성될 수 있다. 예를 들어 바이노럴 마이크와 통해져서 소리 파동이 전달될 수 있는 소리 홀이, 이어폰(110)이 통화자의 외귀에 착용된 상태에서 외부에 노출되는 위치에 형성될 수 있다.
증폭기(113)는 음성 신호의 게인(gain)을 증폭하는 기능을 갖는다. 예를 들어 증폭기는 PGA(programmable gain amplifier) 형태로 구현될 수 있다.
ADC(114)는 아날로그-디지털 변환기(analog to digital converter)에 해당한다. ADC(114)는 아날로그 값의 오디오 신호를 디지털 값의 오디오 신호로 변환하는 기능을 갖는다. 구체적으로 ADC(114)는 표본화(sampling), 양자화(quantization) 및 부호화(encoding)를 통해 오디오 신호를 생성할 수 있다.
신호 분리기(115)는 복수의 음원에서 비롯된 오디오 신호 중에서 특정 음원에서 비롯된 오디오 신호를 분리하는 기능을 갖는다. 예를 들어 신호 분리기(115)는, 전체 음원에서 발생된 소리에서 주변음과 구별되는 통화자의 음성에 대응되는 음성 신호를 분리하는 기능을 갖는다.
입출력 인터페이스(116)는 디바이스(100)의 연결을 통해 신호의 입력 및 출력을 가능하도록 한다. 입출력 인터페이스(116)는 케이블과 같은 유선 형태의 인터페이스 및 근거리 통신 모듈, 예를 들어 블루투스 모듈과 같은 무선 형태의 인터페이스 중에서 적어도 하나를 포함하도록 구성될 수 있다.
제어기(117)는 이어폰(110)의 전체 구성요소의 동작을 제어하고, 신호 처리 기능을 수행하는 프로세서, 예를 들어 디지털 신호 프로세서(digital signal processor)를 이용하여 구현될 수 있다.
좌측 스피커 모듈(118) 및 우측 스피커 모듈(119)은 원격의 제2 통화자가 이용하는 제2 디바이스(102)으로부터 송신되고, 제1 디바이스(101)가 수신하여 이어폰(110)에 전달된 오디오 신호를 소리로 변환하여 출력하는 기능을 갖는다. 그 밖에 좌측 스피커 모듈(118) 및 우측 스피커 모듈(119)은 제1 디바이스(101)의 오디오 출력 기능을 갖는다.
DAC(120)는 좌측 스피커 모듈(118) 및 우측 스피커 모듈(119)을 통해 소리를 출력하기 위해 디지털 타입의 오디오 신호를 아날로그 타입의 오디오 신호로 변환하는 기능을 갖는다.
오디오 믹서(121)는 소프트웨어인 방식을 이용하여 통화자의 음성 신호와 주변음 신호를 서로 혼합하는 기능을 갖는다.
사용자 인터페이스(122)는 이어폰(110) 자체의 기능 제어 또는 디바이스(100)와 연계된 이어폰(110)의 기능 제어를 위한 사용자 입력을 읽어 들이는 기능을 갖는다.
배터리(123)는, 좌측 바이노럴 마이크(111), 우측 바이노럴 마이크(112), 증폭기(113), ADC(114), 신호 분리기(115), 입출력 인터페이스(116), 좌측 스피커 모듈(118), 우측 스피커 모듈(119), DAC(120), 오디오 믹서(121) 및 사용자 인터페이스(122)와 같은 이어폰(110)의 구성요소에 구동 전력을 공급하는 기능을 가지며, 충전, 과충전 방지 및 전력 관리 기능을 수행하는 회로 내지는 모듈을 포함하도록 구성될 수 있다.
좌측 바이노럴 마이크(111), 우측 바이노럴 마이크(112), 증폭기(113), ADC(114), 신호 분리기(115), 입출력 인터페이스(116), 좌측 스피커 모듈(118), 우측 스피커 모듈(119), DAC(120), 오디오 믹서(121), 및 사용자 인터페이스(122)는 배터리(123)로부터 구동 전력을 공급 받는 전자 부품에 해당하고, 이들과 배터리는 각 단자를 포함하고 있어서, 해당 단자들은 PCB에 배치된 연결 단자에 전기적으로 연결될 수 있다.
본 발명의 일 실시 예에 따른 디바이스(100)는 도 3에 묘사된 이어폰(110)을 포함하도록 구성될 수 있다. 즉 디바이스(100)는, 소리 파동을 오디오 신호로 변환하는 좌측 바이노럴 마이크(left binaural microphone)와 우측 바이노럴 마이크(right binaural microphone), 오디오 신호로부터 제1 디바이스를 이용하는 제1 통화자의 음성에 대응하는 제1 음성 신호를 분리하는 신호 분리기 및 제1 디바이스(101)의 통화 상대인 제2 디바이스(102)로부터 수신된 RX 신호에 포함된 제2 음성 신호를 출력하는 좌측 스피커 모듈(left speaker module)과 우측 스피커 모듈(right speaker module)이 구비된 이어폰 및 이어폰(110)과의 입출력 인터페이스를 포함하도록 구성될 수 있다.
디바이스(100)는 통화에 이용되는 음성 신호를 비롯하여 각종 데이터 및 정보를 송신 및 수신하는 데 필요한 무선 통신 모듈을 포함하도록 구성될 수 있다. 그리고 이어폰(110)의 신호 분리기(115) 및 오디오 믹서(121)는 디바이스(100) 내에 포함되도록 구성될 수도 있다.
제1 디바이스(101)를 사용하는 제1 통화자 및 제2 디바이스(102)를 사용하는 제2 통화자 사이의 통화에 있어서, 본 발명의 일 실시 예에 따른 이어폰(110)은 제1 디바이스(100)에 연결되면서도, 제2 디바이스(102)에는 연결되지 않을 수도 있다. 따라서 제1 디바이스(101)는 이어폰(110)을 통해 제1 통화자의 제1 음성 신호를 제1 주변음 신호와 분리한 상태에서 제2 디바이스에 전송하고, 제2 디바이스(102)에서 수신된 RX 신호에 제2 음성 신호가 분리되지 않은 체 포함된 경우, 제2 주변음 신호와 제2 음성 신호를 서로 분리하도록 구성될 수 있다.
즉 무선 통신 모듈은, 패킷 처리된 상기 제1 음성 신호 및 제1 주변음 신호를 제2 디바이스에 송신하되, 제1 통화자의 제1 디바이스는 제1 음성 신호가 오디오 신호로부터 분리된 신호임을 패킷에 표시하도록 구성될 수 있다.
그리고 신호 분리기(115)는, 제2 오디오 신호의 패킷에 상기 분리된 신호라는 표시가 없는 경우, 상기 제2 오디오 신호에서 상기 제2 통화자의 음성 신호를 분리하도록 구성될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 신호 분리의 예시도이다.
도 4를 참조하면, 바이노럴 마이크(111, 112)를 통해 수집된 오디오 신호에서 통화자의 음성 신호를 분리하는 예시 과정이 묘사되어 있다.
좌측 바이노럴 마이크(111)를 통해 수집된 소리 파동 W1L 및 W(n-1)L은 좌측 바이노럴 마이크(111), 증폭기(113) 및 ADC(114)를 통해 디지털 타입의 오디오 신호에 해당하는 S1L, S(n-1)L로 변환될 수 있다.
우측 바이노럴 마이크(112)를 통해 수집된 소리 파동 W1R 및 W(n-1)R은 우측 바이노럴 마이크(112), 증폭기(113) 및 ADC(114)를 통해 디지털 타입의 오디오 신호에 해당하는 S1R, S(n-1)R로 변환될 수 있다.
신호 분리기(115)는, 다양한 방법을 이용하여 통화자의 음성에 해당하는 S1L 또는 S1R 신호를 S1R, S1L, S(n-1)L, S1R, 및 S(n-1)R을 포함하는 입력 값으로부터 분리할 수 있다.
S1L 신호와 S1R 신호는 서로 동일 또는 유사한 신호(coherent signals)에 해당한다. 주변음과 구별되는 통화자의 음성은 좌측 바이노럴 마이크(111) 및 우측 바이노럴 마이크(112)에 대해서 동일한 거리에 있는 통화자의 입에서 비롯된 것이므로, 음성학적으로 동일한 주파수 특성을 갖는 신호에 해당될 수 있다. 따라서 서로 동일한 주파수 특성을 갖는 좌측 음성 신호(S1L) 및 우측 음성 신호(S1R)가 주변음 신호와 분리될 수 있다. 구체적으로 신호 분리기(115)는 상관관계 분석(correlation analysis)을 통해 주파수 특성이 가장 유사한 것으로 분석되는 좌측 음성 신호(S1L) 및 우측 음성 신호(S1R) 중에서 적어도 하나의 신호를 출력할 수 있다.
그 밖에 신호 분리기(115)는 녹음된 통화자의 음성 데이터를 학습 데이터를 이용하여 학습 및 훈련된, 인공지능 알고리즘에 기반하는 인공 신경망, 예들 들어 순환 신경망(recurrent neutral network, RNN) 모델을 이용하여 통화자의 음성의 주파수 특성의 분류를 통해 통화자의 음성 신호를 추출하도록 구성될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 통화 방법의 흐름도이다.
도 5를 참조하면, 제1 통화자 및 제2 통화자 사이에서 본 발명의 일 실시 예에 따른 이어폰(110) 및 디바이스(100)에 의해 수행될 수 있는 통화 방법(S100)이 묘사되어 있다. 제1 통화자는 본 발명의 일 실시 예에 따른 이어폰(110)을 포함하는 디바이스(100)에 해당하는 제1 디바이스(101)를 이용하여 제2 통화자와 음성 통화를 할 수 있다. 제2 통화자도 본 발명의 일 실시 예에 따른 이어폰(110)을 이용할 수 있지만, 이에 한정되는 것은 아니다.
통화 방법(S100)은 TX 신호에 포함될 제1 음성 신호를 생성하는 단계(S110), TX TLSGHFMF 제2 디바이스(102)에 송신하는 단계(S120), 제2 디바이스(102)로부터 수신된 RX 신호에 포함된 제2 음성 신호를 출력하는 단계(S130)를 포함하도록 구성될 수 있다. 통화 방법(S100)에서 제1 음성 신호 생성 단계(S110) 및 TX 신호 송신 단계(S120)는 연속적 과정에 해당하나, 제2 음성 신호 출력 단계(S130)는 통화 방법(S100)을 구성하는 제1 음성 신호 생성 단계(S110) 및 TX 신호 송신 단계(S120)와 연속 과정에 있지 않으며, 오히려 제2 통화자가 이용하는 이어폰(110)이 포함된 제2 디바이스(102)에 의해 수행되는 제1 음성 신호 출력 단계가 제1 음성 신호 생성 단계(S110) 및 TX 신호 송신 단계(S120)와 연속 과정에 있을 수 있다.
제1 음성 신호를 생성하는 단계(S110)는, 좌측 바이노럴 마이크 및 우측 바이노럴 마이크를 이용하여 제1 오디오 신호를 생성하는 단계(S111) 및 제1 오디오 신호로부터 제1 주변음 신호와 구별되는 상기 제1 통화자의 음성에 대응되는 제1 음성 신호를 분리하는 단계(S112)를 포함하도록 구성될 수 있다.
상술한 바와 같이 이어폰(110)은 내장된 신호 분리기(115)를 이용하여 서로 유사 또는 동일한 주파수 특성을 갖는 좌측 음성 신호(S1L) 및 우측 음성 신호(S1R) 중에서 적어도 하나의 신호를 주변음 신호와 분리할 수 있다.
TX 신호를 제2 디바이스(102)에 송신하는 단계(S120)는, 제1 음성 신호에서 분리된 제1 음성 신호 및 제1 주변음 신호를 패킷화하는 단계(S121) 및 제1 음성 신호가 분리된 신호임을 패킷에 표시하는 단계를 포함하도록 구성될 수 있다.
제2 디바이스(102)로부터 수신된 RX 신호에 포함된 제2 오디오 신호를 출력하는 단계(S130)는, RX 신호의 패킷을 이용하여 제2 주변음 신호와 구별되는, 제2 통화자의 음성에 대응하는 제2 음성 신호 분리 여부를 확인하는 단계(S131)를 포함하도록 구성될 수 있다.
그리고 만약 RX 신호에 제2 음성 신호가 분리된 체 포함된 경우, S130 단계는 제2 통화자의 제2 음성 신호를 소리로 변환하여 출력(S132-1)하는 단계를 더 포함하도록 구성될 수 있다.
만약에 RX 신호에 제2 음성 신호가 분리되지 안은 체 포함된 경우, S130 단계는 RX 신호로부터 제2 음성 신호를 분리하는 단계 및 제2 음성 신호를 소리로 변환하여 출력하는 단계(S132-2)를 더 포함하도록 구성될 수 있다.
이와 같이 본 발명의 일 실시 예에 따르면, 바이노럴 마이크가 내장된 이어폰을 이용하여 향상된 음질로 핸즈 프리 통화가 가능하다.
또한, 핸즈 프리 통화 시에 상대 통화자의 음성만의 선택 청취가 가능하다.
또한, 핸즈 프리 통화 시에 상대 통화자의 음성과 주변음의 레벨이 조절될 수 있다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
10: 통화 시스템
100: 디바이스
101: 제1 디바이스
102: 제2 디바이스
110: 이어폰(earphone)
111: 좌측 바이노럴 마이크(left binaural microphone)
112: 우측 바이노럴 마이크(right binaural microphone)
113: 증폭기
114: ADC
115: 신호 분리기(signal separator)
116: 입출력 인터페이스(input-output interface)
117: 제어기(controller)
118: 제1 스피커 모듈(left speaker module)
119: 제2 스피커 모듈(right speaker module)
120: DAC
121: 오디오 믹서
122: 사용자 인터페이스
123: 배터리(battery)
300: 네트워크
100: 디바이스
101: 제1 디바이스
102: 제2 디바이스
110: 이어폰(earphone)
111: 좌측 바이노럴 마이크(left binaural microphone)
112: 우측 바이노럴 마이크(right binaural microphone)
113: 증폭기
114: ADC
115: 신호 분리기(signal separator)
116: 입출력 인터페이스(input-output interface)
117: 제어기(controller)
118: 제1 스피커 모듈(left speaker module)
119: 제2 스피커 모듈(right speaker module)
120: DAC
121: 오디오 믹서
122: 사용자 인터페이스
123: 배터리(battery)
300: 네트워크
Claims (17)
- 제1 통화자 측의 제1 소리 파동을 제1 오디오 신호로 변환하는 좌측 바이노럴 마이크(left binaural microphone) 및 우측 바이노럴 마이크(right binaural microphone);
제1 디바이스를 이용하는 상기 제1 통화자의 제1 음성에 대응하는 제1 음성 신호를 상기 제1 오디오 신호에서 분리하는 신호 분리기; 및
제2 디바이스를 이용하는, 상기 제1 통화자의 통화 상대인 제2 통화자 측에서 수집된 제2 소리 파동에 대응하는 제2 오디오 신호에 포함된 상기 제2 통화자의 제2 음성 신호를 출력하는 좌측 스피커 모듈(left speaker module) 및 우측 스피커 모듈(right speaker module)을 포함하고,
상기 신호 분리기는,
상기 제2 음성 신호의 분리 여부를 확인하고, 상기 제2 오디오 신호에 포함된 상기 제2 음성 신호와 제2 주변음에 대응하는 제2 주변음 신호가 서로 분리되지 않은 경우,
유사 주파수 특성을 갖는 좌측 음성 신호 및 우측 음성 신호를 이용하는 상관관계 분석(correlation analysis)을 통해 상기 제2 오디오 신호에서 상기 제2 통화자의 음성에 대응되는 상기 제2 음성 신호를 분리하고,
상기 좌측 스피커 모듈 및 우측 스피커 모듈은,
상기 제2 오디오 신호에 포함된 신호 중에서 상기 제2 주변음 신호와 분리된 상기 제2 통화자의 음성에 대응되는 상기 제2 음성 신호를 소리로 변환하여 출력하도록 구성되는,
이어폰. - 청구항 1에 있어서,
상기 좌측 바이노럴 마이크는 상기 제1 통화자의 좌측 외이도 주변의 상기 제1 통화자의 제1 음성의 좌측 파동과 제1 주변음의 좌측 파동을 좌측 제1 오디오 신호로 변환하고,
상기 우측 바이노럴 마이크는, 상기 제1 통화자의 우측 외이도 주변의 상기 제1 통화자의 제1 음성의 우측 파동과 제1 주변음의 우측 파동을 우측 제1 오디오 신호로 변환하도록 구성되는,
이어폰. - 청구항 2에 있어서,
상기 신호 분리기는,
상기 좌측 제1 오디오 신호 및 상기 우측 제1 오디오 신호 중 적어도 하나의 제1 오디오 신호에서 상기 제1 음성 신호를 분리하도록 구성되는,
이어폰. - 삭제
- 삭제
- 청구항 1에 있어서,
상기 제2 오디오 신호에서 분리된 상기 제2 음성 신호 및 상기 제2 주변음에 대응되는 제2 주변음 신호를 서로 혼합하는 오디오 믹서를 더 포함하고,
상기 좌측 스피커 모듈 및 우측 스피커 모듈은,
서로 혼합된 상기 제2 음성 신호 및 상기 제2 주변음 신호를 출력하도록 구성되는,
이어폰. - 청구항 6에 있어서,
상기 제2 음성 신호 및 상기 제2 주변음 신호의 레벨을 독립적으로 설정하는 사용자 인터페이스를 더 포함하고,
상기 좌측 스피커 모듈 및 우측 스피커 모듈은,
상기 사용자 인터페이스에 의해 독립적으로 설정된 레벨에 따라 상기 제2 음성 신호 및 상기 제2 주변음 신호를 출력하도록 구성되는,
이어폰. - 청구항 1에 있어서,
상기 이어폰과 상기 제1 디바이스의 연결을 위한 입출력 인터페이스(input-output interface)를 더 포함하되,
상기 입출력 인터페이스는,
상기 제1 디바이스가 상기 제1 음성에 대응하는 제1 음성 신호가 포함된 TX 신호(transmitted signal)를 상기 제2 디바이스로 송신할 수 있도록, 상기 제1 음성 신호를 상기 제1 디바이스로 출력하도록 구성되는,
이어폰. - 청구항 8에 있어서,
상기 입출력 인터페이스는 케이블 또는 근거리 통신 모듈 중에서 적어도 하나를 포함하도록 구성되는,
이어폰. - 청구항 9에 있어서,
상기 좌측 바이노럴 마이크, 상기 우측 바이노럴 마이크, 상기 신호 분리기, 상기 좌측 스피커 모듈, 상기 우측 스피커 모듈 및 상기 근거리 통신 모듈에 구동 전력을 각각 공급하는 배터리 모듈을 더 포함하도록 구성되는,
이어폰. - 제1 주변음과 제1 음성을 포함하는 제1 소리 파동을 제1 오디오 신호로 변환하는 좌측 바이노럴 마이크 및 우측 바이노럴 마이크, 제1 디바이스를 이용하는 제1 통화자의 상기 제1 음성에 대응하는 제1 음성 신호를, 상기 제1 오디오 신호에서 분리하는 신호 분리기 및 상기 제1 통화자의 통화 상대인 제2 통화자의 제2 디바이스 측에서 생성된 제2 오디오 신호에 포함된 제2 음성 신호를 출력하는 좌측 스피커 모듈 및 우측 스피커 모듈을 포함하는 이어폰;
상기 이어폰을 연결시키는 입출력 인터페이스; 및
음성 통화를 위해 상기 제1 디바이스와 상기 제2 디바이스 사이를 통신 연결시키는 무선 통신 모듈을 포함하고,
상기 신호 분리기는,
상기 제2 음성 신호의 분리 여부를 확인하고, 상기 제2 오디오 신호에 포함된 상기 제2 음성 신호와 제2 주변음에 대응하는 제2 주변음 신호가 서로 분리되지 않은 경우,
유사 주파수 특성을 갖는 좌측 음성 신호 및 우측 음성 신호를 이용하는 상관관계 분석(correlation analysis)을 통해 상기 제2 오디오 신호에서 상기 제2 통화자의 음성에 대응되는 상기 제2 음성 신호를 분리하도록 구성되는,
디바이스. - 청구항 11에 있어서,
상기 무선 통신 모듈은,
상기 제1 음성 신호 및 제1 주변음에 대응하는 제1 주변음 신호를 포함하는 TX 신호를 상기 제2 디바이스에 송신하고,
상기 제1 디바이스는 상기 제1 음성 신호가 상기 제1 오디오 신호로부터 분리된 신호임을 상기 TX 신호에 표시하도록 구성되는,
디바이스. - 청구항 12에 있어서,
상기 제2 음성에 대응하는 제2 음성 신호가 제2 주변음 신호와 분리되지 않은 상태로, 상기 제2 디바이스로부터 수신된 RX 신호(received signal)에 포함된 경우,
상기 신호 분리기는,
상기 RX 신호에서 상기 제2 통화자의 음성에 대응하는 제2 음성 신호를 분리하도록 구성되는,
디바이스. - 제1 통화자의 제1 디바이스 및 제2 통화자의 제2 디바이스 간의 통화 중에 상기 제1 디바이스에 연결된 이어폰 및 상기 제1 디바이스에 의해 수행하는 통화 방법에 있어서,
TX 신호에 포함될 제1 음성 신호를 생성하는 단계;
상기 TX 신호를 상기 제2 디바이스에 송신하는 단계; 및
상기 제2 디바이스로부터 수신된 RX 신호에 포함된 제2 음성 신호를 출력하는 단계를 포함하되,
상기 제1 음성 신호를 생성하는 단계는,
좌측 바이노럴 마이크 및 우측 바이노럴 마이크를 이용하여 제1 오디오 신호를 생성하는 단계; 및
상기 제1 오디오 신호로부터 제1 주변음 신호와 구별되는 상기 제1 통화자의 음성에 대응되는 상기 제1 음성 신호를 분리하는 단계를 포함하되,
상기 제1 음성 신호 또는 제2 음성 신호는, 유사 주파수 특성을 갖는 좌측 음성 신호 및 우측 음성 신호를 이용하는 상관관계 분석(correlation analysis)을 통해 상기 제1 통화자의 제1 오디오 신호 또는 상기 제2 통화자의 제2 오디오 신호에서 분리되도록 구성되는,
통화 방법. - 청구항 14에 있어서,
상기 TX 신호를 상기 제2 디바이스에 송신하는 단계는,
상기 제1 오디오 신호에서 분리된 상기 제1 음성 신호 및 상기 제1 주변음 신호를 패킷화하는 단계; 및
상기 제1 음성 신호가 분리된 신호임을 상기 패킷에 표시하는 단계를 포함하도록 구성되는,
통화 방법. - 청구항 14에 있어서,
상기 RX 신호에 포함된 제2 음성 신호를 출력하는 단계는,
상기 RX 신호의 패킷을 이용하여 제2 주변음 신호와 구별되는, 제2 통화자의 음성에 대응하는 제2 음성 신호 분리 여부를 확인하는 단계를 포함하고,
만약 상기 RX 신호에 상기 제2 음성 신호가 분리된 체 포함된 경우,
상기 제2 음성 신호를 소리로 변환하여 출력하는 단계를 더 포함하도록 구성되는,
통화 방법. - 청구항 14에 있어서,
상기 RX 신호에 포함된 제2 음성 신호를 출력하는 단계는,
상기 RX 신호의 패킷을 이용하여 제2 주변음 신호와 구별되는, 제2 통화자의 음성에 대응하는 제2 음성 신호 분리 여부를 확인하는 단계를 포함하고,
만약 상기 RX 신호에 상기 제2 음성 신호가 분리되지 않은 체 포함된 경우,
상기 RX 신호로부터 상기 제2 음성 신호를 분리하는 단계; 및
상기 제2 음성 신호를 소리로 변환하여 출력하는 단계를 더 포함하도록 구성되는,
통화 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220019885A KR102592476B1 (ko) | 2022-02-16 | 2022-02-16 | 공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220019885A KR102592476B1 (ko) | 2022-02-16 | 2022-02-16 | 공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230123532A KR20230123532A (ko) | 2023-08-24 |
| KR102592476B1 true KR102592476B1 (ko) | 2023-10-26 |
Family
ID=87841524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220019885A KR102592476B1 (ko) | 2022-02-16 | 2022-02-16 | 공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102592476B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015119248A (ja) * | 2013-12-17 | 2015-06-25 | 国立大学法人 名古屋工業大学 | バイノーラル録音を用いた立体音響ｉｐ電話 |
| KR101627247B1 (ko) * | 2014-12-30 | 2016-06-03 | 가우디오디오랩 주식회사 | 추가 자극을 생성하는 바이노럴 오디오 신호 처리 방법 및 장치 |
| KR101958664B1 (ko) * | 2017-12-11 | 2019-03-18 | (주)휴맥스 | 멀티미디어 콘텐츠 재생 시스템에서 다양한 오디오 환경을 제공하기 위한 장치 및 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110108449A (ko) | 2010-03-29 | 2011-10-06 | 강민수 | 입체 음향을 이용하는 디지털 무선 음성 통신 시스템 |
-
2022
- 2022-02-16 KR KR1020220019885A patent/KR102592476B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015119248A (ja) * | 2013-12-17 | 2015-06-25 | 国立大学法人 名古屋工業大学 | バイノーラル録音を用いた立体音響ｉｐ電話 |
| KR101627247B1 (ko) * | 2014-12-30 | 2016-06-03 | 가우디오디오랩 주식회사 | 추가 자극을 생성하는 바이노럴 오디오 신호 처리 방법 및 장치 |
| KR101958664B1 (ko) * | 2017-12-11 | 2019-03-18 | (주)휴맥스 | 멀티미디어 콘텐츠 재생 시스템에서 다양한 오디오 환경을 제공하기 위한 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230123532A (ko) | 2023-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11037544B2 (en) | Sound output device, sound output method, and sound output system | |
| CN106664498B (zh) | 用于产生与音频传输功能相关的头的人造耳装置及其相关方法 | |
| US9398381B2 (en) | Hearing instrument | |
| US20110188662A1 (en) | Method of rendering binaural stereo in a hearing aid system and a hearing aid system | |
| KR101016975B1 (ko) | 미디어 시스템, 이 미디어 시스템에서 적어도 하나의 출력 신호를 생성하는 방법, 및 컴퓨터 판독 가능한 매체 | |
| US11438713B2 (en) | Binaural hearing system with localization of sound sources | |
| US8488820B2 (en) | Spatial audio processing method, program product, electronic device and system | |
| US11805364B2 (en) | Hearing device providing virtual sound | |
| CN114727212B (zh) | 音频的处理方法及电子设备 | |
| WO2012115785A2 (en) | Electronic communication system that mimics natural range and orientation dependence | |
| EP4068798A1 (en) | Signal processing apparatus, method and system | |
| KR102592476B1 (ko) | 공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법 | |
| KR102613033B1 (ko) | 머리전달함수 기반의 이어폰, 이를 포함하는 전화디바이스 및 이를 이용하는 통화방법 | |
| US11856370B2 (en) | System for audio rendering comprising a binaural hearing device and an external device | |
| JP2007013407A (ja) | 音像定位移動通信システム、移動通信端末装置、無線基地局装置および移動通信端末上における音像定位方法 | |
| KR102613035B1 (ko) | 위치보정 기능의 이어폰 및 이를 이용하는 녹음방법 | |
| CN116744169B (zh) | 耳机设备、声音信号的处理方法及佩戴贴合度测试方法 | |
| CN117082406A (zh) | 音频播放系统 | |
| Lezzoum et al. | Assessment of sound source localization of an intra-aural audio wearable device for audio augmented reality applications | |
| WO1998042161A2 (en) | Telephonic transmission of three-dimensional sound |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |