KR101450014B1 - Smart user aid devices using bluetooth communication - Google Patents

Smart user aid devices using bluetooth communication Download PDF

Info

Publication number
KR101450014B1
KR101450014B1 KR1020140079413A KR20140079413A KR101450014B1 KR 101450014 B1 KR101450014 B1 KR 101450014B1 KR 1020140079413 A KR1020140079413 A KR 1020140079413A KR 20140079413 A KR20140079413 A KR 20140079413A KR 101450014 B1 KR101450014 B1 KR 101450014B1
Authority
KR
South Korea
Prior art keywords
audio
unit
microphone
user
fitting data
Prior art date
Application number
KR1020140079413A
Other languages
Korean (ko)
Inventor
임상수
Original Assignee
(주)마이크로텍시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)마이크로텍시스템 filed Critical (주)마이크로텍시스템
Priority to KR1020140079413A priority Critical patent/KR101450014B1/en
Application granted granted Critical
Publication of KR101450014B1 publication Critical patent/KR101450014B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/405Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552Binaural
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/61Aspects relating to mechanical or electronic switches or control elements, e.g. functioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)

Abstract

The present invention relates to smart user aid technology generally using Bluetooth communications. More particularly, the present invention provides a smart user aid device with the optimum solution enabling a person with a hearing loss to enjoy the entertainment content (for example, game and music) of the smart terminal with high quality. For this, the quality of the life of the person with the hearing loss is improved by safely enjoying the entertainment outdoors by automatically fitting the frequency feature of the smart user aid device with an application of the smart terminal according to the intention of the user and the hearing properties of both ears by providing left and right stereo audios, and mounting four directional microphones in front, rear, left, and right sides.

Description

블루투스를 이용한 스마트 사용자 보조 장치 {Smart user aid devices using bluetooth communication}[0001] Smart user aid devices using bluetooth communication [

본 발명은 일반적으로 블루투스 통신을 이용하는 스마트 사용자 보조 기술에 관한 것이다. 더욱 상세하게는 본 발명은 청각에 어려움이 있는 사람(이하, '청각 곤란자'라 함)이 스마트 단말의 엔터테인먼트 컨텐츠(예: 게임, 음악)를 고품질로 즐길 수 있도록 해주는 최적의 솔루션을 마련한 스마트 사용자 보조 장치를 제공한다. 이를 위해, 본 발명에서는 레프트/라이트의 스테레오 오디오를 제공하되 양쪽 귀의 청음 특성과 사용자의 의도에 맞도록 스마트 단말의 어플리케이션으로 스마트 사용자 보조 장치의 주파수 특성을 오토 피팅하고 전후좌우의 4방향 지향성 마이크를 장착하여 외부에서도 엔터테인먼트를 안전하게 즐길 수 있도록 함으로써 청각 곤란자의 삶의 질을 향상시킨다.
The present invention relates generally to smart user assistive technology using Bluetooth communication. More specifically, the present invention relates to a smart phone that provides an optimal solution for enabling a person with a difficulty in hearing (hereinafter referred to as a " hard-of-hearing ") to enjoy entertainment contents Provide an assistive device. To this end, the present invention provides a left / right stereo audio system, in which the frequency characteristics of a smart user assist device are automatically fitted to the application of a smart terminal in accordance with the user's intention to listen to both of the ears and user's intention, It improves the quality of life of the hard-of-hearing by allowing the entertainer to enjoy the entertainment safely from the outside.

최근들어 스마트폰, 스마트패드, 스마트TV 등과 같은 스마트 단말이 활발하게 보급되었다. 이들 스마트 단말은 안드로이드, iOS, 타이젠 등과 같은 스마트 운영체제를 갖추고 있어 각자 필요에 따라 어플리케이션을 자유자재로 설치할 수 있다. 또한, 무선 네트워크를 갖추고 있어 디지털 데이터를 외부의 서버와 주고받을 수 있고, 대용량 스토리지를 구비하여 어플리케이션을 다수 설치하거나 멀티미디어 데이터를 내장하는 것이 가능하다.In recent years, smart terminals such as smart phones, smart pads, and smart TVs have actively spread. These smart terminals are equipped with smart operating systems such as Android, iOS, and Tezen, and can be installed freely according to their needs. In addition, it has a wireless network, so digital data can be exchanged with an external server, and it is possible to install a large number of applications or to embed multimedia data with mass storage.

이러한 기능을 갖추고 있기에 스마트 단말은 사진 촬영, 동영상 촬영, 음악 재생, 동영상 재생, 게임 플레이, 방송 수신 등과 같은 다양한 용도로 활용되고 있다. 그에 따라, 최근에는 실내 및 실외에서 스마트 단말을 사용하고 있는 사람들을 흔히 목격하게 되며, 이들 중에 다수는 이어폰이나 헤드폰을 사용하여 엔터테인먼트를 즐기면서 각자 나름대로 용무를 보고 있다.Because of these functions, smart terminals are being used for various purposes such as photo shooting, movie shooting, music playback, video playback, game play, and broadcast reception. Accordingly, in recent years, people who are using smart terminals indoors and outdoors are often witnessed, and many of them are enjoying their own entertainment while enjoying earphones or headphones.

한편, 고령화나 작업환경의 소음 등으로 인해 청력이 저하된 사람들이 다수 존재하는데, 이들은 불편함을 감수하고 생활하거나 심한 경우 보청기와 같은 청력보조장치를 사용하여 그 저하된 청력을 보상하고 있다. 일반적으로 청력이 저하될 경우에는 가청주파수 대역에 대해 전반적으로 균일하게 청력이 저하되는 것은 아니고 일부 주파수 대역에 대해서만 소리를 잘 듣지못하는 현상으로 나타난다. 이때, 이처럼 잘 듣지못하게 되는 주파수 대역은 각자의 사정에 의해 사람마다 상이하게 나타나는 것이 일반적이다.On the other hand, there are many people with hearing loss due to aging and noise in the working environment. They are living with inconvenience and in severe cases hearing aids such as hearing aids are used to compensate for the decreased hearing. In general, when the hearing loss is reduced, the hearing ability is not lowered uniformly over the whole of the audio frequency band, but the sound is not heard only in some frequency bands. At this time, it is general that frequency bands that can not be heard like this are different for each person depending on their circumstances.

이에 보청기는 매장에서 근무하는 엔지니어(청각사)가 청각 곤란자 개인별로 피팅하는 과정을 장시간에 걸쳐 섬세하게 수행한 후에 제작하였다. 이러한 과정을 거쳐야 함에 따라 보청기는 기본적으로 맞춤 제작이라는 속성을 가지게 되었고, 그로 인해 제품 가격도 수백만원 정도로 고가이다. 이처럼 높은 가격에도 불구하고 종래의 보청기는 시시각각 변화하는 주변 환경(예: 잡음)과 사용자의 의도(예: 대화, 음악감상 등)에 적응하지는 못한다. 종래의 보청기는 단순히 주변 상황을 인지하거나 주변 사람들과 대화하는 정도의 일상 생활을 특별한 문제없이 가능하게 하는 정도에 불과하다.Hearing aids were produced after a long period of delicate work by the engineer (Chung-kwan) working in the store for individual hearing difficulties. As a result of this process, the hearing aid is basically made to be custom-made, and the price of the hearing aid is as high as several million won. Despite this high price, conventional hearing aids do not adapt to the ever-changing surroundings (eg, noise) and user intent (eg, conversation, listening to music, etc.). Conventional hearing aids are merely a matter of enabling the daily life to be as simple as recognizing the surrounding situation or communicating with the surrounding people without any problem.

이처럼 종래에는 청각이 저하되면 보청기를 하더라도 일상 생활을 문제 없도록 해주는 정도에 불과할 뿐, 음악이나 게임과 같은 엔터테인먼트를 즐긴다는 것은 사실상 불가능하였고, 이로 인해 삶의 만족도가 급격하게 저하되는 문제점이 있었다. 그에 따라, 개인의 청각 특성과 주변 환경, 그리고 사용자의 의도에 따라 오디오 처리 정책을 적응적으로 변경함으로써 일반인은 물론이고 청각 곤란자의 경우라도 일상 생활과 엔터테인먼트를 모두 즐길 수 있도록 하여 삶의 만족도를 제고할 수 있는 기술의 개발이 요망되었다.
Conventionally, even if a hearing aid is deteriorated, it is only a level that makes daily life unhappy even if a hearing aid is used, and it is practically impossible to enjoy entertainment such as music and games, and thus the life satisfaction is rapidly deteriorated. Accordingly, the audio processing policy is adaptively changed according to the individual's auditory characteristics, the surrounding environment, and the user's intention, thereby enhancing the life satisfaction by making it possible to enjoy both daily life and entertainment even in the case of the ordinary person or the hearing impaired The development of a technology that can do this is desired.

1. 대한민국 특허출원 10-2004-0052145호 "지향성 조절을 향상시킨 양이 귓속형 디지털 보청기"1. Korean Patent Application No. 10-2004-0052145 "Amount of ear-type digital hearing aid improved directivity"

2. 대한민국 특허출원 10-2008-0008467호 "한국어 주파수 특성에 맞는 다채널 디지털 보청기의 채널설정 방법 및 이를 이용한 다채널 디지털 보청기"2. Korean Patent Application No. 10-2008-0008467, entitled " Method for setting channels of a multi-channel digital hearing aid in accordance with Korean frequency characteristics, and a multi-channel digital hearing aid using the same "

3. 대한민국 특허출원 10-2008-0093077호 "RF 채널 자동설정 보청시스템 및 방법"3. Korean Patent Application No. 10-2008-0093077 "RF channel automatic setting hearing system and method"

4. 대한민국 특허출원 10-2009-0129690호 "라디오 일체형 보청기"4. Korean Patent Application No. 10-2009-0129690 "Radio-integrated hearing aid"

5. 대한민국 특허출원 10-2010-0017413호 "보청기 겸용 블루투스 헤드셋 및 그 제어방법"5. Korean Patent Application No. 10-2010-0017413 "Bluetooth Headset Combined with Hearing Aid and Control Method Thereof"

6. 대한민국 특허출원 10-2011-0007115호 "근거리 통신을 이용한 보청장치"6. Korean Patent Application No. 10-2011-0007115 entitled "

7. 대한민국 특허출원 10-2011-0092759호 "청력보조 장치, 청력보조 전자기기 시스템 및 청력보조 방법"7. Korean Patent Application No. 10-2011-0092759 "Hearing aid, hearing aid electronic system and hearing aid method"

8. 대한민국 특허출원 10-2012-0080088호 "위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템"8. Korean Patent Application No. 10-2012-0080088 "Hearing Aid Insertion-Type Hearing Aid Having a Hazardous Element Detection Function and Hazardous Element Detection System Using It"

9. 대한민국 특허출원 10-2012-0082438호 "원격제어 기능이 구비된 무선 귓속형 보청시스템 및 그 제어방법"
9. Korean Patent Application No. 10-2012-0082438 "Cordless ear-type hearing aid system equipped with remote control function and control method thereof"

본 발명의 목적은 일반적으로 블루투스 통신을 이용하는 스마트 사용자 보조 기술을 제공하는 것이다. 특히, 본 발명의 목적은 청각 곤란자가 스마트 단말의 엔터테인먼트 컨텐츠(예: 게임, 음악)를 고품질로 즐길 수 있도록 해주는 최적의 솔루션을 제공하는 것이다. 즉, 스테레오 오디오를 제공하되 양쪽 귀의 청음 특성과 사용자의 의도에 맞도록 스마트 단말의 어플리케이션으로 스마트 사용자 보조 장치의 주파수 특성을 오토 피팅하고 전후좌우의 4방향 지향성 마이크를 장착하여 외부에서도 엔터테인먼트를 안전하게 즐길 수 있도록 함으로써 청각 곤란자의 삶의 질을 향상시키는 것이 본 발명의 목적이다.
It is an object of the present invention to provide a smart user assistive technology that generally uses Bluetooth communication. In particular, it is an object of the present invention to provide an optimal solution that enables auditory difficulties to enjoy entertainment contents (e.g., games, music) of a smart terminal with high quality. In other words, stereo audio is provided, but the application of the smart terminal is adapted to the frequency characteristics of the smart user assist device by the application of the smart terminal according to the audible characteristics of both ears and the user's intention and the entertainment of the outside is safely enjoyed by attaching the four- It is an object of the present invention to improve the quality of life of a hearing-impaired person.

이상의 과제를 달성하기 위한 본 발명은 블루투스를 통해 외부의 스마트 단말(예: 스마트폰)과 연동되며 엔터테인먼트 모드와 보청 모드를 포함하는 기기 동작 모드에 따라 스테레오 오디오를 신호 처리하여 사용자에게 제공하는 스마트 사용자 보조 장치로서, 외부의 스마트 단말로부터 스테레오 타입의 엔터테인먼트 오디오를 무선 수신하기 위한 블루투스 통신부(180); 스마트 사용자 보조 장치에서 사용자의 좌우 귀에 대응되게 배치되어 주변 오디오를 스테레오 타입으로 수집하는 스테레오 마이크 세트(160); 좌우 귀에 대한 주파수 대역별 증폭 프로파일을 구비한 피팅 데이터를 스마트 사용자 보조 장치의 기기 동작 모드별로 저장하는 피팅데이터 저장부(140); 블루투스 통신부로부터 제공되는 엔터테인먼트 오디오 및 스테레오 마이크 세트로부터 제공되는 주변 오디오를 피팅데이터 저장부에 저장된 기기 동작 모드별 피팅 데이터에 따라 주파수 대역별로 비균일 증폭하는 스테레오 DSP부(130); 스테레오 DSP의 증폭 결과 오디오 신호를 사용자에게 스테레오 출력하기 위한 스테레오 출력부(120); 스마트 사용자 보조 장치의 기기 동작 모드에 대응하여 스마트 사용자 보조 장치의 기능을 전반적으로 제어하는 장치 제어부(110);를 포함하여 구성된다.According to an aspect of the present invention, there is provided a smart user interface device for interfacing with an external smart terminal (e.g., a smart phone) via Bluetooth and for processing a stereo audio signal according to a device operation mode including an entertainment mode and a hearing aid mode, An auxiliary device, comprising: a Bluetooth communication unit (180) for wirelessly receiving stereophonic entertainment audio from an external smart terminal; A set of stereo microphones 160 arranged in correspondence with the left and right ears of the user in the smart user auxiliary device to collect ambient audio in a stereotype; A fitting data storage unit 140 for storing fitting data having amplification profiles for respective right and left ears according to frequency bands for each device operation mode of the smart user auxiliary device; A stereo DSP unit 130 for non-uniformly amplifying the entertainment audio provided from the Bluetooth communication unit and the peripheral audio provided from the stereo microphone set for each frequency band according to the fitting data for each device operation mode stored in the fitting data storage unit; A stereo output unit 120 for stereo outputting the audio signal to the user as a result of amplification of the stereo DSP; And a device control unit (110) that controls overall functions of the smart user auxiliary device in response to the device operation mode of the smart user assistive device.

본 발명에서 스테레오 마이크 세트(160)는 지향성 스테레오 마이크 세트로서 사용자의 좌측 귀에 대응하는 레프트 마이크와 사용자의 우측 귀에 대응하는 라이트 마이크를 포함하여 구성되고, 블루투스 통신부(180)는 외부의 스마트 단말로부터 엔터테인먼트 오디오를 무선 수신하여 BT 좌측 오디오 및 BT 우측 오디오로 스테레오 신호 출력하고, 스테레오 DSP부(130)는, 엔터테인먼트 모드에서는 레프트 마이크의 오디오 신호와 BT 좌측 오디오를 둘다 수신하고 보청 모드에서는 레프트 마이크의 오디오 신호만 수신하며 기기 동작 모드에 따라 위 수신한 오디오 신호를 피팅 데이터 중 좌측 피팅 데이터에 대응하여 증폭하는 레프트 DSP부(131)와, 엔터테인먼트 모드에서는 라이트 마이크의 오디오 신호와 BT 우측 오디오를 둘다 수신하고 보청 모드에서는 라이트 마이크의 오디오 신호만 수신하며 기기 동작 모드에 따라 위 수신한 오디오 신호를 피팅 데이터 중 우측 피팅 데이터에 대응하여 증폭하는 라이트 DSP부(132)를 포함하여 구성되고, 스테레오 출력부(120)는 레프트 DSP부(131)와 라이트 DSP부(132)가 생성하는 각각의 오디오 신호를 스테레오 타입으로 사운드 출력하기 위한 레프트 출력부(121)와 라이트 출력부(122)를 포함하여 구성될 수 있다.The stereo microphone set 160 includes a left microphone corresponding to a left ear of a user and a right microphone corresponding to a user's right ear as a set of directional stereo microphones. The stereo DSP unit 130 receives both the audio signal of the left microphone and the left audio of the BT in the entertainment mode and outputs the audio signal of the left microphone in the hearing mode, A left DSP unit 131 for receiving only the audio signal of the right microphone and the right audio of the right microphone in the entertainment mode, Mode, And a write DSP unit 132 for receiving only the audio signal of the microphone and amplifying the received audio signal according to the operation mode of the device in accordance with the right fitting data of the fitting data. The stereo output unit 120 includes a left DSP And a left output unit 121 and a right output unit 122 for outputting sound of each of the audio signals generated by the input / output unit 131 and the write DSP unit 132 in a stereotyped manner.

본 발명에서 레프트 마이크는 좌측 귀의 2방향에 각각 대응하는 L1 마이크(161) 및 L2 마이크(162)를 포함하여 구성되고, 라이트 마이크는 우측 귀의 2방향에 각각 대응하는 R1 마이크(163) 및 R2 마이크(164)를 포함하여 구성되고, 레프트 DSP부(131)는 제 1 입력 포트를 통해 L1 마이크의 오디오 신호는 항상 수신하고 제 2 입력 포트를 통해 L2 마이크의 오디오 신호와 블루투스 통신부의 BT 좌측 오디오 중 어느 하나를 기기 동작 모드에 따라 선택적으로 수신하고, 라이트 DSP부(132)는 제 1 입력 포트를 통해 R1 마이크의 오디오 신호는 항상 수신하고 제 2 입력 포트를 통해 R2 마이크의 오디오 신호와 블루투스 통신부의 BT 우측 오디오 중 어느 하나를 기기 동작 모드에 따라 선택적으로 수신하도록 구성되는 것이 바람직하다.In the present invention, the left microphone comprises L1 microphones 161 and L2 microphones 162 respectively corresponding to two directions of the left ear, and the light microphones are constituted by R1 microphones 163 corresponding to the two directions of the right ear, And the left DSP unit 131 receives the audio signal of the L1 microphone through the first input port at all times and the audio signal of the L2 microphone and the BT left audio of the Bluetooth communication unit through the second input port The write DSP unit 132 always receives the audio signal of the R1 microphone through the first input port and transmits the audio signal of the R2 microphone and the audio signal of the Bluetooth communication unit through the second input port, And the BT right audio is selectively received according to the device operation mode.

또한, 본 발명에 따른 스마트 사용자 보조 장치는, 사용자의 양쪽 귀 각각에 대하여 가청주파수 대역으로부터 분할된 복수 개의 주파수 대역 별로 테스트 사운드를 제공하고 그에 대응하는 사용자 응답 입력을 분석함으로써 양쪽 귀 각각에 대한 주파수 대역별 청각 특성 모델을 생성하는 이어 모델링 수단(220)과, 사용자 양쪽 귀 각각에 대해 청각 특성 모델을 보상하기 위한 주파수 대역별 표준 증폭 프로파일을 생성하고 기기 동작 모드에 따른 타겟 사운드의 주파수 특성을 반영하여 표준 증폭 프로파일로부터 동작모드별 피팅 데이터를 생성하는 스테레오 피팅 수단(230)과, 동작모드별 피팅 데이터를 블루투스 통신을 통해 피팅데이터 저장부로 제공하는 피팅데이터 전달 수단(260)을 기능시키기 위한 피팅관리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체; 사용자 조작에 대응하여 스마트 사용자 보조 장치의 기기 동작 모드를 설정하기 위한 동작모드 설정부(150);를 더 포함하여 구성되고, 스테레오 DSP부(130)는 동작모드 설정부에 의해 설정된 기기 동작 모드에 대응하는 피팅 데이터를 피팅데이터 저장부로부터 획득하고 위 획득된 피팅 데이터에 기초하여 스테레오 DSP부로 입력되는 오디오 신호를 주파수 대역별로 비균일 증폭하는 것이 바람직하다.Also, the smart user assistance device according to the present invention provides a test sound for each of a plurality of frequency bands divided from an audible frequency band for each of the user's ears, and analyzes the corresponding user response input, An ear modeling means 220 for generating a band-specific acoustic characteristic model, a standard amplification profile for each frequency band for compensating the acoustic characteristic model for each of the user's ears, and reflecting the frequency characteristics of the target sound according to the operation mode of the device (230) for generating fitting data for each operation mode from the standard amplification profile, and fitting data transmitting means (260) for providing the fitting data for each operation mode to the fitting data storage unit via Bluetooth communication. A computer-readable computer on which the program is recorded A recording medium; And an operation mode setting unit 150 for setting a device operation mode of the smart user auxiliary device in response to a user operation. The stereo DSP unit 130 is connected to the device operation mode set by the operation mode setting unit It is preferable that the corresponding fitting data is acquired from the fitting data storage unit and the audio signal inputted to the stereo DSP unit is non-uniformly amplified for each frequency band based on the fitting data obtained above.

본 발명에서 스테레오 피팅 수단(230)은 장소에 따른 잡음의 주파수 특성을 반영하여 표준 증폭 프로파일로부터 장소별 피팅 데이터를 더 생성하고, 피팅데이터 전달 수단(260)은 장소별 피팅 데이터를 블루투스 통신을 통해 피팅데이터 저장부로 더 제공하며, 동작모드 설정부(150)는 사용자 조작에 대응하여 스마트 사용자 보조 장치의 장소 옵션을 더 설정하고, 스테레오 DSP부(130)는 동작모드 설정부에 의해 설정된 장소 옵션에 대응하는 피팅 데이터를 피팅데이터 저장부로부터 획득하고 그 획득된 피팅 데이터에 기초하여 스테레오 DSP부로 입력되는 오디오 신호를 주파수 대역별로 비균일 증폭하는 것이 바람직하다.In the present invention, the stereo fitting means 230 further generates fitting data for each place from the standard amplification profile reflecting the frequency characteristics of noise according to the place, and the fitting data transmitting means 260 transmits fitting data for each place via Bluetooth communication The operation mode setting unit 150 further sets a location option of the smart user auxiliary device in response to a user operation, and the stereo DSP unit 130 sets a location option set by the operation mode setting unit It is preferable that the corresponding fitting data is acquired from the fitting data storage unit and the audio signal input to the stereo DSP unit is non-uniformly amplified for each frequency band based on the obtained fitting data.

또한, 본 발명에 따른 스마트 사용자 보조 장치는, 블루투스 통신부를 통해 외부의 스마트 단말와 무선 연결되어 전화 통화를 수행하는 핸즈프리 모드에서 통화를 위한 사용자의 음성 신호를 획득하는 통화용 마이크(170);를 더 포함하여 구성되고, 블루투스 통신부(180)는 통화용 마이크로부터 제공되는 사용자의 음성 신호를 스마트 단말로 무선 전송하고, 스마트 단말로부터 무선 수신하는 상대방 음성 신호를 BT 좌측 오디오 및 BT 우측 오디오로 신호 출력하고, 레프트 DSP부(131)는 L1 마이크의 오디오 신호와 블루투스 통신부의 BT 좌측 오디오를 둘다 수신하며 핸즈프리 모드에 대응하는 피팅 데이터를 피팅데이터 저장부로부터 획득하고 그 획득된 피팅 데이터에 기초하여 L1 마이크의 오디오 신호 및 BT 좌측 오디오를 주파수 대역별로 비균일 증폭하고, 라이트 DSP부(132)는 R1 마이크의 오디오 신호와 블루투스 통신부의 BT 우측 오디오를 둘다 수신하며 핸즈프리 모드에 대응하는 피팅 데이터를 피팅데이터 저장부로부터 획득하고 그 획득된 피팅 데이터에 기초하여 R1 마이크의 오디오 신호 및 BT 우측 오디오를 주파수 대역별로 비균일 증폭하는 것이 바람직하다.
The smart user auxiliary device according to the present invention further includes a communication microphone 170 for acquiring a voice signal of a user for making a call in a hands-free mode in which a telephone communication is established by wireless connection with an external smart terminal through a Bluetooth communication unit And the Bluetooth communication unit 180 wirelessly transmits a voice signal of the user provided from the communication microphone to the smart terminal and outputs the other party voice signal wirelessly received from the smart terminal to the BT left audio and BT right audio , The left DSP unit 131 receives both the audio signal of the L1 microphone and the BT left audio of the Bluetooth communication unit, acquires the fitting data corresponding to the hands-free mode from the fitting data storage unit, and based on the acquired fitting data, The audio signal and the BT left audio are non-uniformly amplified for each frequency band, The audio DSP unit 132 receives both the audio signal of the R1 microphone and the BT right audio of the Bluetooth communication unit and acquires the fitting data corresponding to the handsfree mode from the fitting data storage unit, Signal and the BT right audio are non-uniformly amplified for each frequency band.

본 발명에 따르면 청각 곤란자도 블루투스를 통해 스마트 단말과 연동되어 게임이나 음악과 같은 엔터테인먼트를 보통의 사람들과 마찬가지로 별다른 문제없이 즐길 수 있다는 장점이 있다. According to the present invention, the hearing-impaired person also has an advantage of being able to enjoy entertainment such as games and music without any problem as in the case of ordinary people by interworking with a smart terminal through Bluetooth.

특히, 본 발명에 따르면 스마트 사용자 보조 장치의 오디오 신호처리 특성에 대해 그때그때의 용도와 주변 잡음 환경에 맞도록 스마트 단말에 설치된 어플리케이션이 오토 피팅을 수행할 뿐만 아니라 양쪽 귀의 청음 특성에 각각 맞도록 독립적으로 피팅함으로써 엔터테인먼트를 즐김에 있어서 난청의 어려움을 최대한 극복할 수 있는 장점이 있다.Particularly, according to the present invention, an application installed in a smart terminal to suit the purpose of use of the audio signal processing characteristic of the smart user assistive device and the ambient noise environment at that time is not limited to performing auto fitting, It is possible to overcome the difficulty of hearing loss as much as possible in enjoying entertainment.

또한, 청각 곤란자는 청각인지 능력이 상대적으로 저하되어 있다는 점을 감안하여 양쪽 귀에 각각 지향성 마이크를 설치함으로써 주변 상황을 입체적으로 파악할 수 있도록 하여 사고 발생의 위험성을 낮추었다. 이러한 기능은 청각 곤란자가 외부에서 엔터테인먼트를 즐기다가 주변 상황을 제때 인식하지 못하여 사고가 날 위험성을 감안하여 본 발명에 마련된 것이다.
In addition, considering that the hearing-impaired person has a relatively low hearing ability, the directional microphones are installed in both ears, so that the surroundings can be grasped three-dimensionally, thereby reducing the risk of accidents. This function is provided in the present invention in consideration of the risk of an accident that an audiophile can not enjoy the entertainment outside and recognize the surrounding situation in a timely manner.

[도 1]은 본 발명에 따른 스마트 사용자 보조 장치의 내부 구성을 나타내는 블록도,
[도 2]는 본 발명에서 스마트 사용자 보조 장치와 연동하기 위한 스마트 어플리케이션이 구현된 스마트 단말의 기능적 구성을 나타내는 블록도,
[도 3]은 본 발명에 따른 스마트 사용자 보조 장치에서 오디오 신호의 내부 연결 구성을 전체적으로 나타내는 도면,
[도 4]는 본 발명의 스마트 사용자 보조 장치가 보청 장치로서 작동할 때의 오디오 신호 연결을 나타내는 도면,
[도 5]는 본 발명의 스마트 사용자 보조 장치가 엔터테인먼트 보조 장치로서 동작할 때의 오디오 신호 연결을 나타내는 도면,
[도 6]은 본 발명의 스마트 사용자 보조 장치가 핸즈프리 장치로서 동작할 때의 오디오 신호 연결을 나타내는 도면.
1 is a block diagram showing an internal configuration of a smart user auxiliary apparatus according to the present invention;
2 is a block diagram illustrating a functional configuration of a smart terminal in which a smart application for interworking with a smart user assistant device is implemented in the present invention;
3 is a diagram illustrating an internal connection configuration of an audio signal as a whole in a smart user auxiliary device according to the present invention;
4 is a diagram showing an audio signal connection when the smart user auxiliary device of the present invention operates as a hearing aid;
5 is a diagram illustrating an audio signal connection when the smart user auxiliary device of the present invention operates as an entertainment assist device;
6 shows an audio signal connection when the smart user auxiliary device of the present invention operates as a hands-free device.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

[도 1]은 본 발명에 따른 스마트 사용자 보조 장치(100)의 내부 구성을 나타내는 블록도이다. 본 발명에서 스마트 사용자 보조 장치(100)는 블루투스를 통해 외부의 스마트 단말(200)과 연동되며 여러가지 기기 동작 모드(예: 엔터테인먼트 모드, 보청 모드, 핸즈프리 모드)에 따라 스테레오 오디오를 신호 처리하여 사용자에게 제공하는 장치이다. 1 is a block diagram showing an internal configuration of a smart user assistance apparatus 100 according to the present invention. In the present invention, the smart user auxiliary device 100 is linked to an external smart terminal 200 through Bluetooth and processes stereo audio according to various device operation modes (e.g., entertainment mode, loudspeaker mode, hands-free mode) .

이러한 동작을 수행하는 스마트 사용자 보조 장치(100)는 장치 제어부(110), 스테레오 출력부(120), 스테레오 DSP부(130), 피팅데이터 저장부(140), 동작모드 설정부(150), 지향성 스테레오 마이크 세트(160), 통화용 마이크(170), 블루투스 통신부(180)를 포함하여 구성된다. 스마트 사용자 보조 장치(100)를 이루는 개별 기능 요소에 대해 살펴본다.The smart user auxiliary device 100 that performs this operation includes a device control unit 110, a stereo output unit 120, a stereo DSP unit 130, a fitting data storage unit 140, an operation mode setting unit 150, A stereo microphone set 160, a communication microphone 170, and a Bluetooth communication unit 180. The individual functional elements of the smart user assist device 100 will now be described.

먼저, 장치 제어부(110)는 기기 동작 모드에 대응하여 스마트 사용자 보조 장치(100)의 기능을 전반적으로 제어한다. First, the device control unit 110 generally controls the functions of the smart user assist device 100 in response to the device operation mode.

스테레오 출력부(120)는 스마트 사용자 보조 장치(100)의 오디오 출력을 사용자에게 스테레오 오디오로 제공한다. 특히, 후술하는 바와 같이 스테레오 DSP부(130)가 해당 사용자에 대한 피팅 데이터에 기초하여 오디오 신호를 증폭한 결과 신호를 사용자에게 스테레오 출력한다. The stereo output unit 120 provides the audio output of the smart user assistive device 100 to the user as stereo audio. In particular, as described later, the stereo DSP unit 130 outputs a stereo signal to the user as a result of amplifying the audio signal based on the fitting data for the user.

스테레오 DSP부(130)는 사용자에게 들려줄 오디오 신호를 해당 사용자에게 최적화된 피팅 데이터에 따라 주파수 대역별로 비균일 증폭한다. 피팅 데이터는 후술하는 바와 같이 피팅데이터 저장부(140)에 기기 동작 모드 및 장소 별로 구분되어 마련되어 있는데, 스테레오 DSP부(130)는 사용자의 조작에 따라 동작모드 설정부(150)가 설정한 기기 동작 모드 및 장소 옵션에 대응하여 해당 사용자의 청력 특성(즉, 주파수 대역 별로 나타나는 청력 저하 특성)을 보상하기 위한 피팅 데이터를 피팅데이터 저장부(140)로부터 획득한다.The stereo DSP unit 130 non-uniformly amplifies the audio signal to be heard by the user according to the fitting data optimized for the user, for each frequency band. The fitting data may be stored in the fitting data storage unit 140 according to the operation mode and the location of the device. The stereo DSP unit 130 controls the operation of the device, which is set by the operation mode setting unit 150, From the fitting data storage unit 140, fitting data for compensating the hearing characteristic of the user corresponding to the mode and the place option (i.e., the hearing loss characteristic indicated by the frequency band).

먼저, 사용자가 일상적인 생활(예: 대화, 토론, 보행, 쇼핑 등)을 지내는 보청 모드에서 스테레오 DSP부(130)는 스테레오 마이크 세트로부터 제공되는 주변 오디오를 피팅 데이터에 따라 비균일 증폭한다. First, in the hearing mode in which the user is in daily life (for example, conversation, discussion, walking, shopping, etc.), the stereo DSP unit 130 non-uniformly amplifies the peripheral audio provided from the stereo microphone set according to the fitting data.

다음으로, 사용자가 음악이나 게임을 즐기는 엔터테인먼트 모드에서 스테레오 DSP부(130)는 블루투스 통신부(180)로부터 제공되는 엔터테인먼트 오디오 및 스테레오 마이크 세트로부터 제공되는 주변 오디오를 피팅 데이터에 따라 비균일 증폭한다. 사용자가 엔터테인먼트를 즐기는 동안에도 주변 소음을 차단하지 않고 함께 들려주는데, 이는 청각 곤란자는 위험을 감지하는 능력이 저하되어 있기 때문이다. Next, in the entertainment mode in which the user enjoys music or games, the stereo DSP unit 130 non-uniformly amplifies the entertainment audio provided from the Bluetooth communication unit 180 and the surrounding audio provided from the stereo microphone set according to the fitting data. While the user is enjoying the entertainment, the noise is not interrupted but is heard together because the ability of the hearing impaired to detect the danger is lowered.

또한, 사용자가 스마트 단말(200)을 통한 블루투스 핸즈프리 통화를 수행하는 핸즈프리 모드에서 스테레오 DSP부(130)는 블루투스 통신부(180)로부터 제공되는 상대방 음성 신호 및 스테레오 마이크 세트로부터 제공되는 주변 오디오를 피팅 데이터에 따라 비균일 증폭한다. 핸즈프리 모드에서도 주변 소음을 차단하지 않고 함께 들려주는 것이 바람직하다. Also, in a hands-free mode in which a user performs a Bluetooth hands-free call through the smart terminal 200, the stereo DSP unit 130 converts the other party's voice signal provided from the Bluetooth communication unit 180 and peripheral audio provided from the stereo microphone set into fitting data Non-uniformly amplified according to. Even in the hands-free mode, it is desirable to let the ambient noise be heard together without blocking.

본 발명에서는 스테레오 사운드를 신호 처리하는데, 이를 통해 엔터테인먼트 감상의 만족도를 높이는 것은 물론, 보청 기능이나 핸즈프리 기능을 수행할 때 주변 사람들의 음성과 통화 상대방의 음성을 양쪽 귀 모두에서 들을 수 있어 정확한 어음 인지가 가능하다. In the present invention, a stereo sound signal is processed, thereby enhancing the satisfaction of entertainment appreciation. In addition, when performing a hearing aid function or a handsfree function, it is possible to listen to the voice of the surrounding people and the voice of the communication partner in both ears, Is possible.

피팅데이터 저장부(140)는 사용자의 좌우 귀에 대한 주파수 대역별 증폭 프로파일을 구비한 피팅 데이터를 스마트 사용자 보조 장치(100)의 기기 동작 모드 및 장소 별로 저장한다. 본 발명에서는 블루투스를 통해 연동하는 스마트 단말(200)에서 전용 어플리케이션(피팅관리 프로그램)을 통해 해당 사용자에 대한 기기 동작 모드 및 장소 별 피팅 데이터를 생성한다. 스마트 사용자 보조 장치(100)의 피팅데이터 저장부(140)는 블루투스 통신을 통해 스마트 단말(200)로부터 피팅 데이터를 전달받는다.The fitting data storage unit 140 stores the fitting data having the amplification profiles of the frequency bands of the user's right and left ears according to the device operation mode and location of the smart user accessory device 100. In the present invention, the smart terminal 200 linked through Bluetooth generates device operation mode and fitting data for each user through a dedicated application (fitting management program). The fitting data storage unit 140 of the smart user auxiliary device 100 receives the fitting data from the smart terminal 200 through the Bluetooth communication.

동작모드 설정부(150)는 사용자 조작에 대응하여 스마트 사용자 보조 장치(100)의 기기 동작 모드를 설정한다. 즉, 동작모드 설정부(150)는 스마트 사용자 보조 장치(100)를 사용자가 조작하는 문맥(context)를 해석함으로써 보청 모드, 엔터테인먼트 모드, 핸즈프리 모드 중 어떠한 기기 동작 모드로 동작해야 하는지 판단한다.The operation mode setting unit 150 sets the device operation mode of the smart user auxiliary device 100 in response to a user operation. That is, the operation mode setting unit 150 interprets the context in which the user operates the smart user assistive device 100 to determine which device operation mode should be operated, such as the hearing aid mode, the entertainment mode, and the hands-free mode.

또한, 동작모드 설정부(150)는 사용자 조작에 대응하여 스마트 사용자 보조 장치(100)의 장소 옵션을 설정할 수도 있다. 즉, 동작모드 설정부(150)는 현재 어떠한 장소(예: 카페, 회의실, 도심지 거리 등)에 있는지를 예컨대 UI의 메뉴 선택과 같은 사용자 조작에 대응하여 장소 옵션을 설정할 수 있는데, 이는 장소마다 주변 잡음의 주파수 특성이 상이하기 때문에 스테레오 DSP부(130)가 참고하도록 하기 위함이다.In addition, the operation mode setting unit 150 may set a location option of the smart accessory device 100 in response to a user operation. That is, the operation mode setting unit 150 can set a place option corresponding to a user operation such as a menu selection of a UI, for example, at a certain place (for example, a cafe, a conference room, So that the stereo DSP unit 130 can refer to it because the frequency characteristics of noise are different.

지향성 스테레오 마이크 세트(160)는 스마트 사용자 보조 장치(100)에서 사용자의 좌우 귀에 대응되게 배치되어 주변 오디오를 스테레오 타입으로 수집한다. 지향성 스테레오 마이크 세트로서 구현되며, 사용자의 좌측 귀에 대응하는 레프트 마이크와 사용자의 우측 귀에 대응하는 라이트 마이크를 포함하여 구성된다. 바람직하게는 좌측 귀의 전후방, 그리고 우측 귀의 전후방에 대응하여 사용자가 입체적으로 주변 상황을 파악할 수 있도록 4방향으로 마이크가 구비된다.The directional stereo microphone set 160 is disposed in correspondence with the left and right ears of the user in the smart user assistive device 100 to collect ambient audio as a stereotype. Directional stereo microphone set, and includes a left microphone corresponding to the left ear of the user and a right microphone corresponding to the right ear of the user. Preferably, the microphone is provided in four directions so that the user can perceive the surroundings in three dimensions corresponding to the front and rear of the left ear and the front and back of the right ear.

통화용 마이크(170)는 블루투스 통신부(180)를 통해 외부의 스마트 단말(200)와 무선 연결되어 전화 통화를 수행하는 핸즈프리 모드를 수행할 때 통화를 위한 사용자의 음성 신호를 획득하는 마이크 모듈이다.The communication microphone 170 is a microphone module for acquiring a voice signal of a user for making a call when performing a handsfree mode in which a phone call is established by wireless connection with an external smart terminal 200 through a Bluetooth communication unit 180. [

블루투스 통신부(180)는 스마트 사용자 보조 장치(100)를 외부의 스마트 단말(200)과 무선 연결한다. 특히, 블루투스 통신부(180)는 엔터테인먼트 모드에서 외부의 스마트 단말(200)로부터 스테레오 타입의 엔터테인먼트 오디오를 무선 수신하여 BT 좌측 오디오 및 BT 우측 오디오로 스테레오 신호 출력한다. 또한, 핸즈프리 모드에서는 통화용 마이크(170)로부터 제공되는 사용자의 음성 신호를 스마트 단말(200)로 무선 전송하는 한편, 스마트 단말(200)로부터 상대방 음성 신호(일반적으로 모노 사운드임)를 무선 수신하여 BT 좌측 오디오 및 BT 우측 오디오로 신호 출력한다.
The Bluetooth communication unit 180 wirelessly connects the smart user assist device 100 with the external smart terminal 200. [ In particular, the Bluetooth communication unit 180 wirelessly receives stereophonic entertainment audio from the external smart terminal 200 in an entertainment mode, and outputs stereo signals to BT left audio and BT right audio. Also, in the hands-free mode, the user's voice signal provided from the communication microphone 170 is wirelessly transmitted to the smart terminal 200, while the other party's voice signal (generally monaural sound) is wirelessly received from the smart terminal 200 BT left audio and BT right audio.

[도 2]는 본 발명에서 스마트 사용자 보조 장치(100)와 연동하여 동작하기 위한 스마트 어플리케이션이 구현된 스마트 단말(200)의 기능적 구성을 나타내는 블록도이다. 본 발명에서 스마트 단말(200)에는 스마트 사용자 보조 장치(100)를 관리하기 위한 전용의 어플리케이션, 특히 해당 사용자에 대해 피팅 데이터를 생성하기 위한 피팅관리 프로그램(어플리케이션)이 설치되어 있다. 이러한 어플리케이션이 실행되면 스마트 단말(200)은 [도 2]에 도시된 바와 같은 기능적 구성을 갖추게 된다.2 is a block diagram illustrating a functional configuration of a smart terminal 200 in which a smart application for operating in cooperation with the smart user assistant device 100 is implemented in the present invention. In the present invention, the smart terminal 200 is provided with a dedicated application for managing the smart user assistive device 100, in particular, a fitting management program (application) for generating fitting data for the user. When such an application is executed, the smart terminal 200 has a functional configuration as shown in FIG.

본 발명에 따른 스마트 단말(200)은 단말 제어부(210), 이어 모델링부(220), 스테레오 피팅부(230), 피팅데이터 DB부(240), 피팅데이터 기준부(250), 피팅데이터 전달부(260), 엔터테인먼트 재생부(270), 음성통화 제어부(280), 블루투스 통신부(290)를 포함하여 구성된다. 스마트 단말(200)을 이루는 개별 기능 요소에 대해 살펴본다.The smart terminal 200 according to the present invention includes a terminal control unit 210, an ear modeling unit 220, a stereo fitting unit 230, a fitting data DB unit 240, a fitting data reference unit 250, An entertainment reproduction unit 270, a voice call control unit 280, and a Bluetooth communication unit 290. The Bluetooth communication unit 290, The individual functional elements constituting the smart terminal 200 will now be described.

먼저, 단말 제어부(210)는 스마트 단말(200)의 기능을 전반적으로 제어한다.First, the terminal control unit 210 controls the functions of the smart terminal 200 as a whole.

이어 모델링부(220)는 사용자의 양쪽 귀 각각에 대하여 가청주파수 대역으로부터 분할된 복수 개의 주파수 대역 별로 테스트 사운드를 제공하고 그에 대응하는 사용자 응답 입력을 분석함으로써 양쪽 귀 각각에 대한 주파수 대역별 청각 특성 모델을 생성한다. 예를 들어 가청주파수 대역을 16개 채널로 분할하고 각 채널 별로 스마트 단말(200)의 스피커나 헤드폰을 통해 사용자에게 테스트 사운드를 제공한 후, 그에 대한 사용자의 응답 입력을 예컨대 UI 화면으로 제공받는다. 이어 모델링부(220)는 이러한 응답 입력을 분석함으로써 양쪽 귀 각각에 대하여 주파수 대역별로 청각 특성 모델을 생성한다.The modeling unit 220 then provides a test sound for each of a plurality of frequency bands divided from the audible frequency band for each of the user's ears and analyzes corresponding user response inputs, . For example, the audio frequency band is divided into 16 channels, and a test sound is provided to the user through a speaker or a headphone of the smart terminal 200 for each channel, and a response input of the user is provided to, for example, a UI screen. The modeling unit 220 then analyzes the response input to generate auditory characteristic models for each of the ears according to frequency bands.

스테레오 피팅부(230)는 사용자 양쪽 귀 각각에 대해 청각 특성 모델을 보상하기 위한 주파수 대역별 표준 증폭 프로파일을 생성한다. 즉, 주파수 대역 별로 청각 능력이 저하된 정도를 감안하여 이를 보상하기 위한 증폭 패턴을 표준 증폭 프로파일을 일차적으로 생성한다. The stereo fitting unit 230 generates a standard amplification profile for each frequency band for compensating the auditory characteristic model for each of the user's ears. That is, a standard amplification profile is firstly generated as an amplification pattern for compensating for the degree of deterioration of auditory ability in each frequency band.

그리고 나서, 바람직하게는 스테레오 피팅부(230)는 기기 동작 모드에 따른 타겟 사운드의 주파수 특성을 반영하여 표준 증폭 프로파일로부터 동작모드별 피팅 데이터를 생성한다. 보청 모드, 엔터테인먼트 모드, 핸즈프리 모드의 각각에 따라 타겟 사운드의 주파수 특성이 상이하다. 핸즈프리 모드라면 사람의 음성이 집중되어 있는 8000 Hz 정도 이하에서 타겟 사운드가 설정되고, 엔터테인먼트 모드라면 상당히 고주파수 대역, 예컨대 20000 Hz 까지 타겟 사운드를 설정하는 것이 바람직하다. 보청 모드라면 대략 10000 Hz 정도 이하에서 타겟 사운드를 설정할 수 있다. 추가로, 장소에 따른 잡음의 주파수 특성을 반영하여 표준 증폭 프로파일로부터 장소별 피팅 데이터를 더 생성하는 것이 바람직하다. Then, preferably, the stereo fitting unit 230 generates fitting data for each operation mode from the standard amplification profile, reflecting the frequency characteristics of the target sound according to the device operation mode. The frequency characteristics of the target sound differ depending on the hearing aid mode, the entertainment mode, and the hands-free mode. In the hands-free mode, the target sound is set at about 8000 Hz or less where the human voice is concentrated. In the entertainment mode, it is preferable to set the target sound to a high frequency band, for example, 20000 Hz. In hearing mode, you can set the target sound at about 10000 Hz or less. In addition, it is desirable to further generate fitting data for each place from the standard amplification profile reflecting the frequency characteristics of the noise according to the place.

피팅데이터 DB부(240)는 사용자 별, 기기 동작 모드 별, 장소 별로 마련된 피팅 데이터를 관리한다.The fitting data DB unit 240 manages fitting data provided for each user, device operation mode, and place.

피팅데이터 기준부(250)는 기기 동작 모드 및 장소 별로 통상적인 사람을 기준으로 레퍼런스 피팅 데이터를 제조업체가 미리 마련하여 저장해둔 것이다. 청각이 특별하게 저하되지 않은 사용자라면 자신에게 최적인 피팅 데이터를 생성할 필요 없이 레퍼런스 피팅 데이터를 활용하더라도 충분한 만족도를 얻을 수 있다.The fitting data reference unit 250 stores the reference fitting data prepared by a manufacturer in advance based on a person who is ordinary to each device operation mode and place. A user who has not particularly deteriorated the hearing can obtain satisfactory satisfaction even if the reference fitting data is utilized without having to generate the fitting data optimum to the user.

피팅데이터 전달부(260)는 스테레오 피팅부(230)가 생성한 기기 동작 모드 및 장소 별 피팅 데이터를 블루투스 통신을 통해 스마트 사용자 보조 장치(100)로 전달하여 피팅데이터 저장부(140)에 저장되도록 한다.The fitting data transmission unit 260 transmits the device operation mode and fitting data generated by the stereo fitting unit 230 to the smart user auxiliary device 100 via the Bluetooth communication and stores the fitting data in the fitting data storage unit 140 do.

엔터테인먼트 재생부(270)는 게임이나 음악과 같은 멀티미디어 컨텐츠를 재생하며, 이는 엔터테인먼트 모드를 실행하기 위한 것이다.The entertainment reproducing unit 270 reproduces multimedia contents such as games and music, and is for executing the entertainment mode.

음성통화 제어부(280)는 예컨대 스마트폰에서와 같이 음성통화를 구현하는 모듈이며, 이는 핸즈프리 모드를 실행하기 위한 것이다.The voice call control unit 280 is a module for implementing a voice call as in a smart phone, for example, to execute a hands-free mode.

블루투스 통신부(290)는 스마트 단말(200)을 스마트 사용자 보조 장치(100)와 무선 연결한다.
The Bluetooth communication unit 290 wirelessly connects the smart terminal 200 with the smart user assistive device 100.

[도 3]은 본 발명에 따른 스마트 사용자 보조 장치(100)에서 오디오 신호의 내부 연결 구성을 전체적으로 나타내는 도면이다.3 is a diagram illustrating an internal connection configuration of an audio signal in the smart user auxiliary apparatus 100 according to the present invention in its entirety.

먼저, 지향성 스테레오 마이크 세트(160)는 사용자의 좌우 귀에 대응되게 배치되어 주변 오디오를 스테레오 타입으로 수집한다. 레프트 마이크는 좌측 귀의 2방향(예: 전후방)에 대응하는 L1 마이크(161) 및 L2 마이크(162)로 이루어져 L1 보청신호(L1 ? hearing aid) 및 L2 보청신호(L2 ? hearing aid)를 생성한다. 라이트 마이크는 우측 귀의 2방향(예: 전후방)에 대응하는 R1 마이크(163) 및 R2 마이크(164)로 이루어져 R1 보청신호(R1 ? hearing aid) 및 R2 보청신호(R2 ? hearing aid)를 생성한다.First, the directional stereo microphone set 160 is disposed in correspondence with the left and right ears of the user to collect ambient audio as a stereotype. The left microphone is composed of an L1 microphone 161 and an L2 microphone 162 corresponding to two directions (e.g., front and rear) of the left ear to generate an L1 hearing aid and an L2 hearing aid . The light microphone is composed of an R1 microphone 163 and an R2 microphone 164 corresponding to two directions (e.g., front and rear) of the right ear to generate an R1? Hearing aid and an R2? Hearing aid .

통화용 마이크(170)는 핸즈프리 모드에서 전화 통화를 위한 사용자의 음성 신호를 획득하는 마이크 모듈이다. [도 3]에서는 통화용 마이크(170)가 스테레오 타입으로서 L3 마이크(171) 및 R3 마이크(173)로 이루어져 L3 통화신호(L3 ? phone call) 및 R3 통화신호(R3 ? phone call)를 생성하도록 도시되어 있는데, 본 발명은 이에 한정되지 않는다.The call microphone 170 is a microphone module for acquiring a voice signal of a user for making a telephone call in the hands-free mode. 3, the communication microphone 170 is composed of an L3 microphone 171 and an R3 microphone 173 as stereotypes to generate an L3 call signal and an R3 phone call But the present invention is not limited thereto.

블루투스 통신부(180)는 엔터테인먼트 모드에서 스마트 단말(200)로부터 스테레오 타입의 엔터테인먼트 오디오를 수신하고 핸즈프리 모드에서 스마트 단말(200)로부터 상대방 음성 신호를 무선 수신하여 BT 좌측 오디오(BT audio L) 및 BT 우측 오디오(BT audio R)로 신호 출력한다. 또한, 핸즈프리 모드에서는 통화용 마이크(170)로부터 제공되는 사용자의 음성 신호(L3 ? phone call, R3 ? phone call)를 스마트 단말(200)로 무선 전송한다.The Bluetooth communication unit 180 receives stereophonic entertainment audio from the smart terminal 200 in the entertainment mode and wirelessly receives the other party's voice signal from the smart terminal 200 in the hands-free mode to generate BT left audio BT audio L and BT right L And outputs it as audio (BT audio R). Also, in the hands-free mode, the voice signal (L3? Phone call, R3? Phone call) of the user provided from the communication microphone 170 is wirelessly transmitted to the smart terminal 200.

스테레오 DSP부(131, 132)는 지향성 스테레오 마이크 세트(161 ~ 164)의 보청 신호(L1, L2, R1, R2) 및 블루투스 오디오 신호(BT audio L, BT audio R)를 기기 동작 모드에 따라 적절히 조합한 후에 피팅 데이터에 따라 증폭하여 스테레오 출력부(121, 122)로 출력한다. 스테레오 신호 처리를 위하여 스테레오 DSP부(130)는 레프트 DSP부(131)와 라이트 DSP부(132)로 이루어진다.The stereo DSP units 131 and 132 receive the hearing aid signals L1, L2, R1 and R2 of the directional stereo microphone sets 161 to 164 and the Bluetooth audio signals BT audio L and BT audio R, Amplifies them according to the fitting data, and outputs them to the stereo output units 121 and 122. The stereo DSP unit 130 includes a left DSP unit 131 and a write DSP unit 132 for stereo signal processing.

먼저, 레프트 DSP부(131)는 엔터테인먼트 모드에서는 레프트 마이크의 오디오 신호(L1)와 BT 좌측 오디오(BT audio L)를 둘다 수신하고 보청 모드에서는 레프트 마이크(161, 162)의 오디오 신호(L1, L2)만 수신하며 기기 동작 모드에 따라 위 수신한 오디오 신호를 피팅 데이터 중 좌측 피팅 데이터에 따라 증폭하여 좌측 오디오 신호(Audio L)를 출력한다. 레프트 DSP부(131)는 제 1 입력 포트를 통해 L1 마이크(161)의 오디오 신호는 항상 수신하고 제 2 입력 포트를 통해 L2 마이크(162)의 오디오 신호와 블루투스 통신부(180)의 BT 좌측 오디오(BT audio L) 중 어느 하나를 기기 동작 모드에 따라 선택적으로 수신한다.First, the left DSP unit 131 receives both the left microphone audio signal L1 and the left BT audio sound L in the entertainment mode and the audio signals L1 and L2 And amplifies the received audio signal according to the device operation mode according to the left fitting data of the fitting data to output the left audio signal Audio L. [ The left DSP unit 131 always receives the audio signal of the L1 microphone 161 through the first input port and transmits the audio signal of the L2 microphone 162 and the BT left audio BT audio L) according to the device operation mode.

마찬가지로, 라이트 DSP부(132)는 엔터테인먼트 모드에서는 라이트 마이크(163)의 오디오 신호(R1)와 BT 우측 오디오(BT audio R)를 둘다 수신하고 보청 모드에서는 라이트 마이크(163, 164)의 오디오 신호(R1, R2)만 수신하며 기기 동작 모드에 따라 위 수신한 오디오 신호를 피팅 데이터 중 우측 피팅 데이터에 따라 증폭하여 우측 오디오 신호(Audio R)를 출력한다. 라이트 DSP부(132)는 제 1 입력 포트를 통해 R1 마이크(163)의 오디오 신호(R1)는 항상 수신하고 제 2 입력 포트를 통해 R2 마이크(164)의 오디오 신호(R2)와 블루투스 통신부(180)의 BT 우측 오디오(BT audio R) 중 어느 하나를 기기 동작 모드에 따라 선택적으로 수신한다.Similarly, in the entertainment mode, the write DSP unit 132 receives both the audio signal R1 of the write microphone 163 and the BT right audio BT audio R, and in the hearing mode, the audio signal of the write microphones 163 and 164 R1 and R2, and outputs the right audio signal Audio R by amplifying the received audio signal according to the device operation mode according to the right fitting data of the fitting data. The write DSP unit 132 always receives the audio signal R1 of the R1 microphone 163 through the first input port and the audio signal R2 of the R2 microphone 164 via the second input port and the audio signal R2 of the Bluetooth communication unit 180 ) Of the BT right audio (BT audio R) according to the device operation mode.

핸즈프리 모드에서는 블루투스 통신부(180)가 출력하는 BT 좌측/우측 오디오(BT audio L, BT audio R)이 통화 상대방의 음성 신호이다. 레프트 DSP부(131)와 라이트 DSP부(132)는 L1/R1 마이크(161, 163)의 오디오 신호(L1, R1)와 블루투스 통신부(180)를 통한 통화 상대방의 음성 신호를 둘다 수신하고 좌측과 우측 피팅 데이터를 참고하여 증폭한다.In the hands-free mode, the BT left / right audio (BT audio L, BT audio R) output from the Bluetooth communication unit 180 is the voice signal of the other party. The left DSP unit 131 and the write DSP unit 132 receive both the audio signals L1 and R1 of the L1 / R1 microphones 161 and 163 and the voice signal of the other party via the Bluetooth communication unit 180, The right fitting data is referenced and amplified.

레프트 출력부(121)와 라이트 출력부(122)는 각각 레프트 DSP부(131)와 라이트 DSP부(132)가 생성하는 오디오 신호(Audio L, Audio R)를 스테레오 타입으로 사운드 출력한다.
The left output unit 121 and the right output unit 122 respectively output the audio signals Audio L and Audio R generated by the left DSP unit 131 and the write DSP unit 132 in a stereo type.

[도 4] 내지 [도 6]은 보청 모드, 엔터테인먼트 모드, 핸즈프리 모드에서 본 발명의 스마트 사용자 보조 장치(100)의 오디오 신호 연결을 나타내는 도면이다. 즉, [도 4]는 본 발명의 스마트 사용자 보조 장치(100)가 보청 장치로서 작동할 때의 오디오 신호 연결을 나타내고, [도 5]는 본 발명의 스마트 사용자 보조 장치(100)가 엔터테인먼트 보조 장치로서 동작할 때의 오디오 신호 연결을 나타내며, [도 6]은 본 발명의 스마트 사용자 보조 장치(100)가 핸즈프리 장치로서 동작할 때의 오디오 신호 연결을 나타낸다.FIGS. 4 to 6 are diagrams illustrating audio signal connections of the smart user assist device 100 of the present invention in a hearing mode, an entertainment mode, and a hands-free mode. 4 illustrates an audio signal connection when the smart user assist device 100 of the present invention operates as a hearing aid device and FIG. 5 illustrates a case where the smart user assist device 100 of the present invention is connected to an entertainment assist device 6 shows an audio signal connection when the smart user auxiliary device 100 of the present invention operates as a hands-free device.

먼저, [도 4]는 본 발명의 스마트 사용자 보조 장치(100)가 보청 장치로서 작동(보청 모드)할 때의 오디오 신호 연결을 나타내는 도면이다. 보청 모드로 작동할 때에는 지향성 스테레오 마이크 세트(160)가 생성하는 L1 보청신호(L1 ? hearing aid), L2 보청신호(L2 ? hearing aid), R1 보청신호(R1 ? hearing aid), R2 보청신호(R2 ? hearing aid)를 레프트 DSP부(131)와 라이트 DSP부(132)로 입력하여 피팅 데이터에 따른 증폭 처리한 후, 사용자에게 스테레오 사운드로 출력한다.4 is a diagram showing an audio signal connection when the smart user auxiliary apparatus 100 of the present invention operates as a hearing aid (hearing mode). When operating in the hearing aid mode, the L1-hearing aid, L2-hearing aid, R1-hearing aid, and R2-assist signal generated by the directional stereo microphone set 160 R 2? Hearing aid to the left DSP unit 131 and the write DSP unit 132, performs amplification processing according to the fitting data, and outputs the stereo sound to the user.

[도 5]는 본 발명의 스마트 사용자 보조 장치(100)가 엔터테인먼트 보조 장치로서 동작(엔터테인먼트 모드)할 때의 오디오 신호 연결을 나타내는 도면이다. 엔터테인먼트 모드로 작동할 때에는 스마트 단말(200)에서 생성한 게임, 음악 등의 고품질 스테레오 오디오가 블루투스 통신부(180)를 통해 BT 좌측 오디오(BT audio L) 및 BT 우측 오디오(BT audio R)로 전달된다. 5 is a diagram showing audio signal connection when the smart user auxiliary apparatus 100 of the present invention operates as an entertainment assistant device (entertainment mode). When operating in the entertainment mode, high quality stereo audio such as games and music generated by the smart terminal 200 is transmitted to the BT left audio (BT audio L) and the BT right audio (BT audio R) through the Bluetooth communication unit 180 .

레프트 DSP부(131)는 L1 마이크(161)의 오디오 신호(L1)와 블루투스 통신부(180)의 BT 좌측 오디오(BT audio L)를 둘다 수신하고 피팅 데이터(좌측 피팅 데이터)에 따라 증폭한 후 좌측 오디오 신호(Audio L)로 출력한다. 또한, 라이트 DSP부(132)는 R1 마이크(163)의 오디오 신호(R1)와 블루투스 통신부(180)의 BT 우측 오디오(BT audio R)를 둘다 수신하고 피팅 데이터(우측 피팅 데이터)에 따라 증폭한 후 우측 오디오 신호(Audio R)로 출력한다. 이를 통해, 사용자는 고품질의 엔터테인먼트 사운드를 즐기면서 주변 상황도 놓치지 않게 된다.The left DSP unit 131 receives both the audio signal L1 of the L1 microphone 161 and the BT audio L of the Bluetooth communication unit 180 and amplifies it according to the fitting data (left fitting data) And outputs it as an audio signal (Audio L). The write DSP unit 132 receives both the audio signal R1 of the R1 microphone 163 and the BT right audio BT of the Bluetooth communication unit 180 and amplifies it according to the fitting data (right fitting data) And outputs it as a rear right audio signal (Audio R). This allows users to enjoy high-quality entertainment sound while not missing the surrounding situation.

한편, 본 발명의 스마트 사용자 보조 장치(100)는 스테레오 사운드를 제공하기에 적합한 넥밴드 타입으로 구현되는 것이 바람직한데, 이어폰 등의 수단을 통해 레프트 출력부(121)와 라이트 출력부(122)의 스테레오 사운드가 사용자에게 밀접하게 전달된다. 그에 따라, [도 5]의 구현에 따르면 사용자의 청각이 저하됨에도 불구하고 레프트 DSP부(131)와 라이트 DSP부(132)가 양쪽 귀 각각의 청각 특성에 맞도록 개별적으로 작성된 피팅 데이터(좌측 피팅 데이터, 우측 피팅 데이터)를 통해 청력 저하의 영향을 최소화시키는 것이다.Meanwhile, the smart user auxiliary device 100 of the present invention is preferably implemented as a neckband type suitable for providing stereo sound. The smart user auxiliary device 100 may include a left output unit 121 and a right output unit 122 Stereo sound is closely communicated to the user. 5, the left DSP unit 131 and the write DSP unit 132 may separately generate fitting data (left fittings, left-hand fittings, etc.) corresponding to the auditory characteristics of both ears, Data, right fitting data) to minimize the effect of hearing loss.

[도 6]은 본 발명의 스마트 사용자 보조 장치(100)가 핸즈프리 장치로서 동작(핸즈프리 모드)할 때의 오디오 신호 연결을 나타내는 도면이다. 핸즈프리 모드에서는 블루투스 통신부(180)가 출력하는 BT 좌측/우측 오디오(BT audio L, BT audio R)가 통화 상대방의 음성 신호이다. 레프트 DSP부(131)와 라이트 DSP부(132)는 L1/R1 마이크(161, 163)의 오디오 신호(L1, R1)와 블루투스 통신부(180)를 통한 통화 상대방의 음성 신호를 둘다 수신하고 좌측과 우측 피팅 데이터를 참고하여 증폭한 후 스테레오 타입으로 들려줌으로써 사용자가 상대방의 음성에서 어음을 정확하게 인지할 수 있게 된다. 6 is a diagram showing an audio signal connection when the smart user auxiliary apparatus 100 of the present invention operates as a hands-free device (hands-free mode). In the hands-free mode, the BT left / right audio (BT audio L, BT audio R) output from the Bluetooth communication unit 180 is the voice signal of the other party. The left DSP unit 131 and the write DSP unit 132 receive both the audio signals L1 and R1 of the L1 / R1 microphones 161 and 163 and the voice signal of the other party via the Bluetooth communication unit 180, By referring to the fitting data on the right side and amplifying it, the user can recognize the note from the voice of the other party.

또한, L3 마이크(171)와 R3 마이크(173)는 통화용 마이크(170)로서 전화 통화를 수행할 때 사용자의 음성 신호를 획득한다. 사용자의 음성 신호(L3, R3)는 블루투스 통신부(180)를 통해 스마트 단말(200)로 무선 전송된다.
In addition, the L3 microphone 171 and the R3 microphone 173 acquire a voice signal of a user when performing a telephone conversation as a communication microphone 170. [ The voice signals L3 and R3 of the user are wirelessly transmitted to the smart terminal 200 through the Bluetooth communication unit 180. [

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be embodied in the form of computer readable code on a computer readable recording medium. At this time, the computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage, and the like, and may be implemented in the form of a carrier wave . The computer-readable recording medium can also be stored and executed by a computer-readable code in a distributed manner on a networked computer system. And functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.

이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.
As described above, the embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention. And is not intended to limit the scope of the invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

100 : 스마트 사용자 보조 장치
110 : 장치 제어부
120 : 스테레오 출력부
121, 122 : 레프트, 라이트 출력부
130 : 스테레오 신호 처리부(DSP부)
131, 132 : 레프트, 라이트 DSP부
140 : 피팅데이터 저장부
150 : 동작모드 설정부
160 : 지향성 스테레오 마이크 세트
161, 162 : 레프트 마이크(L1, L2)
163, 164 : 라이트 마이크(R1, R2)
170 : 통화용 마이크
171, 172 : 통화용 L3, R3 마이크
180 : 블루투스 통신부
200 : 스마트 단말
210 : 단말 제어부
220 : 이어 모델링부
230 : 스테레오 피팅부
240 : 피팅데이터 데이터베이스부(DB부)
250 : 피팅데이터 기준부
260 : 피팅데이터 전달부
270 : 엔터테인먼트 재생부
280 : 음성통화 제어부
290 : 블루투스 통신부
100: Smart User Assistant
110:
120: Stereo output section
121, 122: Left, right output section
130: a stereo signal processing unit (DSP unit)
131, 132: left, right DSP unit
140: Fitting data storage unit
150: Operation mode setting section
160: Directional stereo microphone set
161, 162: Left microphones (L1, L2)
163, 164: Light microphones (R1, R2)
170: Microphone for call
171, 172: L3 for communication, R3 microphone
180: Bluetooth communication unit
200: smart terminal
210:
220:
230: Stereo fitting part
240: Fitting data database part (DB part)
250: Fitting data reference part
260: Fitting data transmission unit
270: Entertainment playback section
280: voice call control unit
290: Bluetooth communication section

Claims (6)

블루투스를 통해 외부의 스마트 단말과 연동되며 엔터테인먼트 모드와 보청 모드를 포함하는 기기 동작 모드에 따라 스테레오 오디오를 신호 처리하여 사용자에게 제공하는 스마트 사용자 보조 장치로서,
외부의 스마트 단말로부터 스테레오 타입의 엔터테인먼트 오디오를 무선 수신하기 위한 블루투스 통신부(180);
상기 스마트 사용자 보조 장치에서 사용자의 좌우 귀에 대응되게 배치되어 주변 오디오를 스테레오 타입으로 수집하는 스테레오 마이크 세트(160);
좌우 귀에 대한 주파수 대역별 증폭 프로파일을 구비한 피팅 데이터를 스마트 사용자 보조 장치의 기기 동작 모드별로 저장하는 피팅데이터 저장부(140);
상기 블루투스 통신부로부터 제공되는 엔터테인먼트 오디오 및 상기 스테레오 마이크 세트로부터 제공되는 주변 오디오를 상기 피팅데이터 저장부에 저장된 기기 동작 모드별 피팅 데이터에 따라 주파수 대역별로 비균일 증폭하는 스테레오 DSP부(130);
상기 스테레오 DSP의 증폭 결과 오디오 신호를 사용자에게 스테레오 출력하기 위한 스테레오 출력부(120);
스마트 사용자 보조 장치의 기기 동작 모드에 대응하여 스마트 사용자 보조 장치의 기능을 전반적으로 제어하는 장치 제어부(110);
를 포함하여 구성되고,
상기 스테레오 마이크 세트(160)는 지향성 스테레오 마이크 세트로서 사용자의 좌측 귀에 대응하는 레프트 마이크와 사용자의 우측 귀에 대응하는 라이트 마이크를 포함하여 구성되고,
상기 블루투스 통신부(180)는 외부의 스마트 단말로부터 엔터테인먼트 오디오를 무선 수신하여 BT 좌측 오디오 및 BT 우측 오디오로 스테레오 신호 출력하고,
상기 스테레오 DSP부(130)는, 엔터테인먼트 모드에서는 상기 레프트 마이크의 오디오 신호와 상기 BT 좌측 오디오를 둘다 수신하고 보청 모드에서는 상기 레프트 마이크의 오디오 신호만 수신하며 기기 동작 모드에 따라 상기 수신한 오디오 신호를 상기 피팅 데이터 중 좌측 피팅 데이터에 대응하여 증폭하는 레프트 DSP부(131)와, 엔터테인먼트 모드에서는 상기 라이트 마이크의 오디오 신호와 상기 BT 우측 오디오를 둘다 수신하고 보청 모드에서는 상기 라이트 마이크의 오디오 신호만 수신하며 기기 동작 모드에 따라 상기 수신한 오디오 신호를 상기 피팅 데이터 중 우측 피팅 데이터에 대응하여 증폭하는 라이트 DSP부(132)를 포함하여 구성되고,
상기 스테레오 출력부(120)는 상기 레프트 DSP부(131)와 상기 라이트 DSP부(132)가 생성하는 각각의 오디오 신호를 스테레오 타입으로 사운드 출력하기 위한 레프트 출력부(121)와 라이트 출력부(122)를 포함하여 구성되는 것을 특징으로 하는 블루투스를 이용한 스마트 사용자 보조 장치.
A smart user assistance device that interlocks with an external smart terminal via Bluetooth and processes stereo audio according to a device operation mode including an entertainment mode and a hearing mode to provide the signal to a user,
A Bluetooth communication unit 180 for wirelessly receiving stereophonic entertainment audio from an external smart terminal;
A stereo microphone set 160 arranged in correspondence with the left and right ears of the user in the smart user auxiliary device to collect surround audio in a stereotype;
A fitting data storage unit 140 for storing fitting data having amplification profiles for respective right and left ears according to frequency bands for each device operation mode of the smart user auxiliary device;
A stereo DSP unit 130 for non-uniformly amplifying the entertainment audio provided from the Bluetooth communication unit and the peripheral audio provided from the stereo microphone set by frequency band according to fitting data for each device operation mode stored in the fitting data storage unit;
A stereo output unit 120 for stereo outputting an audio signal resulting from amplification of the stereo DSP to a user;
A device control unit (110) for generally controlling the function of the smart user auxiliary device in response to the device operation mode of the smart user auxiliary device;
And,
The stereo microphone set 160 includes a left microphone corresponding to a user's left ear and a right microphone corresponding to a user's right ear as a directional stereo microphone set,
The Bluetooth communication unit 180 wirelessly receives entertainment audio from an external smart terminal and outputs a stereo signal to BT left audio and BT right audio,
The stereo DSP unit 130 receives both the audio signal of the left microphone and the left audio of the BT in the entertainment mode and only the audio signal of the left microphone in the hearing mode and outputs the received audio signal A left DSP unit 131 for amplifying audio data corresponding to left fitting data among the fitting data, an audio signal of the right microphone and a right audio of BT in an entertainment mode, and receives only an audio signal of the right microphone in a hearing mode And a write DSP unit (132) for amplifying the received audio signal according to a device operation mode in accordance with right fitting data among the fitting data,
The stereo output unit 120 includes a left output unit 121 and a right output unit 122 for outputting sound in a stereotyped manner to each of the audio signals generated by the left DSP unit 131 and the right DSP unit 132, The smart user assist device using Bluetooth.
삭제delete 청구항 1에 있어서,
상기 레프트 마이크는 상기 좌측 귀의 2방향에 각각 대응하는 L1 마이크(161) 및 L2 마이크(162)를 포함하여 구성되고,
상기 라이트 마이크는 상기 우측 귀의 2방향에 각각 대응하는 R1 마이크(163) 및 R2 마이크(164)를 포함하여 구성되고,
상기 레프트 DSP부(131)는 제 1 입력 포트를 통해 상기 L1 마이크의 오디오 신호는 항상 수신하고 제 2 입력 포트를 통해 상기 L2 마이크의 오디오 신호와 상기 블루투스 통신부의 BT 좌측 오디오 중 어느 하나를 기기 동작 모드에 따라 선택적으로 수신하고,
상기 라이트 DSP부(132)는 제 1 입력 포트를 통해 상기 R1 마이크의 오디오 신호는 항상 수신하고 제 2 입력 포트를 통해 상기 R2 마이크의 오디오 신호와 상기 블루투스 통신부의 BT 우측 오디오 중 어느 하나를 기기 동작 모드에 따라 선택적으로 수신하도록 구성된 것을 특징으로 하는 블루투스를 이용한 스마트 사용자 보조 장치.
The method according to claim 1,
The left microphone includes L1 microphones 161 and L2 microphones 162 corresponding to two directions of the left ear,
The light microphones are configured to include R1 microphones 163 and R2 microphones 164 respectively corresponding to two directions of the right ear,
The left DSP unit 131 always receives the audio signal of the L1 microphone through the first input port and transmits either the audio signal of the L2 microphone and the BT left audio of the Bluetooth communication unit through the second input port to the device operation Selectively receive according to the mode,
The write DSP unit 132 receives the audio signal of the R1 microphone through the first input port and transmits the audio signal of the R2 microphone and the BT right audio of the Bluetooth communication unit through the second input port to the device operation Mode, and is configured to selectively receive data according to the mode.
청구항 3에 있어서,
사용자의 양쪽 귀 각각에 대하여 가청주파수 대역으로부터 분할된 복수 개의 주파수 대역 별로 테스트 사운드를 제공하고 그에 대응하는 사용자 응답 입력을 분석함으로써 양쪽 귀 각각에 대한 주파수 대역별 청각 특성 모델을 생성하는 이어 모델링 수단(220)과, 상기 사용자 양쪽 귀 각각에 대해 청각 특성 모델을 보상하기 위한 주파수 대역별 표준 증폭 프로파일을 생성하고 기기 동작 모드에 따른 타겟 사운드의 주파수 특성을 반영하여 상기 표준 증폭 프로파일로부터 동작모드별 피팅 데이터를 생성하는 스테레오 피팅 수단(230)과, 상기 동작모드별 피팅 데이터를 블루투스 통신을 통해 상기 피팅데이터 저장부로 제공하는 피팅데이터 전달 수단(260)을 기능시키기 위한 피팅관리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체;
사용자 조작에 대응하여 스마트 사용자 보조 장치의 기기 동작 모드를 설정하기 위한 동작모드 설정부(150);
를 더 포함하여 구성되고,
상기 스테레오 DSP부(130)는 상기 동작모드 설정부에 의해 설정된 기기 동작 모드에 대응하는 피팅 데이터를 상기 피팅데이터 저장부로부터 획득하고 상기 획득된 피팅 데이터에 기초하여 상기 스테레오 DSP부로 입력되는 오디오 신호를 주파수 대역별로 비균일 증폭하는 것을 특징으로 하는 블루투스를 이용한 스마트 사용자 보조 장치.
The method of claim 3,
Ear modeling means for generating a perceptually perceptible auditory feature model for each of the ears by providing a test sound for each of a plurality of frequency bands divided from the audible frequency band for each of the user's ears and analyzing the corresponding user response input And generating a standard amplification profile for each frequency band based on the frequency characteristics of the target sound according to the operation mode of the device, (260) for providing fitting data for each of the operating modes to the fitting data storage unit via Bluetooth communication, and a fitting management program media;
An operation mode setting unit 150 for setting a device operation mode of the smart user auxiliary device in response to a user operation;
Further comprising:
The stereo DSP unit 130 obtains fitting data corresponding to the device operation mode set by the operation mode setting unit from the fitting data storage unit and outputs an audio signal input to the stereo DSP unit based on the fitting data And the non-uniform amplification is performed for each frequency band.
청구항 4에 있어서,
상기 스테레오 피팅 수단(230)은 장소에 따른 잡음의 주파수 특성을 반영하여 상기 표준 증폭 프로파일로부터 장소별 피팅 데이터를 더 생성하고,
상기 피팅데이터 전달 수단(260)은 상기 장소별 피팅 데이터를 블루투스 통신을 통해 상기 피팅데이터 저장부로 더 제공하며,
상기 동작모드 설정부(150)는 사용자 조작에 대응하여 스마트 사용자 보조 장치의 장소 옵션을 더 설정하고,
상기 스테레오 DSP부(130)는 상기 동작모드 설정부에 의해 설정된 장소 옵션에 대응하는 피팅 데이터를 상기 피팅데이터 저장부로부터 획득하고 상기 획득된 피팅 데이터에 기초하여 상기 스테레오 DSP부로 입력되는 오디오 신호를 주파수 대역별로 비균일 증폭하는 것을 특징으로 하는 블루투스를 이용한 스마트 사용자 보조 장치.
The method of claim 4,
The stereo fitting means 230 further generates fitting data for each place from the standard amplification profile by reflecting the frequency characteristic of noise according to the place,
The fitting data transmission unit 260 further provides the fitting data by Bluetooth communication to the fitting data storage unit,
The operation mode setting unit 150 further sets a location option of the smart user auxiliary device in response to a user operation,
The stereo DSP unit 130 obtains fitting data corresponding to a place option set by the operation mode setting unit from the fitting data storage unit and outputs an audio signal inputted to the stereo DSP unit on the basis of the frequency data And the non-uniform amplification is performed for each band.
청구항 5에 있어서,
상기 블루투스 통신부를 통해 외부의 스마트 단말와 무선 연결되어 전화 통화를 수행하는 핸즈프리 모드에서 통화를 위한 사용자의 음성 신호를 획득하는 통화용 마이크(170);
를 더 포함하여 구성되고,
상기 블루투스 통신부(180)는 상기 통화용 마이크로부터 제공되는 사용자의 음성 신호를 상기 스마트 단말로 무선 전송하고, 상기 스마트 단말로부터 무선 수신하는 상대방 음성 신호를 BT 좌측 오디오 및 BT 우측 오디오로 신호 출력하고,
상기 레프트 DSP부(131)는 상기 L1 마이크의 오디오 신호와 상기 블루투스 통신부의 BT 좌측 오디오를 둘다 수신하며 핸즈프리 모드에 대응하는 피팅 데이터를 상기 피팅데이터 저장부로부터 획득하고 상기 획득된 피팅 데이터에 기초하여 상기 L1 마이크의 오디오 신호 및 BT 좌측 오디오를 주파수 대역별로 비균일 증폭하고,
상기 라이트 DSP부(132)는 상기 R1 마이크의 오디오 신호와 상기 블루투스 통신부의 BT 우측 오디오를 둘다 수신하며 핸즈프리 모드에 대응하는 피팅 데이터를 상기 피팅데이터 저장부로부터 획득하고 상기 획득된 피팅 데이터에 기초하여 상기 R1 마이크의 오디오 신호 및 BT 우측 오디오를 주파수 대역별로 비균일 증폭하는 것을 특징으로 하는 블루투스를 이용한 스마트 사용자 보조 장치.
The method of claim 5,
A communication microphone (170) for acquiring a voice signal of a user for a call in a hands-free mode for making a telephone conversation by wireless connection with an external smart terminal through the Bluetooth communication unit;
Further comprising:
The Bluetooth communication unit 180 wirelessly transmits a voice signal of a user provided from the communication microphone to the smart terminal and outputs a counterpart voice signal wirelessly received from the smart terminal to the BT left audio and BT right audio,
The left DSP unit 131 receives both the audio signal of the L1 microphone and the BT left audio of the Bluetooth communication unit and obtains the fitting data corresponding to the handsfree mode from the fitting data storage unit, The audio signal of the L1 microphone and the left audio of the BT are nonuniformly amplified for each frequency band,
The write DSP unit 132 receives both the audio signal of the R1 microphone and the BT right audio of the Bluetooth communication unit and acquires fitting data corresponding to the hands-free mode from the fitting data storage unit, and based on the obtained fitting data Wherein the audio signal of the R1 microphone and the right audio of the BT are non-uniformly amplified by frequency bands.
KR1020140079413A 2014-06-27 2014-06-27 Smart user aid devices using bluetooth communication KR101450014B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140079413A KR101450014B1 (en) 2014-06-27 2014-06-27 Smart user aid devices using bluetooth communication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140079413A KR101450014B1 (en) 2014-06-27 2014-06-27 Smart user aid devices using bluetooth communication

Publications (1)

Publication Number Publication Date
KR101450014B1 true KR101450014B1 (en) 2014-10-16

Family

ID=51997452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140079413A KR101450014B1 (en) 2014-06-27 2014-06-27 Smart user aid devices using bluetooth communication

Country Status (1)

Country Link
KR (1) KR101450014B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637326B1 (en) * 2015-01-05 2016-07-07 주식회사 비에스엘 A Hearing Device Having a Connecting Structure to a Portable Electric Device
KR20160111727A (en) * 2015-03-17 2016-09-27 주식회사 비에스엘 A Hearing Device with a Connecting Structure of a Multimedia and a Method for Playing Sound of a Multimedia with the Same
KR20160111751A (en) * 2015-03-17 2016-09-27 주식회사 비에스엘 A Smart Hearing Device Having a Function of Circumstance Notice and a Method for Noticing a Circumstance Using the Same
KR20160111744A (en) * 2015-03-17 2016-09-27 주식회사 비에스엘 A Hearing Device Having Function of Telephone Conversation Based on Individual Adaptation Property and a Method for Communicating with the Same
KR101744507B1 (en) * 2015-09-09 2017-06-09 주식회사 사운드브릿지 Bluetooth earset with ear canal microphone
KR101744503B1 (en) * 2015-09-09 2017-06-09 주식회사 사운드브릿지 Bluetooth earset with ear canal microphone

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101122767B1 (en) * 2010-02-25 2012-03-27 박의봉 Hearing aid combination Bluetooth-Headset and Control Method
KR20140006668A (en) * 2012-07-06 2014-01-16 에스케이텔레콤 주식회사 Hearing aid

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101122767B1 (en) * 2010-02-25 2012-03-27 박의봉 Hearing aid combination Bluetooth-Headset and Control Method
KR20140006668A (en) * 2012-07-06 2014-01-16 에스케이텔레콤 주식회사 Hearing aid

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637326B1 (en) * 2015-01-05 2016-07-07 주식회사 비에스엘 A Hearing Device Having a Connecting Structure to a Portable Electric Device
KR20160111727A (en) * 2015-03-17 2016-09-27 주식회사 비에스엘 A Hearing Device with a Connecting Structure of a Multimedia and a Method for Playing Sound of a Multimedia with the Same
KR20160111751A (en) * 2015-03-17 2016-09-27 주식회사 비에스엘 A Smart Hearing Device Having a Function of Circumstance Notice and a Method for Noticing a Circumstance Using the Same
KR20160111744A (en) * 2015-03-17 2016-09-27 주식회사 비에스엘 A Hearing Device Having Function of Telephone Conversation Based on Individual Adaptation Property and a Method for Communicating with the Same
KR101672949B1 (en) * 2015-03-17 2016-11-04 주식회사 비에스엘 A Hearing Device with a Connecting Structure of a Multimedia and a Method for Playing Sound of a Multimedia with the Same
KR101672947B1 (en) * 2015-03-17 2016-11-04 주식회사 비에스엘 A Smart Hearing Device Having a Function of Circumstance Notice and a Method for Noticing a Circumstance Using the Same
KR101672951B1 (en) * 2015-03-17 2016-11-16 주식회사 비에스엘 A Hearing Device Having Function of Telephone Conversation Based on Individual Adaptation Property and a Method for Communicating with the Same
KR101744507B1 (en) * 2015-09-09 2017-06-09 주식회사 사운드브릿지 Bluetooth earset with ear canal microphone
KR101744503B1 (en) * 2015-09-09 2017-06-09 주식회사 사운드브릿지 Bluetooth earset with ear canal microphone

Similar Documents

Publication Publication Date Title
US11778360B2 (en) Method and system for audio sharing
US7899194B2 (en) Dual ear voice communication device
US8699732B2 (en) Systems and methods employing multiple individual wireless earbuds for a common audio source
US10171923B2 (en) Binaural hearing system and method
US9071900B2 (en) Multi-channel recording
TWI508056B (en) Portable audio device
KR101450014B1 (en) Smart user aid devices using bluetooth communication
TWI528274B (en) A system for augmenting multimedia playback on a mobile device, an apparatus for operating in a hearing-aid compatible (hac) voice call mode and a multimedia mode, and an apparatus for operating in a multimedia mode
KR101381289B1 (en) Wire and wireless earset using in ear-type microphone
US11877122B2 (en) Hearing aid with wireless transmission function
KR20170019929A (en) Method and headset for improving sound quality
US20080240477A1 (en) Wireless multiple input hearing assist device
JP2015136100A (en) Hearing device with selectable perceived spatial positioning of sound sources
KR100809549B1 (en) Wireless headset and method of controlling the same for both hearing aid and sound instrument
CN109686351A (en) A kind of holography sound field K song system
US10200795B2 (en) Method of operating a hearing system for conducting telephone calls and a corresponding hearing system
CN101437189A (en) Wireless earphone with hearing-aid function
KR20110080306A (en) A mobile device having hearing aid compatibility
JP2022019619A (en) Method at electronic device involving hearing device
KR102502385B1 (en) Bluetooth head phone with hearing aid
WO2024075434A1 (en) Information processing system, device, information processing method, and program
TWI420914B (en) Earphone and audio playing system using the same
Einhorn Modern hearing aid technology—A user's critique

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170921

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 6