KR101250929B1 - A two ear-piece insertable hearing aid having a vibration pattern alert function - Google Patents

A two ear-piece insertable hearing aid having a vibration pattern alert function Download PDF

Info

Publication number
KR101250929B1
KR101250929B1 KR1020120093447A KR20120093447A KR101250929B1 KR 101250929 B1 KR101250929 B1 KR 101250929B1 KR 1020120093447 A KR1020120093447 A KR 1020120093447A KR 20120093447 A KR20120093447 A KR 20120093447A KR 101250929 B1 KR101250929 B1 KR 101250929B1
Authority
KR
South Korea
Prior art keywords
hearing aid
module
external
wearer
pair
Prior art date
Application number
KR1020120093447A
Other languages
Korean (ko)
Inventor
정윤석
Original Assignee
정윤석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정윤석 filed Critical 정윤석
Priority to KR1020120093447A priority Critical patent/KR101250929B1/en
Application granted granted Critical
Publication of KR101250929B1 publication Critical patent/KR101250929B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Detecting, measuring or recording for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V33/00Structural combinations of lighting devices with other articles, not otherwise provided for
    • F21V33/0004Personal or domestic articles
    • F21V33/0052Audio or video equipment, e.g. televisions, telephones, cameras or computers; Remote control devices therefor
    • F21V33/0056Audio equipment, e.g. music instruments, radios or speakers
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55Communication between hearing aids and external devices via a network for data exchange

Abstract

PURPOSE: A binaural insertion type hearing aid is provided to allow hearing impaired people to previously cope with a dangerous factor by recognizing an external dangerous factor in the left, right and rear sides through a camera and providing information relating to the external dangerous factor to hearing impaired people. CONSTITUTION: A pair of hearing aid modules process detected sound from outside and output into acoustic. A curved frame(120) connects a pair of the hearing aid modules. A pair of camera modules(130a,130b) are arranged in the outer side of the pair of hearing aid modules and acquire a first external video from the side. An auxiliary camera module is arranged in the center of the curved frame and acquires a second external video. A biometric data measurement module(150) is arranged in the inner side of a kernel inserted into an external auditory canal of the pair of hearing aid modules and acquires biometric data of a wearer. A control module(160) receives the biometric data and collects a biometric state of the wearer.

Description

진동패턴 알림 기능을 가지는 양귀 삽입형 보청기{A TWO EAR-PIECE INSERTABLE HEARING AID HAVING A VIBRATION PATTERN ALERT FUNCTION} Yanggwi having a vibration pattern notification implantable hearing aid {A TWO EAR-PIECE INSERTABLE HEARING AID HAVING A VIBRATION PATTERN ALERT FUNCTION}

본 발명은 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기에 관한 것으로서, 보다 상세하게는 외부 환경에 대한 위험 감지 및 착용자 내부의 위험 감지가 가능한 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기에 관한 것이다. The present invention relates to an implantable hearing aid having a yanggwi, more particularly a risk for the environment and risk detection detects the wearer's inner possible vibration patterns notification related to a yanggwi implantable hearing aid having a vibration pattern notification.

일반적으로, 난청(難聽, impaired hearing) 환자는 일상 생활에서 대화를 듣고 나누는데 이해가 곤란할 정도로 소리를 잘 듣지 못하는 사람, 즉 청각에 장애가 있는 사람을 말하며, 난청 정도에 따라 27 dB 내지 40 dB의 청력 손실은 경도 난청, 41 dB 내지 55 dB의 청력 손실은 중등도 난청, 56 dB 내지 70 dB의 청력 손실은 중고등 난청 및 70 dB 내지 90 dB의 청력 손실은 고도 난청으로 분류되며, 91 dB 이상의 청력 손실은 농으로 분류된다. Typically, hearing loss (難聽, impaired hearing) patients who hear the conversation in everyday life can not hear well the sound divide enough to understand difficult, that means a person with a disability to hearing, hearing of 27 dB to 40 dB, depending on hearing about loss is mild hearing loss, and 41 hearing loss in dB to 55 dB is moderate hearing loss, hearing loss of 56 dB to 70 dB is hearing loss secondary hearing loss and 70 dB to 90 dB has been classified as a highly hearing loss, hearing loss over 91 dB is It is classified as agricultural.

사람의 외이로부터 청신경에 이르기까지의 소리 또는 전기 에너지를 전달하기 위한 기능들이 원활하지 않아 청각이 저하되거나 또는 상실된 상태에 있는 난청인의 경우 소리 또는 전기 에너지를 보상해줄 수 있는 보청기(hearing aid)가 필수적이다. Not that smooth functions to transmit sound or electrical energy if the hearing loss is in a state hearing is reduced or lost can give compensation to the sound or electrical energy hearing aid (hearing aid) in leading up to the auditory nerve from the external ear of the person is It is essential.

일반적으로, 보청기는 화자음 및 주변음을 수집하여 전기적인 신호로 출력하는 송화기, 송화기로부터 출력된 신호를 입력받아 정류 및 증폭하는 증폭기, 상기 증폭기에서 증폭된 신호를 음파로 변환하여 난청인의 귀로 전달하는 수화기 및 송화기, 상기 수화기 및 증폭기로 전력을 공급하는 배터리를 포함하여 이루어진다. In general, hearing aids screen consonant and the surrounding sound collected by receiving the signal outputted from the mouthpiece, mouthpiece and outputting an electrical signal to the ear of the amplifier, which converts the signal amplified by the amplifier into sound waves hearing loss for rectifying and amplifying It comprises a supply for supplying power to the receiver and a mouthpiece, wherein the receiver and the amplifier for transmitting the battery. 이러한 보청기의 종류로는 상자형, 귀속형, 귀걸이형, 및 안경형이 있으며, 최근에는 귀속형을 더욱 발전시킨 것으로 귀속 깊숙이 넣을 수 있는 고막형이 추가되었다. As these types of hearing aids have been added to the tympanic can put deep and was picked up by a box-type belong, BTE, and spectacled, recently picked up further development of the type.

국내특허공개공보 제10-2009-0008612호 Korean Patent Publication No. 10-2009-0008612 No.

한편, 보청기를 착용한 사용자는 자신의 손실된 일부 청력을 전기적인 방법에 의해 손실된 소리를 인위적으로 재생함으로써 보완할 수 있으나, 정상적인 청력 수준으로 회복되기는 어려운 실정이다. On the other hand, the user wearing the hearing aid is able to complement the part of the hearing their loss by reproducing the sound loss by the electrical method artificially, but is difficult Although restored to normal hearing level. 특히, 고도 난청인 또는 농아의 경우에는 인접하지 않은 음원으로부터 발생한 소리를 감지하기는 어려운 상황이다. Particularly, when a high degree of hearing loss or deaf, the detect sound emitted from the sound sources that are not next to each other is difficult.

시각적인 정보 이외에도 청각적인 정보는 상황을 인식하는데 큰 비중을 차지하며, 특히 시야가 확보되지 않은 영역에서 위험한 상황이 발생하는 경우 해당 영역에서 발생하는 청각적인 요소는 위험상황을 인지하고 미리 대피하는게 결정적인 역할을 수행할 수 있다. Visual information in addition to the acoustic elements that occur in the area if a dangerous situation occurs in the area auditory information takes up a big part in recognizing the situation, especially not the view is secured decisive haneunge recognize dangerous situations and pre-evacuation It may play a role.

예를 들어 고도 난청 환자가 횡단보도를 보행하는 중에 급작스럽게 차량이 돌진하는 경우에는 이를 미리 인지하기 어려울 뿐만 아니라 돌진 차량으로부터 발생한 소음을 제대로 인식하지 못하는 경우 큰 인명피해가 발생할 수 있다. For example, if a hearing loss is sudden altitude vehicles rushed carefully while walking the crosswalk if it does not, as well as difficult to properly recognize that the pre-noise resulting from the rushing vehicles there is a great loss of life may occur. 특히, 해당 차량이 난청인의 좌우측 측면 또는 후방에서 돌진할 경우, 시각이 확보되지 않으므로 큰 위험에 처할 수 있다. In particular, when the vehicle is rushing in the left and right side or the rear side of the hearing loss, because the time is not secure it may be at greater risk.

이와 같이, 난청인은 일반인에 비해 외부 환경에 대한 청각적인 정보를 획득하고 이에 대응하는데 곤란하거나 위험한 상황에 처하는 경우가 빈번하게 발생할 수 있으므로, 이에 대한 대응방안이 시급한 실정이다. In this way, the hearing loss is the actual circumstances than in the general population urgent obtaining acoustic information about the external environment and thereby it may difficult to counter or captures a dangerous situation may occur frequently, for this response.

본 발명은 상기한 문제점을 해결하기 위한 것으로서, 본 발명의 이루고자 하는 기술적 과제는 위험 요소를 사전에 인지하고 이에 대한 정보를 난청인에게 제공하여 난청인이 사전에 대응할 수 있도록 하는 보청기 및 이를 이용한 위험요소 감지 시스템을 제공하는 것이다. The present invention for solving the above problems, SUMMARY OF THE INVENTION the present invention is the risk using a hearing aid, and this to allow that the risk factors in advance and correspond to a pre-provided with hearing loss of information to the hard of hearing for this to provide a sensing system components.

본 발명이 해결하고자 하는 다른 과제는, 외부 위험 요소를 실시간으로 감지하되 내부 위험 요소를 함께 고려하여 난청인에게 적절한 자극을 전달하는 보청기 및 이를 이용한 위험요소 감지 시스템을 제공하는 것이다. Another object is detected, but the external threats in real-time to provide a hazard detection system, using a hearing aid, and for transmitting them to the appropriate stimulus to the hearing loss in consideration with an internal risks to be solved by the present invention.

본 발명이 해결하고자 하는 또 다른 과제는, 착용자의 내부 위험 요소를 고려하여, 위험 상황이 발견되면 외부의 타인에게 위험상황을 전파함으로써 착용자에 대한 신속한 조치가 이루어지도록 하는 보청기 및 이를 이용한 위험요소 감지 시스템을 제공하는 것이다. Another object of the present invention, in consideration of the wearer inside the risks, the risk situation is detected when the hazard detected by the quick action of the wearer by spreading the risk situation to the external other hearing aid that to occur, and this to provide such a system.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. An object of the present invention are not limited to the purposes mentioned above, it is not mentioned yet another object will be able to be clearly understood to those skilled in the art from the following description.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기는, 넥밴드 타입의 양귀 삽입형 보청기로서, 외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈, 상기 한 쌍의 보청기 모듈을 연결하는 곡선형 프레임, 상기 한 쌍의 보청기 모듈의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈, 상기 곡선형 프레임의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈, 상기 한 쌍의 보청기 모듈의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈, 및 상기 생체 데이터를 수신하여 상기 착용자의 생체 상태를 수집하는 컨트롤 모듈을 포함하되, 상기 컨트롤 모듈은 주기적으로 In order to achieve the above object, one as yanggwi implantable hearing aids, it yanggwi implantable hearing aid of the neckband type having a risk factor detection function according to an embodiment of the present invention, the processed signal to the sound detected by external and outputting the acoustic pairs the hearing aid module, a pair of camera modules and the curved frame for the pair of curve-shaped frame connecting the hearing aid module, are respectively arranged on the outer surface of the hearing aid module of the pair received a side of the first external image is disposed at the center is disposed on the second camera module to obtain a second external image of the back, to be inserted into the ear canal of the hearing aid module of the pair kernel inside living body data measuring device for obtaining a wearer's biometric data, and the biometric data, receiving and comprising a control module which collects the biological condition of the wearer, wherein the control module periodically 기 생체 데이터를 외부의 관리서버로 전송하고, 상기 컨트롤 모듈은 상기 제1 외부영상 및 상기 제2 외부영상을 수신하고 이를 분석하여 상기 착용자의 보행시에 시야 미확보 영역의 외부 위험 요소를 검출하고, 상기 컨트롤 모듈은 상기 외부 위험 요소가 검출되면 상기 한 쌍의 보청기 모듈로 알림음을 전송한다. Group wherein the control module sends the biometric data to the external management server, and the said first external image and the second receive an external image and analyzes it to detect the external hazards of sight mihwakbo area at the time of the wearer's walking, the control module sends a notification to the hearing aid module of the pair of sound when said external threat is detected.

본 발명의 다른 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기는, 넥밴드 타입의 양귀 삽입형 보청기로서, 외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈, 한 쌍의 보청기 모듈을 연결하는 곡선형 프레임, 한 쌍의 보청기 모듈의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈, 곡선형 프레임의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈, 한 쌍의 보청기 모듈의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈, 한 쌍의 보청기 모듈에 구비되어 소정의 진동제어신호에 의해 진동패턴을 형성하는 진동모터, 및 생체 데이터를 수신하여 착용자의 생체 상태를 수집하는 컨트롤 모듈을 포함하되, Yanggwi implantable hearing aid having a risk factor detection function in accordance with another exemplary embodiment of the invention, as yanggwi implantable hearing aid of the neckband type, a pair of hearing aid module to process the signal to the sound detected by external and outputting the sound, a pair of are disposed on the outer side of the curved frame, a pair of hearing aid module of connecting the hearing module is placed in a central portion of a pair of camera modules and the curved frame for obtaining the sides of the first exterior image of the rear second external image is disposed on the inner side of the second camera module, a kernel that is inserted into the ear canal of a pair of hearing aid module for acquiring equipped on the living body data measuring device, a pair of hearing aid module for obtaining a wearer's biometric data by a predetermined oscillation control signal a receiving the vibration motor, and the biometric data to form a vibration pattern comprising a control module for collecting the wearer's biological condition, 컨트롤 모듈은 주기적으로 생체 데이터를 외부의 관리서버로 전송하고, 컨트롤 모듈은 제1 외부영상 및 제2 외부영상을 수신하고 이를 분석하여 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하고, 컨트롤 모듈은 외부 위험 요소가 검출되면 진동모터에 진동제어신호를 전송하여 진동패턴을 생성한다. Control module periodically sends the biometric data to the external management server, the control module includes a first external image and second receive an external image and analyzes it to detect the external hazards of the wearer view mihwakbo area, and the control module When the external threat is detected by transmitting a vibration control signal to the vibration motor generates a vibration pattern.

본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템은, 통신 모듈을 포함하여 외부와 무선으로 통신 가능한 보청기 장치, 상기 보청기 장치와 무선으로 통신하여 소정의 데이터를 송수신하는 중개 서버, 및 상기 중개 서버와 연결된 복수의 분산 안내 서버를 포함하되, 상기 보청기 장치는 외부 영상을 획득하는 카메라 모듈을 포함하고, 상기 보청기 장치는 상기 카메라 모듈로부터 획득한 영상 데이터를 상기 중개 서버로 전송하고, 상기 중개 서버는 상기 영상 데이터를 상기 복수의 분산 안내 서버 중 하나로 전달하고, 상기 복수의 분산 안내 서버 중 하나는 상기 영상 데이터를 분석하여 상기 보청기 장치를 착용하는 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하여, 상기 외부 위험 요소가 검출되면 상기 보청기 장치로 제1 One risks using a hearing aid according to an embodiment of the present invention, detection system, to communicate with a communicable hearing aid devices, the hearing aid device with wireless externally and wireless transmitting and receiving predetermined data relay server, and the comprises a communication module but the intermediate comprises a plurality of distributed guidance server associated with the server, the hearing aid device comprises a camera module for obtaining external image, wherein the hearing aid device and transmitted to the relay server, the image data acquired by the camera module, the interface the server passes the image data to one of the plurality of distributed guidance server, and the one of the plurality of distributed guidance server detects the external hazards of the wearer view mihwakbo area of ​​wearing the hearing aid device by analyzing the image data, , when the external threat is detected by the hearing aid device of claim 1, 고음을 전송한다. It sends the treble.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. Specific details of other embodiments are included in the following description and drawings.

상기와 같은 본 발명의 위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다. According to yanggwi implantable hearing aid and the Risk detection system using the same has a risk factor detection function of the present invention as described above has the following effects: one or more.

즉, 보청기의 외부에 카메라 모듈을 설치하고, 카메라 모듈을 통해 착용자의 좌우측방 및 후방의 외부 위험 요소를 사전에 인지하고 이에 대한 정보를 난청인에게 제공하여 난청인이 사전에 대응할 수 있으며, 이로 인해 발생할 수 있는 인명 피해를 예방할 수 있다. That is, on the outside of the hearing aid and installing a camera module, and the wearer's left and right room and the outside the risk of a rear element through the camera module can be recognized in advance and correspond to a pre-induced hearing loss is to provide a hearing loss of information about them, which that can be caused can be prevented casualties.

또한, 외부 위험 요소를 실시간으로 감지하되 생체데이터를 분석하여 도출된 내부 위험 요소를 함께 고려하여, 난청인의 호흡, 체온 내지 맥박 등이 불안정한 상태인 경우, 위험을 알리는 알림음을 인지하지 못할 가능성이 높기 때문에 이를 고려하여 알림음의 패턴 주기 및 크기를 증폭시켜서 난청인에게 적절한 자극을 전달할 수 있다. In addition, the possibility, but detects the external risk factors in real time, in consideration with the internal risks derived by analyzing the biometric data, in the case where such a hearing loss of breathing, body temperature to pulse the unstable state, not be aware of the alarm sound indicating the risk this is high by considering them amplify alert tone pattern period and the size of the can to pass the appropriate stimulus to the hard of hearing.

또한, 생체데이터를 분석하여 얻은 착용자의 내부 위험 요소를 고려하여, 위험 상황이 발견되면 외부 스피커 및/또는 LED 모듈을 작동시켜 외부의 타인에게 위험상황을 전파함으로써 착용자에 대한 신속한 조치가 이루어지도록 할 수 있다. Further, in consideration of the internal risk of the wearer is obtained by analysis of the biometric data, if the danger situation is found, the external speaker, and / or by operating the LED module, the quick action of the wearer by spreading the risk situation to the external person to to occur can.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. Not limited to those mentioned above are the effects of the present invention effects, is not mentioned other effects will be understood clearly to those skilled in the art from the description of the claims.

도 1은 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기를 착용한 모습을 나타내는 도면이다. 1 is a view showing a state that wear yanggwi implantable hearing aid having a risk factor detection function according to an embodiment of the present invention.
도 2는 도 1의 반대편에서 도시한 모습을 나타내는 도면이다. 2 is a view showing the state shown on the other side of Fig.
도 3은 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기의 구조를 나타내는 사시도이다. 3 is a perspective view showing the structure of yanggwi implantable hearing aid having a risk factor detection according to one embodiment of the present invention.
도 4는 도 3의 보청기의 좌우측 및 후방 카메라의 영상 획득 구조를 나타내는 도면이다. Figure 4 is a view showing a structure of the image obtaining camera, the left, right and rear of the hearing aid of Fig.
도 5는 도 4의 영상 데이터로부터 감지된 외부 위험 요소를 나타내는 예시적인 도면이다. 5 is an illustrative view showing the external hazards detected from the image data of Fig.
도 6은 도 3의 보청기의 작동원리를 개략적으로 나타내는 블록도이다. Figure 6 is a block diagram schematically showing the principle of operation of the hearing aid of Fig.
도 7 내지 도 9는 도 3의 보청기의 좌우측 및 후방 카메라의 영상에서 각각 외부 위험 요소가 감지된 경우의 작동원리를 나타내는 도면이다. 7 to 9 are diagrams showing the operation principle of the case, each external threat is detected by the video camera of the left, right and rear of the hearing aid of Fig.
도 10은 도 3의 보청기의 좌우측 및 후방 카메라의 영상에서 각각 외부 위험 요소가 감지된 경우의 알림음 패턴을 나타내는 순서도이다. 10 is a flowchart showing a notification sound pattern when the respective external threat is detected by the video camera of the left, right and rear of the hearing aid of Fig.
도 11은 도 3의 보청기의 생체 데이터와 이에 따른 알림음의 패턴 주기 및 크기 변화를 나타내는 예시적인 도면이다. 11 is an illustrative view showing the pattern period and the change in size of the biometric data and its ring tone according to the hearing aid of Fig.
도 12는 도 3의 보청기의 작동원리를 순차적으로 나타내는 순서도이다. 12 is a flow chart sequentially showing the operation principle of the hearing aid of Fig.
도 13은 도 3의 보청기의 외부 위험 요소를 결정하는 원리를 순차적으로 나타내는 순서도이다. 13 is a flow chart sequentially showing the principle of determining the risk of an external hearing aid of Fig.
도 14는 본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템을 개략적으로 나타내는 블록도이다. 14 is a block diagram schematically showing the risk detection system using a hearing aid in accordance with one embodiment of the present invention.
도 15는 도 14의 시스템의 작동원리를 순차적으로 나타내는 순서도이다. 15 is a flow chart sequentially showing the operation principle of the system of Fig.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. Methods of accomplishing the advantages and features of the present invention and reference to the embodiments that are described later in detail in conjunction with the accompanying drawings will be apparent. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. However, the invention is not limited to the embodiments set forth herein be embodied in many different forms, only, and the present embodiments are to complete the disclosure of the present invention, ordinary skill in the art will to those provided to indicate that the full scope of the invention, the present invention will only be defined by the appended claims.

아래 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 상세히 설명한다. Reference is made to the accompanying drawings below and the specific content for the practice of the present invention will be described in detail. 도면에 관계없이 동일한 부재번호는 동일한 구성요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다. Regardless of the drawings the same reference numerals denote the same components, it comprises "and / or" are each and all combinations of one or more of the mentioned items.

이하, 도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기에 대해 설명한다. Hereinafter, it will be explained yanggwi implantable hearing aid having a risk factor detection function according to the first to one embodiment of the present invention with reference to FIG. 3 for example. 도 1은 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기를 착용한 모습을 나타내는 도면이고, 도 2는 도 1의 반대편에서 도시한 모습을 나타내는 도면이고, 도 3은 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기의 구조를 나타내는 사시도이다. 1 is a diagram showing a illustrating view from the other side of a diagram showing a state that wear yanggwi implantable hearing aid having a risk factor detection function according to an embodiment of the present invention, Figure 2 is Figure 1, Figure 3 is the invention yanggwi of having a risk factor detection according to one embodiment is a perspective view showing the structure of the implantable hearing aid.

도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기는, 넥밴드 타입의 양귀 삽입형 보청기로서, 외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈(110), 상기 한 쌍의 보청기 모듈(110)을 연결하는 곡선형 프레임(120), 상기 한 쌍의 보청기 모듈(110)의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈(130a, 130b), 상기 곡선형 프레임(120)의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈(140), 상기 한 쌍의 보청기 모듈(110)의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈(150), 및 상기 생체 데이터를 수신하여 상기 착용자의 생체 상태를 수집하는 컨트롤 모듈(160)을 포함 1 to 3, yanggwi implantable hearing aid having a risk factor detection function according to an embodiment of the present invention is a yanggwi implantable hearing aid of the neckband type, a treatment signal to the sound detected by the external output to sound a pair of hearing aids module 110, to connect the hearing aid module 110. the pair of curved frames 120, are disposed on the outer surface of the hearing aid module 110 of the pair of sides of the first external image a pair of camera modules (130a, 130b), is arranged at the central portion of the curved frame 120, a second camera module (140) for obtaining a second external image of the back, the hearing aid module, the pair (110 to obtain the ) it is disposed on the inner side of the kernel to be inserted into the ear canal, comprising a control module 160 for receiving a biometric data acquisition module 150 for obtaining biometric data of a wearer, and the biometric data acquisition biometric state of the wearer 되, 상기 컨트롤 모듈(160)은 주기적으로 상기 생체 데이터를 외부의 관리서버로 전송하고, 상기 컨트롤 모듈(160)은 상기 제1 외부영상 및 상기 제2 외부영상을 수신하고 이를 분석하여 상기 착용자의 보행시에 시야 미확보 영역의 외부 위험 요소를 검출하고, 상기 컨트롤 모듈(160)은 상기 외부 위험 요소가 검출되면 상기 한 쌍의 보청기 모듈(110)로 알림음을 전송한다. Being, the control module 160 is periodically transmitted to the external management server, the control module 160 receives a first external image and the second external image and analyze it by the wearer of the biometric data, detecting the external field of view of the risk area to mihwakbo during walking, and the control module 160 transmits a notification to the hearing aid sound module (110) of the pair when the external threat is detected.

도 1 및 도 2를 참조하면, 착용자의 양 귀에 사용 가능한 양귀 삽입형 보청기(100)가 착용된 상태가 도시된다. Referring to FIGS. 1 and 2, the yanggwi implantable hearing aid 100 in the available quantity of the wearer's ear, the wear state is illustrated. 한 쌍의 보청기 모듈(110)은 곡선형 프레임(120)에 의해 연결되며, 곡선형 프레임(120)은 예를 들어 착용자의 머리의 일부 예를 들어 후두부를 감싸는 형태로 후두부의 외형에 따라 유선형이 결정될 수 있다. A hearing aid module (110) of the pair are connected by a curved frame (120), the curved frame 120, for example, the fairing according to the outer shape of the back of the head in the form that wraps around the back of the head, for some examples of the wearer's head It can be determined. 보청기 모듈(110)의 일측에는 외이의 후방에 거치될 수 있는 고리형의 거치부(미도시)가 더 구비될 수 있으나, 이에 한정되는 것은 아니다. One side of the hearing aid module 110, but the mounting portion (not shown) of the annular, which may be mounted on the rear of the outer ear may be further provided, and the like. 보청기 모듈(110)은 거치부가 없이 외이도에 소정 부압으로 삽입되어 고정 가능한 힘을 제공하는 커널형태일 수도 있다. Hearing module 110 may canal days open to provide a dockable force is inserted into a predetermined negative pressure in the ear canal without additional mounting.

곡선형 프레임(120)의 재질 및 형상에는 제한이 없으며, 몇몇 실시예에서 곡선형 프레임(120)은 피복 코팅된 연결선으로 대체될 수 있다. Material and shape of the curved frame 120 is not restricted, the curved frame 120 in some embodiments may be replaced by coating the coated wires. 이러한 경우, 보청기 모듈(110)은 피복 코팅된 연결선에 의해 소정의 데이터를 송수신하여 동기화될 수 있다. In this case, the hearing aid module 110 may be synchronized by transmitting and receiving predetermined data by the covering coating connection.

앞서 설명한 바와 같이, 한 쌍의 보청기 모듈(110)은 기존 보청기의 구성 예를 들어, 화자음 및 주변음을 수집하여 전기적인 신호로 출력하는 송화기, 송화기로부터 출력된 신호를 입력받아 정류 및 증폭하는 증폭기, 상기 증폭기에서 증폭된 신호를 음파로 변환하여 난청인의 귀로 전달하는 수화기, 상기 수화기 및 증폭기로 전력을 공급하는 배터리를 포함할 수 있다. As described above, a pair of hearing aid module 110 is the configuration of the conventional hearing aid for example, flower collected consonants and ambient sound receiving the signal outputted from the mouthpiece, mouthpiece and outputting an electrical signal for rectifying and amplifying amplifier, converts the signal amplified by the amplifier into sound waves may include a battery for supplying power to the receiver, and the receiver amplifier for delivering the ears of the hearing loss.

예를 들어 송화기는, 소정의 영역 내에서 발생한 음성을 추출하는 역할을 수행하며, 음성 데이터를 수신하기 위한 다양한 종류의 마이크 장치가 사용될 수 있다. For example, the mouthpiece, and serves to extract the sound generated in the predetermined area, there is a wide variety of microphone for receiving the voice data can be used. 예를 들어, 마이크 구조에 따라 다이나믹 마이크, 콘덴서 마이크, 리본 마이크가 사용될 수 있으며, 지향성에 따라 지향성 마이크, 무지향성 마이크(Non-directional microphone), 단일 지향성 마이크(Uni-directional microphone), 초지향성 마이크(Super cardioid, Hyper cardioid) 등이 모두 사용될 수 있다. For example, dynamic, depending on the microphone structure microphone, condenser microphone, and can be used ribbon microphone, according to the directional directional microphones, omnidirectional microphone (Non-directional microphone), single directional microphone (Uni-directional microphone), second directional microphone It may be used, such as all of the (Super cardioid, Hyper cardioid).

수화기(112b)는 공지의 스피커 또는 이어폰의 구성과 동일할 수 있으며, 착용자에게 음성 데이터를 전달한다. Receiver (112b), which may be the same as that of the speaker or earpiece of the known, and transfers the voice data to the wearer.

보청기 모듈(110)의 외측면에는 각각 보청기 모듈(110)이 이루는 평면과 수직한 방향의 외부영상을 획득하기 위한 카메라 모듈(130)이 구비된다. More of the hearing aid module 110 side are each provided with a camera module 130 for obtaining a hearing aid constituting a module (110) plane and the external image in the vertical direction. 카메라 모듈(130)은 보청기 모듈(110)의 외면에 구비되며, 착용자의 좌측 또는 우측의 외부의 영상을 획득하여 이를 영상 데이터화 한다. Camera module 130 is provided on the outer surface of the hearing aid module 110, the video ingestion acquires the wearer's left or out of the image on the display.

카메라 모듈(130)은 실제 영상을 촬영하는 카메라 유닛과, 카메라 유닛에 연결되어 아날로그 또는 디지털 영상 데이터를 생성하는 인코더 유닛과, 영상 데이터를 컨트롤 모듈(160)로 전송하는 송수신 유닛을 포함할 수 있다. Can be a camera module 130 includes a camera unit and a transceiver unit for transmitting and encoder unit connected to the camera unit for generating analog or digital video data, the video data to the control module 160 to take the actual image .

카메라 모듈(130)은 공지의 구조 예를 들어, 하나 이상의 광학 렌즈로 구성된 촬영 장치를 모두 포함할 수 있으며, 반도체 소자 예를 들어 CCD등과 같은 촬상 소자 등으로 구성된 공지의 카메라 유닛을 모두 포함하는 개념일 수 있다. The camera module 130, for a known structural example, may include all of the image pickup apparatus is made up of one or more optical lenses, semiconductor device, for example a concept including all of the known of the camera unit is configured in the same image pickup element such as CCD one can.

카메라 모듈(130)로부터 획득된 외부 영상은 컨트롤 모듈(160)로 전송되며, 해당 영상을 분석하여 외부위험요소가 존재하는지 여부 및 외부위험요소가 착용자에게 접근하는지 여부를 판단할 수 있다. The outside image acquired from the camera module 130 may determine whether to be transmitted to the control module 160, it analyzes the image and whether or not that the outer risk that the external hazards exist access to the wearer.

이에 추가로, 한 쌍의 보청기 모듈(110)을 연결하는 곡선형 프레임(120)의 후방 즉, 곡선형 프레임(120)의 중앙부에는 착용자의 후방의 영상을 획득하는 보조 카메라 모듈(140)이 추가로 구비된다. In addition, a pair of addition of a second camera module 140 is for obtaining an image of the wearer's rear center portion of the back that is, the curved frame 120 of the curved frame 120 for connecting a hearing aid module (110) It is provided with.

몇몇 다른 실시예에서는 후방의 보조 카메라 모듈(140)은 생략될 수도 있다. In some other embodiments a second camera module 140 of the back may be omitted.

보조 카메라 모듈(140)은 착용자의 시야의 사각(死角)인 후방의 영상을 획득할 수 있으며, 후방 영상도 마찬가지로 컨트롤 모듈(160)로 전송되어 후방 영상 내에 외부위험요소가 존재하는지 판단할 수 있다. A second camera module 140 may obtain the image of a square (死角) of the wearer's field of view the rear, the rear image also similarly transmitted to the control module 160 may determine that the external hazards present in the rear image .

도 1 및 도 2에 도시된 예에서, 설명의 편의를 위해 한 쌍의 보청기 모듈(110)의 크기를 과장해서 도시되었으나, 이에 한정되는 것은 아니며, 착용자의 외이도에 삽입되는 종래의 보청기 형태와 같이 소형화될 수도 있다. In the example shown in Figs. 1 and 2, but shown by exaggerating the size of the pair of hearing aid module 110 for convenience of description, not limited to this, as in the conventional hearing aid shape to be inserted into the wearer's ear canal, It may be reduced in size.

도 3을 참조하면, 본 실시예에 따른 보청기(100)는 생체 데이터 측정 모듈(150), 컨트롤 모듈(160), LED 모듈(170), 스피커 모듈(180)을 더 포함할 수 있으며, 후술하는 바와 같이 외부에 존재하는 서버와의 무선 통신을 위한 통신 모듈(도 13 참조, 190)을 더 포함할 수 있다. 3, a hearing aid 100 according to this embodiment may further include a biometric data measuring device 150, a control module (160), LED module 170, a speaker module 180, which will be described later a communication module for wireless communication with the server that is outside as described (see Fig. 13, 190) can be further included.

생체 데이터 측정 모듈(150)은 한 쌍의 보청기 모듈(110)의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득한다. Biometric data measuring device 150 is disposed on the inner side of the kernel to be inserted into the ear canal of a pair of hearing aid module 110 acquires the biometric data of the wearer. 생체 데이터 측정 모듈(150)은 착용자의 외이도에 삽입되어 신체 내부에 위치하게 된다. Biometric data measuring device 150 is inserted into the ear canal of the wearer's position inside the body. 생체 데이터 측정 모듈(150)은 한 쌍의 보청기 모듈(110) 중에서 한 쪽(110b)에만 구비되는 것으로 도시되었으나, 이에 한정되는 것은 아니며 착용자의 양측 귀에서 생체 데이터를 측정할 수 있도록 한 쌍의 보청기 모듈(110) 양쪽에 구비될 수도 있다. Biometric data measuring device 150 has been illustrated as being provided only on one side (110b) among a pair of hearing aid module 110, but are not limited to, not the pair of hearing aids to be able to measure the biometric data from the wearer on both sides of the ear module 110 may be provided on both sides.

생체 데이터 측정 모듈(150)로부터 측정된 생체 데이터는 컨트롤 모듈(160)로 전송되어 착용자의 상태를 모니터링할 수 있다. The biometric data obtained from the biometric data acquisition module 150 is transmitted to the control module 160 may monitor the status of the wearer. 생체 데이터는 심박수, 맥박 및 체온을 포함할 수 있다. Biometric data may include heart rate, heart rate and body temperature.

이를 위해 생체 데이터 측정 모듈(150)은 체온 감지부 및 맥박 감지부(미도시)를 포함하여 구성될 수 있다. Biometric data measuring device for this purpose 150 may be configured to include a temperature sensor and a pulse sensor (not shown). 체온 감지부는 외이도에 삽입되는 커널 표면에 온도 센서를 부착하여 체온을 측정할 수 있으며, 지속적인 체온의 변화량을 측정할 수 있다. Body temperature sensing unit attached to a temperature sensor in the surface of the kernel to be inserted into the ear canal and can measure the body temperature, it is possible to measure the amount of change in the constant temperature. 맥박 감지부는 착용자의 맥박 변화량을 측정할 수 있으며, 압력 센서 또는 광 송수신 센서를 부착하여 혈액으로부터 전달되어오는 귀속 외이도의 압력 변화를 측정하여 맥박을 검출하거나, 광을 발생시키는 송신기, 광을 검출하는 수신기를 보청기에 장착하여 검출된 광의 세기 변화를 측정함으로써 맥박의 유무를 검출할 수 있다. Pulse detecting unit can measure the wearer's heart rate variation, by attaching a pressure sensor or a light receiving sensor to measure a pressure change of an attachment ear canal comes is transferred from the blood to detect or detect the transmitter, the light for generating a light pulse by mounting a receiver to the hearing aid by measuring the detected light intensity change it is possible to detect the presence or absence of the pulse.

이와 같이 측정된 생체 데이터로부터 착용자의 상태가 정상 상태인지, 이상 상태인지를 판단할 수 있다. The status of the wearer from the living body data measured in this way it can be determined whether a steady state or, at least the state. 예를 들어, 맥박 및/또는 체온이 급격하게 변화하는 경우 착용자의 상태를 이상 상태로 판단할 수 있다. For example, heart rate, and / or if the temperature suddenly changes may determine the status of the wearer in an abnormal state. 이와 같은 생체 데이터는 외부의 관리서버(미도시)로 전송되어 외부에서 이를 관리할 수도 있다. Such biometric data is transmitted to the external management server (not shown) may manage them from the outside.

컨트롤 모델(160)은, 카메라 모듈(130) 및 보조 카메라 모듈(140)로부터 외부영상에 관한 영상 데이터를 수신하고, 동시에 생체 데이터 측정 모듈(150)로부터 생체 데이터를 수신하며, 영상 데이터 및 생체 데이터를 모니터링하고 이를 분석하여 이상 상황 또는 위험 상황을 판단할 수 있다. Control model 160, receiving the image data regarding the external image from the camera module 130 and the second camera module 140 and, at the same time, receives the biometric data from the biometric data acquisition module 150, the video data and the biometric data to be monitored and analyzed to determine the abnormal situations or danger to them.

컨트롤 모듈(160)은 주기적으로 생체 데이터를 외부의 관리서버(미도시)로 전송할 수 있으며, 카메라 모듈(130) 및 보조 카메라 모듈(140)로부터 각각 획득한 제1 외부영상 및 제2 외부영상을 수신하고 이를 분석하여 착용자의 시야 미확보 영역의 외부 위험 요소를 검출할 수 있다. Control module 160 may periodically transmit the biometric data to the external management server (not shown), a first external image and a second external image obtained from each of the camera module 130 and the second camera module 140 receiving and can be analyzed by detecting the external field of vision of the wearer risks mihwakbo area of ​​it. 또한, 컨트롤 모듈(160)은 외부 위험 요소가 검출되면 한 쌍의 보청기 모듈(110)로 알림음을 전송할 수 있다. In addition, control module 160 may send a notification to a pair of hearing aid module 110 when the external negative risk factor is detected.

컨트롤 모듈(160) 내의 영상 분석 과정 및 생체 데이터 분석 과정에 대해서는 후술한다. For the image analysis process and the biometric data analysis process in the control module 160 will be described later.

LED 모듈(170)은 곡선형 프레임(120)의 외측에 부착되어 컨트롤 모듈(160)의 신호에 의해 발광할 수 있다. LED module 170 may be emitted by a signal attached to the outer side of the curved frame 120, the control module 160. 몇몇 다른 실시예에서 LED 모듈(170)은 다른 광원 예를 들어 벌브 타입의 광원 또는 다른 타입의 광학소자로 대체될 수 있다. In some other embodiments the LED module 170 may be replaced with another light source with for example a light source or the optical element of the other type of bulb type.

컨트롤 모듈(160)이 착용자의 생체 데이터를 분석하여 위험 상태라고 판단할 경우, 착용자 외부의 타인에게 착용자의 상태를 전파할 수 있도록, LED 모듈(170)을 발광할 수 있으며, 주간 또는 야간에는 해당되는 주변 광량에 따라 전원 공급을 달리하여 휘도를 제어할 수도 있다. If the control module 160 is to be determined to be at risk by analyzing the wearer's biometric data, so that to the wearer's external other to propagate the wearer's status, it is possible to light emission from the LED module 170, a daytime or at night, the which it may also control the brightness by varying the power supply in accordance with the ambient light.

LED 모듈(170)은 비상 상황임을 주변에 전파할 수 있도록 점멸 동작이 반복될 수 있다. LED module 170 has a flashing operation can be repeated to propagate around you of emergency situations.

스피커 모듈(180)은 곡선형 프레임(120)의 외측에 부착되어 컨트롤 모듈(160)의 제어로 인해 외부로 소정의 소리를 전달할 수 있다. Speaker module 180 may deliver a predetermined sound to the outside due to the control of the control module is attached to the outer side 160 of the curved frame 120. LED 모듈(170)과 마찬가지로 컨트롤 모듈(160)이 착용자의 생체 데이터를 분석하여 위험 상태라고 판단할 경우, 착용자 외부의 타인에게 착용자의 상태를 전파할 수 있도록 스피커 모듈(180)을 통해 소정 데시벨 이상의 경고음을 발생시켜서 주변에 위치하는 타인의 시선을 환기시킬 수 있다. LED module 170 and, like the control unit 160 is more than if it determines that a critical state by analyzing the wearer's biometric data, given by the speaker module 180 so that to the wearer's external other to propagate the wearer state of decibels by beeps can ventilate the eyes of others, which is located nearby.

통신 모듈(190)은 외부의 서버 또는 소정의 장치와 무선으로 통신 가능한 이동 통신 모듈일 수 있으며, 외부와 소정의 데이터를 송수신할 수 있다. Communications module 190 may be any of the external server or a predetermined device and a wireless communicable mobile communication module, it is possible to receives and transmits predetermined data. 예를 들어, 보청기(100)에서 획득한 영상 데이터 및/또는 생체 데이터를 외부 서버로 전송하는 역할을 수행할 수 있으며, 외부로부터 음성 메시지 등을 수신하여 이를 착용자에게 전달할 수도 있다. For example, image data obtained from the hearing aid 100 and / or may serve to transmit the biometric data to the external server, to receive a voice message, etc. from the outside can pass them to the wearer. 몇몇 다른 실시예에서 통신 모듈(190)은 외부의 서버로부터 제어 시그널을 수신할 수 있으며, 이를 컨트롤 모듈(160)에 전달하여 외부의 제어를 통해 한 쌍의 보청기 모듈(110)의 수화부(112b)의 볼륨 등을 원격으로 제어할 수도 있다. Some communication module 190. In another embodiment earpiece (112b) of the pair of hearing aid module 110 may receive a control signal from an external server, and forwards it to the control module 160 through the control of external a may control the volume remotely.

이하, 도 4 내지 도 10을 참조하여, 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기의 동작원리 및 구조에 대해 상세히 설명한다. With reference to Figure 4 to Figure 10, it will be described in detail the structure and operation principle of yanggwi implantable hearing aid having a risk factor detection function according to an embodiment of the present invention. 도 4는 도 3의 보청기의 좌우측 및 후방 카메라의 영상 획득 구조를 나타내는 도면이고, 도 5는 도 4의 영상 데이터로부터 감지된 외부 위험 요소를 나타내는 예시적인 도면이고, 도 6은 도 3의 보청기의 작동원리를 개략적으로 나타내는 블록도이고, 도 7 내지 도 9는 도 3의 보청기의 좌우측 및 후방 카메라의 영상에서 각각 외부 위험 요소가 감지된 경우의 작동원리를 나타내는 도면이고, 도 10은 도 3의 보청기의 좌우측 및 후방 카메라의 영상에서 각각 외부 위험 요소가 감지된 경우의 알림음 패턴을 나타내는 순서도이다. 4 is the exemplary illustration, and the hearing aid of Fig. 6 Fig. 3 showing the left and right, and a view showing the image obtained structure of the rear camera, Figure 5 is an external hazards detected from the image data of Figure 4 of the hearing aid of Figure 3 is a block diagram showing the working principle schematically, in figures 7 to 9 is a diagram showing the working principle of the case, each external hazards are detected in the image of the left, right and rear camera of the hearing aid of Figure 3, Figure 10 is a 3 a flow diagram respectively showing a notification sound pattern when the external threat is detected by the video camera of the left, right and rear of the hearing aid.

도 4를 참조하면, 예시적인 좌우측 및 후방의 영상 데이터가 도시된다. 4, the image data of an exemplary left and right sides and the rear is shown. 카메라 모듈(130a, 130b)을 통해 착용자의 좌우측 영상 데이터(210, 220)를 획득할 수 있으며, 보조 카메라 모듈(140)을 통해 착용자의 후방 영상 데이터(230)를 획득할 수 있다. It is possible to obtain a camera module (130a, 130b) of the wearer's left and right image data can be obtained (210, 220), a second camera module 140, the wearer of the rear image data 230 through the via.

획득된 영상 데이터(210, 220, 230)는 소정의 프레임을 가질 수 있으며, 소정의 저장 공간 또는 버퍼에 의해 임시 또는 일정 분량만큼 저장될 수도 있다. The obtained image data (210, 220, 230) may have a given frame, may be stored as a temporary or a predetermined amount by a predetermined storage space or buffer. 예를 들어, 본 실시예에 따른 보청기는 플래시 메모리 타입의 저장장치(미도시)가 더 구비되고, 카메라 모듈 등에 의해 획득된 영상데이터는 상기 저장장치에 저장될 수 있다. For example, the hearing aid is further provided with a storage device (not shown) of the flash memory type, the image data obtained by the camera module according to this embodiment may be stored in the storage device.

컨트롤 유닛(160)은 저장장치에 저장된 영상 데이터(210, 220, 230)의 메타데이터를 추출하여 이를 별도로 관리할 수 있다. The control unit 160 may extract the metadata of the image data (210, 220, 230) stored in the storage device, and manage them separately. 메타데이터를 추출하는 작업은 저장장치에 영상 데이터(210, 220, 230)가 저장되는 작업과 동시에 또는 이시에 수행될 수 있으며, 메타데이터는 영상 데이터(210, 220, 230)의 중요한 정보 예를 들어 크기 정보, 픽셀 좌표 정보 및 색상 정보 중 하나 이상을 포함할 수 있다. To derive metadata can be carried out simultaneously with the job which the image data (210, 220, 230) in the storage device storage or to Ishikawa, the metadata relevant information of a video data (210, 220, 230) for size information, and it may include one or more of the pixel coordinate information and color information.

컨트롤 유닛(160)에서 영상 데이터(210, 220, 230)를 신속하게 검색할 수 있도록 영상 데이터(210, 220, 230)의 픽셀에 대한 정보를 인덱싱하여 저장할 수 있다. It can not be stored in the control unit 160 that can be used to quickly search for the image data (210, 220, 230) indexes the information for the pixels of the image data (210, 220, 230).

저장된 영상 데이터(210, 220, 230)는 소정 기간 동안 저장되어 추후에 이를 추출하여 조회할 수 있으며, 상기 소정 기간 전에 용량이 모두 소진된 경우에는 선입선출 방식으로 이전 데이터부터 자동 삭제되도록 구성될 수 있다. The image data stored (210,220, 230) is stored for a period of time it can be found by extracting them at a later date, if the both the capacity is exhausted before the predetermined period can be configured to be automatically deleted from the old data to a first-in, first-out manner have.

도 5를 참조하면, 우측의 영상 데이터(220)에 외부 위험 요소(300) 예를 들어 착용자에게 돌진하는 자동차가 존재하는 경우를 도시한다. Figure 5, illustrates a case where the car for external hazards (300) for example, rush to the wearer in the image data 220 on the right there. 외부 위험 요소(300)는 예시한 바와 같이, 착용자의 신변에 위협을 가할 수 있는 모든 객체 요소를 의미할 수 있으며, 예를 들어 착용자에게 돌진하는 차량, 자전거, 오토바이 또는 소정 속도 이상으로 접근하는 사람 등을 모두 포함할 수 있다. External hazards (300), to sense all objects elements that may pose a threat to the wearer's personal, and, for example, person approaching the vehicle, bicycle, motorcycle, or a predetermined rate or more rushing to the wearer, as illustrated It may include both like.

카메라 모듈 등(130, 140)에 의해 획득된 영상 데이터는 컨트롤 모듈(160)에서 분석되며, 컨트롤 모듈(160)은 공지의 다양한 객체 인식 알고리즘 예를 들어 적응적 가우시안 혼합 모델(Adaptive Gaussian Mixture Model)을 기초로 외부 위험 요소(300)를 검출할 수 있다. The image data obtained by the camera modules 130 and 140 are analyzed by the control module 160, control module 160 different object recognition algorithm for example adaptive Gaussian mixture model, a known (Adaptive Gaussian Mixture Model) the base may be detected external hazards (300) to. 이외에도, 평면의 단색 배경 이미지를 이용하거나 사전에 정의된 고정 배경 이미지를 이용하여 통제된 배경 이미지 하에서 객체를 탐지하는 기법, 영상 데이터 상에서 움직이는 객체 영역을 단순 추출하는 기법, 통계적 클러스터 정보를 이용하는 신경회로망 접근 기법 등이 사용될 수 있으나 이에 한정되는 것은 아니다. In addition, using a solid background image of a plane, or through the technique which detects a fixed background object under the background image control by the image defined in advance, techniques that simply extract the moving object region on the image data, statistical cluster information neural network such as access techniques can be used, but the embodiment is not limited thereto.

예를 들어, 배경분리기법을 통해 움직이는 객체를 배경에서 분리하는 방법을 적용하여 영상 데이터(210, 220, 230)에서 배경과 전경이미지를 추출한다. For example, to extract the background and the foreground image in the image data (210, 220, 230) by applying a method for separating a moving object from the background in the background separation technique. 이후, 배경을 모델링해서 명시적인 배경을 만들고 이진 전경 분할 마스크를 이용해서 움직이는 객체를 배경에서 분리할 수 있다. After that, you can remove the background to create an explicit model moving background using the foreground binary segmentation mask object in the background. 전경이미지를 통해 움직이는 객체를 추출하고 객체의 중심점을 구해 방향정보를 판단한다. Extracting a moving object with an image in the foreground and the obtained center point of the object to determine orientation information. 방향은 상, 하, 좌, 우의 정보만을 추출할 수 있으며, 객체의 행동정보와 미리 설정된 프로파일링 정보를 판단해서 위험상황에 대해 인식한다. Direction is up, down, it is possible to extract only the left and right information, and to determine the profile information and preset action information of the object recognition of the danger situation.

또한, 외부 위험 요소(300)는, 제1 외부영상 및 제2 외부영상(210, 220, 230)의 인식된 객체 중에서 소정 크기 이상이고 소정 속도 이상으로 착용자 측으로 접근하는 객체로 결정될 수도 있다. The external hazards (300), a first external image and the second image equal to or greater than a predetermined outside from the recognized size of the object (210, 220, 230), and may be determined as an object approaching toward the wearer to or greater than a predetermined speed.

예를 들어, 영상 데이터(210, 220, 230)로부터 추출된 객체는 다른 객체와의 상대적인 비교에 의해 크기가 결정될 수도 있으며, 카메라 모듈 또는 보조 카메라 모듈(130, 140)의 배율 등을 고려하여 대략적인 객체의 크기를 결정할 수 있다. For example, the object extracted from the image data (210, 220, 230) may be determined in size by relative comparison with the other object, in consideration of the magnification of the camera module or the second camera module (130, 140) substantially the size of the object can be determined. 예를 들어, 영상 데이터(210, 220, 230) 상의 면적이 50px 이상인 객체로 한정하여 외부 위험 요소(300)를 결정할 수 있다. For example, it is possible to limit to not less than an area of ​​50px on the image data (210, 220, 230) the object to determine the external hazards (300).

또한, 각 프레임 별로 객체의 이동 경로를 추적하여 객체가 착용자 측으로 접근하는지 여부를 결정하고, 착용자 측으로 접근하는 경우, 객체의 이동속도를 추적하여 소정 속도 이상으로 접근하는 경우 외부 위험 요소(300)로 결정할 수 있다. In addition, when tracking a moving path of the object in each frame to determine whether the object is approaching the side of the wearer, and the approach toward the wearer, to track the movement speed of the object to an external hazards (300) if the access to or greater than a predetermined speed It can be determined.

예를 들어, 객체가 소정 프레임에서 면적이 150px이고, 프레임이 경과하면서 점진적으로 픽셀에서 차지하는 면적이 증가되는 경우 착용자 측으로 접근하는 것으로 판단할 수 있으며, 면적이 증가되는 속도를 고려하여 소정의 이동속도 이상인 경우에 해당 객체를 외부 위험 요소(300)로 결정할 수 있다. For example, if the object is an area 150px in a given frame, the frame is passed progressively when the increase in the area occupied by the pixel can be determined by approaching the side of the wearer, in view of the rate at which area is increased a predetermined traveling speed and the object on or more may be determined by external hazards (300).

도 6을 참조하면, 카메라 모듈(130) 및/또는 보조 카메라 모듈(140)로부터 획득된 영상 데이터는 컨트롤 모듈(160)로 전송되며, 생체 데이터 측정 모듈(150)로부터 측정된 생체 데이터도 마찬가지로 컨트롤 모듈(160)로 전송된다. 6, the image data obtained from the camera module 130 and / or the second camera module 140 is transmitted to the control module 160, as well the in vivo data measured by the living body data measuring device 150, the control It is transmitted to the module 160. 이와 같은 데이터를 수신한 컨트롤 모듈(160)은 위에서 설명한 알고리즘에 따라서 외부 위험 요소가 존재하는지 또는 내부 위험 요소가 존재하는지를 판단하고, 위험 요소가 존재하는 경우, 한 쌍의 보청기 모듈(110)로 위험을 알리는 알림음을 전송할 수 있다. The data control unit 160 receives the same according to the algorithm described above, it is determined whether the whether or internal risks external hazards exist there, if there is a risk exists, the risk of a pair of hearing aid module 110 the can send a notification sound informing.

도 7 내지 도 9를 참조하면, 카메라 모듈(130) 및/또는 보조 카메라 모듈(140)로부터 획득된 영상 데이터(210, 220, 230) 상의 외부 위험 요소(300)의 위치에 따른 알림음 전송 패턴이 도시된다. Referring to Figure 7 to Figure 9, notification of the position of the camera module 130 and / or the second camera module, the image data that the external hazards (300) on a substrate (210, 220, 230) obtained from the 140 sound transmission pattern It is shown.

착용자가 외부 위험 요소(300)가 어느 위치에서 접근하는지 직관적으로 인식할 수 있도록, 외부 위험 요소(300)의 위치에 대응하여 외부 위험 요소(300)가 감지된 측의 카메라 모듈(130, 140) 방향의 보청기 모듈(110)로 알림음 내지 경고음이 출력될 수 있다. So the wearer is an external hazards (300) can be intuitively recognized that the access in any location, in response to the position of the external hazards (300) external hazards (300) the side of the camera module (130, 140) sense there is a ring tone to alert a hearing aid module (110) of the direction can be output.

예를 들어, 도 7에 도시된 바와 같이 우측(착용자의 왼쪽) 영상 데이터(220)에 외부 위험 요소(300)가 감지된 경우, 착용자의 왼쪽의 보청기 모듈(110)에서 알림음이 발생하도록 설정될 수 있다. For example, the right side (the wearer's left side), as shown in Figure 7. When the image data 220 is external hazards (300) detects the setting so that the alarm sound generated in the hearing aid module 110 on the left side of the wearer It can be.

마찬가지로, 도 8에 도시된 바와 같이 좌측(착용자의 오른쪽) 영상 데이터(210)에 외부 위험 요소(300)가 감지된 경우, 착용자의 오른쪽의 보청기 모듈(110)에서 알림음이 발생하도록 설정될 수 있다. Similarly, the left side (the right side of the wearer), as illustrated in Figure 8 the image data 210. If the external hazards (300) is detected, can be set to the ring tone generated in the wearer's right hearing aid module 110 have.

또한, 도 9에 도시된 바와 같이, 상부측(착용자의 후방) 영상 데이터(230)에 외부 위험 요소(300)가 감지된 경우, 착용자의 양쪽 보청기 모듈(110)에서 동시에 알림음이 발생하도록 설정될 수 있다. In addition, a, set the upper side to the case of (rear side of the wearer), the image data 230, external hazards (300) for the detection, at the same time, alarm sound from the wearer both hearing aid module 110 occurs as shown in Figure 9 It can be.

이와 같이, 외부 위험 요소(300)가 감지된 방향에서 알림음이 발생할 경우 착용자가 직관적으로 알림음이 발생한 방향측으로 방향을 전환하거나 시야를 전환하여 즉각적으로 외부 위험 요소(300)에 반응 및 대응할 수 있다. In this way, the event of the notification sound from the external hazards (300) detects direction of the wearer is intuitively alert sound is to switch the direction toward the direction occurs or to switch the field of view can immediately react and respond to external hazards (300) have.

몇몇 다른 실시예에서, 만약 착용자의 좌우측 및 후방 중에서 두 곳 이상의 복수의 영역에서 위험이 감지된 경우에는, 알림음에 패턴을 부여하여 착용자가 복수의 방위에서 접근하는 위험요소를 인식하도록 할 수 있다. In some other embodiments, if from the wearer's left and right and rear risk from multiple regions more than two locations is detected there, to impart a pattern to the alarm sound can be to the wearer aware of the risk that access from a plurality of bearing .

예를 들어, 착용자의 좌우측에서 동시에 위험요소가 접근할 경우, 보청기 모듈(110)의 좌측 및 우측에서 교대로 알림음이 발생하게 되고, 이로 인해 착용자가 좌측 및 우측에서 동시에 외부 위험 요소(300)가 존재한다는 점을 인식할 수 있다. For example, if the risk access at the same time on the wearer's left and right, the shift ring tone in the left and right sides of the hearing aid module 110 is generated, which causes the wearer at the same time external hazards (300) in the left and right that may exist recognize that.

도 10을 참조하면, 외부 위험 요소(300)를 착용자 즉 난청인에게 알리는 알림음은 외부 위험 요소(300)가 존재하는 시야 미확보 영역의 위치에 따라 서로 다른 패턴을 가질 수 있다. Referring to Figure 10, the notification that the external hazards (300) to the wearer that is hearing loss of sound may have a different pattern according to the position of the field of view region in which the mihwakbo external hazards (300) is present. 위와 같이, 감지된 방향에 대응하여 알림음의 위치를 제어하는 방법 이외에도 도시된 바와 같이, 미리 정해진 알림음 패턴에 따라 착용자에게 외부 위험 요소(300)의 위치를 알릴 수 있다. , Corresponding to the detected direction in addition to a method for controlling the position of the ring tone, as illustrated above, according to a predetermined ring tone patterns for the wearer to tell the location of the external hazards (300). 예를 들어, 좌측(착용자의 오른쪽) 영상 데이터(210)에 외부 위험 요소(300)가 감지된 경우, 제1 패턴(410)에 따라 알림음이 재생될 수 있으며, 다른 측 영상 데이터(220, 230)에서도 각각 대응되는 제2 패턴(420) 및 제3 패턴(430)에 따라 알림음이 재생될 수 있다. For example, the left side when the (right side of the wearer), the image data external hazards (300) to (210) is detected, a may be playing a ring tone according to the first pattern 410, the other side image data (220, 230) is in a beep sound can be reproduced in accordance with the second pattern 420 and the third pattern 430 are respectively supported. 이러한 경우 보청기 모듈(110)의 양 측에서 동시에 재생될 수도 있다. Such a case may be played simultaneously on both sides of the hearing aid module 110.

몇몇 다른 실시예에서, 난청인에게 직관적으로 위험한 방향을 인식시키기 위해, 미리 녹음한 경고문구를 재생할 수도 있다. In some other embodiments, in order to recognize intuitively dangerous direction for the hard of hearing, it may play a pre-recorded warning. 예를 들어, 외부 위험 요소(300)가 착용자의 왼쪽에서 감지된 경우 "왼쪽" 또는 "왼쪽이 위험합니다" 등의 경고 문구를 재생할 수 있으며, 다른 측에서 감지된 경우 이에 대응하는 경고 문구를 재생할 수도 있다. For example, if the external hazards (300) is detected on the wearer's left side, "left" and can play a warning, such as "left risk", if it is detected on the other side play a warning to the corresponding may.

또한, 몇몇 다른 실시예에서, 보청기(100)는 가속도 센서 및/또는 기울기 센서(미도시)를 구비할 수 있으며, 가속도 또는 기울기로 인해 착용자의 주시 방향을 검출할 수 있다. Furthermore, in some other embodiments, the hearing aid 100 may be provided with an acceleration sensor and / or tilt sensor (not shown), due to the acceleration or inclination can be detected by the wearer's eye direction. 컨트롤 모듈(160)에서 외부위험요소를 감지한 경우에, 이에 대응하여 즉각적으로 예를 들어 0.1초의 소정 시간 간격 내에 착용자가 외부위험요소가 존재하는 방향으로 주시 방향을 전환한 경우에는, 이미 위험을 감지한 상태이므로 알림음 재생 기능이 수행되지 않도록 설정될 수도 있다. In the control module 160 when it detects an external hazards, In response, if the immediate example, switch the direction considered in the direction in which the wearer is an external hazards present in the 0.1-second predetermined time interval is, the already dangerous Since the detected condition may be set so that the notification sound playback function is performed.

또한, 몇몇 다른 실시예에서, 보청기(100)는 보청기 모듈(110)의 일측에 진동모터(미도시)를 더 포함하고, 위험요소가 발생하면, 진동이 발생하여 외부위험요소를 착용자에게 알릴 수 있다. In addition, some in another embodiment, the hearing aid 100 comprises a vibration motor (not shown) on one side of the hearing aid module 110 more and, when the risks caused by the vibration is generated to inform an external hazard to the wearer have. 앞서 설명한 바와 같이, 외부위험요소가 발생한 방향의 진동모터가 진동함으로써, 직관적으로 위험 방향을 착용자에게 알릴 수 있다. As described above, by an external threat is the direction of the vibration motor occurring vibration, intuitively it can inform the risk direction to the wearer. 즉, 진동모터로부터 발생한 진동패턴은 외부 위험 요소가 감지된 측의 카메라 모듈 방향의 보청기 모듈에 구비된 진동모터에 의해 생성될 수 있다. That is, the vibration pattern generated from the vibration motor can be generated by the vibration motor is provided in the hearing aid module of the camera module in the direction of the outer side risk is detected.

특히, 난청 수준이 높은 사용자의 경우, 알림음 또는 경고음 내지 경고문구를 최대로 출력하더라도 주변환경의 소음 레벨이 높은 경우에는 이와 같은 위험을 인식하지 못할 위험성이 있다. In particular, in the case of a high level of user-induced hearing loss, or even output alerts to sound the alarm warning to a maximum not have recognized such a risk if the noise level of a high-risk environment. 따라서, 컨트롤 모듈(160)에서 외부위험요소를 인식한 경우, 보청기 모듈(110)을 통해 소리를 출력하는 대신 진동모터를 진동시켜서 청각 대신 촉각으로 위험을 전파할 수 있다. Therefore, when recognizing the external hazards in the control module 160, the hearing aid module 110 by a vibration motor, instead of outputting the sound through the vibration can be propagated to the risk of acoustic touch instead.

즉, 본 발명의 다른 실시예에 따른 보청기는, 넥밴드 타입의 양귀 삽입형 보청기로서, 외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈, 한 쌍의 보청기 모듈을 연결하는 곡선형 프레임, 한 쌍의 보청기 모듈의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈, 곡선형 프레임의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈, 한 쌍의 보청기 모듈의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈, 한 쌍의 보청기 모듈에 구비되어 소정의 진동제어신호에 의해 진동패턴을 형성하는 진동모터, 및 생체 데이터를 수신하여 착용자의 생체 상태를 수집하는 컨트롤 모듈을 포함하되, 컨트롤 모듈은 주기적으로 생체 데이 That is, the hearing aid according to another embodiment of the present invention is a yanggwi implantable hearing aid of the neckband type, a treatment signal to the sound detected by the outside curve connecting a pair of hearing aid module, a pair of hearing aid module for outputting a sound shaped frame, are disposed on the outer surface of the pair of hearing aid module of the second camera module are arranged in a central portion of a pair of camera modules and the curved frame for obtaining a side of the first external image to obtain a second external image of the back , is provided with a pair of living body data measuring device, a pair of hearing aid module is disposed inside the kernel that is inserted into the ear canal of the hearing aid module for obtaining a wearer biometric data of vibration to form the vibration pattern by a predetermined vibration control signal receiving a motor, and the biometric data comprising: a control module which collects the wearer's biological condition, the control module periodically biometric data 를 외부의 관리서버로 전송하고, 컨트롤 모듈은 제1 외부영상 및 제2 외부영상을 수신하고 이를 분석하여 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하고, 컨트롤 모듈은 외부 위험 요소가 검출되면 진동모터에 진동제어신호를 전송하여 진동패턴을 생성한다. If a transfer to an external management server, the control module includes a first external image and second receive an external image and analyzes it to detect and control module external hazards detects an external hazards of the wearer view mihwakbo area of ​​the vibration by transmitting a vibration control signal to the motor generates a vibration pattern.

앞선 실시예에서와 마찬가지로, 생체 데이터는 맥박 및 체온을 포함하고, 컨트롤 모듈은 시야 미확보 영역의 외부 위험 요소 검출시에, 생체 데이터를 고려하여, 진동패턴의 크기 및 반복빈도를 결정할 수 있으며, 체온이 정상체온에서 제1 온도 이상 벗어나거나 맥박이 정상맥박에서 제1 수치 이상 벗어나는 조건하에서, 외부 위험 요소가 검출된 경우, 컨트롤 모듈은, 진동패턴의 크기 및 반복빈도를 소정 범위 이상으로 증가시킬 수 있다. Like in the previous embodiment, the biometric data is included in the pulse, and temperature, the control module can when external hazards detection of the field of view mihwakbo area, considering the biometric data, determining the size and repetition frequency of the oscillation pattern, body temperature, under the conditions is outside at least a first temperature at normal body temperature or pulse rate is outside at least the first value from the top pulse, and when the external threat is detected, the control module may increase the size and repetition frequency of the vibration pattern in a predetermined range over have.

또한, 앞선 실시예에서와 마찬가지로 본 실시예에 따른 진동모터를 포함하는 보청기는, 곡선형 프레임의 외측에 부착되어 컨트롤 모듈의 신호에 의해 발광하는 복수의 LED 모듈, 및 곡선형 프레임의 외측에 부착되어 컨트롤 모듈의 제어로 인해 외부로 소정의 소리를 전달하는 스피커 모듈을 더 포함할 수 있으며, 체온이 정상체온에서 제1 온도보다 높은 제2 온도 이상 벗어나거나 맥박이 정상맥박에서 제1 수치보다 높은 제2 수치 이상 벗어나는 조건하에서, 외부 위험요소가 검출된 경우, 컨트롤 모듈은, 알림음을 스피커 모듈로 전달하여 착용자의 상태를 외부로 전파하고, 복수의 LED 모듈을 주기적으로 점멸할 수 있다. In addition, the hearing aid comprising a vibration motor according to the present embodiment, as in the foregoing embodiment is attached to the outer side of the plurality of LED modules, and the curved frame for emitting light by a signal attached to the control module on the outer side of the curved frame is to due to the control of the control module further comprises a speaker module for transmitting a predetermined sound to the outside, and the body temperature is out of the normal body temperature or higher second temperature higher than the first temperature or pulse is first higher than levels in the normal pulse under conditions outside the above two figures, when the external threat is detected, the control module, an alarm sound may be transmitted to the speaker module to spread the wearer's state to the outside, and periodically flashing the plurality of LED modules.

이하, 도 11 내지 도 13을 참조하여, 본 발명의 일 실시예에 따른 위험요소 감지 기능을 가지는 양귀 삽입형 보청기의 위험 요소 감지 기능에 따른 제어 방식에 대해 설명한다. With reference to Figure 11 - Figure 13, the description will be made as to the control method according to the risk detection of yanggwi implantable hearing aid having a risk factor detection function according to an embodiment of the present invention. 도 11은 도 3의 보청기의 생체 데이터와 이에 따른 알림음의 패턴 주기 및 크기 변화를 나타내는 예시적인 도면이고, 도 12는 도 3의 보청기의 작동원리를 순차적으로 나타내는 순서도이고, 도 13은 도 3의 보청기의 외부 위험 요소를 결정하는 원리를 순차적으로 나타내는 순서도이다. 11 is an explanatory drawing, and Figure 12 is a flow chart sequentially showing the operation principle of the hearing aid of Figure 3 showing the pattern period and the change in size of the biometric data and its ring tone according to the hearing aid of Figure 3, 13 is a third of the hearing aid is a flow chart sequentially showing the principle of determining the external hazards.

도 11을 참조하면, 생체 데이터에 따른 알림음의 변화에 대해 도시된다. 11, is shown for a change in the notification sound according to the biometric data. 앞서 설명한 바와 같이, 생체 데이터는 맥박 및 체온을 포함할 수 있으며, 컨트롤 모듈(160)은 시야 미확보 영역의 외부 위험 요소(300)를 검출한 경우, 생체 데이터를 고려하여, 알림음의 크기 및 반복빈도를 자동으로 다르게 결정할 수 있다. As described above, the biometric data may include a pulse rate and body temperature, and the control module 160 when detecting the external hazards (300) of the field of view mihwakbo area, taking into account the biometric data, ring tone, the size and repetition of the the frequency can be automatically determined differently.

예를 들어, 착용자의 체온이 정상체온에서 제1 온도 이상 벗어나거나 맥박이 정상맥박에서 제1 수치 이상 벗어나는 조건하에서, 외부 위험 요소(300)가 검출된 경우, 컨트롤 모듈(160)은, 알림음의 크기 및 반복빈도를 소정 범위 이상으로 증가시킬 수 있다. For example, if the wearer's body temperature, the outside more than the first temperature from normal body temperature or heart rate is under the first value or more out conditions from the top pulse, an external hazards (300) is detected, the control module 160, alarm sound the size and repetition frequency can be increased in a predetermined range or more.

도 11을 참조하면, 상단의 그래프에서는 착용자로부터 측정한 시간에 대한 맥박 그래프(G1) 및 체온 그래프(G2)가 도시된다. 11, the graph at the top of the heart rate graph (G1) and the body temperature graph (G2) on the time counted from the wearer is shown. 또한, 하단의 그래프에서는 외부 위험 요소가 감지된 상태에서 발생하는 알림음의 빈도 및 크기 그래프(G3, G4)가 도시된다. In the graph at the bottom of the ring tone, the frequency and size of the graph (G3, G4) of which occurs in the external hazards are detected state is shown. 즉, 도시된 그래프의 전 구간에서 외부 위험 요소(300)가 검출되어 착용자에게로 알림음이 전달되는 경우를 상정하여 설명한다. That is, the external hazards (300) is detected in all sections of the graph shown will be described assuming a case where a notification sound is transmitted to the wearer.

본 착용자의 경우, A 구간과 E 구간은 맥박과 체온이 정상적으로 유지되며, 이로 인해 하단의 그래프에서와 같이, 해당 A 구간과 E 구간에서는 알림음의 빈도 및 크기가 일정하게 유지된다. For the wearer, A E interval and the interval is kept the body temperature, pulse and properly, thereby, as shown in the bottom graph, in the A section and the E section is kept the ring tone of a certain frequency and size. 즉, 착용자의 상태가 정상인 경우로 판단하여 통상적인 패턴에 따라 알림음이 발생된다. That is, the notification sound according to the conventional pattern generation in the wearer as a normal condition is determined if.

B 구간과 D 구간은 맥박과 체온이 일시적으로 상승한 구간이며, 이로 인해 하단의 그래프에서와 같이, 해당 B 구간과 D 구간에서는 알림음의 빈도 및 크기가 증가할 수 있다. Section B and section D is the pulse interval and the body temperature is temporarily increased, thereby, as shown in the bottom graph, can be in the region B and region D is ring tone frequency and magnitude of the increase. 즉, 착용자의 상태가 초기 이상 상태인 경우로 판단하고, 초기 이상 상태의 경우 위험 발생을 알리는 알림음을 인식하지 못할 가능성이 정상 상태에 비해 높기 때문에, 알림음의 인식률을 향상시키기 위해 알림음의 빈도 및 크기를 제어하여 착용자의 선택과 무관하게 컨트롤 모듈(160)이 이를 제어할 수 있다. In other words, the judgment as if the wearer's status is the initial abnormality and, in the case of the initial abnormality is likely to be unaware of the alert tone indicating the risks higher than in a normal state, the notification in order to improve the recognition of the alert tone sound controlling the frequency and size and can control module 160 regardless of the selection of the wearer is able to control them.

C 구간의 경우, 맥박과 체온이 크게 상승한 구간이며, 이로 인해 하단의 그래프에서와 같이, 해당 C 구간에서는 알림음의 빈도 및 크기가 최대로 증가할 수 있다. For the C interval, the interval heart rate and body temperature significantly increased, resulting in as shown in the bottom graph, it can be in the interval C, a notification sound frequency and magnitude of the increase in the maximum. 즉, 착용자의 상태가 이상 상태인 것으로 간주하고, 위험 발생을 알리는 알림음을 인식할 수 있도록 알림음의 크기 및 빈도를 최대로 증가시킬 수 있다. In other words, the status of the wearer can be regarded as an abnormal state, and to increase the size and frequency of the notification sound to recognize the alert tone indicating the risks to the maximum.

몇몇 다른 실시예에서, C 구간의 경우에는 위와 같은 알림음 제어와 동시에 또는 별도로 LED 모듈(170) 및 스피커 모듈(180)의 제어가 수행될 수 있다. In some other embodiments, in the case of the C period, is the control of the above control and alarm sound at the same time or separately from the LED module 170 and the speaker module 180 can be performed. 즉, 체온이 정상체온에서 앞서 언급한 제1 온도보다 높은 제2 온도 이상 벗어나거나 맥박이 정상맥박에서 앞서 언급한 제1 수치보다 높은 제2 수치 이상 벗어나는 조건하에서, 외부 위험요소(300)가 검출된 경우, 컨트롤 모듈(160)은, 알림음을 스피커 모듈(180)로 전달하여 착용자의 상태를 외부로 전파하고, 복수의 LED 모듈(170)을 주기적으로 점멸할 수 있다. That is, under the conditions temperature is out of a first or higher second temperature higher than the first temperature mentioned earlier in a normal body temperature or pulse rate is outside at least a second value higher than the first value mentioned above from the top pulse, and external hazards (300) is detected, , the control module 160 when a is, the ring tone can be propagated to the wearer by passing the state of the speaker module 180 to the outside, and periodically flashing the plurality of LED modules 170.

즉, C 구간의 경우, 착용자에게 알림음을 최대로 전달하는 것뿐만 아니라, 착용자의 상태 여하에 따라서 외부 위험 요소(300)를 인식한 경우에도 의식 불명 등의 이유로 인해 대응하지 못하는 경우가 발생할 수 있다. That is, it may cause, if not respond because in the case of a C section, such as unconsciousness, even if not only to deliver the sound to the wearer notification up to recognize the external hazards (300) according to the wearer's status any reason, have.

따라서, 이러한 경우를 대비하여, 미리 C 구간의 맥박 및 온도 수치를 설정해 둔 상태에서, 해당 범위를 상향 초과 또는 하향 이탈하는 경우에 착용자가 외부의 도움을 받을 수 있도록, LED 모듈(170) 및 스피커 모듈(180)을 통해 위험 상태를 외부로 전파할 수 있다. Thus, in preparation for such a case, if the deviation in advance and have set the pulse rate and temperature values ​​of the C interval state, the up-out or down the range so that the wearer can get outside help of, LED module 170 and a speaker through the module 180 can propagate the risk to the outside.

몇몇 다른 실시예에서, C 구간의 경우, 외부로 착용자의 위험 상태를 전파하는 구성만 수행되고, 위험 인식이 어려운 상태의 착용자에게는 알림음을 전송하지 않도록 제어될 수도 있다. In some other embodiments, in the case of a C section, to perform only the external configuration of the radio wave state of the risk of the wearer and may be controlled so as not to send the notifications to the wearer's difficult risk awareness state sound.

또한, 몇몇 다른 실시예에서, 보청기(100)는 가속도 센서 및/또는 기울기 센서(미도시)를 구비할 수 있으며, 가속도 또는 기울기로 인해 착용자의 주시 방향을 검출할 수 있다. Furthermore, in some other embodiments, the hearing aid 100 may be provided with an acceleration sensor and / or tilt sensor (not shown), due to the acceleration or inclination can be detected by the wearer's eye direction. 컨트롤 서버(160)에서 외부위험요소를 감지한 경우에, 이에 대응하여 즉각적으로 예를 들어 0.1초의 소정 시간 간격 내에 착용자가 외부위험요소가 존재하는 방향으로 주시 방향을 전환한 경우에는, 착용자의 생체 데이터를 고려하여 초기 이상 상태 또는 위험 상태라고 하더라도, 이미 착용자가 위험을 감지한 것으로 판단하고, 알림음의 크기 및 반복주기를 변경시키지 않거나, 알림음을 재생하지 않도록 설정될 수도 있다. In the control server 160 if it detects the external hazards, and thus if the response to switch the direction considered in the direction in which the wearer is an external hazards present in the immediate example, 0.1 second predetermined time interval, the wearer of a living body in consideration of the data, even if that initial abnormal state or a critical state, and may already be set to the wearer is determined that the detection risk, and does not change the alarm sound and the size of the repetition period, to play the ring tone. 다만, 이러한 경우에도 착용자가 정상적인 상태가 아니므로, LED 모듈(170) 및 스피커 모듈(180)을 통해 위험 상태를 외부로 전파하는 구성은 수행될 수 있다. However, in such a wearer it is not a normal state, even if, LED module 170, and configured to spread the risk through the speaker module 180 to the outside can be performed.

도 12를 참조하면, 본 실시예에 따른 생체 데이터를 분석한 결과에 대응하여 보청기(100)를 제어하는 동작 순서가 도시된다. 12, the operation sequence for controlling a hearing aid (100) in response to a result of analyzing the bio-metric data according to this embodiment is shown.

먼저, 카메라 모듈(130, 140)로부터 영상 데이터를 수집하고(S110), 생체 데이터 수집 모듈(150)을 통해 생체 데이터를 수집한다(S120). First, the acquisition of image data from the camera module (130, 140) and collects the biometric data through the (S110), the biometric data acquisition module (150) (S120). 수집된 각 데이터는 앞서 설명한 바와 같이, 컨트롤 모듈(160)로 전송되며, 컨트롤 모듈(160)에서 해당 데이터를 분석하게 된다. Each data is collected, and sent to the control module 160, the analysis of the data from the control module 160 as described above.

컨트롤 모듈(160)에서 영상 데이터를 분석하여 착용자의 좌우측 또는 후방의 영상 데이터에서 외부 위험 요소가 존재하는지 판단하고(S130), 외부 위험 요소가 존재하는 것으로 판단될 경우 보청기 모듈(110)로 알림음을 발생시킨다(S140). If it is determined that the image data from the control module 160 analyzes for determining that the external hazards present in the wearer's left and right or the image data of the back of and the (S130), the external hazards exist sound notification to the hearing aid module 110 It generates (S140). 외부 위험 요소가 존재하지 않는 경우 다시 영상 데이터 수집 단계로 전환되어 영상 데이터 수집을 지속한다. If the external risks do not exist is again switched to the image data acquisition step continues the image data acquisition.

이와 별도로 컨트롤 모듈(160)에서 생체 데이터를 분석하여 착용자의 신체 상태를 확인할 수 있다. In this separately analyze the biometric data from the control module 160 can determine the physical condition of the wearer. 생체 데이터 분석 결과 맥박 및/또는 체온이 소정의 제1 범위 예를 들어 맥박이 분당 100회, 체온이 38℃를 초과하거나, 맥박이 분당 40회, 체온이 35℃를 하회하는 경우에는, 착용자의 상태를 이상 상태로 판단하여, 보청기 모듈(110)의 알림음의 크기 및 반복 빈도를 증가시킨다(S160). In the case where the biometric data analysis heart rate and / or temperature this example, pulse 100 times per minute to a first predetermined range such as the body temperature exceeds 38 ℃, or pulse rate per minute 40 times, the body temperature falls below 35 ℃, the wearer's determine the state as an abnormal state and thereby increasing the size and repetition frequency of the alarm sound of the hearing aid module (110) (S160). 생체 데이터 분석 시점에서 외부 위험 요소가 존재하지 않는 경우에는, 알림음의 설정값을 변경하여 알림음이 발생하는 시점의 설정값에 의해 변경된 음의 크기 및 반복 빈도를 가질 수도 있다. If the external risk factors in vivo data analysis time point does not exist, or may have a size and repetition frequency of the sound made by the setting of the time of the alarm sound generated by changing the set value of the alarm sound. 즉, 미리 변경된 알림음의 크기 및 반복 빈도가 바로 적용될 수 있다. In other words, a size and repetition frequency of the pre-modified alarm sound can be applied directly.

또한, 생체 데이터 분석 결과 맥박 및/또는 체온이 소정의 제1 범위보다 큰 제2 범위 예를 들어 맥박이 분당 120회, 체온이 40℃를 초과하거나, 맥박이 분당 20회, 체온이 33℃를 하회하는 경우에는, 착용자의 상태를 긴급 비상 상태로 판단하여, LED 모듈(170) 및 스피커 모듈(180)을 통해 외부로 착용자의 위험을 전파할 수 있다(S180). In addition, the biometric data analysis heart rate and / or temperature this example, pulse per minute 120 times for a second range for example, than a predetermined first range, the body temperature exceeds 40 ℃, or pulse rate per minute 20 times, the body temperature is 33 ℃ if below, there to the outside determines the status of the wearer in an emergency an emergency state, through the LED module 170 and the speaker module 180 can spread the risk of the wearer (S180).

도 13을 참조하면, 외부 위험 요소(300)를 결정하는 원리가 순차적으로 도시된다. 13, the principle of determining the external risk factors 300 is shown in sequence.

먼저, 카메라 모듈(130, 140)로부터 제1 및 제2 외부영상을 획득한다(S210). First, to obtain a first and a second external image from the camera module (130, 140) (S210). 예를 들어 제1 외부영상은 착용자의 좌우측 방향의 영상일 수 있으며, 제2 외부영상은 착용자의 후방의 영상일 수 있다. For example, the first external image may be a wearer of an image of the left and right direction, and a second external image may be an image of the wearer's rear.

이어서, 위와 같은 외부영상을 인코딩하여 디지털 미디어 파일 형태의 영상 데이터를 생성한다(S220). Then, by encoding the image outside the above generates an image data of a digital media file format (S220). 이를 위해 공지의 영상 인코더가 사용될 수 있으며, 공지의 다양한 이미지 또는 동영상 파일 포맷이 사용될 수도 있다. The video encoder of known can be used for this purpose, and may be used in a variety of image or video file format known in the art.

생성된 영상 데이터를 분석하여 특정 조건에 부합되는 객체를 추출한다. Analyzing the generated image data to extract the objects that match a condition. 앞서 설명한 바와 같이, 적응적 가우시안 혼합 모델 등 공지의 알고리즘을 사용하여 특정 객체를 추출한다(S230). It is as described above, using an adaptive Gaussian mixture models, known algorithms to extract a specific object (S230).

추출된 객체가 소정 크기 이상인지 판단하고, 소정 크기 이상인 경우, 특정 객체가 착용자 측으로 접근하는지 판단한다(S240). When the extracted object is determined less than or greater than a predetermined size, and a predetermined size, it is determined that the specific object toward the wearer access (S240). 판단 결과, 특정 객체가 착용자 측으로 접근하는 경우, 특정 객체의 접근 속도를 추출한다(S250). Determined that, when a specific object approaching toward the wearer, and extracts the access speed of the specific object (S250). 접근속도 추출 결과(S260), 소정 범위 예를 들어 시속 30㎞ 이상인 경우 해당 객체를 외부 위험 요소(300)로 결정할 수 있다(S270). Access speed extraction result (S260), if more than a specified range, for example, per hour 30㎞ can be determined on the object to an external hazards (300) (S270).

이와 같이, 본 실시예에 따르면, 보청기(100)의 외부에 카메라 모듈(130, 140)을 설치하고, 카메라 모듈(130, 140)을 통해 착용자의 좌우측방 및 후방의 외부 위험 요소(300)를 사전에 인지하고 이에 대한 정보를 난청인에게 제공하여 난청인이 사전에 대응할 수 있으며, 이로 인해 발생할 수 있는 인명 피해를 예방할 수 있다. In this way, the camera module (130, 140) for installation, and a camera module (130, 140) the wearer's left and right room and the outside the risk of a rear element 300 through the outside of the according to the present embodiment, the hearing aid 100 be aware in advance and to respond to the offer prior to hearing the information to the hard of hearing about it, and this can prevent the loss of life that may be caused.

또한, 외부 위험 요소(300)를 실시간으로 감지하되 생체데이터를 분석하여 도출된 내부 위험 요소를 함께 고려하여, 난청인의 호흡, 체온 내지 맥박 등이 불안정한 상태인 경우, 위험을 알리는 알림음을 인지하지 못할 가능성이 높기 때문에 이를 고려하여 알림음의 패턴 주기 및 크기를 증폭시켜서 난청인에게 적절한 자극을 전달할 수 있다. In the case where, but detects the external hazards (300) in real time, in consideration with the internal risks derived by analyzing the living body data, such as the hearing loss of breathing, and body temperature to the pulse in an unstable state, if the alarm sound indicating the risk because of the high potential by not considering it amplifies the periodic pattern and the size of the alert tone can deliver the appropriate stimulus to the hard of hearing.

또한, 생체데이터를 분석하여 얻은 착용자의 내부 위험 요소를 고려하여, 위험 상황이 발견되면 외부 스피커 및/또는 LED 모듈을 작동시켜 외부의 타인에게 위험상황을 전파함으로써 착용자에 대한 신속한 조치가 이루어지도록 할 수 있다. Further, in consideration of the internal risk of the wearer is obtained by analysis of the biometric data, if the danger situation is found, the external speaker, and / or by operating the LED module, the quick action of the wearer by spreading the risk situation to the external person to to occur can.

이하, 도 14 및 도 15를 참조하여, 본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템에 대해 설명한다. 14 or less, and 15, the description will be made as to the risk detection system using a hearing aid in accordance with one embodiment of the present invention. 도 14는 본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템을 개략적으로 나타내는 블록도이고, 도 15는 도 14의 시스템의 작동원리를 순차적으로 나타내는 순서도이다. Figure 14 is a block diagram schematically showing the risk detection system using a hearing aid in accordance with one embodiment of the present invention, Figure 15 is a flow chart sequentially showing the operation principle of the system of Fig.

본 발명의 일 실시예에 따른 보청기를 이용한 위험요소 감지 시스템은, 통신 모듈(190)을 포함하여 외부와 무선으로 통신 가능한 보청기 장치(100), 보청기 장치(100)와 무선으로 통신하여 소정의 데이터를 송수신하는 중개 서버(500), 및 중개 서버(500)와 연결된 복수의 분산 안내 서버(600)를 포함하되, 보청기 장치(100)는 외부 영상을 획득하는 카메라 모듈(130, 140)을 포함하고, 보청기 장치(100)는 카메라 모듈(130, 140)로부터 획득한 영상 데이터를 중개 서버(500)로 전송하고, 중개 서버(500)는 영상 데이터를 복수의 분산 안내 서버(600) 중 하나로 전달하고, 복수의 분산 안내 서버(600) 중 하나는 영상 데이터를 분석하여 보청기 장치(100)를 착용하는 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하여, 외부 위험 요소가 검출되면 보청기 장치(100)로 제1 경고음 One risks using a hearing aid according to an embodiment of the present invention, detection system, a communication module 190, predetermined data to communicate with the outside and capable of communicating hearing aid device 100, the hearing aid device 100 and the wireless over the air including comprising: a relay server 500, and a relay server 500 and the plurality of distributed guidance server (600) connected for transmitting and receiving, hearing aid device 100 includes a camera module (130, 140) for obtaining external image , hearing aid device 100 and passing one of the camera module, sent to the image data to relay server (500) obtained from 130 and 140, and relay server 500 has a plurality of distributed guiding the image data server 600 , in one detects the wearer's external hazards of sight mihwakbo region by analyzing the image data to wear a hearing aid device 100, when the external threat is detected hearing aid device 100 of the plurality of distributed guidance server 600 the first beep 전송한다. It transmits.

본 실시예에 따른 보청기 장치(100)는 앞서 설명한 실시예에 따른 보청기와 동일하되, 원격모드와 로컬모드 중 하나를 선택적으로 수행할 수 있다는 점이 상이하다. Hearing aid apparatus 100 according to this embodiment is different from that point, but identical to the hearing aid according to the embodiment described above, it is possible to selectively perform one of the remote mode and the local mode. 즉, 보청기 장치(100)는, 영상 데이터를 수신하는 컨트롤 모듈(160)을 더 포함하는데, 착용자가 스위치 버튼(미도시) 등을 이용하여 보청기 장치(100)의 모드를 로컬모드로 설정하는 경우, 앞서 설명한 실시예 따른 보청기와 동일하게 동작할 수 있다. That is, the hearing aid device 100, further comprising an image data control unit 160 for receiving, when a wearer sets a mode of the switch button (not shown), hearing aid device 100 by using a local mode It can be the same behavior as in example hearing aid in accordance with previously described. 즉, 컨트롤 모듈(160)이 영상 데이터를 직접 분석하여 착용자의 보행시에 시야 미확보 영역의 외부 위험 요소를 검출하고, 외부 위험 요소가 검출되면 보청기 장치의 보청기 모듈(110)로 제1 경고음을 전송할 수 있다. That is, the control module 160 directly analyzes the video data when detecting the external hazards of view mihwakbo area when the wearer of the walking and the external threat is detected to transmit a first warning to a hearing aid module (110) of the hearing aid device, can. 이 때, 컨트롤 모듈(160)은 영상 데이터가 중개 서버(500)로 전송되지 않도록 접속을 차단할 수도 있다. At this time, the control module 160 can also block the access image data from being sent to the mediation server (500).

반면, 원격모드로 선택될 경우, 보청기 장치(100)에서 위험 요소 검출 및 모니터링이 수행되지 않으며, 외부의 분산 안내 서버(600)에 의해 해당 분석 과정이 수행될 수 있다. On the other hand, if the selection to a remote mode, not the risk factor is detected and monitored by the hearing aid device 100 is performed, it may be the analysis process performed by the distribution of external guide server 600.

구체적으로, 보청기 장치(100)는 중개서버(500)와 통신하며, 중개서버(500)는 복수의 분산 안내 서버(600)와 연결된 상태를 유지한다. Specifically, the hearing aid device 100 is in communication with the relay server 500, the relay server 500 remains connected to the plurality of distributed guide server 600. 보청기 장치(100)가 원격모드로 설정되어 중개서버(500)에 접속하면, 중개서버(500)는 복수의 분산 안내 서버(600) 중 하나를 선택하여 보청기 장치(100)와 연결시킬 수 있다. When the hearing aid device 100 is set to the remote mode, connected to the relay server 500, the relay server 500 is able to select one of the plurality of distributed guidance server 600 in connection with the hearing aid device 100. 이 때, 중개 서버(500)는, 복수의 분산 안내 서버(600)의 리소스 정보를 미리 수신할 수 있으며, 중개 서버(500)는 이와 같은 리소스 정보를 기초로 보청기 장치(100)와 연결될 분산 안내 서버(600)를 결정할 수 있다. At this time, the relay server 500 is able to receive resource information of the plurality of distributed guidance server 600 in advance, and relay server 500 has this on the basis of resource information of hearing aid devices distributed guide coupled to the 100 it is possible to determine the server 600.

분산 안내 서버(600)가 결정되면, 중개 서버(500)는 영상 데이터를 복수의 분산 안내 서버(600) 중 가용 리소스가 가장 많은 해당 분산 안내 서버(600)로 전달할 수 있다. When the dispersion guide server 600 is determined, the relay server 500 may deliver the video data to the distribution server instructions 600, the highest number of available resources of the plurality of distributed guide server 600.

몇몇 다른 실시예에서, 영상 데이터 또는 생체 데이터는 보청기 장치(100)로부터 중개 서버(500)를 거치지 않고, 상호 인증을 마친 보청기 장치(100)와 분산 안내 서버(600) 사이에서 직접 전송될 수 있다. In some other embodiments, the image data or in vivo data may be transmitted directly between the hearing aid device 100, relay server 500, without going through a, hearing aid device 100, completing the mutual authentication and distributed guidance server 600 from . 이러한 경우, 영상 데이터 또는 생체 데이터의 분석 결과에 따른 제어 시그널도 분산 안내 서버(600)로부터 보청기 장치(100)로 직접 전송될 수 있다. In this case, the control signal according to the result of the analysis of the video data or biometric data can also be transmitted directly to the hearing aid device 100 from the distribution server instructions 600.

본 실시예에 따른 중개 서버(500) 및 분산 안내 서버(600)는 일반적인 서버의 구성과 마찬가지로 클라이언트 즉, 보청기 장치(100)로부터 접속 요청 신호를 수신하고 소정의 인증 과정을 거쳐서 접속을 허용한 후 소정의 데이터를 송수신할 수 있다. After the relay server 500 and the distribution guidance server 600 according to this embodiment receives a connection request signal from the client, that is, hearing aid device 100, like a general server configured to allow access through a predetermined authentication process, It can transmit and receive predetermined data.

중개 서버(500)는 복수의 보청기 장치(100)와 연결될 수 있으며, 접속을 요청한 보청기 장치(100)를 적절한 분산 안내 서버(600)로 라우팅하는 기능을 수행한다. Intermediary server 500 may be connected with a plurality of hearing aid device 100, performs the function of routing the hearing aid device 100 requests a connection to the appropriate distributed guidance server 600. The

분산 안내 서버(600)는 복수로 구비되며, 중개 서버(500)에 과도한 부하가 걸리지 않도록 트래픽을 분산하는 기능을 수행할 수 있다. Distributed Information server 600 is provided in plurality, it may perform the function of distributing the traffic not to catch an excessive load on the relay server (500).

분산 안내 서버(600)는 로컬모드에서 수행하는 보청기 장치(100)의 기능을 수행하도록 구성될 수 있다. Distributed Information server 600 may be configured to perform the functions of the hearing aid device 100 is performing in the local mode. 즉, 보청기 장치(100)로부터 획득된 영상 데이터 및 생체 데이터를 중개 서버(500)를 거치거나 또는 직접 수신하고, 이를 분석하여 보청기 장치(100)를 착용하는 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하여, 외부 위험 요소가 검출되면 보청기 장치(100)로 제1 경고음에 해당하는 시그널을 전송하고, 보청기 장치(100)는 이와 같은 시그널을 수신하여 착용자에게 제1 경고음을 재생할 수 있다. That is, the hearing aid device through the intermediary server 500, the image data and the biometric data obtained from a 100 or directly received and analyzed by the wearer's field of view outside risks mihwakbo area wearing the hearing aid device 100, it detected, when an external threat is detected sends a signal corresponding to the first alarm to the hearing aid device 100, hearing aid device 100 may play the first alarm for the wearer to receive such a signal.

분산 안내 서버(600)는 보청기 장치(100)에 비해 고사양의 중앙 처리 장치 및 고용량의 메모리 등이 채용될 수 있으며, 로컬모드에 비해 영상 데이터 및 생체 데이터의 처리 속도 및 정밀도가 크게 향상될 수 있다. Distributed Information server 600 may be a high-end CPU and high-capacity of memory may be employed, the processing speed and the precision of the video data and the biometric data improves significantly compared to the local mode, compared to the hearing aid device 100 .

도시된 바와 같이, 보청기 장치(100)는, 착용자의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈(150)을 더 포함할 수 있으며, 보청기 장치(100)는 생체 데이터 측정 모듈(150)로부터 획득한 생체 데이터를 중개 서버(500)를 거쳐 전달받거나 또는 분산 안내 서버(600)에 직접 전송하고, 복수의 분산 안내 서버(600) 중 하나(610, 620, 630)는 생체 데이터를 분석하여 착용자의 내부 위험 요소를 모니터링하여 내부 위험 요소 검출시 보청기 장치(100)를 통해 제2 경고음을 전송할 수 있다. , Hearing aid device 100 is disposed in the kernel inside which is inserted in the wearer's ear canal, can further include a biometric data acquisition module 150 for acquiring the wearer's biometric data, the hearing aid device 100 as illustrated is one of the living body data measuring device 150, the biometric data, the relay server, or send via the 500 or distributed guidance server 600 directly transmitted, and a plurality of distributed guide server 600 to obtain from the (610, 620, 630) may send a second warning tone via the biometric data analysis internal hazards upon detection of hearing aid device 100 to monitor the wearer's internal risks to the. 즉, 외부 위험 요소뿐만 아니라, 착용자의 내부 위험 요소 즉 앞서 설명한 바와 같이 맥박, 호흡 내지 체온이 소정 범위를 벗어나는 경우, 이를 위험 요소로 감지하고 외부 위험 요소를 알리는 제1 경고음과 상이한 제2 경고음을 전송할 수 있다. That is, when external hazards, but also outside of this pulse, and respiration to temperature ranges given, such as that is described above, the internal risk of the wearer, detects it as a risk factor and a first alarm and a second, different alarm sound informing the external hazards It can be transferred.

이와 같은 생체 데이터는 맥박 및 체온을 포함할 수 있으며, 복수의 분산 안내 서버(600) 중 하나는 시야 미확보 영역의 외부 위험 요소 검출시에, 생체 데이터를 고려하여, 제1 경고음의 크기 및 반복빈도를 결정하되, 체온이 정상체온에서 제1 온도 이상 벗어나거나 맥박이 정상맥박에서 제1 수치 이상 벗어나는 조건하에서, 외부 위험 요소가 검출된 경우, 복수의 분산 안내 서버(600) 중 하나는, 제1 경고음의 크기 및 반복빈도를 소정 범위 이상으로 증가시킬 수 있다. The biometric data such as may include a pulse rate and body temperature, one of the plurality of distributed guidance server 600 in consideration of the biometric data in the event of external hazards detection of the field of view mihwakbo area, the size and repetition of the first warning sound frequency but it determines, under conditions in body temperature deviates more than a first temperature at normal body temperature or pulse rate is outside at least the first value from the top pulse, and when the external risk is detected, one of the plurality of distributed guide server 600, a first It can be increased to more than the size and repetition frequency of the warning sound certain range.

또한 도시된 바와 같이, 보청기 장치(100)는 외부로 빛을 발광하는 복수의 LED 모듈(170) 및 외부로 소정의 소리를 전달하는 스피커 모듈(180)을 더 포함할 수 있으며, 체온이 정상체온에서 상기 제1 온도보다 높은 제2 온도 이상 벗어나거나 맥박이 정상맥박에서 상기 제1 수치보다 높은 제2 수치 이상 벗어나는 조건하에서, 외부 위험 요소가 검출된 경우, 복수의 분산 안내 서버(600) 중 하나는, 제1 경고음을 스피커 모듈로 전송하여 착용자의 상태를 외부로 전파하고, 복수의 LED 모듈을 주기적으로 점멸할 수 있다. As also shown, the hearing aid device 100 may further include a speaker module (180) for transmitting a predetermined sound to the plurality of LED modules 170 and the outside for emitting light to the outside, the body temperature is normal body temperature in one in second temperature higher than outside, or the pulse normal pulse than the first temperature of the first under the condition value is outside the higher second value or more, when the external threat is detected, the plurality of distributed guidance server 600 It is, by transmitting a first alarm to the speaker module may propagate the status of the wearer to the outside, and periodically flashing the plurality of LED modules.

특히, 체온이 제2 온도를 벗어나거나 맥박이 제2 수치를 벗어나는 경우, 보청기 장치(100)의 착용자가 인식할 수 있도록 제1 경고음의 크기 및 반복빈도를 최대 범위로 증가시킬 수 있다. In particular, it is possible to increase the temperature and the size of the repetition frequency of the first alarm to the wearer aware of the case is out of the second temperature or heart rate exceeds the second value, hearing aid device 100 to the maximum extent.

앞선 실시예에서 설명한 바와 같이, 이와 같은 제1 경고음은 외부 위험 요소가 존재하는 시야 미확보 영역의 위치에 따라 서로 다른 패턴을 가질 수 있으며, 또한 제1 경고음은 외부 위험 요소가 감지된 측의 카메라 모듈 방향의 보청기 모듈(110)로 출력할 수 있다. As explained in the previous embodiment, this first warning sound such can have different patterns depending on the location of the field of view mihwakbo area where the external risk factors exist, and the first warning sound is at the side of the external threat is detected camera module It may be output to a hearing aid module (110) direction.

또한, 외부 위험 요소는, 카메라 모듈 및 보조 카메라 모듈(130, 140)로부터 획득한 제1 외부영상 및 제2 외부영상의 인식된 객체 중에서 소정 크기 이상이고 소정 속도 이상으로 착용자 측으로 접근하는 객체로 결정될 수 있으며, 이 과정에서 복수의 분산 안내 서버(600)는 적응적 가우시안 혼합 모델(Adaptive Gaussian Mixture Model)을 기초로 상기 외부 위험 요소를 검출할 수 있다. The external risk factors, a camera module and a second camera module (130, 140) a claim to or greater than a predetermined size from the first external video image and an object recognition of the second external image obtained from a determined in the object approaching the side of the wearer in more than a predetermined speed number, and a plurality of distributed guidance server 600. in this process, it is possible to detect the external threats on the basis of the adaptive Gaussian mixture model (adaptive Gaussian mixture model).

이하, 도 15를 참조하여, 보청기 장치(100), 중개서버(500)와 분산 안내 서버(600)의 구성에 대해 설명한다. With reference to Figure 15, the description will be made as to the configuration of the hearing aid device 100, the relay server 500 and the distribution server instructions 600.

중개서버(500)는 복수의 분산 안내 서버(600)와 연결되어 있으며, 복수의 분산 안내 서버(600)로부터 각 서버에 대한 리소스 정보를 수집한다(S302). Intermediary server 500 is connected with a plurality of distributed guide server 600, it collects the resource information for each server from a plurality of dispersion guide server 600 (S302). 중개서버(500)는 이와 같은 리소스 정보를 주기적으로 수집할 수 있으며, 잔존하는 리소스 예를 들어 중앙 처리 장치의 점유율 또는 메모리 사용량 등을 고려하여 차회 접속 시도하는 보청기 장치(100)의 분배를 결정할 수 있다. Intermediary server 500 this can be periodically collected by the resource information, the resource Example remaining instance possible to determine the distribution taking into account the share or the memory usage of the central processing unit the next connection attempt hearing aid device 100 to have.

보청기 장치(100)는 카메라 모듈 및 생체 데이터 측정 모듈을 통해 영상 데이터 및 생체 데이터를 획득한다(S304). Hearing aid device 100 acquires the image data and the biometric data from the camera module and the living body data measuring device (S304). 이어서, 중개서버(500)로 분산 안내 서버 접속을 요청한다(S306). Then, the requested distributed guidance server connected to the relay server (500) (S306). 요청을 받은 중개서버(500)는 소정의 인증 과정을 수행할 수 있으며, 인증 과정 수행 후에는 가용 리소스를 고려하여 보청기 장치(100)에 할당할 분산 안내 서버를 결정한다(S308). Intermediary server 500 receiving the request may perform a predetermined authentication process, after performing the authentication process determines the distribution guidance server to assign to the hearing aid device 100 in consideration of the available resources (S308). 결정된 분산 안내 서버에 대한 정보를 보청기 장치(100)로 전송한다(S310). It transmits information about the determined variance guidance server to the hearing aid device (100) (S310).

이어서, 보청기 장치(100)는 분산 안내 서버(600)로 접속을 시도할 수 있다(S312). Subsequently, the hearing aid device 100 may attempt to connect to the distributed guidance server (600) (S312). 분산 안내 서버(600)는 소정의 인증 과정을 수행할 수 있으며(S314), 인증을 마친 보청기 장치(100)는 획득한 영상 데이터 및 생체 데이터를 분산 안내 서버(600)로 전송할 수 있다(S316). Can be transferred to the dispersion guide server 600 can perform a predetermined authentication process, and (S314), hearing aid device 100, completing the authentication is distributed to the acquired image data and the biometric data, the guidance server 600 (S316) .

데이터를 수신한 분산 안내 서버(600)는 앞서 설명한 바와 같이, 영상 데이터 및 생체 데이터를 분석하고, 외부 위험 요소를 검출한다(S318, S320). The dispersion guide server 600 having received the data will analyze the image data and the biometric data, as described above, and detecting the external hazards (S318, S320). 외부 위험 요소가 검출될 경우, 보청기 장치(100)로 제1 경고음을 전송한다(S322). If an external hazards detection, transmits the first alarm to the hearing aid device (100) (S322). 생체 데이터를 분석한 결과 내부 위험 요소가 검출될 경우(S324), 제2 경고음을 전송한다(S326). If the result of the internal risks of analyzing the biometric data detected (S324), and transmits a second alarm sound (S326).

이어서, 외부 위험 요소가 존재할 경우, 내부 위험 요소의 범위에 따라 제1 경고음의 크기 및 반복빈도를 증가시킬 수 있다(S328). Then, if there is an external risk factors, it is possible to increase the size and repetition frequency of the first alarm, depending on the extent of internal threats (S328). 또한, 내부 위험 요소의 범위에 따라 스피커 모듈 및 LED 모듈 구동을 위한 전기적인 시그널을 보청기 장치(100)로 전송할 수 있다(S330). Further, depending on the extent of internal threats may send an electrical signal to the speaker module and the LED drive module to the hearing aid device (100) (S330).

내부 위험 요소만 존재하고 외부 위험 요소가 존재하지 않을 경우, 즉 생체 데이터를 분석한 결과 맥박 또는 온도가 소정 범위를 벗어나는 경우에도 마찬가지로 외부인의 시선을 환기시킬 수 있도록 스피커 모듈 및 LED 모듈 구동을 위한 전기적인 시그널을 보청기 장치(100)로 전송할 수도 있다. There is only the internal hazards and when the external risks do not exist, that is, electricity is the result pulse or temperature of analyzing the biometric data for the speaker module and the LED module driven so Similarly, if is outside the predetermined range can be ventilated the eye of the outsider of the signal may be transmitted to the hearing aid device 100.

이와 같이, 본 실시예에 따르면, 보청기 장치(100)는 중개 서버(500) 및 분산안내서버(600)와 소정의 데이터를 송수신하며, 분산안내서버(600)의 제어에 의해서 보청기 장치(100)의 각 구성이 제어될 수 있으며, 착용자의 위험 인지도를 크게 향상시킬 수 있으며, 외부로 착용자의 위험을 전파하여 타인의 조력에 의해 위험 상황을 회피할 수도 있다. In this way, according to this embodiment, the hearing aid device 100 includes a hearing aid device 100 by the control of the relay server 500 and the distribution guide server 600 with and send and receive predetermined data, a dispersion guide server 600 of each can be configured to control, and can greatly improve the recognition of the risk of the wearer, to the outside spread the risk of wearer can be avoided the danger by other users of the aid.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. One of ordinary skill in the art will appreciate that the present invention without changing departing from the scope and spirit be embodied in other specific forms. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. Thus the embodiments described above are only to be understood as illustrative and non-restrictive in every respect. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. Scope of the invention are to be included within the range is represented by the claims below rather than the foregoing description, and all such modifications as derived from the meaning and range and equivalents concept of the claims of this invention It should be interpreted.

100: 보청기 장치 100: Hearing Aid Devices
110: 보청기 모듈 110.: Hearing aids module
120: 곡선형 프레임 120: curved frame
130: 카메라 모듈 130: camera module
140: 보조 카메라 모듈 140: second camera module
150: 생체 데이터 측정 모듈 150: living body data measuring device
160: 컨트롤 모듈 160: The control module
170: LED 모듈 170: LED module
180: 스피커 모듈 180: speaker module
190: 통신 모듈 190: Communication Modules

Claims (6)

  1. 넥밴드 타입의 양귀 삽입형 보청기로서, As yanggwi implantable hearing aid of the neckband type,
    외부에서 감지된 소리를 신호처리하여 음향으로 출력하는 한 쌍의 보청기 모듈; The signal processing to the sound detected by the outside of a pair of hearing aid module for outputting a sound;
    상기 한 쌍의 보청기 모듈을 연결하는 곡선형 프레임; Curved frame connecting the pair of hearing aid module;
    상기 한 쌍의 보청기 모듈의 외측면에 각각 배치되어 측방의 제1 외부영상을 획득하는 한 쌍의 카메라 모듈; A pair of camera modules for obtaining a first outer side of the image is disposed on the outer surface of the hearing aid module of the pair;
    상기 곡선형 프레임의 중앙부에 배치되어 후방의 제2 외부영상을 획득하는 보조 카메라 모듈; A second camera module is disposed in a central portion of the curved frame, obtain a second image of the external rear;
    상기 한 쌍의 보청기 모듈의 외이도에 삽입되는 커널의 내측에 배치되어 착용자의 생체 데이터를 획득하는 생체 데이터 측정 모듈; It is disposed on the inner side of the kernel to be inserted into the ear canal of the hearing aid module of the pair of biometric data measuring device for acquiring biometric data of the wearer;
    상기 한 쌍의 보청기 모듈에 구비되어 소정의 진동제어신호에 의해 진동패턴을 형성하는 진동모터; A vibration motor which is provided in the hearing aid module of the pair forms a vibration pattern according to a predetermined oscillation control signal; And
    상기 생체 데이터를 수신하여 상기 착용자의 생체 상태를 수집하는 컨트롤 모듈을 포함하되, Receiving the biometric data comprising: a control module for collecting living body condition of the wearer,
    상기 컨트롤 모듈은 주기적으로 상기 생체 데이터를 외부의 관리서버로 전송하고, The control module periodically and transmit the biometric data to the external management server,
    상기 컨트롤 모듈은 상기 제1 외부영상 및 상기 제2 외부영상을 수신하고 이를 분석하여 상기 착용자의 시야 미확보 영역의 외부 위험 요소를 검출하고, The control module and the first external image and receiving a second external image and analyzes it to detect the external hazards of the wearer's field of view mihwakbo area,
    상기 컨트롤 모듈은 상기 외부 위험 요소가 검출되면 상기 진동모터에 상기 진동제어신호를 전송하여 상기 진동패턴을 생성하고, When the control module outside the risk is detected, and by the vibration motor is transmitted to the vibration control signal generated by the vibration pattern,
    상기 생체 데이터는 맥박 및 체온을 포함하고, It said biometric data comprises a heart rate and body temperature,
    상기 컨트롤 모듈은 상기 시야 미확보 영역의 외부 위험 요소 검출시에, 상기 생체 데이터를 고려하여, 상기 진동패턴의 크기 및 반복빈도를 결정하되, The control module to the outside at the time of detection of a risk of the viewing mihwakbo sphere of the above biological data, but determines the size and repetition frequency of the vibration pattern,
    상기 체온이 정상체온에서 제1 온도 이상 벗어나거나 상기 맥박이 정상맥박에서 제1 수치 이상 벗어나는 조건하에서, 상기 외부 위험 요소가 검출된 경우, 상기 컨트롤 모듈은, 상기 진동패턴의 크기 및 반복빈도를 소정 범위 이상으로 증가시키는, 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기. The body temperature is out more than the first temperature from normal body temperature or the pulse under the first value or more out conditions from the top pulse, if the external threat is detected, the control module comprises a predetermined size and repetition frequency of the oscillation pattern increase over the range, the vibration pattern reminder yanggwi implantable hearing aids have a function.
  2. 삭제 delete
  3. 제1항에 있어서, According to claim 1,
    상기 곡선형 프레임의 외측에 부착되어 상기 컨트롤 모듈의 신호에 의해 발광하는 복수의 LED 모듈; A plurality of LED modules attached to the outer side of the curved frame emitted by the signal of the control module; And
    상기 곡선형 프레임의 외측에 부착되어 상기 컨트롤 모듈의 제어로 인해 외부로 소정의 소리를 전달하는 스피커 모듈을 더 포함하고, It is attached to the outer side of the curved frame, and further comprising: a speaker module that due to the control of the control module passes the predetermined sound to the outside,
    상기 체온이 정상체온에서 상기 제1 온도보다 높은 제2 온도 이상 벗어나거나 상기 맥박이 정상맥박에서 상기 제1 수치보다 높은 제2 수치 이상 벗어나는 조건하에서, 상기 외부 위험요소가 검출된 경우, 상기 컨트롤 모듈은, 알림음을 상기 스피커 모듈로 전달하여 상기 착용자의 상태를 외부로 전파하고, 상기 복수의 LED 모듈을 주기적으로 점멸하는, 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기. When the temperature of out of the normal body temperature or higher second temperature higher than the first temperature or the pulse under conditions outside more than the first higher second value than the value, which the external risk factors detected by the top pulse, the control module is a ring tone to the speaker and transmitted to the module, and the radio wave state of the wearer to the outside, yanggwi implantable hearing aid having, vibration pattern notification to periodically blink with the plurality of LED modules.
  4. 제1항에 있어서, According to claim 1,
    상기 진동패턴은 상기 외부 위험 요소가 감지된 측의 카메라 모듈 방향의 상기 보청기 모듈에 구비된 상기 진동모터에 의해 생성되는, 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기. The vibration pattern is yanggwi implantable hearing aid having, vibration pattern alerts generated by said vibration motor is provided on the hearing aid module of the external threat is detected direction side of the camera module.
  5. 제1항에 있어서, According to claim 1,
    상기 외부 위험 요소는, 상기 제1 외부영상 및 상기 제2 외부영상의 인식된 객체 중에서 소정 크기 이상이고 소정 속도 이상으로 상기 착용자 측으로 접근하는 상기 객체로 결정되는, 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기. The external risk factors, the first external image and the second or greater than a predetermined out of the object recognition of the external image size and yanggwi implantable hearing aid having, vibration pattern notification is determined to be equal to or greater than a predetermined speed in the object approaching toward the wearer .
  6. 제1항에 있어서, According to claim 1,
    상기 컨트롤 모듈은 적응적 가우시안 혼합 모델(Adaptive Gaussian Mixture Model)을 기초로 상기 외부 위험 요소를 검출하는, 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기. The control module is adaptive Gaussian mixture model (Adaptive Gaussian Mixture Model) to the base yanggwi implantable hearing aid having, vibration pattern notification to the detected external hazards.
KR1020120093447A 2012-08-27 2012-08-27 A two ear-piece insertable hearing aid having a vibration pattern alert function KR101250929B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120093447A KR101250929B1 (en) 2012-08-27 2012-08-27 A two ear-piece insertable hearing aid having a vibration pattern alert function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120093447A KR101250929B1 (en) 2012-08-27 2012-08-27 A two ear-piece insertable hearing aid having a vibration pattern alert function

Publications (1)

Publication Number Publication Date
KR101250929B1 true KR101250929B1 (en) 2013-04-09

Family

ID=48442384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120093447A KR101250929B1 (en) 2012-08-27 2012-08-27 A two ear-piece insertable hearing aid having a vibration pattern alert function

Country Status (1)

Country Link
KR (1) KR101250929B1 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
WO2018093111A1 (en) * 2016-11-15 2018-05-24 엘지전자 주식회사 Portable audio equipment
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
KR20190052994A (en) 2017-11-09 2019-05-17 건양대학교산학협력단 Tactile cognitive type sound direction guide device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090011763A (en) * 2007-07-27 2009-02-02 김봉석 System for measuring temperature of body
JP2009187355A (en) 2008-02-07 2009-08-20 Nec Corp Mobile body detection/warning device
JP2009247361A (en) 2008-04-01 2009-10-29 Panasonic Corp Living body detector and electronic device using the same
KR20110125557A (en) * 2010-05-13 2011-11-21 인하대학교 산학협력단 Hearing aid and operating method thereof, and hearing aid system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090011763A (en) * 2007-07-27 2009-02-02 김봉석 System for measuring temperature of body
JP2009187355A (en) 2008-02-07 2009-08-20 Nec Corp Mobile body detection/warning device
JP2009247361A (en) 2008-04-01 2009-10-29 Panasonic Corp Living body detector and electronic device using the same
KR20110125557A (en) * 2010-05-13 2011-11-21 인하대학교 산학협력단 Hearing aid and operating method thereof, and hearing aid system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
WO2018093111A1 (en) * 2016-11-15 2018-05-24 엘지전자 주식회사 Portable audio equipment
KR20190052994A (en) 2017-11-09 2019-05-17 건양대학교산학협력단 Tactile cognitive type sound direction guide device

Similar Documents

Publication Publication Date Title
US8098832B2 (en) Apparatus and method for detecting sound
US8788077B2 (en) Designer control devices
CN101828410B (en) Method and system for wireless hearing assistance
US20030099370A1 (en) Use of mouth position and mouth movement to filter noise from speech in a hearing aid
US20170013360A1 (en) Multifunctional earphone system for sports activities
US20080062291A1 (en) Image pickup apparatus and image pickup method
US9210517B2 (en) Hearing assistance device with brain computer interface
US20100254554A1 (en) Hearing aid, hearing-aid apparatus, hearing-aid method and integrated circuit thereof
US8934654B2 (en) Non-occluded personal audio and communication system
US10324294B2 (en) Display control device, display control method, and computer program
US7271827B2 (en) System and method for recording moving images
CN104427960A (en) Adaptive visual assistive device
JP2015510283A (en) Display of the sound state of the wearable computer system
CN106464995A (en) Stand-alone multifunctional headphones for sports activities
CN102165795A (en) Self-steering directional hearing aid and method of operation thereof
US20140169609A1 (en) Communication eyewear assembly with zone of safety capability
CN104509129A (en) Auto detection of headphone orientation
US20130343584A1 (en) Hearing assist device with external operational support
JP2004200975A (en) Imaging apparatus
US10085091B2 (en) Ambient volume modification through environmental microphone feedback loop system and method
KR101320209B1 (en) Self steering directional loud speakers and a method of operation thereof
EP3013070A2 (en) Hearing system
CN101843118B (en) Method and system for wireless hearing assistance
JP6094190B2 (en) The information processing apparatus and a recording medium
US10206042B2 (en) 3D sound field using bilateral earpieces system and method

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160308

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 5

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 6