KR20210109940A - Assistance system for the deaf using wearable device - Google Patents
Assistance system for the deaf using wearable device Download PDFInfo
- Publication number
- KR20210109940A KR20210109940A KR1020200025202A KR20200025202A KR20210109940A KR 20210109940 A KR20210109940 A KR 20210109940A KR 1020200025202 A KR1020200025202 A KR 1020200025202A KR 20200025202 A KR20200025202 A KR 20200025202A KR 20210109940 A KR20210109940 A KR 20210109940A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- user
- unit
- wearable device
- sound
- Prior art date
Links
- 206010011878 Deafness Diseases 0.000 title description 2
- 230000033001 locomotion Effects 0.000 claims abstract description 41
- 208000032041 Hearing impaired Diseases 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims description 39
- 230000006854 communication Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 17
- 230000008054 signal transmission Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000013519 translation Methods 0.000 description 6
- 239000000779 smoke Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 235000012907 honey Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
- A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L2021/065—Aids for the handicapped in understanding
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Otolaryngology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Emergency Management (AREA)
- Theoretical Computer Science (AREA)
- Neurology (AREA)
- Physiology (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Psychology (AREA)
- Animal Behavior & Ethology (AREA)
- Vascular Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Alarm Systems (AREA)
Abstract
Description
본 발명은 웨어러블 디바이스를 이용한 청각장애인 보조 시스템에 관한 것으로, 보다 상세하게는 사용자 주변의 소리를 감지하거나, 사물의 움직임을 감지하도록 형성되는 인식부가 사용자가 착용하는 웨어러블 디바이스와 연동하여 사용자에게 감지정보를 전달할 수 있으며, 사용자의 모바일 단말기를 이용하여 인식하고자 하는 정보를 설정하여 상황에 따라 필요한 정보를 선택적으로 감지하도록 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템에 관한 것이다.The present invention relates to an assistive system for the hearing impaired using a wearable device, and more particularly, a recognition unit formed to detect a sound around the user or to detect the movement of an object works in conjunction with a wearable device worn by the user to provide the user with sensing information. It relates to an assistive system for the hearing impaired using a wearable device that can transmit and selectively detect necessary information according to a situation by setting information to be recognized using a user's mobile terminal.
일반적으로, 청각장애인은 소리를 듣지 못하기 때문에 시각에 의지하여 주변의 정보를 인식하여 생활하기 때문에 상황을 제대로 인식하지 못하고 위험으로부터 대비하지 못하는 문제가 발생할 수 있다.In general, since hearing impaired people do not hear sounds, they live by recognizing information around them depending on their vision, so they may not properly recognize situations and may not be able to prepare for danger.
또한, 시각에 의해서만 정보를 판단하기 때문에 청각에 의해 판단해야 하는 상황에서는 눈으로 확인하더라도 상황을 제대로 인지하지 못할 수 있다. 특히, 화재가 발생하거나, 긴급상황이 발생하는 경우에는 소리로 알림을 실시하는 경우가 대부분이기 때문에 소리를 듣지 못하는 청각장애인의 주변에서 위험상황이 발생하는 경우에는 이를 즉시 인지하지 못하여 위험상황에 쉽게 노출될 수 있는 우려가 있다.In addition, since information is judged only by sight, in a situation in which judgment must be made by hearing, the situation may not be properly recognized even if the information is visually checked. In particular, in the case of a fire or an emergency, in most cases, a sound notification is provided. Therefore, when a dangerous situation occurs in the vicinity of a deaf person who cannot hear the sound, it is not immediately recognized, so it is easy to respond to a dangerous situation. There is a risk of exposure.
이러한 문제점을 해결하기 위한 예로써, 한국공개특허 제10-2017-0123798호 “청각장애인용 화재 경보밴드”는 화재경보기와 통신할 수 있는 무선 통신모듈; 연기를 감지할 수 있는 연기 감지 센서; 상기 무선 통신모듈이 신호를 받은 경우 또는 상기 연기 감지 센서에서 신호를 받은 경우 진동할 수 있는 진동 모듈; 상기 진동모듈이 동작할 때 점멸하여 시각적인 신호를 줄 수 있는 점멸램프;와 상기 무선 통신모듈과 연기 감지 센서와 진동모듈과 점멸램프를 포함하는 밴드부를 포함하는 경보밴드에 대해 개시되어 있다.As an example for solving this problem, Korean Patent Application Laid-Open No. 10-2017-0123798 “Fire alarm band for the hearing impaired” includes a wireless communication module capable of communicating with a fire alarm; a smoke detection sensor capable of detecting smoke; a vibration module capable of vibrating when the wireless communication module receives a signal or when a signal is received from the smoke detection sensor; Disclosed is an alarm band including a flashing lamp capable of giving a visual signal by flickering when the vibration module operates; and a band unit including the wireless communication module, a smoke detection sensor, a vibration module, and a flashing lamp.
그러나, 상기와 같은 종래의 청각장애인을 위한 보조장치는 화재 등의 긴급상황에 대한 알림을 실시하는 기술이 개시되어 있을 뿐, 사용자의 상황에 맞게 인식하여 사용자에게 알리도록 하는 다른 수단이 개시되어 있지 않다. However, the conventional auxiliary device for the hearing impaired as described above has only disclosed a technique for notifying an emergency situation such as a fire, and other means for recognizing and notifying the user according to the user's situation are not disclosed. not.
또한, 청각장애인을 위한 보조장치의 다른 예로써, 한국등록실용신안 제20-0231384호 “청각장애인용 방문자 감지 및 표시장치”에서는 방문자의 방문여부를 감지하는 센서부와, 상기 센서부로부터의 감지신호를 처리하는 신호처리부와, 상기 신호처리부로부터 출력되는 소정의 신호를 전송하기 위한 신호전 송부와, 상기 신호전송부로부터 소정의 신호가 있을 경우 청각장애인에게 방문자가 방문했다는 신호를 출력하는 신호표 시부를 포함하는 청각장애인용 감지장치에 대해 개시되어 있다.In addition, as another example of an auxiliary device for the hearing impaired, in Korean Utility Model No. 20-0231384 “Visitor Detecting and Displaying Device for the Hearing Impaired”, a sensor unit that detects whether a visitor has visited, and the detection from the sensor unit A signal processing unit for processing a signal, a signal transmission unit for transmitting a predetermined signal output from the signal processing unit, and a signal display unit for outputting a signal that a visitor has visited the hearing impaired when there is a predetermined signal from the signal transmission unit It is disclosed for a sensing device for the hearing impaired comprising a.
그러나, 제20-0231384호의 청각장애인용 감지장치도 방문자의 방문여부 등 한정된 정보만을 감지하는 수단만 개시되어 있을 뿐, 사용자 주변의 정보를 감지할 수 있는 또다른 수단도 구비되지 않았다.However, the detection device for the hearing impaired of No. 20-0231384 also discloses only a means for detecting limited information such as whether a visitor has visited, and no other means for detecting information around the user is provided.
따라서, 상기와 같은 문제점을 인식하고 개선하는 것이 시급하다.Therefore, it is urgent to recognize and improve the above problems.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 사용자 주변의 소리를 감지하거나, 사물의 움직임을 감지하도록 형성되는 인식부가 사용자의 웨어러블 디바이스와 연동하도록 하여 사용자 주변의 정보를 사용자에게 알려주도록 하여 사용자가 주변을 인식하도록 할 수 있으며, 사용자의 모바일 단말기를 이용하여 인식하고자 하는 정보를 설정하도록 하여 상황에 따라 필요한 정보를 선택적으로 감지하도록 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 제공하는 데 목적이 있다.The present invention is to solve the above problem, and the recognition unit formed to detect a sound around the user or to detect the movement of an object is interlocked with the user's wearable device to inform the user of information around the user. An object of the present invention is to provide an assistive system for the hearing impaired using a wearable device capable of recognizing the surroundings and allowing the user to set the information to be recognized using the user's mobile terminal to selectively detect necessary information according to the situation.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은, 사용자 주변의 소리 또는 움직임을 측정하는 인식부; 상기 인식부와 연동하여 감지하는 정보를 제어하도록 제어신호를 전송하는 모바일 단말기; 상기 모바일 단말기 또는 상기 인식부와 연동되어 약속된 신호체계에 따라서 사용자에게 알림을 실시하는 웨어러블 디바이스;를 포함할 수 있다. In accordance with an embodiment of the present invention for solving the above problems, there is provided an assistive system for the hearing impaired using a wearable device, comprising: a recognition unit for measuring a sound or movement around a user; a mobile terminal that transmits a control signal to control information to be sensed in conjunction with the recognition unit; and a wearable device interworking with the mobile terminal or the recognition unit to notify the user according to a promised signal system.
이때, 상기 인식부는, 사용자 주변의 소리를 감지할 수 있도록 구비되는 소리감지부; 설정되는 범위 내의 움직임을 감지하도록 구비되는 모션감지부; 중 하나 이상을 포함할 수 있다.In this case, the recognition unit may include: a sound sensing unit provided to detect a sound around the user; a motion detection unit provided to detect a motion within a set range; may include one or more of
또한, 상기 모션감지부는, 영상촬영이 가능한 카메라;를 포함하고, 상기 카메라는, 상기 모션감지부에 의해 움직임이 감지될 시 영상을 촬영하여 상기 알림장치로 영상정보를 전송할 수 있다.In addition, the motion detection unit may include a camera capable of capturing an image, and the camera may capture an image when a motion is detected by the motion detection unit and transmit image information to the notification device.
이때, 상기 모바일단말기는, 상기 소리감지부에서 감지되는 소리정보를 선별하기 위한 정보를 입력하여 설정하는 정보설정부; 상기 정보설정부에 의해 설정된 기준에 따라 소리정보를 식별하여 선별되는 소리를 인식하는 소리식별부; 및 상기 소리식별부에서 선별되는 정보에 해당되는 안내신호를 상기 웨어러블 디바이스에 전달하는 신호전달부;를 포함하고, 상기 정보설정부는, 사용자에게 필요한 소리정보 리스트를 위치 또는 상황에 따라 설정하는 것이 가능하며, 사용자의 위치정보에 따라 상기 소리정보 리스트 설정이 변경되도록 할 수 있다.In this case, the mobile terminal may include: an information setting unit configured to input and set information for selecting sound information detected by the sound sensing unit; a sound identification unit for recognizing a sound selected by identifying sound information according to a criterion set by the information setting unit; and a signal transmitting unit that transmits a guide signal corresponding to the information selected by the sound identification unit to the wearable device, wherein the information setting unit may set a list of sound information required for a user according to a location or situation and the sound information list setting can be changed according to the user's location information.
이때, 상기 웨어러블 디바이스는, 상기 인식부 또는 상기 모바일단말기와 통신하도록 구비되는 통신 모듈; 및 상기 통신 모듈로부터 수신되는 정보에 따라 사용자에게 신호를 전달하는 알림장치;를 포함하고, 상기 알림장치는, 상기 신호전달부로부터 전달되는 신호에 따라 진동하도록 구비되는 진동모듈; 상기 신호전달부로부터 전달되는 신호를 화면으로 표시하도록 구비되는 디스플레이; 상기 진동모듈 또는 상기 디스플레이의 신호를 제어하도록 형성되는 제어장치;를 포함할 수 있다.In this case, the wearable device may include: a communication module provided to communicate with the recognition unit or the mobile terminal; and a notification device for transmitting a signal to the user according to the information received from the communication module, wherein the notification device includes: a vibration module provided to vibrate according to a signal transmitted from the signal transmission unit; a display provided to display the signal transmitted from the signal transmission unit on a screen; and a control device configured to control a signal of the vibration module or the display.
또한, 상기 웨어러블 디바이스는, 상기 웨어러블 디바이스의 움직임을 감지하도록 구비되는 자이로센서;를 더 포함하고, 상기 자이로 센서는, 상기 웨어러블 디바이스의 움직임을 감지하여, 상기 진동모듈 및 상기 디스플레이를 제어하도록 신호를 전송할 수 있다.In addition, the wearable device further includes a gyro sensor provided to detect the movement of the wearable device, wherein the gyro sensor detects the movement of the wearable device, and sends a signal to control the vibration module and the display can be transmitted
또한, 상기 웨어러블 디바이스는, 화재, 재난, 또는 사고를 포함하는 긴급신호를 수집하는 비상신호 수집부;를 더 포함하고, 상기 비상신호수집부는, 사용자 위치 주변의 사건정보를 수집하여, 상기 알림장치를 이용하여 사용자에게 알리도록 할 수 있다.In addition, the wearable device further includes an emergency signal collection unit for collecting emergency signals including fire, disaster, or accident, and the emergency signal collection unit collects event information around the user's location, the notification device can be used to notify the user.
또한, 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은, 적외선열감지센서와 영상수집장치가 구비되는 제2웨어러블 디바이스를; 더 포함하고, 상기 제2웨어러블 디바이스는, 상기 영상수집장치에서 인식되는 사용자의 손동작과 상기 적외선열감지센서에 의해 열이 감지되는 지점을 매칭하여 사용자의 손동작을 인식할 수 있다.In addition, the system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention includes a second wearable device having an infrared heat sensor and an image collecting device; The second wearable device may recognize the user's hand gesture by matching the user's hand gesture recognized by the image collecting device with a point where heat is sensed by the infrared heat sensor.
이때, 상기 모바일 단말기는, 사용자의 손동작에 의한 수화를 인식하는 수화 인식부; 상기 수화 인식부에 의해 인식되는 동작을 텍스트 또는 소리로 변환하는 수화 번역부;를 더 포함하고, 상기 수화 인식부는, 수화를 인식하는 데 필요한 데이터를 기반으로 학습되는 머신러닝 기술을 통해 사용자의 수화를 인식하여, 상기 수화 번역부에 의해 텍스트 또는 소리로 변환하여 출력할 수 있다.In this case, the mobile terminal may include: a sign language recognition unit for recognizing sign language by a user's hand gesture; Further comprising a sign language translation unit for converting the motion recognized by the sign language recognition unit into text or sound, wherein the sign language recognition unit is a user's sign language through machine learning technology that is learned based on data required to recognize the sign language can be recognized, converted into text or sound by the sign language translation unit and output.
본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인용 보조 시스템은, 사용자 주변에서 발생하는 소리를 감지하거나, 사용자에게 접근하는 사람 또는 사물의 움직임을 감지하도록 형성되는 인식부가 사용자의 웨어러블 디바이스와 연동하여 사용자에게 감지정보를 알려줄 수 있다.In an assistive system for the hearing impaired using a wearable device according to an embodiment of the present invention, a recognition unit formed to detect a sound generated around a user or to detect a movement of a person or object approaching the user interlocks with the user's wearable device Thus, the detection information can be informed to the user.
특히, 사용자의 모바일 단말기를 이용하여 인식하고자 하는 정보의 설정이 가능하며, 사용자의 환경에 따라 설정이 변경되어 사용자에게 선택적으로 정보를 제공하는 효과가 있다.In particular, it is possible to set the information to be recognized by using the user's mobile terminal, and the setting is changed according to the user's environment, thereby selectively providing information to the user.
도 1은 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 나타내는 예시도이다.
도 2는 도 1의 시스템 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 웨어러블 디바이스가 인식부의 정보를 수신하는 기본구조를 나타내는 구성도이다.
도 4는 본 발명의 실시 예에 따른 웨어러블 디바이스의 사시도이다.
도 5는 본 발명의 실시 예에 따른 웨어러블 디바이스가 비상신호 수집부를 구성하는 모습을 보여주는 구성도이다.
도 6은 볼 발명의 실시 예에 따른 제2웨어러블 디바이스가 사용자의 수화를 인식하는 구성을 나타내는 블록도이다.1 is an exemplary diagram illustrating a system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the system configuration of FIG. 1 .
3 is a block diagram illustrating a basic structure in which a wearable device receives information from a recognition unit according to an embodiment of the present invention.
4 is a perspective view of a wearable device according to an embodiment of the present invention.
5 is a block diagram showing a state in which the wearable device according to an embodiment of the present invention constitutes an emergency signal collecting unit.
6 is a block diagram illustrating a configuration in which a second wearable device recognizes a user's sign language according to an embodiment of the present invention.
이하, 첨부한 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 도한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the description of the present invention with reference to the accompanying drawings is not limited to specific embodiments, and various modifications may be made and various embodiments may be provided. Also, it should be understood that the contents described below include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention.
이하의 설명에서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In the following description, terms such as 1st, 2nd, etc. are terms used to describe various components, meanings are not limited thereto, and are used only for the purpose of distinguishing one component from other components.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.Like reference numbers used throughout this specification refer to like elements.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular expression includes the plural expression unless the context clearly dictates otherwise. In addition, terms such as "comprises", "comprising" or "have" described below are intended to designate the existence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification. It should be construed as not precluding the possibility of addition or existence of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.
이하, 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 도 1 내지 도 5를 참조하여 상세하게 설명하기로 한다.Hereinafter, a system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 5 .
도 1은 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 나타내는 예시도이고, 도 2는 도 1의 시스템 구성을 나타내는 블록도이고, 도 3은 본 발명의 실시 예에 따른 웨어러블 디바이스가 인식부의 정보를 수신하는 기본구조를 나타내는 구성도이고, 도 4는 본 발명의 실시 예에 따른 웨어러블 디바이스의 사시도이고, 도 5는 본 발명의 실시 예에 따른 웨어러블 디바이스가 비상신호 수집부를 구성하는 모습을 보여주는 구성도이고, 도 6은 볼 발명의 실시 예에 따른 제2웨어러블 디바이스가 사용자의 수화를 인식하는 구성을 나타내는 블록도이다.1 is an exemplary diagram illustrating a system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention, FIG. 2 is a block diagram illustrating the system configuration of FIG. 1, and FIG. 3 is a wearable device according to an embodiment of the present invention. is a block diagram showing a basic structure for receiving information from a recognition unit, FIG. 4 is a perspective view of a wearable device according to an embodiment of the present invention, and FIG. 5 is a wearable device according to an embodiment of the present invention. 6 is a block diagram illustrating a configuration in which a second wearable device recognizes a user's sign language according to an embodiment of the present invention.
도1 내지 도 4를 참조하면, 본 발명의 시시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은 사용자의 주변에서 발생하는 긴급상황 또는 음성을 인식하도록 하나 이상의 인식부를 복합적으로 구성하며 웨어러블 디바이스와 연동하여 사용자에게 알려줌으로써, 인식이 필요한 소리신호를 전달하여 인지하도록 구성될 수 있다.1 to 4, the system for assisting the hearing impaired using a wearable device according to an exemplary embodiment of the present invention complexly configures one or more recognition units to recognize emergency situations or voices occurring in the vicinity of the user, and interlocks with the wearable device. By notifying the user, it may be configured to transmit and recognize a sound signal that requires recognition.
보다 구체적으로, 상기의 작동을 위해 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인용 제어 시스템(1)은 인식부(100), 모바일 단말기(200), 및 웨어러블 디바이스(300)를 포함할 수 있다.More specifically, for the above operation, the control system 1 for the hearing impaired using a wearable device according to an embodiment of the present invention includes a
여기서, 인식부(100)는 주변에서 발생하는 소리에 의한 정보 또는 사물이나 사람의 움직임을 측정하기 위해 구비되는 것으로서, 소리감지부(110) 또는 모션감지부(120) 중 하나 이상을 포함할 수 있다.Here, the
소리감지부(110)는 마이크, 아두이노 소리감지 센서 등과 같이 소리를 수집하기 위한 센서들을 포함할 수 있으며, 모션감지부(120)는 초음파 센서, 적외선 PIR 센서. 아두이노 인체감지센서 등 사물의 움직임을 감지하거나 존재여부를 감지하기 위한 센서 등을 포함할 수 있다.The
이와 같은 센서 등은 통상적으로 알려진 센서를 이용하므로 구체적인 설명은 생략하기로 하며, 모바일 단말기(200) 또는 웨어러블 디바이스(300)에 구비될 수 있으며, 사용자가 감지하지 못하는 사각지대에 단독으로 설치하여 모바일 단말기(200) 또는 웨어러블 디바이스(300)와 연동하여 감지정보를 전달하도록 구성될 수 있다.Since such a sensor uses a commonly known sensor, a detailed description thereof will be omitted, and it may be provided in the
예컨대, 소리를 감지하기 위한 소리감지부(110)는 모바일 단말기(200)에 구비되어 있는 단말기 마이크(미도시)를 이용하거나 웨어러블 디바이스(300)에 마이크(324)를 구비하여 소리를 감지하도록 할 수 있고, 모션감지부(120)는 사용자가 인식하기 힘든 등이나 허리에 센서를 부착하거나, 사람이 필수적으로 접근하는 위치에 부착하여 감지하여 모바일 단말기(200) 또는 웨어러블 디바이스(300)에 감지정보를 송신하도록 할 수 있다.For example, the
모바일 단말기(200)는 인식부(100)와 연동될 수 있으며, 상기에서 서술한 센서들을 포함하는 인식부(100)에 의한 감지정보를 수신하도록 할 수 있으며, 감지되는 정보들을 선별하고 선택적으로 수용하기 위해 정보설정부(210), 소리식별부(220) 및 신호전달부(230)를 포함할 수 있다.The
또한, 모바일 단말기(200)는 특정 단말기를 별도로 구비하지 않고, 사용자가 휴대하고 있는 단말기를 이용하여 인식부(100)와 연동하는 것이 가능하다. 즉, 통상적으로 사용자가 휴대하고 있는 모바일 단말기(200)를 이용하여 인식부(100)와 연동하는 것이 가능하다.In addition, the
여기서, 정보설정부(210)는 소리감지부(110)를 통해 감지되는 소리정보들 중에서 사용자에게 필요한 특정 단어 또는 소리를 식별할 수 있도록 모바일 단말기(200) 내에서 설정할 수 있다.Here, the
소리식별부(220)는 상기 정보설정부(210)에 의해 설정되는 정보들을 기준으로 하여 소리감지부(110)에서 감지되는 소리정보들을 식별하고, 정보설정부(210)에 저장되어 있는 소리정보에 대해서만 인식하여 웨어러블 디바이스(300)에 알리도록 할 수 있다.The sound identification unit 220 identifies the sound information detected by the
이때, 정보설정부(210)는 감지하고자 하는 소리정보에 해당하는 단어를 문자로 입력할 수 있으며, 문자에 해당하는 소리정보를 소리감지부(110)에서 감지하도록 설정할 수 있으며, 초기에 정보설정부(210)에 저장되는 단어들은 자동으로 활성화되어 소리식별부(220)에서 식별하며, 사용자의 환경에 따라 저장되어 있는 단어가 비활성화되어 해당하는 소리정보가 소리감지부(110)를 통해 감지되더라도 소리식별부(220)에서 식별하지 않도록 할 수 있다.At this time, the
즉, 소리감지부(110)는 사용자 주변의 소리정보들을 모두 감지할 수 있으나, 소리식별부(220)는 정보설정부(210)에 저장된 정보에 의해서 소리를 식별하여 사용자에게 알리도록 형성될 수 있으며, 정보설정부(210)의 저장된 정보들은 상황에 따라 활성화/비활성화가 변경되도록 할 수 있다.That is, the
예컨대, 사용자가 가정에 상주하고 있을 때에는 “아버지”, “여보” 등의 호칭이 활성화되어, 해당하는 소리정보에 대해 감지하여 웨어러블 디바이스(300)로 정보를 전달하여 사용자에게 알리도록 할 수 있으며, 직장 내에서는 “아버지”, “여보” 등과 같은 단어가 비활성화되며, “OO과장님”, “OO부장님” 등이 활성화되어 해당하는 단어가 감지되었을 때, 사용자에게 알리도록 할 수 있다.For example, when the user resides at home, names such as “father” and “honey” are activated, and the corresponding sound information is sensed and the information is transmitted to the
또한, 정보설정부(210)는 장소나 상황에 따라서 주로 사용하는 정보들에 대해 리스트를 구성함으로써 변경되는 상황에 따라 필요한 소리정보들을 일일이 변경하는 것이 아니라, 장소정보에 대해서만 입력을 실시하게 되면 해당하는 소리정보들이 활성화하도록 간편하게 소리정보들을 설정하도록 할 수 있다.In addition, the
예컨대, 1번 리스트는 “집”, 2번 리스트는 “회사”, 3번 리스트는 “마트”, 4번 리스트는 “일반 보도” 등으로 구성하고 각각의 리스트에 따라 필요한 소리정보들을 미리 입력하여 저장하면, 사용자의 환경에 따라서 리스트만을 선택하여 해당하는 소리정보들을 모두 식별하도록 할 수 있다.For example, list 1 is composed of “home”, list 2 is “company”, list 3 is “mart”, list 4 is “general sidewalk”, etc. If stored, only the list according to the user's environment can be selected to identify all the corresponding sound information.
또한, 정보설정부(210)은 사용자의 주변에서 발생하는 긴급상황에 대한 비상신호 또는 경보음에 대해 인식하여 사용자에게 알리는 것이 가능하다.In addition, the
예컨대, 사용자의 주변에서 발생하는 경찰차, 소방차의 싸이렌 소리를 인식하여 사용자에게 알리도록 할 수 있으며, 자동차 급정거 시 발생하는 타이어와 노면의 마찰음을 인식하도록 하여 긴급상황을 사용자가 인식하도록 알리는 것이 가능하다.For example, it is possible to notify the user by recognizing the siren sound of a police car or a fire engine occurring in the vicinity of the user, and by recognizing the friction sound between the tire and the road surface generated when the car is suddenly stopped, it is possible to notify the user to recognize the emergency situation. .
또한, 정보설정부(210)는 사용자의 모바일 단말기(200)에 구비되어 있는 GPS수신장치를 통해 사용자의 위치정보를 자동으로 업데이트하여, 사용자의 현재 위치에 따라서 소리정보 리스트를 자동으로 변경하도록 설정할 수 있다.In addition, the
즉, 사용자의 집, 회사, 마트 등의 위치정보를 미리 입력하고, 해당장소에 사용자가 위치하게 되면 GPS수신장치에 의해 수신되는 위치정보와 매칭하여 자동으로 소리정보 리스트를 변경하는 것이 가능하다.That is, it is possible to automatically change the sound information list by inputting the location information of the user's house, company, mart, etc. in advance, and matching the location information received by the GPS receiver when the user is located in the corresponding place.
이때, 소리감지부(110)는 주변에서 발생하는 잡음을 제거하도록 형성되는 소음제거부(미도시)를 포함할 수 있으며, 소음제거부(미도시)를 통해 식별하고자 하는 소리정보를 더욱 선명하게 감지하도록 할 수 있다.At this time, the
또한, 상기의 소음제거부(미도시)는 소음으로 인식되는 음역대 또는 주파수를 감지하여 해당 주파수에 대한 노이즈를 제거할 수 있으며, 소리식별부(220)는 소음제거부(미도시)에 의해 소음 또는 잡음이 제거된 소리정보를 이용하여 명확하게 소리를 식별하도록 할 수 있다. 또한, 소음 또는 잡음으로 인식되는 영역의 주파수 또는 소리의 크기에 따라 필터링을 하여 소리식별부(220) 소리정보를 전달하도록 할 수 있다.In addition, the noise canceling unit (not shown) may detect a sound range or frequency recognized as noise and remove the noise for the corresponding frequency, and the sound identification unit 220 may generate noise by the noise canceling unit (not shown). Alternatively, the sound may be clearly identified using sound information from which noise has been removed. In addition, the sound information may be transmitted to the sound identification unit 220 by filtering according to the frequency or the sound level of the region recognized as noise or noise.
후술하겠지만, 웨어러블 디바이스(300)에는 근거리 통신이 가능한 통신모듈(310)이 형성되며, 인식부(100)의 모션감지부(120)와 연동할 수 있으며, 모션감지부(120)에서 감지되는 감지정보에 따라 웨어러블 디바이스(300)가 사용자에게 감지정보를 알리도록 할 수 있다.As will be described later, a
여기서, 모션감지부(120)는 사용자가 시각적으로 인지하지 못하는 사각지대에 설치하여 청각에 의존하여 인지해야 하는 공간에 대한 정보를 감지하도록 할 수 있으며, 모듈형으로 형성되어 상황에 따라 모션감지부(120)를 설치하고자 하는 위치를 자유롭게 변경하는 것이 가능하고, 외출 시 휴대하여 소지하고 다니도록 구성될 수 있다.Here, the
예컨대, 사용자가 집에 위치하는 경우에는, 현관에 모션감지부(120)를 설치하여 방문하기 위해 접근하는 사람을 감지하여 초인종을 통해 인지해야 하는 외부의 방문자의 접근정보를 사용자에게 감지정보를 전달할 수 있으며, 회사에 출근하는 경우, 근무하는 사무실의 문 앞에 설치하거나, 개인공간에서 사람이 접근하는 위치에 설치하여 사용자의 등 뒤에서 접근하여 시각적으로 확인이 힘든 사각지대에서의 사람의 움직임을 감지하여 사용자에게 알리도록 할 수 있다.For example, when the user is located at home, the
이때, 모션감지부(120)는 한 개 이상으로 구비될 수 있으며, 반복적으로 사용하는 장소마다 개별로 설치하여 사용하는 것이 가능하며, 해당 설치장소에 근접하게 되면 자동으로 웨어러블 디바이스(300)와 통신할 수 있으며, 설정한 거리 이상으로 이격되면 통신이 해제되어 모션감지부(120)를 설치하기 위한 별도의 동작 없이 사용하는 것이 가능하다.At this time, the
또한, 모션감지부(120)는 감지거리를 조정하여 사물이나 물체의 움직임을 감지하도록 설정하여, 상황에 따라 감지조건을 달리할 수 있다.In addition, the
예컨대, 유동인구가 많은 사무실의 경우에는 해당 위치에 설치되는 모션감지부(120)에 매우 가깝게 근접했을 때, 사용자에게 알리도록 하여 불필요한 움직임을 감지하지 않도록 할 수 있다.For example, in the case of an office with a large floating population, when the
또한, 본 발명의 실시 예에 따른 모션감지부(120)는 설치되는 위치의 정면을 촬영하도록 구비되는 카메라(121)를 더 포함할 수 있으며, 모션감지부(120)가 설정된 감지범위 내에서 움직임을 감지하게 되면, 카메라(121)가 활성화되어 카메라(121)가 작동하여 촬영정보를 웨어러블 디바이스(300)에 전달하여 사용자가 해당지역을 시각적으로 확인하는 것이 가능하도록 형성될 수 있다.In addition, the
예컨대, 현관에 설치되어 있는 모션감지부(120)에서 사람의 접근이 감지되어 감지정보가 사용자에게 전달되었을 때, 신문배달이나 우유배달과 같이 즉각적으로 대응하지 않아도 되는 상황에 대해 카메라(121)를 통해 전달되는 영상을 확인하여 감지상황을 인지하도록 할 수 있다.For example, when a person's approach is detected by the
도 4를 참조하면, 웨어러블 디바이스(300)는 인식부(100) 또는 모바일 단말기(200)로부터 감지정보를 수신이 가능한 통신모듈(310) 및 수신되는 감지정보를 사용자에게 전달하는 알림장치(320)를 포함할 수 있다.Referring to FIG. 4 , the
웨어러블 디바이스의 통신모듈(310)은 모바일 단말기(200) 또는 근거리에 이격되어 설치된 인식부(100)와 연동이 가능하도록 근거리 무선 통신 규격이 구비될 수 있으며, 블루투스 3.0(Bluetooth 3.0), 비콘(iBeacon), UWB(Ultra Wideband), Zigbee, RF모듈, Wi-Fi를 포함하는 근거리 무선통신 규격들 중 적어도 하나가 구비되어 사용자의 모바일 단말기(200) 또는 이격되어 설치된 인식부(100)와 연동될 수 있으며, 사용환경에 따라서 통신거리를 설정할 수 있도록 구비될 수 있다. 또한, 통신모듈(310)은 양방향 통신이 모두 가능하도록 구비될 수 있으며, 모바일 단말기(200) 또는 인식부(100)로부터 감지정보를 수신하는 것이 가능하도록 구비될 수 있다.The
알림장치(320)는, 모바일 단말기(200) 또는 인식부(100)로부터 수신되는 감지정보를 사용자에게 전달하기 위해 웨어러블 디바이스(300)에 진동운동을 하도록 구비되는 진동모듈(321) 및 알림 메시지 등을 사용자가 시각으로 인지하도록 형성되는 디스플레이(322)를 포함할 수 있으며, 제어장치(323)를 구비하여 진동모듈(321) 및 디스플레이(322) 신호의 온/오프를 제어하도록 형성될 수 있다.The
이때, 진동모듈(321)은 모바일 단말기(200) 또는 인식부(100)로부터 수신되는 감지정보에 따라 진동패턴을 달리하여, 사용자가 진동패턴을 통해 해당 감지정보에 대한 내용을 신속하게 인지하는 것을 돕도록 할 수 있다.At this time, the
예컨대, 사용자를 호칭하는 소리정보가 감지되는 경우에는 0.3초 내지 0.4초의 간격으로 진동이 빠르게 울리도록 할 수 있으며, 방문객이 방문하는 경우에는 1.5초 내지 1.7초의 간격으로 진동이 느리게 반복되어 울리도록 하여 진동패턴을 통해 사용자가 상황을 인식하도록 할 수 있다.For example, when sound information calling a user is sensed, the vibration can be quickly made to sound at intervals of 0.3 seconds to 0.4 seconds, and when a visitor visits, the vibration is made to repeat slowly at intervals of 1.5 seconds to 1.7 seconds. It is possible to make the user aware of the situation through the vibration pattern.
이때, 인식부(100)를 통해 감지되는 정보에 대한 구체적인 내용은 디스플레이(322)를 통해 사용자에게 알리도록 할 수 있다.In this case, detailed information about the information sensed through the
예컨대, 소리를 감지하여 사용자에게 알리도록 하는 경우에는, 진동모듈(321)이 작동함과 동시에 감지하는 소리정보를 문자로 나타내어 사용자가 정확하게 인식하도록 할 수 있으며, 모션감지부(120)에 의해 움직임이 감지되었을 때에는 카메라(121)를 통한 영상정보를 디스플레이(322)에 출력하여 시각적으로 상황을 판단하도록 할 수 있다.For example, in the case of detecting a sound and notifying the user, the
이때, 감지되는 정보에 대한 내용은 디스플레이(322)를 통하여 감지상황을 문자로 표시하도록 할 수 있다.In this case, the content of the sensed information may display the sensed situation in text through the
제어장치(323)는 진동모듈(321) 또는 디스플레이(322)의 작동을 정지하도록 웨어러블 디바이스(300)의 일단에 버튼 형태로 구비할 수 있다. 즉, 인식부(100)로부터 감지되는 정보가 알림장치(320)에 의해 사용자에게 전달되었을 때에, 사용자가 해당 정보에 대해 충분히 인지하면, 제어장치(323)를 이용하여 진동모듈(321)과 디스플레이(322)의 작동을 정지하도록 할 수 있다.The
이때, 웨어러블 디바이스(300)는 방향성을 감지하도록 구비되는 자이로 센서(325)를 더 포함할 수 있으며, 웨어러블 디바이스(300)를 착용하고 있는 팔의 모션을 감지하는 것이 가능하다.In this case, the
즉, 사용자가 미리 설정된 동작에 따라서 웨어러블 디바이스(300)를 착용하고 있는 팔을 상하로 빠르게 흔들거나, 좌우로 반복해서 흔들 경우에 자이로 센서(325)에 의해 사용자의 움직임을 감지할 수 있으며, 상기 자이로 센서(325)에 의해 감지되는 사용자의 움직임을 통해 진동모듈(321) 또는 디스플레이(322)를 제어하는 것이 가능하다.That is, when the user quickly shakes the arm wearing the
예컨대, 진동모듈(321) 및 디스플레이(322)를 포함하는 알림장치(320)가 작동하는 상황에서 사용자가 웨어러블 디바이스(300)를 착용하지 않은 팔을 사용하지 못하여 제어장치(323)를 누르지 못하게 되면, 착용하는 팔을 상하로 빠르게 흔들어 알림장치(320)의 작동을 중지하도록 할 수 있다. For example, in a situation in which the
도 5를 참조하면, 본 발명의 실시 예에 따른 모바일 단말기(200)는 비상신호 수집부(330)를 더 포함하며, 상기의 비상신호 수집부(330)에 의해 화재, 지진, 폭우 등의 재난 및 사건정보를 수집하도록 할 수 있다.Referring to FIG. 5 , the
이때, 비상신호 수집부(330)는 GPS수신장치로부터 사용자의 위치정보를 기반으로 해당지역의 재난 및 사건정보를 감지하도록 할 수 있으며, 감지되는 정보를 웨어러블 디바이스(300)에 전송하여 사용자에게 알리도록 할 수 있다.In this case, the emergency
또한, 비상신호 수집부(330)는 긴급안전문자 또는 긴급재난문자와 같이 모바일 단말기(200)로 전송되는 재난정보를 사용자에게 알리는 것도 가능하며, 재난 및 사건정보를 관리하는 별도의 위치정보기반 중앙시스템(N)을 마련하여 GPS수신장치의 위치정보에 따라 상시로 해당위치에서의 정보를 인지할 수 있도록 할 수 있다.In addition, the emergency
또한, 도 6을 참조하면, 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은 적외선열감지센서와 영상수집장치가 구비되는 제2웨어러블 디바이스(400)를 더 포함할 수 있다.Also, referring to FIG. 6 , the system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention may further include a second
제2웨어러블 디바이스(400)는 사용자의 손동작을 촬영할 수 있는 위치에 구비되어 영상수집장치(420)에 의해 사용자의 전면을 촬영하도록 형성될 수 있으며, 영상수집장치(420)를 통해 사용자의 손동작을 인식하도록 할 수 있다.The second
이때, 적외선열감지센서(410)는 영상수집장치(420)가 사용자의 손동작을 인식함에 있어서, 이미지를 통해 인식이 잘 되지 않거나, 사용자 손 주변의 환경으로 인하여 인식이 제대로 되지 않는 점을 방지하기 위해 사용자의 손에서 방출하는 열을 감지하고, 영상수집장치(420)에서 인식하는 사용자의 손동작과 적외선열감지센서(410)에 의해 사용자의 손에서 발생하는 열이 감지되는 지점을 매칭하여 사용자의 손동작이 정확히 인식되도록 할 수 있다.At this time, the
이때, 본 발명의 실시 예에 따른 모바일 단말기(200)는 사용자의 손동작에 의한 수화를 인식하는 수화 인식부(240) 및 수화 번역부(250)를 더 포함할 수 있다.In this case, the
이때, 수화 인식부(240)는 청각장애인이 사용하는 수화에 대한 데이터를 기반으로 학습되는 머신러닝 기술을 통해 사용자의 수화를 인식할 수 있으며, 별도로 지정하는 손동작에 대해 인식하도록 할 수 있다.In this case, the sign
수화 번역부(250)는 수화 인식부(240)에 의해 인식되는 사용자의 수화내용을 번역하도록 할 수 있으며, 상기 수화 번역부(250)에 의해 번역된 수화내용은 텍스트 또는 소리로 변환하여 대화하는 상대방에게 전달할 수 있다.The sign
이상 살펴본 바와 같이 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며 본 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적인 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, the present invention has been described with reference to the embodiment shown in the drawings, but it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible therefrom. will be. Accordingly, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.
100: 인식부
110: 소리감지부
120: 모션감지부
121: 카메라
200: 모바일 단말기
210: 정보설정부
220: 소리식별부
230: 신호전달부
240: 수화 인식부
250: 수화 번역부
300: 웨어러블 디바이스
310: 통신모듈
320: 알림장치
321: 진동모듈
322: 디스플레이 모듈
323: 제어장치
324: 마이크
325: 자이로 센서
330: 비상신호 수집부
N: 위치정보기반 중앙시스템
400: 제2웨어러블 디바이스
410: 적외선열감지센서
420: 영상수집장치100: recognition unit
110: sound sensing unit
120: motion detection unit
121: camera
200: mobile terminal
210: information setting unit
220: sound identification unit
230: signal transmission unit
240: sign language recognition unit
250: sign language translation department
300: wearable device
310: communication module
320: notification device
321: vibration module
322: display module
323: control device
324: microphone
325: gyro sensor
330: emergency signal collection unit
N: Location information-based central system
400: second wearable device
410: infrared heat sensor
420: image acquisition device
Claims (5)
상기 인식부와 연동하여 감지하는 정보를 제어하도록 제어신호를 전송하는 모바일 단말기;
상기 모바일 단말기 또는 상기 인식부와 연동되어 약속된 신호체계에 따라서 사용자에게 알림을 실시하는 웨어러블 디바이스;를 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
a recognition unit that measures a sound or movement around the user;
a mobile terminal that transmits a control signal to control information to be sensed in conjunction with the recognition unit;
A system for assisting the hearing impaired using a wearable device, comprising: a wearable device interlocking with the mobile terminal or the recognition unit to notify a user according to a promised signal system
상기 인식부는,
사용자 주변의 소리를 감지할 수 있도록 구비되는 소리감지부;
설정되는 범위 내의 움직임을 감지하도록 구비되는 모션감지부; 중 하나 이상을 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
According to claim 1,
The recognition unit,
a sound sensing unit provided to detect a sound around the user;
a motion detection unit provided to detect a motion within a set range; Assistive system for the hearing impaired using a wearable device, characterized in that it comprises one or more of
상기 모바일단말기는,
상기 소리감지부에서 감지되는 소리정보를 선별하기 위한 정보를 입력하여 설정하는 정보설정부;
상기 정보설정부에 의해 설정된 기준에 따라 소리정보를 식별하여 선별되는 소리를 인식하는 소리식별부; 및
상기 소리식별부에서 선별되는 정보에 해당되는 안내신호를 상기 웨어러블 디바이스에 전달하는 신호전달부;를 포함하고,
상기 정보설정부는,
사용자에게 필요한 소리정보 리스트를 위치 또는 상황에 따라 설정하는 것이 가능하며, 사용자의 위치정보에 따라 상기 소리정보 리스트 설정이 변경되도록 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
3. The method of claim 2,
The mobile terminal is
an information setting unit configured to input and set information for selecting sound information detected by the sound sensing unit;
a sound identification unit for recognizing a sound selected by identifying sound information according to a criterion set by the information setting unit; and
Including; and a signal transmitting unit for transmitting a guide signal corresponding to the information selected by the sound identification unit to the wearable device,
The information setting unit,
It is possible to set a list of sound information necessary for a user according to a location or situation, and an assistance system for the hearing impaired using a wearable device that allows the setting of the sound information list to be changed according to the location information of the user
상기 웨어러블 디바이스는,
상기 인식부 또는 상기 모바일단말기와 통신하도록 구비되는 통신 모듈; 및
상기 통신 모듈로부터 수신되는 정보에 따라 사용자에게 신호를 전달하는 알림장치;를 포함하고,
상기 알림장치는,
상기 신호전달부로부터 전달되는 신호에 따라 진동하도록 구비되는 진동모듈;
상기 신호전달부로부터 전달되는 신호를 화면으로 표시하도록 구비되는 디스플레이;
상기 진동모듈 또는 상기 디스플레이의 신호를 제어하도록 형성되는 제어장치;를 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
According to claim 1,
The wearable device,
a communication module provided to communicate with the recognition unit or the mobile terminal; and
and a notification device that transmits a signal to the user according to the information received from the communication module;
The notification device is
a vibration module provided to vibrate according to a signal transmitted from the signal transmission unit;
a display provided to display the signal transmitted from the signal transmission unit on a screen;
Auxiliary system for the hearing impaired using a wearable device comprising a; a control device formed to control the vibration module or the signal of the display
상기 웨어러블 디바이스는,
화재, 재난, 또는 사고를 포함하는 긴급신호를 수집하는 비상신호 수집부;를 더 포함하고,
상기 비상신호수집부는,
사용자 위치 주변의 사건정보를 수집하여, 상기 알림장치를 이용하여 사용자에게 알리는 것을 특징으로 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
According to claim 1,
The wearable device,
It further includes; an emergency signal collection unit for collecting emergency signals including fire, disaster, or accident;
The emergency signal collecting unit,
An assisting system for the hearing impaired using a wearable device, characterized in that by collecting event information around the user's location and notifying the user using the notification device
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200025202A KR102367299B1 (en) | 2020-02-28 | 2020-02-28 | Assistance system for the deaf using wearable device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200025202A KR102367299B1 (en) | 2020-02-28 | 2020-02-28 | Assistance system for the deaf using wearable device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210109940A true KR20210109940A (en) | 2021-09-07 |
KR102367299B1 KR102367299B1 (en) | 2022-02-23 |
Family
ID=77797510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200025202A KR102367299B1 (en) | 2020-02-28 | 2020-02-28 | Assistance system for the deaf using wearable device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102367299B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100117306A (en) * | 2009-04-24 | 2010-11-03 | (주)에스티오 | System for manage old man living alone |
KR20160013657A (en) * | 2014-07-28 | 2016-02-05 | 강의신 | Watch for the deaf |
KR20160014743A (en) * | 2016-01-20 | 2016-02-11 | 넥시스 주식회사 | System and method for recognizing signal switch by wearable glass device |
KR20170105769A (en) * | 2016-03-10 | 2017-09-20 | 박상률 | Sound recognition apparatus and method for hearing impaired person |
KR20180018649A (en) * | 2018-02-14 | 2018-02-21 | 유퍼스트(주) | Neckband for providing alarm service for the hearing impaired |
-
2020
- 2020-02-28 KR KR1020200025202A patent/KR102367299B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100117306A (en) * | 2009-04-24 | 2010-11-03 | (주)에스티오 | System for manage old man living alone |
KR20160013657A (en) * | 2014-07-28 | 2016-02-05 | 강의신 | Watch for the deaf |
KR20160014743A (en) * | 2016-01-20 | 2016-02-11 | 넥시스 주식회사 | System and method for recognizing signal switch by wearable glass device |
KR20170105769A (en) * | 2016-03-10 | 2017-09-20 | 박상률 | Sound recognition apparatus and method for hearing impaired person |
KR20180018649A (en) * | 2018-02-14 | 2018-02-21 | 유퍼스트(주) | Neckband for providing alarm service for the hearing impaired |
Also Published As
Publication number | Publication date |
---|---|
KR102367299B1 (en) | 2022-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8606316B2 (en) | Portable blind aid device | |
US7356473B2 (en) | Management and assistance system for the deaf | |
KR101700395B1 (en) | Security drone and mobile security system thereof | |
US8842006B2 (en) | Security system and method using mobile-telephone technology | |
KR101459104B1 (en) | Intelligent cctv system detecting emergency with motion analysis and method of emergency detection using the same | |
KR101245165B1 (en) | Crime prevention security system | |
EP2494533B1 (en) | Mobile device, security system comprising a mobile device and use of a mobile device in a security system | |
KR102086564B1 (en) | Intelligent evacuation guidance system based on internet of things | |
JP2008203985A (en) | Emergency notification system having emergency notification function, and the emergency response function | |
KR101545080B1 (en) | Smart security system | |
KR20210010703A (en) | An accident management system for underground parking lot and method using the same | |
KR101792427B1 (en) | Emergency Bell System | |
KR20110123968A (en) | An apparatus, system and method for personal security using circumstance recognition | |
KR102367299B1 (en) | Assistance system for the deaf using wearable device | |
KR101887010B1 (en) | Vehicle signal transmission device and the method thereof | |
KR20160052496A (en) | screaming detect emergency call system and method | |
KR101473926B1 (en) | Household Management System and Method | |
KR102113419B1 (en) | System and method for reporting disaster using automatic video call switching | |
KR101401299B1 (en) | Method for taking a picture of a subject using a smart phone gps connected to network cctvs | |
WO2020256334A1 (en) | Warning and display device for coping with emergency situation by using smart phone | |
WO2021111654A1 (en) | Processing device, processing method, and program | |
KR101598466B1 (en) | safety assistance system for auditory disabled | |
JP7463143B2 (en) | Security Systems | |
KR101571838B1 (en) | Multi functional system utilizing beacon and method for using the same | |
KR101393719B1 (en) | Intruder supervising system using camera and object perception sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |