KR20210109940A - Assistance system for the deaf using wearable device - Google Patents

Assistance system for the deaf using wearable device Download PDF

Info

Publication number
KR20210109940A
KR20210109940A KR1020200025202A KR20200025202A KR20210109940A KR 20210109940 A KR20210109940 A KR 20210109940A KR 1020200025202 A KR1020200025202 A KR 1020200025202A KR 20200025202 A KR20200025202 A KR 20200025202A KR 20210109940 A KR20210109940 A KR 20210109940A
Authority
KR
South Korea
Prior art keywords
information
user
unit
wearable device
sound
Prior art date
Application number
KR1020200025202A
Other languages
Korean (ko)
Other versions
KR102367299B1 (en
Inventor
조도운
Original Assignee
조도운
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조도운 filed Critical 조도운
Priority to KR1020200025202A priority Critical patent/KR102367299B1/en
Publication of KR20210109940A publication Critical patent/KR20210109940A/en
Application granted granted Critical
Publication of KR102367299B1 publication Critical patent/KR102367299B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009Teaching or communicating with deaf persons
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16Transforming into a non-visible representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Otolaryngology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Vascular Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to an assistive system for hearing impaired people using a wearable device, comprising: a recognition unit for measuring sounds or movement around a user; a mobile terminal for transmitting a control signal to control information to be sensed in conjunction with the recognition unit; and a wearable device for interworking with the mobile terminal or the recognition unit to notify the user according to a promised signal system, wherein the recognition unit may be provided in at least one of the mobile terminal and the wearable device. According to the present invention, selective information can be provided to the user.

Description

웨어러블 디바이스를 이용한 청각장애인 보조 시스템{Assistance system for the deaf using wearable device}Assisting system for the hearing impaired using wearable devices {Assistance system for the deaf using wearable device}

본 발명은 웨어러블 디바이스를 이용한 청각장애인 보조 시스템에 관한 것으로, 보다 상세하게는 사용자 주변의 소리를 감지하거나, 사물의 움직임을 감지하도록 형성되는 인식부가 사용자가 착용하는 웨어러블 디바이스와 연동하여 사용자에게 감지정보를 전달할 수 있으며, 사용자의 모바일 단말기를 이용하여 인식하고자 하는 정보를 설정하여 상황에 따라 필요한 정보를 선택적으로 감지하도록 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템에 관한 것이다.The present invention relates to an assistive system for the hearing impaired using a wearable device, and more particularly, a recognition unit formed to detect a sound around the user or to detect the movement of an object works in conjunction with a wearable device worn by the user to provide the user with sensing information. It relates to an assistive system for the hearing impaired using a wearable device that can transmit and selectively detect necessary information according to a situation by setting information to be recognized using a user's mobile terminal.

일반적으로, 청각장애인은 소리를 듣지 못하기 때문에 시각에 의지하여 주변의 정보를 인식하여 생활하기 때문에 상황을 제대로 인식하지 못하고 위험으로부터 대비하지 못하는 문제가 발생할 수 있다.In general, since hearing impaired people do not hear sounds, they live by recognizing information around them depending on their vision, so they may not properly recognize situations and may not be able to prepare for danger.

또한, 시각에 의해서만 정보를 판단하기 때문에 청각에 의해 판단해야 하는 상황에서는 눈으로 확인하더라도 상황을 제대로 인지하지 못할 수 있다. 특히, 화재가 발생하거나, 긴급상황이 발생하는 경우에는 소리로 알림을 실시하는 경우가 대부분이기 때문에 소리를 듣지 못하는 청각장애인의 주변에서 위험상황이 발생하는 경우에는 이를 즉시 인지하지 못하여 위험상황에 쉽게 노출될 수 있는 우려가 있다.In addition, since information is judged only by sight, in a situation in which judgment must be made by hearing, the situation may not be properly recognized even if the information is visually checked. In particular, in the case of a fire or an emergency, in most cases, a sound notification is provided. Therefore, when a dangerous situation occurs in the vicinity of a deaf person who cannot hear the sound, it is not immediately recognized, so it is easy to respond to a dangerous situation. There is a risk of exposure.

이러한 문제점을 해결하기 위한 예로써, 한국공개특허 제10-2017-0123798호 “청각장애인용 화재 경보밴드”는 화재경보기와 통신할 수 있는 무선 통신모듈; 연기를 감지할 수 있는 연기 감지 센서; 상기 무선 통신모듈이 신호를 받은 경우 또는 상기 연기 감지 센서에서 신호를 받은 경우 진동할 수 있는 진동 모듈; 상기 진동모듈이 동작할 때 점멸하여 시각적인 신호를 줄 수 있는 점멸램프;와 상기 무선 통신모듈과 연기 감지 센서와 진동모듈과 점멸램프를 포함하는 밴드부를 포함하는 경보밴드에 대해 개시되어 있다.As an example for solving this problem, Korean Patent Application Laid-Open No. 10-2017-0123798 “Fire alarm band for the hearing impaired” includes a wireless communication module capable of communicating with a fire alarm; a smoke detection sensor capable of detecting smoke; a vibration module capable of vibrating when the wireless communication module receives a signal or when a signal is received from the smoke detection sensor; Disclosed is an alarm band including a flashing lamp capable of giving a visual signal by flickering when the vibration module operates; and a band unit including the wireless communication module, a smoke detection sensor, a vibration module, and a flashing lamp.

그러나, 상기와 같은 종래의 청각장애인을 위한 보조장치는 화재 등의 긴급상황에 대한 알림을 실시하는 기술이 개시되어 있을 뿐, 사용자의 상황에 맞게 인식하여 사용자에게 알리도록 하는 다른 수단이 개시되어 있지 않다. However, the conventional auxiliary device for the hearing impaired as described above has only disclosed a technique for notifying an emergency situation such as a fire, and other means for recognizing and notifying the user according to the user's situation are not disclosed. not.

또한, 청각장애인을 위한 보조장치의 다른 예로써, 한국등록실용신안 제20-0231384호 “청각장애인용 방문자 감지 및 표시장치”에서는 방문자의 방문여부를 감지하는 센서부와, 상기 센서부로부터의 감지신호를 처리하는 신호처리부와, 상기 신호처리부로부터 출력되는 소정의 신호를 전송하기 위한 신호전 송부와, 상기 신호전송부로부터 소정의 신호가 있을 경우 청각장애인에게 방문자가 방문했다는 신호를 출력하는 신호표 시부를 포함하는 청각장애인용 감지장치에 대해 개시되어 있다.In addition, as another example of an auxiliary device for the hearing impaired, in Korean Utility Model No. 20-0231384 “Visitor Detecting and Displaying Device for the Hearing Impaired”, a sensor unit that detects whether a visitor has visited, and the detection from the sensor unit A signal processing unit for processing a signal, a signal transmission unit for transmitting a predetermined signal output from the signal processing unit, and a signal display unit for outputting a signal that a visitor has visited the hearing impaired when there is a predetermined signal from the signal transmission unit It is disclosed for a sensing device for the hearing impaired comprising a.

그러나, 제20-0231384호의 청각장애인용 감지장치도 방문자의 방문여부 등 한정된 정보만을 감지하는 수단만 개시되어 있을 뿐, 사용자 주변의 정보를 감지할 수 있는 또다른 수단도 구비되지 않았다.However, the detection device for the hearing impaired of No. 20-0231384 also discloses only a means for detecting limited information such as whether a visitor has visited, and no other means for detecting information around the user is provided.

따라서, 상기와 같은 문제점을 인식하고 개선하는 것이 시급하다.Therefore, it is urgent to recognize and improve the above problems.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 사용자 주변의 소리를 감지하거나, 사물의 움직임을 감지하도록 형성되는 인식부가 사용자의 웨어러블 디바이스와 연동하도록 하여 사용자 주변의 정보를 사용자에게 알려주도록 하여 사용자가 주변을 인식하도록 할 수 있으며, 사용자의 모바일 단말기를 이용하여 인식하고자 하는 정보를 설정하도록 하여 상황에 따라 필요한 정보를 선택적으로 감지하도록 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 제공하는 데 목적이 있다.The present invention is to solve the above problem, and the recognition unit formed to detect a sound around the user or to detect the movement of an object is interlocked with the user's wearable device to inform the user of information around the user. An object of the present invention is to provide an assistive system for the hearing impaired using a wearable device capable of recognizing the surroundings and allowing the user to set the information to be recognized using the user's mobile terminal to selectively detect necessary information according to the situation.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은, 사용자 주변의 소리 또는 움직임을 측정하는 인식부; 상기 인식부와 연동하여 감지하는 정보를 제어하도록 제어신호를 전송하는 모바일 단말기; 상기 모바일 단말기 또는 상기 인식부와 연동되어 약속된 신호체계에 따라서 사용자에게 알림을 실시하는 웨어러블 디바이스;를 포함할 수 있다. In accordance with an embodiment of the present invention for solving the above problems, there is provided an assistive system for the hearing impaired using a wearable device, comprising: a recognition unit for measuring a sound or movement around a user; a mobile terminal that transmits a control signal to control information to be sensed in conjunction with the recognition unit; and a wearable device interworking with the mobile terminal or the recognition unit to notify the user according to a promised signal system.

이때, 상기 인식부는, 사용자 주변의 소리를 감지할 수 있도록 구비되는 소리감지부; 설정되는 범위 내의 움직임을 감지하도록 구비되는 모션감지부; 중 하나 이상을 포함할 수 있다.In this case, the recognition unit may include: a sound sensing unit provided to detect a sound around the user; a motion detection unit provided to detect a motion within a set range; may include one or more of

또한, 상기 모션감지부는, 영상촬영이 가능한 카메라;를 포함하고, 상기 카메라는, 상기 모션감지부에 의해 움직임이 감지될 시 영상을 촬영하여 상기 알림장치로 영상정보를 전송할 수 있다.In addition, the motion detection unit may include a camera capable of capturing an image, and the camera may capture an image when a motion is detected by the motion detection unit and transmit image information to the notification device.

이때, 상기 모바일단말기는, 상기 소리감지부에서 감지되는 소리정보를 선별하기 위한 정보를 입력하여 설정하는 정보설정부; 상기 정보설정부에 의해 설정된 기준에 따라 소리정보를 식별하여 선별되는 소리를 인식하는 소리식별부; 및 상기 소리식별부에서 선별되는 정보에 해당되는 안내신호를 상기 웨어러블 디바이스에 전달하는 신호전달부;를 포함하고, 상기 정보설정부는, 사용자에게 필요한 소리정보 리스트를 위치 또는 상황에 따라 설정하는 것이 가능하며, 사용자의 위치정보에 따라 상기 소리정보 리스트 설정이 변경되도록 할 수 있다.In this case, the mobile terminal may include: an information setting unit configured to input and set information for selecting sound information detected by the sound sensing unit; a sound identification unit for recognizing a sound selected by identifying sound information according to a criterion set by the information setting unit; and a signal transmitting unit that transmits a guide signal corresponding to the information selected by the sound identification unit to the wearable device, wherein the information setting unit may set a list of sound information required for a user according to a location or situation and the sound information list setting can be changed according to the user's location information.

이때, 상기 웨어러블 디바이스는, 상기 인식부 또는 상기 모바일단말기와 통신하도록 구비되는 통신 모듈; 및 상기 통신 모듈로부터 수신되는 정보에 따라 사용자에게 신호를 전달하는 알림장치;를 포함하고, 상기 알림장치는, 상기 신호전달부로부터 전달되는 신호에 따라 진동하도록 구비되는 진동모듈; 상기 신호전달부로부터 전달되는 신호를 화면으로 표시하도록 구비되는 디스플레이; 상기 진동모듈 또는 상기 디스플레이의 신호를 제어하도록 형성되는 제어장치;를 포함할 수 있다.In this case, the wearable device may include: a communication module provided to communicate with the recognition unit or the mobile terminal; and a notification device for transmitting a signal to the user according to the information received from the communication module, wherein the notification device includes: a vibration module provided to vibrate according to a signal transmitted from the signal transmission unit; a display provided to display the signal transmitted from the signal transmission unit on a screen; and a control device configured to control a signal of the vibration module or the display.

또한, 상기 웨어러블 디바이스는, 상기 웨어러블 디바이스의 움직임을 감지하도록 구비되는 자이로센서;를 더 포함하고, 상기 자이로 센서는, 상기 웨어러블 디바이스의 움직임을 감지하여, 상기 진동모듈 및 상기 디스플레이를 제어하도록 신호를 전송할 수 있다.In addition, the wearable device further includes a gyro sensor provided to detect the movement of the wearable device, wherein the gyro sensor detects the movement of the wearable device, and sends a signal to control the vibration module and the display can be transmitted

또한, 상기 웨어러블 디바이스는, 화재, 재난, 또는 사고를 포함하는 긴급신호를 수집하는 비상신호 수집부;를 더 포함하고, 상기 비상신호수집부는, 사용자 위치 주변의 사건정보를 수집하여, 상기 알림장치를 이용하여 사용자에게 알리도록 할 수 있다.In addition, the wearable device further includes an emergency signal collection unit for collecting emergency signals including fire, disaster, or accident, and the emergency signal collection unit collects event information around the user's location, the notification device can be used to notify the user.

또한, 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은, 적외선열감지센서와 영상수집장치가 구비되는 제2웨어러블 디바이스를; 더 포함하고, 상기 제2웨어러블 디바이스는, 상기 영상수집장치에서 인식되는 사용자의 손동작과 상기 적외선열감지센서에 의해 열이 감지되는 지점을 매칭하여 사용자의 손동작을 인식할 수 있다.In addition, the system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention includes a second wearable device having an infrared heat sensor and an image collecting device; The second wearable device may recognize the user's hand gesture by matching the user's hand gesture recognized by the image collecting device with a point where heat is sensed by the infrared heat sensor.

이때, 상기 모바일 단말기는, 사용자의 손동작에 의한 수화를 인식하는 수화 인식부; 상기 수화 인식부에 의해 인식되는 동작을 텍스트 또는 소리로 변환하는 수화 번역부;를 더 포함하고, 상기 수화 인식부는, 수화를 인식하는 데 필요한 데이터를 기반으로 학습되는 머신러닝 기술을 통해 사용자의 수화를 인식하여, 상기 수화 번역부에 의해 텍스트 또는 소리로 변환하여 출력할 수 있다.In this case, the mobile terminal may include: a sign language recognition unit for recognizing sign language by a user's hand gesture; Further comprising a sign language translation unit for converting the motion recognized by the sign language recognition unit into text or sound, wherein the sign language recognition unit is a user's sign language through machine learning technology that is learned based on data required to recognize the sign language can be recognized, converted into text or sound by the sign language translation unit and output.

본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인용 보조 시스템은, 사용자 주변에서 발생하는 소리를 감지하거나, 사용자에게 접근하는 사람 또는 사물의 움직임을 감지하도록 형성되는 인식부가 사용자의 웨어러블 디바이스와 연동하여 사용자에게 감지정보를 알려줄 수 있다.In an assistive system for the hearing impaired using a wearable device according to an embodiment of the present invention, a recognition unit formed to detect a sound generated around a user or to detect a movement of a person or object approaching the user interlocks with the user's wearable device Thus, the detection information can be informed to the user.

특히, 사용자의 모바일 단말기를 이용하여 인식하고자 하는 정보의 설정이 가능하며, 사용자의 환경에 따라 설정이 변경되어 사용자에게 선택적으로 정보를 제공하는 효과가 있다.In particular, it is possible to set the information to be recognized by using the user's mobile terminal, and the setting is changed according to the user's environment, thereby selectively providing information to the user.

도 1은 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 나타내는 예시도이다.
도 2는 도 1의 시스템 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 웨어러블 디바이스가 인식부의 정보를 수신하는 기본구조를 나타내는 구성도이다.
도 4는 본 발명의 실시 예에 따른 웨어러블 디바이스의 사시도이다.
도 5는 본 발명의 실시 예에 따른 웨어러블 디바이스가 비상신호 수집부를 구성하는 모습을 보여주는 구성도이다.
도 6은 볼 발명의 실시 예에 따른 제2웨어러블 디바이스가 사용자의 수화를 인식하는 구성을 나타내는 블록도이다.
1 is an exemplary diagram illustrating a system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the system configuration of FIG. 1 .
3 is a block diagram illustrating a basic structure in which a wearable device receives information from a recognition unit according to an embodiment of the present invention.
4 is a perspective view of a wearable device according to an embodiment of the present invention.
5 is a block diagram showing a state in which the wearable device according to an embodiment of the present invention constitutes an emergency signal collecting unit.
6 is a block diagram illustrating a configuration in which a second wearable device recognizes a user's sign language according to an embodiment of the present invention.

이하, 첨부한 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 도한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the description of the present invention with reference to the accompanying drawings is not limited to specific embodiments, and various modifications may be made and various embodiments may be provided. Also, it should be understood that the contents described below include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention.

이하의 설명에서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In the following description, terms such as 1st, 2nd, etc. are terms used to describe various components, meanings are not limited thereto, and are used only for the purpose of distinguishing one component from other components.

본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.Like reference numbers used throughout this specification refer to like elements.

본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular expression includes the plural expression unless the context clearly dictates otherwise. In addition, terms such as "comprises", "comprising" or "have" described below are intended to designate the existence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification. It should be construed as not precluding the possibility of addition or existence of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

이하, 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 도 1 내지 도 5를 참조하여 상세하게 설명하기로 한다.Hereinafter, a system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 5 .

도 1은 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 나타내는 예시도이고, 도 2는 도 1의 시스템 구성을 나타내는 블록도이고, 도 3은 본 발명의 실시 예에 따른 웨어러블 디바이스가 인식부의 정보를 수신하는 기본구조를 나타내는 구성도이고, 도 4는 본 발명의 실시 예에 따른 웨어러블 디바이스의 사시도이고, 도 5는 본 발명의 실시 예에 따른 웨어러블 디바이스가 비상신호 수집부를 구성하는 모습을 보여주는 구성도이고, 도 6은 볼 발명의 실시 예에 따른 제2웨어러블 디바이스가 사용자의 수화를 인식하는 구성을 나타내는 블록도이다.1 is an exemplary diagram illustrating a system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention, FIG. 2 is a block diagram illustrating the system configuration of FIG. 1, and FIG. 3 is a wearable device according to an embodiment of the present invention. is a block diagram showing a basic structure for receiving information from a recognition unit, FIG. 4 is a perspective view of a wearable device according to an embodiment of the present invention, and FIG. 5 is a wearable device according to an embodiment of the present invention. 6 is a block diagram illustrating a configuration in which a second wearable device recognizes a user's sign language according to an embodiment of the present invention.

도1 내지 도 4를 참조하면, 본 발명의 시시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은 사용자의 주변에서 발생하는 긴급상황 또는 음성을 인식하도록 하나 이상의 인식부를 복합적으로 구성하며 웨어러블 디바이스와 연동하여 사용자에게 알려줌으로써, 인식이 필요한 소리신호를 전달하여 인지하도록 구성될 수 있다.1 to 4, the system for assisting the hearing impaired using a wearable device according to an exemplary embodiment of the present invention complexly configures one or more recognition units to recognize emergency situations or voices occurring in the vicinity of the user, and interlocks with the wearable device. By notifying the user, it may be configured to transmit and recognize a sound signal that requires recognition.

보다 구체적으로, 상기의 작동을 위해 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인용 제어 시스템(1)은 인식부(100), 모바일 단말기(200), 및 웨어러블 디바이스(300)를 포함할 수 있다.More specifically, for the above operation, the control system 1 for the hearing impaired using a wearable device according to an embodiment of the present invention includes a recognition unit 100 , a mobile terminal 200 , and a wearable device 300 . can

여기서, 인식부(100)는 주변에서 발생하는 소리에 의한 정보 또는 사물이나 사람의 움직임을 측정하기 위해 구비되는 것으로서, 소리감지부(110) 또는 모션감지부(120) 중 하나 이상을 포함할 수 있다.Here, the recognition unit 100 is provided to measure information or movement of objects or people by sounds generated in the surroundings, and may include one or more of the sound sensing unit 110 and the motion sensing unit 120 . have.

소리감지부(110)는 마이크, 아두이노 소리감지 센서 등과 같이 소리를 수집하기 위한 센서들을 포함할 수 있으며, 모션감지부(120)는 초음파 센서, 적외선 PIR 센서. 아두이노 인체감지센서 등 사물의 움직임을 감지하거나 존재여부를 감지하기 위한 센서 등을 포함할 수 있다.The sound sensing unit 110 may include sensors for collecting sound, such as a microphone and an Arduino sound sensing sensor, and the motion sensing unit 120 is an ultrasonic sensor, an infrared PIR sensor. It may include a sensor for detecting the motion of an object, such as an Arduino human body sensor, or detecting the presence or absence of an object.

이와 같은 센서 등은 통상적으로 알려진 센서를 이용하므로 구체적인 설명은 생략하기로 하며, 모바일 단말기(200) 또는 웨어러블 디바이스(300)에 구비될 수 있으며, 사용자가 감지하지 못하는 사각지대에 단독으로 설치하여 모바일 단말기(200) 또는 웨어러블 디바이스(300)와 연동하여 감지정보를 전달하도록 구성될 수 있다.Since such a sensor uses a commonly known sensor, a detailed description thereof will be omitted, and it may be provided in the mobile terminal 200 or the wearable device 300, and may be installed alone in a blind spot that the user cannot detect. The terminal 200 or the wearable device 300 may be configured to transmit detection information.

예컨대, 소리를 감지하기 위한 소리감지부(110)는 모바일 단말기(200)에 구비되어 있는 단말기 마이크(미도시)를 이용하거나 웨어러블 디바이스(300)에 마이크(324)를 구비하여 소리를 감지하도록 할 수 있고, 모션감지부(120)는 사용자가 인식하기 힘든 등이나 허리에 센서를 부착하거나, 사람이 필수적으로 접근하는 위치에 부착하여 감지하여 모바일 단말기(200) 또는 웨어러블 디바이스(300)에 감지정보를 송신하도록 할 수 있다.For example, the sound sensing unit 110 for detecting a sound uses a terminal microphone (not shown) provided in the mobile terminal 200 or includes a microphone 324 in the wearable device 300 to detect the sound. The motion detection unit 120 attaches a sensor to the back or waist, which is difficult for the user to recognize, or attaches it to a location that is essential for a person to detect, and provides the detection information to the mobile terminal 200 or the wearable device 300 . can be sent.

모바일 단말기(200)는 인식부(100)와 연동될 수 있으며, 상기에서 서술한 센서들을 포함하는 인식부(100)에 의한 감지정보를 수신하도록 할 수 있으며, 감지되는 정보들을 선별하고 선택적으로 수용하기 위해 정보설정부(210), 소리식별부(220) 및 신호전달부(230)를 포함할 수 있다.The mobile terminal 200 may be interlocked with the recognition unit 100 , and may receive information detected by the recognition unit 100 including the above-described sensors, and select and selectively accept the detected information. To this end, it may include an information setting unit 210 , a sound identification unit 220 , and a signal transmission unit 230 .

또한, 모바일 단말기(200)는 특정 단말기를 별도로 구비하지 않고, 사용자가 휴대하고 있는 단말기를 이용하여 인식부(100)와 연동하는 것이 가능하다. 즉, 통상적으로 사용자가 휴대하고 있는 모바일 단말기(200)를 이용하여 인식부(100)와 연동하는 것이 가능하다.In addition, the mobile terminal 200 does not separately include a specific terminal, and it is possible to interwork with the recognition unit 100 using a terminal carried by the user. That is, it is possible to interwork with the recognition unit 100 using the mobile terminal 200 carried by the user.

여기서, 정보설정부(210)는 소리감지부(110)를 통해 감지되는 소리정보들 중에서 사용자에게 필요한 특정 단어 또는 소리를 식별할 수 있도록 모바일 단말기(200) 내에서 설정할 수 있다.Here, the information setting unit 210 may be set in the mobile terminal 200 to identify a specific word or sound required for the user from among the sound information detected by the sound sensing unit 110 .

소리식별부(220)는 상기 정보설정부(210)에 의해 설정되는 정보들을 기준으로 하여 소리감지부(110)에서 감지되는 소리정보들을 식별하고, 정보설정부(210)에 저장되어 있는 소리정보에 대해서만 인식하여 웨어러블 디바이스(300)에 알리도록 할 수 있다.The sound identification unit 220 identifies the sound information detected by the sound detection unit 110 based on the information set by the information setting unit 210 , and the sound information stored in the information setting unit 210 . may be recognized and notified to the wearable device 300 .

이때, 정보설정부(210)는 감지하고자 하는 소리정보에 해당하는 단어를 문자로 입력할 수 있으며, 문자에 해당하는 소리정보를 소리감지부(110)에서 감지하도록 설정할 수 있으며, 초기에 정보설정부(210)에 저장되는 단어들은 자동으로 활성화되어 소리식별부(220)에서 식별하며, 사용자의 환경에 따라 저장되어 있는 단어가 비활성화되어 해당하는 소리정보가 소리감지부(110)를 통해 감지되더라도 소리식별부(220)에서 식별하지 않도록 할 수 있다.At this time, the information setting unit 210 may input a word corresponding to the sound information to be detected as a character, and may set the sound sensing unit 110 to detect the sound information corresponding to the character, and initially set the information. Words stored in the unit 210 are automatically activated and identified by the sound identification unit 220, even if the words stored in the user environment are deactivated and the corresponding sound information is detected through the sound sensing unit 110 The sound identification unit 220 may not identify.

즉, 소리감지부(110)는 사용자 주변의 소리정보들을 모두 감지할 수 있으나, 소리식별부(220)는 정보설정부(210)에 저장된 정보에 의해서 소리를 식별하여 사용자에게 알리도록 형성될 수 있으며, 정보설정부(210)의 저장된 정보들은 상황에 따라 활성화/비활성화가 변경되도록 할 수 있다.That is, the sound sensing unit 110 may detect all sound information around the user, but the sound identification unit 220 may be formed to identify the sound by the information stored in the information setting unit 210 and notify the user. In addition, the information stored in the information setting unit 210 may be activated/deactivated according to circumstances.

예컨대, 사용자가 가정에 상주하고 있을 때에는 “아버지”, “여보” 등의 호칭이 활성화되어, 해당하는 소리정보에 대해 감지하여 웨어러블 디바이스(300)로 정보를 전달하여 사용자에게 알리도록 할 수 있으며, 직장 내에서는 “아버지”, “여보” 등과 같은 단어가 비활성화되며, “OO과장님”, “OO부장님” 등이 활성화되어 해당하는 단어가 감지되었을 때, 사용자에게 알리도록 할 수 있다.For example, when the user resides at home, names such as “father” and “honey” are activated, and the corresponding sound information is sensed and the information is transmitted to the wearable device 300 to notify the user, In the workplace, words such as “Father” and “Honey” are deactivated, and “Director OO” and “Director OO” are activated to notify the user when a corresponding word is detected.

또한, 정보설정부(210)는 장소나 상황에 따라서 주로 사용하는 정보들에 대해 리스트를 구성함으로써 변경되는 상황에 따라 필요한 소리정보들을 일일이 변경하는 것이 아니라, 장소정보에 대해서만 입력을 실시하게 되면 해당하는 소리정보들이 활성화하도록 간편하게 소리정보들을 설정하도록 할 수 있다.In addition, the information setting unit 210 configures a list of mainly used information according to a place or situation, and does not change the necessary sound information according to the changing situation, but when inputting only the place information, the corresponding It is possible to easily set the sound information to activate the sound information.

예컨대, 1번 리스트는 “집”, 2번 리스트는 “회사”, 3번 리스트는 “마트”, 4번 리스트는 “일반 보도” 등으로 구성하고 각각의 리스트에 따라 필요한 소리정보들을 미리 입력하여 저장하면, 사용자의 환경에 따라서 리스트만을 선택하여 해당하는 소리정보들을 모두 식별하도록 할 수 있다.For example, list 1 is composed of “home”, list 2 is “company”, list 3 is “mart”, list 4 is “general sidewalk”, etc. If stored, only the list according to the user's environment can be selected to identify all the corresponding sound information.

또한, 정보설정부(210)은 사용자의 주변에서 발생하는 긴급상황에 대한 비상신호 또는 경보음에 대해 인식하여 사용자에게 알리는 것이 가능하다.In addition, the information setting unit 210 may recognize and notify the user of an emergency signal or an alarm sound for an emergency situation occurring in the vicinity of the user.

예컨대, 사용자의 주변에서 발생하는 경찰차, 소방차의 싸이렌 소리를 인식하여 사용자에게 알리도록 할 수 있으며, 자동차 급정거 시 발생하는 타이어와 노면의 마찰음을 인식하도록 하여 긴급상황을 사용자가 인식하도록 알리는 것이 가능하다.For example, it is possible to notify the user by recognizing the siren sound of a police car or a fire engine occurring in the vicinity of the user, and by recognizing the friction sound between the tire and the road surface generated when the car is suddenly stopped, it is possible to notify the user to recognize the emergency situation. .

또한, 정보설정부(210)는 사용자의 모바일 단말기(200)에 구비되어 있는 GPS수신장치를 통해 사용자의 위치정보를 자동으로 업데이트하여, 사용자의 현재 위치에 따라서 소리정보 리스트를 자동으로 변경하도록 설정할 수 있다.In addition, the information setting unit 210 automatically updates the user's location information through the GPS receiver provided in the user's mobile terminal 200, and sets the sound information list to automatically change according to the user's current location. can

즉, 사용자의 집, 회사, 마트 등의 위치정보를 미리 입력하고, 해당장소에 사용자가 위치하게 되면 GPS수신장치에 의해 수신되는 위치정보와 매칭하여 자동으로 소리정보 리스트를 변경하는 것이 가능하다.That is, it is possible to automatically change the sound information list by inputting the location information of the user's house, company, mart, etc. in advance, and matching the location information received by the GPS receiver when the user is located in the corresponding place.

이때, 소리감지부(110)는 주변에서 발생하는 잡음을 제거하도록 형성되는 소음제거부(미도시)를 포함할 수 있으며, 소음제거부(미도시)를 통해 식별하고자 하는 소리정보를 더욱 선명하게 감지하도록 할 수 있다.At this time, the sound sensing unit 110 may include a noise canceling unit (not shown) formed to remove noise generated in the vicinity, and the sound information to be identified through the noise canceling unit (not shown) can be more clearly identified. can detect it.

또한, 상기의 소음제거부(미도시)는 소음으로 인식되는 음역대 또는 주파수를 감지하여 해당 주파수에 대한 노이즈를 제거할 수 있으며, 소리식별부(220)는 소음제거부(미도시)에 의해 소음 또는 잡음이 제거된 소리정보를 이용하여 명확하게 소리를 식별하도록 할 수 있다. 또한, 소음 또는 잡음으로 인식되는 영역의 주파수 또는 소리의 크기에 따라 필터링을 하여 소리식별부(220) 소리정보를 전달하도록 할 수 있다.In addition, the noise canceling unit (not shown) may detect a sound range or frequency recognized as noise and remove the noise for the corresponding frequency, and the sound identification unit 220 may generate noise by the noise canceling unit (not shown). Alternatively, the sound may be clearly identified using sound information from which noise has been removed. In addition, the sound information may be transmitted to the sound identification unit 220 by filtering according to the frequency or the sound level of the region recognized as noise or noise.

후술하겠지만, 웨어러블 디바이스(300)에는 근거리 통신이 가능한 통신모듈(310)이 형성되며, 인식부(100)의 모션감지부(120)와 연동할 수 있으며, 모션감지부(120)에서 감지되는 감지정보에 따라 웨어러블 디바이스(300)가 사용자에게 감지정보를 알리도록 할 수 있다.As will be described later, a communication module 310 capable of short-distance communication is formed in the wearable device 300 , and may be interlocked with the motion detection unit 120 of the recognition unit 100 , and the detection detected by the motion detection unit 120 . According to the information, the wearable device 300 may notify the user of detection information.

여기서, 모션감지부(120)는 사용자가 시각적으로 인지하지 못하는 사각지대에 설치하여 청각에 의존하여 인지해야 하는 공간에 대한 정보를 감지하도록 할 수 있으며, 모듈형으로 형성되어 상황에 따라 모션감지부(120)를 설치하고자 하는 위치를 자유롭게 변경하는 것이 가능하고, 외출 시 휴대하여 소지하고 다니도록 구성될 수 있다.Here, the motion detection unit 120 may be installed in a blind spot that the user cannot visually recognize to detect information about a space to be recognized depending on hearing. It is possible to freely change the location where the 120 is to be installed, and it can be configured to carry and carry when going out.

예컨대, 사용자가 집에 위치하는 경우에는, 현관에 모션감지부(120)를 설치하여 방문하기 위해 접근하는 사람을 감지하여 초인종을 통해 인지해야 하는 외부의 방문자의 접근정보를 사용자에게 감지정보를 전달할 수 있으며, 회사에 출근하는 경우, 근무하는 사무실의 문 앞에 설치하거나, 개인공간에서 사람이 접근하는 위치에 설치하여 사용자의 등 뒤에서 접근하여 시각적으로 확인이 힘든 사각지대에서의 사람의 움직임을 감지하여 사용자에게 알리도록 할 수 있다.For example, when the user is located at home, the motion detection unit 120 is installed in the entrance hall to detect a person approaching to visit, and to transmit the detection information to the user of the access information of the external visitor that must be recognized through the doorbell. In case of going to work, it can be installed in front of the door of the office where you work, or installed in a location where people approach in a personal space and approach from behind the user's back to detect the movement of a person in a blind spot that is difficult to visually check. You can notify the user.

이때, 모션감지부(120)는 한 개 이상으로 구비될 수 있으며, 반복적으로 사용하는 장소마다 개별로 설치하여 사용하는 것이 가능하며, 해당 설치장소에 근접하게 되면 자동으로 웨어러블 디바이스(300)와 통신할 수 있으며, 설정한 거리 이상으로 이격되면 통신이 해제되어 모션감지부(120)를 설치하기 위한 별도의 동작 없이 사용하는 것이 가능하다.At this time, the motion detection unit 120 may be provided in one or more, it is possible to install and use individually for each repeatedly used place, and automatically communicates with the wearable device 300 when it comes close to the corresponding installation place. If the distance is greater than a set distance, communication is released, and it is possible to use the motion detection unit 120 without a separate operation for installing it.

또한, 모션감지부(120)는 감지거리를 조정하여 사물이나 물체의 움직임을 감지하도록 설정하여, 상황에 따라 감지조건을 달리할 수 있다.In addition, the motion detection unit 120 may be set to detect an object or movement of an object by adjusting the detection distance, and may change the detection condition according to the situation.

예컨대, 유동인구가 많은 사무실의 경우에는 해당 위치에 설치되는 모션감지부(120)에 매우 가깝게 근접했을 때, 사용자에게 알리도록 하여 불필요한 움직임을 감지하지 않도록 할 수 있다.For example, in the case of an office with a large floating population, when the motion detection unit 120 installed at a corresponding location is very close, the user is notified so that unnecessary movement is not detected.

또한, 본 발명의 실시 예에 따른 모션감지부(120)는 설치되는 위치의 정면을 촬영하도록 구비되는 카메라(121)를 더 포함할 수 있으며, 모션감지부(120)가 설정된 감지범위 내에서 움직임을 감지하게 되면, 카메라(121)가 활성화되어 카메라(121)가 작동하여 촬영정보를 웨어러블 디바이스(300)에 전달하여 사용자가 해당지역을 시각적으로 확인하는 것이 가능하도록 형성될 수 있다.In addition, the motion detection unit 120 according to an embodiment of the present invention may further include a camera 121 provided to photograph the front of the installed position, and the motion detection unit 120 moves within a set detection range. is detected, the camera 121 is activated and the camera 121 operates to transmit shooting information to the wearable device 300 so that the user can visually check the corresponding area.

예컨대, 현관에 설치되어 있는 모션감지부(120)에서 사람의 접근이 감지되어 감지정보가 사용자에게 전달되었을 때, 신문배달이나 우유배달과 같이 즉각적으로 대응하지 않아도 되는 상황에 대해 카메라(121)를 통해 전달되는 영상을 확인하여 감지상황을 인지하도록 할 수 있다.For example, when a person's approach is detected by the motion detection unit 120 installed in the entrance and the detection information is transmitted to the user, the camera 121 is used for situations that do not need to respond immediately, such as newspaper delivery or milk delivery. It is possible to recognize the detection situation by checking the image transmitted through the system.

도 4를 참조하면, 웨어러블 디바이스(300)는 인식부(100) 또는 모바일 단말기(200)로부터 감지정보를 수신이 가능한 통신모듈(310) 및 수신되는 감지정보를 사용자에게 전달하는 알림장치(320)를 포함할 수 있다.Referring to FIG. 4 , the wearable device 300 includes a communication module 310 capable of receiving detection information from the recognition unit 100 or the mobile terminal 200 and a notification device 320 that delivers the received detection information to a user. may include.

웨어러블 디바이스의 통신모듈(310)은 모바일 단말기(200) 또는 근거리에 이격되어 설치된 인식부(100)와 연동이 가능하도록 근거리 무선 통신 규격이 구비될 수 있으며, 블루투스 3.0(Bluetooth 3.0), 비콘(iBeacon), UWB(Ultra Wideband), Zigbee, RF모듈, Wi-Fi를 포함하는 근거리 무선통신 규격들 중 적어도 하나가 구비되어 사용자의 모바일 단말기(200) 또는 이격되어 설치된 인식부(100)와 연동될 수 있으며, 사용환경에 따라서 통신거리를 설정할 수 있도록 구비될 수 있다. 또한, 통신모듈(310)은 양방향 통신이 모두 가능하도록 구비될 수 있으며, 모바일 단말기(200) 또는 인식부(100)로부터 감지정보를 수신하는 것이 가능하도록 구비될 수 있다.The communication module 310 of the wearable device may be provided with a short-range wireless communication standard so as to be able to interwork with the mobile terminal 200 or the recognition unit 100 installed spaced apart from each other in a short distance, Bluetooth 3.0, and a beacon. ), UWB (Ultra Wideband), Zigbee, RF module, and at least one of short-range wireless communication standards including Wi-Fi are provided so that the user's mobile terminal 200 or the recognition unit 100 installed spaced apart can be interlocked and may be provided to set the communication distance according to the use environment. In addition, the communication module 310 may be provided to enable both bidirectional communication, and may be provided to enable reception of sensing information from the mobile terminal 200 or the recognition unit 100 .

알림장치(320)는, 모바일 단말기(200) 또는 인식부(100)로부터 수신되는 감지정보를 사용자에게 전달하기 위해 웨어러블 디바이스(300)에 진동운동을 하도록 구비되는 진동모듈(321) 및 알림 메시지 등을 사용자가 시각으로 인지하도록 형성되는 디스플레이(322)를 포함할 수 있으며, 제어장치(323)를 구비하여 진동모듈(321) 및 디스플레이(322) 신호의 온/오프를 제어하도록 형성될 수 있다.The notification device 320 includes a vibration module 321 and a notification message provided to vibrate the wearable device 300 in order to transmit the sensing information received from the mobile terminal 200 or the recognition unit 100 to the user. may include a display 322 configured to be visually recognized by the user, and may be configured to include a control device 323 to control the on/off of the vibration module 321 and the display 322 signal.

이때, 진동모듈(321)은 모바일 단말기(200) 또는 인식부(100)로부터 수신되는 감지정보에 따라 진동패턴을 달리하여, 사용자가 진동패턴을 통해 해당 감지정보에 대한 내용을 신속하게 인지하는 것을 돕도록 할 수 있다.At this time, the vibration module 321 changes the vibration pattern according to the detection information received from the mobile terminal 200 or the recognition unit 100, so that the user quickly recognizes the contents of the detection information through the vibration pattern. can help you

예컨대, 사용자를 호칭하는 소리정보가 감지되는 경우에는 0.3초 내지 0.4초의 간격으로 진동이 빠르게 울리도록 할 수 있으며, 방문객이 방문하는 경우에는 1.5초 내지 1.7초의 간격으로 진동이 느리게 반복되어 울리도록 하여 진동패턴을 통해 사용자가 상황을 인식하도록 할 수 있다.For example, when sound information calling a user is sensed, the vibration can be quickly made to sound at intervals of 0.3 seconds to 0.4 seconds, and when a visitor visits, the vibration is made to repeat slowly at intervals of 1.5 seconds to 1.7 seconds. It is possible to make the user aware of the situation through the vibration pattern.

이때, 인식부(100)를 통해 감지되는 정보에 대한 구체적인 내용은 디스플레이(322)를 통해 사용자에게 알리도록 할 수 있다.In this case, detailed information about the information sensed through the recognition unit 100 may be notified to the user through the display 322 .

예컨대, 소리를 감지하여 사용자에게 알리도록 하는 경우에는, 진동모듈(321)이 작동함과 동시에 감지하는 소리정보를 문자로 나타내어 사용자가 정확하게 인식하도록 할 수 있으며, 모션감지부(120)에 의해 움직임이 감지되었을 때에는 카메라(121)를 통한 영상정보를 디스플레이(322)에 출력하여 시각적으로 상황을 판단하도록 할 수 있다.For example, in the case of detecting a sound and notifying the user, the vibration module 321 operates and the sensed sound information is displayed in text so that the user can accurately recognize it, and the motion detection unit 120 moves When this is detected, image information through the camera 121 may be output to the display 322 to visually determine the situation.

이때, 감지되는 정보에 대한 내용은 디스플레이(322)를 통하여 감지상황을 문자로 표시하도록 할 수 있다.In this case, the content of the sensed information may display the sensed situation in text through the display 322 .

제어장치(323)는 진동모듈(321) 또는 디스플레이(322)의 작동을 정지하도록 웨어러블 디바이스(300)의 일단에 버튼 형태로 구비할 수 있다. 즉, 인식부(100)로부터 감지되는 정보가 알림장치(320)에 의해 사용자에게 전달되었을 때에, 사용자가 해당 정보에 대해 충분히 인지하면, 제어장치(323)를 이용하여 진동모듈(321)과 디스플레이(322)의 작동을 정지하도록 할 수 있다.The control device 323 may be provided in the form of a button at one end of the wearable device 300 to stop the operation of the vibration module 321 or the display 322 . That is, when the information sensed from the recognition unit 100 is delivered to the user by the notification device 320 , if the user sufficiently recognizes the information, the vibration module 321 and the display using the control device 323 . It is possible to stop the operation of (322).

이때, 웨어러블 디바이스(300)는 방향성을 감지하도록 구비되는 자이로 센서(325)를 더 포함할 수 있으며, 웨어러블 디바이스(300)를 착용하고 있는 팔의 모션을 감지하는 것이 가능하다.In this case, the wearable device 300 may further include a gyro sensor 325 provided to detect a direction, and it is possible to detect a motion of an arm wearing the wearable device 300 .

즉, 사용자가 미리 설정된 동작에 따라서 웨어러블 디바이스(300)를 착용하고 있는 팔을 상하로 빠르게 흔들거나, 좌우로 반복해서 흔들 경우에 자이로 센서(325)에 의해 사용자의 움직임을 감지할 수 있으며, 상기 자이로 센서(325)에 의해 감지되는 사용자의 움직임을 통해 진동모듈(321) 또는 디스플레이(322)를 제어하는 것이 가능하다.That is, when the user quickly shakes the arm wearing the wearable device 300 up and down according to a preset motion or repeatedly shakes it left and right, the user's movement can be detected by the gyro sensor 325, It is possible to control the vibration module 321 or the display 322 through the user's movement detected by the gyro sensor 325 .

예컨대, 진동모듈(321) 및 디스플레이(322)를 포함하는 알림장치(320)가 작동하는 상황에서 사용자가 웨어러블 디바이스(300)를 착용하지 않은 팔을 사용하지 못하여 제어장치(323)를 누르지 못하게 되면, 착용하는 팔을 상하로 빠르게 흔들어 알림장치(320)의 작동을 중지하도록 할 수 있다. For example, in a situation in which the notification device 320 including the vibration module 321 and the display 322 is operating, the user cannot use the arm not wearing the wearable device 300 so that the control device 323 cannot be pressed. , it is possible to quickly shake the worn arm up and down to stop the operation of the notification device 320 .

도 5를 참조하면, 본 발명의 실시 예에 따른 모바일 단말기(200)는 비상신호 수집부(330)를 더 포함하며, 상기의 비상신호 수집부(330)에 의해 화재, 지진, 폭우 등의 재난 및 사건정보를 수집하도록 할 수 있다.Referring to FIG. 5 , the mobile terminal 200 according to the embodiment of the present invention further includes an emergency signal collection unit 330 , and disasters such as fire, earthquake, heavy rain, etc. are generated by the emergency signal collection unit 330 . and event information can be collected.

이때, 비상신호 수집부(330)는 GPS수신장치로부터 사용자의 위치정보를 기반으로 해당지역의 재난 및 사건정보를 감지하도록 할 수 있으며, 감지되는 정보를 웨어러블 디바이스(300)에 전송하여 사용자에게 알리도록 할 수 있다.In this case, the emergency signal collection unit 330 may detect disaster and event information in the corresponding area based on the user's location information from the GPS receiver, and transmit the detected information to the wearable device 300 to notify the user. can make it

또한, 비상신호 수집부(330)는 긴급안전문자 또는 긴급재난문자와 같이 모바일 단말기(200)로 전송되는 재난정보를 사용자에게 알리는 것도 가능하며, 재난 및 사건정보를 관리하는 별도의 위치정보기반 중앙시스템(N)을 마련하여 GPS수신장치의 위치정보에 따라 상시로 해당위치에서의 정보를 인지할 수 있도록 할 수 있다.In addition, the emergency signal collection unit 330 may notify the user of disaster information transmitted to the mobile terminal 200, such as emergency safety text or emergency disaster text, and a separate location information-based central center for managing disaster and event information. By providing the system N, it is possible to always recognize information at the corresponding location according to the location information of the GPS receiver.

또한, 도 6을 참조하면, 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은 적외선열감지센서와 영상수집장치가 구비되는 제2웨어러블 디바이스(400)를 더 포함할 수 있다.Also, referring to FIG. 6 , the system for assisting the hearing impaired using a wearable device according to an embodiment of the present invention may further include a second wearable device 400 provided with an infrared heat sensor and an image collecting device.

제2웨어러블 디바이스(400)는 사용자의 손동작을 촬영할 수 있는 위치에 구비되어 영상수집장치(420)에 의해 사용자의 전면을 촬영하도록 형성될 수 있으며, 영상수집장치(420)를 통해 사용자의 손동작을 인식하도록 할 수 있다.The second wearable device 400 may be provided at a position capable of photographing the user's hand gesture, and may be formed to photograph the user's front surface by the image collecting device 420 , and the user's hand gesture through the image collecting device 420 . can make it recognizable.

이때, 적외선열감지센서(410)는 영상수집장치(420)가 사용자의 손동작을 인식함에 있어서, 이미지를 통해 인식이 잘 되지 않거나, 사용자 손 주변의 환경으로 인하여 인식이 제대로 되지 않는 점을 방지하기 위해 사용자의 손에서 방출하는 열을 감지하고, 영상수집장치(420)에서 인식하는 사용자의 손동작과 적외선열감지센서(410)에 의해 사용자의 손에서 발생하는 열이 감지되는 지점을 매칭하여 사용자의 손동작이 정확히 인식되도록 할 수 있다.At this time, the infrared heat sensor 410 prevents the image collecting device 420 from recognizing the user's hand gestures, which is not well recognized through the image or is not properly recognized due to the environment around the user's hand. To detect the heat emitted from the user's hand, and match the user's hand gesture recognized by the image collection device 420 and the point where the heat generated from the user's hand is sensed by the infrared heat sensor 410, the user's Hand gestures can be recognized accurately.

이때, 본 발명의 실시 예에 따른 모바일 단말기(200)는 사용자의 손동작에 의한 수화를 인식하는 수화 인식부(240) 및 수화 번역부(250)를 더 포함할 수 있다.In this case, the mobile terminal 200 according to an embodiment of the present invention may further include a sign language recognition unit 240 and a sign language translation unit 250 for recognizing sign language by a user's hand gesture.

이때, 수화 인식부(240)는 청각장애인이 사용하는 수화에 대한 데이터를 기반으로 학습되는 머신러닝 기술을 통해 사용자의 수화를 인식할 수 있으며, 별도로 지정하는 손동작에 대해 인식하도록 할 수 있다.In this case, the sign language recognition unit 240 may recognize the user's sign language through machine learning technology that is learned based on data on sign language used by the hearing impaired, and may recognize a separately designated hand gesture.

수화 번역부(250)는 수화 인식부(240)에 의해 인식되는 사용자의 수화내용을 번역하도록 할 수 있으며, 상기 수화 번역부(250)에 의해 번역된 수화내용은 텍스트 또는 소리로 변환하여 대화하는 상대방에게 전달할 수 있다.The sign language translation unit 250 may translate the user's sign language content recognized by the sign language recognition unit 240 , and the sign language content translated by the sign language translation unit 250 is converted into text or sound for conversation. can be passed on to the other party.

이상 살펴본 바와 같이 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며 본 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적인 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, the present invention has been described with reference to the embodiment shown in the drawings, but it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible therefrom. will be. Accordingly, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

100: 인식부 
110: 소리감지부
120: 모션감지부
121: 카메라
200: 모바일 단말기
210: 정보설정부
220: 소리식별부
230: 신호전달부
240: 수화 인식부
250: 수화 번역부
300: 웨어러블 디바이스
310: 통신모듈
320: 알림장치
321: 진동모듈
322: 디스플레이 모듈
323: 제어장치
324: 마이크
325: 자이로 센서
330: 비상신호 수집부
N: 위치정보기반 중앙시스템
400: 제2웨어러블 디바이스
410: 적외선열감지센서
420: 영상수집장치
100: recognition unit
110: sound sensing unit
120: motion detection unit
121: camera
200: mobile terminal
210: information setting unit
220: sound identification unit
230: signal transmission unit
240: sign language recognition unit
250: sign language translation department
300: wearable device
310: communication module
320: notification device
321: vibration module
322: display module
323: control device
324: microphone
325: gyro sensor
330: emergency signal collection unit
N: Location information-based central system
400: second wearable device
410: infrared heat sensor
420: image acquisition device

Claims (5)

사용자 주변의 소리 또는 움직임을 측정하는 인식부;
상기 인식부와 연동하여 감지하는 정보를 제어하도록 제어신호를 전송하는 모바일 단말기;
상기 모바일 단말기 또는 상기 인식부와 연동되어 약속된 신호체계에 따라서 사용자에게 알림을 실시하는 웨어러블 디바이스;를 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
a recognition unit that measures a sound or movement around the user;
a mobile terminal that transmits a control signal to control information to be sensed in conjunction with the recognition unit;
A system for assisting the hearing impaired using a wearable device, comprising: a wearable device interlocking with the mobile terminal or the recognition unit to notify a user according to a promised signal system
제1항에 있어서,
상기 인식부는,
사용자 주변의 소리를 감지할 수 있도록 구비되는 소리감지부;
설정되는 범위 내의 움직임을 감지하도록 구비되는 모션감지부; 중 하나 이상을 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
According to claim 1,
The recognition unit,
a sound sensing unit provided to detect a sound around the user;
a motion detection unit provided to detect a motion within a set range; Assistive system for the hearing impaired using a wearable device, characterized in that it comprises one or more of
제2항에 있어서,
상기 모바일단말기는,
상기 소리감지부에서 감지되는 소리정보를 선별하기 위한 정보를 입력하여 설정하는 정보설정부;
상기 정보설정부에 의해 설정된 기준에 따라 소리정보를 식별하여 선별되는 소리를 인식하는 소리식별부; 및
상기 소리식별부에서 선별되는 정보에 해당되는 안내신호를 상기 웨어러블 디바이스에 전달하는 신호전달부;를 포함하고,
상기 정보설정부는,
사용자에게 필요한 소리정보 리스트를 위치 또는 상황에 따라 설정하는 것이 가능하며, 사용자의 위치정보에 따라 상기 소리정보 리스트 설정이 변경되도록 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
3. The method of claim 2,
The mobile terminal is
an information setting unit configured to input and set information for selecting sound information detected by the sound sensing unit;
a sound identification unit for recognizing a sound selected by identifying sound information according to a criterion set by the information setting unit; and
Including; and a signal transmitting unit for transmitting a guide signal corresponding to the information selected by the sound identification unit to the wearable device,
The information setting unit,
It is possible to set a list of sound information necessary for a user according to a location or situation, and an assistance system for the hearing impaired using a wearable device that allows the setting of the sound information list to be changed according to the location information of the user
제1항에 있어서,
상기 웨어러블 디바이스는,
상기 인식부 또는 상기 모바일단말기와 통신하도록 구비되는 통신 모듈; 및
상기 통신 모듈로부터 수신되는 정보에 따라 사용자에게 신호를 전달하는 알림장치;를 포함하고,
상기 알림장치는,
상기 신호전달부로부터 전달되는 신호에 따라 진동하도록 구비되는 진동모듈;
상기 신호전달부로부터 전달되는 신호를 화면으로 표시하도록 구비되는 디스플레이;
상기 진동모듈 또는 상기 디스플레이의 신호를 제어하도록 형성되는 제어장치;를 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
According to claim 1,
The wearable device,
a communication module provided to communicate with the recognition unit or the mobile terminal; and
and a notification device that transmits a signal to the user according to the information received from the communication module;
The notification device is
a vibration module provided to vibrate according to a signal transmitted from the signal transmission unit;
a display provided to display the signal transmitted from the signal transmission unit on a screen;
Auxiliary system for the hearing impaired using a wearable device comprising a; a control device formed to control the vibration module or the signal of the display
제1항에 있어서,
상기 웨어러블 디바이스는,
화재, 재난, 또는 사고를 포함하는 긴급신호를 수집하는 비상신호 수집부;를 더 포함하고,
상기 비상신호수집부는,
사용자 위치 주변의 사건정보를 수집하여, 상기 알림장치를 이용하여 사용자에게 알리는 것을 특징으로 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템

According to claim 1,
The wearable device,
It further includes; an emergency signal collection unit for collecting emergency signals including fire, disaster, or accident;
The emergency signal collecting unit,
An assisting system for the hearing impaired using a wearable device, characterized in that by collecting event information around the user's location and notifying the user using the notification device

KR1020200025202A 2020-02-28 2020-02-28 Assistance system for the deaf using wearable device KR102367299B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200025202A KR102367299B1 (en) 2020-02-28 2020-02-28 Assistance system for the deaf using wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200025202A KR102367299B1 (en) 2020-02-28 2020-02-28 Assistance system for the deaf using wearable device

Publications (2)

Publication Number Publication Date
KR20210109940A true KR20210109940A (en) 2021-09-07
KR102367299B1 KR102367299B1 (en) 2022-02-23

Family

ID=77797510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025202A KR102367299B1 (en) 2020-02-28 2020-02-28 Assistance system for the deaf using wearable device

Country Status (1)

Country Link
KR (1) KR102367299B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100117306A (en) * 2009-04-24 2010-11-03 (주)에스티오 System for manage old man living alone
KR20160013657A (en) * 2014-07-28 2016-02-05 강의신 Watch for the deaf
KR20160014743A (en) * 2016-01-20 2016-02-11 넥시스 주식회사 System and method for recognizing signal switch by wearable glass device
KR20170105769A (en) * 2016-03-10 2017-09-20 박상률 Sound recognition apparatus and method for hearing impaired person
KR20180018649A (en) * 2018-02-14 2018-02-21 유퍼스트(주) Neckband for providing alarm service for the hearing impaired

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100117306A (en) * 2009-04-24 2010-11-03 (주)에스티오 System for manage old man living alone
KR20160013657A (en) * 2014-07-28 2016-02-05 강의신 Watch for the deaf
KR20160014743A (en) * 2016-01-20 2016-02-11 넥시스 주식회사 System and method for recognizing signal switch by wearable glass device
KR20170105769A (en) * 2016-03-10 2017-09-20 박상률 Sound recognition apparatus and method for hearing impaired person
KR20180018649A (en) * 2018-02-14 2018-02-21 유퍼스트(주) Neckband for providing alarm service for the hearing impaired

Also Published As

Publication number Publication date
KR102367299B1 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
US8606316B2 (en) Portable blind aid device
US7356473B2 (en) Management and assistance system for the deaf
KR101700395B1 (en) Security drone and mobile security system thereof
US8842006B2 (en) Security system and method using mobile-telephone technology
KR101459104B1 (en) Intelligent cctv system detecting emergency with motion analysis and method of emergency detection using the same
KR101245165B1 (en) Crime prevention security system
EP2494533B1 (en) Mobile device, security system comprising a mobile device and use of a mobile device in a security system
KR102086564B1 (en) Intelligent evacuation guidance system based on internet of things
JP2008203985A (en) Emergency notification system having emergency notification function, and the emergency response function
KR101545080B1 (en) Smart security system
KR20210010703A (en) An accident management system for underground parking lot and method using the same
KR101792427B1 (en) Emergency Bell System
KR20110123968A (en) An apparatus, system and method for personal security using circumstance recognition
KR102367299B1 (en) Assistance system for the deaf using wearable device
KR101887010B1 (en) Vehicle signal transmission device and the method thereof
KR20160052496A (en) screaming detect emergency call system and method
KR101473926B1 (en) Household Management System and Method
KR102113419B1 (en) System and method for reporting disaster using automatic video call switching
KR101401299B1 (en) Method for taking a picture of a subject using a smart phone gps connected to network cctvs
WO2020256334A1 (en) Warning and display device for coping with emergency situation by using smart phone
WO2021111654A1 (en) Processing device, processing method, and program
KR101598466B1 (en) safety assistance system for auditory disabled
JP7463143B2 (en) Security Systems
KR101571838B1 (en) Multi functional system utilizing beacon and method for using the same
KR101393719B1 (en) Intruder supervising system using camera and object perception sensor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant