KR102367299B1 - 웨어러블 디바이스를 이용한 청각장애인 보조 시스템 - Google Patents

웨어러블 디바이스를 이용한 청각장애인 보조 시스템 Download PDF

Info

Publication number
KR102367299B1
KR102367299B1 KR1020200025202A KR20200025202A KR102367299B1 KR 102367299 B1 KR102367299 B1 KR 102367299B1 KR 1020200025202 A KR1020200025202 A KR 1020200025202A KR 20200025202 A KR20200025202 A KR 20200025202A KR 102367299 B1 KR102367299 B1 KR 102367299B1
Authority
KR
South Korea
Prior art keywords
user
information
sound
unit
wearable device
Prior art date
Application number
KR1020200025202A
Other languages
English (en)
Other versions
KR20210109940A (ko
Inventor
조도운
Original Assignee
조도운
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조도운 filed Critical 조도운
Priority to KR1020200025202A priority Critical patent/KR102367299B1/ko
Publication of KR20210109940A publication Critical patent/KR20210109940A/ko
Application granted granted Critical
Publication of KR102367299B1 publication Critical patent/KR102367299B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 웨어러블 디바이스를 이용한 청각장애인 보조 시스템에 관한 것으로, 사용자 주변의 소리 또는 움직임을 측정하는 인식부; 상기 인식부와 연동하여 감지하는 정보를 제어하도록 제어신호를 전송하는 모바일 단말기; 상기 모바일 단말기 또는 상기 인식부와 연동되어 약속된 신호체계에 따라서 사용자에게 알림을 실시하는 웨어러블 디바이스;를 포함하며, 상기 인식부는, 상기 모바일 단말기 또는 상기 웨어러블 디바이스 중 하나 이상에 구비될 수 있다.

Description

웨어러블 디바이스를 이용한 청각장애인 보조 시스템{Assistance system for the deaf using wearable device}
본 발명은 웨어러블 디바이스를 이용한 청각장애인 보조 시스템에 관한 것으로, 보다 상세하게는 사용자 주변의 소리를 감지하거나, 사물의 움직임을 감지하도록 형성되는 인식부가 사용자가 착용하는 웨어러블 디바이스와 연동하여 사용자에게 감지정보를 전달할 수 있으며, 사용자의 모바일 단말기를 이용하여 인식하고자 하는 정보를 설정하여 상황에 따라 필요한 정보를 선택적으로 감지하도록 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템에 관한 것이다.
일반적으로, 청각장애인은 소리를 듣지 못하기 때문에 시각에 의지하여 주변의 정보를 인식하여 생활하기 때문에 상황을 제대로 인식하지 못하고 위험으로부터 대비하지 못하는 문제가 발생할 수 있다.
또한, 시각에 의해서만 정보를 판단하기 때문에 청각에 의해 판단해야 하는 상황에서는 눈으로 확인하더라도 상황을 제대로 인지하지 못할 수 있다. 특히, 화재가 발생하거나, 긴급상황이 발생하는 경우에는 소리로 알림을 실시하는 경우가 대부분이기 때문에 소리를 듣지 못하는 청각장애인의 주변에서 위험상황이 발생하는 경우에는 이를 즉시 인지하지 못하여 위험상황에 쉽게 노출될 수 있는 우려가 있다.
이러한 문제점을 해결하기 위한 예로써, 한국공개특허 제10-2017-0123798호 “청각장애인용 화재 경보밴드”는 화재경보기와 통신할 수 있는 무선 통신모듈; 연기를 감지할 수 있는 연기 감지 센서; 상기 무선 통신모듈이 신호를 받은 경우 또는 상기 연기 감지 센서에서 신호를 받은 경우 진동할 수 있는 진동 모듈; 상기 진동모듈이 동작할 때 점멸하여 시각적인 신호를 줄 수 있는 점멸램프;와 상기 무선 통신모듈과 연기 감지 센서와 진동모듈과 점멸램프를 포함하는 밴드부를 포함하는 경보밴드에 대해 개시되어 있다.
그러나, 상기와 같은 종래의 청각장애인을 위한 보조장치는 화재 등의 긴급상황에 대한 알림을 실시하는 기술이 개시되어 있을 뿐, 사용자의 상황에 맞게 인식하여 사용자에게 알리도록 하는 다른 수단이 개시되어 있지 않다.
또한, 청각장애인을 위한 보조장치의 다른 예로써, 한국등록실용신안 제20-0231384호 “청각장애인용 방문자 감지 및 표시장치”에서는 방문자의 방문여부를 감지하는 센서부와, 상기 센서부로부터의 감지신호를 처리하는 신호처리부와, 상기 신호처리부로부터 출력되는 소정의 신호를 전송하기 위한 신호전 송부와, 상기 신호전송부로부터 소정의 신호가 있을 경우 청각장애인에게 방문자가 방문했다는 신호를 출력하는 신호표 시부를 포함하는 청각장애인용 감지장치에 대해 개시되어 있다.
그러나, 제20-0231384호의 청각장애인용 감지장치도 방문자의 방문여부 등 한정된 정보만을 감지하는 수단만 개시되어 있을 뿐, 사용자 주변의 정보를 감지할 수 있는 또다른 수단도 구비되지 않았다.
따라서, 상기와 같은 문제점을 인식하고 개선하는 것이 시급하다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 사용자 주변의 소리를 감지하거나, 사물의 움직임을 감지하도록 형성되는 인식부가 사용자의 웨어러블 디바이스와 연동하도록 하여 사용자 주변의 정보를 사용자에게 알려주도록 하여 사용자가 주변을 인식하도록 할 수 있으며, 사용자의 모바일 단말기를 이용하여 인식하고자 하는 정보를 설정하도록 하여 상황에 따라 필요한 정보를 선택적으로 감지하도록 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 제공하는 데 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은, 사용자 주변의 소리 또는 움직임을 측정하는 인식부; 상기 인식부와 연동하여 감지하는 정보를 제어하도록 제어신호를 전송하는 모바일 단말기; 상기 모바일 단말기 또는 상기 인식부와 연동되어 약속된 신호체계에 따라서 사용자에게 알림을 실시하는 웨어러블 디바이스;를 포함할 수 있다.
이때, 상기 인식부는, 사용자 주변의 소리를 감지할 수 있도록 구비되는 소리감지부; 설정되는 범위 내의 움직임을 감지하도록 구비되는 모션감지부; 중 하나 이상을 포함할 수 있다.
또한, 상기 모션감지부는, 영상촬영이 가능한 카메라;를 포함하고, 상기 카메라는, 상기 모션감지부에 의해 움직임이 감지될 시 영상을 촬영하여 상기 알림장치로 영상정보를 전송할 수 있다.
이때, 상기 모바일단말기는, 상기 소리감지부에서 감지되는 소리정보를 선별하기 위한 정보를 입력하여 설정하는 정보설정부; 상기 정보설정부에 의해 설정된 기준에 따라 소리정보를 식별하여 선별되는 소리를 인식하는 소리식별부; 및 상기 소리식별부에서 선별되는 정보에 해당되는 안내신호를 상기 웨어러블 디바이스에 전달하는 신호전달부;를 포함하고, 상기 정보설정부는, 사용자에게 필요한 소리정보 리스트를 위치 또는 상황에 따라 설정하는 것이 가능하며, 사용자의 위치정보에 따라 상기 소리정보 리스트 설정이 변경되도록 할 수 있다.
이때, 상기 웨어러블 디바이스는, 상기 인식부 또는 상기 모바일단말기와 통신하도록 구비되는 통신 모듈; 및 상기 통신 모듈로부터 수신되는 정보에 따라 사용자에게 신호를 전달하는 알림장치;를 포함하고, 상기 알림장치는, 상기 신호전달부로부터 전달되는 신호에 따라 진동하도록 구비되는 진동모듈; 상기 신호전달부로부터 전달되는 신호를 화면으로 표시하도록 구비되는 디스플레이; 상기 진동모듈 또는 상기 디스플레이의 신호를 제어하도록 형성되는 제어장치;를 포함할 수 있다.
또한, 상기 웨어러블 디바이스는, 상기 웨어러블 디바이스의 움직임을 감지하도록 구비되는 자이로센서;를 더 포함하고, 상기 자이로 센서는, 상기 웨어러블 디바이스의 움직임을 감지하여, 상기 진동모듈 및 상기 디스플레이를 제어하도록 신호를 전송할 수 있다.
또한, 상기 웨어러블 디바이스는, 화재, 재난, 또는 사고를 포함하는 긴급신호를 수집하는 비상신호 수집부;를 더 포함하고, 상기 비상신호수집부는, 사용자 위치 주변의 사건정보를 수집하여, 상기 알림장치를 이용하여 사용자에게 알리도록 할 수 있다.
또한, 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은, 적외선열감지센서와 영상수집장치가 구비되는 제2웨어러블 디바이스를; 더 포함하고, 상기 제2웨어러블 디바이스는, 상기 영상수집장치에서 인식되는 사용자의 손동작과 상기 적외선열감지센서에 의해 열이 감지되는 지점을 매칭하여 사용자의 손동작을 인식할 수 있다.
이때, 상기 모바일 단말기는, 사용자의 손동작에 의한 수화를 인식하는 수화 인식부; 상기 수화 인식부에 의해 인식되는 동작을 텍스트 또는 소리로 변환하는 수화 번역부;를 더 포함하고, 상기 수화 인식부는, 수화를 인식하는 데 필요한 데이터를 기반으로 학습되는 머신러닝 기술을 통해 사용자의 수화를 인식하여, 상기 수화 번역부에 의해 텍스트 또는 소리로 변환하여 출력할 수 있다.
본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인용 보조 시스템은, 사용자 주변에서 발생하는 소리를 감지하거나, 사용자에게 접근하는 사람 또는 사물의 움직임을 감지하도록 형성되는 인식부가 사용자의 웨어러블 디바이스와 연동하여 사용자에게 감지정보를 알려줄 수 있다.
특히, 사용자의 모바일 단말기를 이용하여 인식하고자 하는 정보의 설정이 가능하며, 사용자의 환경에 따라 설정이 변경되어 사용자에게 선택적으로 정보를 제공하는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 나타내는 예시도이다.
도 2는 도 1의 시스템 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 웨어러블 디바이스가 인식부의 정보를 수신하는 기본구조를 나타내는 구성도이다.
도 4는 본 발명의 실시 예에 따른 웨어러블 디바이스의 사시도이다.
도 5는 본 발명의 실시 예에 따른 웨어러블 디바이스가 비상신호 수집부를 구성하는 모습을 보여주는 구성도이다.
도 6은 볼 발명의 실시 예에 따른 제2웨어러블 디바이스가 사용자의 수화를 인식하는 구성을 나타내는 블록도이다.
이하, 첨부한 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 도한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 도 1 내지 도 5를 참조하여 상세하게 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템을 나타내는 예시도이고, 도 2는 도 1의 시스템 구성을 나타내는 블록도이고, 도 3은 본 발명의 실시 예에 따른 웨어러블 디바이스가 인식부의 정보를 수신하는 기본구조를 나타내는 구성도이고, 도 4는 본 발명의 실시 예에 따른 웨어러블 디바이스의 사시도이고, 도 5는 본 발명의 실시 예에 따른 웨어러블 디바이스가 비상신호 수집부를 구성하는 모습을 보여주는 구성도이고, 도 6은 볼 발명의 실시 예에 따른 제2웨어러블 디바이스가 사용자의 수화를 인식하는 구성을 나타내는 블록도이다.
도1 내지 도 4를 참조하면, 본 발명의 시시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은 사용자의 주변에서 발생하는 긴급상황 또는 음성을 인식하도록 하나 이상의 인식부를 복합적으로 구성하며 웨어러블 디바이스와 연동하여 사용자에게 알려줌으로써, 인식이 필요한 소리신호를 전달하여 인지하도록 구성될 수 있다.
보다 구체적으로, 상기의 작동을 위해 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인용 제어 시스템(1)은 인식부(100), 모바일 단말기(200), 및 웨어러블 디바이스(300)를 포함할 수 있다.
여기서, 인식부(100)는 주변에서 발생하는 소리에 의한 정보 또는 사물이나 사람의 움직임을 측정하기 위해 구비되는 것으로서, 소리감지부(110) 또는 모션감지부(120) 중 하나 이상을 포함할 수 있다.
소리감지부(110)는 마이크, 아두이노 소리감지 센서 등과 같이 소리를 수집하기 위한 센서들을 포함할 수 있으며, 모션감지부(120)는 초음파 센서, 적외선 PIR 센서. 아두이노 인체감지센서 등 사물의 움직임을 감지하거나 존재여부를 감지하기 위한 센서 등을 포함할 수 있다.
이와 같은 센서 등은 통상적으로 알려진 센서를 이용하므로 구체적인 설명은 생략하기로 하며, 모바일 단말기(200) 또는 웨어러블 디바이스(300)에 구비될 수 있으며, 사용자가 감지하지 못하는 사각지대에 단독으로 설치하여 모바일 단말기(200) 또는 웨어러블 디바이스(300)와 연동하여 감지정보를 전달하도록 구성될 수 있다.
예컨대, 소리를 감지하기 위한 소리감지부(110)는 모바일 단말기(200)에 구비되어 있는 단말기 마이크(미도시)를 이용하거나 웨어러블 디바이스(300)에 마이크(324)를 구비하여 소리를 감지하도록 할 수 있고, 모션감지부(120)는 사용자가 인식하기 힘든 등이나 허리에 센서를 부착하거나, 사람이 필수적으로 접근하는 위치에 부착하여 감지하여 모바일 단말기(200) 또는 웨어러블 디바이스(300)에 감지정보를 송신하도록 할 수 있다.
모바일 단말기(200)는 인식부(100)와 연동될 수 있으며, 상기에서 서술한 센서들을 포함하는 인식부(100)에 의한 감지정보를 수신하도록 할 수 있으며, 감지되는 정보들을 선별하고 선택적으로 수용하기 위해 정보설정부(210), 소리식별부(220) 및 신호전달부(230)를 포함할 수 있다.
또한, 모바일 단말기(200)는 특정 단말기를 별도로 구비하지 않고, 사용자가 휴대하고 있는 단말기를 이용하여 인식부(100)와 연동하는 것이 가능하다. 즉, 통상적으로 사용자가 휴대하고 있는 모바일 단말기(200)를 이용하여 인식부(100)와 연동하는 것이 가능하다.
여기서, 정보설정부(210)는 소리감지부(110)를 통해 감지되는 소리정보들 중에서 사용자에게 필요한 특정 단어 또는 소리를 식별할 수 있도록 모바일 단말기(200) 내에서 설정할 수 있다.
소리식별부(220)는 상기 정보설정부(210)에 의해 설정되는 정보들을 기준으로 하여 소리감지부(110)에서 감지되는 소리정보들을 식별하고, 정보설정부(210)에 저장되어 있는 소리정보에 대해서만 인식하여 웨어러블 디바이스(300)에 알리도록 할 수 있다.
이때, 정보설정부(210)는 감지하고자 하는 소리정보에 해당하는 단어를 문자로 입력할 수 있으며, 문자에 해당하는 소리정보를 소리감지부(110)에서 감지하도록 설정할 수 있으며, 초기에 정보설정부(210)에 저장되는 단어들은 자동으로 활성화되어 소리식별부(220)에서 식별하며, 사용자의 환경에 따라 저장되어 있는 단어가 비활성화되어 해당하는 소리정보가 소리감지부(110)를 통해 감지되더라도 소리식별부(220)에서 식별하지 않도록 할 수 있다.
즉, 소리감지부(110)는 사용자 주변의 소리정보들을 모두 감지할 수 있으나, 소리식별부(220)는 정보설정부(210)에 저장된 정보에 의해서 소리를 식별하여 사용자에게 알리도록 형성될 수 있으며, 정보설정부(210)의 저장된 정보들은 상황에 따라 활성화/비활성화가 변경되도록 할 수 있다.
예컨대, 사용자가 가정에 상주하고 있을 때에는 “아버지”, “여보” 등의 호칭이 활성화되어, 해당하는 소리정보에 대해 감지하여 웨어러블 디바이스(300)로 정보를 전달하여 사용자에게 알리도록 할 수 있으며, 직장 내에서는 “아버지”, “여보” 등과 같은 단어가 비활성화되며, “OO과장님”, “OO부장님” 등이 활성화되어 해당하는 단어가 감지되었을 때, 사용자에게 알리도록 할 수 있다.
또한, 정보설정부(210)는 장소나 상황에 따라서 주로 사용하는 정보들에 대해 리스트를 구성함으로써 변경되는 상황에 따라 필요한 소리정보들을 일일이 변경하는 것이 아니라, 장소정보에 대해서만 입력을 실시하게 되면 해당하는 소리정보들이 활성화하도록 간편하게 소리정보들을 설정하도록 할 수 있다.
예컨대, 1번 리스트는 “집”, 2번 리스트는 “회사”, 3번 리스트는 “마트”, 4번 리스트는 “일반 보도” 등으로 구성하고 각각의 리스트에 따라 필요한 소리정보들을 미리 입력하여 저장하면, 사용자의 환경에 따라서 리스트만을 선택하여 해당하는 소리정보들을 모두 식별하도록 할 수 있다.
또한, 정보설정부(210)은 사용자의 주변에서 발생하는 긴급상황에 대한 비상신호 또는 경보음에 대해 인식하여 사용자에게 알리는 것이 가능하다.
예컨대, 사용자의 주변에서 발생하는 경찰차, 소방차의 싸이렌 소리를 인식하여 사용자에게 알리도록 할 수 있으며, 자동차 급정거 시 발생하는 타이어와 노면의 마찰음을 인식하도록 하여 긴급상황을 사용자가 인식하도록 알리는 것이 가능하다.
또한, 정보설정부(210)는 사용자의 모바일 단말기(200)에 구비되어 있는 GPS수신장치를 통해 사용자의 위치정보를 자동으로 업데이트하여, 사용자의 현재 위치에 따라서 소리정보 리스트를 자동으로 변경하도록 설정할 수 있다.
즉, 사용자의 집, 회사, 마트 등의 위치정보를 미리 입력하고, 해당장소에 사용자가 위치하게 되면 GPS수신장치에 의해 수신되는 위치정보와 매칭하여 자동으로 소리정보 리스트를 변경하는 것이 가능하다.
이때, 소리감지부(110)는 주변에서 발생하는 잡음을 제거하도록 형성되는 소음제거부(미도시)를 포함할 수 있으며, 소음제거부(미도시)를 통해 식별하고자 하는 소리정보를 더욱 선명하게 감지하도록 할 수 있다.
또한, 상기의 소음제거부(미도시)는 소음으로 인식되는 음역대 또는 주파수를 감지하여 해당 주파수에 대한 노이즈를 제거할 수 있으며, 소리식별부(220)는 소음제거부(미도시)에 의해 소음 또는 잡음이 제거된 소리정보를 이용하여 명확하게 소리를 식별하도록 할 수 있다. 또한, 소음 또는 잡음으로 인식되는 영역의 주파수 또는 소리의 크기에 따라 필터링을 하여 소리식별부(220) 소리정보를 전달하도록 할 수 있다.
후술하겠지만, 웨어러블 디바이스(300)에는 근거리 통신이 가능한 통신모듈(310)이 형성되며, 인식부(100)의 모션감지부(120)와 연동할 수 있으며, 모션감지부(120)에서 감지되는 감지정보에 따라 웨어러블 디바이스(300)가 사용자에게 감지정보를 알리도록 할 수 있다.
여기서, 모션감지부(120)는 사용자가 시각적으로 인지하지 못하는 사각지대에 설치하여 청각에 의존하여 인지해야 하는 공간에 대한 정보를 감지하도록 할 수 있으며, 모듈형으로 형성되어 상황에 따라 모션감지부(120)를 설치하고자 하는 위치를 자유롭게 변경하는 것이 가능하고, 외출 시 휴대하여 소지하고 다니도록 구성될 수 있다.
예컨대, 사용자가 집에 위치하는 경우에는, 현관에 모션감지부(120)를 설치하여 방문하기 위해 접근하는 사람을 감지하여 초인종을 통해 인지해야 하는 외부의 방문자의 접근정보를 사용자에게 감지정보를 전달할 수 있으며, 회사에 출근하는 경우, 근무하는 사무실의 문 앞에 설치하거나, 개인공간에서 사람이 접근하는 위치에 설치하여 사용자의 등 뒤에서 접근하여 시각적으로 확인이 힘든 사각지대에서의 사람의 움직임을 감지하여 사용자에게 알리도록 할 수 있다.
이때, 모션감지부(120)는 한 개 이상으로 구비될 수 있으며, 반복적으로 사용하는 장소마다 개별로 설치하여 사용하는 것이 가능하며, 해당 설치장소에 근접하게 되면 자동으로 웨어러블 디바이스(300)와 통신할 수 있으며, 설정한 거리 이상으로 이격되면 통신이 해제되어 모션감지부(120)를 설치하기 위한 별도의 동작 없이 사용하는 것이 가능하다.
또한, 모션감지부(120)는 감지거리를 조정하여 사물이나 물체의 움직임을 감지하도록 설정하여, 상황에 따라 감지조건을 달리할 수 있다.
예컨대, 유동인구가 많은 사무실의 경우에는 해당 위치에 설치되는 모션감지부(120)에 매우 가깝게 근접했을 때, 사용자에게 알리도록 하여 불필요한 움직임을 감지하지 않도록 할 수 있다.
또한, 본 발명의 실시 예에 따른 모션감지부(120)는 설치되는 위치의 정면을 촬영하도록 구비되는 카메라(121)를 더 포함할 수 있으며, 모션감지부(120)가 설정된 감지범위 내에서 움직임을 감지하게 되면, 카메라(121)가 활성화되어 카메라(121)가 작동하여 촬영정보를 웨어러블 디바이스(300)에 전달하여 사용자가 해당지역을 시각적으로 확인하는 것이 가능하도록 형성될 수 있다.
예컨대, 현관에 설치되어 있는 모션감지부(120)에서 사람의 접근이 감지되어 감지정보가 사용자에게 전달되었을 때, 신문배달이나 우유배달과 같이 즉각적으로 대응하지 않아도 되는 상황에 대해 카메라(121)를 통해 전달되는 영상을 확인하여 감지상황을 인지하도록 할 수 있다.
도 4를 참조하면, 웨어러블 디바이스(300)는 인식부(100) 또는 모바일 단말기(200)로부터 감지정보를 수신이 가능한 통신모듈(310) 및 수신되는 감지정보를 사용자에게 전달하는 알림장치(320)를 포함할 수 있다.
웨어러블 디바이스의 통신모듈(310)은 모바일 단말기(200) 또는 근거리에 이격되어 설치된 인식부(100)와 연동이 가능하도록 근거리 무선 통신 규격이 구비될 수 있으며, 블루투스 3.0(Bluetooth 3.0), 비콘(iBeacon), UWB(Ultra Wideband), Zigbee, RF모듈, Wi-Fi를 포함하는 근거리 무선통신 규격들 중 적어도 하나가 구비되어 사용자의 모바일 단말기(200) 또는 이격되어 설치된 인식부(100)와 연동될 수 있으며, 사용환경에 따라서 통신거리를 설정할 수 있도록 구비될 수 있다. 또한, 통신모듈(310)은 양방향 통신이 모두 가능하도록 구비될 수 있으며, 모바일 단말기(200) 또는 인식부(100)로부터 감지정보를 수신하는 것이 가능하도록 구비될 수 있다.
알림장치(320)는, 모바일 단말기(200) 또는 인식부(100)로부터 수신되는 감지정보를 사용자에게 전달하기 위해 웨어러블 디바이스(300)에 진동운동을 하도록 구비되는 진동모듈(321) 및 알림 메시지 등을 사용자가 시각으로 인지하도록 형성되는 디스플레이(322)를 포함할 수 있으며, 제어장치(323)를 구비하여 진동모듈(321) 및 디스플레이(322) 신호의 온/오프를 제어하도록 형성될 수 있다.
이때, 진동모듈(321)은 모바일 단말기(200) 또는 인식부(100)로부터 수신되는 감지정보에 따라 진동패턴을 달리하여, 사용자가 진동패턴을 통해 해당 감지정보에 대한 내용을 신속하게 인지하는 것을 돕도록 할 수 있다.
예컨대, 사용자를 호칭하는 소리정보가 감지되는 경우에는 0.3초 내지 0.4초의 간격으로 진동이 빠르게 울리도록 할 수 있으며, 방문객이 방문하는 경우에는 1.5초 내지 1.7초의 간격으로 진동이 느리게 반복되어 울리도록 하여 진동패턴을 통해 사용자가 상황을 인식하도록 할 수 있다.
이때, 인식부(100)를 통해 감지되는 정보에 대한 구체적인 내용은 디스플레이(322)를 통해 사용자에게 알리도록 할 수 있다.
예컨대, 소리를 감지하여 사용자에게 알리도록 하는 경우에는, 진동모듈(321)이 작동함과 동시에 감지하는 소리정보를 문자로 나타내어 사용자가 정확하게 인식하도록 할 수 있으며, 모션감지부(120)에 의해 움직임이 감지되었을 때에는 카메라(121)를 통한 영상정보를 디스플레이(322)에 출력하여 시각적으로 상황을 판단하도록 할 수 있다.
이때, 감지되는 정보에 대한 내용은 디스플레이(322)를 통하여 감지상황을 문자로 표시하도록 할 수 있다.
제어장치(323)는 진동모듈(321) 또는 디스플레이(322)의 작동을 정지하도록 웨어러블 디바이스(300)의 일단에 버튼 형태로 구비할 수 있다. 즉, 인식부(100)로부터 감지되는 정보가 알림장치(320)에 의해 사용자에게 전달되었을 때에, 사용자가 해당 정보에 대해 충분히 인지하면, 제어장치(323)를 이용하여 진동모듈(321)과 디스플레이(322)의 작동을 정지하도록 할 수 있다.
이때, 웨어러블 디바이스(300)는 방향성을 감지하도록 구비되는 자이로 센서(325)를 더 포함할 수 있으며, 웨어러블 디바이스(300)를 착용하고 있는 팔의 모션을 감지하는 것이 가능하다.
즉, 사용자가 미리 설정된 동작에 따라서 웨어러블 디바이스(300)를 착용하고 있는 팔을 상하로 빠르게 흔들거나, 좌우로 반복해서 흔들 경우에 자이로 센서(325)에 의해 사용자의 움직임을 감지할 수 있으며, 상기 자이로 센서(325)에 의해 감지되는 사용자의 움직임을 통해 진동모듈(321) 또는 디스플레이(322)를 제어하는 것이 가능하다.
예컨대, 진동모듈(321) 및 디스플레이(322)를 포함하는 알림장치(320)가 작동하는 상황에서 사용자가 웨어러블 디바이스(300)를 착용하지 않은 팔을 사용하지 못하여 제어장치(323)를 누르지 못하게 되면, 착용하는 팔을 상하로 빠르게 흔들어 알림장치(320)의 작동을 중지하도록 할 수 있다.
도 5를 참조하면, 본 발명의 실시 예에 따른 모바일 단말기(200)는 비상신호 수집부(330)를 더 포함하며, 상기의 비상신호 수집부(330)에 의해 화재, 지진, 폭우 등의 재난 및 사건정보를 수집하도록 할 수 있다.
이때, 비상신호 수집부(330)는 GPS수신장치로부터 사용자의 위치정보를 기반으로 해당지역의 재난 및 사건정보를 감지하도록 할 수 있으며, 감지되는 정보를 웨어러블 디바이스(300)에 전송하여 사용자에게 알리도록 할 수 있다.
또한, 비상신호 수집부(330)는 긴급안전문자 또는 긴급재난문자와 같이 모바일 단말기(200)로 전송되는 재난정보를 사용자에게 알리는 것도 가능하며, 재난 및 사건정보를 관리하는 별도의 위치정보기반 중앙시스템(N)을 마련하여 GPS수신장치의 위치정보에 따라 상시로 해당위치에서의 정보를 인지할 수 있도록 할 수 있다.
또한, 도 6을 참조하면, 본 발명의 실시 예에 따른 웨어러블 디바이스를 이용한 청각장애인 보조 시스템은 적외선열감지센서와 영상수집장치가 구비되는 제2웨어러블 디바이스(400)를 더 포함할 수 있다.
제2웨어러블 디바이스(400)는 사용자의 손동작을 촬영할 수 있는 위치에 구비되어 영상수집장치(420)에 의해 사용자의 전면을 촬영하도록 형성될 수 있으며, 영상수집장치(420)를 통해 사용자의 손동작을 인식하도록 할 수 있다.
이때, 적외선열감지센서(410)는 영상수집장치(420)가 사용자의 손동작을 인식함에 있어서, 이미지를 통해 인식이 잘 되지 않거나, 사용자 손 주변의 환경으로 인하여 인식이 제대로 되지 않는 점을 방지하기 위해 사용자의 손에서 방출하는 열을 감지하고, 영상수집장치(420)에서 인식하는 사용자의 손동작과 적외선열감지센서(410)에 의해 사용자의 손에서 발생하는 열이 감지되는 지점을 매칭하여 사용자의 손동작이 정확히 인식되도록 할 수 있다.
이때, 본 발명의 실시 예에 따른 모바일 단말기(200)는 사용자의 손동작에 의한 수화를 인식하는 수화 인식부(240) 및 수화 번역부(250)를 더 포함할 수 있다.
이때, 수화 인식부(240)는 청각장애인이 사용하는 수화에 대한 데이터를 기반으로 학습되는 머신러닝 기술을 통해 사용자의 수화를 인식할 수 있으며, 별도로 지정하는 손동작에 대해 인식하도록 할 수 있다.
수화 번역부(250)는 수화 인식부(240)에 의해 인식되는 사용자의 수화내용을 번역하도록 할 수 있으며, 상기 수화 번역부(250)에 의해 번역된 수화내용은 텍스트 또는 소리로 변환하여 대화하는 상대방에게 전달할 수 있다.
이상 살펴본 바와 같이 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며 본 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적인 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 인식부　
110: 소리감지부
120: 모션감지부
121: 카메라
200: 모바일 단말기
210: 정보설정부
220: 소리식별부
230: 신호전달부
240: 수화 인식부
250: 수화 번역부
300: 웨어러블 디바이스
310: 통신모듈
320: 알림장치
321: 진동모듈
322: 디스플레이 모듈
323: 제어장치
324: 마이크
325: 자이로 센서
330: 비상신호 수집부
N: 위치정보기반 중앙시스템
400: 제2웨어러블 디바이스
410: 적외선열감지센서
420: 영상수집장치

Claims (5)

  1. 사용자 주변의 소리 또는 움직임을 측정하는 인식부;
    상기 인식부와 연동하여 감지하는 정보를 제어하도록 제어신호를 전송하는 모바일 단말기;
    상기 모바일 단말기 또는 상기 인식부와 연동되어 약속된 신호체계에 따라서 사용자에게 알림을 실시하는 웨어러블 디바이스;를 포함하되,
    적외선열감지센서와 영상수집장치가 구비되는 제2 웨어러블 디바이스를 더 포함하며,
    상기 인식부는,
    사용자 주변의 소리를 감지할 수 있도록 구비되는 소리감지부 및
    설정되는 범위 내의 움직임을 감지하도록 구비되는 모션감지부를 포함하되,
    상기 모션감지부는,
    사용자의 신체 중 사용자가 인식하기 힘든 위치와, 사람이 필수적으로 접근하는 위치를 포함하여 설치되되, 설치된 위치에서 설정된 반경 내에서만 접근이 감지될 경우에만 동작되도록 구성되며,
    상기 모바일단말기는,
    상기 소리감지부에서 감지되는 소리정보 중 사용자에게 필요한 특정 단어 또는 소리를 식별하기 위한 정보를 입력하여 설정하는 정보설정부;
    상기 정보설정부에 의해 설정된 기준에 따라 소리정보를 식별하여 선별되는 소리를 인식하는 소리식별부; 및
    상기 소리식별부에서 선별되는 정보에 해당되는 안내신호를 상기 웨어러블 디바이스에 전달하는 신호전달부;를 포함하고,
    상기 정보설정부는,
    사용자에게 필요한 소리정보 리스트를 위치 또는 상황에 따라 설정하는 것이 가능하며, 사용자의 위치정보에 따라 상기 소리정보 리스트 설정이 변경되도록 하되, 장소나 상황에 따라서 주로 사용하는 정보들에 대해 리스트를 구성하여 장소정보에 대해 입력을 실시하면 변경되는 상황에 따라 해당되는 소리정보들이 활성화되도록 소리정보들을 설정할 수 있고, 감지하고자 하는 소리정보에 해당하는 단어가 문자로 입력되도록 하며 문자에 해당하는 소리정보는 상기 소리감지부에서 감지되도록 설정할 수 있어, 초기에 상기 정보설정부에 저장되는 단어들은 자동으로 활성화되어 소리식별부에서 식별되되 사용자의 환경에 따라 저장되어 있는 단어가 비활성화되어 해당하는 소리정보가 소리감지부를 통해 감지되더라도 소리식별부에서 식별하지 않도록 할 수 있고, 사용자의 주변에서 발생하는 긴급상황에 대한 비상 신호 또는 경보음에 대해 인식하여 사용자에게 알리도록 할 수 있으며, 사용자의 모바일 단말기에 구비되어 있는 GPS 수신장치를 통해 사용자의 위치정보를 자동으로 업데이트하여, 사용자의 현재 위치와 미리 입력된 위치정보를 비교 매칭하여 자동으로 소리정보 리스트를 자동으로 변경하도록 설정할 수 있고,
    상기 웨어러블 디바이스는,
    상기 인식부 또는 상기 모바일단말기와 통신하도록 구비되는 통신 모듈; 및
    상기 통신 모듈로부터 수신되는 정보에 따라 사용자에게 신호를 전달하는 알림장치;를 포함하되,
    방향성을 감지하도록 구비되는 자이로 센서를 더 포함하여, 착용하고 있는 팔의 모션을 감지하고, 감지된 사용자의 모션을 통해 진동모듈 또는 디스플레이 제어가 가능하도록 하며,
    화재, 재난, 또는 사고를 포함하는 긴급신호를 수집하는 비상신호 수집부;를 더 포함하고,
    상기 알림장치는,
    상기 신호전달부로부터 전달되는 신호에 따라 진동하도록 구비되는 진동모듈;
    상기 신호전달부로부터 전달되는 신호를 화면으로 표시하도록 구비되는 디스플레이;
    상기 진동모듈 또는 상기 디스플레이의 신호를 제어하도록 형성되는 제어장치;를 포함하고,
    상기 진동모듈은,
    상기 모바일 단말기 또는 인식부로부터 수신되는 감지정보에 따라 진동패턴을 달리하여, 사용자가 진동패턴을 통해 감지정보에 대한 내용을 신속하게 인지하는 것을 돕도록 구성되며,
    상기 비상신호수집부는,
    GPS수신장치로부터 수신한 사용자의 위치정보를 기반으로 사용자 위치 주변의 재난 및 사건정보를 수집하여, 상기 알림장치를 이용하여 상기 웨어러블 디바이스에 전송함으로써 사용자에게 알리고, 상기 모바일 단말기로 전송되는 재난정보도 사용자에게 알릴 수 있으며,
    상기 제2 웨어러블 디바이스는,
    사용자의 손동작을 촬영할 수 있는 위치에 구비되어 상기 영상수집장치에 의해 사용자의 전면을 촬영하고 사용자의 손동작을 인식하도록 구성되고,
    상기 모바일 단말기는,
    사용자의 손동작에 의한 수화를 청각장애인이 사용하는 수화에 대한 데이터를 기반으로 학습되는 머신러닝을 통해 인식하는 수화 인식부 및
    상기 수화 인식부를 통해 인식된 수화 내용을 번역하며, 번역된 수화 내용을 텍스트 또는 소리로 변환하여 전달하는 수화 번역부를 포함하되,
    상기 적외선열감지센서는 사용자의 손에서 방출하는 열을 감지하고, 상기 영상수집장치에서 인식하는 사용자의 손동작과 적외선열감지센서에 의해 사용자의 손에서 발생되는 열이 감지되는 지점을 매칭되도록 하여, 이미지를 통해 인식이 잘 되지 않거나 사용자의 손 주변의 환경으로 인식하여 인식이 제대로 되지 않는 것을 방지하며, 사용자의 손동작이 정확히 인식되도록 하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020200025202A 2020-02-28 2020-02-28 웨어러블 디바이스를 이용한 청각장애인 보조 시스템 KR102367299B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200025202A KR102367299B1 (ko) 2020-02-28 2020-02-28 웨어러블 디바이스를 이용한 청각장애인 보조 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200025202A KR102367299B1 (ko) 2020-02-28 2020-02-28 웨어러블 디바이스를 이용한 청각장애인 보조 시스템

Publications (2)

Publication Number Publication Date
KR20210109940A KR20210109940A (ko) 2021-09-07
KR102367299B1 true KR102367299B1 (ko) 2022-02-23

Family

ID=77797510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025202A KR102367299B1 (ko) 2020-02-28 2020-02-28 웨어러블 디바이스를 이용한 청각장애인 보조 시스템

Country Status (1)

Country Link
KR (1) KR102367299B1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100117306A (ko) * 2009-04-24 2010-11-03 (주)에스티오 독거노인 관리시스템 장치
KR20160013657A (ko) * 2014-07-28 2016-02-05 강의신 청각장애인을 위한 손목시계
KR101653339B1 (ko) * 2016-01-20 2016-09-02 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템 및 알림방법
KR20170105769A (ko) * 2016-03-10 2017-09-20 박상률 청각장애인을 위한 소리 감지 시스템 및 방법
KR20180018649A (ko) * 2018-02-14 2018-02-21 유퍼스트(주) 청각 장애인용 알림 서비스 제공 넥밴드

Also Published As

Publication number Publication date
KR20210109940A (ko) 2021-09-07

Similar Documents

Publication Publication Date Title
US8606316B2 (en) Portable blind aid device
US7356473B2 (en) Management and assistance system for the deaf
US7106193B2 (en) Integrated alarm detection and verification device
CN107025907B (zh) 借助音频输入的建筑自动化系统中的设备登记
KR101700395B1 (ko) 경호용 드론 및 이를 이용한 이동식 경호 시스템
KR101459104B1 (ko) 동작분석을 통하여 위급상황을 감지하는 지능형 cctv시스템 및 이를 이용한 위급상황 감지방법
US10529200B2 (en) Alarm sensor and system comprising such a sensor
JP2010182193A (ja) 携帯電話ロボット
KR102086564B1 (ko) IoT 기반의 지능형 피난 유도 시스템
JP2008203985A (ja) 緊急通報機能、緊急対応機能を備えた緊急通報システム
KR20210010703A (ko) 지하 주차장 사고 관리 시스템 및 이를 이용한 사고 관리 방법
KR100910313B1 (ko) 영상 정보를 이용한 어린이 운송차량용 어린이 보호 시스템
KR102367299B1 (ko) 웨어러블 디바이스를 이용한 청각장애인 보조 시스템
KR20160052496A (ko) 비명소리 탐지 비상호출 시스템 및 방법
KR101598466B1 (ko) 청각장애인용 안전보조시스템
KR20190025440A (ko) 긴급상황 대처를 위한 관제시스템
KR102113419B1 (ko) 영상통화 자동전환을 이용한 재난 신고 시스템 및 그 방법
KR101401299B1 (ko) 스마트폰의 gps와 네트워크 cctv 연동을 이용한 사용자 중심의 추적촬영 방법
JP2018197023A (ja) 駅の警報装置
KR102026432B1 (ko) 시각장애인을 위한 버스 도착 정보 알림 시스템
JP7463143B2 (ja) セキュリティシステム
KR101571838B1 (ko) 비콘의 다기능 시스템을 이용한 다기능 방법.
KR20200143817A (ko) 스마트폰을 이용한 비상 상황 대처용 경보 및 표시장치
KR101393719B1 (ko) 카메라와 물체 감지센서를 이용한 칩입자 감시 시스템
KR20180005510A (ko) 주택 밀집 지역용 스마트 표시 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant