KR20240004195A - 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램 - Google Patents

청각 장애인 보조 장치, 방법 및 컴퓨터프로그램 Download PDF

Info

Publication number
KR20240004195A
KR20240004195A KR1020230193570A KR20230193570A KR20240004195A KR 20240004195 A KR20240004195 A KR 20240004195A KR 1020230193570 A KR1020230193570 A KR 1020230193570A KR 20230193570 A KR20230193570 A KR 20230193570A KR 20240004195 A KR20240004195 A KR 20240004195A
Authority
KR
South Korea
Prior art keywords
sound
information
wearer
processor
danger
Prior art date
Application number
KR1020230193570A
Other languages
English (en)
Inventor
민성환
송기연
주현경
박종현
이유림
동민영
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to KR1020230193570A priority Critical patent/KR20240004195A/ko
Publication of KR20240004195A publication Critical patent/KR20240004195A/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시 예에 따른 청각 장애인 보조 장치는 상기 착용자의 주변의 물체를 감지하여 상기 착용자와 상기 물체 간의 거리를 나타내는 물체 거리 정보와 상기 착용자에서 상기 물체를 향하는 방향을 나타내는 물체 방향 정보를 출력하는 감지부; 및 상기 물체 거리 정보 및 상기 물체 방향 정보에 기초하여 상기 물체의 속도를 나타내는 물체 속도 정보를 산출하고, 상기 물체 거리 정보 및 상기 물체 속도 정보 중 하나 이상에 기초하여 상기 물체가 근접 물체, 과속도 물체 및 충돌 주의 물체 중 어느 하나로 분류되면 상기 착용자에게 위험을 경고해야 하는 제1 위험 경고 상황인 것으로 판단하고, 상기 제1 위험 경고 상황인 것으로 판단되면, 상기 물체 거리 정보, 상기 물체 방향 정보 및 상기 물체 속도 정보 중 하나 이상을 포함하는 제1 위험 경고 정보를 출력하도록 출력부를 제어하는 프로세서;를 포함할 수 있다.

Description

청각 장애인 보조 장치, 방법 및 컴퓨터프로그램{Apparatus, method and program for assisting deaf}
본 발명은 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램에 관한 것으로서, 더욱 상세하게는 청각 장애인 보조 장치를 착용한 청각 장애인인 착용자의 주변에서 물체 및 소리를 감지하고, 감지된 물체 및 소리 각각에 대한 정보 중 어느 하나에 기초하여 착용자에게 위험을 경고하는 위험 경고 정보를 출력하거나 착용자에게 대화가 요청됨을 알리는 대화 요청 알림 정보를 출력할 수 있는 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램에 관한 것이다.
일반적으로, 청각장애인은 소리를 듣지 못하기 때문에 시각에 의지하여 주변의 정보를 인식하여 생활하기 때문에 상황을 제대로 인식하지 못하고 위험으로부터 대비하지 못하는 문제가 발생할 수 있다.
또한, 시각에 의해서만 정보를 판단하기 때문에 청각에 의해 판단해야 하는 상황에서는 눈으로 확인하더라도 상황을 제대로 인지하지 못할 수 있다. 특히, 화재가 발생하거나, 긴급상황이 발생하는 경우에는 소리로 알림을 실시하는 경우가 대부분이기 때문에 소리를 듣지 못하는 청각장애인의 주변에서 위험상황이 발생하는 경우에는 이를 즉시 인지하지 못하여 위험상황에 쉽게 노출될 수 있는 우려가 있다.
이러한 문제점을 해결하기 위한 예로써, 한국공개특허 제10-2017-0123798호 “청각장애인용 화재 경보밴드”는 화재경보기와 통신할 수 있는 무선 통신모듈; 연기를 감지할 수 있는 연기 감지 센서; 상기 무선 통신모듈이 신호를 받은 경우 또는 상기 연기 감지 센서에서 신호를 받은 경우 진동할 수 있는 진동 모듈; 상기 진동모듈이 동작할 때 점멸하여 시각적인 신호를 줄 수 있는 점멸램프;와 상기 무선 통신모듈과 연기 감지 센서와 진동모듈과 점멸램프를 포함하는 밴드부를 포함하는 경보밴드에 대해 개시되어 있다.
그러나, 상기와 같은 종래의 청각장애인을 위한 보조장치는 화재 등의 긴급상황에 대한 알림을 실시하는 기술이 개시되어 있을 뿐, 사용자의 상황에 맞게 인식하여 사용자에게 알리도록 하는 다른 수단이 개시되어 있지 않다.
또한, 청각장애인을 위한 보조장치의 다른 예로써, 한국등록실용신안 제20-0231384호 “청각장애인용 방문자 감지 및 표시장치”에서는 방문자의 방문여부를 감지하는 센서부와, 상기 센서부로부터의 감지신호를 처리하는 신호처리부와, 상기 신호처리부로부터 출력되는 소정의 신호를 전송하기 위한 신호전송부와, 상기 신호전송부로부터 소정의 신호가 있을 경우 청각장애인에게 방문자가 방문했다는 신호를 출력하는 신호표시부를 포함하는 청각장애인용 감지장치에 대해 개시되어 있다.
그러나, 제20-0231384호의 청각장애인용 감지장치도 방문자의 방문여부 등 한정된 정보만을 감지하는 수단만 개시되어 있을 뿐, 사용자 주변의 정보를 감지할 수 있는 또 다른 수단도 구비되지 않았다.
따라서, 상기와 같은 문제점을 인식하고 개선하는 것이 시급하다.
한국공개특허 제10-2017-0123798호
본 발명의 목적은, 청각 장애인 보조 장치를 착용한 청각 장애인인 착용자의 주변에서 물체를 감지하고, 감지된 물체에 대한 정보에 기초하여 착용자에게 위험을 경고하는 위험 경고 정보를 출력할 수 있는 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램을 제공함에 있다.
또한, 본 발명의 목적은, 청각 장애인 보조 장치를 착용한 청각 장애인인 착용자의 주변에서 소리를 감지하고, 감지된 소리에 대한 정보에 기초하여 착용자에게 위험을 경고하는 위험 경고 정보를 출력할 수 있는 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램을 제공함에 있다.
또한, 본 발명의 목적은, 청각 장애인 보조 장치를 착용한 청각 장애인인 착용자의 주변에서 소리를 감지하고, 감지된 소리에 대한 정보에 기초하여 착용자에게 대화가 요청됨을 알리는 대화 요청 알림 정보를 출력할 수 있는 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램을 제공함에 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시 예에 따른 청각 장애인 보조 장치는 상기 착용자의 주변의 물체를 감지하여 상기 착용자와 상기 물체 간의 거리를 나타내는 물체 거리 정보와 상기 착용자에서 상기 물체를 향하는 방향을 나타내는 물체 방향 정보를 출력하는 감지부; 및 상기 물체 거리 정보 및 상기 물체 방향 정보에 기초하여 상기 물체의 속도를 나타내는 물체 속도 정보를 산출하고, 상기 물체 거리 정보 및 상기 물체 속도 정보 중 하나 이상에 기초하여 상기 물체가 근접 물체, 과속도 물체 및 충돌 주의 물체 중 어느 하나로 분류되면 상기 착용자에게 위험을 경고해야 하는 제1 위험 경고 상황인 것으로 판단하고, 상기 제1 위험 경고 상황인 것으로 판단되면, 상기 물체 거리 정보, 상기 물체 방향 정보 및 상기 물체 속도 정보 중 하나 이상을 포함하는 제1 위험 경고 정보를 출력하도록 출력부를 제어하는 프로세서;를 포함할 수 있다.
바람직하게, 상기 프로세서는 상기 물체 거리 정보가 제1 기준 거리 범위에 포함되면 상기 물체를 상기 근접 물체로 분류하고, 상기 물체 거리 정보가 제2 기준 거리 범위에 포함되고 상기 물체 속도 정보가 기준 속도를 초과하면 상기 물체를 상기 과속도 물체로 분류할 수 있다.
바람직하게, 상기 제1 기준 거리 범위에 포함된 최대 거리는 상기 제2 기준 거리 범위에 포함된 최소 거리 미만일 수 있다.
바람직하게, 상기 프로세서는 상기 물체 거리 정보가 제2 기준 거리 범위에 포함되면, 상기 물체 속도 정보에 기초하여 상기 물체와 상기 착용자 간의 충돌 여부를 예측하는 충돌 예측 정보를 생성하고, 상기 충돌 예측 정보가 상기 물체와 상기 착용자 간에 충돌이 발생될 것으로 예측됨을 나타내면 상기 물체를 상기 충돌 주의 물체로 분류할 수 있다.
본 발명의 다른 실시 예에 따른 청각 장애인 보조 장치는 상기 착용자의 주변의 소리를 감지하여 소리의 주파수를 나타내는 소리 주파수 정보, 상기 소리의 크기를 나타내는 소리 크기 정보 및 상기 착용자에서 상기 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 출력하는 감지부; 및 상기 소리 크기 정보가 기준 소리 크기를 초과하면 상기 소리 주파수 정보에 기초하여 상기 소리의 종류를 나타내는 소리 종류 정보를 생성하고, 상기 소리 종류 정보가 경고 소리 목록 정보에서 검색되면 상기 착용자에게 위험을 경고해야 하는 제2 위험 경고 상황인 것으로 판단하고, 상기 제2 위험 경고 상황인 것으로 판단되면, 상기 소리 종류 정보에 대응되는 위험 정보 및 상기 소리 방향 정보 중 하나 이상을 포함하는 제2 위험 경고 정보를 출력하도록 출력부를 제어하는 프로세서;를 포함할 수 있다.
본 발명의 또 다른 실시 예에 따른 청각 장애인 보조 장치는 상기 착용자의 주변의 소리를 감지하여 소리의 주파수를 나타내는 소리 주파수 정보, 상기 소리의 크기를 나타내는 소리 크기 정보 및 상기 착용자에서 상기 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 출력하는 감지부; 및 상기 소리 크기 정보가 기준 소리 크기를 초과하면 상기 소리 주파수 정보에 기초하여 상기 소리의 종류를 나타내는 소리 종류 정보를 생성하고, 상기 소리 종류 정보가 음성이면 상기 착용자에게 대화가 요청됨을 알려야 하는 대화 요청 알림 상황인 것으로 판단하고, 상기 대화 요청 알림 상황인 것으로 판단되면, 상기 음성을 나타내는 텍스트 정보 및 상기 소리 방향 정보를 포함하는 대화 요청 알림 정보를 출력하도록 출력부를 제어하는 프로세서;를 포함할 수 있다.
본 발명의 일 실시 예에 따른 청각 장애인 보조 방법은 감지부가, 상기 착용자의 주변의 물체를 감지하여 상기 착용자와 상기 물체 간의 거리를 나타내는 물체 거리 정보와 상기 착용자에서 상기 물체를 향하는 방향을 나타내는 물체 방향 정보를 출력하는 단계; 프로세서가, 상기 물체 거리 정보 및 상기 물체 방향 정보에 기초하여 상기 물체의 속도를 나타내는 물체 속도 정보를 산출하고, 상기 물체 거리 정보 및 상기 물체 속도 정보 중 하나 이상에 기초하여 상기 물체가 근접 물체, 과속도 물체 및 충돌 주의 물체 중 어느 하나로 분류되면 상기 착용자에게 위험을 경고해야 하는 제1 위험 경고 상황인 것으로 판단하고, 상기 제1 위험 경고 상황인 것으로 판단되면, 상기 물체 거리 정보, 상기 물체 방향 정보 및 상기 물체 속도 정보 중 하나 이상을 포함하는 제1 위험 경고 정보를 출력하도록 출력부를 제어하는 단계; 상기 프로세서가, 상기 물체 거리 정보가 제1 기준 거리 범위에 포함되면 상기 물체를 상기 근접 물체로 분류하고, 상기 물체 거리 정보가 제2 기준 거리 범위에 포함되고 상기 물체 속도 정보가 기준 속도를 초과하면 상기 물체를 상기 과속도 물체로 분류하는 단계; 및 상기 프로세서가, 상기 물체 거리 정보가 제2 기준 거리 범위에 포함되면, 상기 물체 속도 정보에 기초하여 상기 물체와 상기 착용자 간의 충돌 여부를 예측하는 충돌 예측 정보를 생성하고, 상기 충돌 예측 정보가 상기 물체와 상기 착용자 간에 충돌이 발생될 것으로 예상됨을 나타내면 상기 물체를 상기 충돌 주의 물체로 분류하는 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따른 청각 장애인 보조 방법은 감지부가, 상기 착용자의 주변의 소리를 감지하여 소리의 주파수를 나타내는 소리 주파수 정보, 상기 소리의 크기를 나타내는 소리 크기 정보 및 상기 착용자에서 상기 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 출력하는 단계; 및 프로세서가, 상기 소리 크기 정보가 기준 소리 크기를 초과하면 상기 소리 주파수 정보에 기초하여 상기 소리의 종류를 나타내는 소리 종류 정보를 생성하고, 상기 소리 종류 정보가 경고 소리 목록 정보에서 검색되면 상기 착용자에게 위험을 경고해야 하는 제2 위험 경고 상황인 것으로 판단하고, 상기 제2 위험 경고 상황인 것으로 판단되면, 상기 소리 종류 정보에 대응되는 위험 정보 및 상기 소리 방향 정보 중 하나 이상을 포함하는 제2 위험 경고 정보를 출력하도록 출력부를 제어하는 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따른 청각 장애인 보조 방법은 감지부가, 상기 착용자의 주변의 소리를 감지하여 소리의 주파수를 나타내는 소리 주파수 정보, 상기 소리의 크기를 나타내는 소리 크기 정보 및 상기 착용자에서 상기 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 출력하는 단계; 및 프로세서가, 상기 소리 크기 정보가 기준 소리 크기를 초과하면 상기 소리 주파수 정보에 기초하여 상기 소리의 종류를 나타내는 소리 종류 정보를 생성하고, 상기 소리 종류 정보가 음성이면 상기 착용자에게 대화가 요청됨을 알려야 하는 대화 요청 알림 상황인 것으로 판단하고, 상기 대화 요청 알림 상황인 것으로 판단되면, 상기 음성을 나타내는 텍스트 정보 및 상기 소리 방향 정보를 포함하는 대화 요청 알림 정보를 출력하도록 출력부를 제어하는 단계;를 포함할 수 있다.
본 발명에 따른 컴퓨터프로그램은 하드웨어인 컴퓨터와 결합되어, 상술된 청각 장애인 보조 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장될 수 있다.
본 발명에 따른 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램은, 청각 장애인 보조 장치를 착용한 청각 장애인인 착용자의 주변에서 물체를 감지하고, 감지된 물체에 대한 정보에 기초하여 착용자에게 위험을 경고하는 위험 경고 정보를 출력함으로써, 청각 장애인인 착용자의 주변 물체로 인해 착용자가 위험할 수 있는 상황을 경고할 수 있다.
또한, 본 발명은 청각 장애인 보조 장치를 착용한 청각 장애인인 착용자의 주변에서 소리를 감지하고, 감지된 소리에 대한 정보에 기초하여 착용자에게 위험을 경고하는 위험 경고 정보를 출력함으로써, 청각 장애인인 착용자에게 소리를 통해 위험이 경고되는 상황을 착용자에게 알릴 수 있다.
또한, 본 발명은 청각 장애인 보조 장치를 착용한 청각 장애인인 착용자의 주변에서 소리를 감지하고, 감지된 소리에 대한 정보에 기초하여 착용자에게 대화가 요청됨을 알리는 대화 요청 알림 정보를 출력함으로써, 청각 장애인인 착용자에게 타인으로부터 대화가 요청됨을 알릴 수 있다.
도 1은 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치를 청각 장애인인 착용자가 착용한 일 예를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치의 구성 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치의 출력부를 통해 정보가 표시된 화면의 일 예를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치가 물체를 근접 물체로 분류하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치가 물체를 과속도 물체로 분류하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치가 물체를 충돌 주의 물체로 분류하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 청각 장애인 보조 장치가 소리를 감지하여 위험 경고 정보를 출력하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 청각 장애인 보조 장치가 소리를 감지하여 대화 요청 알림 정보를 출력하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 청각 장애인 보조 장치가 소리를 감지하여 음성을 나타내는 텍스트 정보를 출력하는 과정을 설명하기 위한 도면이다.
도 10는 본 발명의 일 실시 예에 따른 청각 장애인 보조 방법의 순서도이다.
도 11은 본 발명의 다른 실시 예에 따른 청각 장애인 보조 방법의 순서도이다.
도 12는 본 발명의 또 다른 실시 예에 따른 청각 장애인 보조 방법의 순서도이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는 (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 제어부"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
특히, 본 명세서에서, “~장치”는 중앙처리장치(Central Processing Unit (CPU)), 애플리케이션 프로세서(Application Processor (AP)) 및 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 이상을 포함할 수 있다.
본 명세서에서, “~장치”는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, “~장치”는 웨어러블 장치, 스마트폰, 태블릿 PC 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치를 청각 장애인인 착용자가 착용한 일 예를 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치의 구성 블록도이고, 도 3은 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치의 출력부를 통해 정보가 표시된 화면의 일 예를 도시한 도면이다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치(100)는 청각 장애인인 착용자에 의해 착용되는 웨어러블 장치일 수 있다. 예를 들어, 청각 장애인 보조 장치(100)는 도 1에 도시된 바와 같이, 착용자(H)의 손목에 착용되는 스마트 워치일 수 있다.
이러한, 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치(100)는 착용자 주변의 물체를 감지하고, 감지된 물체에 대한 정보 중 어느 하나에 기초하여 착용자에게 위험을 경고하는 위험 경고 정보를 출력할 수 있다.
이를 위해, 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치(100)는 감지부(110), 프로세서(120), 출력부(130), 입력부(140), 통신부(150) 및 저장부(160)를 포함할 수 있다.
감지부(110)는 착용자의 주변의 물체를 감지하여 물체 거리 정보와 물체 방향 정보를 프로세서(120)로 출력할 수 있다.
보다 구체적으로, 감지부(110)는 착용자와 물체 간의 거리를 나타내는 물체 거리 정보와 착용자에서 물체를 향하는 방향을 나타내는 물체 방향 정보를 프로세서(120)로 출력할 수 있다.
이때, 감지부(110)는 미리 설정된 감지 주기 마다 착용자의 주변의 물체를 감지하여 물체 거리 정보와 물체 방향 정보를 프로세서(120)로 출력할 수 있다.
이를 위해, 감지부(110)는 적외선 감지 센서 및 모션 센서를 구비할 뿐만 아니라, 상술된 감지의 수행을 위한 다양한 센서를 구비할 수 있다.
프로세서(120)는 물체 거리 정보에 기초하여 물체의 속도를 나타내는 물체 속도 정보를 산출할 수 있다.
구체적으로, 프로세서(120)는 제1 시점에 감지부(110)로부터 출력된 제1 물체 거리 정보가 나타내는 착용자와 물체 간의 제1 거리 및 제1 시점 이후인 제2 시점에 감지부(110)로부터 출력된 제2 물체 거리 정보가 나타내는 착용자와 물체 간의 제2 거리 간의 거리 차를 산출하고, 제1 시점과 제2 시점 간의 시간 차를 산출하며, 제1 시점에 감지부(110)로부터 출력된 제1 물체 방향 정보가 나타내는 제1 방향 및 제1 시점 이후인 제2 시점에 감지부(110)로부터 출력된 제2 물체 방향 정보가 나타내는 제2 방향 간의 방향각도 차를 이용하여 물체 이동 방향 정보를 산출할 수 있다.
이후, 프로세서(120)는 산출된 거리 차, 시간 차 및 물체 이동 방향 정보를 이용하여 물체의 속력과 속력의 방향을 나타내는 물체 속도 정보를 생성할 수 있다.
즉, 프로세서(120)는 감지부(110)로부터 물체 거리 정보와 물체 방향 정보가 출력될 때마다, 최신으로 출력된 물체 거리 정보와 물체 방향 정보, 그리고 이전에 출력된 물체 거리 정보와 물체 방향 정보를 이용하여 물체 속도 정보를 생성할 수 있다.
한편, 프로세서(120)는 도 3에 도시된 바와 같이, 출력부(130)를 제어하여 다양한 정보를 화면에 표시할 수 있다.
예를 들어, 출력부(130)는 착용자를 나타내는 착용자 정보(H')과 착용자를 기준으로 하는 방위 정보(NWES)를 화면에 표시할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치가 물체를 근접 물체로 분류하는 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치가 물체를 과속도 물체로 분류하는 과정을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치가 물체를 충돌 주의 물체로 분류하는 과정을 설명하기 위한 도면이다.
도 4 내지 도 6을 더 참조하면, 프로세서(120)는 물체 거리 정보 및 물체 속도 정보 중 하나 이상에 기초하여 물체가 근접 물체, 과속도 물체 및 충돌 주의 물체 중 어느 하나로 분류되면 착용자에게 위험을 경고해야 하는 제1 위험 경고 상황인 것으로 판단할 수 있다.
구체적으로, 프로세서(120)는 도 4에 도시된 바와 같이, 물체 거리 정보가 제1 기준 거리 범위(R1)에 포함되면 물체를 근접 물체(M1)로 분류할 수 있다.
여기서, 제1 기준 거리 범위는 착용자의 위치로부터 1m 미만일 수 있으나, 착용자에 의해 다르게 설정될 수 있다.
즉, 프로세서(120)는 착용자로부터 제1 기준 거리 범위(R1) 내에 물체가 근접하면 해당 물체의 속도와 상관없이 물체를 근접 물체(M1)로 분류할 수 있다.
한편, 프로세서(120)는 도 5에 도시된 바와 같이, 물체 거리 정보가 제2 기준 거리 범위에 포함되고 물체 속도 정보가 기준 속도를 초과하면 물체를 과속도 물체(M2)로 분류할 수 있다.
여기서, 제2 기준 거리 범위는 착용자의 위치로부터 1m 이상 10m 이하일 수 있으나, 착용자에 의해 다르게 설정될 수 있다.
즉, 제1 기준 거리 범위에 포함된 최대 거리는 제2 기준 거리 범위에 포함된 최소 거리 미만일 수 있다.
한편, 프로세서(120)는 제2 기준 거리 범위의 최대 거리에 기초하여 기준 속도를 설정할 수 있다. 구체적으로, 프로세서(120)는 최대 거리 대비 기준 속도의 비율 상수를 제2 기준 거리 범위의 최대 거리에 적용하여 기준 속도를 설정할 수 있다.
보다 구체적으로, 프로세서(120)는 비율 상수를 제2 기준 거리 범위의 최대 거리에 곱하고, 곱한 결과를 기준 속도로 설정할 수 있다.
여기서, 비율 상수는 최대 거리 별로 미리 설정된 상수일 수 있다.
예를 들어, 비율 상수는 최대 거리가 짧을수록 커지도록 설정된 상수일 수 있다.
이러한, 비율 상수는 하기의 표 1과 같이 설정될 수 있다.
제2 기준 거리 범위의 최대 거리 비율 상수
1m 2.75
… …
8m 4.5
9m 4.75
10m 5
11m 5.25
… …
예를 들어, 프로세서(120)는 도 5에 도시된 바와 같이, 제2 기준 거리 범위의 최대 거리가 10m인 경우, 비율 상수 5를 제2 기준 거리 범위의 최대 거리 10m에 적용하여 기준 속도를 50Km/h로 설정할 수 있다.
이후, 프로세서(120)는 제2 기준 거리 범위에 위치하는 물체의 물체 속도 정보가 84Km/h인 경우 기준 속도 50Km/h를 초과하므로, 해당 물체를 과속도 물체(M2)로 분류할 수 있다.
한편, 프로세서(120)는 물체 거리 정보가 제2 기준 거리 범위에 포함되면, 물체 속도 정보에 기초하여 물체와 착용자 간의 충돌 여부를 예측하는 충돌 예측 정보를 생성할 수 있다.
구체적으로, 프로세서(120)는 물체가 물체 속도 정보가 나타내는 속도(속력과 이동 방향)을 유지하여 지속해서 이동하는 경우에, 착용자의 위치에 해당 물체가 도달하는 것으로 판단되면, 물체와 착용자 간에 충돌이 발생될 것으로 예측됨을 나타내는 충돌 예측 정보를 생성할 수 있다.
반대로, 프로세서(120)는 물체가 물체 속도 정보가 나타내는 속도(속력과 이동 방향)을 유지하여 지속해서 이동하더라도 착용자의 위치에 해당 물체가 도달하는 않는 것으로 판단되면, 물체와 착용자 간에 충돌이 발생되지 않을 것으로 예측됨을 나타내는 충돌 예측 정보를 생성할 수 있다.
이후, 프로세서(120)는 도 6에 도시된 바와 같이, 생성된 충돌 예측 정보가 물체와 착용자 간에 충돌이 발생될 것으로 예상됨을 나타내면, 해당 물체를 충돌 주의 물체(M3)로 분류할 수 있다.
이후, 프로세서(120)는 물체가 근접 물체, 과속도 물체 및 충돌 주의 물체 중 어느 하나로 분류되면 착용자에게 위험을 경고해야 하는 제1 위험 경고 상황인 것으로 판단할 수 있다.
프로세서(120)는 제1 위험 경고 상황인 것으로 판단되면, 물체 거리 정보, 물체 방향 정보 및 물체 속도 정보 중 하나 이상을 포함하는 제1 위험 경고 정보를 출력하도록 출력부(130)를 제어할 수 있다.
구체적으로, 프로세서(120)는 도 4에 도시된 바와 같이, 물체가 근접 물체(M1)로 분류되어 제1 위험 경고 상황인 것으로 판단되면, 근접 물체(M1)로 분류된 물체의 물체 방향 정보(M1')를 화면에 출력하도록 출력부(130)를 제어할 수 있다. 이때, 프로세서(120)는 물체 방향 정보(M1')를 방위 정보(NWES) 상에 표시되도록 출력부(130)를 제어할 수 있다.
또한, 프로세서(120)는 도 4에 도시된 바와 같이, 물체가 근접 물체(M1)로 분류되어 제1 위험 경고 상황인 것으로 판단되면, 근접 물체(M1)로 분류된 물체의 물체 거리 정보(M1”) 및 물체 속도 정보(M1”)를 화면에 출력하도록 출력부(130)를 제어할 수 있다. 이때, 프로세서(120)는 물체의 물체 거리 정보(M1”) 및 물체 속도 정보(M1”)를 숫자 및 텍스트로 표시되도록 출력부(130)를 제어할 수 있다.
또한, 프로세서(120)는 물체가 근접 물체(M1)로 분류되어 제1 위험 경고 상황인 것으로 판단되면, 제1 위험 경고 정보로써 진동을 출력하도록 출력부(130)를 제어할 수 있다.
한편, 프로세서(120)는 도 5에 도시된 바와 같이, 물체가 과속도 물체(M2)로 분류되어 제1 위험 경고 상황인 것으로 판단되면, 과속도 물체(M2)로 분류된 물체의 물체 방향 정보(M2')를 화면에 출력하도록 출력부(130)를 제어할 수 있다. 이때, 프로세서(120)는 물체 방향 정보(M2')를 방위 정보(NWES) 상에 표시되도록 출력부(130)를 제어할 수 있다.
또한, 프로세서(120)는 도 5에 도시된 바와 같이, 물체가 과속도 물체(M2)로 분류되어 제1 위험 경고 상황인 것으로 판단되면, 과속도 물체(M2)로 분류된 물체의 물체 거리 정보(M2”) 및 물체 속도 정보(M2”)를 화면에 출력하도록 출력부(130)를 제어할 수 있다. 이때, 프로세서(120)는 물체의 물체 거리 정보(M2”) 및 물체 속도 정보(M2”)를 숫자 및 텍스트로 표시되도록 출력부(130)를 제어할 수 있다.
또한, 프로세서(120)는 물체가 과속도 물체(M2)로 분류되어 제1 위험 경고 상황인 것으로 판단되면, 제1 위험 경고 정보로써 진동을 출력하도록 출력부(130)를 제어할 수 있다.
한편, 프로세서(120)는 도 6에 도시된 바와 같이, 물체가 충돌 주의 물체(M3)로 분류되어 제1 위험 경고 상황인 것으로 판단되면, 충돌 주의 물체(M3)로 분류된 물체의 물체 방향 정보(M3')를 화면에 출력하도록 출력부(130)를 제어할 수 있다. 이때, 프로세서(120)는 물체 방향 정보(M3')를 방위 정보(NWES) 상에 표시되도록 출력부(130)를 제어할 수 있다.
또한, 프로세서(120)는 도 6에 도시된 바와 같이, 물체가 충돌 주의 물체(M3)로 분류되어 제1 위험 경고 상황인 것으로 판단되면, 충돌 주의 물체(M3)로 분류된 물체의 물체 거리 정보(M3”) 및 물체 속도 정보(M3”)를 화면에 출력하도록 출력부(130)를 제어할 수 있다. 이때, 프로세서(120)는 물체의 물체 거리 정보(M3”) 및 물체 속도 정보(M3”)를 숫자 및 텍스트로 표시되도록 출력부(130)를 제어할 수 있다.
또한, 프로세서(120)는 물체가 충돌 주의 물체(M3)로 분류되어 제1 위험 경고 상황인 것으로 판단되면, 제1 위험 경고 정보로써 진동을 출력하도록 출력부(130)를 제어할 수 있다.
한편, 청각 장애인 보조 장치(100)는 상술된 기능을 수행하기 위해, 도 2에 도시된 바와 같이, 물체를 감지하기 위해 적외선 센서 및 감지 센서를 구비하는 감지부(110), 다른 구성요소를 제어하는 프로세서(120), 데이터, 정보 및 신호를 출력하기 위해 디스플레이 모듈, 진동 모듈 및 스피커 모듈을 구비한 출력부(130), 데이터, 정보 및 신호를 입력받기 위해 터치스크린 모듈, 마이크 모듈 및 카메라 모듈을 구비한 입력부(140), 데이터, 정보 및 신호를 송수신하는 통신부(150) 및 데이터, 정보 및 신호를 저장하는 저장부(160)를 포함할 수 있다. 또한, 청각 장애인 보조 장치 (100)는 사용자 위치 정보를 센싱하는 GPS 모듈을 더 포함할 수 있다.
프로세서(120)는 상술된 각 구성 요소의 작동을 수행할 수 있으며, 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
프로세서(120)는 저장부(160)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상술된 각 구성 요소의 작동을 수행하도록 구성될 수 있다.
저장부(160)에는 프로세서(120)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부(160)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
청각 장애인 보조 장치(100)는 웨어러블 장치, 스마트폰, 태블릿 PC, 데스크톱 및 노트북 중 어느 하나일 수 있으며, 바람직하게, 웨어러블 장치일 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 청각 장애인 보조 장치가 소리를 감지하여 위험 경고 정보를 출력하는 과정을 설명하기 위한 도면이다.
도 7을 더 참조하면, 본 발명의 다른 실시 예에 따른 청각 장애인 보조 장치(100)는 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치(100) 대비 동일한 구성요소들을 포함하고 있으나, 감지부(110), 프로세서(120) 및 출력부(130)의 역할이 일부 상이하므로, 반복되는 설명은 생략하도록 한다.
감지부(110)는 착용자의 주변의 소리를 감지하여 소리 주파수 정보, 소리 크기 정보 및 소리 방향 정보를 프로세서(120)로 출력할 수 있다.
보다 구체적으로, 감지부(110)는 소리의 주파수를 나타내는 소리 주파수 정보, 소리의 크기를 나타내는 소리 크기 정보 및 착용자에서 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 프로세서(120)로 출력할 수 있다.
이때, 감지부(110)는 미리 설정된 감지 주기 마다 착용자의 주변의 소리를 감지하여 소리 주파수 정보, 소리 크기 정보 및 소리 방향 정보를 프로세서(120)로 출력할 수 있다.
이를 위해, 감지부(110)는 마이크 모듈을 구비할 수 있다.
프로세서(120)는 소리 크기 정보가 기준 소리 크기를 초과하면 소리 주파수 정보에 기초하여 소리의 종류를 나타내는 소리 종류 정보를 생성할 수 있다.
예를 들어, 프로세서(120)는 소리 크기 정보가 기준 소리 크기 30dB를 초과하면 소리 주파수 정보에 기초하여 소리의 종류를 나타내는 소리 종류 정보를 생성할 수 있다.
프로세서(120)는 미리 등록된 주파수 별 소리 종류 분류 정보를 참조하여 소리 주파수 정보에 대응되는 소리 종류 정보를 생성할 수 있다.
이후, 프로세서(120)는 소리 종류 정보가 경고 소리 목록 정보에서 검색되면 착용자에게 위험을 경고해야 하는 제2 위험 경고 상황인 것으로 판단할 수 있다.
이때, 프로세서(120)는 소리 종류 분류 정보 중에서 위험을 알리는 소리의 종류를 경고 소리 목록 정보를 설정해두고, 소리로부터 생성된 소리 종류 정보가 경고 소리 목록 정보에서 검색되는 경우, 착용자에게 위험을 경고해야 하는 제2 위험 경고 상황인 것으로 판단할 수 있다.
예를 들어, 프로세서(120)는 착용자에게 위험을 경고하는 자동차의 경적 소리(S1)가 착용자를 향해 출력되는 경우, 감지부(110)는 경적 소리의 소리 주파수 정보를 프로세서(120)로 출력하고, 프로세서(120)는 경적 소리의 소리 주파수 정보에 기초하여 경적 소리의 소리 종류 정보를 경적 소리 종류 정보로 생성할 수 있다.
이후, 프로세서(120)는 경고 소리 목록 정보에서 경적 소리 종류 정보가 검색되어 경적 소리에 대해 착용자에게 위험을 경고해야 하는 제2 위험 경고 상황인 것으로 판단할 수 있다.
프로세서(120)는 제2 위험 경고 상황인 것으로 판단되면, 소리 종류 정보에 대응되는 위험 정보 및 소리 방향 정보 중 하나 이상을 포함하는 제2 위험 경고 정보를 출력하도록 출력부(130)를 제어할 수 있다.
구체적으로, 프로세서(120)는 도 7에 도시된 바와 같이, 소리 종류 정보가 경고 소리 목록 정보에서 검색되어 제2 위험 경고 상황인 것으로 판단되면, 소리 종류 정보에 대응되는 위험 정보(S1') 및 소리 방향 정보(S1')를 화면에 출력하도록 출력부(130)를 제어할 수 있다. 이때, 프로세서(120)는 소리 방향 정보(S1')를 방위 정보(NWES) 상에 표시되도록 출력부(130)를 제어할 수 있다. 또한, 프로세서(120)는 소리 종류 정보를 나타내도록 아이콘을 위험 정보(S1')로써 화면에 표시하도록 출력부(130)를 제어할 수 있다.
또한, 프로세서(120)는 소리 종류 정보가 경고 소리 목록 정보에서 검색되어 제2 위험 경고 상황인 것으로 판단되면, 제2 위험 경고 정보로써 진동을 출력하도록 출력부(130)를 제어할 수 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 청각 장애인 보조 장치가 소리를 감지하여 대화 요청 알림 정보를 출력하는 과정을 설명하기 위한 도면이고, 도 9는 본 발명의 또 다른 실시 예에 따른 청각 장애인 보조 장치가 소리를 감지하여 음성을 나타내는 텍스트 정보를 출력하는 과정을 설명하기 위한 도면이다.
도 8 및 도 9를 더 참조하면, 본 발명의 또 다른 실시 예에 따른 청각 장애인 보조 장치(100)는 본 발명의 일 실시 예에 따른 청각 장애인 보조 장치(100) 대비 동일한 구성요소들을 포함하고 있으나, 감지부(110), 프로세서(120) 및 출력부(130)의 역할이 일부 상이하므로, 반복되는 설명은 생략하도록 한다.
감지부(110)는 착용자의 주변의 소리를 감지하여 소리 주파수 정보, 소리 크기 정보 및 소리 방향 정보를 프로세서(120)로 출력할 수 있다.
보다 구체적으로, 감지부(110)는 소리의 주파수를 나타내는 소리 주파수 정보, 소리의 크기를 나타내는 소리 크기 정보 및 착용자에서 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 프로세서(120)로 출력할 수 있다.
이때, 감지부(110)는 미리 설정된 감지 주기 마다 착용자의 주변의 소리를 감지하여 소리 주파수 정보, 소리 크기 정보 및 소리 방향 정보를 프로세서(120)로 출력할 수 있다.
이를 위해, 감지부(110)는 마이크 모듈을 구비할 수 있다.
프로세서(120)는 소리 크기 정보가 기준 소리 크기를 초과하면 소리 주파수 정보에 기초하여 소리의 종류를 나타내는 소리 종류 정보를 생성할 수 있다.
예를 들어, 프로세서(120)는 소리 크기 정보가 기준 소리 크기 30dB를 초과하면 소리 주파수 정보에 기초하여 소리의 종류를 나타내는 소리 종류 정보를 생성할 수 있다.
프로세서(120)는 미리 등록된 주파수 별 소리 종류 분류 정보를 참조하여 소리 주파수 정보에 대응되는 소리 종류 정보를 생성할 수 있다.
이후, 프로세서(120)는 소리 종류 정보가 음성이면 착용자에게 대화가 요청됨을 알려야 하는 대화 요청 알림 상황인 것으로 판단할 수 있다.
즉, 대화 요청 알림 상황은 착용자에게 타인이 대화를 요청하는 상황을 의미할 수 있다.
이때, 프로세서(120)는 음성으로 분류되는 음성 주파수 범위를 설정해두고, 소리 주파수 정보가 음성 주파수 범위에 포함되면 음성을 나타내는 소리 종류 정보를 생성할 수 있다.
프로세서(120)는 대화 요청 알림 상황인 것으로 판단되면, 음성을 나타내는 텍스트 정보 및 소리 방향 정보를 포함하는 대화 요청 알림 정보를 출력하도록 출력부(130)를 제어할 수 있다.
구체적으로, 프로세서(120)는 도 8에 도시된 바와 같이, 프로세서(120)는 음성에 대응되는 소리 방향 정보(S2')를 방위 정보(NWES) 상에 표시되도록 출력부(130)를 제어할 수 있다. 또한, 프로세서(120)는 음성을 나타내는 아이콘(S2')을 화면에 표시하도록 출력부(130)를 제어할 수 있다.
한편, 프로세서(120)는 입력부(140)를 통해 착용자로부터 대화 요청을 확인하기 위한 확인 입력이 입력되면, 도 9에 도시된 바와 같이, 음성을 텍스트로 변환한 텍스트 정보(S2”)를 화면에 표시하도록 출력부(130)를 제어할 수 있다.
이때, 확인 입력은 상술된 아이콘(S2')이 착용자에 의해 선택되는 입력일 수 있다.
이를 위해, 프로세서(120)는 음성을 텍스트로 변환하는 STT(Speech to Text) 모듈을 구비할 수 있다.
이때, 입력부(140)는 음성을 나타내는 아이콘(S2')에 대한 선택 입력이 입력되면 착용자로부터 대화 요청을 확인하기 위한 확인 입력이 입력된 것으로 판단하여 텍스트 정보(S2”)를 화면에 표시하도록 출력부(130)를 제어할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 청각 장애인 보조 방법의 순서도이다.
도 10을 참조하면, S1-1 단계에서, 감지부가, 착용자의 주변의 물체를 감지하여 착용자와 물체 간의 거리를 나타내는 물체 거리 정보와 착용자에서 물체를 향하는 방향을 나타내는 물체 방향 정보를 출력하게 된다.
이후, S1-2 단계에서, 프로세서가, 물체 거리 정보 및 물체 방향 정보에 기초하여 물체의 속도를 나타내는 물체 속도 정보를 산출하게 된다.
다음으로, S1-3 단계에서, 프로세서가, 물체 거리 정보 및 물체 속도 정보 중 하나 이상에 기초하여 물체가 근접 물체, 과속도 물체 및 충돌 주의 물체 중 어느 하나로 분류되는지 확인하게 된다.
S1-3 단계에서, 물체 거리 정보 및 물체 속도 정보 중 하나 이상에 기초하여 물체가 근접 물체, 과속도 물체 및 충돌 주의 물체 중 어느 하나로 분류되면, S1-4 단계에서, 프로세서가 착용자에게 위험을 경고해야 하는 제1 위험 경고 상황인 것으로 판단하게 된다.
반대로, S1-3 단계에서, 물체 거리 정보 및 물체 속도 정보 중 하나 이상에 기초하여 물체가 근접 물체, 과속도 물체 및 충돌 주의 물체 중 어느 하나로 분류되지 않으면, S1-1 단계를 재수행한다.
이후, S1-5 단계에서, 프로세서가, 물체 거리 정보, 물체 방향 정보 및 물체 속도 정보 중 하나 이상을 포함하는 제1 위험 경고 정보를 출력하도록 출력부를 제어하게 된다.
도 11은 본 발명의 다른 실시 예에 따른 청각 장애인 보조 방법의 순서도이다.
도 11을 참조하면, S2-1 단계에서, 감지부가, 착용자의 주변의 소리를 감지하여 소리의 주파수를 나타내는 소리 주파수 정보, 소리의 크기를 나타내는 소리 크기 정보 및 착용자에서 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 출력하게 된다.
이후, S2-2 단계에서, 프로세서가, 소리 크기 정보가 기준 소리 크기를 초과하면 소리 주파수 정보에 기초하여 소리의 종류를 나타내는 소리 종류 정보를 생성하게 된다.
다음으로, S2-3 단계에서, 프로세서가, 소리 종류 정보가 경고 소리 목록 정보에서 검색되는지 확인하게 된다.
S2-3 단계에서, 소리 종류 정보가 경고 소리 목록 정보에서 검색되면, S2-4 단계에서, 프로세서가 착용자에게 위험을 경고해야 하는 제2 위험 경고 상황인 것으로 판단하게 된다.
반대로, S2-3 단계에서, 소리 종류 정보가 경고 소리 목록 정보에서 검색되지 않으면, S2-1 단계를 재수행한다.
이후, S2-5 단계에서, 프로세서가, 소리 종류 정보에 대응되는 위험 정보 및 소리 방향 정보 중 하나 이상을 포함하는 제2 위험 경고 정보를 출력하도록 출력부를 제어하게 된다.
도 12는 본 발명의 또 다른 실시 예에 따른 청각 장애인 보조 방법의 순서도이다.
도 12를 참조하면, S3-1 단계에서, 감지부가, 착용자의 주변의 소리를 감지하여 소리의 주파수를 나타내는 소리 주파수 정보, 소리의 크기를 나타내는 소리 크기 정보 및 착용자에서 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 출력하게 된다.
이후, S3-2 단계에서, 프로세서가, 소리 크기 정보가 기준 소리 크기를 초과하면 소리 주파수 정보에 기초하여 소리의 종류를 나타내는 소리 종류 정보를 생성하게 된다.
다음으로, S3-3 단계에서, 프로세서가, 소리 종류 정보가 음성인지 확인하게 된다.
S3-3 단계에서, 소리 종류 정보가 음성이면, S3-4 단계에서, 프로세서가 착용자에게 대화가 요청됨을 알려야 하는 대화 요청 알림 상황인 것으로 판단하게 된다.
반대로, S3-3 단계에서, 소리 종류 정보가 음성이 아니면, S3-1 단계를 재수행한다.
이후, S3-5 단계에서, 프로세서가, 음성을 나타내는 텍스트 정보 및 소리 방향 정보를 포함하는 대화 요청 알림 정보를 출력하도록 출력부를 제어하게 된다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
100 : 청각 장애인 보조 장치

Claims (3)

  1. 청각 장애인인 착용자에 의해 착용되는 청각 장애인 보조 장치에 있어서,
    상기 착용자의 주변의 소리를 감지하여 소리의 주파수를 나타내는 소리 주파수 정보, 상기 소리의 크기를 나타내는 소리 크기 정보 및 상기 착용자에서 상기 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 출력하는 감지부; 및
    상기 소리 크기 정보가 기준 소리 크기를 초과하면 상기 소리 주파수 정보에 기초하여 상기 소리의 종류를 나타내는 소리 종류 정보를 생성하고, 상기 소리 종류 정보가 경고 소리 목록 정보에서 검색되면 상기 착용자에게 위험을 경고해야 하는 제2 위험 경고 상황인 것으로 판단하고, 상기 제2 위험 경고 상황인 것으로 판단되면, 상기 소리 종류 정보에 대응되는 위험 정보 및 상기 소리 방향 정보 중 하나 이상을 포함하는 제2 위험 경고 정보를 출력하도록 출력부를 제어하는 프로세서;를 포함하는 것을 특징으로 하는
    청각 장애인 보조 장치.
  2. 청각 장애인인 착용자에 의해 착용되는 청각 장애인 보조 장치를 이용한 청각 장애인 보조 방법에 있어서,
    감지부가, 상기 착용자의 주변의 소리를 감지하여 소리의 주파수를 나타내는 소리 주파수 정보, 상기 소리의 크기를 나타내는 소리 크기 정보 및 상기 착용자에서 상기 소리의 음원을 향하는 방향을 나타내는 소리 방향 정보를 출력하는 단계; 및
    프로세서가, 상기 소리 크기 정보가 기준 소리 크기를 초과하면 상기 소리 주파수 정보에 기초하여 상기 소리의 종류를 나타내는 소리 종류 정보를 생성하고, 상기 소리 종류 정보가 경고 소리 목록 정보에서 검색되면 상기 착용자에게 위험을 경고해야 하는 제2 위험 경고 상황인 것으로 판단하고, 상기 제2 위험 경고 상황인 것으로 판단되면, 상기 소리 종류 정보에 대응되는 위험 정보 및 상기 소리 방향 정보 중 하나 이상을 포함하는 제2 위험 경고 정보를 출력하도록 출력부를 제어하는 단계;를 포함하는 것을 특징으로 하는
    청각 장애인 보조 방법.
  3. 하드웨어인 컴퓨터와 결합되어, 제2항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
KR1020230193570A 2022-02-15 2023-12-27 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램 KR20240004195A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230193570A KR20240004195A (ko) 2022-02-15 2023-12-27 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220019674A KR20230122884A (ko) 2022-02-15 2022-02-15 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램
KR1020230193570A KR20240004195A (ko) 2022-02-15 2023-12-27 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220019674A Division KR20230122884A (ko) 2022-02-15 2022-02-15 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램

Publications (1)

Publication Number Publication Date
KR20240004195A true KR20240004195A (ko) 2024-01-11

Family

ID=87799974

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020220019674A KR20230122884A (ko) 2022-02-15 2022-02-15 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램
KR1020230193570A KR20240004195A (ko) 2022-02-15 2023-12-27 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램
KR1020230193571A KR20240004196A (ko) 2022-02-15 2023-12-27 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020220019674A KR20230122884A (ko) 2022-02-15 2022-02-15 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230193571A KR20240004196A (ko) 2022-02-15 2023-12-27 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램

Country Status (1)

Country Link
KR (3) KR20230122884A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170123798A (ko) 2016-04-29 2017-11-09 캐논코리아비즈니스솔루션 주식회사 청각장애인용 화재 경보밴드

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170123798A (ko) 2016-04-29 2017-11-09 캐논코리아비즈니스솔루션 주식회사 청각장애인용 화재 경보밴드

Also Published As

Publication number Publication date
KR20240004196A (ko) 2024-01-11
KR20230122884A (ko) 2023-08-22

Similar Documents

Publication Publication Date Title
US11282389B2 (en) Pedestrian detection for vehicle driving assistance
KR102528466B1 (ko) 복수 화자의 음성 신호 처리 방법 및 그에 따른 전자 장치
KR101668165B1 (ko) 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이
US9881605B2 (en) In-vehicle control apparatus and in-vehicle control method
US20170132016A1 (en) System and method for adapting the user-interface to the user attention and driving conditions
KR101398946B1 (ko) 스마트 시계 제어 장치, 방법 및 기록매체
US20160210834A1 (en) Wearable smart device for hazard detection and warning based on image and audio data
US10699546B2 (en) Headphone and headphone safety device for alerting user from impending hazard, and method thereof
US10614693B2 (en) Dangerous situation notification apparatus and method
KR101339736B1 (ko) 교통 안전 경고 시스템
US20130094682A1 (en) Augmented reality sound notification system
JP2016143060A (ja) 視覚補助装置及びオブジェクトの分類の検出方法
KR20150098288A (ko) 물리적충격 및 심리적충격에 대응한 긴급상황감지방법과 이를 이용한 긴급상황감지장치
CN112060090B (zh) 机器人避让方法、装置及计算机可读存储介质
JP2014071519A (ja) 状態判定装置、運転支援システム、状態判定方法及びプログラム
JP2017062690A (ja) 危険度指標変換装置
CN111045512B (zh) 车辆、输出车辆的信息的方法及计算机可读记录介质
US20200000391A1 (en) Operation aptitude judgment device and operation aptitude judgment method
CN216014810U (zh) 通知装置与穿戴装置
KR20240004195A (ko) 청각 장애인 보조 장치, 방법 및 컴퓨터프로그램
CN118053447A (zh) 一种声音信号处理方法、装置、电子设备及存储介质
WO2024079841A1 (ja) 状態認識装置、状態認識方法、コンピュータ可読媒体、タスク実行システム、及びタスク実行方法
US20240103172A1 (en) Systems and methods for using an accessibility headset system for providing directions to audio and visually impaired users
US20220383609A1 (en) Annunciation method and information processing device
US20230252731A1 (en) Apparatus and method for earbud augmented reality

Legal Events

Date Code Title Description
A107 Divisional application of patent