KR102633725B1 - 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법 - Google Patents

청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법 Download PDF

Info

Publication number
KR102633725B1
KR102633725B1 KR1020220004833A KR20220004833A KR102633725B1 KR 102633725 B1 KR102633725 B1 KR 102633725B1 KR 1020220004833 A KR1020220004833 A KR 1020220004833A KR 20220004833 A KR20220004833 A KR 20220004833A KR 102633725 B1 KR102633725 B1 KR 102633725B1
Authority
KR
South Korea
Prior art keywords
text
hearing impaired
glass body
smart glasses
user terminal
Prior art date
Application number
KR1020220004833A
Other languages
English (en)
Other versions
KR20230109000A (ko
Inventor
김성희
박영한
정승환
최정영
이현주
윤태진
권준완
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020220004833A priority Critical patent/KR102633725B1/ko
Publication of KR20230109000A publication Critical patent/KR20230109000A/ko
Application granted granted Critical
Publication of KR102633725B1 publication Critical patent/KR102633725B1/ko

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 대화 상대의 음성 신호를 문자 변환하여 글래스에 표시하는 것에 의해 후천적 청각장애인의 의사소통을 효율적으로 지원할 수 있도록 한 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법에 관한 것으로, 사용자 단말로부터 전송된 문자 정보를 수신하여 표시할 수 있도록 문자정보 수신 및 문자 표시 제어를 하고, 사용자 단말을 통한 원격 제어신호를 수신하여 처리하는 글래스 본체;글래스 본체에 회전 가능하도록 연결되어 글래스 본체를 통하여 수신된 문자정보를 사용자가 알 수 있도록 표시하는 문자 표시창;전체 글래스 무게를 균일하게 배분하기 위하여 글래스 본체의 반대편에 위치되어 글래스 본체 및 문자 표시창에 동작 전원을 공급하는 배터리부;청각장애인을 위한 문자 표시 어플리케이션을 탑재하고, 동작 모드에 따라 음성 신호를 수집하여 음성-텍스트 변환하여 문자 정보를 글래스 본체로 전송하는 사용자 단말;을 포함하는 것이다.

Description

청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법{Smart Glass System for the Hearing Impaired and Method for controlling the same}
본 발명은 청각장애인의 의사소통 지원에 관한 것으로, 구체적으로 대화 상대의 음성 신호를 문자 변환하여 글래스에 표시하는 것에 의해 후천적 청각장애인의 의사소통을 효율적으로 지원할 수 있도록 한 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법에 관한 것이다.
일반적으로 청각 장애는 외이로부터 대뇌에서 소리를 이해하기까지의 청각 경로에 장애를 입어 소리를 듣기가 어려운 장애를 말한다. 이러한 청각장애는 선천적 유전 요인 혹은 후천적 사고로 발생하게 된다.
청각 장애인은 일상에서 수화, 필담, 구화를 통해 대화를 한다. 소리를 시각화 시켜 소통을 하는 것이다. 일반인 대다수는 수화에 대해 잘 알지 못한다. 때문에 청각 장애인과 일반인 사이에 수화를 통한 소통은 기대하기 힘들다.
또한, 필담은 소통의 속도에 있어 번거로운 문제가 있다. 마지막으로 구화의 경우 청각장애인이 일반인의 입모양을 통해 하는 말을 이해하는 것이나, 궁극적으로 청각장애인도 다시 일반인에게 말을 할 때 일반인이 이해할 수 있는 수단이 필요하기에 소통에 있어 불완전한 수단이 된다.
한편, 디스플레이 소자의 소형화 추세에 따라 개인용 디스플레이장치의 수요가 증가하고 있는데, 소형화상표시소자에서 출력된 화상을 광학계를 이용하여 확대하고, 이에 따른 허상을 눈으로 보게 하면서 마치 일정한 거리에 대형의 스크린을 두고 화상을 보는 것과 동일한 효과를 주는 디스플레이장치가 개발되고 있다.
이러한 장치는 대부분 머리에 안경과 같은 방식으로 착용하는 형태로서, 머리 착용형 디스플레이 장치(Head Mounted Display;HMD)라 하는데, 주로 영화관이나 공연장, 또는 강의실 등에서 문자 자막을 제공하기 위해 사용되고 있으며, 특히 청각 장애인이나 난청인에게 매우 유용하게 사용된다.
우리나라의 청각장애인과 난청인(노인 포함)은 전체 인구 중 10~20% 정도(대략 750 만명)가 있으며, 최근에는 이러한 난청인을 포함한 청각장애인들에게 위험상황을 인식시킬 수 있도록 문자 자막을 제공하는 많은 보조장치들이 개발되고 있다.
이와 같이 첨단 정보통신 장비의 발달과 함께 청각 장애인을 위한 보조 장비 또한 지속적으로 연구되고 있다. 청각 장애를 가진 장애인들을 위한 기기 또한 많이 연구되고 있는데, 최근에는 청각 장애인용 자동 수화 전송 시스템, 실시간 문자 통역 프로그램, 보청기 등이 개발되고 있다.
그러나 이러한 자동 수화 전송 시스템은 수화 동영상을 낮은 대역폭을 이용하여 일반 전송 알고리즘으로 주고받을 경우 손, 손가락, 얼굴 동작 묘사가 정확하게 이루이지 않아 수화 대화가 어려우며, 이러한 비디오 압축 기술에 대한 문제를 해결하더라도 다량의 비디오 압축 계산을 위한 상당한 전력이 필요한 문제가 있다.
또한, 실시간 문자 통역 프로그램은 회의, 공연, 강연 등 각종 행사장에서 발표되는 내용을 플랫폼에 접속한 상태에서 문자 통역사가 받아 치면서 청각 장애인의 모바일 폰에 전달하는 방식을 취한다.
이러한 방식은 인력이 필요하기 때문에 일상 생활에서 청각 장애인 개개인에 대해 서비스를 제공하는 것이 불가능하다는 단점이 있다.
따라서, 대화 상대와 청각장애인 간의 의사소통이 원활해지도록 하고, 청각장애인의 사회적 활동의 불편함을 줄일 수 있도록 하는 청각장애인의 의사소통을 위한 새로운 보조 장치의 개발이 요구되고 있다.
대한민국 공개특허 제10-2016-0093529호 대한민국 공개특허 제10-2013-0133932호 대한민국 공개특허 제10-2019-0069786호
본 발명은 종래 기술의 청각장애인의 의사소통 지원 기술의 문제점을 해결하기 위한 것으로, 대화 상대의 음성 신호를 문자 변환하여 글래스에 표시하는 것에 의해 후천적 청각장애인의 의사소통을 효율적으로 지원할 수 있도록 한 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법을 제공하는데 그 목적이 있다.
본 발명은 대화 상대와 청각장애인 간의 의사소통이 원활해지도록 하고, 청각장애인의 사회적 활동의 불편함을 줄일 수 있도록 하는 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법을 제공하는데 그 목적이 있다.
본 발명은 말은 할 수 있지만 음성을 듣는데 어려움을 겪는 후천적 청각장애인들을 대상으로 이들이 가진 장애를 최대한 극복하며 큰 어려움 없이 전반적인 사회활동이 가능하도록 한 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법을 제공하는데 그 목적이 있다.
본 발명은 대화 상대의 음성언어를 분석 및 문자로 변환하는 STT(Speech to Text) 라이브러리를 활용하여 스마트폰 어플리케이션을 구축하여 의사소통의 정확도를 높일 수 있도록 한 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법을 제공하는데 그 목적이 있다.
본 발명은 후천적 청각 장애인들의 사회적 활동의 범위를 늘리고 사회복지서비스와 편의를 누릴 수 있도록 도와줌으로써 후천적 청각 장애인들의 사회참여를 적극적으로 유도해 사회발전과 공헌에 이바지할 수 있도록 한 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법을 제공하는데 그 목적이 있다.
본 발명은 배터리 무게를 분산할 수 있도록 배치하여 스마트 글래스의 좌우 무게 배분이 이루어져 사용자의 착용 편리성을 높인 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템은 사용자 단말로부터 전송된 문자 정보를 수신하여 표시할 수 있도록 문자정보 수신 및 문자 표시 제어를 하고, 사용자 단말을 통한 원격 제어신호를 수신하여 처리하는 글래스 본체;글래스 본체에 회전 가능하도록 연결되어 글래스 본체를 통하여 수신된 문자정보를 사용자가 알 수 있도록 표시하는 문자 표시창;전체 글래스 무게를 균일하게 배분하기 위하여 글래스 본체의 반대편에 위치되어 글래스 본체 및 문자 표시창에 동작 전원을 공급하는 배터리부;청각장애인을 위한 문자 표시 어플리케이션을 탑재하고, 동작 모드에 따라 음성 신호를 수집하여 음성-텍스트 변환하여 문자 정보를 글래스 본체로 전송하는 사용자 단말;을 포함하는 것을 특징으로 한다.
여기서, 스마트 글래스는 착탈 가능한 모듈 형태로 구성되어 일반 안경에 장착하여 사용하는 형태이거나, 안경을 사용하지 않는 사용자를 위하여 스마트 글래스 자체가 착용 가능하도록 구성되는 것을 특징으로 한다.
그리고 사용자 단말을 통하여 수신되는 긴급 재난 문자 정보는 사용자의 동작 모드 선택에 관계없이 문자 표시창에 표시되도록 구성되는 것을 특징으로 한다.
그리고 글래스 본체는, 사용자 단말로부터 전송되는 문자정보를 수신하는 문자정보 수신부와, 문자정보 수신부를 통하여 수신된 문자 정보를 문자 표시창에 표시할 수 있도록 문자 표시 제어를 하는 문자 표시 제어부와, 사용자 단말을 통한 원격 제어신호를 수신하여 처리하는 원격 제어신호 수신 및 처리부를 포함하는 것을 특징으로 한다.
그리고 글래스 본체에 소형 카메라를 구비하여 사용자 시선 추적을 하는 것에 의해, 사용자의 시선이 표시된 문자에 머무는 최초 시점에서 설정 시간이 지난 동안에만 문자 표시를 유지하고, 설정 시간 경과후에는 새로이 수신된 문자를 표시하거나, 사용자의 시선이 표시된 문자에 머물렀다가 다른 방향으로 시선이 옮겨지는 순간까지만 문자 표시를 유지하는 것을 특징으로 한다.
그리고 사용자 단말은, 청각장애인을 위한 문자 표시 어플리케이션을 탑재 및 관리하는 어플리케이션 탑재 및 관리부와,문자 표시 어플리케이션 실행시에 동작 모드가 사용자 단말을 통한 통화시의 동작 모드인지 주변 상대와 대화를 하는 동작 모드인지를 판단하여 해당 동작을 실행하는 동작 모드 선택부와,대화 동작 모드인 경우에는 대화 상대의 음성 신호를 수집하고, 통화모드인 경우에는 통화 상대의 음성신호 수신하는 음성 신호 수집부와,음성 신호 수집부를 통하여 수집된 음성 신호를 인식 및 판별하고 주변 잡음을 필터링하는 음성 인식 및 판별부와,음성 인식 및 판별된 음성 신호를 텍스트 변환하는 음성-텍스트 변환부와,음성-텍스트 변환부에서 텍스트 변환된 문자 정보를 글래스 본체로 전송하는 문자 정보 전송부를 포함하는 것을 특징으로 한다.
그리고 사용자 단말은, 글래스 본체로 원격 제어신호를 전송하여 문자 표시창의 밝기 제어 및 글자 크기, 글꼴, 글자색의 설정을 하고, 문자 표시 위치를 선택할 수 있도록 하는 스마트 글래스 제어부를 더 포함하는 것을 특징으로 한다.
그리고 스마트 글래스 제어부는, 주변 밝기에 따라 자동으로 문자 표시창의 밝기가 제어되도록 하거나, 사용자의 선택에 의한 밝기 제어가 이루어지도록 하는 표시창 밝기 제어부와, 청각장애인을 위한 문자 표시 어플리케이션을 실행하여 사용자의 선택에 의해 문자 표시창에 표시되는 글자 크기, 글꼴, 글자색의 설정을 지원하는 글자 설정부와, 문자 표시창에 표시되는 문자의 표시 위치를 설정하는 문자 표시 위치 선택부를 포함하는 것을 특징으로 한다.
그리고 사용자 단말은, 글래스 본체로 전송이 이루어진 텍스트 변환된 문자 정보를 일정 기간동안 메모리에 저장할 수 있고, 저장된 문자 정보는 사용자의 선택에 의해 다시 문자 표시창에 표시될 수 있도록 하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템의 제어 방법은 사용자 단말의 어플리케이션을 실행하고 동작 모드 선택이 이루어지면, 대화 동작 모드인 경우에는 대화 상대의 음성 신호를 수집하고, 통화모드인 경우에는 통화 상대의 음성신호 수신을 하는 단계;음성 인식 및 판별을 하여 음성-텍스트 변환하여 문자 정보를 스마트 글래스로 전송하는 단계;스마트 글래스 제어를 통하여 설정된 밝기 및 위치에 설정 글꼴,크기,글자색으로 표시하고, 다음 변환 문자 정보 수신시까지 해당 문자 표시 유지후 새로운 문자 표시를 하는 단계;를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법은 다음과 같은 효과가 있다.
첫째, 대화 상대의 음성 신호를 문자 변환하여 글래스에 표시하는 것에 의해 후천적 청각장애인의 의사소통을 효율적으로 지원할 수 있도록 한다.
둘째, 대화 상대와 청각장애인 간의 의사소통이 원활해지도록 하고, 청각장애인의 사회적 활동의 불편함을 줄일 수 있도록 한다.
셋째, 말은 할 수 있지만 음성을 듣는데 어려움을 겪는 후천적 청각장애인들을 대상으로 이들이 가진 장애를 최대한 극복하며 큰 어려움 없이 전반적인 사회활동이 가능하도록 한다.
넷째, 대화 상대의 음성언어를 분석 및 문자로 변환하는 STT(Speech to Text) 라이브러리를 활용하여 스마트폰 어플리케이션을 구축하여 의사소통의 정확도를 높일 수 있도록 한다.
다섯째, 후천적 청각 장애인들의 사회적 활동의 범위를 늘리고 사회복지서비스와 편의를 누릴 수 있도록 도와줌으로써 후천적 청각 장애인들의 사회참여를 적극적으로 유도해 사회발전과 공헌에 이바지할 수 있도록 한다.
여섯째, 배터리 무게를 분산할 수 있도록 배치하여 스마트 글래스의 좌우 무게 배분이 이루어져 사용자의 착용 편리성을 높인다.
도 1은 본 발명에 따른 청각장애인을 위한 스마트 글래스의 외관 사시도
도 2a와 도 2b는 본 발명에 따른 청각장애인을 위한 스마트 글래스의 일 예를 나타낸 구성도
도 3은 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템의 구성 블록도
도 4는 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템의 제어를 위한 사용자 단말의 상세 구성도
도 5는 스마트 글래스 제어부의 상세 구성도
도 6은 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템의 제어 방법을 나타낸 플로우 차트
이하, 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 청각장애인을 위한 스마트 글래스의 외관 사시도이고, 도 2a와 도 2b는 본 발명에 따른 청각장애인을 위한 스마트 글래스의 일 예를 나타낸 구성도이다.
본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법은 대화 상대 또는 통화 상대의 음성 신호를 문자 변환하여 글래스에 표시하는 것에 의해 후천적 청각장애인의 의사소통을 효율적으로 지원할 수 있도록 한 것이다.
이를 위하여 본 발명은 대화 상대 및 통화 상대의 음성언어를 분석 및 문자로 변환하는 STT(Speech to Text) 라이브러리를 활용하여 스마트폰 어플리케이션을 구축하여 의사소통의 정확도를 높일 수 있도록 하는 구성을 포함할 수 있다.
본 발명은 배터리 무게를 분산할 수 있도록 배치하여 스마트 글래스의 좌우 무게 배분이 이루어져 사용자의 착용 편리성을 높이기 위한 구성을 포함할 수 있다.
본 발명에 따른 청각장애인을 위한 스마트 글래스는 도 1에서와 같이, 사용자 단말(400)로부터 전송된 문자 정보를 수신하여 표시할 수 있도록 문자정보 수신 및 문자 표시 제어를 하고, 사용자 단말(400)을 통한 원격 제어신호를 수신하여 처리하는 글래스 본체(100)와, 글래스 본체(100)에 회전 가능하도록 연결되어 글래스 본체(100)를 통하여 수신된 문자정보를 사용자가 알 수 있도록 표시하는 문자 표시창(200)과, 전체 글래스 무게를 균일하게 배분하기 위하여 글래스 본체(100)의 반대편에 위치되어 글래스 본체(100) 및 문자 표시창(200)에 동작 전원을 공급하는 배터리부(300)와, 청각장애인을 위한 문자 표시 어플리케이션을 탑재하고, 동작 모드에 따라 음성 신호를 수집하여 음성-텍스트 변환하여 문자 정보를 글래스 본체(100)로 전송하는 사용자 단말(400)을 포함한다.
이와 같은 구성을 갖는 본 발명에 따른 청각장애인을 위한 스마트 글래스는 착탈 가능한 모듈 형태로 구성되어 도 2a와 도 2b에서와 같이 일반 안경에 장착하여 사용하는 것도 가능하고, 안경을 사용하지 않는 사용자를 위하여 스마트 글래스 자체를 착용 가능하도록 구성할 수 있다.
그리고 글래스 본체(100)와 사용자 단말(400)간의 데이터 송수신은 블루투스를 이용할 수 있고, 이로 제한되지 않는다.
또한, 사용자 단말(400)을 통하여 수신되는 긴급 재난 문자 정보는 사용자의 동작 모드 선택에 관계없이 문자 표시창(200)에 표시되도록 구성될 수 있고, 이로 제한되지 않는다.
본 발명에 따른 청각장애인을 위한 스마트 글래스는 청각장애인이 일반적인 강의 및 강연과 사회 프로그램 등을 청취하거나 수강할 때 착용 및 실행하면 강연자가 말하는 음성언어를 스마트폰 어플리케이션이 인식 및 문자로 변환하여 스마트 글래스를 통하여 착용자에게 전달해주며 착용자가 강의 및 강연을 원활하게 수강할 수 있는 효과를 기대할 수 있다.
또한, 일상생활에서도 대화 상대가 특별한 도구나 수화의 지식이 없더라도 착용자와 원활한 의사소통을 할 수 있게 되어 착용자의 전반적인 사회활동의 범위가 넓어지는 효과를 기대할 수 있다.
글래스 본체(100)의 상세 구성은 다음과 같다.
도 3은 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템의 구성 블록도이다.
글래스 본체(100)는 사용자 단말(400)로부터 전송되는 문자정보를 수신하는 문자정보 수신부(11)와, 문자정보 수신부(11)를 통하여 수신된 문자 정보를 문자 표시창(200)에 표시할 수 있도록 문자 표시 제어를 하는 문자 표시 제어부(12)와, 사용자 단말(400)을 통한 원격 제어신호를 수신하여 처리하는 원격 제어신호 수신 및 처리부(13)를 포함한다.
또한, 글래스 본체(100)에 소형 카메라를 구비하여 사용자 시선 추적을 하는 것에 의해 문자 표시창(200)에 표시되는 문자의 표시 유지 시간을 제어하는 것도 가능하다.
즉, 사용자의 시선이 표시된 문자에 머무는 최초 시점에서 설정 시간이 지난 동안에만 문자 표시를 유지하고, 설정 시간 경과후에는 새로이 수신된 문자를 표시하는 방법이 있을 수 있고, 사용자의 시선이 표시된 문자에 머물렀다가 다른 방향으로 시선이 옮겨지는 순간까지만 문자 표시를 유지하도록 할 수 있다.
그리고 사용자 단말(400)의 상세 구성은 다음과 같다.
도 4는 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템의 제어를 위한 사용자 단말의 상세 구성도이다.
사용자 단말(400)은 도 4에서와 같이, 청각장애인을 위한 문자 표시 어플리케이션을 탑재 및 관리하는 어플리케이션 탑재 및 관리부(41)와, 문자 표시 어플리케이션 실행시에 동작 모드가 사용자 단말을 통한 통화시의 동작 모드인지 주변 상대와 대화를 하는 동작 모드인지를 판단하여 해당 동작을 실행하는 동작 모드 선택부(42)와, 대화 동작 모드인 경우에는 대화 상대의 음성 신호를 수집하고, 통화모드인 경우에는 통화 상대의 음성신호 수신하는 음성 신호 수집부(43)와, 음성 신호 수집부(43)를 통하여 수집된 음성 신호를 인식 및 판별하고 주변 잡음을 필터링하는 음성 인식 및 판별부(44)와, 음성 인식 및 판별된 음성 신호를 텍스트 변환하는 음성-텍스트 변환부(45)와, 음성-텍스트 변환부(45)에서 텍스트 변환된 문자 정보를 글래스 본체(100)로 전송하는 문자 정보 전송부(46)를 포함한다.
여기서, 사용자 단말(400)은 글래스 본체(100)로 원격 제어신호를 전송하여 문자 표시창의 밝기 제어 및 글자 크기, 글꼴, 글자색의 설정을 하고, 문자 표시 위치를 선택할 수 있도록 하는 스마트 글래스 제어부(47)를 더 포함한다.
스마트 글래스 제어부(47)의 상세 구성은 다음과 같다.
도 5는 스마트 글래스 제어부의 상세 구성도이다.
스마트 글래스 제어부(47)는 주변 밝기에 따라 자동으로 문자 표시창(200)의 밝기가 제어되도록 하거나, 사용자의 선택에 의한 밝기 제어가 이루어지도록 하는 표시창 밝기 제어부(51)와, 청각장애인을 위한 문자 표시 어플리케이션을 실행하여 사용자의 선택에 의해 문자 표시창(200)에 표시되는 글자 크기, 글꼴, 글자색의 설정을 지원하는 글자 설정부(52)와, 문자 표시창(200)에 표시되는 문자의 표시 위치를 설정하는 문자 표시 위치 선택부(53)를 포함한다.
또한, 사용자 단말(400)은 글래스 본체(100)로 전송이 이루어진 텍스트 변환된 문자 정보를 일정 기간동안 메모리에 저장할 수 있고, 저장된 문자 정보는 사용자의 선택에 의해 다시 문자 표시창(200)에 표시될 수 있도록 하는 것도 가능하다.
본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템의 제어 방법을 구체적으로 설명하면 다음과 같다.
도 6은 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템의 제어 방법을 나타낸 플로우 차트이다.
본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템의 제어 방법은 먼저, 사용자 단말의 어플리케이션을 실행하고 동작 모드 선택이 이루어지면(S601), 대화 동작 모드인 경우에는 대화 상대의 음성 신호를 수집하고, 통화모드인 경우에는 통화 상대의 음성신호 수신을 한다.(S602)
이어, 음성 인식 및 판별을 하여 음성-텍스트 변환하여 문자 정보를 스마트 글래스로 전송한다.(S603)
그리고 스마트 글래스 제어를 통하여 설정된 밝기 및 위치에 설정 글꼴,크기,글자색으로 표시하고(S604), 다음 변환 문자 정보 수신시까지 해당 문자 표시 유지후 새로운 문자 표시를 한다.(S605)
이상에서 설명한 본 발명에 따른 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법은 대화 상대의 음성 신호를 문자 변환하여 글래스에 표시하는 것에 의해 후천적 청각장애인의 의사소통을 효율적으로 지원할 수 있도록 한 것으로, 대화 상대와 청각장애인 간의 의사소통이 원활해지도록 하고, 청각장애인의 사회적 활동의 불편함을 줄일 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100. 글래스 본체
200. 문자 표시창
300. 배터리부
400. 사용자 단말

Claims (10)

  1. 사용자 단말로부터 전송된 문자 정보를 수신하여 표시할 수 있도록 문자정보 수신 및 문자 표시 제어를 하고, 사용자 단말을 통한 원격 제어신호를 수신하여 처리하는 글래스 본체;
    글래스 본체에 회전 가능하도록 연결되어 글래스 본체를 통하여 수신된 문자정보를 사용자가 알 수 있도록 표시하는 문자 표시창;
    전체 글래스 무게를 균일하게 배분하기 위하여 글래스 본체의 반대편에 위치되어 글래스 본체 및 문자 표시창에 동작 전원을 공급하는 배터리부;
    청각장애인을 위한 문자 표시 어플리케이션을 탑재하고, 동작 모드에 따라 음성 신호를 수집하여 음성-텍스트 변환하여 문자 정보를 글래스 본체로 전송하는 사용자 단말;을 포함하고,
    사용자 단말은 스마트 글래스 제어부를 통한 스마트 글래스 제어를 통하여 글래스 본체로 원격 제어신호를 전송하여 문자 표시창의 밝기 제어 및 글자 크기, 글꼴, 글자색의 설정을 하고, 문자 표시 위치를 선택할 수 있도록 하고,
    사용자 단말은, 청각장애인을 위한 문자 표시 어플리케이션을 탑재 및 관리하는 어플리케이션 탑재 및 관리부와,문자 표시 어플리케이션 실행시에 동작 모드가 사용자 단말을 통한 통화시의 동작 모드인지 주변 상대와 대화를 하는 동작 모드인지를 판단하여 해당 동작을 실행하는 동작 모드 선택부와,대화 동작 모드인 경우에는 대화 상대의 음성 신호를 수집하고, 통화모드인 경우에는 통화 상대의 음성신호 수신하는 음성 신호 수집부와,음성 신호 수집부를 통하여 수집된 음성 신호를 인식 및 판별하고 주변 잡음을 필터링하는 음성 인식 및 판별부와,음성 인식 및 판별된 음성 신호를 텍스트 변환하는 음성-텍스트 변환부와,음성-텍스트 변환부에서 텍스트 변환된 문자 정보를 글래스 본체로 전송하는 문자 정보 전송부를 포함하는 것을 특징으로 하는 청각장애인을 위한 스마트 글래스 시스템.
  2. 제 1 항에 있어서, 스마트 글래스는 착탈 가능한 모듈 형태로 구성되어 일반 안경에 장착하여 사용하는 형태이거나,
    안경을 사용하지 않는 사용자를 위하여 스마트 글래스 자체가 착용 가능하도록 구성되는 것을 특징으로 하는 청각장애인을 위한 스마트 글래스 시스템.
  3. 제 1 항에 있어서, 사용자 단말을 통하여 수신되는 긴급 재난 문자 정보는 사용자의 동작 모드 선택에 관계없이 문자 표시창에 표시되도록 구성되는 것을 특징으로 하는 청각장애인을 위한 스마트 글래스 시스템.
  4. 제 1 항에 있어서, 글래스 본체는,
    사용자 단말로부터 전송되는 문자정보를 수신하는 문자정보 수신부와,
    문자정보 수신부를 통하여 수신된 문자 정보를 문자 표시창에 표시할 수 있도록 문자 표시 제어를 하는 문자 표시 제어부와,
    사용자 단말을 통한 원격 제어신호를 수신하여 처리하는 원격 제어신호 수신 및 처리부를 포함하는 것을 특징으로 하는 청각장애인을 위한 스마트 글래스 시스템.
  5. 제 1 항에 있어서, 글래스 본체에 소형 카메라를 구비하여 사용자 시선 추적을 하는 것에 의해,
    사용자의 시선이 표시된 문자에 머무는 최초 시점에서 설정 시간이 지난 동안에만 문자 표시를 유지하고, 설정 시간 경과후에는 새로이 수신된 문자를 표시하거나,
    사용자의 시선이 표시된 문자에 머물렀다가 다른 방향으로 시선이 옮겨지는 순간까지만 문자 표시를 유지하는 것을 특징으로 하는 청각장애인을 위한 스마트 글래스 시스템.
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서, 스마트 글래스 제어부는,
    주변 밝기에 따라 자동으로 문자 표시창의 밝기가 제어되도록 하거나, 사용자의 선택에 의한 밝기 제어가 이루어지도록 하는 표시창 밝기 제어부와,
    청각장애인을 위한 문자 표시 어플리케이션을 실행하여 사용자의 선택에 의해 문자 표시창에 표시되는 글자 크기, 글꼴, 글자색의 설정을 지원하는 글자 설정부와,
    문자 표시창에 표시되는 문자의 표시 위치를 설정하는 문자 표시 위치 선택부를 포함하는 것을 특징으로 하는 청각장애인을 위한 스마트 글래스 시스템.
  9. 제 1 항에 있어서, 사용자 단말은,
    글래스 본체로 전송이 이루어진 텍스트 변환된 문자 정보를 일정 기간동안 메모리에 저장할 수 있고, 저장된 문자 정보는 사용자의 선택에 의해 다시 문자 표시창에 표시될 수 있도록 하는 것을 특징으로 하는 청각장애인을 위한 스마트 글래스 시스템.
  10. 사용자 단말의 어플리케이션을 실행하고 동작 모드 선택이 이루어지면, 대화 동작 모드인 경우에는 대화 상대의 음성 신호를 수집하고, 통화모드인 경우에는 통화 상대의 음성신호 수신을 하는 단계;
    음성 인식 및 판별을 하여 음성-텍스트 변환하여 문자 정보를 스마트 글래스로 전송하는 단계;
    스마트 글래스 제어를 통하여 설정된 밝기 및 위치에 설정 글꼴,크기,글자색으로 표시하고, 다음 변환 문자 정보 수신시까지 해당 문자 표시 유지후 새로운 문자 표시를 하는 단계;를 포함하는 것을 특징으로 하는 청각장애인을 위한 스마트 글래스 시스템의 제어 방법.
KR1020220004833A 2022-01-12 2022-01-12 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법 KR102633725B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220004833A KR102633725B1 (ko) 2022-01-12 2022-01-12 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220004833A KR102633725B1 (ko) 2022-01-12 2022-01-12 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20230109000A KR20230109000A (ko) 2023-07-19
KR102633725B1 true KR102633725B1 (ko) 2024-02-05

Family

ID=87425943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220004833A KR102633725B1 (ko) 2022-01-12 2022-01-12 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR102633725B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008529126A (ja) 2005-01-21 2008-07-31 ローレンス ケーツ 難聴者のための管理システムおよび支援システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354927B1 (ko) 2012-05-30 2014-01-27 에이알비전 (주) 청각장애인을 위한 머리 착용형 디스플레이장치
KR102176364B1 (ko) * 2014-03-19 2020-11-09 엘지전자 주식회사 글래스 타입 단말기
KR20160070529A (ko) * 2014-12-10 2016-06-20 엘지전자 주식회사 웨어러블 디바이스
KR101906551B1 (ko) 2015-01-29 2018-10-12 유퍼스트(주) 실시간 중계 및 송출 시스템
KR20190069786A (ko) 2017-12-12 2019-06-20 왕한호 딥러닝 기반의 수화 및 음성 번역을 위한 청각 장애인용 웨어러블 디바이스
KR20200107395A (ko) * 2019-03-07 2020-09-16 민상규 접이식 가상현실 장비

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008529126A (ja) 2005-01-21 2008-07-31 ローレンス ケーツ 難聴者のための管理システムおよび支援システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2015-0109229호(2015.10.1. 공개) 1부.*
공개특허공보 제10-2016-0070529호(2016.6.20. 공개) 1부.*
공개특허공보 제10-2020-0107395호(2020.9.16. 공개) 1부.*

Also Published As

Publication number Publication date
KR20230109000A (ko) 2023-07-19

Similar Documents

Publication Publication Date Title
US20220377467A1 (en) Hearing aid systems and mehods
CA2518640C (en) Method and apparatus for multi-sensory speech enhancement on a mobile device
JP4439740B2 (ja) 音声変換装置及び方法
US9843678B2 (en) Visual assistance systems and related methods
US20140236594A1 (en) Assistive device for converting an audio signal into a visual representation
EP1542466A1 (en) Sign language video presentation device, sign language video i/o device, and sign language interpretation system
KR20160093529A (ko) 청각 장애인을 위한 착용형 장치
US11528568B1 (en) Assisted hearing aid with synthetic substitution
US10453459B2 (en) Interpreting assistant system
EP2412170A1 (en) Context aware, speech-controlled interface and system
CA2499154A1 (en) A videophone sign language conversation assistance device and a sign language interpretation system using the same
KR101017421B1 (ko) 청각장애인을 위한 의사 소통 시스템
KR102633725B1 (ko) 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법
CN111128180A (zh) 一种听力障碍者的辅助对话系统
US10936830B2 (en) Interpreting assistant system
KR20160142079A (ko) 근거리 무선 통신망을 기반으로 청각 장애인의 음성 대화를 지원하는 청각 장애인용 언어통역 보조장치, 음성합성서버, 음성인식서버, 알람 장치, 강연장 로컬 서버, 및 음성 통화 지원 어플리케이션
CN114267323A (zh) 一种用于聋哑人的语音助听ar眼镜及其通信交流方法
KR20140006198A (ko) 무선캡션대화 서비스 시스템
CN210072245U (zh) 一种翻译眼镜
JP2004248022A (ja) 携帯電話機およびそれを使用するコミュニケーション方法
KR101906549B1 (ko) 청각 장애인을 위한 착용형 장치
JP2006139138A (ja) 情報端末及び基地局
GB2579085A (en) Handling multiple audio input signals using a display device and speech-to-text conversion
JPH10145852A (ja) 携帯形の情報伝達装置
KR20230079846A (ko) Ar 스마트 글래스 및 스마트 글래스의 출력 제어 방법

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant