KR20180039506A - 청각 장애인용 소리 인식 장치 및 그 제어방법 - Google Patents

청각 장애인용 소리 인식 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20180039506A
KR20180039506A KR1020160130891A KR20160130891A KR20180039506A KR 20180039506 A KR20180039506 A KR 20180039506A KR 1020160130891 A KR1020160130891 A KR 1020160130891A KR 20160130891 A KR20160130891 A KR 20160130891A KR 20180039506 A KR20180039506 A KR 20180039506A
Authority
KR
South Korea
Prior art keywords
audio signal
unit
control unit
sound
input
Prior art date
Application number
KR1020160130891A
Other languages
English (en)
Inventor
유연호
배달한
전영준
임가은
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020160130891A priority Critical patent/KR20180039506A/ko
Publication of KR20180039506A publication Critical patent/KR20180039506A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 청각 장애인용 소리 인식 장치에 관한 것으로서, 상기 소리 인식 장치는 주변의 소리에 해당하는 오디오 신호를 생성하여 출력하는 음성 입력부, 정해진 소리에 해당하는 오디오 신호가 저장되어 있는 저장부, 상기 음성 입력부와 저장부에 연결되어 있고, 음성 입력부로부터 인가되는 오디오 신호가 입력되면 상기 오디오 신호와 상기 저장부에 저장된 오디오 신호를 비교하여 상기 저장부에 설정 비율 이상 동일한 오디오 신호가 존재하면, 입력된 오디오 신호를 이미지로 변환하고 진동을 발생시키기 위한 구동 신호를 출력하는 동작 제어 유닛, 상기 동작 제어 유닛에 연결되어 있고, 상기 동작 제어 유닛에 의해 상기 이미지에 대한 영상 신호가 인가되어 상기 소리를 글자로 출력하는 이미지 출력부, 그리고 상기 동작 제어 유닛과 연결되어 있고, 상기 동작 제어 유닛로부터 인가되는 구동 신호에 의해 동작하여 진동을 발생시키는 진동부를 포함한다.

Description

청각 장애인용 소리 인식 장치 및 그 제어방법{SOUND RECOGNITION APPARATUS FOR BLIND AND CONTROL METHOD THEREOF}
본 발명은 청각 장애인용 소리 인식 장치 및 그 제어 방법에 관한 것이다.
일반적으로, 청각 장애자는 주변의 소리를 듣지 못하기 때문에 구화로 의사 전달을 못하고 수화로 의사전달을 하게 되고, 또한, 눈 앞에서 발생하는 상황을 눈으로 직접 확인하지 못하면 신속하고 정확하게 주변 상황을 인지하지 못합니다.
특히, 청각 장애자가 도로나 전철역을 다닐 경우에는 주변에서 자신을 호명하거나 위험 상황의 경고 소리를 주변 소리를 신속히 인지하지 못하여 사고를 당하는 경우가 많다.
대한민국 공개특허공보 공개번호 특2001-0111233(공개일자: 2001년 12월 17일, 발명의 명칭: 청각 장애자용 소리 인식장치)
따라서 본 발명이 이루고자 하는 기술적 과제는 청각 장애자가 위험 상황이나 자신의 호명 상황을 신속하게 판정할 수 있도록 하는 것이다.
본 발명의 한 특징에 따른 청각 장애인용 소리 인식 장치는 주변의 소리에 해당하는 오디오 신호를 생성하여 출력하는 음성 입력부, 정해진 소리에 해당하는 오디오 신호가 저장되어 있는 저장부, 상기 음성 입력부와 저장부에 연결되어 있고, 음성 입력부로부터 인가되는 오디오 신호가 입력되면 상기 오디오 신호와 상기 저장부에 저장된 오디오 신호를 비교하여 상기 저장부에 설정 비율 이상 동일한 오디오 신호가 존재하면, 입력된 오디오 신호를 이미지로 변환하고 진동을 발생시키기 위한 구동 신호를 출력하는 동작 제어 유닛, 상기 동작 제어 유닛에 연결되어 있고, 상기 동작 제어 유닛에 의해 상기 이미지에 대한 영상 신호가 인가되어 상기 소리를 글자로 출력하는 이미지 출력부, 그리고 상기 동작 제어 유닛과 연결되어 있고, 상기 동작 제어 유닛로부터 인가되는 구동 신호에 의해 동작하여 진동을 발생시키는 진동부를 포함한다.
상기 동작 제어 유닛은 상기 오디오 신호의 크기에 따라 상기 구동 신호의 상태를 변화시켜 상기 소리의 크기에 따라 진동의 크기나 진동 발생 주기를 변화시킬 수 있다.
상기 동작 제어 유닛은 입력된 상기 오디오 신호의 크기가 설정 크기 이상인 경우에만 상기 오디오 신호에 대한 소리와 상기 저장부에 저장된 소리를 비교하는 것이 바람직하다.
본 발명의 다른 특징에 따른 청각 장애인용 소리 인식 장치의 제어 방법은 동작 제어 유닛은 음성 입력부로부터 오디오 신호가 입력되는지 판단하는 단계, 상기 동작 제어 유닛은 상기 음성 입력부로부터 상기 오디오 신호가 입력되면, 상기 오디오 신호와 저장부에 저장된 오디오 신호를 비교하는 단계, 상기 동작 제어 유닛은 상기 저장부에 저장된 오디오 신호 중에서 설정 비율 이상 입력된 상기 오디오 신호와 동일한 오디오 신호가 존재하면, 입력된 상기 오디오 신호를 이미지로 변환시키는 단계,
상기 동작 제어 유닛은 입력된 상기 오디오 신호의 이미지 변환 동작이 완료되면, 변환된 상기 이미지에 대한 영상 신호를 이미지 출력부로 출력하는 단계, 그리고
상기 동작 제어 유닛은 입력된 상기 오디오 신호의 이미지 변환 동작이 완료되면, 진동부로 구동 신호를 출력하여 상기 진동부를 동작시키는 단계를 포함한다.
상기 진동부를 동작시키는 단계는 상기 오디오 신호의 크기에 따라 상기 구동 신호의 상태를 변화시켜 상기 소리의 크기에 따라 진동의 크기나 진동 발생 주기를 변화시킬 수 있다.
상기 특징에 따른 청각 장애인용 소리 인식 장치의 제어 방법은 상기 동작 제어 유닛은 입력된 상기 오디오 신호의 크기가 설정 크기 이상인지 판단하는 단계, 그리고 상기 동작 제어 유닛은 입력된 상기 오디오 신호의 크기가 설정 크기 이상이면, 상기 오디오 신호에 대한 소리와 상기 저장부에 저장된 소리를 비교하는 단계로 넘어가는 단계를 더 포함하는 것이 좋다.
이러한 특징에 따르면, 청각 장애인인 사용자의 주변에서 발생하는 소리 중에서 이미 정해 놓은 소리가 입력되면 사용자가 이를 인지할 수 있도록 진동을 발생시키고 해당 소리를 문자로 출력한다. 이로 인해, 청각 장애인이 정확하게 발생한 소리를 인지하여 적절한 동작을 취할 수 있도록 한다.
또한, 설정 크기 이상의 소리에 대해서만 소리의 이미지화를 실시하므로, 주변에서 발생하는 모든 소리에 대한 처리를 위한 불필요한 시간 낭비와 전력 낭비를 방지하게 된다.
도 1은 본 발명의 한 실시예에 따른 청각 장애인용 소리 인식 장치의 개략적인 블럭도이다.
도 2는 본 발명의 한 실시예에 따른 청각 장애인용 소리 인식 장치의 제어 방법에 대한 동작 순서도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
어떤 구성요소가 다른 구성요소에 "접속되어" 있다거나 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 접속되어 있거나 연결되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 접속되어" 있다거나 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 한 실시예에 따른 청각 장애인용 소리 인식 장치 및 그 제어 방법에 대하여 설명한다.
먼저, 도 1을 참고로 하여 본 발명의 한 실시예에 따른 청각 장애인용 소리 인식 장치에 대하여 상세하게 설명한다.
도 1에 도시한 본 발명의 한 실시예에 따른 청각 장애인용 소리 인식 장치는 구동 스위치(10), 주변에서 입력되는 음성, 즉 소리를 입력 받아 해당하는 상태의 오디오 신호로 출력하는 음성 입력부(20), 음성 입력부(20)와 연결되어 있는 동작 제어 유닛(30), 동작 제어 유닛(30)과 연결되어 있는 저장부(40), 동작 제어 유닛(30)과 연결되어 있는 진동부(50), 그리고 동작 제어 유닛(30)과 연결되어 있는 이미지 출력부(60)를 구비한다.
구동 스위치(10)는 청각 장애인용 소리 인식 장치를 구동시키기 위한 스위치로서, 사용자의 동작에 따라 온 온(on) 또는 오프(off) 상태가 되어 해당 상태의 신호를 동작 제어 유닛(20)으로 출력한다.
음성 입력부(20)는 마이크 등으로 이루어져 있고, 주변에서 소리가 입력되면, 입력된 소리에 대응하는 전기 신호, 즉 오디오 신호를 동작 제어 유닛(30)으로 입력한다.
동작 제어 유닛(30)은 청각 장애인용 소리 인식 장치의 전반적인 동작을 제어하는 제어부(31)와 제어부(31)에 연결되어 있는 이미지 변환부(32)를 구비한다.
제어부(31)는 음성 입력부(20)로부터 입력되는 오디오 신호를 이용하여 오디오 신호에 대응하는 소리가 이미 등록되어 있는 소리와 설정 비율 이상 동일하면, 진동부(50)를 동작시켜 사용자인 청각장애인에게 자신과 관련된 소리가 주변에서 발생했음을 알려준다.
이때, 제어부(31)는 오디오 신호의 크기(예, 오디오 신호의 진폭의 크기)에 따라서 진동부(50)의 진동 세기를 비례적으로 변화시킬 수 있다.
또한, 제어부(31)는 판정된 소리가 등록되어 있는 소리와 설정 비율 이상 동일하면, 입력된 오디오 신호를 이미지 변환부(32)로 입력시켜, 이미지 변환부(32)가 입력된 오디오 신호를 글자와 같은 이미지로 변환하여 이미지 출력부(60)로 출력될 수 있도록 한다.
이로 인해, 청각장애인은 이미지 출력부(60)로 출력되는 글자를 확인하여 주변에서 발생한 소리를 시각적으로 확인하여 그에 대한 대응을 적절히 할 수 있도록 한다.
이러한, 이미지 변환부(32)는 오디오 신호를 문서화 신호로 변환하는 STT(Speech to Text) API(application programming interface) 등을 이용할 수 있다.
저장부(40)는 청각장애인 호출 장치의 사용자에 대한 이름, 특정 단어와 문장에 대응하는 오디오 신호가 저장되어 있다.
예를 들어, '위험해', '여보세요', '이봐요', 저기요', '잠시만', '잠깐만', '으악', '악', '실례합니다' 등일 수 있다.
따라서, 제어부(31)는 오디오 신호와 저장부(40)에 저장되어 있는 오디오 신호를 비교하여, 입력되는 오디오 신호가 저장된 오디오 신호의 동일하거나 유사한지 판정한다.
진동부(50)는 제어부(31)의 제어 동작에 의해 동작하여 진동을 발생시켜, 사용자가 진동부(50)의 동작을 인지할 수 있도록 한다.
따라서, 제어부(31)는 입력되는 오디오 신호가 저장된 오디오 신호와 동일하거나 유사한 상태로 판정되면 진동부(50)로 구동 신호를 출력하여 진동부(50)가 동작될 수 있도록 한다.
이러한 진동부(50)는 모터(motor) 등을 구비할 수 있다.
이때, 제어부(31)는 설정 시간 동안 진동부(50)로 구동 신호를 출력하거나 별도로 장착된 진동 확인 버튼이 사용자에 의해 동작된 상태로 판정될 때까지 구동 신호를 출력할 수 있다.
이미지 출력부(60)는 액정 표시 장치(LCD, liquid crystal display)나 유기 발광 표시 장치(OLED, organic lighting emitting display) 등으로 이루어져, 제어부(31)나 이미지 변환부(32)로부터 인가되는 영상 신호에 대응하는 글자를 출력하는 표시 장치이다.
이러한 이미지 출력부(60)는 이미지 변환부(32)에서 출력되는 판정된 글자에 대응하는 영상 신호를 출력하여 이미지 변환부(32)에서 판정된 글자를 출력한다.
다음, 도 2를 참고로 하여, 이러한 구조를 갖는 청각 장애인용 소리 인식 장치의 제어방법에 대하여 설명한다.
먼저, 도시하지 않은 전원부로부터 청각 장애인용 소리 인식 장치의 동작에 필요한 전원이 공급되면, 동작 제어 유닛(30)의 제어부(31)는 동작을 시작한다(S10).
따라서, 제어부(31)는 구동 스위치(10)로부터 인가되는 신호를 판독하여, 사용자에 의해 구동 스위치(10)가 동작되었는지 판단한다(S11, S12).
입력되는 신호의 상태에 의해 구동 스위치(10)가 동작된 상태로 판단되면(S12), 제어부(31)는 음성 입력부(20)로 동작 인에이블 신호를 출력하여 음성 입력부(20)를 동작시킨다(S13).
이로 인해, 음성 입력부(20)는 주변에서 발생하는 소리를 입력 받아 입력된 소리에 대응하는 오디오 신호를 생성하여 제어부(31)로 출력한다. 이때, 생성된 오디오 신호의 진폭은 발생된 대응 소리의 크기에 따라 달라진다.
이처럼, 음성 입력부(20)로부터 오디오 신호가 입력되면, 제어부(31)는 음성 입력부(20)로부터 인가되는 오디오 신호를 판독한다(S14).
그런 다음, 입력된 오디오 신호의 크기(즉, 진폭)가 설정 크기 이상인지 판단한다(S15).
입력된 오디오 신호의 크기가 설정 크기 이상인 경우(S15), 제어부(31)는 입력된 오디오 신호의 처리 동작을 실시한다.
하지만, 입력된 오디오 신호의 크기가 설정 크기 미만인 경우(S15), 제어부(31)는 입력된 오디오 신호의 처리 동작을 실시하지 않는다.
즉, 입력된 소리가 설정 크기 미만으로 설정 크기보다 작은 경우, 제어부(31)는 주변에서 발생된 소리가 사용자와 관련된 소리가 아닌 경우로 판정하여 입력된 해당 오디오 신호의 처리를 실시하지 않는다.
이로 인해, 사용자에게 해당하는 않는 오디오 신호, 즉 사용자와 무관한 오디오 신호의 처리로 인한 불필요한 전력 낭비와 시간 낭비가 방지한다.
하지만, 단계(S15)에서, 입력된 오디오 신호의 크기가 설정 크기 이상인 경우, 제어부(31)는 입력된 오디오 신호와 저장부(40)에 저장되어 있는 오디오 신호를 비교하여, 입력된 소리와 설정 비율 이상 동일한 소리가 존재하는지 판단한다(S16, S17). 이때, 제어부(31)는 두 오디오 신호의 주파수 형태를 비교하여, 입력된 소리와 저장된 소리의 유사성을 판정한다.
저장된 소리 중에서 입력된 오디오 신호와 설정 비율 이상 동일한 형태를 갖는 오디오 신호가 존재하면(S17), 입력된 오디오 신호를 이미지 변환부(32)로 입력하여 입력된 오디오 신호가 이미지로 변환될 수 있도록 하는 이미지 변환 동작을 제어한다(S18).
따라서, 이미지 변환부(32)는 입력된 오디오 신호를 대응하는 단어나 문장과 같은 이미지로 변환한 후, 변환된 이미지에 대한 영상 신호를 제어부(31)로 출력한다.
이미지 변환부(32)의 동작이 완료되어 입력된 소리에 대한 이미지 변환이 완료되면, 제어부(31)는 변환된 이미지에 대한 영상 신호를 이미지 출력부(60)로 출력하고(S19) 또한 진동부(50)로 구동신호를 출력하여 진동부(50)를 동작시킨다(S110).
이로 인해, 이미지 출력부(60)는 입력된 오디오 신호에 대한 문자나 문장을 이미지 출력부(60)로 출력하고, 진동부(50)는 진동을 발생한다.
이때, 제어부(31)는 입력된 오디오 신호의 크기(즉, 진폭의 크기)에 따라 진동구(50)로 인가되는 구동 신호의 상태를 변화시켜 오디오 신호의 크기에 비례하게 발생되는 진동의 세기나 진동 주기가 달라질 수 있도록 할 수 있다.
예를 들어, 제어부(31)는 판정된 오디오 신호의 크기가 제1 범위에 속한 경우, 제1 크기의 구동 신호를 진동부(50)로 출력하고, 판정된 오디오 신호의 크기가 제1 범위보다 큰 제2 범위에 속한 경우, 제1 크기보다 큰 제2 크기의 구동 신호를 진동부(50)로 출력하는 것과 같이, 구동 신호의 상태를 변환시켜 원하는 단계만큼 진동부(50)의 진동 크기나 진동 주기를 변화시킬 수 있다.
따라서, 청각 장애인인 사용자는 진동부(50)가 동작되면, 주변에서 자신과 관련된 소리가 발생한 상태로 인지하여 이미지 출력부(60)에 출력되는 이미지를 확인하여 주변에서 발생된 소리에 대한 문구를 시각적으로 확인하고, 이미지 출력부(60)에 표시되는 단어나 문장에 대한 적절한 조치나 행동을 취하게 된다.
예를 들어, 입력된 소리가 자신의 이름을 부르는 것이라면 이미지 출력부(60)에는 사용자의 이름이 표시되고, 이에 따라 사용자는 뒤쪽에서 자신을 부르는 사람이 있다는 것을 인지하여 뒤를 돌아보게 될 것이다.
또한, 입력된 소리가 '위험해'라는 것에 대응되어 '위험'이라는 단어가 이미지 출력부(60)에 출력되면, 사용자는 신속하게 주위를 살펴보게 되어 위험 발생 상황을 신속하게 인지할 수 있게 된다.
본 예의 경우, 입력된 소리가 저장부(40)에 저장된 소리와 완전히 동일하지 않고 설정 비율 이상만 동일한 경우에도, 제어부(31)의 제어에 의해 해당 소리에 대응하는 단어나 문장을 이미지 출력부(60)에 출력된다.
따라서, 입력된 소리가 저장된 소리와 완전히 동일한 소리가 아니더라도 입력된 소리의 의미와 저장된 소리의 의미가 서로 동일한 의미인 경우에도 해당 단어나 문자가 이미지 출력부(60)에 출력되어, 사용자의 편리성과 청각 장애인 호출 장치의 효율성을 향상시킬 수 있다.
예를 들어, 저장부(40)에 저장된 문장이 '이봐요'이지만, 실제 입력되는 소리는 '이봐'인 경우도, 제어부(31)는 진동부(50)와 이미지 출력부(60)를 동작시켜 사용자가 자신을 호칭하는 소리인 '이봐'를 인지할 수 있도록 한다.
하지만, 단계(S17)에서 입력된 소리가 저장부(40)에 저장된 소리와 설정 비율 이상 동일하지 않는 경우, 제어부(31)는 입력된 소리가 저장된 소리와 다른 의미의 소리로 판정한다.
따라서, 제어부(31)는 입력된 소리에 대한 이미지 변환 제어를 실시하지 않고 단계(S11)로 넘어가 구동 스위치(10)가 동작 상태인지 판단하게 된다.
본 예의 경우, 오디오 신호의 주파수를 이용하여 입력되는 소리와 저장된 소리의 유사도를 판정하지만, 이에 한정되지 않고 다른 방식, 예를 들어, 형태소 분석 등을 이용하여 입력되는 입력되는 소리와 저장된 소리의 유사도를 판정할 수 있다.
또한, 본 예의 경우, 제어부(31)에서 이미지 출력부(60)로 해당 영상 신호를 출력하여 소리에 대한 이미지를 표시할 수 있도록 하지만, 이와 달리, 이미지 출력부(60)에 의해 이미지 출력부(60)가 동작될 수 있다.
이 경우, 이미지 변환부(32)는 해당 오디오 신호에 대한 이미지 변환 동작이 완료되면, 이미지 변환 동작 완료 상태를 제어부(11)로 통지한 후 해당 영상 신호를 이미지 출력부(60)로 출력하여 이미지 출력부(60)에 해당 글자가 출력되도록 한다.
이 때, 이미지 변환부(32)로부터 인가되는 신호에 의해 이미지 변환 동작이 완료된 상태로 판정되면, 제어부(31)는 인가되는 오디오 신호의 크기에 따라 진동부(50)의 동작을 제어하게 된다.
본 예에 따른 청각 장애인용 소리 인식 장치는 팔찌, 발찌, 목걸이, 시계 등과 같이 사용자의 몸에 착용할 수 있는 착용(wearable) 형태로 이루어져 있고, 사용자가 신속하고 정확하게 진동 발생 상태를 확인할 수 있도록 한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10: 구동 스위치 20: 음성 입력부
30: 동작 제어 유닛 31: 제어부
32: 이미지 변환부 40: 저장부
50: 진동부 60: 이미지 출력부

Claims (6)

  1. 주변의 소리에 해당하는 오디오 신호를 생성하여 출력하는 음성 입력부,
    정해진 소리에 해당하는 오디오 신호가 저장되어 있는 저장부,
    상기 음성 입력부와 저장부에 연결되어 있고, 음성 입력부로부터 인가되는 오디오 신호가 입력되면 상기 오디오 신호와 상기 저장부에 저장된 오디오 신호를 비교하여 상기 저장부에 설정 비율 이상 동일한 오디오 신호가 존재하면, 입력된 오디오 신호를 이미지로 변환하고 진동을 발생시키기 위한 구동 신호를 출력하는 동작 제어 유닛,
    상기 동작 제어 유닛에 연결되어 있고, 상기 동작 제어 유닛에 의해 상기 이미지에 대한 영상 신호가 인가되어 상기 소리를 글자로 출력하는 이미지 출력부, 그리고
    상기 동작 제어 유닛과 연결되어 있고, 상기 동작 제어 유닛로부터 인가되는 구동 신호에 의해 동작하여 진동을 발생시키는 진동부
    를 포함하는 청각 장애인용 소리 인식 장치.
  2. 제1항에서,
    상기 동작 제어 유닛은 상기 오디오 신호의 크기에 따라 상기 구동 신호의 상태를 변화시켜 상기 소리의 크기에 따라 진동의 크기나 진동 발생 주기를 변화시키는 청각 장애인용 소리 인식 장치.
  3. 제1항에서,
    상기 동작 제어 유닛은 입력된 상기 오디오 신호의 크기가 설정 크기 이상인 경우에만 상기 오디오 신호에 대한 소리와 상기 저장부에 저장된 소리를 비교하는 청각 장애인용 소리 인식 장치.
  4. 동작 제어 유닛은 음성 입력부로부터 오디오 신호가 입력되는지 판단하는 단계
    상기 동작 제어 유닛은 상기 음성 입력부로부터 상기 오디오 신호가 입력되면, 상기 오디오 신호와 저장부에 저장된 오디오 신호를 비교하는 단계,
    상기 동작 제어 유닛은 상기 저장부에 저장된 오디오 신호 중에서 설정 비율 이상 입력된 상기 오디오 신호와 동일한 오디오 신호가 존재하면, 입력된 상기 오디오 신호를 이미지로 변환시키는 단계,
    상기 동작 제어 유닛은 입력된 상기 오디오 신호의 이미지 변환 동작이 완료되면, 변환된 상기 이미지에 대한 영상 신호를 이미지 출력부로 출력하는 단계, 그리고
    상기 동작 제어 유닛은 입력된 상기 오디오 신호의 이미지 변환 동작이 완료되면, 진동부로 구동 신호를 출력하여 상기 진동부를 동작시키는 단계
    를 포함하는 청각 장애인용 소리 인식 장치의 제어 방법.
  5. 제4항에서,
    상기 진동부를 동작시키는 단계는 상기 오디오 신호의 크기에 따라 상기 구동 신호의 상태를 변화시켜 상기 소리의 크기에 따라 진동의 크기나 진동 발생 주기를 변화시키는 청각 장애인용 소리 인식 장치의 제어 방법.
  6. 제4항에서,
    상기 동작 제어 유닛은 입력된 상기 오디오 신호의 크기가 설정 크기 이상인지 판단하는 단계, 그리고
    상기 동작 제어 유닛은 입력된 상기 오디오 신호의 크기가 설정 크기 이상이면, 상기 오디오 신호에 대한 소리와 상기 저장부에 저장된 소리를 비교하는 단계로 넘어가는 단계
    를 더 포함하는 청각 장애인용 소리 인식 장치의 제어 방법.
KR1020160130891A 2016-10-10 2016-10-10 청각 장애인용 소리 인식 장치 및 그 제어방법 KR20180039506A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160130891A KR20180039506A (ko) 2016-10-10 2016-10-10 청각 장애인용 소리 인식 장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160130891A KR20180039506A (ko) 2016-10-10 2016-10-10 청각 장애인용 소리 인식 장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20180039506A true KR20180039506A (ko) 2018-04-18

Family

ID=62082876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160130891A KR20180039506A (ko) 2016-10-10 2016-10-10 청각 장애인용 소리 인식 장치 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR20180039506A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220104413A (ko) * 2021-01-18 2022-07-26 한국전자통신연구원 촉각 음악 학습 장치 및 촉각 음악 학습 방법
KR102448000B1 (ko) * 2021-09-08 2022-09-28 이은교육 주식회사 진동 및 시각 데이터를 활용한 청각 장애인 음악 교육 장치, 방법 및 프로그램

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220104413A (ko) * 2021-01-18 2022-07-26 한국전자통신연구원 촉각 음악 학습 장치 및 촉각 음악 학습 방법
KR102448000B1 (ko) * 2021-09-08 2022-09-28 이은교육 주식회사 진동 및 시각 데이터를 활용한 청각 장애인 음악 교육 장치, 방법 및 프로그램
KR102481267B1 (ko) * 2021-09-08 2022-12-27 이은교육 주식회사 선택곡 보정 기능을 지원하는 청각 장애인 음악 교육 장치, 방법 및 프로그램
KR102481261B1 (ko) * 2021-09-08 2022-12-27 이은교육 주식회사 추천곡 학습 기능을 지원하는 청각 장애인 음악 교육 장치, 방법 및 프로그램

Similar Documents

Publication Publication Date Title
CN107003823B (zh) 头戴式显示装置及其操作方法
US20080195394A1 (en) Device For Communication For Persons With Speech and/or Hearing Handicap
JP6555272B2 (ja) ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
JP6551417B2 (ja) ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
JP6447636B2 (ja) ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
KR20180039506A (ko) 청각 장애인용 소리 인식 장치 및 그 제어방법
CN101494816A (zh) 一种适用于全聋患者的助听装置与方法
KR101354927B1 (ko) 청각장애인을 위한 머리 착용형 디스플레이장치
JP2008216735A (ja) 受付ロボット及び受付ロボットの会話適応方法
KR101846218B1 (ko) 근거리 무선 통신망을 기반으로 청각 장애인의 음성 대화를 지원하는 청각 장애인용 언어통역 보조장치, 음성합성서버, 음성인식서버, 알람 장치, 강연장 로컬 서버, 및 음성 통화 지원 어플리케이션
KR101413598B1 (ko) 진동 스피커가 부착된 의자를 이용한 발음 교정 장치 및 방법
JP4789227B2 (ja) 音声認識機能を内蔵した映像表示装置
JP2014228644A (ja) 報知装置
KR20210014931A (ko) 스마트 글라스
KR20150137831A (ko) 청각장애인용 휴대 단말기 및 그 제어방법
US20170018281A1 (en) Method and device for helping to understand an auditory sensory message by transforming it into a visual message
JP2004248022A (ja) 携帯電話機およびそれを使用するコミュニケーション方法
KR102479035B1 (ko) 청각장애인용 언어학습 시스템 및 방법
Nagpal et al. Helping hand device for speech impaired people
KR102496398B1 (ko) 사용자 디바이스에 페어링되어 음성-텍스트를 변환하는 장치 및 그 방법
WO2021157052A1 (ja) 補聴器用合成音声セットの修正方法
KR200341190Y1 (ko) 핸드폰의 문자메세지 입력 처리장치
KR20150029268A (ko) 장애인 지원을 위한 휴대 단말
JP5114578B2 (ja) 音声認識機能を内蔵した映像表示装置
JP2007025140A (ja) ロボット装置およびロボット装置の情報提示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application