KR101822084B1 - 시각장애인을 위한 지팡이 - Google Patents

시각장애인을 위한 지팡이 Download PDF

Info

Publication number
KR101822084B1
KR101822084B1 KR1020170014948A KR20170014948A KR101822084B1 KR 101822084 B1 KR101822084 B1 KR 101822084B1 KR 1020170014948 A KR1020170014948 A KR 1020170014948A KR 20170014948 A KR20170014948 A KR 20170014948A KR 101822084 B1 KR101822084 B1 KR 101822084B1
Authority
KR
South Korea
Prior art keywords
signal
speech recognition
voice
recognition module
unit
Prior art date
Application number
KR1020170014948A
Other languages
English (en)
Inventor
윤형관
이풍우
윤태식
김성진
Original Assignee
인성 엔프라 주식회사
주식회사 보임
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인성 엔프라 주식회사, 주식회사 보임 filed Critical 인성 엔프라 주식회사
Priority to KR1020170014948A priority Critical patent/KR101822084B1/ko
Application granted granted Critical
Publication of KR101822084B1 publication Critical patent/KR101822084B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/068Sticks for blind persons
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45BWALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
    • A45B3/00Sticks combined with other objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시각장애인이 횡단하고자 하는 횡단보도 신호등의 녹색등이 현시된 것을 알려주기 위한 시각장애인용 지팡이에 관한 것이며, 상기 지팡이의 정면을 촬영하는 카메라; 상기 카메라가 촬영한 영상에서 상기 횡단보도 신호등의 녹색등이 현시된 것을 검출하기 위한 신호등 인식수단; 상기 신호등 인식수단에서 상기 녹색등이 현시된 것을 인식할 때의 생성되는 인식신호에 의하여 진동되는 바이브레이터가 개시된다.

Description

시각장애인을 위한 지팡이{stick for a blind person}
본 발명은 카메라로 횡단보도의 녹색등의 현시상태를 검출하고 이에 따라서 진동이 발생되도록 함으로써 시각장애인이 안전하게 횡단보도를 횡단할 수 있도록 하는 안내해주는 지팡이에 관한 것이다.
지팡이는 시각장애인에게 이동시에 없어서는 안 될 필수적 장비라 할 수 있으며, 이러한 시각장애인용 지팡이에 현대적 기술을 부가함으로써 시각장애인에게 편리성을 제공하기 위한 노력이 끊임없이 연구되어 왔다. 특허 제10-1072943호(발명의 명칭: 시각 장애인용 지팡이)(이하, ‘종래기술’이라 함)도 이러한 연구노력의 결과이다.
도 1은 종래기술의 구성을 설명하기 위한 사시도이다.
도 1에 도시된 시각 장애인용 지팡이는 바퀴부에서 수직하게 세워진 봉으로 형성되며, 물체 감지센서와 스피커, 스위치의 버튼으로 구성된 버튼 제어부를 구비한 봉지지대와 상기 봉지지대 상측에서 위치 추적장치를 포함하되, 발광물질로 형성되어 야간에 빛을 발산하는 바퀴부에는 지면에 가까운 물체를 감지하는 물체 감지 센서(110)와 손잡이(150) 측에 사람의 높이로 상측에 위치한 물체를 감지하기 위한 물체 감지 센서(110)를 각각 구성하여 물체 근접함을 버튼 제어부(130)에 전달하고, 상기 버튼 제어부(130)는 길이조절이 가능한 봉지지대와 손잡이(150) 내부 사이에 구성된 회전 모터로 물체 회피 방향으로 방향 회전시키며, 상기 손잡이(150)의 방향전환과 소리를 알리는 스피커(132)에 의한 물체 감지센서(110)는 버튼 제어부(130)에서의 거리 설정으로 몇 미터 근접에 의한 알림을 설정할 수 있고, 상기 봉지지대의 프레임이 바퀴부의 일측을 덮게 형성하면서 지면에 닿는 부분으로 밀고 다니면서도 봉지지대의 프레임이 지면을 밀리지 않게 지탱이 가능하도록 이루어져 있다.
종래기술에는 이와 같은 고기능의 장치들이 설치되어 시각장애인들에게 도움을 주고 있으나, 실제로 시각장애인의 안전을 위협하는 횡단보도를 건널 때에는 실적인 도움을 주고 있지 못하다.
특히 교차로 사거리에는 시각장애인에게 도움을 주기 위한 음성안내기가 설치되어 시각장애인에게 통행신호인 녹색신호가 현시되어 있음을 알려주는 장치들이 개발되어 있으나, 시각장애인은 주변환경의 소음 등에 따라서 음성안내기의 음성메시지가 자신이 가야하는 방향의 녹색등이 현시되어 있는지 다른 방향의 녹색등이 현시되는지에 대해서는 확신할 수 없게 되는 경우가 많이 발생한다.
본원은 이러한 종래기술의 문제점을 해결하기 위한 것으로 해결과제는 시각장애인이 횡단보도에서 스위치를 동작시키거나, 음성안내장치에서 들려오는 음성신호에 의하여 지팡이에 설치된 카메라에 의하여 횡단보도 녹색 신호등의 현시상태를 파악할 수 있도록 하도록 하여 시각장애인이 안전하게 횡단보도를 횡단할 수 있도록 안내하는 지팡이를 제공한다.
또한 본 발명의 다른 해결과제는 소리를 정확히 인식하고, 인식된 소리에 의하여 카메라를 작동시켜 가고자 하는 방향의 신호등의 상태를 확인하도록 함으로써 사고를 미연에 방지할 수 있도록 한 시각장애인용 지팡이를 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 녹색등의 현시상태 뿐만 아니라 잔여시간표시기의 잔여시간을 인식하도록 하고, 이를 스피커를 통하여 음향신호로 변환하여 줌으로써 시각장애인이 잔여시간을 알 수 있도록 하여 통행여부를 결정하도록 하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 시각장애인이 횡단하고자 하는 횡단보도 신호등의 녹색등이 현시된 것을 알려주기 위한 시각장애인용 지팡이에 있어서: 상기 지팡이의 정면을 촬영하는 카메라; 상기 카메라가 촬영한 영상에서 상기 횡단보도 신호등의 녹색등이 현시된 것을 검출하기 위한 신호등 인식수단; 상기 신호등 인식수단에서 상기 녹색등이 현시된 것을 인식할 때의 생성되는 인식신호에 의하여 진동되는 바이브레이터를 포함하는 것이다.
또한 본 발명에서 상기 카메라가 촬영한 영상에는 상기 횡단보도 신호등에 설치되는 잔여시간표시기의 영상이 존재하고, 상기 지팡이에는 상기 잔여시간표시기의 영상에서 문자를 추출하는 문자인식수단과, 상기 문자인식수단에서 인식된 문자를 음성으로 출력하는 스피커가 더 포함되는 것이 바람직하다.
또한 본 발명에서 상기 지팡이는 음향신호를 수집하여 전기신호로 변환하는 적어도 하나 이상의 마이크로폰들; 상기 마이크로폰들에 입력된 전기신호로부터 음성을 인식하는 음성인식모듈; 상기 음성인식모듈에서 상기 녹색등이 현시된 것을 의미하는 음성이 인식될 때 상기 카메라를 구동시키는 구동수단을 더 포함하는 것이 바람직하다.
또한 본 발명에서 상기 마이크로폰들은 제1, 제2, 제3 마이크로폰으로 이루어지며, 상기 음성인식모듈은 기 설정된 참조모델들이 저장되는 참조모델 데이터베이스부; 상기 마이크로폰들에 의해 획득된 음향신호들을 입력받는 음향신호 입력부; 상기 음향신호 입력부에 의해 입력되는 음향신호들을 분석하여 원신호(X2)를 검출하는 음성인식부; 상기 음성인식부에 의해 검출된 원신호(X2)의 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 특징파라미터를 생성하는 특징파라미터 생성부; 기 설정된 비교 알고리즘을 이용하여 상기 참조모델 데이터베이스부에 저장된 참조모델들과, 상기 특징파라미터 생성부에 의해 생성된 특징파라미터를 분석하여 특징파라미터와 가장 유사도가 높은 참조모델을 검출하는 비교 및 매칭부; 상기 비교 및 매칭부에 의해 검출된 참조모델에 대응되는 문자를 검색어로 하여 단어를 검색하며, 검색된 단어를 최종 출력하여 음성인식을 수행하는 단어결정부를 포함하고, 상기 음성인식부는 제1, 2 마이크로폰들의 음향신호들로부터 원신호(S1), (S2)들 및 잡음신호(N1), (N2)들을 분리한 후 분리된 원신호(S1), (S2)들을 합산하여 1차 원신호(X1)를 검출하는 제1 음성인식모듈; 제3 마이크로폰의 음향신호로부터 원신호(S3) 및 잡음신호(N3)를 분리한 후 분리된 원신호(S3)를 상기 제1 음성인식모듈에 의해 검출된 1차 원신호(X1)에 합산하여 최종 원신호(X2)를 검출하는 제2 음성인식모듈을 더 포함하는 것이 바람직하다.
또한 본 발명에서 상기 제1 음성인식모듈과 상기 제2 음성인식모듈은 서로 다른 방식의 제1 신호분리 알고리즘 및 제2 신호분리 알고리즘이 적용되어 음향신호로부터 원신호 및 잡음신호를 분리시키는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 시각장애인은 횡단보도를 횡단할 때에 횡단보도 신호등의 녹색등이 현시된 상태를 정확히 알 수 있는 상태에서 횡단하기 때문에 불안감을 해소할 수 있다,
특히 사거리 교차로에서 횡단보도 신호등의 현시를 알려주는 음성신호안내장치의 음성안내에 따라서 시각장애인이 자신이 횡단하려는 횡단보도의 녹색등의 현시상태를 혼선 없이 정확히 알 수 있도록 한다.
또한 본 발명에 적용되는 음성인식장치는 안전성을 고려하여 창작된 것으로 특유의 알고리즘을 채용함으로써 음성인식율을 제고한 것으로 장치의 동작을 매우 정밀하게 제어하고 있다.
또한 본 발명에서 시각장애인은 스위치를 동작시켜 자신이 횡단하고자 하는 횡단보도 신호등을 카메라로 촬영함으로써 타인에게 물어보지 않고도 언제든지 녹색등의 현시상태를 알 수 있게 된다.
도 1은 종래기술의 구성을 설명하기 위한 사시도이다.
도 2는 본 발명의 전체적인 구성을 설명하기 위한 실시예의 사시도이다.
도 3은 도 2에 도시된 지팡이의 손잡이 내부에 설치된 장치의 블록도이다.
도 4는 도 2에 도시된 실시예의 지팡이를 사용하여 4거리 교차로의 횡단보도를 건널 때에 동작과정을 설명하는 순서도이다.
도 5는 본 발명에서 사용되는 음성인식모듈을 나타내는 구성도이다.
도 6은 도 5의 마이크로폰에 적용되는 전처리 기술을 설명하기 위한 예시도이다.
도 7은 도 5의 음성인식부를 나타내는 블록도이다.
도 8은 도 7의 제1 음성인식모듈에 적용되는 제1 신호분리 알고리즘을 설명하기 위한 예시도이다.
도 9는 도 5의 동작과정을 설명하기 위한 플로차트이다.
도 2는 본 발명의 전체적인 구성을 설명하기 위한 실시예의 사시도이고, 도 3은 도 2에 도시된 지팡이의 손잡이 내부에 설치된 장치의 블록도이다.
도 2에 도시된 시각장애인용 지팡이(200)의 손잡이(201)에는 전기장치들의 동작을 온/오프 시키는 스위치(231), 음성을 출력하는 스피커(210), 영상을 촬영하기 위한 카메라(220), 음성을 입력하기 위한 복수개의 마이크로폰(11-1), (11-2), (11-3), 지팡이의 정면을 표시하기 위한 정면표식(202)이 설치된다. 또한 손잡이(201)의 내부에는 회로기판(미도시)이 설치되고, 회로기판에는 제어부(300)가 설치되고, 제어부(300)에는 제어부의 제어에 따라서 구동하여 손잡이(201)를 진동시키는 바이브레이터(320), 카메라(220), 스피커(210), 스위치(231) 및 마이크로폰(11-1), (11-2), (11-3)이 연결되어 제어부(300)의 제어를 받아 동작한다.
또한 제어부(300)는 연결대상들을 제어하고, O.S를 담당하는 제어모듈(306)과, 마이크로폰(11-1), (11-2), (11-3)으로부터 입력되는 음성신호를 분석하여 음성인식모듈(1), 카메라(220)에 의하여 촬영된 신호등의 영상으로부터 신호등 색상이 적색, 녹색, 황색 여부를 판별하는 신호등 인식모듈(302), 카메라(220)에 의하여 촬영된 잔여시간 표시기의 영상으로부터 녹색 점등시에 남은 점등시간을 인식하는 문자인식모듈(303)과, 문자인식모듈(303)에 의하여 인식된 문자들에 해당하는 음성이 저장되는 음성저장모듈(305), 음성저장모듈(305)에 저장된 음성 중 문자인식모듈(303)에서 인식된 음성을 추출하여 스피커(210)를 통하여 외부로 출력시키도록 하는 음성추출모듈(304)을 포함한다.
또한 본 발명에 적용되는 스위치(231)는 3단 스위치로 1단은 손잡이에 설치된 모든 전기장치들에 전원을 제거시키는 “오프” 상태이고, 2단은 음성인식모듈(1)에 설정된 음성이 인식되어 바이브레이터가 동작할 수 있는 상태이고, 3단은 카메라를 작동시키는 단계로서, 3단일 때에는 음성인식여부와 관계없이 카메라에 의하여 횡단보도신호등의 녹색등이 촬영된다.
또한 도 3의 실시예에서와는 달리 전여시간표시기에서 남은 시간이 문자가 아닌 복수개의 삼각형들로 이루어진 LED 표식이 점차로 소등되면서 남은 시간을 알려주는 형태라면 문자인식모듈(303)은 문자를 인식하는 장치가 아닌 점등된 잔여 LED 표식수를 산출하는 장치로 대체되어야 하는 것은 통상의 기술자에게는 자명한 것이다.
도 4는 도 2에 도시된 실시예의 지팡이를 사용하여 4거리 교차로의 횡단보도를 건널 때에 동작과정을 설명하는 순서도이다.
시각장애인이 스위치(231)를 2단으로 동작시킨 상태에서 시각장애인이 횡단보도의 신호등에 도착했을 때, 횡단보도 인근에 시각장애인용 음성신호장치에서 “녹색등이 켜졌습니다”라는 음성이 출력되게 되면 시각장애인은 지팡이 손잡이의 정면표식(202)을 횡단보도를 향하도록 위치시켜 진정 녹색등이 켜졌는지를 확인하는 과정을 거치게 된다.
4거리 교차로에서는 시각장애인이 가고자하는 방향이 아닌 다른 방향의 녹색 신호등이 현시되었을 때에도 인접되는 음성신호장치에서 “녹색등이 켜졌습니다”라는 동일한 음성이 출력되기 때문에 시각장애인 입장에서는 진정 자신이 가고자 하는 방향의 녹색등이 현시되었는지가 매우 의심스럽기 때문에 지팡이를 이용하여 확인하는 과정이 더욱 필요하다.
시각장애인이 횡단보도에 도착하게 되면 지팡이 손잡이의 정면표식(202)을 횡단보도의 건너편 신호등을 향하도록 위치시킨다. 이때 카메라의 광경로도 건너편 신호등을 향하게 되어 이 상태에서 카메라가 동작되면, 촬영된 영상 내에 건너편 신호등의 녹색신호등의 영상이 존재하게 된다.
일단 자신이 가고자 하는 방향 또는 다른 방향의 등주에 설치된 음성신호장치에서 “녹색등이 켜졌습니다”라는 음성이 출력되면 이 음성은 마이크로폰(11-1), (11-2), (11-3)으로 입력되고, 마이크로폰(11-1), (11-2), (11-3)의 음성변환 전기신호는 음성인식모듈(1)에 입력되게 되고, 음성인식모듈(1)에서 “녹색”이라는 음성을 인식하게 되고, 음성인식모듈(1)에서 인식상태를 제어모듈(306)에 전송한다(S41).
제어모듈(306)은 음성인식모듈(1)에서 “녹색”의 인식상태가 입력되게 되면, 카메라(220)로 전방영상을 획득하도록 촬영을 한다. 이때 시각장애인은 자신이 건너야 하는 횡단보도에 서있는 상태이고, 지팡이의 정면표식(202)이 가고자 하는 방향을 향하여 놓이게 되고, 이 상태에서 카메라가 촬영을 하게 되면, 건너편의 횡단보도 신호등 및 잔여시간표시기를 촬영하게 된다. 이와 같이 카메라(220)에 의하여 횡단하고자 하는 횡단보도의 건너편에 설치된 신호등 및 잔여시간 표시기가 촬영되면, 신호등 인식모듈(302)은 촬영된 영상으로부터 현시된 신호등의 색상이 녹색임이 인식되게 되면 이 녹색인식상태 신호를 제어모듈(306)에 전송한다(S43).
신호등 인식모듈(302)의 녹색등 현시상태를 검출하는 동작은 통상적인 것으로 신호등 인식모듈(302) 내에는 기준 녹색색상과 크기가 저장되며, 촬영된 영상내에 녹색부분이 있으면 이를 검출하여 기준 녹색색상과 크기를 비교하여 설정된 오차범위 내이면 녹색등이 현시된 것으로 판정한다.
또한 문자인식모듈(303)은 잔여시간 표시기의 촬영부분으로부터 문자를 인식하여 음성추출모듈(304)로 전송한다(S45). 제어모듈(306)에 신호등이 녹색임을 인식하는 녹색인식상태신호가 입력되면 제어모듈(306)은 바이브레이터(320)를 구동시켜 지팡이 손잡이에 진동이 발생하도록 한다(S44). 또한 음성추출모듈(304)에 문자인식모듈(303)로부터 인식된 잔여시간에 대응되는 신호가 입력되면 음성추출모듈(304)에 인식된 잔여시간에 대응되는 신호를 전송하고, 음성추출모듈(304)은 잔여시간에 대응되는 신호와 일치하는 음성신호를 음성저장모듈(305)에서 추출하여 제어모듈(306)에 전송하고, 제어모듈(306)은 입력된 음성신호를 스피커(210)로 출력하도록 한다.
시각장애인은 바이브레이터(320)의 구동에 의하여 지팡이 손잡이가 진동되게 되면 자신이 횡단하고자 하는 횡단보도 신호등의 녹색 신호등이 점등된 것을 확신하게 되고, 지팡이 손잡이에 설치된 스피커로부터 출력되는 음성을 통하여 녹색 신호등의 잔여시간을 알 수 있다.
또한 시각장애인이 횡단보도를 횡단하는 중에 시간이 경과하여 녹색 신호등이 점멸하는 경우에는 이러한 점멸동작이 카메라에 촬영되게 되고, 이 영상은 신호등 인식모듈(302)에 의하여 점멸현상이 인식되게 되고, 제어모듈(306)은 점멸동작과 일치하게 바이브레이터(320)를 구동시켜 지팡이 손잡이를 진동시키도록 한다(S44).
또한 잔여시간표시기의 숫자가 변화함으로써 변화된 영상이 문자인식모듈(303)에 입력되면 변화된 숫자를 인식하고, 앞의 음성출력과정과 동일하게 변화된 숫자에 따라서 잔여시간의 음성을 스피커를 통하여 출력시킨다(S46).
또한 본 발명의 음성인식동작과 영상판독으로 인한 바이브레이터의 작동은 시각장애인의 안전과도 직결되는 문제이기 때문에 매우 우수한 효과를 담보하여야 한다. 본 발명에서는 음성인식의 정확성을 높이기 위해서 특유의 음성인식과정을 수행하고 있다.
도 5는 본 발명에서 사용되는 음성인식모듈을 나타내는 구성도이다.
본 발명의 음성인식모듈(1)은 복수개의 마이크로폰(11-1), (11-2), (11-3)들로부터 음향신호를 입력받으면, 후술되는 제1 음성인식모듈(51)이 제1, 2 마이크로폰(11-1), (11-2)들의 입력신호(H1), (H2)들에 대하여 제1 신호분리 알고리즘을 이용하여 각 입력신호(H1), (H2)들로부터 원신호(S1), (S2)들 및 잡음신호(N1), (N2)들을 분리한 후 원신호(S1), (S2)들을 합산하여 1차 원신호(X1=S1+S2)를 검출한다.
또한 후술되는 제2 음성인식모듈(52)은 제2 신호분리 알고리즘을 이용하여 제3 마이크로폰(11-3)의 입력신호(H3)로부터 원신호(S3) 및 잡음신호(N3)를 검출하면, 검출된 원신호(S3)를 제1 음성인식모듈(51)로부터 입력된 1차 원신호(X1)와 합산하여 최종 원신호(X2=S3+X1)를 검출한다.
후술되는 제1 신호분리 알고리즘과 제2 신호분리 알고리즘은 본 발명의 특유의 효과를 얻기 위하여 최상의 실시형태인 서로 다른 알고리즘을 채택하여 적용한 것으로 설명하고 있으나, 이에 국한되지 않고 동일한 알고리즘을 사용하여 신호를 분리하여 최종 원신호(X2)를 얻는 경우에도 신호분리 알고리즘을 한번 적용한 것 보다는 진보된 효과를 얻을 수 있다.
또한 본 발명의 음성인식모듈(1)은 동일 음향신호에 대한 마이크로폰들로 입력되는 입력신호들은 음향발생위치와의 방향 및 거리에 따라 원신호 및 잡음의 주파수크기가 각기 다르게 형성되기 때문에 본 발명에서는 서로 다른 신호분리 알고리즘이 적용되는 두 개의 음성인식모듈들을 통해 각 입력신호에 대한 잡음제거 시 원신호가 함께 제거되는 현상을 상쇄시킴과 동시에 원신호의 검출이 반복적으로 이루어져 음성을 정확하고 정밀하게 검출할 수 있으며, 각 신호분리 알고리즘의 장점은 부각시키되, 단점을 서로 상쇄시켜 음성인식의 정확성을 현저히 높일 수 있게 된다.
이때 본 발명에서는 설명의 편의를 위해 마이크로폰들이 3개이고, 음성인식모듈이 2개인 것으로 예를 들어 설명하였으나, 마이크로폰들의 수량은 4개 이상이고, 음성인식부의 수량은 3개 이상인 것으로 구성될 수 있음은 당연하다.
또한 음성인식모듈(1)은 도 5에 도시된 바와 같이, 음향신호 입력부(3)와, 음성인식부(5), 특징파라미터 검출부(6), 비교 및 매칭부(7), 참조모델 데이터베이스부(8), 단어결정부(9)로 이루어진다.
음향신호 입력부(3)는 3개의 마이크로폰(11-1), (11-2), (11-3)들로부터 입력되는 음향신호들을 입력받는다. 이때 마이크로폰(11-1), (11-2), (11-3)들은 서로 다른 음향입력각도들을 갖도록 이격되게 설치되어 음향신호들을 각각 입력받고, 음향신호에는 원신호 및 잡음신호(노이즈)가 포함된다.
이때 마이크로폰(11-1), (11-2), (11-3)들은 어레이 형태로 설치되며, 음향신호를 입력받아 전기 신호로 변환한다.
또한 마이크로폰(11-1), (11-2), (11-3)들은 빔-포밍(Beam forming) 기법이 적용되어 제1 마이크로폰(11-1)은 전방 방향으로 빔을 형성하고, 제2 마이크로폰(11-2) 및 제3 마이크로폰(11-3)은 제2 마이크로폰(11-2)의 빔을 대칭으로 좌측 및 우측을 형성하도록 설치된다.
이때 빔-포밍 기법은 송신 기기나 수신 기기의 배열을 이용하여 방사 패턴의 방향이나 민감도를 조절하기 위한 목적을 위해 주로 사용되는 신호 처리 기법으로서, 신호를 전송하는 경우, 전송하고자 하는 방향의 신호 강도를 키우고, 이외의 방향으로 전송되는 신호의 강도는 줄일 수 있게 된다.
도 6은 도 5의 마이크로폰에 적용되는 전처리 기술을 설명하기 위한 예시도이다.
본 발명의 마이크로폰(11)은 도 6에 도시된 바와 같이, 마이크로폰(11)으로부터 입력되는 입력신호로부터 잡음회귀현상을 제거할 수 있는 음향반향삭제(AEC, Acoustic Echo Cancellation)가 적용됨으로써 동적 잡음원을 적응적으로 제거함으로써 마이크로폰(11)으로부터 입력되는 입력신호만을 추출하도록 하였다.
또한 음향반향삭제(AEC) 기술은 NLMS(Normalized Least Mean Square)기반의 가변 학습율 잡음제거 알고리즘이 적용되어 스피커 등과 같은 동적 잡음원을 제거함과 동시에 마이크로폰(11)으로부터 입력되는 입력신호는 자연스러운 상태로 유지시킴으로써 입력신호에 대한 전처리 기능을 수행할 수 있게 된다.
즉 본 발명의 음향신호 입력부(3)는 마이크로폰(11-1), (11-2), (11-3)들로부터 음향신호를 입력받되, 마이크로폰(11-1), (11-2), (11-3)들 각각에 음향반향삭제(AEC) 기술이 적용됨으로써 전처리 된 음향신호들을 입력받을 수 있고, 이에 따라 음성인식의 정확성을 높일 수 있게 된다.
도 7은 도 5의 음성인식부를 나타내는 블록도이고, 도 8은 도 7의 제1 음성인식모듈에 적용되는 제1 신호분리 알고리즘을 설명하기 위한 예시도이다.
음성인식부(5)는 도 7에 도시된 바와 같이, 기 설정된 제1 신호분석 알고리즘을 이용하여 음향신호 입력부(3)를 통해 입력된 제1, 2 마이크로폰(11-1), (11-2)들의 입력신호(H1), (H2)들로부터 원신호(S1), (S2)들 및 잡음신호(N1), (N2)들을 분리한 후 원신호(S1), (S2)들을 합산하여 제1 원신호(X1)를 검출하는 제1 음성인식모듈(51)과, 기 설정된 제2 신호분석 알고리즘을 이용하여 음향신호 입력부(3)를 통해 입력된 제3 마이크로폰(11-3)의 입력신호를 분석하여 원신호(S3) 및 잡음신호(N3)를 분리한 후 분리된 원신호(S3)를 제1 음성인식모듈(51)로부터 입력된 제1 원신호(X1)와 합산하여 최종 원신호(X2)를 검출하는 제2 음성인식모듈(53)로 이루어진다.
제1 음성인식모듈(51)은 음향신호 입력부(3)로부터 제1, 2 마이크로폰(11-1), (11-2)들의 음향신호(H1), (H2)들을 입력받는다.
또한 제1 음성인식모듈(51)은 기 설정된 제1 신호분리 알고리즘을 이용하여 입력된 음향신호(H1)를 원신호(S1) 및 잡음신호(N1)로 분리하며, 입력된 음향신호(H2)를 원신호(S2) 및 잡음신호(N2)로 분리한다.
또한 제1 음성인식모듈(51)은 음향신호로부터 신호들이 분리되면, 분리된 원신호(S1), (S2)들을 합산하여 1차 원신호(X1)를 검출한다.
제2 음성인식모듈(52)은 기 설정된 제2 신호분리 알고리즘을 이용하여 음향신호 입력부(3)를 통해 입력된 제3 마이크로폰(11-3)으로부터 원신호(S3) 및 잡음신호(N3)를 분리한다.
또한 제2 음성인식모듈(52)은 분리된 원신호(S3)와, 제1 음성인식모듈(51)로부터 입력된 1차 원신호(X1)를 합산하여 최종 원신호(X2)를 검출한다.
다시 말하면, 본원 발명은 제1 음성인식모듈(51) 및 제2 음성인식모듈(52)이 서로 다른 신호분리 알고리즘을 이용하여 음향신호로부터 원신호 및 잡음신호를 분리하도록 구성됨과 동시에 제1 음성인식모듈(51)은 제1, 2 마이크로폰(11-1), (11-2)들에 대한 원신호들을 합산하여 1차 원신호(X1)를 검출하되, 제2 음성인식모듈(52)은 분리한 원신호(S3)를 제1 음성인식모듈(51)에 의해 검출된 1차 원신호(X1)와 합산하여 최종 원신호(X2)를 검출하도록 구성됨으로써 서로 다른 신호분리 알고리즘이 적용되는 두 개의 음성인식모듈(51), (52)들을 통해 각 입력신호에 대한 잡음제거 시 원신호가 함께 제거되는 현상을 상쇄시킬 수 있을 뿐만 아니라 원신호의 검출이 반복적으로 이루어져 음성을 정확하고 정밀하게 검출할 수 있으며, 각 음성인식모듈에 적용되는 신호분리 알고리즘의 장점은 부각시키되, 단점을 서로 상쇄시켜 음성인식의 정확성을 현저히 높일 수 있게 된다.
이때 제1 음성인식모듈(51)에 적용되는 제1 신호분리 알고리즘 및 제2 음성인식모듈(52)에 적용되는 제2 신호분리 알고리즘은 서로 다른 방식의 연산처리를 갖도록 구성된다.
예를 들어, 제1 음성인식모듈(51)에 적용되는 제1 신호분리 알고리즘은 도8에 도시된 바와 같이, 제1, 2 마이크로폰(11-1), (11-2)들로부터 입력된 음향신호(H1), (H2)들을 주파수영역으로 변환(STFT, short-time Fourier transform)한 후 소프트 마스크(IE soft-mask) 알고리즘 및 IVA 알고리즘이 적용되는 다중채널 음원분리(BSS, Blind Source Separation)가 적용될 수 있다.
또한 제2 음성인식모듈(52)에 적용되는 제2 신호분리 알고리즘은 단일채널 음원분리 방식이 적용될 수 있다.
예를 들어, 제2 신호분리 알고리즘은 우선 제3 마이크로폰(11-3)으로부터 입력된 음향신호(H3)를 주파수영역으로 변환(STFT) 한 후 ICA(Independent Component Analysis)를 통해 신호들을 분리시킨다.
이때 제2 신호분리 알고리즘으로 ICA가 적용되는 경우, 우선 음향신호(H1)의 차원을 음원의 차원으로 줄이기 위한 목적으로 Linear transformation을 수행한 후, Linear transformation 처리된 신호에 단일 행렬(unitary matrix)(B)을 곱해줌으로써 분리된 신호의 주파수 영역의 값을 구하고, 앞서 검출된 분리 행렬(separation matrix)(V*B)을 통해 분리된 신호를 검출한다.
즉 제1 신호분리 알고리즘으로 소프트 마스크(IE soft-mask)및 IVA를 포함하는다중채널 음원분리(BSS, Blind Source Separation)가 적용된다고 가정할 때, 제1 신호분리 알고리즘은 잔향 시간(reverberation time)이 큰 경우 각 채널에 잔여교차성분(residual cross-talk component)이 분리 후에도 존재하여 분리 성능이 저하되는 단점을 갖고, 제2 신호분리 알고리즘으로 ICA가 적용된다고 가정할 때, 제2 신호분리 알고리즘은 주파수 bin 사이가 독립적이지 않아 정적잡음에 취약한 단점을 갖는다.
그러나 본 발명에서는 1)제1 음성인식모듈(51)이 제1 신호분리 알고리즘을 이용하여 원신호(S1), (S2)들을 분리시키고, 2)제2 음성인식모듈(52)이 제2 신호분리 알고리즘을 이용하여 원신호(S3)를 분리시키고, 3)최종 원신호(X2)가 제1 음성인식모듈(51)에 의한 1차 원신호(X1)와 제2 음성인식모듈(52)에 의한 원신호(S3)를 합산하여 검출되도록 구성됨으로써 제1 신호분리 알고리즘의 단점과 제2 신호분리 알고리즘의 단점을 서로 상쇄시킬 수 있으며, 원신호의 검출이 반복적으로 이루어져 음성을 정확하고 정밀하게 검출할 수 있으며, 각 음성인식모듈에 적용되는 신호분리 알고리즘의 장점은 부각시키되, 단점을 서로 상쇄시켜 음성인식의 정확성을 현저히 높일 수 있게 된다.
또한 음성인식부(5)는 제2 음성인식모듈(52)에 의해 최종 원신호(X2)가 검출되면, 검출된 원신호의 초성에 기 설정된 모음을 조합하되, 종성이 삭제된 음절로 변환시킨다.
예를 들어 음성인식부(5)는 제2 음성인식모듈(52)에 의해 ‘홍길동’이 검색되면, 검출된 음성을 ‘하가다’와 같은 음절로 변환시킨다.
이때 본 발명에서는 설명의 편의를 위해 마이크로폰이 3개이고, 음성인식모듈이 2개인 것으로 예를 들어 설명하였으나, 마이크로폰이 4개 이상이고, 음성인식모듈이 3개 이상인 경우, 제1 음성인식모듈은 도 4와 동일한 방식으로 1차 원신호를 검출하되, 제n 음성인식모듈은 (n-1) 마이크로폰으로부터 입력되는 음향신호와 제n-1 음성인식모듈로부터 입력되는 원신호를 이용하여 원신호를 검출하게 된다.
특징파라미터 검출부(6)는 음성인식부(5)에 의해 검출된 원신호를 분석하여 인식에 필요한 특징벡터를 추출한다.
이때 특징파라미터 검출부(6)는 선형 예측 부호화(LPC, Linear Predictive Coding)를 통해 입력된 음성신호로부터 특징벡터를 추출한다.
또한 특징파라미터 검출부(6)는 추출된 특징벡터를 이용하여 입력된 음성신호에 대한 특징파라미터를 생성한다. 이때 특징파라미터는 음성신호를, 참조모델과의 비교 알고리즘 수행이 가능하도록 처리한 데이터이다.
또한 특징파라미터 검출부(6)에 의해 검출되는 특징 파라미터는 비교 및 매칭부(7)로 입력된다.
비교 및 매칭부(7)는 기 설정된 비교 알고리즘을 이용하여 참조모델 데이터베이스부(8)에 저장되는 기 설정된 참조모델과, 입력된 특징 파라미터를 분석하여 특징 파라미터와 가장 유사도가 높은 참조모델에 대한 정보를 음성인식 결과로 출력한다.
다시 말하면, 비교 및 매칭부(7)는 특징파라미터 검출부(6)로부터 입력된 특징파라미터와 기 설정된 참조모델을 음절단위로 생성하여 비교 및 분석한다.
이때 참조모델 데이터베이스부(8)에는 기 설정된 참조모델 정보들이 저장된다.
또한 비교 및 매칭부(7)는 입력된 음성과 참조음성 사이의 발음 속도와 길이의 차이를 보상하기 위하여 입력 특징파라미터와 참조모델을 비선형적으로 정합하여 가장 유사도가 높은 참조모델의 음성을 인식하기 위한 동적시간 워핑(DTW; Dynamic Time Warping) 알고리즘을 이용하여 특징파라미터와 참조모델들 각각의 유클리드 제곱 거리(Squared Euclidean Distance)를 산출한 후 그 거리가 가장 작은 참조모델을 특징파리미터와 가장 유사한 모델로 인식한다.
이때 특정한 입력음성(특징파라미터)에 대하여, 참조모델에는 특징파라미터와의 유사도가 기 설정된 임계치 이내인 참조모델이 한 개이거나 또는 2개 이상일 수 있다. 예를 들어 가'와 '카', '다'와 '타' 등은 발음의 유사성으로 인해 신호 패턴도 어느 정도 유사하기 때문에 입력음성 ‘가’에 대한 유사도가 기 설정된 임계치 이내인 참조모델은 ‘가’, ‘카’와 같이 2개로 검출될 수 있다.
이에 따라 비교 및 매칭부(7)는 만약 특징파라미터와의 유사도가 기 설정된 임계치 이내인 참조모델이 1개인 경우 유사도가 높은 참조모델을 입력음성으로 결정한다.
또한 비교 및 매칭부(7)는 만약 특정파라미터와의 유사도가 기 설정된 임계치 이내인 참조모델이 2개 이상인 경우 동적 시간 워핑 방식 보다 인식률이 우수한 분석을 다시 수행, 상세하게로는 음성신호를 음소단위로 분리한 후 은닉 마르포크 모델((Hidden Markov model)을 통해 패턴 비교 알고리즘을 수행한다. 이때 은닉 마르코프 모델은, 모델링하는 시스템이 미지의 파라미터를 가진 Markov process일 것이라고 가정하여, 그 가정에 기초해서 관측된 파라미터로부터 숨겨진 파라미터를 결정하는 하나의 통계모델이며, 음성인식분야에서 널리 사용되는 방식 중 하나이기 때문에 상세한 설명은 생략하기로 한다.
또한 비교 및 매칭부(7)는 검출된 참조모델에 대한 음성을 단어결정부(9)로 입력한다.
단어결정부(9)는 비교 및 매칭부(7)로부터 입력된 참조모델에 대응되는 문자를 검색어로 하여 단어를 검색하며, 검색된 단어를 최종 출력함으로써 음성인식을 수행하게 된다.
즉 본 발명의 음성인식모듈(1)는 참조모델 데이터베이스부(8)에 저장되어 특징 파라미터와 비교되는 참조모델의 수가 많을수록 정확한 음성인식이 가능하나, 이 경우 참조모델 데이터베이스부(8)의 용량이 방대해야할 뿐만 아니라 특징 파라미터와 참조모델의 비교 알고리즘 수행 시 연산량이 과도하게 증가하게 되고, 이러한 연산량 증가는 임베디드 시스템에 적용될 경우 시스템 자원이 제한되기 때문에 최소한의 자원으로 정확한 음성인식 결과를 도출하기 위하여 본 발명에서는 초성 기반의 음성인식을 적용하였다.
특히 초성 'ㄱ', 'ㄴ', 'ㄷ' 등을 음성으로 입력함에 있어서, '기역', '니은', '디귿'과 같이 초성의 명칭을 사용하지 않고, '가', '나', '다' 같이 초성에 하나의 통일된 모음을 조합하여 발음하여 입력하도록 하고, 특징파라미터 또한 초성과 통일된 하나의 모음이 조합된 형태의 음성신호에 대응되도록 한다.
도 9는 도 5의 동작과정을 설명하기 위한 플로차트이다.
본 발명의 음성인식모듈(1)의 동작과정인 음성인식방법(S1)은 음향신호 입력단계(S10)와, 음성인식단계(S20), 특징파라미터 생성단계(S30), 분석단계(S40), 판단단계(S50), 음소단위 패턴분석 수행단계(S60), 음소결정단계(S70), 단어결정단계(S80)로 이루어진다.
음향신호 입력단계(S10)는 마이크로폰(11-1), (11-2), (11-3)들로부터 음향신호를 입력받는 단계이다.
음성인식단계(S20)는 음향신호 입력단계(S10)를 통해 입력된 음향신호들을 도 4에서 전술하였던 바와 같이, 2개의 음성인식모듈을 이용하여 음성을 인식하는 단계이다.
또한 음성인식단계(S20)는 초성에 공통된 하나의 모음을 조합한 발음을 기초로 생성된 참조모델을 이용하여 음성인식이 수행되므로 '가', '나', '다' 와 같이 공통된 모음을 갖고, 종성을 포함하지 않는 음절들의 조합으로 변환시킨다.
예를 들어, 음성인식단계(S20)는 음성인식모듈들에 의해 '홍길동'이 검출되는 경우, 검출된 음성을 '하가다'와 같은 음성으로 변환시킨다.
또한 음성인식단계(S20)는 변환된 음성신호를 특징파라미터 생성단계(S30)로 입력시킨다.
특징파라미터 생성단계(S30)는 선형 예측 부호화(LPC, Linear Predictive Coding)를 통해 입력된 음성신호로부터 특징벡터를 추출한다.
또한 특징파라미터 검출단계(S30)는 추출된 특징 벡터를 이용하여 입력된 음성신호에 대한 특징파라미터를 생성한다. 이때 특징파라미터는 음성신호를 참조모델과의 비교 알고리즘 수행이 가능하도록 처리한 데이터이다.
또한 특징파라미터 생성단계(S30)에 의해 생성된 특징파라미터는 분석단계(S40)로 입력된다.
분석단계(S40)는 특징파라미터 생성단계(S30)로부터 입력된 특징파라미터와 기 설정된 참조모델을 음절단위로 생성하여 비교 및 분석한다.
또한 분석단계(S40)는 입력된 음성과 참조 음성 사이의 발음 속도와 길이의 차이를 보상하기 위하여 입력 패턴과 참조 패턴을 비선형적으로 정합하여 가장 유사도가 높은 참조 패턴의 음성으로 입력된 음성을 인식하기 위한 동적시간 워핑(DTW; Dynamic Time Warping) 알고리즘을 이용하여 특징파라미터와 참조모델들 각각의 유클리드 제곱 거리(Squared Euclidean Distance)를 산출한 후 그 거리가 가장 작은 참조모델을 특징파리미터와 가장 유사한 모델로 인식한다.
판단단계(S50)는 분석단계(S40)에 의해 특징파라미터와의 유사도가 기 설정된 범위 내인 참조모델이 2개 이상인지를 판단하는 단계이다.
다시 말하면, 판단단계(S50)는 분석단계(S40)에서 특징파라미터와 참조모델들 각각의 유클리드 제곱입력 패턴과 각각의 참조 패턴 사이의 유클리드 제곱 거리를 산출한 결과, 기 설정된 임계값보다 작은 유클리드 제곱 거리를 갖는 참조모델이 2개 이상인지의 여부를 판단한다.
즉 현재 입력된 음성이 2개 이상의 유사한 음성으로 인식될 가능성이 있는 경우에 해당하기 때문에 보다 정확한 패턴 분석이 요구된다.
예를 들어 '가'와 '카', '다'와 '타' 등은 발음의 유사성으로 인해 신호 패턴도 어느 정도 유사하므로 이를 동적 시간 워핑 방식만으로 비교하는 경우, 사용자가 의도한 바와 다르게 인식될 가능성이 있다.
따라서 본 발명에서는 판단단계(S50)에서 분석단계(S40) 시 유사한 참조모델이 2개 이상이 이상인지 여부를 판별하여, 2개 이상인 경우 동적 시간 워핑 방식 보다 인식률이 우수한 패턴 분석을 다시 수행하도록 한다.
즉 판단단계(S50)는 만약 유사한 참조모델이 2개 이상인 경우 음소단위 패턴분석 수행단계(S60)를 진행하고, 만약 유사한 참조모델이 1개인 경우 음소결정단계(S70)를 진행한다.
음소단위 패턴분석 수행단계(S60)는 음성신호를 음소단위로 분리한 후 은닉 마르코프 모델(Hidden Markov model)과 같은 방식에 의하여 음소단위의 패턴 비교 알고리즘을 수행한다.
이때 은닉 마르코프 모델은, 모델링하는 시스템이 미지의 파라미터를 가진 Markov process일 것이라고 가정하여, 그 가정에 기초해서 관측된 파라미터로부터 숨겨진 파라미터를 결정하는 하나의 통계모델이며, 음성인식분야에서 널리 사용되는 방식 중 하나이기 때문에 상세한 설명은 생략하기로 한다.
음소결정단계(S70)는 분석단계(S40) 또는 음소단위 패턴분석 수행단계(S60)에서 수행된 패턴 분석 결과에 따라 음소를 결정한다.
즉 음소결정단계(S70)는 판단단계(S50)에서 유사한 참조모델이 하나인 경우 분석단계(S40)에 의해 해당 참조모델에 해당하는 음성에 대응되는 음소를 입력된 음소로 결정하며, 판단단계(S50)에서 유사한 참조모델이 2개인 경우 음소단위 패턴분석 수행단계(S60)에 의해 가장 유사도가 높은 음소를 입력된 음소로 결정한다.
예를 들어 사용자가 음성 '가'를 입력하여 분석단계(S40)에서 각각 '가'와 '카'에 해당하는 참조모델이 유사하다고 판단한 경우에는 음소단위 패턴분석 수행단계(S60)를 통해 다시 저장된 음성 신호의 음소 부분만을 따로 처리하여 은닉 마르코프 모델을 수행함으로써 사용자가 실질적으로 입력하고자 하였던 초성 'ㄱ'을 인식된 음소로 결정하게 되고, 다른 예를 들자면 사용자가 음성 '나'를 입력하여 분석단계(S40)에서 유사한 참조모델이 '나'로 인식되었다면 음소단위 패턴분석 수행단계(S60)를 거치지 않고 바로 'ㄴ'이 입력된 것으로 결정한다.
단어결정단계(S80)는 음소결정단계(S70)에 의해 검출된 음소들을 이용하여 단어를 검색하며, 검색된 단어 중 최종 결과를 선택하는 단계이다.
이와 같이 본 발명의 음성인식모듈(1)는 우선 초성 기반의 음성인식을 통해 비교되는 참조패턴의 개수를 절감시킴으로써 메모리를 절약함과 동시에 연산 처리량을 감소시킬 수 있으며, 비교적 계산량이 많지 않은 음절 단위 패턴에 대한 동적 시간 워핑을 기본적으로 사용하되, 정확성이 요구되는 경우에만 음소 단위 패턴에 대한 은닉 마르코프 모델방식을 보조적으로 사용함으로써 시스템에 과도한 부하를 주지 않으면서 음성인식의 정확성 및 신뢰도를 높일 수 있게 된다.
본 발명에서는 스위치를 2단으로 하여 음성인식모듈이 동작되어 바이브레이터가 동작됨으로써 시각장애인이 횡단보도 녹색등의 현시상태를 알 수 있도록 할 수 있지만, 스위치를 3단 상태로 함으로써 시각장애인은 언제든지 필요한 때에 카메라로 횡단보도 녹색등을 촬영하도록 하고, 녹색등이 현시된 영상에 따라서 바이브레이터가 동작되어 녹색등 현시상태를 알 수 있도록 할 수 있다. 이와 같이 본 발명의 구동상태 및 구성을 다양하게 변형사용할 수 있기 때문에 본 발명의 보호범위는 후술되는 청구범위에 의하여 결정되어져야 한다.

Claims (5)

  1. 삭제
  2. 시각장애인이 횡단하고자 하는 횡단보도 신호등의 녹색등이 현시된 것을 알려주기 위한 시각장애인용 지팡이에 있어서:
    상기 지팡이의 정면을 촬영하는 카메라;
    상기 카메라가 촬영한 영상에서 상기 횡단보도 신호등의 녹색등이 현시된 것을 검출하기 위한 신호등 인식수단;
    상기 신호등 인식수단에서 상기 녹색등이 현시된 것을 인식할 때의 생성되는 인식신호에 의하여 진동되는 바이브레이터를 포함하고,
    상기 카메라가 촬영한 영상에는 상기 횡단보도 신호등에 설치되는 잔여시간표시기의 영상이 존재하고, 상기 지팡이에는 상기 잔여시간표시기의 영상에서 문자를 추출하는 문자인식수단과, 상기 문자인식수단에서 인식된 문자를 음성으로 출력하는 스피커가 더 포함되는 것을 특징으로 하는 시각장애인용 지팡이.
  3. 시각장애인이 횡단하고자 하는 횡단보도 신호등의 녹색등이 현시된 것을 알려주기 위한 시각장애인용 지팡이에 있어서:
    상기 지팡이의 정면을 촬영하는 카메라;
    상기 카메라가 촬영한 영상에서 상기 횡단보도 신호등의 녹색등이 현시된 것을 검출하기 위한 신호등 인식수단;
    상기 신호등 인식수단에서 상기 녹색등이 현시된 것을 인식할 때의 생성되는 인식신호에 의하여 진동되는 바이브레이터를 포함하고,
    상기 지팡이는
    음향신호를 수집하여 전기신호로 변환하는 적어도 하나 이상의 마이크로폰들;
    상기 마이크로폰들에 입력된 전기신호로부터 음성을 인식하는 음성인식모듈;
    상기 음성인식모듈에서 상기 녹색등이 현시된 것을 의미하는 음성이 인식될 때 상기 카메라를 구동시키는 구동수단을 더 포함하는 것을 특징으로 하는 시각장애인용 지팡이.
  4. 청구항 3에 있어서,
    상기 마이크로폰들은 제1, 제2, 제3 마이크로폰으로 이루어지며,
    상기 음성인식모듈은
    기 설정된 참조모델들이 저장되는 참조모델 데이터베이스부;
    상기 마이크로폰들에 의해 획득된 음향신호들을 입력받는 음향신호 입력부;
    상기 음향신호 입력부에 의해 입력되는 음향신호들을 분석하여 원신호(X2)를 검출하는 음성인식부;
    상기 음성인식부에 의해 검출된 원신호(X2)의 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 특징파라미터를 생성하는 특징파라미터 생성부;
    기 설정된 비교 알고리즘을 이용하여 상기 참조모델 데이터베이스부에 저장된 참조모델들과, 상기 특징파라미터 생성부에 의해 생성된 특징파라미터를 분석하여 특징파라미터와 가장 유사도가 높은 참조모델을 검출하는 비교 및 매칭부;
    상기 비교 및 매칭부에 의해 검출된 참조모델에 대응되는 문자를 검색어로 하여 단어를 검색하며, 검색된 단어를 최종 출력하여 음성인식을 수행하는 단어결정부를 포함하고,
    상기 음성인식부는
    제1, 2 마이크로폰들의 음향신호들로부터 원신호(S1), (S2)들 및 잡음신호(N1), (N2)들을 분리한 후 분리된 원신호(S1), (S2)들을 합산하여 1차 원신호(X1)를 검출하는 제1 음성인식모듈;
    제3 마이크로폰의 음향신호로부터 원신호(S3) 및 잡음신호(N3)를 분리한 후 분리된 원신호(S3)를 상기 제1 음성인식모듈에 의해 검출된 1차 원신호(X1)에 합산하여 최종 원신호(X2)를 검출하는 제2 음성인식모듈을 더 포함하는 것을 특징으로 하는 시각장애인용 지팡이.
  5. 청구항4에 있어서, 상기 제1 음성인식모듈과 상기 제2 음성인식모듈은 서로 다른 방식의 제1 신호분리 알고리즘 및 제2 신호분리 알고리즘이 적용되어 음향신호로부터 원신호 및 잡음신호를 분리시키는 것을 특징으로 하는 시각장애인용 지팡이.
KR1020170014948A 2017-02-02 2017-02-02 시각장애인을 위한 지팡이 KR101822084B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170014948A KR101822084B1 (ko) 2017-02-02 2017-02-02 시각장애인을 위한 지팡이

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170014948A KR101822084B1 (ko) 2017-02-02 2017-02-02 시각장애인을 위한 지팡이

Publications (1)

Publication Number Publication Date
KR101822084B1 true KR101822084B1 (ko) 2018-01-25

Family

ID=61094052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170014948A KR101822084B1 (ko) 2017-02-02 2017-02-02 시각장애인을 위한 지팡이

Country Status (1)

Country Link
KR (1) KR101822084B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157096B1 (ko) 2019-12-24 2020-09-18 이상준 시각장애인 정보 취득 장치
CN111870430A (zh) * 2020-07-30 2020-11-03 云知声智能科技股份有限公司 穿戴式引导设备
CN111904806A (zh) * 2020-07-30 2020-11-10 云知声智能科技股份有限公司 导盲系统
CN114764972A (zh) * 2021-01-12 2022-07-19 丰田自动车株式会社 步行支持系统
KR20230077003A (ko) 2021-11-24 2023-06-01 진성종 시각장애인용 지팡이
KR102643148B1 (ko) * 2023-07-03 2024-03-05 최서윤 시각장애인을 위한 네비게이션 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101575776B1 (ko) * 2015-05-20 2015-12-08 명도시스템(주) 시각장애인용 사물인식 지팡이

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101575776B1 (ko) * 2015-05-20 2015-12-08 명도시스템(주) 시각장애인용 사물인식 지팡이

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157096B1 (ko) 2019-12-24 2020-09-18 이상준 시각장애인 정보 취득 장치
CN111870430A (zh) * 2020-07-30 2020-11-03 云知声智能科技股份有限公司 穿戴式引导设备
CN111904806A (zh) * 2020-07-30 2020-11-10 云知声智能科技股份有限公司 导盲系统
CN114764972A (zh) * 2021-01-12 2022-07-19 丰田自动车株式会社 步行支持系统
CN114764972B (zh) * 2021-01-12 2024-03-08 丰田自动车株式会社 步行支持系统
KR20230077003A (ko) 2021-11-24 2023-06-01 진성종 시각장애인용 지팡이
KR102643148B1 (ko) * 2023-07-03 2024-03-05 최서윤 시각장애인을 위한 네비게이션 시스템

Similar Documents

Publication Publication Date Title
KR101822084B1 (ko) 시각장애인을 위한 지팡이
US4757541A (en) Audio visual speech recognition
JP4867804B2 (ja) 音声認識装置及び会議システム
Fernandez-Lopez et al. Towards estimating the upper bound of visual-speech recognition: The visual lip-reading feasibility database
US6553342B1 (en) Tone based speech recognition
Moreno et al. Realtime local navigation for the blind: detection of lateral doors and sound interface
KR101889465B1 (ko) 음성인식장치와, 음성인식장치가 구비된 조명등기구와, 이를 이용한 조명시스템
JPH0792988A (ja) 音声検出装置と映像切り替え装置
JP2018013549A (ja) 発話内容認識装置
KR101794260B1 (ko) 음성인식을 이용한 보안등 및 보안시스템
JP4483450B2 (ja) 音声案内装置、音声案内方法およびナビゲーション装置
JP2008052178A (ja) 音声認識装置と音声認識方法
KR102557092B1 (ko) 투명 디스플레이를 이용한 자동 통번역 및 대화 보조 시스템
KR101882309B1 (ko) 음성인식을 이용한 보안등 및 보안시스템
Chiţu¹ et al. Automatic visual speech recognition
KR20190078669A (ko) 시각 장애인 위한 안전한 보행과 정보 안내 시스템
KR101826278B1 (ko) 유도시스템
KR20060044008A (ko) 다수의 화자 분별을 위한 음성 인식장치
JP2002229592A (ja) 音声認識装置
Prukkanon et al. F0 contour approximation model for a one-stream tonal word recognition system
EP0336032A1 (en) Audio visual speech recognition
Park et al. Implementation of Crosswalk Lights Recognition System for the Blind's Safety
KR102701946B1 (ko) 이미지 기반의 음소 인식 방법
Paczolay et al. Real-time vocal tract length normalization in a phonological awareness teaching system
Schwartz et al. Data and simulations about audiovisual asynchrony and predictability in speech perception

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant