KR101590053B1 - 음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 - Google Patents

음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR101590053B1
KR101590053B1 KR1020150093083A KR20150093083A KR101590053B1 KR 101590053 B1 KR101590053 B1 KR 101590053B1 KR 1020150093083 A KR1020150093083 A KR 1020150093083A KR 20150093083 A KR20150093083 A KR 20150093083A KR 101590053 B1 KR101590053 B1 KR 101590053B1
Authority
KR
South Korea
Prior art keywords
voice
emergency bell
speech recognition
recognition
noise
Prior art date
Application number
KR1020150093083A
Other languages
English (en)
Inventor
이순표
Original Assignee
주식회사 투비리더스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 투비리더스 filed Critical 주식회사 투비리더스
Priority to KR1020150093083A priority Critical patent/KR101590053B1/ko
Application granted granted Critical
Publication of KR101590053B1 publication Critical patent/KR101590053B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다. 이러한 본 발명은 입력되는 음성 신호에 대한 음성 인식을 수행하여, 음성 인식 결과, 상기 입력된 음성 신호가 상기 비상벨 장치를 작동시키는 명령어이면 이벤트를 발생시키는 음성인식부와, 상기 이벤트의 발생에 따라 상기 비상벨 장치의 비상 상황 프로세스를 수행하는 제어부를 포함하는 것을 특징으로 하는 비상벨 장치와, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.

Description

음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체{Apparatus of emergency bell using speech recognition, method for operating the same and computer recordable medium storing the method}
본 발명은 비상벨 장치에 관한 것으로, 보다 상세하게는 음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다.
통상, 범죄로부터 보호, 화재 신고, 혹은 시설물 고장 신고(예컨대, 엘리베이터에 갇히는 경우) 등의 목적으로 비상벨이 설치될 수 있다. 이러한 비상벨은 카메라와 같이 설치될 수 있고, 이러한 비상벨은 다양한 형태로 활용될 수 있다.
한국공개특허 제2009-0112022호 2009년 10월 28일 등록(명칭: 소리를 이용한 보안 시스템에 관한 방법)
본 발명의 목적은 벨을 누를 수 없는 상황에 있는 사용자가 음성으로 비상벨을 작동시킬 수 있는 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 음성 인식을 이용한 비상벨 장치는 입력되는 음성 신호에 대한 음성 인식을 수행하여, 음성 인식 결과, 상기 입력된 음성 신호가 상기 비상벨 장치를 작동시키는 명령어이면 이벤트를 발생시키는 음성인식부와, 상기 이벤트의 발생에 따라 상기 비상벨 장치의 비상 상황 프로세스를 수행하는 제어부를 포함한다.
더욱이, 상기 비상벨 장치는 영상을 촬영하는 카메라부를 더 포함한다.
또한, 상기 음성인식부는 상기 카메라부가 촬영한 영상에 포함된 사람의 수, 상기 비상벨 장치로부터 각 사람까지의 거리 및 방향을 포함하는 주변 상황 정보와, 상기 주변 상황 정보에 대응하는 소음 성분을 저장하는 소음DB와, 상기 제어부로부터 상기 음성 신호 입력 시 생성된 주변 상황 정보를 입력 받고, 상기 소음DB에 저장된 주변 상황 정보 중 상기 입력된 주변 상황 정보와 가장 높은 유사도를 가지는 주변 상황 정보를 검색하여, 검색된 주변 상황 정보에 대응하는 소음 성분을 이용하여 상기 음성 신호의 소음 성분을 소거하는 소음처리모듈을 포함한다.
상기 음성인식부는 음향 모델, 발음 사전 및 언어 모델을 저장하는 음성인식DB와, 상기 소음이 소거된 음성 신호로부터 특징 벡터를 추출하고, 상기 음향 모델, 언어 모델 및 발음 사전을 이용하여 음성 인식에 필요한 탐색 공간을 형성하고, 형성된 탐색 공간에 따라 특징 벡터를 이용하여 음성 인식을 수행하는 인식모듈과, 상기 음성 인식 결과에 따라 상기 입력된 음성 신호가 상기 명령어이면 이벤트를 발생시키는 판단모듈을 더 포함한다.
상기 비상벨 장치는 증폭기를 포함하는 스피커의 출력을 제어하기 위한 음성처리부를 더 포함하며, 상기 제어부는 상기 카메라부로부터 음성 출력이 없으면 상기 음성처리부를 통해 상기 증폭기를 포함하는 스피커의 전원을 오프시키는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 음성 인식을 이용한 비상벨 장치 작동 방법은 음성 신호가 입력되면, 음성 인식을 수행하는 단계와, 상기 음성 인식 결과, 상기 입력된 음성 신호가 비상벨 장치를 작동시키는 명령어이면 이벤트를 발생시키는 단계와, 상기 이벤트의 발생에 따라 상기 비상벨 장치의 비상 상황 프로세스를 수행하는 단계를 포함한다.
상기 음성 인식을 수행하는 단계는 카메라부가 촬영한 영상에 포함된 사람의 수, 상기 비상벨 장치로부터 각 사람까지의 거리 및 방향을 포함하는 주변 상황 정보와, 상기 주변 상황 정보에 대응하는 소음 성분이 미리 저장된 상태에서, 상기 음성 신호가 입력될 때 생성된 주변 상황 정보를 입력 받는 단계와, 상기 미리 저장된 주변 상황 정보 중 상기 입력된 주변 상황 정보와 가장 높은 유사도를 가지는 주변 상황 정보를 검색하는 단계와, 상기 검색된 주변 상황 정보에 대응하는 소음 성분을 이용하여 상기 음성 신호의 소음 성분을 소거하는 단계를 포함한다.
상기 음성 인식을 수행하는 단계는 상기 소음이 소거된 음성 신호로부터 특징 벡터를 추출하는 단계와, 상기 음향 모델, 언어 모델 및 발음 사전을 이용하여 음성 인식에 필요한 탐색 공간을 형성하는 단계와, 상기 형성된 탐색공간에 따라 특징 벡터를 이용하여 음성 인식을 수행하는 단계를 더 포함한다.
본 발명의 다른 견지에 따르면 전술한 본 발명이 실시예에 따른 비상벨 장치 작동 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
상술한 바와 같은 본 발명에 따르면, 정해진 장소에 설치된 비상벨 장치의 특성 상 유사한 주변 소음이 존재하며, 이에 따라, 주변 소음을 훈련하여, 훈련된 주변 소음에 따라 음성 신호로부터 소음을 제거한 후, 음성 인식을 수행하기 때문에 보다 정밀한 음성 인식 결과를 얻을 수 있다. 이에 따라, 음성으로도 동작하는 비상벨 장치의 성능을 더욱 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 비상벨 장치의 구성을 설명하기 위한 블록도이다.
도 2는 도 1의 음성인식부의 상세한 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 비상벨 장치의 스피커를 제어하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 비상벨 장치의 스피커를 제어하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 소음 훈련 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 소음 훈련 방법에서 주변 상황을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 음성 인식을 이용한 비상벨 작동을 위한 방법을 설명하기 위한 흐름도이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 비상벨 장치의 구성을 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 비상벨 장치의 구성을 설명하기 위한 블록도이다. 도 1을 참조하면, 비상벨 장치(10)는 마이크(110), 감도조절부(120), 음성인식부(100), 경광등(210), 경광등구동부(200), 스위치(310), 카메라부(400), 스피커(510), 음성처리부(500), 음성안내부(600), 제어부(700)를 포함한다. 이러한 비상벨 장치(10)는 중앙 서버(900)와 연결되며, 중앙 서버(900)는 상황실에 설치된 컴퓨팅 연산 장치가 될 수 있다. 대표적인 예로, 중앙 서버(900)는 컴퓨터가 될 수 있다.
본 발명의 실시예에 따른 비상벨 장치(10)는 기본적으로, 스위치(310)를 통해 입력이 이루어지면, 제어부(700)는 이를 감지하여, 비상 상황 프로세스를 수행한다. 이러한 비상 상황 프로세스에서 제어부(700)는 경광등구동부(200)를 통해 경광등(210)을 작동시킬 수 있다. 이와 동시에, 제어부(700)는 음성처리부(500)를 통해 스피커(510)로 비상벨을 출력할 수 있다. 또한, 제어부(700)는 카메라부(400)와 유선 혹은 무선으로 연결된 중앙 서버(900)와 비상 상황임을 알리는 비상 신호를 전송한다. 이에 따라, 중앙 서버(900)의 화면에는 비상 상황임을 알리는 메시지가 표시된다. 이와 함께, 카메라부(400)가 촬영한 영상이 중앙 서버(900)에 제공된다. 중앙 서버(900)의 담당자, 즉, 상황실 근무 직원은 영상을 통해 주변 상황을 인지할 수 있다. 게다가, 마이크(110)로 입력되는 음성이 감도조절부(120), 제어부(700) 및 카메라부(400)를 거쳐 중앙 서버(900)로 전달되어, 중앙 서버(900)에 구비된 스피커(미도시)로 출력되며, 중앙 서버(900)와 연결된 마이크(미도시)로 입력되는 음성은 카메라부(400) 및 음성처리부(500)를 거쳐 스피커(510)로 출력된다. 이에 따라, 중앙 서버(900)의 담당자, 즉, 상황실 근무 직원은 비상벨 장치(10) 주변에 위치한 사람들과 대화를 하거나, 안내 방송을 할 수 있다. 한편, 비상 상황 프로세스가 시작될 때, 비상벨 장치(10)는 상황실의 중앙 서버(900)와 연결되는 것을 알리기 위한 안내 멘트를 제공할 수 있다. 음성안내부(600)는 이러한 음성 안내를 위한 멘트를 저장한다. 예컨대, 이러한 안내 멘트는 "상황실에 연결 중입니다."가 될 수 있다. 제어부(700)는 비상 상황 프로세스가 시작되면, 음성안내부(600)로부터 안내 멘트를 추출하여 음성처리부(500)를 통해 스피커(510)로 출력되도록 제어할 수 있다.
본 발명은 비상 상황 프로세스를 시작하는 입력으로 스위치 입력 외에 음성 입력을 제공한다. 즉, 비상벨 장치(10)는 스위치(310) 입력이 어려운 경우, 음성을 통한 입력으로 작동시킬 수 있다. 마이크(110), 감도조절부(120) 및 음성인식부(100)는 이러한 음성 입력을 위한 것이다. 우선 마이크(110)를 통해 음성 신호가 입력될 수 있다. 감도조절부(120)는 마이크(110)의 감도를 시간대별로 조절하여 마이크(110)를 통해 음성 신호를 수신한다. 다른 말로, 감도조절부(120)는 시간대별로 감도를 미리 설정하며, 이에 따라, 마이크(110)의 감도를 조절하여, 마이크(110)로부터 음성 신호를 입력 받는다. 음성 신호가 입력되면 감도조절부(120)는 이를 음성인식부(100)에 전달한다. 음성인식부(100)는 음성 인식을 통해 입력된 음성 신호가 본 발명의 실시예에 따라 비상벨 장치(10)를 작동시키기 위한 기 설정된 명령어인지 여부를 판단한다. 여기서, 명령어는 "도와주세요.", "사람살려주세요." 및 비명소리 등이 될 수 있다. 음성 인식 결과 음성인식부(100)는 입력된 음성 신호가 기 설정된 명령어인 경우, 이벤트를 발생시킨다. 이러한 이벤트는 제어부(700)로 전달된다. 이에 따라, 제어부(700)는 음성인식부(100)로부터 이벤트를 전달 받으면, 전술한 본 발명의 실시예에 따른 비상 상황 프로세스를 수행한다.
한편, 비상 상황이 아닌 평상 시, 음성 인식을 통해 비상벨 장치(10)가 구동됨을 알리기 위해 비상벨 장치(10)는 음성 안내를 제공할 수 있다. 음성안내부(600)는 이러한 음성 안내를 위한 멘트를 저장한다. 이러한 음성 안내는 예컨대, "도움이 필요한 경우 비상벨 버튼을 누리시면 상황실로 연결됩니다.", "비상벨은 버튼을 누르거나, 음성으로도 동작하는 장치입니다.", "비상벨은 사람살려주세요, 살려주세요, 도와주세요 등의 음성으로 동작이 가능합니다.", "상황실 연결시 음성 대화가 가능합니다." 등이 될 수 있다. 일 실시예에 따르면, 제어부(700)는 카메라부(400)를 통해 주변에 사람이 감지되는 경우에만, 음성안내부(600)로부터 안내 멘트를 추출하여 추출된 안내 멘트가 음성처리부(500)를 통해 스피커(510)로 출력되도록 제어할 수 있다. 대안적인 실시예에 따르면, 제어부(700)는 기 설정된 주기에 따라 음성안내부(600)로부터 안내 멘트를 추출하여 음성처리부(500)를 통해 추출된 안내 멘트가 스피커(510)로 출력되도록 제어할 수 있다.
스피커(510)는 증폭기(Amplifier)를 포함하며, 스피커(510)가 온 상태에서는 지속적으로 증폭기에 전원이 인가되기 때문에 증폭기의 수명이 줄어들 수 있다. 따라서 본 발명은 필요한 경우에만 스피커(510)를 켜고 불필요한 상황에서는 스피커를 끈다. 즉, 비상 상황 프로세스 시 그리고 안내 멘트 방송 시에는 스피커를 켜고, 그렇지 않은 경우, 스피커를 끈다. 이에 따라, 지속적으로 스피커를 켠 상태를 유지하는 경우와 비교하여 증폭기의 수명이 현저하게 연장될 수 있다.
전술한 바와 같이, 본 발명은 음성 인식을 통해 비상벨을 동작시킬 수 있다. 음성인식부(100)는 이러한 음성 인식을 위한 것이다. 그러면, 이러한 음성인식부(100)에 대해서 보다 상세히 설명하기로 한다. 도 2는 도 1의 음성인식부의 상세한 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 음성인식부(100)는 비상벨 장치(10)를 음성으로 작동시키기 위한 명령어를 음성 인식하기 위한 것이다. 이러한 명령어는 "도와주세요.", "사람살려주세요." 및 비명소리 등이 될 수 있다. 이러한 음성인식부(100)는 소음처리모듈(101), 소음DB(103), 인식모듈(105), 음성인식DB(107) 및 판단모듈(109)을 포함한다.
소음처리모듈(101)은 주변 상황에 따른 소음을 추정하고, 추정된 소음을 이용하여 입력된 음성 신호로부터 소음 성분을 소거하기 위한 것이다. 소음DB(103)에 미리 저장된 주변 상황 정보에 따른 소음 성분을 이용하여 입력된 음성 신호로부터 소음 성분을 소거한 후, 소음 성분이 소거된 음성 신호를 인식모듈(105)로 출력한다. 이와 같이, 소음DB(103)는 주변 상황 정보에 따른 소음 성분을 미리 저장한다. 여기서, 주변 상황 정보는 비상벨 장치(10) 주변의 상황을 나타내는 것으로, 주변 상황 정보는 카메라부(400)이 촬영한 영상으로부터 추출된다. 여기서, 주변 상황은 카메라부(400)의 촬영 범위 내의 상황을 의미한다. 보다 자세히, 주변 상황 정보는 카메라부(400)이 촬영한 영상으로부터 추출된 비상벨 장치(10) 주변 사람의 수, 비상벨 장치(10)로부터 각 사람까지의 거리 및 방향을 포함한다.
소음처리모듈(101)은 입력된 음성 신호가 명령어가 아닌 경우, 입력된 음성 신호를 소음 성분으로 소음DB(103)에 저장한다. 이때, 저장되는 소음 성분은 입력되는 음성 신호의 음성 스펙트럼이 될 수 있다. 이때, 소음 성분은 음성 신호 입력 시의 주변 상황 정보와 매핑하여 저장한다. 즉, 이러한 소음 성분은 다음의 표 1과 같은 형태로 저장될 수 있다.
소음 성분 주변 상황 정보
사람의 수(명) 거리(m) 방향(도)
음성 스펙트럼 1 2 1 30
1.5 37
음성 스펙트럼 2 0 0 0
음성 스펙트럼 3 1 3 137
음성 스펙트럼 4 3 2.8 45
3 123
2.9 131
음성 스펙트럼 5 1 2 43
... ... ... ...
전술한 바와 같이, 주변 상황 정보에 따른 소음 성분이 저장된 상태에서, 음성 신호가 입력되면, 소음처리모듈(101)은 표 1과 같이 저장된 주변 상황 정보 중 음성 신호가 입력될 때 추출된 주변 상황 정보와 가장 높은 유사도를 가지는 주변 상황 정보를 검색한다. 그런 다음, 소음처리모듈(101)은 검색된 주변 상황 정보에 매핑된 소음 성분을 독출한다. 예컨대, 표 1과 같이 주변 상황 정보가 저장되어 있는 상태에서, 음성 신호 입력 시, 주변 상황 정보는 사람이 1명이며, 이 사람은 비상벨 장치(10)로부터 2.5m 떨어져 있으며, 이 사람이 서 있는 방향은 비상벨 장치(10)의 어느 하나의 기준선과 이루는 각이 50도라고 가정한다. 그러면, 유사도에 따라 음성 스펙트럼 5가 소음 성분으로 독출될 수 있다. 소음 성분이 독출되면, 소음처리모듈(101)은 독출된 소음 성분을 이용하여 음성 신호로부터 소음 성분을 소거한다. 일례로, 소음 성분의 소거는 입력된 음성 신호의 음성 스펙트럼으로부터 표 1과 같은 데이터로부터 추출된 소음 성분(음성 스펙트럼)을 차감하는 방식을 사용할 수 있다. 그런 다음, 소음처리모듈(101)은 소음 성분이 소거된 음성 신호를 인식모듈(105)에 제공한다.
인식모듈(105)은 본 발명의 실시예에 따른 비상벨 작동을 위한 명령어인지 여부에 대한 음성 인식을 위한 것이다. 인식모듈(105)은 소음이 제거된 음성 신호가 입력되면, 입력된 음성 신호로부터 특징 벡터를 추출한다. 그런 다음, 인식모듈(105)은 탐색 공간을 형성하여 음성 인식을 수행한다. 음성인식DB(107)는 음향 모델, 발음 사전 및 언어 모델을 저장하며, 탐색 공간은 이러한 음향 모델, 발음 사전 및 언어 모델이 이용된다. 보다 상세히 설명하면, 음성 인식을 위해 인식모듈(105)은 음성인식DB(107)에 저장된 음향 모델, 언어 모델 및 발음 사전을 이용하여 음성 인식에 필요한 탐색 공간을 형성하고, 형성된 탐색공간에 따라 특징 벡터를 이용하여 음성 인식을 수행한다. 여기서, 음향 모델은 시간적으로 변화하는 음성 신호의 특징을 모델링한다. 음향 모델링 방법은 HMM, Continuous HMM, 신경회로망(NN) 등을 예시할 수 있다. 음향 모델은 각 음소 별로 음소 모델 파라미터 분포를 가질 수 있다. 발음 사전은 음성에 대한 발음을 저장한다. 발음 사전은 음향 모델과 연결하여 특정 음성에 대한 다중의 발음들을 저장할 수 있다. 언어 모델은 단어 간의 문법을 고려하여 인식 후보에 가중치를 줌으로써 문법에 맞는 문장이 더 높은 점수를 얻도록 함으로써 인식률을 향상시킬 수 있다. 인식되는 대상 어휘의 수와 인식 속도, 인식 성능을 고려하여 언어 모델은 선택적으로 적용될 수 있다.
특히, 인식모듈(105)는 본 발명의 실시예에 따른 비상벨 작동을 위한 명령어인지 여부에 대한 유사도 값을 인식 결과로 출력할 수 있다. 이를 위하여 인식모듈(105)는 비터비(Viterbi) 알고리즘 또는 DTW(Dynamic Time Warping)와 같은 패턴 정합 알고리즘을 이용할 수 있다. 예컨대, 탐색 공간은 비상벨 작동을 위한 명령어 인식과 같은 적은 어휘의 인식을 위한 FSN(Finite state network) 형태의 탐색 공간 혹은 빠른 인식을 위한 트리(tree) 형태의 탐색 공간을 포함할 수 있다.
판단모듈(107)은 인식모듈(105)의 음성 인식 결과가 본 발명의 실시예에 따른 명령어인지 여부를 판단하고, 그 결과를 제어부(700)로 출력하며, 음성 인식 결과에 따라 음성인식DB(107)의 음향 모델, 발음 사전 및 언어 모델을 업데이트한다.
다음으로, 본 발명의 실시예에 따른 비상벨 장치(10)의 동작에 대해서 설명하기로 한다. 먼저, 본 발명의 실시예에 따른 비상벨 장치(10)의 스피커(510)를 제어하는 방법에 대해서 설명하기로 한다. 도 3은 본 발명의 일 실시예에 따른 비상벨 장치의 스피커를 제어하는 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, S110 단계에서 스피커(510)가 오프된 상태라고 가정한다. 이러한 상태에서 제어부(700)는 S120 단계에서 카메라부(400)로부터 음성 출력이 감지되는지 여부를 판단한다.
예컨대, 카메라부(400)와 연결된 중앙 서버(900)는 카메라부(400)로부터 영상을 수신하여 출력하며, 중앙 서버(900)의 담당자는 이러한 영상을 통해 주변 상황을 모니터할 수 있다. 특히, 담당자는 필요한 경우, 중앙 서버(900)와 연결된 마이크를 이용하여 직접 필요한 안내 방송을 할 수 있다. 이때, 중앙 서버(900)와 연결된 마이크(미도시)에 입력된 관리자의 음성은 카메라부(400)로 전달되며, 이에 따라, 카메라부(400)는 음성을 출력할 수 있다. 전술한 바와 같은 경우, 제어부(700)는 카메라부(400)로부터 음성 출력이 되는 것을 감지할 수 있다.
이에 따라, 음성 출력이 감지되면, 제어부(700)는 S130 단계에서 스피커(510)을 온 상태로 전환한다. 즉, 스피커(510)을 켠다. 반면, 음성 출력이 감지되지 않으면, 제어부(700)는 S110 단계로 회귀하여, 스피커(510)를 오프 상태로 유지한다. 즉, 스피커(510)를 끈 상태로 유지한다.
다음으로, 본 발명의 다른 실시예에 따른 비상벨 장치(10)의 스피커(510)를 제어하는 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 다른 실시예에 따른 비상벨 장치의 스피커를 제어하는 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 제어부(700)는 S210 단계에서 카메라부(400)를 통해 영상이 입력되면, S220 단계에서 입력된 영상에 대해 이미지 프로세싱을 수행하여 영상에 사람이 존재하는지 여부를 판별한다. 영상으로부터 사람을 식별하기 위한 이미지 프로세싱은 다양한 기법을 이용하여 수행될 수 있다. 대표적인 예로, 얼굴 인식 방법을 통해 사람을 식별할 수 있다.
S220 단계의 판별 결과, 영상에 사람이 존재하면, 제어부(700)는 S230 단계로 진행한다. S230 단계에서 제어부(700)는 음성처리부(500)를 통해 스피커(510)를 켠다. 그런 다음, 제어부(700)는 S240 단계에서 스피커(510)를 통해 안내 방송이 이루어지도록 제어한다. 즉, S240 단계에서 제어부(700)는 음성안내부(600)에 저장된 안내 멘트를 추출하고, 추출된 안내멘트를 음성처리부(500)에 제공하여 스피커(510)을 통해 안내멘트가 출력되도록 제어한다. 여기서, 안내멘트는 비상벨 장치(10) 주변 사람에게 비상벨 장치(10)를 작동시키면 도움을 받을 수 있음을 안내하는 멘트와, 비상벨 장치(10)가 음성으로 동작함을 안내하는 멘트 등을 포함한다. 한편, S220 단계의 판별 결과, 영상에 사람이 존재하지 않으면, 제어부(700)는 S250 단계에서 음성처리부(500)를 제어하여 스피커()를 끄며, 안내멘트 또한 제공되지 않는다.
전술한 도 3 및 도 4의 실시예에 따르면, 본 발명은 필요한 경우에만 스피커(510)을 켜고 그렇지 않은 경우에 스피커(510)을 끈다. 스피커(510)을 끈다는 것은 스피커(510)에 포함된 증폭기(Amplifier)를 끈다는 것이며, 이에 따라, 스피커(510)의 증폭기(Amplifier)의 수명을 연장시킬 수 있다.
다음으로, 본 발명의 실시예에 따른 음성 인식을 이용한 비상벨 작동을 위한 방법을 설명하기로 한다. 본 발명의 실시예에 따르면 비상벨 장치(10)는 음성 인식을 위해 비상벨 장치(10)의 주변에서 발생하는 소음을 소거한 후, 음성 인식을 수행한다. 이를 위하여, 비상벨 장치(10)는 주변의 상황에 따른 소음을 훈련한다. 이러한 소음 훈련 방법에 대해서 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 소음 훈련 방법을 설명하기 위한 흐름도이며, 도 6은 본 발명의 실시예에 따른 소음 훈련 방법에서 주변 상황을 설명하기 위한 도면이다.
도 5를 참조하면, 카메라부(400)는 S310 단계에서 영상을 촬영하고, S320 단계에서 촬영된 영상은 제어부(700)로 제공된다. 그러면, 제어부(700)는 S330 단계에서 영상으로부터 영상에 포함된 사람의 수, 비상벨 장치(10)로부터 사람까지의 거리 및 방향을 추출하여, 주변 상황 정보를 생성한다. 즉, 주변 상황 정보는 영상에 포함된 사람의 수, 비상벨 장치(10)로부터 사람까지의 거리 및 방향을 포함한다. 생성된 주변 상황 정보는 S340 단계에서 음성인식부(100)의 소음처리모듈(101)에 제공된다.
한편, S350 단계에서 소음처리모듈(101)에 마이크(110)를 통해 입력된 음성 신호가 감도조절부(120)를 통해 입력될 수 있다. 그러면, 소음처리모듈(101)은 S360 단계에서 입력되는 음성 신호의 음성 스펙트럼을 제어부(700)로부터 제공받은 주변 상황 정보에 매핑하여 소음DB(103)에 소음 성분으로 저장한다. 예컨대, 표 1과 같이 주변 상황 정보 별 소음 성분이 저장될 수 있다. 일례로, 도 6을 살펴보면, 3명의 사람이 존재하며, 3명의 사람 각각은 비상벨 장치로부터 각각 2.8m, 3m 및 2.9m 떨어져 있고, 3명의 사람 각각은 비상벨 장치의 어느 하나의 기준선을 기준으로 각각 45도, 123도 및 131도 방향에 위치한다. 소음처리모듈(101)은 이러한 주변 상황에서 입력되는 음성으로부터 특징 벡터를 추출하여, 추출된 특징 벡터를 소음 성분으로 주변 상황 정보에 매핑하여 저장할 수 있다. 도 6과 같은 상황에서 저장된 소음 성분으로 저장된 예는 표 1의 음성 스펙트럼 4와 같다.
그러면, 전술한 바와 같이 주변 상황 정보 별로 저장된 소음 성분을 이용하여 음성 인식을 수행하고, 이에 따라, 비상벨을 작동시키는 방법에 대해서 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 음성 인식을 이용한 비상벨 작동을 위한 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 음성인식부(100)의 소음처리모듈(101)은 S410 단계에서 음성 신호를 입력 받는다. 그런 다음, 소음처리모듈(101)은 S420 단계에서 제어부(700)로부터 음성 신호 입력 시 주변 상황 정보를 수신한다.
이어서, 소음처리모듈(101)은 S430 단계에서 주변 환경 정보를 기초로 음성 신호에서 소음 성분을 소거한다. S430 단계를 보다 상세하게 설명하면, 소음처리모듈(101)은 소음DB(103)의 주변 상황 정보 중 제어부(700)로부터 입력된 주변 상황 정보와 유사도가 가장 높은 주변 상황 정보를 검색한다. 그런 다음, 소음처리모듈(101)은 가장 유사한 주변 상황 정보에 매핑된 소음 성분을 추출한다. 이어서, 소음처리모듈(101)은 추출된 소음 성분을 이용하여 입력된 음성 신호로부터 소음 성분을 소거한다. 소음 성분이 소거된 음성 신호는 인식모듈(105)에 제공된다.
다음으로, 인식모듈(105)은 S440 단계에서 소음 성분이 소거된 음성 신호에 대한 음성 인식을 수행한다. 보다 상세히 설명하면, 인식모듈(105)은 소음 성분이 소거된 음성 신호가 입력되면, 입력된 음성 신호로부터 특징 벡터를 추출한다. 그런 다음, 인식모듈(105)은 음성인식DB(107)에 저장된 음향 모델, 언어 모델 및 발음 사전을 이용하여 음성 인식에 필요한 탐색 공간을 형성하고, 형성된 탐색공간에 따라 특징 벡터를 이용하여 음성 인식을 수행하고, 그 음성 인식 결과를 판단모듈(107)로 출력한다.
다음으로, 판단모듈(107)은 S450 단계에서 인식모듈(105)의 음성 인식 결과가 명령어인지 여부를 판단한다. 예컨대, 명령어가 "도와주세요.", "사람살려주세요." 및 비명소리라면, 음성 인식 결과가 "도와주세요.", "사람살려주세요." 및 비명소리 중 어느 하나인지 여부를 판단한다.
S450 단계의 판단 결과, 음성 인식 결과가 본 발명의 실시예에 따른 명령어이면, 판단모듈(107)은 명령어가 입력되었음 알리는 이벤트를 발생시킨다. 이러한 이벤트는 제어부(700)로 전달되며, 이에 따라, 제어부(700)는 비상 상황 프로세스를 수행할 수 있다.
한편, 전술한 본 발명의 실시예에 따른 도면 관리를 위한 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상술한 바와 같은 본 발명에 따르면, 정해진 장소에 설치된 비상벨 장치의 특성 상 유사한 주변 상황이 존재할 수 있다. 이에 따라, 주변 상황에 따른 주변 소음을 훈련하여, 훈련된 주변 소음에 따라 음성 신호로부터 소음을 제거한 후, 음성 인식을 수행하기 때문에 보다 정밀한 음성 인식 결과를 얻을 수 있다. 따라서 음성으로도 동작하는 비상벨 장치의 성능을 더욱 향상시킬 수 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100: 음성인식부 110: 마이크
120: 감도조절부 200: 경광등구동부
210: 경광등 310: 스위치
400: 카메라부 500: 음성처리부
510: 스피커 600: 음성안내부
700: 제어부 900: 중앙 서버

Claims (8)

  1. 음성 인식을 이용한 비상벨 장치에 있어서,
    입력되는 음성 신호에 대한 음성 인식을 수행하여, 음성 인식 결과, 상기 입력된 음성 신호가 상기 비상벨 장치를 작동시키는 명령어이면 이벤트를 발생시키는 음성인식부;
    상기 이벤트의 발생에 따라 상기 비상벨 장치의 비상 상황 프로세스를 수행하는 제어부; 및
    영상을 촬영하는 카메라부;를 포함하며,
    상기 음성인식부는
    상기 카메라부가 촬영한 영상에 포함된 사람의 수, 상기 비상벨 장치로부터 각 사람까지의 거리 및 방향을 포함하는 주변 상황 정보와, 상기 주변 상황 정보에 대응하는 소음 성분을 저장하는 소음DB; 및
    상기 제어부로부터 상기 음성 신호 입력 시 생성된 주변 상황 정보를 입력 받고, 상기 소음DB에 저장된 주변 상황 정보 중 상기 입력된 주변 상황 정보와 가장 높은 유사도를 가지는 주변 상황 정보를 검색하여, 검색된 주변 상황 정보에 대응하는 소음 성분을 이용하여 상기 음성 신호의 소음 성분을 소거하는 소음처리모듈;을 포함하는 것을 특징으로 하는 비상벨 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 음성인식부는
    음향 모델, 발음 사전 및 언어 모델을 저장하는 음성인식DB;
    상기 소음이 소거된 음성 신호로부터 특징 벡터를 추출하고, 상기 음향 모델, 언어 모델 및 발음 사전을 이용하여 음성 인식에 필요한 탐색 공간을 형성하고, 형성된 탐색 공간에 따라 특징 벡터를 이용하여 음성 인식을 수행하는 인식모듈; 및
    상기 음성 인식 결과에 따라 상기 입력된 음성 신호가 상기 명령어이면 이벤트를 발생시키는 판단모듈;을 더 포함하는 것을 특징으로 하는 비상벨 장치.
  4. 제1항에 있어서,
    상기 비상벨 장치는
    증폭기를 포함하는 스피커의 출력을 제어하기 위한 음성처리부;를 더 포함하며,
    상기 제어부는 상기 카메라부로부터 음성 출력이 없으면 상기 음성처리부를 통해 상기 증폭기를 포함하는 스피커의 전원을 오프시키는 것을 특징으로 하는 비상벨 장치.
  5. 음성 인식을 이용한 비상벨 장치 작동 방법에 있어서,
    음성 신호가 입력되면, 음성 인식을 수행하는 단계;
    상기 음성 인식 결과, 상기 입력된 음성 신호가 비상벨 장치를 작동시키는 명령어이면 이벤트를 발생시키는 단계; 및
    상기 이벤트의 발생에 따라 상기 비상벨 장치의 비상 상황 프로세스를 수행하는 단계;를 포함하며,
    상기 음성 인식을 수행하는 단계는
    카메라부가 촬영한 영상에 포함된 사람의 수, 상기 비상벨 장치로부터 각 사람까지의 거리 및 방향을 포함하는 주변 상황 정보와, 상기 주변 상황 정보에 대응하는 소음 성분이 미리 저장된 상태에서, 상기 음성 신호가 입력될 때 생성된 주변 상황 정보를 입력 받는 단계;
    상기 미리 저장된 주변 상황 정보 중 상기 입력된 주변 상황 정보와 가장 높은 유사도를 가지는 주변 상황 정보를 검색하는 단계; 및
    상기 검색된 주변 상황 정보에 대응하는 소음 성분을 이용하여 상기 음성 신호의 소음 성분을 소거하는 단계;를 포함하는 것을 특징으로 하는 비상벨 장치 작동 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 음성 인식을 수행하는 단계는
    상기 소음이 소거된 음성 신호로부터 특징 벡터를 추출하는 단계;
    음향 모델, 언어 모델 및 발음 사전을 이용하여 음성 인식에 필요한 탐색 공간을 형성하는 단계; 및
    상기 형성된 탐색공간에 따라 특징 벡터를 이용하여 음성 인식을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 비상벨 장치 작동 방법.
  8. 제5항 또는 제7항에 따른 비상벨 장치 작동 방법이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020150093083A 2015-06-30 2015-06-30 음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 KR101590053B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150093083A KR101590053B1 (ko) 2015-06-30 2015-06-30 음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150093083A KR101590053B1 (ko) 2015-06-30 2015-06-30 음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Publications (1)

Publication Number Publication Date
KR101590053B1 true KR101590053B1 (ko) 2016-01-29

Family

ID=55310300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150093083A KR101590053B1 (ko) 2015-06-30 2015-06-30 음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Country Status (1)

Country Link
KR (1) KR101590053B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101792427B1 (ko) 2016-07-01 2017-10-31 민유선 비상벨 시스템
KR101822085B1 (ko) * 2017-02-02 2018-01-25 인성 엔프라 주식회사 비상벨을 구비한 비상경보장치
KR102336259B1 (ko) * 2021-06-30 2021-12-09 주식회사 에이치케이시스템 절전기능을 갖는 비상경보 시스템 및 그 제어방법
WO2022114620A1 (ko) * 2020-11-25 2022-06-02 (주)비에스소프트 이상음원 감지 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033866A (ko) * 2001-10-25 2003-05-01 이동민 음성인식에 의한 비상호출신호의 발생장치
JP2009166996A (ja) * 2008-01-18 2009-07-30 Mitsubishi Electric Building Techno Service Co Ltd エスカレータの非常停止装置
KR20090112022A (ko) 2008-04-23 2009-10-28 이현우 소리를 이용한 보안 시스템에 관한 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033866A (ko) * 2001-10-25 2003-05-01 이동민 음성인식에 의한 비상호출신호의 발생장치
JP2009166996A (ja) * 2008-01-18 2009-07-30 Mitsubishi Electric Building Techno Service Co Ltd エスカレータの非常停止装置
KR20090112022A (ko) 2008-04-23 2009-10-28 이현우 소리를 이용한 보안 시스템에 관한 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101792427B1 (ko) 2016-07-01 2017-10-31 민유선 비상벨 시스템
KR101822085B1 (ko) * 2017-02-02 2018-01-25 인성 엔프라 주식회사 비상벨을 구비한 비상경보장치
WO2022114620A1 (ko) * 2020-11-25 2022-06-02 (주)비에스소프트 이상음원 감지 시스템 및 방법
KR102336259B1 (ko) * 2021-06-30 2021-12-09 주식회사 에이치케이시스템 절전기능을 갖는 비상경보 시스템 및 그 제어방법

Similar Documents

Publication Publication Date Title
KR102293063B1 (ko) 사용자 정의 가능한 웨이크업 음성 명령
KR102596430B1 (ko) 화자 인식에 기초한 음성 인식 방법 및 장치
US10365887B1 (en) Generating commands based on location and wakeword
KR102545764B1 (ko) 음성 번역을 위한 장치 및 방법
US20190237076A1 (en) Augmentation of key phrase user recognition
KR101818980B1 (ko) 다중 화자 음성 인식 수정 시스템
JP2023041843A (ja) 音声区間検出装置、音声区間検出方法及びプログラム
US9899025B2 (en) Speech recognition system adaptation based on non-acoustic attributes and face selection based on mouth motion using pixel intensities
US20180182375A1 (en) Method, system, and apparatus for voice and video digital travel companion
KR101590053B1 (ko) 음성 인식을 이용한 비상벨 장치, 이의 작동 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
US11302324B2 (en) Speech processing method and apparatus therefor
WO2018047421A1 (ja) 音声処理装置、情報処理装置、音声処理方法および情報処理方法
CN110767214A (zh) 语音识别方法及其装置和语音识别系统
US11848029B2 (en) Method and device for detecting audio signal, and storage medium
CN107945806B (zh) 基于声音特征的用户识别方法及装置
JP6443419B2 (ja) 音声対話装置及びその制御方法
CN111326152A (zh) 语音控制方法及装置
WO2021085242A1 (ja) 情報処理装置、及びコマンド処理方法
US7272562B2 (en) System and method for utilizing speech recognition to efficiently perform data indexing procedures
JP5849761B2 (ja) 音声認識システム、音声認識方法および音声認識プログラム
US11373656B2 (en) Speech processing method and apparatus therefor
JP2018171683A (ja) ロボットの制御プログラム、ロボット装置、及びロボットの制御方法
US20170270923A1 (en) Voice processing device and voice processing method
US20190295526A1 (en) Dialogue control device, dialogue system, dialogue control method, and recording medium
JP2010109898A (ja) 撮影制御装置、撮影制御方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191220

Year of fee payment: 5