KR20140003610A - 엘리베이터의 호출 등록 장치 - Google Patents

엘리베이터의 호출 등록 장치 Download PDF

Info

Publication number
KR20140003610A
KR20140003610A KR1020137028088A KR20137028088A KR20140003610A KR 20140003610 A KR20140003610 A KR 20140003610A KR 1020137028088 A KR1020137028088 A KR 1020137028088A KR 20137028088 A KR20137028088 A KR 20137028088A KR 20140003610 A KR20140003610 A KR 20140003610A
Authority
KR
South Korea
Prior art keywords
call registration
voice
command
start command
call
Prior art date
Application number
KR1020137028088A
Other languages
English (en)
Other versions
KR101522486B1 (ko
Inventor
노부카즈 다케우치
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20140003610A publication Critical patent/KR20140003610A/ko
Application granted granted Critical
Publication of KR101522486B1 publication Critical patent/KR101522486B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/02—Control systems without regulation, i.e. without retroactive action
    • B66B1/06—Control systems without regulation, i.e. without retroactive action electric
    • B66B1/14—Control systems without regulation, i.e. without retroactive action electric with devices, e.g. push-buttons, for indirect control of movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/46—Adaptations of switches or switchgear
    • B66B1/468—Call registering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00—Applications of devices for indicating or signalling operating conditions of elevators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/40—Details of the change of control mode
    • B66B2201/46—Switches or switchgear
    • B66B2201/4607—Call registering systems
    • B66B2201/4638—Wherein the call is registered without making physical contact with the elevator system
    • B66B2201/4646—Wherein the call is registered without making physical contact with the elevator system using voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Elevator Control (AREA)

Abstract

자연스럽고 또한 오인식되기 어려운 개시 커맨드에 의해 호출 등록을 위한 음성 인식을 개시하여, 호출의 오등록을 억제할 수 있는 엘리베이터의 호출 등록 장치를 제공한다. 이를 위해, 엘리베이터의 호출 등록 장치에 있어서, 이용자의 음성의 입력을 수신하는 음성 입력부와, 행선층을 나타내는 소정의 호출 등록 커맨드 및 호출 등록의 음성 인식을 개시하기 위해서 이용하는, 호출 등록 커맨드와는 다른 소정의 개시 커맨드를 미리 기억함과 아울러, 입력 음성이 호출 등록 커맨드 및 개시 커맨드인지를 판정하여 음성 인식을 행하는 음성 인식부와, 입력 음성이 호출 등록 커맨드였을 경우에, 당해 호출 등록 커맨드의 행선층으로의 호출 등록 요구를 출력하는 호출 등록 제어부와, 유효로 되는 개시 커맨드를 소정의 조건에 의해서 변경하는 개시 커맨드 변경부를 구비하고, 음성 인식부는 입력 음성이 유효로 된 개시 커맨드였을 경우에, 호출 등록의 음성 인식을 개시한다.

Description

엘리베이터의 호출 등록 장치{ELEVATOR CALL REGISTRATION DEVICE}
본 발명은 엘리베이터의 호출 등록 장치에 관한 것이다.
버튼 조작에 의해 행선지 호출 등록을 행하는 엘리베이터에 있어서는, 이용자의 시각이 부자유스러운 경우나 이용자가 짐을 가지고 있는 경우, 혹은, 매우 혼잡한 경우 등, 버튼 조작에 의한 행선지 호출 등록이 곤란한 경우가 있다. 이에, 종래에 있어서는, 손에 의한 버튼 조작을 필요로 하지 않고, 음성 입력에 의해 호출 등록이 가능한 엘리베이터의 호출 등록 장치가 알려져 있다. 이 엘리베이터의 호출 등록 장치는 마이크로폰 등의 음성 입력부에 이용자가 발화한 음성이 입력되면, 이 입력된 음성을 인식하여 이용자가 발화한 행선층 등으로의 호출 등록을 행하는 것이다. 그런데, 이와 같은 엘리베이터의 호출 등록 장치에 있어서는, 음성 입력을 행하는 장소에 있어서의 환경 잡음 등의 영향에 의해서, 잘못된 호출이 등록되어 버릴 가능성이 있다.
이에, 종래에 있어서의 엘리베이터의 호출 등록 장치에 있어서는, 엘리베이터 홀에 마이크로폰 등의 음성 입력부를 설치하고, 이 음성 입력부의 앞에 이용자가 서 있는지 여부를 검출하는 사람 검출 수단을 마련하여, 이 사람 검출 수단이 이용자를 검출하고 있을 때만, 음성 입력부에 입력된 음성을 인식하여 호출 등록을 행하도록 한 것이 알려져 있다(예를 들면, 특허 문헌 1이나 특허 문헌 2 참조). 또한, 이들 특허 문헌 1이나 특허 문헌 2에 기재된 호출 등록 장치에 있어서는, 사람 검출 수단으로서, 초음파 센서, 적외선 센서, 광센서나 매트 센서(mat sensor)가 이용되고 있다.
또, 특허 문헌 2에 기재된 호출 등록 장치에는, 음성 인식에 의한 호출 등록 결과 등을 이용자에게 음성으로 알리기 위한 스피커로 이루어진 음성 출력부가 마련되어 있다. 그리고 이 음성 출력부로부터 발화된 음성이 호출 등록시의 음성 인식의 방해가 되지 않도록, 음성 출력부가 음성을 출력하고 있는 동안에는, 음성 입력부에 입력된 음성의 인식을 금지하고 있다.
또, 종래에 있어서 음성 인식을 이용한 엘리베이터의 호출 등록 장치에는, 이상의 것 외에, 음성 입력부에 입력된 음성을 인식했을 때에, 그 인식 내용을 이용자에게 표시하는 표시 장치를 마련한 것도 알려져 있다(예를 들면, 특허 문헌 3 참조).
또한, 엘리베이터의 호출 등록 장치 이외의 분야에 있어서는, 음성 입력부에 입력된 음성을 인식하여 실행 커맨드를 실행하는 음성 인식 제어 장치에 있어서, 음성 입력부에 입력된 음성이 소정의 개시 커맨드라고 인식되었을 경우에, 실행 커맨드의 음성 인식 및 음성 인식된 실행 커맨드의 실행을 개시하는 것이 종래 알려져 있다(예를 들면, 특허 문헌 4 참조).
특허 문헌 1: 일본 특개평 01－247378호 공보 특허 문헌 2: 일본 특개평 03－098967호 공보 특허 문헌 3: 일본 특개평 06－255911호 공보 특허 문헌 1: 일본특개 2000－194393호 공보
그렇지만, 특허 문헌 1이나 특허 문헌 2에 제시된 종래에 있어서의 엘리베이터의 호출 등록 장치에 있어서는, 사람 검출 수단이 오검출해 버렸을 경우에, 음성 인식도 올바르게 기능하지 않게 되어 버린다고 하는 과제가 있다. 더하여, 특허 문헌 2에 제시된 것에 있어서는, 음성 출력부가 음성을 출력하고 있는 동안은 음성 인식을 금지하고 있기 때문에, 이용자에게 있어서는, 음성 인식에 의한 호출 등록이 가능한 타이밍을 알기 어렵다고 하는 과제도 있다.
또, 특허 문헌 3에 제시된 종래에 있어서의 엘리베이터의 호출 등록 장치는, 음성 인식 내용을 표시 장치에 표시하여 오등록을 억제하려고 하는 것이기 때문에, 시각이 부자유스러운 사람은 표시 장치의 표시 내용을 확인하지 못하여 효과가 없다고 하는 과제나, 표시 장치를 마련함으로써 제품의 제조 비용이 높아져 버린다고 하는 과제가 있다.
그리고 특허 문헌 4에 제시된 종래에 있어서의 음성 인식 제어 장치에 있어서는, 실행 커맨드의 음성 인식을 개시하기 위한 개시 커맨드는 고정되어 있기 때문에, 장치의 상황이나 이용 시간대 등에 따라서는, 개시 커맨드 자체가, 오인식되기 쉬운 것으로 되어 버리거나 부자연스러운 것으로 되어 버릴 우려가 있다고 하는 과제가 있다.
본 발명은 이와 같은 과제를 해결하기 위해서 이루어진 것으로, 이용자가 호출 등록을 위해서 발성한 음성 이외의 음성에 의한 호출의 오등록을 억제하는 것이 가능함과 아울러, 부자연스럽지 않고 또한 오인식되기 어려운 개시 커맨드에 의해, 호출 등록을 위한 음성 인식을 개시할 수 있는 엘리베이터의 호출 등록 장치를 얻는 것이다.
본 발명에 따른 엘리베이터의 호출 등록 장치에 있어서는, 엘리베이터의 이용자가 발화한 음성의 입력을 수신하는 음성 입력부를 이용하여 음성 인식에 의해 호출 등록을 행하는 엘리베이터의 호출 등록 장치에 있어서, 호출 등록의 행선층 또는 방향을 나타내는 소정의 호출 등록 커맨드의 음성 데이터, 및 호출 등록 커맨드의 음성 인식을 개시하기 위해서 이용하는, 상기 호출 등록 커맨드와는 다르고 또한 상기 호출 등록 커맨드를 포함하지 않는 소정의 개시 커맨드의 음성 데이터를 미리 기억함과 아울러, 상기 음성 입력부에 입력된 음성이 상기 기억하는 호출 등록 커맨드의 음성 데이터 및 개시 커맨드의 음성 데이터 중 어느 것과 합치하는지 여부를 판정하여 상기 음성 인식을 행하는 음성 인식부와, 상기 음성 입력부에 입력된 음성이 상기 호출 등록 커맨드의 음성 데이터와 합치되었다고 판정되었을 경우에, 당해 합치된 호출 등록 커맨드가 나타내는 행선층 또는 방향으로의 호출 등록 요구를, 엘리베이터 제어 장치로 출력하는 호출 등록 제어부와, 상기 음성 인식부가 기억하는 상기 개시 커맨드 중 유효로 되는 상기 개시 커맨드를 소정의 조건에 의해서 변경하는 개시 커맨드 변경부를 구비하고, 상기 음성 인식부는 상기 음성 입력부에 입력된 음성이 상기 개시 커맨드 변경부에 의해 유효로 된 상기 개시 커맨드의 음성 데이터와 합치되었다고 판정했을 경우에, 상기 음성 입력부에 입력된 음성이 상기 호출 등록 커맨드의 음성 데이터와 합치하는지 여부의 상기 음성 인식을 개시하는 구성으로 한다.
본 발명에 따른 엘리베이터의 호출 등록 장치에 있어서는, 이용자가 호출 등록을 위해서 발성한 음성 이외의 음성에 의한 호출의 오등록을 억제하는 것이 가능함과 아울러, 부자연스럽지 않고 또한 오인식되기 어려운 개시 커맨드에 의해, 호출 등록을 위한 음성 인식을 개시할 수 있다고 하는 효과를 달성한다.
도 1은 본 발명의 실시 형태 1에 따른 엘리베이터의 호출 등록 장치의 전체 구성을 모식적으로 나타내는 블록도이다.
도 2는 본 발명의 실시 형태 1에 따른 엘리베이터의 호출 등록 장치의 음성 인식 개시 커맨드의 설정예를 설명하는 도면이다.
도 3은 본 발명의 실시 형태 1에 따른 엘리베이터의 호출 등록 장치의 동작을 나타내는 플로우도이다.
실시 형태 1.
도 1 내지 도 3은, 본 발명의 실시 형태 1에 따른 것으로, 도 1은 엘리베이터의 호출 등록 장치의 전체 구성을 모식적으로 나타내는 블록도, 도 2는 엘리베이터의 호출 등록 장치의 음성 인식 개시 커맨드의 설정예를 설명하는 도면, 도 3은 엘리베이터의 호출 등록 장치의 동작을 나타내는 플로우도이다.
도 1에 있어서, 1은 엘리베이터의 이용자 등을 적재하여 도시하지 않은 승강로 내를 승강하는 탑승 엘리베이터 칸이다. 이 탑승 엘리베이터 칸(1)이 정지하는 각 층상에는, 이용자가 탑승 엘리베이터 칸(1)에 승하차하기 위한 승강장(2)이, 각각 마련되어 있다.
탑승 엘리베이터 칸(1) 내 및 각 승강장(2) 중 적어도 어느 것에는, 엘리베이터의 이용자가 소망하는 호출을 등록하기 위한 호출 등록 장치 본체(3)가 설치되어 있다. 도 1에는, 탑승 엘리베이터 칸(1) 및 승강장(2)의 양쪽에, 이 호출 등록 장치 본체(3)가 설치된 예를 나타내고 있다. 호출 등록 장치 본체(3)에는, 음성 입력부(3a), 음성 인식부(3b), 호출 등록 제어부(3c) 및 음성 출력부(3d)가 구비되어 있다.
음성 입력부(3a)는 이용자가 발화한 음성의 입력을 수신하기 위한 것이다. 이 음성 입력부(3a)는 예를 들면 마이크로폰 등의 음파를 전기 신호로 변환하는 장치로 이루어져 있다. 그리고 음성 입력부(3a)에 입력된 음성은, 이 음성 입력부(3a)에 의해 음성 신호로 변환되어 출력된다.
음성 입력부(3a)로부터 출력된 음성 신호는, 음성 인식부(3b)로 입력된다. 이 음성 인식부(3b)에는 소정의 호출 등록 커맨드의 음성 데이터가 미리 기억되어 있다. 그리고 음성 인식부(3b)는, 음성 입력부(3a)에 입력된 음성을, 자신에게 미리 기억되어 있는 음성 데이터와 비교 대조함으로써, 음성 인식 처리를 행한다.
여기서, 호출 등록 커맨드 음성 데이터는, 호출 등록의 행선층을 나타내는 어휘(예를 들면, 1층을 나타내는 「일」, 「일층」이나 2층을 나타내는 「이」, 「이층」등. 또, 층수는 아니고 예를 들면 「메인 플로어」등의 층의 명칭이나 그 층에 있는 대표적인 시설의 명칭 등이여도 좋음)로 이루어진 호출 등록 커맨드의 음성 데이터(음성 신호의 파형 데이터)이다.
또, 승강장(2)에 설치되는 호출 등록 장치 본체(3)에 있어서는, 호출 등록 커맨드로서 호출의 방향을 나타내는 어휘(예를 들면, 상방향을 나타내는 「위」나 하방향을 나타내는 「아래」등)를 포함해도 좋다.
음성 인식부(3b)는, 우선, 음성 입력부(3a)로부터의 음성 신호로부터, 이용자에 의해 발화된 음성 부분인 발화 구간을 잘라낸다. 그리고 음성 인식부(3b)는, 이 잘라낸 발화 구간의 음성 신호와 호출 등록 커맨드 음성 데이터의 음성 신호를 비교 대조함으로써, 음성 입력부(3a)에 입력된 음성이 호출 등록 커맨드 음성 데이터 중 어느 것과 합치하는지 여부를 판정하여 음성 인식을 행한다.
이 음성 인식부(3b)에 의한 음성 인식 결과는, 호출 등록 제어부(3c)로 출력된다. 호출 등록 제어부(3c)는 통신로(5)에 의해서, 엘리베이터의 운전 동작 전반의 제어를 담당하는 엘리베이터 제어 장치(4)와 통신 가능하게 접속되어 있다. 호출 등록 제어부(3c)는 음성 인식부(3b)로부터 출력된 음성 인식 결과에 기초하여, 엘리베이터 제어 장치(4)로 호출 등록 요구를 출력한다.
호출 등록 제어부(3c)는, 음성 인식부(3b)에 있어서의 음성 인식 결과가 음성 입력부(3a)에 입력된 음성이 호출 등록 커맨드와 합치되었다고 하는 것이었을 경우, 이 합치한 호출 등록 커맨드에 대응하는 행선층 또는 방향으로의 호출 등록 요구를 엘리베이터 제어 장치(4)로 출력한다. 호출 등록 제어부(3c)로부터의 호출 등록 요구를 수신한 엘리베이터 제어 장치(4)는, 당해 호출 등록 요구가 지시하는 행선층 또는 방향으로의 호출 등록을 행한다. 아울러, 호출 등록 제어부(3c)는 출력한 호출 등록 요구의 행선층 또는 방향에 관한 정보를 음성 출력부(3d)로 출력한다.
이 음성 출력부(3d)는 음성 인식 결과나 호출 등록의 결과를 포함하는 엘리베이터의 상황에 관한 각종 정보를, 이용자에게 알리기 위한 것이다. 음성 출력부(3d)는 음성을 명동하는 스피커 등을 가지고 있다. 그리고 음성 출력부(3d)는 이 스피커 등으로부터, 미리 설정된 음성 아나운스 등을 내보내는 것에 의해, 이용자에게 각종 정보를 알릴 수 있다.
상술한 것처럼, 음성 인식부(3b)에 의해 호출 등록 커맨드가 인식되었을 경우에는, 호출 등록 제어부(3c)로부터 엘리베이터 제어 장치(4)로 당해 호출 등록 커맨드에 대응하는 행선층 또는 방향으로의 호출 등록 요구가 출력된다. 또, 동시에, 음성 호출 등록부(4)로부터 당해 호출 등록 요구의 행선층 또는 방향에 관한 정보가 음성 출력부(3d)로 출력된다. 이 호출 등록 요구의 행선층 또는 방향에 관한 정보를 수신한 음성 출력부(3d)는, 이 수신한 정보에 기초하여, 음성 인식 결과 즉 호출 등록 결과를 음성 아나운스에 의해 이용자에게 알린다. 이때의 구체적인 음성 아나운스로서는, 예를 들면, 「X층을 등록했습니다」(X는 행선층을 나타내는 숫자)와 같은 것을 생각할 수 있다.
또, 음성 입력부(3a)에 음성이 입력되었지만 입력된 음성이 미리 설정된 호출 등록 커맨드 중 어느 것과도 합치되지 않고, 음성 인식부(3b)에 의해 호출 등록 커맨드가 인식되지 않았던 경우에는, 음성 출력부(3d)는 호출 등록 커맨드의 인식에 실패한 취지의 음성 아나운스를 출력한다. 이때의 구체적인 음성 아나운스로서는, 예를 들면, 「인식할 수 없었습니다」와 같은 것을 생각할 수 있다. 이용자는, 이 음성 출력부(3d)로부터의 음성 아나운스에 의해, 자신의 의도한 행선층이나 방향이 인식되었는지 여부를 알 수 있다.
음성 인식부(3b)에는, 호출 등록 커맨드 음성 데이터 외에, 소정의 개시 커맨드 음성 데이터도 미리 기억되어 있다. 이 개시 커맨드 음성 데이터는, 호출 등록 커맨드의 음성 인식을 개시하기 위한 특정의 어휘로 이루어진 개시 커맨드의 음성 데이터이다. 이 개시 커맨드는 호출 등록 커맨드를 구성하는 어휘와는 다르고, 또한 호출 등록 커맨드를 구성하는 어휘를 포함하지 않는 것으로 설정된다. 여기에서는, 개시 커맨드로서 일상 회화에 있어서 통상 이용되는 인사말(예를 들면, 「안녕하세요(오하요고자이마스)」, 「안녕하세요(곤니찌와)」, 「안녕하세요(곰방와)」등 )이 설정되어 있다. 이와 같이, 일상 회화에 있어서 통상 이용되는 인사말을 개시 커맨드에 사용함으로써 자연스러운 대화로 음성 인식이 가능하게 된다.
음성 인식부(3b)는, 통상시에 있어서는, 음성 입력부(3a)에 입력된 음성과 호출 등록 커맨드의 대조, 즉, 호출 등록 커맨드의 인식은 행하지 않는다. 대신에, 음성 인식부(3b)는, 평상시에는, 음성 입력부(3a)에 입력된 음성과 개시 커맨드의 대조, 즉, 개시 커맨드의 인식을 행하고 있다. 그리고 음성 입력부(3a)에 입력된 음성과 개시 커맨드의 대조(개시 커맨드의 인식)에 성공했을 경우에, 음성 입력부(3a)에 입력된 음성과 호출 등록 커맨드의 대조(호출 등록 커맨드의 인식)가 개시된다.
따라서 통상시에 있어서는, 이용자는 개시 커맨드를 발성하여 음성 인식부(3b)에 이 개시 커맨드가 인식되는 것에 의해, 처음 호출 등록 커맨드의 발성에 의한 호출 등록이 가능해진다. 음성 인식부(3b)가 개시 커맨드를 인식한 후, 호출 등록 커맨드를 인식하여 호출이 한 번 등록되면, 음성 인식부(3b)는 다시 개시 커맨드가 인식될 때까지 호출 등록 커맨드의 인식을 정지한다. 또, 음성 인식부(3b)가 개시 커맨드를 인식한 후, 호출 등록 커맨드를 인식하는 일 없이 소정의 일정 시간이 경과했을 경우에도, 음성 인식부(3b)는 다시 개시 커맨드가 인식될 때까지 호출 등록 커맨드의 인식을 정지한다. 이때에는, 음성 출력부(3d)로부터 호출 등록 커맨드의 접수를 종료하는 취지를 음성 아나운스한다.
혹은, 음성 인식부(3b)가 개시 커맨드를 인식할 때까지는 호출 등록 커맨드가 인식되어도 호출 등록 제어부(3c)로부터 호출 등록 요구가 출력되지 않고, 호출이 등록되지 않도록 해도 된다.
또, 개시 커맨드에는 서로 다른 복수의 어휘가 설정되어 있다. 즉, 음성 인식부(3b)에는 서로 다른 복수의 개시 커맨드가 미리 기억되어 있다. 그리고 음성 인식부(3b)에는, 이들 복수의 개시 커맨드 중 유효로 되는 개시 커맨드를 소정의 조건에 의해서 변경·선택하는 개시 커맨드 변경부(3e)가 구비되어 있다. 그리고 개시 커맨드 변경부(3e)가 유효한 개시 커맨드를 변경하는 소정의 조건은, 여기에서는, 현재 시각이 미리 정한 시간대 중 어느 시간대에 속해 있는지와 같은 것으로 설정되어 있다. 이것에 의해 개시 커맨드를 시간대에 맞추어 변경할 수 있어, 이용자의 이용하는 시간대에 적합한 자연스러운 대화로 음성 인식이 가능하게 된다.
이, 개시 커맨드 변경부(3e)에 의한 유효한 개시 커맨드를 변경하는 소정의 조건, 및 그때 유효로 되는 개시 커맨드의 구체적인 예를 나타내는 것이 도 2이다. 여기에서는, 시간대로서 아침(오전 3시부터 오후 0시까지), 낮(오전 10시부터 오후 5시까지), 저녁(오후 3시부터 오후 6시까지)의 3개가 설정되어 있다. 그리고 각 시간대에 있어서는, 각각의 시간대에 있어서 일상 회화로 통상 이용되는 인사말이 선택되도록 설정된다.
구체적으로는, 아침의 시간대에는, 개시 커맨드로서 「안녕(오하요)」, 「안녕하세요(오하요고자이마스)」가 설정되어 있다. 낮의 시간대에는, 개시 커맨드로서 「안녕하세요(곤니찌와)」가 설정되어 있다. 저녁의 시간대에는, 개시 커맨드로서 「안녕하세요(곰방와)」가 설정되어 있다. 여기서, 각 시간대는 서로 겹치는 시간이 있어도 좋다. 시간대가 서로 겹치는 시간에 있어서는, 당해 서로 겹치는 시간이 속하는 복수의 시간대에서 유효로 되는 개시 커맨드의 모두가 유효로 된다.
도 2의 예에서는, 아침과 낮의 시간대가 서로 겹치는 오전 10시부터 오후 0시까지는, 아침과 낮의 시간대의 양쪽의 개시 커맨드가 유효로 된다. 그리고 낮과 저녁의 시간대가 서로 겹치는 오후 3시부터 오후 5시까지는, 낮과 저녁의 시간대의 양쪽의 개시 커맨드가 유효로 된다.
이 실시 형태에 있어서는, 엘리베이터의 호출 등록 장치는, 도 3에 도시된 일련의 플로우에 따라서 동작한다.
우선, 호출 등록 장치 본체(3)는, 통상시에 있어서, 개시 커맨드의 수신 대기 상태이다(스텝 S1). 그리고 음성 입력부(3a)에 이용자가 발화한 음성이 입력되면(스텝 S2), 스텝 S3에 있어서, 음성 인식부(3b)는 스텝 S2에서 음성 입력부(3a)에 입력된 음성이, 개시 커맨드 변경부(3e)에 의해 변경·선택되어서 현재 유효로 되어 있는 소정의 개시 커맨드와 합치하는지 여부를 확인한다. 입력된 음성이 개시 커맨드와 합치하지 않은 경우에는, 스텝 S1로 돌아간다.
한편, 입력된 음성이 개시 커맨드와 합치했을 경우에는, 스텝 S4로 진행한다. 이 스텝 S4에 있어서는, 음성 출력부(3d)는 호출 등록 커맨드의 음성 인식을 개시한 취지를 알린다. 이 소리의 구체적인 음성 아나운스로서는, 예를 들면, 「행선층을 말씀해주세요」와 같은 것을 생각할 수 있다. 그리고 이어지는 스텝 S5에 있어서, 호출 등록 장치 본체(3)는 행선층(호출 등록 커맨드)의 수신 대기를 개시한다. 즉, 음성 인식부(3b)는 호출 등록 커맨드의 인식을 개시한다.
그리고 이 행선층 수신 대기 상태에 있어서, 음성 입력부(3a)에 음성이 입력되면(스텝 S6), 스텝 S7로 진행하여, 음성 인식부(3b)는 스텝 S6에서 입력된 음성이 소정의 호출 등록 커맨드와 합치하는지 여부를 확인한다. 입력된 음성이 호출 등록 커맨드와 합치하지 않은 경우에는, 스텝 S8로 진행되어, 음성 출력부(3d)로부터 행선층(호출 등록 커맨드) 인식 실패 알림 「인식할 수 없었습니다」를 행한다. 그리고 스텝 S1로 돌아간다.
한편, 스텝 S7에 있어서, 입력된 음성이 호출 등록 커맨드와 합치되었을 경우에는, 음성 인식부(3b)는 호출 등록 커맨드의 인식에 성공하여, 스텝 S9로 진행한다. 이 스텝 S9에 있어서는, 당해 인식한 호출 등록 커맨드의 행선층으로의 호출 등록 요구를 호출 등록 제어부(3c)로부터 엘리베이터 제어 장치(4)로 송신하고, 당해 인식한 호출 등록 커맨드의 행선층을 엘리베이터 제어 장치(4)에 통지한다.
그리고 엘리베이터 제어 장치(4)에 있어서 호출이 등록되면, 스텝 S10로 진행하여, 호출 등록 장치 본체(3)의 음성 인식부(3b)는 음성 인식을 종료한다. 그리고 이어지는 S11에 있어서, 음성 출력부(3d)로부터 등록한 호출의 행선층을 알리고(예를 들면, 「X층을 등록했습니다」(X는 행선층을 나타내는 숫자)), 호출 등록 장치 본체(3)는 스텝 S1의 개시 커맨드 수신 대기 상태로 돌아간다.
또한, 음성 인식부(3b)는 마이크로·컴퓨터(마이컴)나 메모리 등을 이용하여 구성할 수 있다. 이때, 마이컴에 메모리를 내장해도 상관없다. 또, 호출 등록 제어부(3c)나 음성 입력부(3a) 및 음성 출력부(3d)의 일부의 기능을, 마이컴 등을 이용하여 구성하도록 해도 좋다. 이와 같이 마이컴 등을 이용하는 것에 의해, 일반적인 부품에 의해, 호출 등록 장치를 구성하는 것이 가능하기 때문에, 제조 비용을 저감시킬 수 있다.
또, 개시 커맨드 변경부(3e)에 의한 유효한 개시 커맨드를 변경하는 소정의 조건으로서는, 시간대 외에, 엘리베이터의 동작 상황을 이용하는 것도 생각할 수 있다.
이에 더하여, 여기에서는, 개시 커맨드 변경부(3e)를 호출 등록 장치 본체(3)의 음성 인식부(3b)에 마련하도록 했다. 그러나 이 개시 커맨드 변경부(3e)를 마련하는 개소는, 음성 인식부(3b)만으로는 한정되지 않고, 예를 들면, 엘리베이터 제어 장치(4) 내에 마련하도록 해도 된다.
이상과 같이 구성된 엘리베이터의 호출 등록 장치는, 소정의 개시 커맨드를 인식했을 경우에, 호출 등록 커맨드의 음성 인식을 개시하도록 했기 때문에, 이용자는 호출 등록 커맨드를 발성해야 할 타이밍을 용이하게 파악할 수 있어, 이용자가 호출 등록을 위해서 발성한 음성 이외의 음성에 의한 호출의 오등록을 억제하는 것이 가능하다. 그리고 추가로, 개시 커맨드를 엘리베이터의 운전 상황이나 이용 시간대에 따라서, 자동적으로 변경하는 것이 가능하기 때문에, 부자연스럽지 않고 또한 오인식되기 어려운 개시 커맨드에 의해, 호출 등록을 위한 음성 인식을 개시할 수 있다.
[산업상의 이용 가능성]
본 발명은 엘리베이터의 이용자가 발화한 음성의 입력을 수신하는 음성 입력부를 이용하여 음성 인식에 의해 호출 등록을 행하는 엘리베이터의 호출 등록 장치에 이용할 수 있다.
1: 탑승 엘리베이터 칸
2: 승강장
3: 호출 등록 장치 본체
3a: 음성 입력부
3b: 음성 인식부
3c: 호출 등록 제어부
3d: 음성 출력부
3e: 개시 커맨드 변경부
4: 엘리베이터 제어 장치
5: 통신로

Claims (3)

  1. 엘리베이터의 이용자가 발화한 음성의 입력을 수신하는 음성 입력부를 이용하여 음성 인식에 의해 호출 등록을 행하는 엘리베이터의 호출 등록 장치에 있어서,
    호출 등록의 행선층 또는 방향을 나타내는 소정의 호출 등록 커맨드의 음성 데이터 및 호출 등록 커맨드의 음성 인식을 개시하기 위해서 이용하는, 상기 호출 등록 커맨드와는 다르고 또한 상기 호출 등록 커맨드를 포함하지 않는 소정의 개시 커맨드의 음성 데이터를 미리 기억함과 아울러, 상기 음성 입력부에 입력된 음성이 상기 기억하는 호출 등록 커맨드의 음성 데이터 및 개시 커맨드의 음성 데이터 중 어느 것과 합치하는지 여부를 판정하여 상기 음성 인식을 행하는 음성 인식부와,
    상기 음성 입력부에 입력된 음성이 상기 호출 등록 커맨드의 음성 데이터와 합치되었다고 판정되었을 경우에, 당해 합치된 호출 등록 커맨드가 나타내는 행선층 또는 방향으로의 호출 등록 요구를, 엘리베이터 제어 장치로 출력하는 호출 등록 제어부와,
    상기 음성 인식부가 기억하는 상기 개시 커맨드 중 유효로 되는 상기 개시 커맨드를 소정의 조건에 의해서 변경하는 개시 커맨드 변경부를 구비하고,
    상기 음성 인식부는, 상기 음성 입력부에 입력된 음성이 상기 개시 커맨드 변경부에 의해 유효로 된 상기 개시 커맨드의 음성 데이터와 합치되었다고 판정했을 경우에, 상기 음성 입력부에 입력된 음성이 상기 호출 등록 커맨드의 음성 데이터와 합치하는지 여부의 상기 음성 인식을 개시하는 것을 특징으로 하는 엘리베이터의 호출 등록 장치.
  2. 청구항 1에 있어서,
    상기 소정의 조건은, 현재 시각이 미리 정한 시간대에 속해 있는지 여부와 같은 점을 적어도 포함하여 설정되는 것을 특징으로 하는 엘리베이터의 호출 등록 장치.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 개시 커맨드는 일상 회화에 있어서 이용되는 인사말을 적어도 포함하는 것을 특징으로 하는 엘리베이터의 호출 등록 장치.
KR1020137028088A 2011-03-25 2011-03-25 엘리베이터의 호출 등록 장치 KR101522486B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/057352 WO2012131839A1 (ja) 2011-03-25 2011-03-25 エレベーターの呼び登録装置

Publications (2)

Publication Number Publication Date
KR20140003610A true KR20140003610A (ko) 2014-01-09
KR101522486B1 KR101522486B1 (ko) 2015-05-21

Family

ID=46929682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137028088A KR101522486B1 (ko) 2011-03-25 2011-03-25 엘리베이터의 호출 등록 장치

Country Status (6)

Country Link
US (1) US9384733B2 (ko)
EP (1) EP2690049B1 (ko)
JP (1) JP5601419B2 (ko)
KR (1) KR101522486B1 (ko)
CN (1) CN103415458B (ko)
WO (1) WO2012131839A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210024224A (ko) * 2016-06-06 2021-03-04 구글 엘엘씨 음성 액션 검색 가능 시스템

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5601419B2 (ja) * 2011-03-25 2014-10-08 三菱電機株式会社 エレベーターの呼び登録装置
DE112013007347B4 (de) 2013-08-21 2022-02-24 Mitsubishi Electric Corporation Aufzugsteuervorrichtung
US20170131690A1 (en) * 2015-11-10 2017-05-11 International Business Machines Corporation Mechanical device movement detection
CN107044448A (zh) 2016-02-05 2017-08-15 开利公司 消音器、具有其的离心压缩机及制冷系统
JP6506203B2 (ja) * 2016-03-30 2019-04-24 株式会社日立ビルシステム エレベーターの制御装置
CN109153530B (zh) * 2016-06-03 2020-01-10 三菱电机株式会社 电梯的语音呼梯登记装置以及语音呼梯登记功能的自我诊断方法
US10268166B2 (en) * 2016-09-15 2019-04-23 Otis Elevator Company Intelligent surface systems for building solutions
CN106395516A (zh) * 2016-10-13 2017-02-15 东华大学 一种基于语音识别的乘客电梯智能控制系统
CN106335823B (zh) * 2016-10-20 2019-08-30 深圳市元征科技股份有限公司 一种通过语音控制电梯的方法及电梯控制设备
CN107601190B (zh) * 2017-08-29 2019-05-17 日立楼宇技术（广州）有限公司 一种语音召梯方法及装置
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
CN108116950A (zh) * 2017-12-26 2018-06-05 江苏威尔曼科技有限公司 一种语音呼梯系统
CN108147238A (zh) * 2017-12-26 2018-06-12 江苏威尔曼科技有限公司 一种语音识别电梯楼层登记装置
CN110950201A (zh) * 2020-02-26 2020-04-03 菱王电梯股份有限公司 一种基于语音比对的呼梯登记方法及其呼梯登记装置
CN112093602B (zh) * 2020-11-13 2021-11-02 北京声智科技有限公司 一种电梯语音控制方法及装置
CN112456258B (zh) * 2020-12-04 2022-09-30 国网中兴有限公司 无接触式电梯智能语音控制系统
CN112850391A (zh) * 2021-01-09 2021-05-28 江苏威尔曼科技有限公司 一种电梯语音呼梯登记装置

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58162470A (ja) * 1982-03-24 1983-09-27 三菱電機株式会社 エレベ−タの呼び登録装置
US4534056A (en) * 1982-08-26 1985-08-06 Westinghouse Electric Corp. Voice-recognition elevator security system
US4590604A (en) * 1983-01-13 1986-05-20 Westinghouse Electric Corp. Voice-recognition elevator security system
JP2557939B2 (ja) 1988-03-28 1996-11-27 株式会社東芝 エレベータの呼び登録装置
JPH01247382A (ja) * 1988-03-30 1989-10-03 Hitachi Ltd エレベーター制御システム
US5255341A (en) * 1989-08-14 1993-10-19 Kabushiki Kaisha Toshiba Command input device for voice controllable elevator system
JP2647207B2 (ja) 1989-09-12 1997-08-27 株式会社東芝 エレベータの呼び登録装置
JPH04129976A (ja) * 1990-09-20 1992-04-30 Toshiba Corp エレベータの音声認識制御装置
JPH06255911A (ja) 1993-03-09 1994-09-13 Toshiba Corp エレベータの呼び登録装置
JPH08194600A (ja) * 1995-01-17 1996-07-30 Nec Corp 音声入力端末装置
ATE232503T1 (de) * 1997-05-22 2003-02-15 Inventio Ag Eingabegerät und verfahren zur akustischen befehlseingabe für eine aufzugsanlage
TW475919B (en) * 1997-08-20 2002-02-11 Lg Otis Elevator Co An elevator control system
US5952626A (en) * 1998-07-07 1999-09-14 Otis Elevator Company Individual elevator call changing
JP2000080828A (ja) * 1998-09-07 2000-03-21 Denso Corp 車両制御装置
JP2000194393A (ja) 1998-12-25 2000-07-14 Kojima Press Co Ltd 音声認識制御装置
US7711565B1 (en) * 1999-06-10 2010-05-04 Gazdzinski Robert F “Smart” elevator system and method
US6397976B1 (en) * 1999-10-04 2002-06-04 Otis Elevator Company Automatic elevator destination call processing
US7516190B2 (en) * 2000-02-04 2009-04-07 Parus Holdings, Inc. Personal voice-based information retrieval system
US6871140B1 (en) * 2000-02-25 2005-03-22 Costar Group, Inc. System and method for collection, distribution, and use of information in connection with commercial real estate
US20020036122A1 (en) * 2000-04-03 2002-03-28 Televator Corporation Elevator communication system
DE10038518A1 (de) * 2000-08-08 2002-02-21 Philips Corp Intellectual Pty Ortskundiger Aufzug mit Sprachsteuerung
US7451085B2 (en) * 2000-10-13 2008-11-11 At&T Intellectual Property Ii, L.P. System and method for providing a compensated speech recognition model for speech recognition
US6828918B2 (en) * 2000-11-29 2004-12-07 International Business Machines Corporation Personalized accessibility identification receiver/transmitter and method for providing assistance
US8121649B2 (en) * 2001-09-05 2012-02-21 Vocera Communications, Inc. Voice-controlled communications system and method having an access device
KR100511853B1 (ko) * 2001-12-20 2005-09-02 미쓰비시덴키 가부시키가이샤 엘리베이터 조작장치
JP2003241790A (ja) * 2002-02-13 2003-08-29 Internatl Business Mach Corp <Ibm> 音声コマンド処理システム、コンピュータ装置、音声コマンド処理方法およびプログラム
US7373300B1 (en) * 2002-12-18 2008-05-13 At&T Corp. System and method of providing a spoken dialog interface to a website
KR100665438B1 (ko) * 2003-04-01 2007-01-04 미쓰비시덴키 가부시키가이샤 엘리베이터의 호출 등록 장치
JP2004341033A (ja) * 2003-05-13 2004-12-02 Matsushita Electric Ind Co Ltd 音声媒介起動装置およびその方法
EP1661124A4 (en) * 2003-09-05 2008-08-13 Stephen D Grody PROCESSES AND DEVICES FOR PROVIDING SERVICES THROUGH THE USE OF LANGUAGE IDENTIFICATION
US7383170B2 (en) * 2003-10-10 2008-06-03 At&T Knowledge Ventures, L.P. System and method for analyzing automatic speech recognition performance data
CN100475679C (zh) * 2004-03-01 2009-04-08 三菱电机株式会社 电梯监视用终端和电梯监视装置
US20060074658A1 (en) * 2004-10-01 2006-04-06 Siemens Information And Communication Mobile, Llc Systems and methods for hands-free voice-activated devices
KR20060081076A (ko) * 2005-01-07 2006-07-12 이재호 음성인식으로 층수를 지정하는 엘리베이터
JP4516112B2 (ja) * 2005-03-11 2010-08-04 岐阜サービス株式会社 音声認識プログラム
KR100723404B1 (ko) * 2005-03-29 2007-05-30 삼성전자주식회사 음성 인식 및 반응을 위한 음성 처리 장치와 방법
US20060235684A1 (en) * 2005-04-14 2006-10-19 Sbc Knowledge Ventures, Lp Wireless device to access network-based voice-activated services using distributed speech recognition
JP2006327739A (ja) * 2005-05-25 2006-12-07 Mitsubishi Electric Corp エレベーターの乗場呼び登録装置
WO2006126270A1 (ja) * 2005-05-26 2006-11-30 Mitsubishi Denki Kabushiki Kaisha エレベータの制御装置
JP2007186280A (ja) * 2006-01-11 2007-07-26 Kuma Lift Gijutsu Kenkyusho:Kk エレベータの昇降制御装置
US8229733B2 (en) * 2006-02-09 2012-07-24 John Harney Method and apparatus for linguistic independent parsing in a natural language systems
US20070225983A1 (en) * 2006-03-23 2007-09-27 Theodore Maringo Worldwide time device
US7949536B2 (en) * 2006-08-31 2011-05-24 Microsoft Corporation Intelligent speech recognition of incomplete phrases
KR100897553B1 (ko) * 2007-01-04 2009-05-15 삼성전자주식회사 사용자의 기기 사용 패턴을 이용한 음성 인식 방법 및 장치
US8731146B2 (en) * 2007-01-04 2014-05-20 At&T Intellectual Property I, L.P. Call re-directed based on voice command
US20110054900A1 (en) * 2007-03-07 2011-03-03 Phillips Michael S Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US8525652B2 (en) * 2008-02-27 2013-09-03 Mitsubishi Electric Corporation Elevator call registration system and elevator call registration processing device
US20090326937A1 (en) * 2008-04-21 2009-12-31 Microsoft Corporation Using personalized health information to improve speech recognition
KR20100032140A (ko) * 2008-09-17 2010-03-25 주식회사 현대오토넷 대화형 음성인식방법 및 음성인식장치
CN102171124B (zh) * 2008-10-03 2013-06-19 三菱电机株式会社 电梯的目的地楼层登记装置
US8126715B2 (en) * 2008-11-26 2012-02-28 Microsoft Corporation Facilitating multimodal interaction with grammar-based speech applications
KR20100081587A (ko) * 2009-01-06 2010-07-15 삼성전자주식회사 로봇의 소리 인식 장치 및 그 제어 방법
JP2010247908A (ja) * 2009-04-10 2010-11-04 Mitsubishi Electric Corp エレベーターの呼び登録装置
JP5452067B2 (ja) * 2009-04-27 2014-03-26 三菱電機株式会社 エレベータ呼び登録装置
US20100332236A1 (en) * 2009-06-25 2010-12-30 Blueant Wireless Pty Limited Voice-triggered operation of electronic devices
US8700399B2 (en) * 2009-07-06 2014-04-15 Sensory, Inc. Systems and methods for hands-free voice control and voice search
US8515763B2 (en) * 2009-11-24 2013-08-20 Honeywell International Inc. Methods and systems for utilizing voice commands onboard an aircraft
US8836638B2 (en) * 2010-09-25 2014-09-16 Hewlett-Packard Development Company, L.P. Silent speech based command to a computing device
US8352245B1 (en) * 2010-12-30 2013-01-08 Google Inc. Adjusting language models
JP5601419B2 (ja) * 2011-03-25 2014-10-08 三菱電機株式会社 エレベーターの呼び登録装置
US8996381B2 (en) * 2011-09-27 2015-03-31 Sensory, Incorporated Background speech recognition assistant
US9361885B2 (en) * 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210024224A (ko) * 2016-06-06 2021-03-04 구글 엘엘씨 음성 액션 검색 가능 시스템
US11929075B2 (en) 2016-06-06 2024-03-12 Google Llc Voice action discoverability system

Also Published As

Publication number Publication date
WO2012131839A1 (ja) 2012-10-04
JP5601419B2 (ja) 2014-10-08
CN103415458A (zh) 2013-11-27
US9384733B2 (en) 2016-07-05
US20140006034A1 (en) 2014-01-02
EP2690049A1 (en) 2014-01-29
EP2690049A4 (en) 2014-12-24
KR101522486B1 (ko) 2015-05-21
EP2690049B1 (en) 2015-12-30
JPWO2012131839A1 (ja) 2014-07-24
CN103415458B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
KR20140003610A (ko) 엘리베이터의 호출 등록 장치
JP5987201B2 (ja) エレベータ制御装置
EP2653424B1 (en) Call registration device of elevator
JPWO2010038304A1 (ja) エレベータの行先階登録装置
JP2006327739A (ja) エレベーターの乗場呼び登録装置
JP5534103B2 (ja) エレベータの行先階登録装置
EP2497737B1 (en) Elevator call registration device
JP2015107867A (ja) エレベータの音声呼び登録装置
JP5811266B2 (ja) エレベーター装置
WO2011132263A1 (ja) エレベーターの呼び登録装置
JP5668838B2 (ja) エレベータの呼び登録装置
KR101392680B1 (ko) 엘리베이터의 호출 등록 장치
JP2007168972A (ja) エレベータ制御装置
JP2647207B2 (ja) エレベータの呼び登録装置
JP2014005126A (ja) エレベーターの呼び登録装置
JP2014105049A (ja) エレベータ音声呼び登録装置およびエレベータ音声呼び登録方法
JP2013212913A (ja) エレベーターの音声呼び登録装置
JP5287354B2 (ja) エレベーターの呼び登録装置
JP5958236B2 (ja) エレベータの音声呼び登録装置
JP2013103809A (ja) エレベータ装置
WO2011086663A1 (ja) エレベーターの呼び登録装置
WO2013161050A1 (ja) エレベータの行先登録装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180418

Year of fee payment: 4