KR101581138B1 - 음성제어 영상표시 리듬게임 장치 및 방법 - Google Patents

음성제어 영상표시 리듬게임 장치 및 방법 Download PDF

Info

Publication number
KR101581138B1
KR101581138B1 KR1020140174047A KR20140174047A KR101581138B1 KR 101581138 B1 KR101581138 B1 KR 101581138B1 KR 1020140174047 A KR1020140174047 A KR 1020140174047A KR 20140174047 A KR20140174047 A KR 20140174047A KR 101581138 B1 KR101581138 B1 KR 101581138B1
Authority
KR
South Korea
Prior art keywords
voice
user
voice data
identification
note
Prior art date
Application number
KR1020140174047A
Other languages
English (en)
Inventor
박남태
Original Assignee
박남태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박남태 filed Critical 박남태
Priority to KR1020140174047A priority Critical patent/KR101581138B1/ko
Application granted granted Critical
Publication of KR101581138B1 publication Critical patent/KR101581138B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 기존 터치스크린 제어방식의 사용자 경험(UX)의 편의성 및 직관성을 그대로 음성제어에 적용하기 위해 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터와 입력되는 사용자의 음성을 비교하여 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키도록 구성된 음성제어 영상표시 장치 및 이러한 영상표시 장치의 음성제어 방법을 이용하여 기존 리듬게임에 적용시켜 새로운 사용자 경험을 제공함에 그 목적이 있다.

Description

음성제어 영상표시 리듬게임 장치 및 방법 {The method and apparatus of Rhythm game}
본 발명은 리듬게임 장치 및 방법에 관한 것으로서, 더욱 구체적으로는 기존 리듬게임 장치 및 방법에 쓰이는 터치스크린 입력의 사용자 경험을 음성제어기술을 적용하여 손으로 터치하여 게임을 즐기는 대신 음성으로 터치입력을 대신하여 기존의 사용자 경험과 다른 사용자 경험과 재미를 제공하는 리듬게임 장치 및 방법에 관한 것이다.
최근 다양한 스마트 기기가 출시됨에 따라 영상표시 장치도 다기능화, 고도화되고 영상표시 장치를 제어하기 위한 다양한 입력 방법도 개발되고 있는데, 마우스, 키보드, 터치패드, 버튼식 리모콘 등과 같은 기존의 방법 외에 모션 센싱 리모콘, 터치스크린 등의 입력 방식이 개발되어 선보이고 있다. 이렇게 다양한 입력 방법 중에서도 사용자가 더욱 손쉽게 영상표시 장치를 제어하기 위하여 사용자의 음성을 인식하여 영상표시 장치를 제어하는 음성제어 방식이 근래에 각광을 받고 있다.
그러나 사용자가 발화한 음성을 인식하여 영상표시 장치를 제어하는 음성제어 방식은 사용자 개개인의 구강구조 및 발음의 차이로 인하여 인식률이 떨어진다는 점과 사용자가 데이터 베이스에 저장된 음성명령어를 학습해야 하는 불편함 등이 문제점으로 지적되어 왔다. 즉, 사용자의 편의성 측면에서 만족할 만한 수준의 음성제어 방식은 아직까지 선보이지 못하고 있는 실정이다.
출원번호 10-2014-0056992(2014.05.13) 공개번호 10-2013-0090507(2013.08.14)
기존의 리듬게임은 사용자의 손으로 터치스크린 인터페이스를 조작하거나, 기 마련된 물리적 버튼을 조작하여 플레이 해왔으며, 한정된 입력방법으로 인해 사용자가 쉽게 흥미를 잃는 문제가 있는 바, 이러한 문제를 해결하기 위해 다양한 입력방법을 마련하기 위한 연구 및 개발이 지속 되어져 왔다.
본 발명은 상술한 바와 같이 사용자가 데이터베이스에 저장된 음성명령어의 학습필요성에 의한 불편을 해소하고, 기존 터치스크린 제어방식의 사용자 경험(UX)의 편의성 및 직관성을 그대로 음성제어에 적용하기 위해 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터와 입력되는 사용자의 음성을 비교하여 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키도록 구성된 음성제어 영상표시 장치 및 이러한 영상표시 장치의 음성제어 방법을 이용하여 기존 리듬게임에 적용시켜 새로운 사용자 경험을 제공함에 목적이 있다.
상술한 과제는 음성제어 영상표시 리듬게임 장치 및 방법을 통해 이루어진다.
본 발명은 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 음성데이터와 입력된 사용자의 음성을 비교하는 방식으로 입력 제어가 수행되도록 해주어 기존 터치스크린 방식의 입력제어 방식을 그대로 음성제어 방식에 적용시켜 줌으로써 간편하고 정확한 음성제어를 구현할 수 있게 해주기 때문에 리듬게임을 손으로 실행하지 않고 사용자의 음성으로 입력실행할 수 있어 사용자에게 기존의 경험과 다른 사용자 경험(UX)을 제공하는 효과가 있다.
또한, 사용자의 음성을 통해 게임을 조작하므로 물리적 접촉이 필요한 기존의 방법보다 많은 응용을 가능하게 하는 인터페이스를 제공하는 효과가 있다.
[도 1]은 기존의 리듬게임 화면
[도 2]는 본 발명에 따른 리듬게임 실행 화면의 일 실시예
[도 3]은 리듬게임 실행순서도
[도 4]는 터치스크린의 모식도
[도 5]는 본 발명에 따른 음성제어 영상표시 장치의 디스플레이부를 통해
표시되는 안드로이드 스마트폰의 일반적인 홈 화면이다.
[도 6]은 [도 5]의 홈 화면에서 '앱스'(②)가 터치되었을 때 나타나는
애플리케이션 화면이다.
[도 7]은 음성제어 영상표시 장치의 디스플레이부를 통해 표시되는 화면상의 실행단위영역 구성예이다.
[도 8]은 음성제어 영상표시 장치의 디스플레이부를 통해 표시되는 화면이 6×4의 행렬로 이루어진 실행단위영역을 가지는 경우에 화면 상단 우측에 존재하는 실행단위영역부터 알파벳순으로 알파벳 문자가 각 실행단위영역의 고유한 식별음성데이터로 할당된 실시예이다.
[도 9]는 음성제어 영상표시 장치의 메모리부에 저장된 데이터 베이스의 실시예이다.
[도 10]은 본 발명에 따른 리듬게임 실행순서도중 일반노트 출현시 히트기준선에서 히트될 때 히트 입력실행의 구체적 순서도이다.
본 발명에 대해 설명하기에 앞서 본원의 기초가 되는 본원의 출원시점에서 선 출원되고 공개되지 않은 출원번호 10-2014-0056992의 특징에 대해 구체적인 실시예와 함께 상세하게 설명하도록 한다.
<음성제어 영상표시 장치>
본 음성제어 영상표시 장치는 디스플레이부, 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스가 저장된 메모리부, 사용자의 음성을 입력받는 음성인식부, 상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 정보처리부 및 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 제어부를 포함하여 구성된다. 이와 같은 구성을 가지는 본 음성제어 영상표시 장치는 종래 널리 사용되고 있는 스마트폰, 태블릿 PC, 스마트 TV, 네비게이션 장치와 스마트 글래스, 스마트 워치 및 가상현실 헤드셋(VR기기)등 웨어러블 기기 등을 포함하여 음성제어가 가능한 모든 영상표시 장치에 구현될 수 있다.
[도 4]에 도시된 것처럼 근래 스마트폰, 태블릿PC 등에 적용되어 널리 사용되는 터치스크린 방식은 감압식과 정전식이 있는데, 갑압식은 터치스크린의 압력이 가해진 부분의 좌표값을 측정하여 해당 부분에 입력신호를 발생시키는 방식이고, 정전식은 터치스크린의 네 모서리에 부착된 센서가 터치가 이루어진 부분의 전자변화를 감지하여 좌표값을 측정하고 해당 부분에 입력신호를 발생시키는 방식이다. 터치스크린 방식은 GUI(Graphic User Interface) 환경에서 직관적인 입력방식으로서 사용자 편의성이 매우 높다. 본원의 기초가 되는 발명(출원번호10-2014-0056992)은 음성명령어와 특정 실행내용을 1:1로 대응시키는 방식으로 수행되는 기존의 음성제어 방식과 전혀 다른 접근을 통해 터치스크린 방식의 장점을 음성제어에 적용할 수 있도록 해준다는 것에 특징이 있다.
본 발명에서 상기 실행단위영역이란 터치스크린 입력 방식에 있어서 터치스크린과 터치수단(예를 들면, 손가락, 정전펜 등)이 접촉하는 접촉면에 해당하는 개념으로서 상기 디스플레이부를 통해 표시되는 화면상에 입력신호와 실행신호가 발생되는 범위를 의미하며 수많은 픽셀(Pixel)로 구성된 일정 영역이다. 또한 추가적으로 해당 영역상의 어떤 픽셀에 입력신호 또는 실행신호가 발생하더라도 동일한 결과를 가져오는 영역으로 구획하는 것을 포함할 수 있다. 후술될 실시 예와 도면에서 스마트폰의 디스플레이부에 표시되는 화면상에 각종 어플리케이션의 단축 아이콘들이 배열되는 각각의 행렬형 격자영역을 그 예로 들 수 있으며, 상술한 바와 같이 터치스크린 입력방식에 있어서 터치스크린과 터치수단이 접촉하는 접촉면에 해당되는 개념이므로 화면마다 그 크기와 수, 모양 및 배열이 달라질 수 있는 가변적인 개념이다. 즉, 도시된 실시예는 설명의 단순화를 위한 것일 뿐 기술적 사상을 대변하는 것은 아니다.
상기 메모리부는 스마트폰, 태블릿PC 등의 음성제어 영상표시 장치에 내장되는 메모리칩으로 구현된다. 상기 데이터 베이스는 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 것인데, 구체적으로 화면상에서 동일한 실행단위영역으로 인정되는 영역별로 부여되는 고유의 좌표정보를 포함하게 된다. 또한 상기 식별음성데이터는 사용자의 구강구조 및 발성 특성을 고려하여 음성인식률 제고를 위하여 사용자가 직접 녹음한 데이터를 활용할 수도 있다. 또한 상기 메모리부는 상기 디스플레이부를 통해 표시되는 기본적인 화면의 실행단위영역의 분포 패턴별 포맷을 미리 저장하고 있어 사용자에 의해 특정 포맷이 선택되도록 할 수도 있다.
상기 음성인식부는 사용자의 음성을 입력받는 부분으로서 각종 음성제어 영상표시 장치에 내장되는 마이크장치 및 음성인식회로로 구현된다.
상기 정보처리부 및 상기 제어부는 각종 음성제어 영상표시 장치에 내장되는 CPU 및 RAM을 비롯한 제어회로부로 구현된다. 상기 정보처리부는 상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 역할을 수행하는데, 구체적으로 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역의 고유 좌표정보를 검출하게 된다. 또한 상기 제어부는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 역할을 수행하는데, 상기 정보처리부에 의해 검출된 좌표정보를 가지는 화면상의 영역에 입력신호를 발생시킨다. 입력신호의 발생 결과는 해당 실행단위영역에 존재하는 내용에 따라 달라진다. 해당 실행단위영역에 특정 애플리케이션의 단축 아이콘이 존재할 경우 그 애플리케이션이 실행될 것이고, 해당 실행단위영역에 가상 키보드 자판의 특정 글자가 존재할 경우 해당 특정 글자가 입력될 것이고, 해당 실행단위영역에 화면전환과 같은 명령이 지정되어 있는 경우 해당 명령이 수행될 것이며, 경우에 따라서는 아무런 수행도 없을 수도 있다. 즉, 터치스크린의 경우와 같은 결과이다.
[도 5]은 안드로이드 스마트폰의 일반적인 홈 화면이다. [도 6]는 상기 홈 화면에서 '앱스'(②)가 터치되었을 때 나타나는 애플리케이션 화면이다. 터치스크린 조작을 통해 'abc'(①) 애플리케이션을 홈 화면이 아닌 애플리케이션 화면에서 실행하고자 할 경우 홈 화면의 우측 하단 '앱스'(②)를 터치하고, 그 결과 애플리케이션 화면이 나타나면 애플리케이션 화면 상의 'abc'(③)를 터치하면 된다.
본원의 기초가 되는 발명(출원번호 10-2014-0056992)에서는 이와 같은 과정이 음성제어 방식으로 구현될 수 있게 해준다. 구체적으로 [도 7]에 나타난 바와 같이 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역이 나누어져 있고, 상기 데이터 베이스는 [도 9]에서와 같이 홈 화면과 애플리케이션 화면을 비롯한 여러 화면마다 각각 실행단위영역별로 식별음성데이터가 할당되어 매핑되어 생성되되 라이브러리①로 표시된 홈 화면상의 실행단위영역 'F4'에는 '앱스'라는 식별음성데이터가 매핑되고, 라이브러리②로 표시된 애플리케이션 화면상의 실행단위영역 'C1'에는 'abc'라는 식별음성데이터가 매핑되어 있다고 가정할 때, 상기 디스플레이부에 홈 화면이 표시되고 상기 음성인식부를 통해 '앱스'라는 사용자의 음성이 입력된 경우 상기 정보처리부는 홈 화면에 대한 데이터 베이스를 검색하여 '앱스'라는 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단한다. 상기 정보처리부가 '앱스'라는 사용자의 음성과 대응되는 식별음성데이터인 '앱스'를 검색한 경우 상기 제어부는 해당 식별음성데이터가 할당된 실행단위 영역인 'F4'에 입력신호를 발생시킨다. 그 결과 애플리케이션 화면이 실행되게 된다. 또한 상기 디스플레이부에 애플리케이션 화면이 실행되고 있는 상태에서 상기 음성인식부를 통해 'abc'라는 사용자의 음성이 입력된 경우 상기 정보처리부는 애플리케이션 화면에 대한 데이터 베이스를 검색하여 'abc'라는 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단한다. 상기 정보처리부가 'abc'라는 사용자의 음성과 대응되는 식별음성데이터인 'abc'를 검색한 경우 상기 제어부는 해당 식별음성데이터가 할당된 실행단위 영역인 'C1'에 입력신호를 발생시킨다. 그 결과 abc라는 애플리케이션이 실행되게 된다.
위의 실시예를 통해 확인할 수 있는 바와 같이 상기 데이터 베이스는 상기 디스플레이부를 통해 표시되는 서로 다른 2이상의 화면에 대해 각 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑된 것을 특징으로 할 수 있다. 이러한 방식으로 데이터 베이스를 구성하는 것은 각 화면상의 실행단위영역에 표시되는 아이콘의 명칭이 명확하여 그 아이콘의 명칭을 식별음성데이터로 활용하고자 할 때 바람직한 방식이다. 한편, 실행단위영역의 분포가 동일한 화면의 경우 동일한 데이터 베이스를 가질 수도 있다. 예를 들면 [도 5] 내지 [도 7]의 실시예에서와 같이 상기 디스플레이부를 통해 표시되는 각 화면이 6×4의 행렬로 이루어진 실행단위영역을 가질 경우 [도 8]에서와 같이 화면 상단 우측에 존재하는 실행단위영역부터 알파벳순으로 알파벳 문자를 각 실행단위영역의 고유한 식별음성데이터로 할당하는 것을 생각할 수 있다. 이러한 방식의 데이터 베이스 구성은 각 화면상의 실행단위영역에 표시되는 아이콘의 명칭이 명확하지 않은 등의 이유로 화면의 변화에 관계 없이 일관된 식별음성데이터를 가지도록 하는 것이 효율적일 때 바람직하다. 특히 이러한 방식으로 데이터 베이스가 구성될 경우 상기 디스플레이부는 화면을 표시할 때 화면상의 실행단위영역별로 할당된 식별음성데이터도 함께 현시하여 주도록 구성되는 것이 바람직하다. 구체적으로 각 실행단위영역의 고유 식별음성데이터를 화면상에 배경으로 흐릿하게 표시해주는 방법 등이 고려될 수 있다.
또한, 상기 식별음성데이터는 알파벳, 한글 및 기타 언어의 문자, 숫자 중 어느 하나 혹은 문자, 숫자의 조합으로 구성될 수 있음을 물론이다.
<영상표시 장치의 음성제어 방법>
상기 음성제어 영상표시 장치에서 수행되는 영상표시 장치의 음성제어 방법으로서, (a) 상기 메모리부가 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 단계; (b) 상기 음성인식부가 사용자의 음성을 입력받는 단계; (c) 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계; 및 (d) 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계;를 포함하여 구성된 것을 특징으로 하는 영상표시 장치의 음성제어 방법을 함께 제공한다. 상기 영상표시 장치의 음성제어 방법은 위에서 설명한 음성제어 영상표시 장치에서 수행되는 것을 전제로 하고 있다.
상기 (a)단계는 상기 메모리부가 데이터 베이스를 구축하는 단계인데, 상기 데이터 베이스는 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)되게 된다. 구체적으로 화면상에서 동일한 실행단위영역으로 인정되는 영역별로 부여되는 고유의 좌표정보를 포함하게 되며, 상기 식별음성데이터는 사용자의 구강구조 및 발성 특성을 고려하여 음성인식률 제고를 위하여 사용자가 직접 녹음한 데이터를 활용할 수도 있다. 또한 상기 메모리부는 상기 디스플레이부를 통해 표시되는 기본적인 화면의 실행단위영역의 분포 패턴별 포맷을 미리 저장하고 있어 사용자에 의해 특정 포맷이 선택될 수 있도록 할 수도 있다.
상기 (b)단계는 상기 음성인식부가 사용자의 음성을 입력받는 단계이다. 본 단계는 상기 음성제어 영상표시 장치가 음성인식 모드로 전환된 상태에서 이루어지게 된다. 본 단계는 사용자가 식별음성데이터를 효율적으로 인지하도록 하기 위하여 상기 디스플레이부에 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터가 현시되는 상태에서 수행되는 것이 바람직하다.
상기 (c)단계는 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계이다. 구체적으로 상기 정보처리부는 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역의 고유 좌표정보를 검출하게 된다.
상기 (d)단계는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계이다. 본 단계에서 상기 제어부는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 역할을 수행하는데, 상기 정보처리부에 의해 검출된 좌표정보를 가지는 화면상의 영역에 입력신호를 발생시킨다. 입력신호의 발생 결과는 해당 실행단위영역에 존재하는 내용에 따라 달라진다. 해당 실행단위영역에 특정 애플리케이션의 단축 아이콘이 존재할 경우 그 애플리케이션이 실행될 것이고, 해당 실행단위영역에 가상 키보드 자판의 특정 글자가 존재할 경우 해당 특정 글자가 입력될 것이고, 해당 실행단위영역에 화면전환과 같은 명령이 지정되어 있는 경우 해당 명령이 수행될 것이며, 경우에 따라서는 아무런 수행도 없을 수도 있다.
본 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법은, 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 음성데이터와 입력된 사용자의 음성을 비교하는 방식으로 입력 제어가 수행되도록 해주어 기존 터치스크린 방식의 입력제어 방식을 그대로 음성제어 방식에 적용시켜 줌으로써 간편하고 정확한 음성제어를 구현할 수 있게 해주는 기술이라는 점을 특징으로 한다.
이상에서 본 발명의 기초가 되는 출원번호 10-2014-0056992인 발명의 명칭 '영상표시 장치의 음성제어 방법'에 관하여 구체적인 실시예와 함께 상세하게 설명하였다.
이하에서는 상기 출원발명의 특징을 이용한 음성제어 영상표시 리듬게임 장치와 방법에 대해 구체적인 실시예와 함께 상세하게 설명하도록 한다.
본 발명의 실시예들을 상세히 설명하기 전에, 다음의 상세한 설명에 기재되거나 도면에 도시된 구성요소들의 구성 및 배열들의 상세로 그 응용이 제한되는 것이 아니라는 것을 알 수 있을 것이다. 본 발명은 다른 실시예들로 구현되고 실시될 수 있고 다양한 방법으로 수행될 수 있다. 또, 장치 또는 요소 방향(예를 들어 "전(front)", "후(back)", "위(up)", "아래(down)", "상(top)", "하(bottom)", "좌(left)", "우(right)", "횡(lateral)")등과 같은 용어들에 관하여 본원에 사용된 표현 및 술어는 단지 본 발명의 설명을 단순화하기 위해 사용되고, 관련된 장치 또는 요소가 단순히 특정 방향을 가져야 함을 나타내거나 의미하지 않는다는 것을 알 수 있을 것이다. 또한, "제 1(first)", "제 2(second)"와 같은 용어는 설명을 위해 본원 및 첨부 청구항들에 사용되고 상대적인 중요성 또는 취지를 나타내거나 의미하는 것으로 의도되지 않는다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하도록 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
본 발명은 상기 과제를 해결하기 위해 아래와 같은 특징을 갖는다.
일반노트와 상기 일반노트가 이동하는 트랙 및 상기 일반노트가 히트되어야할 시점을 알려주는 히트기준선이 표시되는 디스플레이부를 구비하고 음성제어가 가능한 영상표시 장치로서,
상기 디스플레이부를 통해 표시되는 화면상의 일반노트가 히트기준선에 위치할 때, 상기 일반노트를 히트하는 히트 기준선의 영역을 실행단위영역별로 구획하여, 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스가 저장되는 메모리부;
사용자의 음성을 입력받는 음성인식부;
상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 정보처리부; 및
상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 제어부;를 포함하여 구성된 것을 특징으로 한다.
또한, 상기 음성제어 영상표시 리듬게임 장치에서 수행되는 음성제어 방법으로서,
(a) 상기 메모리부가 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 단계;
(b) 상기 디스플레이부에 표시되는 화면상의 실행단위영역별로 할당된 음성데이터가 현시되는 상태에서 수행되되, 상기 음성인식부가 사용자의 음성을 입력받는 단계;
(c) 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계; 및
(d) 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계;를 포함하여 구성된 것을 특징으로 할 수 있다.
또한, 상기 (a)단계는 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하고, 상기 실행단위 영역별로 상기 생성된 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 것을 특징으로 할 수 있다.
또한, 상기 일반노트는, 음을 재생하는 명령을 저장한 노트인 것을 특징으로 할 수 있다.
또한, 상기 일반노트는, 상기 히트기준선을 통과하면서 히트될 때 길게 음을 재생하는 롱 노트인 것을 특징으로 할 수 있다.
또한, 상기 일반노트가 상기 히트기준선을 통과할 때 사용자의 입력에 의해 히트되면 점수를 획득하는 것을 특징으로 할 수 있다.
또한, 상기 트랙의 수는 1 이상으로 구성된 것을 특징으로 할 수 있다.
또한, 배경음악을 더 포함하여 구성되되, 상기 배경음악의 재생속도와 상기 일반노트의 이동 속도를 조절하는 것을 특징으로 할 수 있다.
또한, 상기 일반노트 안에 문자를 포함하여 표시하는 것을 특징으로 할 수 있다. 여기서 상기 일반노트 안에 포함되어 표시되는 '문자'는 알파벳, 한글, 기호, 숫자 중 어느 하나 혹은 2이상의 조합으로 가능하다.
또한, 일시정지, 환경설정, 기타명령 중 어느 하나가 지정된 아이콘을 더 포함하여 구성되되, 상기 일시정지, 환경설정, 기타명령 중 어느 하나가 지정된 아이콘을 포함하도록 실행단위 영역을 구획하는 것을 특징으로 할 수 있다.
또한, 상기 음성제어 영상표시 리듬게임 장치가 다른 영상표시 장치와 양방향 유선 및 무선 통신이 개시되어 미러링(Mirroring)되는 것을 특징으로 할 수 있다.
통상, 리듬게임은 터치스크린 인터페이스에서 터치하여 히트하는 방식과, 물리적 버튼을 조작하여 히트하는 방식으로 나뉜다. 본 발명은 전자의 경우 즉, 터치스크린 인터페이스 방식의 경우와 디스플레이부상에 입력신호 및 실행신호를 발생시킨다는 점에서 유사하다.
상기 음성제어 영상표시 리듬게임 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플래시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 래지스터, SSD, 하드디스크, 리무버블 디스크, 메모리카드, USB메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록매체에 저장되어 있을 수 있으며, 상기 음성제어 영상표시 리듬게임 장치에 상술한 프로그램 코드가 기록된 기록매체가 연결되거나 탑재된다면(ex. 애플리케이션), 상술한 음성제어 영상표시 리듬게임방법이 지원될 수 있게 된다.
도 1에 도시된 바와 같이 통상의 터치스크린 인터페이스 방식 리듬게임은 일반노트(1)가 히트기준선(2)을 통과할 때, 히트기준선(2)을 터치하여 입력신호 / 실행신호를 발생시키고, 기 설정된 일정기준에 따라 히트가 성공하였으면 점수를 획득하고, 히트가 실패하였으면 점수가 없도록 구성되어있다.
본 발명의 경우, 도 2에 도시된 바와 같이 통상의 터치스크린 인터페이스 방식 리듬게임과 유사한 디스플레이를 하고 있는 것을 알 수 있다. 하지만, 일반노트(3)을 보면 노트 안에 문자를 포함하여 표시하고 있는 것을 알 수 있다.
본 출원의 기초가 되는 선출원의 특징을 응용하여, 히트기준선(4)에 일반노트(3)이 위치할 때(즉, 통과할 때) 히트 기준선(4)의 트랙 5, 6, 7, 8에 해당되는 네 개의 영역을 도 10의 과정을 통해 입력 / 실행신호를 발생시켜 손으로 터치하는 것이 아닌, 음성으로 입력 / 실행 신호를 발생시키는 것을 알 수 있을 것이다.
상기 화면을 실행단위 영역으로 구획할 때 일시정지, 환경설정, 기타 명령이 지정된 아이콘이 존재하여 이들을 포함하도록 구획할 경우, 상기 도 10의 과정을 거쳐 일시 정지, 환경설정, 기타 명령을 실행시키도록 구성할 수 있음은 물론이다.
도 3에 도시된 순서를 따르되, 일반 노트를 히트했을 때 점수획득을 하는 경우의 예시적 일 실시예로서, 일반노트(3)에 포함된 문자가 노래의 가사, 보다 구체적으로 랩(RAP) 가사라고 가정하면, 배경음악(BGM ; BACK GROUND MUSIC)의 재생과 동시에 이동하는 일반노트(3)이 히트기준선(4)를 통과할 때, 사용자가 히트기준선(4)를 통과하는 일반노트(3)에 표시되는 문자를 발성하면, 도 10의 과정을 거쳐 입력이 실행되고, 사용자는 상기 배경음악과 함께 랩 연습 및 게임을 할 수 있다. 이 때, 상기 문자는 식별음성데이터에 해당된다. 또한, 랩 연습을 목적으로 본 출원에 따른 음성제어 영상표시 리듬게임 장치는 배경음악과 일반노트(3)의 이동 속도를 사용자의 선택에 따라 빠르게 혹은, 느리게 조절할 수 있도록 구성할 수 있다.
또한, 트랙 5, 6, 7, 8에 각기 다른 파트의 랩 가사를 포함하는 일반노트(3)을 설정하면, 트랙별로 메인 랩, 서브 랩, 코러스, 기타 효과음을 설정하는 것도 가능하다. 사용자 네 명이 동시에 게임을 할 수 있는 것이다. 여기서 트랙의 수는 최소 하나 이상으로 구성하도록 한다.
점수의 획득 방법은 통상의 경우와 같고, 본 출원의 핵심이 아니므로 자세한 설명은 생략하도록 한다.
또한, 도 3에 도시된 순서를 따르되, 일반 노트를 히트했을 때 저장된 음을 출력하는 경우의 예시적 일 실시예로서, 일반노트(3)가 히트될 때 음을 재생하는 경우이다.
각 트랙별로 악기를 지정한다고 가정하고, 트랙 5에는 베이스 드럼이, 트랙 6에는 스네어 드럼, 트랙 7에는 심벌, 트랙 8에는 힛햇 등이 설정되어 있다고 가정하면, 일반 노트(3)이 히트기준선(4)를 통과할 때, 상기 도 10의 과정을 거쳐 입력 / 실행 신호를 발생시키면 드럼 연주를 하도록 구성할 수 있는 것이다.
예를 들어, 베이스 드럼이 할당되는 트랙5에는 "쿵", 스네어 드럼이 할당되는 트랙 6에는 "짝", 심벌이 할당되는 트랙 7에는 '징', 힛햇이 할당되는 트랙 8에는 '힛'이라고 문자를 할당하고, 이를 식별음성데이터로 활용하는 것을 생각할 수 있다.
또한, 상술한 드럼음 대신 다양한 악기의 음을 재생하도록 설정하는 것이 가능하고, 사용자가 선택할 수 있도록 구성하는 것이 가능하다.
상술한 랩 연습 및 게임으로 실행되는 리듬게임의 실시예는 얼핏 보면 기존의 노래방 반주기기 장치 혹은 애플리케이션과 차별성이 없는 듯 생각될 수 있지만, 통상의 노래방 반주기기 장치 혹은 애플리케이션은 정확한 타이밍에 사용자의 음성이 입력되지 않아도 점수가 획득되고, 기기 내부적으로도 정확한 감지 혹은 식별을 하는 것은 아니지만 본 출원 발명의 경우, 사용자의 음성이 정확하게 입력되면 도 10의 과정을 거쳐도 입력 / 실행신호를 발생시켜 히트 기준선(4)을 히트하게 되고 점수를 획득할 수 있으며, 사용자의 음성이 정확하게 입력되지 않으면 도 10의 과정을 거치더라도 입력 / 실행신호를 발생시키지 못하기 때문에 리듬(박자 맞추기)게임에 특화할 수 있는 것이다. 또한, 본 발명에 따르면 다수의 트랙별로 각 각 다수의 사용자가 나눠서 리듬게임을 플레이하는 것이 가능하기에 일반적 노래방 반주기기 장치 혹은 애플리케이션과는 차별성을 가진다.
한편 도시 하지 않았지만, 상기 음성제어 영상표시 리듬게임 장치(예를 들면, 스마트폰)가 다른 영상표시 장치(예를 들면, TV)와 양방향 유선 및 무선 통신이 개시되어 미러링(Mirroring)되어 보다 큰 화면으로 게임을 플레이 하는 것을 생각할 수 있다.
한편, 상술한 바와 같이 배경음악이 재생되는 상황에서 사용자의 음성을 수신하여야 하기 때문에 상기 음성제어 영상표시장치 리듬게임 장치는 다양한 신호처리 기술을 적용할 수 있다. 예를 들면 노이즈 캔슬링이 대표적이라 할 수 있다. 상기 음성제어 영상표시장치 리듬게임 장치에서 재생되는 배경음악의 위상과 반대의 위상을 가지는 신호를 발생시켜 상기 장치에서 출력되고 다시 입력되더라도 필터링하여, 사용자의 음성을 더욱 정확하게 수신할 수 있도록 하는 것이다.
이상에서와 같이 본 발명에 대하여 한정된 실시예로서 구체적으로 설명하였다. 그러나 이상의 구체적인 실시예에 의하여 본 발명에 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 다소간의 수정 및 변형이 가능하다. 따라서 본 발명의 청구범위는 본 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.
[도 1]의 1은 일반노트
[도 1]의 2는 히트기준선
[도 2]의 3은 식별음성데이터가 현시되면서 데이터베이스에 매핑되어 할당된 일반노트
[도 2]의 4는 히트기준선으로서 입력신호 및 실행신호가 발생되는 실행단위영역으로 구획되는 히트기준선
[도 1] 및 [도2]의 5 내지 8은 일반노트가 이동되는 각각의 트랙

Claims (11)

  1. 일반노트와, 상기 일반노트가 이동하는 트랙 및 상기 일반노트가 히트되어야할 시점을 알려주는 히트기준선이 표시되는 디스플레이부를 구비하고 음성제어가 가능한 영상표시 장치로서,
    상기 디스플레이부를 통해 표시되는 화면상의 일반노트가 히트기준선에 위치할 때, 상기 일반노트를 히트하는 히트 기준선의 영역을 실행단위영역별로 구획하여, 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스가 저장되는 메모리부;
    사용자의 음성을 입력받는 음성인식부;
    상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 정보처리부; 및
    상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 제어부;를 포함하여 구성된 것을 특징으로 하는 음성제어 영상표시 리듬게임 장치.
  2. 제 1항에 있어서,
    상기 일반노트는, 음을 재생하는 명령을 저장한 노트인 것을 특징으로 하는 음성제어 영상표시 리듬게임 장치.
  3. 제 1항에 있어서,
    상기 일반노트는, 상기 히트기준선을 통과하면서 히트될 때 길게 음을 재생하는 롱 노트인 것을 특징으로 하는 음성제어 영상표시 리듬게임 장치.
  4. 제 1항에 있어서,
    상기 일반노트가 상기 히트기준선을 통과할 때 사용자의 입력에 의해 히트되면 점수를 획득하는 것을 특징으로 하는 음성제어 영상표시 리듬게임 장치.
  5. 제 1항에 있어서,
    상기 트랙의 수는 1 이상으로 구성된 것을 특징으로 하는 음성제어 영상표시 리듬게임 장치.
  6. 제 1항에 있어서,
    배경음악을 더 포함하여 구성되되, 상기 배경음악의 재생속도와 상기 일반노트의 이동 속도를 조절하는 것을 특징으로 하는 음성제어 영상표시 리듬게임 장치.
  7. 제 1항에 있어서,
    상기 일반노트 안에 문자를 포함하여 표시하는 것을 특징으로 하는 음성제어 영상표시 리듬게임 장치.
  8. 제 1항에 있어서,
    일시정지, 환경설정, 기타명령 중 어느 하나가 지정된 아이콘을 더 포함하여 구성되되, 상기 일시정지, 환경설정, 기타명령 중 어느 하나가 지정된 아이콘을 포함하도록 실행단위 영역을 구획하는 것을 특징으로 하는 음성제어 영상표시 리듬게임 장치.
  9. 제 1항 내지 제 8항 중 어느 하나의 음성제어 영상표시 리듬게임 장치에서 수행되는 음성제어 방법으로서,
    (a) 상기 메모리부가 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 단계;
    (b) 상기 디스플레이부에 표시되는 화면상의 실행단위영역별로 할당된 음성데이터가 현시되는 상태에서 수행되되, 상기 음성인식부가 사용자의 음성을 입력받는 단계;
    (c) 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계; 및
    (d) 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계;를 포함하여 구성된 것을 특징으로 하는 음성제어 영상표시 리듬게임 방법.
  10. 제 9항에 있어서,
    상기 (a)단계는 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하고, 상기 실행단위 영역별로 상기 생성된 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 것을 특징으로 하는 음성제어 영상표시 리듬게임 방법.
  11. 제 1항 내지 제 8항 중 어느 하나의 음성제어 영상표시 리듬게임 장치에서 수행되는 음성제어 방법으로서,
    상기 음성제어 영상표시 리듬게임 장치가 다른 영상표시 장치와 양방향 유선 및 무선 통신이 개시되어 미러링(Mirroring)되는 것을 특징으로 하는 음성제어 영상표시 리듬게임 방법.




KR1020140174047A 2014-12-05 2014-12-05 음성제어 영상표시 리듬게임 장치 및 방법 KR101581138B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140174047A KR101581138B1 (ko) 2014-12-05 2014-12-05 음성제어 영상표시 리듬게임 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140174047A KR101581138B1 (ko) 2014-12-05 2014-12-05 음성제어 영상표시 리듬게임 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101581138B1 true KR101581138B1 (ko) 2015-12-30

Family

ID=55088103

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140174047A KR101581138B1 (ko) 2014-12-05 2014-12-05 음성제어 영상표시 리듬게임 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101581138B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101274619B1 (ko) * 2013-04-03 2013-06-13 리모트솔루션주식회사 미러링을 이용한 대화형 리모컨 및 그 제어방법
KR20130090507A (ko) 2012-02-06 2013-08-14 한국산업기술대학교산학협력단 리듬게임기
KR20140056992A (ko) 2012-11-02 2014-05-12 삼성전자주식회사 깊이 영상을 이용하는 동작 추정 방법 및 장치
KR20140096202A (ko) * 2013-01-17 2014-08-05 삼성전자주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130090507A (ko) 2012-02-06 2013-08-14 한국산업기술대학교산학협력단 리듬게임기
KR20140056992A (ko) 2012-11-02 2014-05-12 삼성전자주식회사 깊이 영상을 이용하는 동작 추정 방법 및 장치
KR20140096202A (ko) * 2013-01-17 2014-08-05 삼성전자주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템
KR101274619B1 (ko) * 2013-04-03 2013-06-13 리모트솔루션주식회사 미러링을 이용한 대화형 리모컨 및 그 제어방법

Similar Documents

Publication Publication Date Title
US6388183B1 (en) Virtual musical instruments with user selectable and controllable mapping of position input to sound output
US10614786B2 (en) Musical chord identification, selection and playing method and means for physical and virtual musical instruments
US20120069169A1 (en) Information processing apparatus, method, and storage medium
US8246459B2 (en) Method, apparatus and recording medium for performance game
US9861892B2 (en) Music game which changes sound based on the quality of players input
JP5549521B2 (ja) 音声合成装置およびプログラム
CN105489209A (zh) 一种电声乐器节奏可控的方法及其对卡拉ok的改进
JP6367031B2 (ja) 電子機器遠隔操作システム及びプログラム
JP5879682B2 (ja) 音声合成装置及びプログラム
CN112883223A (zh) 音频展示方法、装置、电子设备及计算机存储介质
KR101581138B1 (ko) 음성제어 영상표시 리듬게임 장치 및 방법
JP5935815B2 (ja) 音声合成装置およびプログラム
JP6411412B2 (ja) プログラム、ゲーム装置及びゲーム進行方法
CN109739388B (zh) 一种基于终端的小提琴演奏方法、装置及终端
WO2015050613A1 (en) Music user interface
JP2016062081A (ja) 音楽教習装置
KR101517738B1 (ko) 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
KR20140134188A (ko) 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜
JP6149917B2 (ja) 音声合成装置および音声合成方法
Nash The'E'in QWERTY: Musical Expression with Old Computer Interfaces.
CN109801613B (zh) 一种基于终端的大提琴演奏方法、装置及终端
US8912420B2 (en) Enhancing music
JPWO2014174621A1 (ja) 記録媒体、ゲーム装置及びゲーム進行方法
US20240165510A1 (en) Method and apparatus for interaction
WO2024024105A1 (ja) 音響再生装置、プログラム、及び再生制御方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181210

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200218

Year of fee payment: 5