KR20150041862A - 시각장애인을 위한 게임 단말기 및 그 동작 방법 - Google Patents

시각장애인을 위한 게임 단말기 및 그 동작 방법 Download PDF

Info

Publication number
KR20150041862A
KR20150041862A KR20130120342A KR20130120342A KR20150041862A KR 20150041862 A KR20150041862 A KR 20150041862A KR 20130120342 A KR20130120342 A KR 20130120342A KR 20130120342 A KR20130120342 A KR 20130120342A KR 20150041862 A KR20150041862 A KR 20150041862A
Authority
KR
South Korea
Prior art keywords
game
character
current position
dog
voice
Prior art date
Application number
KR20130120342A
Other languages
English (en)
Other versions
KR101588451B1 (ko
Inventor
김용태
Original Assignee
김용태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김용태 filed Critical 김용태
Priority to KR1020130120342A priority Critical patent/KR101588451B1/ko
Publication of KR20150041862A publication Critical patent/KR20150041862A/ko
Application granted granted Critical
Publication of KR101588451B1 publication Critical patent/KR101588451B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명의 일 실시예에 따라 시각장애인을 위한 게임 단말기 및 그 동작 방법이 개시된다. 상기 게임 단말기는 상기 게임 단말기의 움직임을 감지하는 중력 센서; 사람 캐릭터 및 보조견 캐릭터를 표시하는 디스플레이부; 게임 스테이지에 따른 목적지를 음성으로 통지하고, 상기 목적지로의 이동을 안내하기 위해 상기 보조견 캐릭터에 대응하는 음성을 출력하는 음성 출력부; 및 상기 중력 센서를 통해 감지되는 신호에 따라 상기 사람 캐릭터 및 보조견 캐릭터의 현재 위치를 변경하고, 상기 현재 위치가 상기 목적지에 도달하면, 상기 게임 스테이지를 종료하는 제어부를 포함할 수 있다. 본 발명에 따르면 모든 사람이 참여할 수 있는 게임을 제공할 수 있다.

Description

시각장애인을 위한 게임 단말기 및 그 동작 방법{GAME TERMINAL FOR VISUALLY IMPAIRED PERSON AND OPERATION METHOD THEREOF}
본 발명은 시각장애인을 위한 게임 단말기 및 그 동작 방법에 관한 것으로서, 보다 상세하게는 사람 캐릭터 및 보조견 캐릭터를 이용하여 시각장애인이 즐길 수 있는 게임을 제공하는 게임 단말기 및 그 동작 방법에 관한 것이다.
휴대 단말기, 태블릿 PC, 개인용 컴퓨터 등과 같은 유무선 단말기의 개발과 일상적인 보급에 따라, 단말기 사용자는 다양한 시각적, 청각적 효과를 제공하는 컨텐츠를 이용할 수 있게 되었다. 특히, 게임은 개인용 컴퓨터에서 벗어나 휴대 가능한 단말기를 통해 보다 사용자가 손쉽게 이용할 수 있는 컨텐츠 중 하나다.
그러나, 시각적 효과 및 그에 대한 반응 속도를 주된 목적으로 하는 게임의 경우 시각장애인이 유무선 단말기를 갖고 있다고 해도 전혀 즐길 수 없다는 한계가 있다.
한편, 시각장애인은 보조견과 함께 외부 활동을 하는 것이 권장되는데, 보조견에 대한 편견, 실제생활에서 발생할 수 있는 어려움 등을 이유로 보조견이 적극적으로 활용되고 있지 않은 상황이며, 일반인들 또한 이에 대해 정확히 알지 못해 오히려 시각장애인과 보조견을 방해하는 일이 빈번하다.
따라서, 모든 사람들이 게임 단말기를 통해 즐길 수 있는 게임을 제공하면서, 시각장애인 및 보조견에 대한 인식을 개선할 수 있는 게임 단말기 및 그 동작 방법이 요구된다.
본 발명은 다양한 상황에서 사람 캐릭터 및 보조견 캐릭터가 목적지로 이동하는 과정을 통해, 시각장애인이 참여할 수 있는 게임을 제공하고, 보조견에 대한 적극적인 활용을 유도하고, 시각장애인 및 보조견에 대한 올바른 이해를 제공하는데 그 목적이 있다.
본 발명의 일 실시예에 따라, 시각장애인을 위한 게임 단말기의 동작 방법이 개시된다. 상기 방법은 게임 스테이지를 선택하는 단계; 사람 캐릭터 및 보조견 캐릭터를 디스플레이부에 표시하고, 상기 게임 스테이지에 따른 목적지를 음성으로 통지하는 단계; 상기 목적지로의 이동을 안내하기 위해 상기 보조견 캐릭터에 대응하는 음성을 출력하는 단계; 중력 센서를 통해 감지되는 신호에 따라 상기 사람 캐릭터 및 보조견 캐릭터의 현재 위치를 변경하는 단계; 및 상기 현재 위치가 상기 목적지에 도달하면, 상기 게임 스테이지를 종료하는 단계를 포함하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 현재 위치가 방해 요소 또는 도움 요소에 근접하면, 상기 방해 요소 또는 상기 도움 요소로의 근접을 알리기 위해, 음성 또는 진동을 출력하는 단계를 더 포함하며, 상기 방해 요소는 시각장애인 및 보조견의 이동 중에 발생할 수 있는 어려움에 대응하는 요소이고, 상기 도움 요소는 실제 시각장애인 및 보조견의 이동에 도움이 되는 요소인 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 상기 방해 또는 요소 상기 도움 요소에 도달하면, 보조 게임을 시작하는 단계; 및 터치 입력부 또는 상기 중력 센서를 통해 입력되는 신호에 기초하여 상기 보조 게임을 수행하는 단계를 더 포함하고, 상기 보조 게임을 수행하는 단계는, 지시어를 제시하고 터치 입력부 또는 상기 중력 센서를 통해 입력되는 신호가 상기 지시어에 대응하면, 상기 보조 게임이 성공한 것으로 하는 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 상기 방해 요소에 도달하여 시작된 상기 보조 게임이 성공하면, 상기 사람 캐릭터 및 보조견 캐릭터를 이동시키고, 상기 보조 게임이 성공하지 못하면, 상기 사람 캐릭터에게 주어진 아이템을 소멸하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 상기 도움 요소에 도달하여 시작된 보조 게임이 성공하면, 상기 사람 캐릭터에게 추가적인 아이템을 제공하고, 상기 보조 게임이 성공하지 못하면, 상기 사람 캐릭터 및 보조견 캐릭터를 이동시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 상기 방해 요소 또는 상기 도움 요소에 근접할수록, 상기 음성 또는 진동의 출력이 증가하는 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 상기 방해 요소 또는 상기 도움 요소에 근접하면, 상기 방해 요소 또는 상기 도움 요소를 상기 디스플레이부에 표시하는 단계를 더 포함하는 것을 특징으로 하는 시각장애인을 위한 게임 방법.
본 발명의 일 실시예에 따라 시각장애인을 위한 게임 단말기의 동작 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 개시된다.
본 발명의 일 실시예에 따라 시각장애인을 위한 게임 단말기가 개시된다. 상기 게임 단말기는 상기 게임 단말기의 움직임을 감지하는 중력 센서; 사람 캐릭터 및 보조견 캐릭터를 표시하는 디스플레이부; 게임 스테이지에 따른 목적지를 음성으로 통지하고, 상기 목적지로의 이동을 안내하기 위해 상기 보조견 캐릭터에 대응하는 음성을 출력하는 음성 출력부; 및 상기 중력 센서를 통해 감지되는 신호에 따라 상기 사람 캐릭터 및 보조견 캐릭터의 현재 위치를 변경하고, 상기 현재 위치가 상기 목적지에 도달하면, 상기 게임 스테이지를 종료하는 제어부를 포함하는 것을 특징으로 할 수 있다.
바람직하게는, 진동을 출력하는 진동 출력부를 더 포함하는 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 방해 요소 또는 도움 요소에 근접하면, 상기 음성 출력부가 음성을 출력하거나 또는 상기 진동 출력부가 진동을 출력하고, 상기 방해 요소는 시각장애인 및 보조견의 이동 중에 발생할 수 있는 어려움에 대응하는 요소이고, 상기 도움 요소는 실제 시각장애인 및 보조견의 이동에 도움이 되는 요소인 것을 특징으로 할 수 있다.
또한, 바람직하게는, 터치 신호를 입력받는 터치 입력부를 더 포함하며, 상기 현재 위치가 상기 방해 요소 또는 상기 도움 요소에 도달하면, 상기 제어부는 보조 게임을 시작하고, 상기 터치 입력부 또는 상기 중력 센서를 통해 입력되는 신호에 기초하여 상기 보조 게임을 수행하고, 상기 보조 게임은 지시어를 제시하고 터치 입력부 또는 상기 중력 센서를 통해 입력되는 신호가 상기 지시어에 대응하면, 상기 보조 게임이 성공한 것으로 하는 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 상기 방해 요소에 도달하여 시작된 보조 게임이 성공하면, 상기 제어부는 상기 사람 캐릭터 및 보조견 캐릭터를 이동시키고, 상기 보조 게임이 성공하지 못하면, 상기 제어부는 상기 사람 캐릭터에게 주어진 아이템을 소멸하는 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 상기 도움 요소에 도달하여 시작된 보조 게임이 성공하면, 상기 제어부는 상기 사람 캐릭터에게 추가적인 아이템을 제공하고, 상기 보조 게임이 성공하지 못하면, 상기 제어부는 상기 사람 캐릭터 및 보조견 캐릭터를 이동시키는 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 상기 방해 요소 또는 상기 도움 요소에 근접할수록, 상기 음성 출력부 또는 상기 진동 출력부에 의한 상기 음성 또는 진동의 출력은 증가하는 것을 특징으로 할 수 있다.
또한, 바람직하게는, 상기 현재 위치가 상기 방해 요소 또는 상기 도움 요소에 근접하면, 상기 디스플레이부는 상기 방해 요소 또는 상기 도움 요소를 표시하는 것을 특징으로 할 수 있다.
본 발명에 따르면, 중력 센서, 터치 입력부, 음성 및 진동을 이용하여 시각장애인도 참여할 수 있는 게임을 제공할 수 있다.
또한, 보조견과 함께 다양한 상황에서 목적지에 도달하는 게임을 제공함으로써, 보조견에 대한 편견을 줄이고, 다양한 상황에 대처할 수 있는 시뮬레이션의 기능을 제공할 수 있으며, 이에 따라 시각장애인에게는 보다 적극적인 보조견 이용 및 외부 활동을 유도할 수 있다.
또한, 비시각장애인에게는 시각장애인 체험을 제공하여 시각장애인 및 보조견에 대한 올바른 인식을 제공할 수 있다.
또한, 본 발명에 따른 게임은 음성 및/또는 진동 메시지만을 이용하여 눈에 보이지 않는 가상의 맵을 머리 속에 그려가면서 목적지에 도달하는 것을 그 내용으로 한다는 점에서, 두뇌개발, 치매예방 등에도 긍정적인 효과를 발휘할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 시각장애인을 위한 게임 단말기의 동작 방법을 도시한다.
도 2는 본 발명의 일 실시예에 따른 시각장애인을 위한 게임 단말기를 도시한다.
도 3은 본 발명의 일 실시예에 따른 게임 단말기에 표시되는 화면을 나타내는 도면이다.
이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 한편, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.
도 1은 본 발명의 일 실시예에 따른 시각장애인을 위한 게임 단말기의 동작 방법을 도시한다.
방법(100)은 다양한 환경에서 사람 캐릭터 및 보조견(guide dog) 캐릭터가 함께 목적지로 이동하는 게임을 제공할 수 있다.
도 1에 도시된 바와 같이, 먼저 게임 스테이지(game stage)가 선택될 수 있다(S110 단계). 여기서 게임 스테이지란, 본 발명에 따른 게임이 진행되기 위해 디스플레이되는 배경 또는 주변환경으로서, 구체적으로 사람 캐릭터 및 보조견 캐릭터가 목적지로 이동하는 동안의 배경 또는 주변환경을 의미할 수 있다. 예를 들어, 공원, 지하철, 버스정류장, 식당, 공연장, 민속촌 등이 게임 스테이지로 설정될 수 있으며, 사람 캐릭터 및 보조견 캐릭터는 주어진 환경에서 출발지로부터 목적지로 이동할 수 있다.
본 발명은 복수의 게임 스테이지를 제공하며, 각 게임 스테이지는 서로 다른 난이도를 가질 수 있다. 각 게임 스테이지에 따라 실제 시각장애인 및 보조견에게 발생할 수 있는 어려움(예를 들어, 자동차 진입 방지석, 벽, 신호등, 장애물, 차량, 보조견을 꺼려하는 인물, 어린 아이 등)을 방해 요소로 정의하고, 각 게임 스테이지의 방해 요소의 개수 및 난이도에 따라 각 게임 스테이지의 난이도가 설정될 수 있다. 시각장애인 및 보조견이 함께 이동하는 경우 발생하는 물리적인 어려움, 사회적 편견 등을 방해 요소로 설정함으로써, 실제 시각장애인 및 보조견에게 발생하는 어려움을 확인할 수 있다.
또한, 각 게임 스테이지는 목적지로 이동하는 동안 실제 시각장애인 및 보조견에게 도움이 되는 정보나 사건(예를 들어, 공연 안내자, 친구, 보조견을 다루는 방법에 대한 안내, 보조견을 올바르게 이해하는 인물 등)을 도움 요소로 제공하여, 도움 요소들이 실제 어떻게 이용될 수 있는지 게임 이용자에게 상기시키고, 사람 캐릭터 및 보조견 캐릭터가 목적지도 보다 쉽게 도달하거나 방해 요소를 빠르게 극복할 수 있도록 한다.
또한, 상대적으로 쉬운 게임 스테이지부터 상대적으로 어려운 게임 스테이지로 연결되어, 쉬운 게임 스테이지에서 목적지에 도달한 경우에만 어려운 게임 스테이지를 선택할 수 있도록 게임을 설정할 수도 있다.
계속해서, 선택된 게임 스테이지에 따라 음성으로 목적지를 통지할 수 있다(S120 단계). 목적지는 목적지 좌표로 통지될 수 있다. 목적지는 게임 스테이지에 따라 상이하고, 목적지와 함께 출발지 좌표도 통지될 수 있다. 각 좌표의 단위는 임의로 설정될 수 있으며, 셀 단위로 설정될 수도 있다. 예를 들어, 공연장에서 장애인 전용 좌석의 위치가 목적지로서 설정되어 (남;100, 서;40)으로 안내될 수 있다. 예를 들어, 출발지 좌표는 (0,0)으로 통지될 수도 있고, (북;20, 동;10)으로 통지될 수도 있다.
계속해서, 사람 캐릭터 및 보조견 캐릭터가 목적지를 향해 이동할 수 있다(S130 단계). 구체적으로, 보조견 캐릭터에 대응하는 음성(예를 들어, 보조견 소리)이 출력되면, 게임 이용자는 이에 따라 게임 단말기를 상하좌우로 움직임으로써 사람 캐릭터 및 보조견 캐릭터의 위치를 변경시킬 수 있다. 여기서 보조견 캐릭터에 대응하는 음성의 출력은 사람 캐릭터 및 보조견 캐릭터의 목적지로의 이동을 안내 또는 보조하기 위한 것으로서, 보조견이 실제로 시각장애인을 안내할 때, 위급한 상황이 발생하면 소리를 통해 시각장애인에게 장애물 등을 경고하거나 길을 안내하는 것에 대응하는 것이다. 보조견 캐릭터에 대응하는 음성은 게임이 진행되는 동안 계속 출력될 수도 있으며, 또 다른 음성이나 진동이 출력될 때는 중단될 수도 있다. 보조견 캐릭터에 대응하는 음성에 따라 목적지로 이동하는 동안 발생하는 장애물(차량, 신호등, 벽, 막힌 길) 등을 피할 수 있다. 게임 단말기의 상하좌우 움직임에 의해 게임 단말기의 중력 센서를 통해 입력되는 신호에 따라 사람 캐릭터 및 보조견 캐릭터의 현재 위치, 즉 현재 좌표가 변경될 수 있다. 현재 좌표가 변경됨에 따라, 사람 캐릭터 및 보조견 캐릭터가 이동하는 것으로 판단할 수 있다. 중력 센서에 대해서는 하기 도 2에서 보다 상세하게 설명한다.
일 실시예에서, 사람 캐릭터 및 보조견 캐릭터가 목적지를 향해 이동하는 동안, 소정의 아이템이 제공될 수 있다. 예를 들어, 각 게임 스테이지에서 게임을 계속할 수 있는 하트 아이템, 현재 좌표를 안내하는 나침반 아이템, 소정의 장애물(예를 들어, 자동차 진입 방지석)에 부딪히는 볼라드 아이템, 점자 블록을 활용하여 목적지로 쉽게 이동하는 점자블록 아이템 등이 있다. 특히, 게임 진행 중 하트 아이템이 모두 소멸하면, 목적지에 도달하지 못하고 게임 스테이지가 종료되거나, 다시 출발지 좌표로 사람 캐릭터 및 보조견 캐릭터가 이동한다. 또한, 나침반 아이템을 획득하면 소정의 드래그 신호가 있을 때 사람 캐릭터 및 보조견 캐릭터의 현재 좌표를 음성으로 안내 받을 수 있다.
일 실시예에서, 사람 캐릭터 및 보조견 캐릭터가 이동하는 동안, 사람 캐릭터 및 보조견 캐릭터가 방해 요소 또는 도움 요소의 좌표에 가까워지거나, 현재 좌표와 동일한 경우, 방해 요소 또는 도움 요소가 화면에 표시되고, 음성 또는 진동이 출력된다. 예를 들어, 현재 좌표가 방해 요소에 가까워질수록 음성 또는 진동이 점점 크게 출력될 수 있으며, 현재 좌표와 방해 요소의 좌표가 동일한 경우(사람 캐릭터 및 보조견 캐릭터가 벽에 부딪힌 경우)에는 가장 큰 음성 또는 진동이 출력될 수 있다. 여기서 도움 요소는 실제 시각장애인 보조견에게 도움이 되는 정보나 사건(예를 들어, 공연 안내자, 친구, 보조견을 다루는 방법에 대한 안내, 보조견을 올바르게 이해하는 인물 등)에 대응하며, 방해 요소는 실제 시각장애인 및 보조견이 이동 중에 발생할 수 있는 장애나 어려움(예를 들어, 차량, 방지턱 등의 장애물 등)에 대응할 수 있다.
계속해서, 방해 요소를 극복하거나, 도움 요소를 이용하기 위해서 보조 게임이 제공될 수 있다(S140 단계). 방해 요소 또는 도움 요소에 도달한 경우, 보조 게임이 제공되며, 음성으로 보조 게임을 위한 지시어가 출력된다. 보조 게임이 시작된다는 알림 메시지도 음성으로 출력될 수 있다. 사용자는 중력 센서 또는 터치 입력부를 통해 신호를 입력하여 보조 게임을 수행한다. 보조 게임은 청기백기 게임, 보조견 움직이기 게임 등이 될 수 있다.
예를 들어, 보조 게임이 보조견 움직이기 게임인 경우 상하좌우 방향 드래그를 이용하여 게임을 수행할 수 있다. 지시어가 "오른쪽으로 가"이면 우측 방향 드래그, 지시어가 "위쪽으로 가"이면 상측 방향 드래그 신호를 입력함으로써 보조 게임을 수행한다. 소정 횟수(예를 들어 15회) 이상 지시어에 대응하는 신호가 입력된 경우, 보조 게임이 성공한 것으로 판단될 수 있으며, 소정 시간 동안 지시어에 대응하는 신호만 입력된 경우에도 보조 게임이 성공한 것으로 판단될 수 있다.
방해 요소에 도달하여 보조 게임을 수행한 경우, 보조 게임이 성공하면 방해 요소를 극복한 것으로 보고 사람 캐릭터 및 보조견 캐릭터를 이동시킬 수 있다. 사람 캐릭터 및 보조견 캐릭터를 중력 센서에 따라 이동시킬 수도 있으며, 상하좌우 좌표 30 이내에 랜덤으로 이동시킬 수도 있다. 만약, 보조 게임이 성공하지 못하면 방해 요소를 극복하지 못한 것으로 보고, 사람 캐릭터에 주어진 아이템 하나를 소멸시킬 수 있다. 예를 들어, 각 게임 스테이지에서 게임을 계속할 수 있는 하트 아이템이 소멸될 수 있으며, 하트 아이템이 모두 소멸된 경우, 게임 스테이지에서 목적지에 도달하지 못한 채로 게임 스테이지는 종료될 수 있다. 아이템을 소멸시킨 후, 사람 캐릭터 및 보조견 캐릭터를 이동시킬 수 있다.
또한, 도움 요소에 도달하여 보조 게임을 수행한 경우, 보조 게임이 성공하면 도움 요소를 획득한 것으로 보고, 사람 캐릭터에 아이템을 추가적으로 제공할 수 있다. 예를 들어, 각 게임 스테이지에서 게임을 계속할 수 있는 하트 아이템 또는 현재 좌표를 안내하는 나침반 아이템이 제공될 수 있다. 아이템이 제공된 후, 사람 캐릭터 및 보조견 캐릭터를 이동시킬 수 있다. 만약, 보조 게임이 성공하지 못하면 도움 요소를 획득하지 못한 것으로 보고, 사람 캐릭터 및 보조견 캐릭터를 이동시킬 수 있다.
계속해서, 사람 캐릭터 및 보조견 캐릭터가 목적지에 도달하면, 게임 스테이지를 종료할 수 있다(S150 단계). 사람 캐릭터 및 보조견 캐릭터의 현재 좌표가 목적지 좌표와 동일한 경우, 목적지에 도달하였다고 판단할 수 있으며, 음성으로 목적지 도달을 알리는 안내 메시지가 출력될 수도 있다. 게임 스테이지가 종료되면, 또 다른 게임 스테이지가 선택되어 게임이 시작될 수 있으며, 종료된 게임 스테이지보다 높은 난이도의 게임 스테이지가 시작될 수도 있다.
또한, 사람 캐릭터 및 보조견 캐릭터가 목적지에 도달하면, 소정의 점수가 적립되거나, 소정을 점수를 금전으로 전환하여 외부 단체(예를 들어, 시각장애인을 위한 복지 단체, 보조견 육성 단체 등)로 기부할 수도 있다.
상기한 바와 같이 본 발명에 따른 게임 방법(100)은 시각장애인도 게임에 참여할 수 있으며, 보조견과 함께 다양한 상황 및 어려움을 극복할 수 있도록 시뮬레이션으로서의 기능을 제공하여, 보조견에 대한 편견을 줄일 수 있는 효과가 있다.
도 2는 본 발명의 일 실시예에 따른 시각장애인을 위한 게임 단말기를 도시한다.
도 2에 도시된 바와 같이, 게임 단말기(200)는 중력 센서(210), 터치 입력부(220), 제어부(230), 디스플레이부(240), 음성 출력부(250) 및 진동 출력부(260)를 포함할 수 있다. 여기서, 게임 단말기(200)는 휴대용 단말기, 태블릿 PC, 개인용 PC 등을 포함하며, 유/무선 단말기를 모두 포함할 수 있다.
중력 센서(210)는 상하좌우 회전방향, 회전각도, 회전속도 등과 같은 게임 단말기(200)의 움직임을 감지하여 입력 신호를 생성하는 것으로, 본 발명에서는 중력 센서(210)가 감지한 게임 단말기(200)의 움직임에 따라 사람 캐릭터 및 보조견 캐릭터가 이동하며, 사람 캐릭터 및 보조견 캐릭터의 현재 좌표가 달라질 수 있다. 또한, 보조 게임에서도 게임 수행을 위한 입력 장치로서 게임 단말기(200)의 움직임을 감지할 수 있다.
터치 입력부(220)는 사용자로부터 터치 신호를 입력받는 것으로, 일반적으로 디스플레이부(240)에 구현된다. 터치 입력부(220)를 통해 입력된 신호를 기초로 게임 스테이지, 사람 캐릭터, 보조견 캐릭터, 게임이 진행되는 동안 출력되는 배경음악이 선택될 수 있고, 각 게임 스테이지가 시작될 수 있으며, 현재 좌표를 확인할 수 있는 아이템(예를 들어, 나침반 아이템)이 있는 경우, 터치 입력부(220)를 통해 입력된 드래그 신호에 따라 사람 캐릭터 및 보조견 캐릭터의 현재 위치가 음성으로 출력될 수도 있으며, 보조 게임에서 게임 수행을 위한 상하좌우 드래그 신호를 입력하는 모듈이다.
제어부(230)는 게임 단말기(200)의 중력 센서(210), 터치 입력부(220), 디스플레이부(240), 음성 출력부(250) 및 진동 출력부(260)를 제어하고, 중력 센서(210) 및 터치 입력부(220)로부터 신호를 입력받아 소정의 제어 신호를 디스플레이부(240), 음성 출력부(250) 및 진동 출력부(260)로 출력할 수 있다.
또한, 제어부(230)는 본 발명의 게임 단말기(200)가 제공하는 게임과 관련된 설정을 관리하는 모듈로서, 사람 캐릭터, 보조견 캐릭터, 각 게임 스테이지, 목적지, 게임 스테이지의 난이도, 각 게임 스테이지에 포함된 방해 요소, 도움 요소 및 보조 게임을 설정할 뿐 아니라, 게임의 배경 음악, 음성 출력부(250)로 출력되는 메시지의 범위, 진동 출력부(260)로 출력되는 메시지의 범위를 설정하고, 게임 관련 기록(예를 들어, 진행 시간, 획득 점수, 게임 스테이지 성공 여부, 아이템 보유, 게임 제작자 소개, 게임 튜토리얼)을 저장하고 관리할 수 있다. 예를 들어, 제어부(230)의 설정에 따라 난이도가 낮은 게임 스테이지가 성공한 경우에만 난이도가 높은 게임 스테이지에서 게임을 할 수 있다.
디스플레이부(240)는 게임이 진행되는 동안 사람 캐릭터, 보조견 캐릭터, 현재 좌표, 목적지 좌표, 아이템들, 게임 진행 시간, 방해 요소, 도움 요소, 보조 게임을 위한 안내 메시지 등을 표시할 수 있다. 디스플레이부(240)에 표시되는 텍스트는 시각장애인을 위해 음성 출력부(250)를 통해 출력될 수 있다.
사람 캐릭터 및 보조견 캐릭터가 이동하는 동안 현재 좌표는 계속 변경될 수 있다. 게임이 진행되는 동안 발생하는 방해 요소 및 도움 요소는 게임에서 설정된 게임 스테이지에 따라 다르게 디스플레이부(240)에 표시될 수 있으며, 방해 요소 또는 도움 요소에 도달된 경우 시작되는 보조 게임도 표시될 수 있다.
음성 출력부(250)는 게임 진행 중에 필요한 안내 메시지를 음성으로 출력할 수 있다. 게임 시작을 알리는 메시지, 목적지 좌표, 현재 좌표, 사람 캐릭터 및 보조견 캐릭터를 이동시키기 위한 보조견 소리, 방해 요소 또는 도움 요소, 보조 게임과 관련된 메시지, 게임 스테이지 성공을 알리는 메시지 등 시각장애인이 게임을 수행하는데 필요한 모든 안내 메시지를 출력할 수 있으며, 이는 제어부(230)에 의해 설정될 수 있다.
또한, 음성 출력부(250)는 게임 배경음악, 사람 캐릭터 및 보조견 캐릭터의 움직임을 표현하는 소리(예를 들어, 발자국 소리)를 출력할 수 있으며, 방해 요소 또는 도움 요소에 가까워지거나 도달하는 경우에 따라 서로 다른 크기의 음성을 출력할 수도 있다.
진동 출력부(260)는 게임 과정에서 게임 이용자의 주의를 환기시킬 수 있는 알람을 진동을 통해 촉각적으로 출력할 수 있다. 게임과 관련된 모든 알람, 예를 들어, 아이템 획득, 아이템 소실, 사람 캐릭터 및 보조견 캐릭터가 이동하는 동안 주변 사물(예를 들어, 벽, 신호등, 차량)의 존재 여부 등을 진동으로 알릴 수 있다. 또한, 방해 요소 또는 도움 요소에 가까워지는 경우 진동이 점점 커지거나, 벽이나 장애물에 부딪히는 경우 강한 진동을 출력할 수도 있다.
또한, 본 발명은 통신부(미도시)를 구비하여 또 다른 게임 이용자들과 획득 점수를 공유할 수 있으며, 획득한 점수를 금전으로 전환하여 시각장애인 또는 보조견 관련 단체에 기부하도록 정보를 전송할 수도 있다.
도 1과 관련하여 설명된 방법(100) 및 도 2와 관련하여 설명된 게임 단말기(200)에서는 사람 캐릭터 및 보조견 캐릭터가 함께 디스플레이되어 게임이 진행되는 것으로 기재하였으나, 실시예에 따라 사람 캐릭터만이 디스플레이되고, 보조견 캐릭터는 디스플레이되지 않으면서 음성 메시지만을 제공하는 방식으로 게임이 수행될 수 있다.
도 3은 본 발명의 일 실시예에 따른 게임 단말기에 표시되는 화면을 나타내는 도면이다.
도 3에 도시된 바와 같이, 디스플레이부(240)는 게임 진행 시간(310), 아이템(320), 목적지 좌표(330), 사람 캐릭터 및 보조견 캐릭터(340), 방해 요소 또는 도움 요소(350), 메시지(360) 및 현재 좌표(370)를 표시할 수 있다.
구체적으로, 아이템(320)은 3 개의 하트 아이템 및 1 개의 나침반 아이템이 도시되며, 사람 캐릭터 및 보조견 캐릭터(340)는 일 방향으로 이동하는 모습이 도시되어 있으나, 사람 캐릭터 및 보조견 캐릭터(340)의 게임 상의 이동 방향에 따라 도시되는 사람 캐릭터 및 보조견 캐릭터(340)의 모습이 달라질 수 있다. 또한, 사람 캐릭터 및 보조견 캐릭터(340)가 이동하지 않을 때는, 정지된 모습이 도시될 수 있다.
방해 요소 또는 도움 요소(350)가 있는 경우에는 이를 표시할 수 있으며, 사람 캐릭터(340)가 방해 요소 또는 도움 요소(350)에 가까이 갈수록 소리와 시각적 표시(즉, 메시지(360))를 제공하여 게임 이용자에게 방해 요소 또는 도움 요소(350)가 가까이 있음을 알리거나, 게임 이용자가 취해야 하는 동작을 알릴 수 있다.
또한, 사용자의 입력 등에 의해 현재 좌표(370)가 제공될 수 있으며, 이는 도시되는 바와 같이, 화면 상의 표시되어 제공되거나 음성 메시지의 형태로 제공될 수 있다. 실시예에 따라, 나침반 아이템(320)이 사용되는 경우에만 현재 좌표(360)가 표시될 수도 있다.
디스플레이부(240)에 표시되는 메시지는 음성 출력부(250) 또는 진동 출력부(260)를 통해 출력될 수 있으므로, 시각장애인도 게임에 참여할 수 있다.
본 발명에 따른 게임 단말기는 시각장애인도 음성 또는 진동으로 출력되는 안내에 따라 게임 단말기를 움직이거나 터치 신호를 입력하여 게임을 진행할 수 있으며, 실제 외부 활동에서 일어날 수 있는 어려움이나 도움을 게임 과정의 방해 요소 또는 도움 요소 등을 통해 미리 예상함으로써, 시각장애인에게 보다 적극적인 외부 활동을 유도할 수 있으며, 보조견을 보다 적극적으로 활용할 수 있도록 유도할 수 있다. 비시각장애인에게는 시각장애인의 입장을 이해하고, 함께 이동하는 보조견에 대한 인식을 올바르게 가질 수 있도록 하는 교육적 효과를 제공한다. 또한, 본 발명에 따른 게임은 음성 및/또는 진동 메시지만을 이용하여 눈에 보이지 않는 가상의 맵을 머리 속에 그려가면서 목적지에 도달하는 것을 그 내용으로 한다는 점에서, 두뇌개발, 치매예방 등에도 긍정적인 효과를 발휘할 수 있다.
본 발명에 따른 시각장애인을 위한 게임 방법은 게임 단말기에 구비된 프로세서가 읽을 수 있는 기록매체에, 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
200 시각장애인을 위한 게임 단말기 210 중력 센서
220 터치 입력부 230 제어부
240 디스플레이부 250 음성 출력부
260 진동 출력부

Claims (16)

  1. 시각장애인을 위한 게임 단말기의 동작 방법으로서,
    게임 스테이지를 선택하는 단계;
    사람 캐릭터 및 보조견 캐릭터를 디스플레이부에 표시하고, 상기 게임 스테이지에 따른 목적지를 음성으로 통지하는 단계;
    상기 목적지로의 이동을 안내하기 위해 상기 보조견 캐릭터에 대응하는 음성을 출력하는 단계;
    중력 센서를 통해 감지되는 신호에 따라 상기 사람 캐릭터 및 보조견 캐릭터의 현재 위치를 변경하는 단계; 및
    상기 현재 위치가 상기 목적지에 도달하면, 상기 게임 스테이지를 종료하는 단계를 포함하는 것을 특징으로 하는 동작 방법.
  2. 제 1 항에 있어서,
    상기 현재 위치가 방해 요소 또는 도움 요소에 근접하면, 상기 방해 요소 또는 상기 도움 요소로의 근접을 알리기 위해, 음성 또는 진동을 출력하는 단계를 더 포함하며,
    상기 방해 요소는 시각장애인 및 보조견의 이동 중에 발생할 수 있는 어려움에 대응하는 요소이고, 상기 도움 요소는 실제 시각장애인 및 보조견의 이동에 도움이 되는 요소인 것을 특징으로 하는 동작 방법.
  3. 제 2 항에 있어서,
    상기 현재 위치가 상기 방해 또는 요소 상기 도움 요소에 도달하면, 보조 게임을 시작하는 단계; 및
    터치 입력부 또는 상기 중력 센서를 통해 입력되는 신호에 기초하여 상기 보조 게임을 수행하는 단계를 더 포함하고,
    상기 보조 게임을 수행하는 단계는, 지시어를 제시하고 터치 입력부 또는 상기 중력 센서를 통해 입력되는 신호가 상기 지시어에 대응하면, 상기 보조 게임이 성공한 것으로 하는 것을 특징으로 하는 동작 방법.
  4. 제 3 항에 있어서,
    상기 현재 위치가 상기 방해 요소에 도달하여 시작된 상기 보조 게임이 성공하면, 상기 사람 캐릭터 및 보조견 캐릭터를 이동시키고, 상기 보조 게임이 성공하지 못하면, 상기 사람 캐릭터에게 주어진 아이템을 소멸하는 단계를 더 포함하는 것을 특징으로 하는 동작 방법.
  5. 제 3 항에 있어서,
    상기 현재 위치가 상기 도움 요소에 도달하여 시작된 보조 게임이 성공하면, 상기 사람 캐릭터에게 추가적인 아이템을 제공하고, 상기 보조 게임이 성공하지 못하면, 상기 사람 캐릭터 및 보조견 캐릭터를 이동시키는 단계를 더 포함하는 것을 특징으로 하는 동작 방법.
  6. 제 2 항에 있어서,
    상기 현재 위치가 상기 방해 요소 또는 상기 도움 요소에 근접할수록, 상기 음성 또는 진동의 출력이 증가하는 것을 특징으로 하는 동작 방법.
  7. 제 2 항에 있어서,
    상기 현재 위치가 상기 방해 요소 또는 상기 도움 요소에 근접하면, 상기 방해 요소 또는 상기 도움 요소를 상기 디스플레이부에 표시하는 단계를 더 포함하는 것을 특징으로 하는 동작 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 시각장애인을 위한 게임 단말기의 동작 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
  9. 시각장애인을 위한 게임 단말기로서,
    상기 게임 단말기의 움직임을 감지하는 중력 센서;
    사람 캐릭터 및 보조견 캐릭터를 표시하는 디스플레이부;
    게임 스테이지에 따른 목적지를 음성으로 통지하고, 상기 목적지로의 이동을 안내하기 위해 상기 보조견 캐릭터에 대응하는 음성을 출력하는 음성 출력부; 및
    상기 중력 센서를 통해 감지되는 신호에 따라 상기 사람 캐릭터 및 보조견 캐릭터의 현재 위치를 변경하고, 상기 현재 위치가 상기 목적지에 도달하면, 상기 게임 스테이지를 종료하는 제어부를 포함하는 것을 특징으로 하는 게임 단말기.
  10. 제 9 항에 있어서,
    진동을 출력하는 진동 출력부를 더 포함하는 것을 특징으로 하는 게임 단말기.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 현재 위치가 방해 요소 또는 도움 요소에 근접하면, 상기 음성 출력부가 음성을 출력하거나 또는 상기 진동 출력부가 진동을 출력하고,
    상기 방해 요소는 시각장애인 및 보조견의 이동 중에 발생할 수 있는 어려움에 대응하는 요소이고, 상기 도움 요소는 실제 시각장애인 및 보조견의 이동에 도움이 되는 요소인 것을 특징으로 하는 게임 단말기.
  12. 제 11 항에 있어서,
    터치 신호를 입력받는 터치 입력부를 더 포함하며,
    상기 현재 위치가 상기 방해 요소 또는 도움 요소에 도달하면, 상기 제어부는 보조 게임을 시작하고, 상기 터치 입력부 또는 상기 중력 센서를 통해 입력되는 신호에 기초하여 상기 보조 게임을 수행하고,
    상기 보조 게임은 지시어를 제시하고 터치 입력부 또는 상기 중력 센서를 통해 입력되는 신호가 상기 지시어에 대응하면, 상기 보조 게임이 성공한 것으로 하는 것을 특징으로 하는 게임 단말기.
  13. 제 12 항에 있어서,
    상기 현재 위치가 상기 방해 요소에 도달하여 시작된 보조 게임이 성공하면, 상기 제어부는 상기 사람 캐릭터 및 보조견 캐릭터를 이동시키고, 상기 보조 게임이 성공하지 못하면, 상기 제어부는 상기 사람 캐릭터에게 주어진 아이템을 소멸하는 것을 특징으로 하는 게임 단말기.
  14. 제 12 항에 있어서,
    상기 현재 위치가 상기 도움 요소에 도달하여 시작된 보조 게임이 성공하면, 상기 제어부는 상기 사람 캐릭터에게 추가적인 아이템을 제공하고, 상기 보조 게임이 성공하지 못하면, 상기 제어부는 상기 사람 캐릭터 및 보조견 캐릭터를 이동시키는 것을 특징으로 하는 게임 단말기.
  15. 제 12 항에 있어서,
    상기 현재 위치가 상기 방해 요소 또는 상기 도움 요소에 근접할수록, 상기 음성 출력부 또는 상기 진동 출력부에 의한 상기 음성 또는 진동의 출력은 증가하는 것을 특징으로 하는 게임 단말기.
  16. 제 12 항에 있어서,
    상기 현재 위치가 상기 방해 요소 또는 상기 도움 요소에 근접하면, 상기 디스플레이부는 상기 방해 요소 또는 상기 도움 요소를 표시하는 것을 특징으로 하는 게임 단말기.
KR1020130120342A 2013-10-10 2013-10-10 시각장애인을 위한 게임 단말기 및 그 동작 방법 KR101588451B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130120342A KR101588451B1 (ko) 2013-10-10 2013-10-10 시각장애인을 위한 게임 단말기 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130120342A KR101588451B1 (ko) 2013-10-10 2013-10-10 시각장애인을 위한 게임 단말기 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20150041862A true KR20150041862A (ko) 2015-04-20
KR101588451B1 KR101588451B1 (ko) 2016-01-26

Family

ID=53035156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130120342A KR101588451B1 (ko) 2013-10-10 2013-10-10 시각장애인을 위한 게임 단말기 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR101588451B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102375137B1 (ko) * 2021-11-01 2022-03-16 주식회사 글림시스템즈 터치햅틱반응 기반 감각연동형 게임시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001227962A (ja) * 2000-02-15 2001-08-24 Fujitsu Ten Ltd ナビゲーション装置
KR20090120126A (ko) * 2008-05-19 2009-11-24 곽인환 게임을 이용한 길안내 방법 및 그 시스템
KR20110134143A (ko) * 2010-06-08 2011-12-14 (주)엔스퍼트 시각장애인용 길 안내장치 및 이를 구비한 모바일단말

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001227962A (ja) * 2000-02-15 2001-08-24 Fujitsu Ten Ltd ナビゲーション装置
KR20090120126A (ko) * 2008-05-19 2009-11-24 곽인환 게임을 이용한 길안내 방법 및 그 시스템
KR20110134143A (ko) * 2010-06-08 2011-12-14 (주)엔스퍼트 시각장애인용 길 안내장치 및 이를 구비한 모바일단말

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102375137B1 (ko) * 2021-11-01 2022-03-16 주식회사 글림시스템즈 터치햅틱반응 기반 감각연동형 게임시스템

Also Published As

Publication number Publication date
KR101588451B1 (ko) 2016-01-26

Similar Documents

Publication Publication Date Title
JP6689265B2 (ja) 入力機構を有するヘッドセットを用いたユーザーとユーザーの環境との間のインタラクションの容易化
CN106997241B (zh) 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
EP3398666B1 (en) Game apparatus, processing method, and information storage medium
JP6404196B2 (ja) 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
KR102331048B1 (ko) 오디오 탐색 지원
JP6691351B2 (ja) プログラム及びゲームシステム
JP5688574B2 (ja) 触覚提示付ロボット
TW201246008A (en) Information processing device, alarm method, and program
JP2016212858A (ja) 触覚誘導のためのシステム及び方法
KR20140010178A (ko) 제스처 기반 게임을 위한 안전 설계
WO2014098033A1 (ja) 携帯型移動支援装置
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP5654216B2 (ja) プログラム及びゲーム装置
US11568640B2 (en) Techniques for providing vibrations at headset
KR20150139229A (ko) 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법
CN111091681A (zh) 一种防丢监测方法、装置、存储介质及电子设备
KR101974207B1 (ko) 팬-구동형 힘 디바이스
US11727774B2 (en) 3D audio for detecting objects in danger zones around VR players
KR101588451B1 (ko) 시각장애인을 위한 게임 단말기 및 그 동작 방법
Bönsch et al. Being Guided or Having Exploratory Freedom: User Preferences of a Virtual Agent's Behavior in a Museum
JP6710845B1 (ja) リハビリテーション支援装置、その方法およびプログラム
US20230020282A1 (en) Recording medium having recorded thereon game program, game method, and terminal apparatus
JP2019012551A (ja) 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
JP6528306B2 (ja) 案内装置
McNabb Warning a distracted driver: Smart phone applications, informative warnings and automated driving take-over requests

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 5