KR101710013B1 - 가상현실 서비스 제공 장치 및 방법 - Google Patents

가상현실 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR101710013B1
KR101710013B1 KR1020150023165A KR20150023165A KR101710013B1 KR 101710013 B1 KR101710013 B1 KR 101710013B1 KR 1020150023165 A KR1020150023165 A KR 1020150023165A KR 20150023165 A KR20150023165 A KR 20150023165A KR 101710013 B1 KR101710013 B1 KR 101710013B1
Authority
KR
South Korea
Prior art keywords
user
brain wave
wave data
main body
eeg
Prior art date
Application number
KR1020150023165A
Other languages
English (en)
Other versions
KR20160100579A (ko
Inventor
이효재
Original Assignee
이효재
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이효재 filed Critical 이효재
Priority to KR1020150023165A priority Critical patent/KR101710013B1/ko
Publication of KR20160100579A publication Critical patent/KR20160100579A/ko
Application granted granted Critical
Publication of KR101710013B1 publication Critical patent/KR101710013B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상현실 서비스 제공 장치 및 방법이 개시된다. 본 발명에 따른 가상현실 서비스 제공 장치는, 사용자의 뇌파를 감지하여 가상현실 서비스를 제공하는 장치에 있어서, 상기 사용자의 머리에 착용되도록 구성된 본체, 상기 본체에 위치하여 상기 사용자의 뇌파를 감지하는 뇌파 감지 센서, 상기 본체에 위치하여 감지된 뇌파를 분석하여 상기 사용자가 생각한 내용에 대한 뇌파 데이터를 생성하는 뇌파 데이터 생성부, 상기 본체에 위치하여 상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 방사시키는 초음파 방사부 및 상기 본체에 위치하여 상기 뇌파 데이터에 대응하는 홀로그램 영상을 출력하는 홀로그램 출력부를 포함하는 것을 특징으로 한다.

Description

가상현실 서비스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING VIRTUAL REALITY SERVICE}
가상현실 서비스 제공 장치 및 방법에 관한 것이다. 더욱 상세하게는 사용자의 뇌파를 감지하여 분석하고, 분석된 뇌파를 기반으로 사용자의 생각에 대응하는 초음파 및 홀로그램 영상을 출력해주는 가상현실 서비스 제공 장치 및 방법에 관한 것이다.
최근, 사람의 뇌속의 전류와 혈류 변화 등을 기반으로 사람의 생각이나 감정상태에 대한 분석을 수행하는 연구가 증가하고 있다.
보다 구체적으로, 인간의 두피에서 측정되는 수십 마이크로 볼트 크기의 30Hz 이하의 전위차는 의식상태를 반영하는 물리 값으로서 과학기술적 연구가치가 매우 높다. 기술적인 응용으로서는 인간의 의지를 기계가 바로 인식하도록 함으로써, 인간의 생각만으로도 기계장치 등을 제어하는 연구가 활발하게 진행되고 있으며, 인간의 뇌파를 감지하여 감지된 뇌파에 따라 인간의 정신적 불안 상태나, 긴장 상태 등을 치료하기 위한 의료행위에서도 적용될 수 있는 기술이다.
종래에도 사람의 눈의 개안 및 폐안에 따른 알파파 변화를 이용하여 생각만으로 기기를 동작시켜 전구를 켜거나 끄며, 장난감의 간단한 조작을 할 수 있는 마음스위치가 발표되었으며(호주 UTS 대학), 안정상태에서 뇌파의 강도가 감소하는 것을 이용하여 생각만으로 자동차 경주 게임의 온오프(on/off) 제어신호로 이용하는 장치가 개발되었다(IBVA사). 눈을 감고 안정을 취하면 뇌파의 변화가 매우 크기 때문에 쉽게 긍정/부정(온/오프)을 판별할 수 있지만, 눈을 감지 않더라도 온/오프와 같은 1비트 의사판별은 인식률이 매우 높으며 사용자의 연습을 통하여 인식률은 더욱 높아지게 된다. 또한, 안구의 움직임을 추적하여 사용자의 시선에 따라서 컴퓨터 모니터상의 커서를 움직일 수 있는 아이트랙커(eye tracker)가 제안되었다. 이러한 커서 움직임과 관련한 종래기술의 한 예로서 미국특허 제5,638,826호를 들 수 있다.
다만, 뇌파를 측정하여 사용자의 생각에 대응하는 초음파 및 홀로그램 영상을 출력해주고, 사용자가 원하는 냄새 또는 음향 등을 출력해주는 기술은 없었다.
본 발명의 목적은, 상기한 문제점을 해결하기 위하여 안출된 것으로서, 사용자의 뇌파를 감지하여 분석하고, 분석된 뇌파를 기반으로 사용자의 생각에 대응하는 초음파 및 홀로그램 영상을 출력해주는 것을 가능케 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 가상현실 서비스 제공 장치는 사용자의 뇌파를 감지하여 가상현실 서비스를 제공하는 장치에 있어서, 상기 사용자의 머리에 착용되도록 구성된 본체, 상기 본체에 위치하여 상기 사용자의 뇌파를 감지하는 뇌파 감지 센서, 상기 본체에 위치하여 감지된 뇌파를 분석하여 상기 사용자가 생각한 내용에 대한 뇌파 데이터를 생성하는 뇌파 데이터 생성부, 상기 본체에 위치하여 상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 방사시키는 초음파 방사부 및 상기 본체에 위치하여 상기 뇌파 데이터에 대응하는 홀로그램 영상을 출력하는 홀로그램 출력부를 포함한다.
이 때, 상기 뇌파 감지 센서는, 상기 본체 내부의 서로 다른 곳에 위치하는 복수개로 형성될 수 있다.
이 때, 상기 뇌파 감지 센서는, 상기 사용자의 뇌 속의 전류와 혈류 변화를 감지하고, 상기 뇌파 데이터 생성부는, 감지된 상기 사용자의 뇌 속의 전류와 혈류 변화를 기반으로 뇌파 데이터를 생성할 수 있다.
이 때, 상기 초음파 방사부는, 상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 방사시킴으로써 상기 사용자의 뇌를 자극하되, 자극의 위치와 깊이를 조절할 수 있다.
이 때, 상기 초음파 방사부는, 상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면, 상기 사용자가 긴장을 완화할 수 있는 초음파를 방사시킬 수 있다.
이 때, 상기 홀로그램 출력부는, 상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면, 상기 사용자가 긴장을 완화할 수 있는 홀로그램 영상을 출력할 수 있다.
이 때, 상기 본체에 위치하여, 상기 사용자에게 상기 뇌파 데이터에 대응하는 음향을 출력하는 음향 출력부를 더 포함할 수 있다.
이 때, 상기 본체에 위치하여, 상기 사용자에게 상기 뇌파 데이터에 대응하는 냄새를 출력하는 발향부를 더 포함할 수 있다.
이 때, 상기 본체에 위치하여, 상기 사용자에게 상기 뇌파 데이터에 대응하는 진동을 출력하는 진동 출력부를 더 포함할 수 있다.
이 때, 상기 본체에 위치하여, 상기 사용자에게 상기 뇌파 데이터에 대응하는 열기 및 습기를 출력하는 환경 출력부를 더 포함할 수 있다.
이 때, 상기 본체 또는 상기 본체와 이격되어 상기 본체와 무선통신이 가능한 입력부를 더 포함하며, 상기 사용자가 상기 입력부에 입력하는 입력 값에 대응하여, 상기 초음파 방사부, 상기 홀로그램 출력부, 상기 음향 출력부, 상기 발향부, 상기 진동 출력부 및 상기 환경 출력부를 동작시킬 수 있다.
이 때, 상기 홀로그램 출력부는, 빛의 간섭(interference)에 의해 생성된 간섭무늬를 기록하도록 형성되는 홀로그래피 저장부 및 상기 간섭무늬와 회절(diffraction)을 일으켜 생성된 상기 홀로그램 영상이 상기 사용자의 주변에 출력되게 상기 홀로그래피 저장부에 빛을 조사하도록 이루어지는 홀로그래피 조사부를 포함할 수 있다.
또한, 본 발명에 따른 가상현실 서비스 제공 방법은 사용자의 뇌파를 감지하여 가상현실 서비스를 제공하는 방법에 있어서, 뇌파 감지 센서에 의하여 상기 사용자의 뇌파를 감지하는 단계, 감지된 뇌파를 분석하여 상기 사용자가 생각한 내용에 대한 뇌파 데이터를 생성하는 단계, 상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 출력하는 단계 및 상기 사용자에게 상기 뇌파 데이터에 대응하는 홀로그램을 출력하는 단계를 포함한다.
이 때, 상기 뇌파를 감지하는 단계는, 상기 사용자의 머리에 착용되도록 구성된 본체의 서로 다른 곳에 위치하는 복수개의 뇌파 감지 센서에 의하여 뇌파를 감지할 수 있다.
이 때, 상기 뇌파를 감지하는 단계는, 상기 사용자의 뇌 속의 전류와 혈류 변화를 감지하고, 상기 뇌파 데이터를 생성하는 단계는, 감지된 상기 사용자의 뇌 속의 전류와 혈류 변화를 기반으로 뇌파 데이터를 생성할 수 있다.
이 때, 상기 초음파를 출력하는 단계는, 상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 방사시킴으로써 상기 사용자의 뇌를 자극하되, 자극의 위치와 깊이가 변동될 수 있다.
이 때, 상기 초음파를 출력하는 단계는, 상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면, 상기 사용자가 긴장을 완화할 수 있는 초음파를 방사시키고, 상기 홀로그램을 출력하는 단계는, 상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면, 상기 사용자가 긴장을 완화할 수 있는 홀로그램 영상을 출력할 수 있다.
이 때, 상기 홀로그램을 출력하는 단계 이후에, 상기 사용자에게 상기 뇌파 데이터에 대응하는 음향을 출력하는 단계, 상기 사용자에게 상기 뇌파 데이터에 대응하는 냄새를 출력하는 단계, 상기 사용자에게 상기, 뇌파 데이터에 대응하는 진동을 출력하는 단계 및 상기 사용자에게 상기 뇌파 데이터에 대응하는 열기 및 습기를 출력하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 사용자의 뇌파를 감지하여 분석하고, 분석된 뇌파를 기반으로 사용자의 생각에 대응하는 초음파 및 홀로그램 영상을 출력해줌으로써 사용자가 원하는 가상 체험을 제공해줄 수 있는 효과가 있다.
도 1은 본 발명에 따른 가상현실 서비스 제공 장치의 블록도이다.
도 2는 본 발명에 따른 가상현실 서비스 제공 장치의 홀로그램 출력부를 설명하기 위한 도면이다.
도 3 및 도 4는 홀로그래피의 원리를 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 가상현실 서비스 제공 장치의 실시예를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 가상현실 서비스 제공 장치를 착용한 모습의 실시예이다.
도 7은 본 발명에 따른 가상현실 서비스 제공 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 가상현실 서비스 제공 장치의 블록도이다. 도 2는 본 발명에 따른 가상현실 서비스 제공 장치의 홀로그램 출력부를 설명하기 위한 도면이다. 도 3 및 도 4는 홀로그래피의 원리를 설명하기 위한 개념도이다. 도 5는 본 발명에 따른 가상현실 서비스 제공 장치의 실시예를 설명하기 위한 도면이다.
도 1을 참조하여 설명하면, 본 발명에 따른 가상현실 서비스 제공 장치(100)는 본체(100), 뇌파 감지 센서(120), 뇌파 데이터 생성부(130), 초음파 방사부(140) 및 홀로그램 출력부(150)를 포함하여 구성된다. 또한, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
상기 본체(100)는, 사용자의 머리에 착용되도록 구성되어 있는 것을 특징으로 한다. 상기 뇌파 감지 센서(120), 뇌파 데이터 생성부(130), 초음파 방사부(140) 및 홀로그램 출력부(150)들은 상기 본체에 장착된다. 실시예에 따라 각 구성요소들은 상기 본체(100)의 내부 또는 외부에 위치할 수 있다. 바람직하게는 상기 뇌파 감지 센서(120)는 사용자의 뇌파를 감지해야 하므로 상기 사용자의 머리와 상기 본체(100)가 접하는 영역에 위치할 수 있다.
또한, 상기 본체(100)는 실시예에 따라 사용자의 머리에 착용되는 헬맷 형태 이외에도, 상기 사용자의 두 귀에 장착되는 헤드폰(이어폰)의 형태로 구성될 수도 있다. 다만, 이와 같이 헤드폰(이어폰)의 형태로 구성될 때에도, 사용자의 뇌파를 감지해야 하므로 사용자의 머리와 접하는 구성은 필수적으로 필요하게 된다.
상기 뇌파 감지 센서(120)는 상기 본체에 위치하여 상기 사용자의 뇌파를 감지하는 기능을 수행한다. 보다 구체적으로 상기 뇌파 감지 센서(120)는 상기 본체 내부의 서로 다른 곳에 위치하는 복수개로 형성될 수 있다. 즉, 사용자의 뇌파를 감지하기 위하여 상기 사용자의 머리와 접하는 복수개의 센서가 탑재될 수 있는 것이다. 또한, 상기 뇌파 감지 센서(120)는 상기 사용자의 뇌 속의 전류와 혈류 변화를 감지하게 된다.
상기 뇌파 데이터 생성부(130)는, 상기 본체에 위치하여 상기 뇌파 감지 센서(120)로부터 감지된 뇌파를 분석하여 상기 사용자가 생각한 내용에 대한 뇌파 데이터를 생성하는 기능을 수행한다. 본 발명에 따른 가상현실 서비스 제공 장치(100)는 메모리부를 더 포함할 수 있으며, 상기 메모리부에는 상기 뇌파 데이터를 생성하기 위한 프로그램이 저장되어 있을 수 있다. 보다 구체적으로 상기 뇌파 데이터라 함은 상기 뇌파 감지 센서(120)로부터 감지된 뇌파를 분석하여, 상기 사용자의 감정 상태, 흥분 상태, 또는 상기 사용자가 원하는 냄새 또는 상기 사용자가 원하는 환경에 대한 데이터를 생성하게 된다. 이와 같이 뇌파 데이터가 생성되게 되면, 상기 뇌파 데이터를 기반으로 상기 초음파 방사부(140) 및 상기 홀로그램 출력부(150)가 동작하게 되는 것이다. 다시 말해서 상기 뇌파 데이터라 함은 상기 사용자의 생각에 대한 데이터로서, 상기 초음파 방사부(140) 및 상기 홀로그램 출력부(150)를 구동하기 위한 지시 데이터가 될 수 있는 것이다.
상기 초음파 방사부(140)는, 상기 본체에 위치하여 상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 방사시키는 기능을 수행한다. 실시예에 따라 상기 초음파 방사부(140)는 상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 방사시킴으로써 상기 사용자의 뇌를 자극하되, 자극의 위치와 깊이를 조절할 수 있다. 상기 뇌파 데이터에 대응하는 초음파에 대한 정보는 상기 메모리부에 저장되어 있을 수 있다. 예를 들어, 상기 초음파 방사부(140)는 상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면, 상기 사용자가 긴장을 완화할 수 있는 초음파를 방사시킴으로써 상기 사용자에게 최적화된 감각과 느낌을 전달해주는 기능을 수행하게 된다.
상기 홀로그램 출력부(150)는 상기 본체에 위치하여 상기 뇌파 데이터에 대응하는 홀로그램 영상을 출력하는 기능을 수행한다. 도 2에 도시된 바와 같이, 상기 홀로그램 출력부(150)는 홀로그래피 저장부(151) 및 홀로그래피 조사부(152)를 포함하여 구성될 수 있다. 상기 홀로그래피 저장부(151)는 빛의 간섭(interference)에 의해 생성된 간섭무늬를 기록하도록 형성되며, 상기 호롤그래피 조사부(152)는 상기 간섭무늬와 회절(diffraction)을 일으켜 생성된 상기 홀로그램 영상이 상기 사용자의 주변에 출력되게 상기 홀로그래피 저장부에 빛을 조사하도록 이루어지는 것을 특징으로 한다.
도 3 및 도 4는 홀로그래피의 원리를 설명하기 위한 개념도이다.
도 3을 참조하면, 레이저 광원(201)에서 나온 간섭성 빛은 스플리터(202)를 통해 둘로 나누어진다. 이 중 하나의 광선은 피사체(207)을 비추고, 피사체(207)의 표면에서 난반사된 빛이 홀로그래피 감광재료(205)에 도달하게 된다. 이러한 광선을 물체파라고 정의한다. 한편, 광선의 경로를 전환하기 위해서는 거울(203,204)이 사용될 수 있다.
상기 스플리터(202)에서 나누어진 또 하나의 광선은 거울(208)을 통하여 경로가 전환되며, 렌즈(206)를 통하여 확산되어 피사체(207)를 비추지 않고 직접 홀로그래피 감광재료(205) 전면에 도달하게 된다. 이와 같이, 피사체(20)를 비추지 않고 직접 홀로그래피 감광재료(205)의 전면에 도달하게 되는 광선을 기준파라고 정의한다. 즉, 상기 레이저 광원(201)에서 나온 빛은 물체파와 기준파로 분리되어 정의될 수 있다.
홀로그래피 감광재료(205) 상에 물체파와 기준파가 서로 간섭(interference) 현상을 일으켜 1mm당 500~1,500개 정도의 매우 섬세하고 복잡한 간섭무늬를 만들게 된다. 이러한 간섭무늬를 기록한 홀로그래피 저장매체를 홀로그램이라고 한다.
이후, 도 4에 도시된 바와 같이, 생성된 기준파와 같은 광선, 즉 재생파를 홀로그래피 감광재료(205)에 투사하면 간섭무늬가 회절결자의 역할을 해서 기준파가 입사한 방향과 다른 위치에서 빛이 회절(diffraction)되고, 회절된 빛이 모여 처음 물체에서 반사해서 생긴 빛과 같이 형성됨으로써 홀로그래피 영상(209)을 투사하게 된다. 즉, 홀로그램을 통해 처음의 물체광이 재생되어 홀로그래피 영상(209)으로 표현될 수 있다.
이 때, 재생된 파면 안에서 들여다보면 처음 물체가 보이기는 하나 마치 물체가 안쪽에 있는 것처럼 보인다. 그리고 보는 지점을 이동하면 물체가 보이는 위치도 변하여 마치 입체사진을 보는 것처럼 보인다. 또한, 원래 물체의 파면이 재생되기 때문에 아주 약간 변형한 물체에서 나오는 파면과도 간섭시킬 수 있다.
홀로그래피 영상(209)의 표현 방식은 재생 방식에 따라 투과형 홀로그래피 영상 표현 방식과 반사형 홀로그래피 영상 표시 방식으로 구분될 수 있다.
투과형 홀로그래피 영상 표현 방식은 홀로그램의 뒤에서 빛을 비추어 투과하여 나온 상을 홀로그램 앞에서 관찰할 수 있도록 하는 방식으로서 투과형 홀로그래피 영상 표현 방식에서는 제작 시에 물체파와 기준파를 같은 방향으로 홀로그래피 감광재료에 노출시키게 되고 생성된 홀로그래피 영상은 색이 선명하고 밝은 것이 특징이다.
다음으로, 반사형 홀로그래피 영상 표시 방식은 홀로그램의 앞에서 빛을 비추어 반사하여 나온 상을 홀로그램의 앞에서 관찰할 수 있도록 하는 방식으로서 물체파와 기준파를 홀로그래피 감광재료에 서로 반대 방향으로 입사하도록 제작된다. 반사형 홀로그래피 영상 표시 방식으로 생성된 홀로그래피 영상은 입체감이 뛰어난 것이 특징이다.
본 명세서에서 상기 홀로그래피 감광재료(307, 407)는 홀로그래피 저장부(151)에 구비되는 홀로그래피 저장매체로 표현되고, 상기 홀로그래피 감광재료(307, 407)에 빛을 투사하여 홀로그래피 영상을 생성할 수 있는 다른 구성요소는 홀로그래피 조사부(152)로 표현된다. 설명의 편의를 위해 본 명세서에서는 홀로그래피 저장부(151)와 홀로그래피 조사부(152)가 홀로그래피 출력부(150)에 포함되어 함께 구현되는 것으로 설명하나, 이는 단순한 일례에 불과하고 별개의 구성으로 가상현실 서비스 제공 장치(100)에 포함될 수도 있다.
이와 같은 홀로그램 출력부(150)에 의하여, 상기 초음파 방사부(140)에서 방사되는 초음파와 더불어, 상기 사용자의 긴장을 풀어줄 수 있는 홀로그램 영상을 출력해줄 수도 있는 것이고, 상기 사용자가 보고 싶은 장면이나, 상기 사용자가 겪는 감정에 대응되는 홀로그램 영상을 제공해줄 수 있는 것이다.
이하, 도 5를 참조하여 본 발명에 따른 가상현실 서비스 제공 장치(200)의 실시예에 대하여 설명하도록 한다.
도 5를 참조하여 설명하면, 본 발명에 따른 가상현실 서비스 제공 장치(200)는 본체(210), 뇌파 감지 센서(220), 뇌파 데이터 생성부(230), 초음파 방사부(240), 홀로그램 출력부(250), 음향 출력부(260), 발향부(270), 진동 출력부(280) 및 환경 출력부(290)를 포함하여 구성될 수 있다.
상기 본체(210), 뇌파 감지 센서(220), 상기 뇌파 데이터 생성부(230), 초음파 방사부(240) 및 홀로그램 출력부(250)는 상기 설명한 바 있으므로 구체적인 구성 및 동작에 대한 설명은 생략하도록 한다.
상기 음향 출력부(260)는, 상기 본체에 위치하여, 상기 사용자에게 상기 뇌파 데이터에 대응하는 음향을 출력하는 기능을 수행하며, 상기 발향부(270)는 상기 본체에 위치하여 상기 사용자에게 상기 뇌파 데이터에 대응하는 냄새를 출력하는 기능을 수행하며, 상기 진동 출력부(280)는 상기 사용자에게 상기 뇌파 데이터에 대응하는 진동을 출력하는 기능을 수행한다. 또한, 상기 환경 출력부는 상기 본체에 위치하여 상기 사용자에게 상기 뇌파 데이터에 대응하는 열기 및 습기를 출력하는 기능을 수행한다. 또한, 상시 실시예 이외에도, 본 발명에 따른 가상현실 서비스 제공 장치는 사용자가 생각하는 오감을 만족시킬 수 있도록 구성될 수 있다. 예컨대, 시각, 청각, 맛, 향기, 촉감, 열기, 습도, 화면 및 사운드 등이 될 수 있다.
또한, 본 발명에 따른 가상현실 서비스 제공 장치는 입력부를 더 포함할 수 있다. 상기 입력부는 사용자가 본 발명에 다른 가상현실 서비스 제공 장치의 동작 제어를 위한 입력 값 발생시킨다. 사용자 입력부는 키 패드(ket pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
이 때, 상기 입력부는 실시예에 따라 상기 본체 또는 상기 본체와 이격되어 상기 본체(100)와 무선통신이 가능하다. 따라서 상기 사용자가 상기 입력부에 입력하는 입력 값에 대응하여, 상기 초음파 방사부, 상기 홀로그램 출력부, 상기 음향 출력부, 상기 발향부, 상기 진동 출력부 및 상기 출력부를 동작 시킬 수 있다. 보다 구체적으로 설명하면, 본 발명에 따른 가상현실 서비스 제공 장치는 감지된 뇌파를 기반으로 생성된 뇌파 데이터에 기초하여 사용자가에 최적화된 감각과 느낌을 전달하기 위한 수단으로서 초음파를 방사하거나, 홀로그램 영상을 출력하는 것 이외에, 상기 사용자가 상기 입력부에 입력하는 입력 값을 기반으로 사용자가 원하는 환경들을 제공할 수 있게 된다.
상기 입력부가 존재함에 따라, 뇌파 감지 센서에 의하여 감지하여 생성된 뇌파 데이터를 기반으로 상기 사용자가 흥분하고 있는 것으로 판단된다고 하더라도, 흥분을 완화시키는 것이 아니라 상기 사용자가 입력부에 입력을 함으로써 보다 흥분되는 익사이팅한 홀로그램 영상을 출력시켜줄 수도 있는 것이다.
도 6은 본 발명에 따른 가상현실 서비스 제공 장치를 착용한 모습의 실시예이다.
도 6에 도시된 바와 같이, 사용자는 본 발명에 따른 가상현실 서비스 제공 장치를 머리에 착용하는 형태로 실시할 수 있으며, 상기 가상현실 서비스 제공 장치의 본체에는 복수개의 뇌파 감지 센서(121,122,123), 뇌파 데이터 생성부(미도시), 복수개의 초음파 방사부(141,142) 및 홀로그램 출력부(150)가 구성되어 있음을 확인할 수 있다. 도 6에는 상기 홀로그램 출력부(150)를 통하여 홀로그램 영상이 사용자의 전면에 출력되는 실시예가 도시되어 있으나, 경우에 따라서는 상기 홀로그램 출력부(150)가 복수개로 형성되어 있음은 물론, 상기 사용자의 전면 뿐만 아니라, 측면 또는 상기 사용자의 머리 상단에 홀로그램 영상이 출력되도록 설계될 수 있을 것이다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다.
이하, 본 발명에 따른 가상현실 서비스 제공 방법에 대하여 설명하도록 한다. 상기 설명한 바와 같이 본 발명에 따른 가상현실 서비스 제공 장치와 중복되는 기술내용에 대한 설명은 생략하도록 한다. 도 7은 본 발명에 따른 가상현실 서비스 제공 방법의 흐름도이다.
도 7을 참조하여 설명하면, 본 발명에 따른 가상 현실 서비스 제공 방법은, 사용자의 뇌파를 감지하는 단계(S100), 사용자가 생각한 내용에 대한 뇌파 데이터를 생성하는 단계(S110), 뇌파 데이터에 대응하는 초음파를 출력하는 단계(S120) 및 뇌파 데이터에 대응하는 홀로그램을 출력하는 단계(S130)를 포함한다.
실시예에 따라, 상기 S100 단계는 상기 사용자의 머리에 착용되도록 구성된 본체의 서로 다른 곳에 위치하는 복수개의 뇌파 감지 센서에 의하여 뇌파를 감지할 수 있다. 또한, 상기 S100 단계는 상기 사용자의 뇌 속의 전류와 혈류 변화를 감지하고 상기 S110 단계는 상기 S100 단계에서 감지된 상기 사용자의 뇌 속의 전류오하 혈류 변화를 기반으로 뇌파 데이터를 생성할 수 있다.
또한, 상기 S120 단계는 상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 방사시킴으로써 상기 사용자의 뇌를 자극하되, 자극의 위치와 깊이를 제어할 수 있으며, 실시예에 따라 상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면, 상기 사용자가 긴장을 완화할 수 있는 초음파를 방사시킬 수 있다.
또한, 상기 S130 단계 이후에, 상기 사용자에게 상기 뇌파 데이터에 대응하는 음향을 출력하는 단계, 상기 사용자에게 상기 뇌파 데이터에 대응하는 냄새를 출력하는 단계, 상기 사용자에게 상기 뇌파 데이터에 대응하는 진동을 출력하는 단계 및 상기 사용자에게 상기 뇌파 데이터에 대응하는 열기 및 습기를 출력하는 단계를 더 포함할 수도 있다.
상기 살펴본 바와 같이, 본 발명에 따른 가상현실 서비스 제공 장치 및 방법은, 사용자의 뇌파를 감지하여 분석하고, 분석된 뇌파를 기반으로 사용자의 생각에 대응하는 초음파 및 홀로그램 영상을 출력해줌으로써 사용자가 원하는 가상 체험을 제공해줄 수 있는 장점이 있으며, 힐링, 의료, 게임, 교육 및 훈련 등 사용자 맞춤형 및 실감형(체험형) 서비스를 제공할 수 있는 장점이 있다.
이상에서와 같은 본 발명은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 대여적으로 조합되어 구성될 수도 있다. 따라서 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 따라야 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100,200: 가상현실 서비스 제공 장치
110,210: 본체
120,220: 뇌파 감지 센서
130,230: 뇌파 데이터 생성부
140,240: 초음파 방사부
150,250: 홀로그램 출력부
151: 홀로그래피 저장부
152: 홀로그래피 조사부
260: 음향 출력부
270: 발향부
280: 진동 출력부
290: 환경 출력부

Claims (18)

  1. 사용자의 뇌파를 감지하여 가상현실 서비스를 제공하는 장치에 있어서,
    상기 사용자의 머리에 착용되도록 구성된 본체;
    상기 본체에 위치하여 상기 사용자의 뇌파를 감지하는 뇌파 감지 센서;
    상기 본체에 위치하여 감지된 뇌파를 분석하여 상기 사용자가 생각한 내용에 대한 뇌파 데이터를 생성하는 뇌파 데이터 생성부;
    상기 본체에 위치하여 상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 방사시키는 초음파 방사부; 및
    상기 본체에 위치하여 상기 뇌파 데이터에 대응하는 홀로그램 영상을 출력하는 홀로그램 출력부;를 포함하고,
    상기 초음파 방사부는, 상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면, 상기 사용자가 긴장을 완화할 수 있는 초음파를 방사시켜 상기 사용자의 뇌를 자극하되, 자극의 위치와 깊이를 조절하는 것을 특징으로 하는 가상현실 서비스 제공 장치.
  2. 청구항 1에 있어서,
    상기 뇌파 감지 센서는,
    상기 본체 내부의 서로 다른 곳에 위치하는 복수개로 형성되는 것을 특징으로 하는 가상현실 서비스 제공 장치.
  3. 청구항 2에 있어서,
    상기 뇌파 감지 센서는,
    상기 사용자의 뇌 속의 전류와 혈류 변화를 감지하고,
    상기 뇌파 데이터 생성부는,
    감지된 상기 사용자의 뇌 속의 전류와 혈류 변화를 기반으로 뇌파 데이터를 생성하는 것을 특징으로 하는 가상현실 서비스 제공 장치.

  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 홀로그램 출력부는,
    상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면,
    상기 사용자가 긴장을 완화할 수 있는 홀로그램 영상을 출력하는 것을 특징으로 하는 가상현실 서비스 제공 장치.
  7. 청구항 1에 있어서,
    상기 본체에 위치하여, 상기 사용자에게 상기 뇌파 데이터에 대응하는 음향을 출력하는 음향 출력부를 더 포함하는 것을 특징으로 하는 가상현실 서비스 제공 장치.
  8. 청구항 7에 있어서,
    상기 본체에 위치하여, 상기 사용자에게 상기 뇌파 데이터에 대응하는 냄새를 출력하는 발향부를 더 포함하는 것을 특징으로 하는 가상현실 서비스 제공 장치.
  9. 청구항 8에 있어서,
    상기 본체에 위치하여, 상기 사용자에게 상기 뇌파 데이터에 대응하는 진동을 출력하는 진동 출력부를 더 포함하는 것을 특징으로 하는 가상현실 서비스 제공 장치.
  10. 청구항 9에 있어서,
    상기 본체에 위치하여, 상기 사용자에게 상기 뇌파 데이터에 대응하는 열기 및 습기를 출력하는 환경 출력부를 더 포함하는 것을 특징으로 하는 가상현실 서비스 제공 장치.
  11. 청구항 10에 있어서,
    상기 본체 또는 상기 본체와 이격되어 상기 본체와 무선통신이 가능한 입력부를 더 포함하며,
    상기 사용자가 상기 입력부에 입력하는 입력 값에 대응하여,
    상기 초음파 방사부, 상기 홀로그램 출력부, 상기 음향 출력부, 상기 발향부, 상기 진동 출력부 및 상기 환경 출력부를 동작시키는 것을 특징으로 하는 가상현실 서비스 제공 장치.
  12. 청구항 1에 있어서,
    상기 홀로그램 출력부는,
    빛의 간섭(interference)에 의해 생성된 간섭무늬를 기록하도록 형성되는 홀로그래피 저장부; 및
    상기 간섭무늬와 회절(diffraction)을 일으켜 생성된 상기 홀로그램 영상이 상기 사용자의 주변에 출력되게 상기 홀로그래피 저장부에 빛을 조사하도록 이루어지는 홀로그래피 조사부를 포함하는 것을 특징으로 하는 가상현실 서비스 제공 장치.
  13. 사용자의 뇌파를 감지하여 가상현실 서비스를 제공하는 방법에 있어서,
    뇌파 감지 센서에 의하여 상기 사용자의 뇌파를 감지하는 단계;
    감지된 뇌파를 분석하여 상기 사용자가 생각한 내용에 대한 뇌파 데이터를 생성하는 단계;
    상기 사용자에게 상기 뇌파 데이터에 대응하는 초음파를 출력하는 단계; 및
    상기 사용자에게 상기 뇌파 데이터에 대응하는 홀로그램을 출력하는 단계;를 포함하고,
    상기 초음파를 출력하는 단계는, 상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면, 상기 사용자가 긴장을 완화할 수 있는 초음파를 방사시켜 상기 사용자의 뇌를 자극하되, 자극의 위치와 깊이가 변동되는 것을 특징으로 하는 가상현실 서비스 제공 방법.
  14. 청구항 13에 있어서,
    상기 뇌파를 감지하는 단계는,
    상기 사용자의 머리에 착용되도록 구성된 본체의 서로 다른 곳에 위치하는 복수개의 뇌파 감지 센서에 의하여 뇌파를 감지하는 것을 특징으로 하는 가상현실 서비스 제공 방법.
  15. 청구항 14에 있어서,
    상기 뇌파를 감지하는 단계는,
    상기 사용자의 뇌 속의 전류와 혈류 변화를 감지하고,
    상기 뇌파 데이터를 생성하는 단계는,
    감지된 상기 사용자의 뇌 속의 전류와 혈류 변화를 기반으로 뇌파 데이터를 생성하는 것을 특징으로 하는 가상현실 서비스 제공 방법.
  16. 삭제
  17. 청구항 13에 있어서,
    상기 홀로그램을 출력하는 단계는,
    상기 뇌파 데이터를 기반으로 사용자가 긴장하고 있는 경우로 판단되면,
    상기 사용자가 긴장을 완화할 수 있는 홀로그램 영상을 출력하는 것을 특징으로 하는 가상현실 서비스 제공 방법.
  18. 청구항 13에 있어서,
    상기 홀로그램을 출력하는 단계 이후에,
    상기 사용자에게 상기 뇌파 데이터에 대응하는 음향을 출력하는 단계;
    상기 사용자에게 상기 뇌파 데이터에 대응하는 냄새를 출력하는 단계;
    상기 사용자에게 상기 뇌파 데이터에 대응하는 진동을 출력하는 단계; 및
    상기 사용자에게 상기 뇌파 데이터에 대응하는 열기 및 습기를 출력하는 단계를 더 포함하는 것을 특징으로 하는 가상현실 서비스 제공 방법.
KR1020150023165A 2015-02-16 2015-02-16 가상현실 서비스 제공 장치 및 방법 KR101710013B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150023165A KR101710013B1 (ko) 2015-02-16 2015-02-16 가상현실 서비스 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150023165A KR101710013B1 (ko) 2015-02-16 2015-02-16 가상현실 서비스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160100579A KR20160100579A (ko) 2016-08-24
KR101710013B1 true KR101710013B1 (ko) 2017-02-24

Family

ID=56884105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150023165A KR101710013B1 (ko) 2015-02-16 2015-02-16 가상현실 서비스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101710013B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190092141A (ko) * 2018-01-30 2019-08-07 한국원자력연구원 주제어실 화재 체험을 위한 시뮬레이션 장치 및 방법
KR20240029921A (ko) 2022-08-29 2024-03-07 주식회사 에스와이이노테크 복합 생체신호 처리 기반 vr 기기를 활용한 스마트 인지코칭서비스 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955583B1 (ko) * 2016-12-28 2019-07-31 (주)뮤테이션 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법
KR102401312B1 (ko) * 2020-02-06 2022-05-24 한국기술교육대학교 산학협력단 가상현실 및 인공지능을 이용한 상담환경 제어시스템, 제어 방법 및 제어 프로그램을 기록한 기록 매체
KR102401311B1 (ko) * 2020-02-06 2022-05-25 한국기술교육대학교 산학협력단 뇌파 분석을 이용한 상담환경 제어시스템, 제어 방법 및 제어 프로그램을 기록한 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006280806A (ja) * 2005-04-04 2006-10-19 Advanced Telecommunication Research Institute International 脳内電流源推定方法、生体情報推定方法、脳内電流源推定装置、及び生体情報推定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061311A (ko) * 2005-12-08 2007-06-13 한국전자통신연구원 뇌파를 통한 스트레스 상태 인식과 음악을 이용한 이완시스템 및 방법
KR100947639B1 (ko) * 2007-06-20 2010-03-12 단국대학교 산학협력단 감성뇌파신호를 이용한 실시간 멀티미디어 컨텐츠출력시스템 및 방법
KR20110064706A (ko) * 2009-12-08 2011-06-15 경북대학교 산학협력단 뇌파 발생장치 및 발생방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006280806A (ja) * 2005-04-04 2006-10-19 Advanced Telecommunication Research Institute International 脳内電流源推定方法、生体情報推定方法、脳内電流源推定装置、及び生体情報推定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190092141A (ko) * 2018-01-30 2019-08-07 한국원자력연구원 주제어실 화재 체험을 위한 시뮬레이션 장치 및 방법
KR102024794B1 (ko) 2018-01-30 2019-09-24 한국원자력연구원 주제어실 화재 체험을 위한 시뮬레이션 장치 및 방법
KR20240029921A (ko) 2022-08-29 2024-03-07 주식회사 에스와이이노테크 복합 생체신호 처리 기반 vr 기기를 활용한 스마트 인지코칭서비스 시스템

Also Published As

Publication number Publication date
KR20160100579A (ko) 2016-08-24

Similar Documents

Publication Publication Date Title
KR101710013B1 (ko) 가상현실 서비스 제공 장치 및 방법
Carlile et al. The perception of auditory motion
Väljamäe Auditorily-induced illusory self-motion: A review
JP2019521379A5 (ko)
KR20200127150A (ko) 생체 센서 데이터를 기초로 하는 디렉팅된 컨텐츠로 사용자 참여를 디지털로 표현
CN108121441A (zh) 有针对性的触觉投射
EP3281666B1 (fr) Système de réalité virtuelle
US20150016613A1 (en) Spatial angle modulation binaural sound system
US11779275B2 (en) Multi-sensory, assistive wearable technology, and method of providing sensory relief using same
McCreadie et al. Sensorimotor learning with stereo auditory feedback for a brain–computer interface
Geronazzo et al. Creating an audio story with interactive binaural rendering in virtual reality
Kolarik et al. A framework to account for the effects of visual loss on human auditory abilities.
KR20150053286A (ko) 능동형 뉴로 피드백 장치 및 그 제어방법
US20210303070A1 (en) Devices and headsets
KR20160113538A (ko) 컨텐츠 제공 장치 및 방법, 컨텐츠 제공 장치를 포함하는 헬멧 및 안경
EP4161387B1 (en) Sound-based attentive state assessment
CA3230610A1 (en) Multi-sensory, assistive wearable technology, and method of providing sensory relief using same
WO2015003103A1 (en) Systems and methods for eliciting cutaneous sensations using electromagnetic radiation
Pavani et al. Eye-movements intervening between two successive sounds disrupt comparisons of auditory location
Serafin Audio in Multisensory Interactions: From Experiments to Experiences
Kondo et al. Effects of bone-conducted vibration stimulation of various frequencies on the vertical vection
US11579690B2 (en) Gaze tracking apparatus and systems
KR20180054400A (ko) 초음파를 이용한 콘텐츠 기반 체감각 제공 전자 장치, 웨어러블 디바이스, 및 방법
KR102434228B1 (ko) 전전두엽에서의 뇌파에 따른 자극을 인가하는 뉴로 피드백 장치
Friehs et al. A touching advantage: cross-modal stop-signals improve reactive response inhibition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 4