KR101407325B1 - 증강 현실 장치 - Google Patents

증강 현실 장치 Download PDF

Info

Publication number
KR101407325B1
KR101407325B1 KR1020130059422A KR20130059422A KR101407325B1 KR 101407325 B1 KR101407325 B1 KR 101407325B1 KR 1020130059422 A KR1020130059422 A KR 1020130059422A KR 20130059422 A KR20130059422 A KR 20130059422A KR 101407325 B1 KR101407325 B1 KR 101407325B1
Authority
KR
South Korea
Prior art keywords
virtual
drawing sheet
sheet
augmented reality
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020130059422A
Other languages
English (en)
Inventor
양현승
이수원
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130059422A priority Critical patent/KR101407325B1/ko
Application granted granted Critical
Publication of KR101407325B1 publication Critical patent/KR101407325B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 모바일 디바이스의 카메라 영상 내의 물체에 그림 객체를 중첩 인식시키기 위한 증강 현실 모듈; 및 상기 그림 객체를 생성하기 위한 페인트 모듈;을 포함하는 증강 현실 장치에 있어서, 상기 증강 현실 모듈은, 상기 카메라 영상으로부터 상기 물체를 인식하는 물체 인식부와, 상기 물체에 대응하는 가상 도화지를 생성하는 도화지 생성부와 상기 가상 도화지의 자세를 변환시켜 상기 가상 도화지를 상기 물체에 중첩시키는 도화지 증강부를 포함하고, 상기 페인트 모듈은, 상기 가상 도화지에 그림 객체를 생성할 수 있는 그림 도구를 제공하는 그림 도구부와 상기 그림 객체가 생성된 가상 도화지의 자세를 역변환하기 위한 왜곡 변환부를 포함할 수 있다.

Description

증강 현실 장치{Augmented-Reality Device}
본 발명은 증강 현실 장치에 관한 것으로, 더 구체적으로는 카메라를 통해 입력된 영상 내의 물체 위에 사용자가 현장에서 직접 그림을 그릴 수 있고 그려진 그림을 해당 물체에 정합시킬 수 있는 증강 현실 장치에 관한 것이다.
증강현실(Augmented Reality)은 가상현실(Virtual Reality)의 한 분야로 현실 세계에 가상의 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법 중의 하나이다.
기존의 가상 현실은 단순히 가상의 공간과 사물만을 대상으로 하는 반면, 증강현실은 현실 세계를 기반으로 가상의 사물을 합성하여 보여줌으로써, 현실감을 극대화하면서도 현실 세계에서 제공하기 어려운 다양한 부가적인 정보들을 제공할 수 있다.
이러한 특징 덕분에, 게임 등 한정된 분야에만 적용가능하던 기존의 가상현실과 달리, 증강현실은 다양한 실제 환경에 응용이 가능하여 유비쿼터스(Ubiquitous) 환경에 특히 적합한 차세대 인터페이스로 각광을 받고 있다.
즉, 스마트폰을 비롯한 지능형 모바일 장치(Intellectual Mobile Device: IMD)가 널리 보급되어, 시간과 장소에 구애받지 않고 언제나 정보통신망에 접속하여 다양한 정보통신서비스를 활용할 수 있는 유비쿼터스 컴퓨팅 환경이 일상화됨으로써, 언제 어디서든 일상적인 사물과 장소를 증강현실을 통한 정보처리와 정보교환의 매개체로 활용할 수 있게 되었다.
그러나 이와 같은 종래의 증강현실 기술은 인식 가능한 그림이나 물체에 이미 생성되어 있는 디지털 콘텐츠를 증강시켰다. 이와 같이 증강되는 콘텐츠가 특정 물체마다 미리 정해져 있음으로써, 사용자의 참여와 자유의지를 제한함과 동시에 특정 목적에만 맞는 용도로만 사용이 제한되었다.
한국공개특허공보 제2012-0067421호(출원일 : 2010.12.16)
본 발명은 카메라를 통해 들어온 영상 내의 물체 위에 사용자가 현장에서 직접 그림을 그릴 수 있고, 그려진 그림을 해당 물체에 정합할 수 있는 증강 현실 장치를 제공하는 것을 목적으로 한다.
본 발명은 모바일 디바이스의 카메라 영상 내의 물체에 그림 객체를 중첩 인식시키기 위한 증강 현실 모듈; 및 상기 그림 객체를 생성하기 위한 페인트 모듈;을 포함하는 증강 현실 장치에 있어서, 상기 증강 현실 모듈은, 상기 카메라 영상으로부터 상기 물체를 인식하는 물체 인식부와, 상기 물체에 대응하는 가상 도화지를 생성하는 도화지 생성부와 상기 가상 도화지의 자세를 변환시켜 상기 가상 도화지를 상기 물체에 중첩시키는 도화지 증강부를 포함하고, 상기 페인트 모듈은, 상기 가상 도화지에 그림 객체를 생성할 수 있는 그림 도구를 제공하는 그림 도구부와 상기 그림 객체가 생성된 가상 도화지의 자세를 역변환하기 위한 왜곡 변환부를 포함할 수 있다.
여기서, 상기 물체 인식부는 상기 물체의 ID와 상기 모바일 디바이스의 6자유도 자세(6DOF)를 검출할 수 있다.
또한, 상기 도화지 생성부는 상기 물체의 외곽선에 대응하도록 평면상에 장방형, 정방형, 원형 또는 타원형의 가상 도화지를 생성할 수 있다.
또한, 상기 도화지 증강부는 상기 모바일 디바이스의 6자유도 자세(6DOF)를 통해 상기 가상 도화지의 자세를 변환시켜 상기 가상 도화지를 상기 물체에 중첩시킬 수 있다.
또한, 상기 도화지 증강부는, 상기 물체의 ID에 대해 상기 페인트 모듈에서 그림 객체가 생성된 가상 도화지가 존재하는지 여부를 판단하고, 상기 그림 객체가 생성된 가상 도화지가 존재하는 경우 상기 물체에 중첩시킬 수 있다.
또한, 상기 증강 현실 모듈은 상기 물체가 사용자에 의해 확인되면, 상기 모바일 디바이스의 6자유도 자세(6DOF)를 상기 페인트 모듈로 전달하고 상기 페인트 모듈의 상기 그림 도구부를 활성화할 수 있다.
또한, 상기 왜곡 변환부는, 상기 그림 도구부를 통해 그림 객체가 생성된 가상 도화지를 상기 6자유도 자세(6DOF)를 통해 상기 가상 도화지의 초기 자세로 역변환할 수 있다.
본 발명의 증강 현실 장치에 따르면, 카메라 영상에 사용자가 그린 그림을 실시간으로 합성할 수 있어, 광고나 이벤트 회사 등의 마케팅용, 학교나 학원 등의 교육용, 박물관이나 미술관 등의 문화산업에 널리 적용될 수 있다.
도 1은 본 발명의 증강 현실 장치의 개략도;
도 2는 물체에 대한 가상 도화지를 나타내는 개략도;
도 3은 그림 도구가 활성화된 상태를 나타내는 개략도;
도 4는 6자유도 자세를 기반으로 가상 도화지의 왜곡을 제거하는 상태를 나타내는 개략도; 및
도 5는 본 발명의 증강 현실 장치를 통한 증강 현실 구현을 나타내는 개략도;이다.
이하, 첨부한 도면을 참조로 본 발명의 바람직한 실시예에 따른 증강 현실 장치에 대하여 상세하게 설명한다.
도 1에 도시한 바와 같이, 본 실시예의 증강 현실 장치(100)는 카메라 영상 내의 물체에 그림 객체를 중첩 인식시키기 위한 증강 현실 모듈(110)과 물체에 중첩되는 그림 객체를 생성하기 위한 페인트 모듈(120)을 포함할 수 있다.
증강 현실 모듈(110)은 카메라 영상으로부터 물체를 인식하는 물체 인식부(111)와, 물체에 대응하는 가상 도화지를 생성하는 도화지 생성부(112)와 생성된 도화지를 물체에 중첩시키는 도화지 증강부(113)를 포함할 수 있다.
물체 인식부(111)는 카메라 영상 내의 물체를 인식하고 인식된 물체의 ID와 증강 현실 장치(100)가 구비된 모바일 디바이스의 6자유도 자세(6DOF; 6 Degrees of Freedom)를 검출한 후, 물체의 ID를 도화지 생성부(112)에 전달할 수 있다.
도 2에 도시한 바와 같이, 도화지 생성부(112)는 물체 인식부(111)로부터 전달된 물체의 ID에 대응하는 초기 가상 도화지를 생성하기 위한 것으로, 초기 가상 도화지는 해당 물체의 크기와 모양에 대응하여 외곽은 붉은 선으로 내부는 투명 또는 반투명하게 설정될 수 있다.
여기서, 해당 물체에 대응하는 초기 가상 도화지는 증강 현실 장치(100)를 통해 미리 학습되어 해당 물체당 하나의 초기 가상 도화지가 미리 설정되어 저장되는 것이 바람직할 수 있으며, 초기 가상 도화지는 평면상에 장방형, 정방형, 원형, 타원형 등으로 설정될 수 있다.
도 2에 도시한 바와 같이, 도화지 증강부(113)는 카메라 영상의 물체에 가상 도화지를 중첩시키기 위해, 물체 인식부(111)를 통해 검출되는 6자유도 자세를 통해 가상 도화지의 자세(pose)를 변환시켜 물체 위에 가상 도화지를 중첩시킬 수 있다.
이때, 도화지 증강부(113)는 해당 물체의 ID에 대해 사용자에 의해 그림 객체가 생성된 가상 도화지가 존재하는지 여부를 판단한 후, 그림 객체가 생성된 가상 도화지가 존재하는 경우, 이 가상 도화지의 자세를 변환시켜 물체 위에 가상 도화지를 중첩시키고, 그림 객체가 생성된 가상 도화지가 존재하지 않는 경우 해당 물체의 ID에 대응하는 초기 가상 도화지를 물체에 중첩시킬 수 있다.
본 실시예의 증강 현실 모듈(110)은 사용자에 의해 인식된 물체가 확인되면, 예를 들어 증강 현실 장치(100)가 구비된 모바일 디바이스의 터치 스크린이 사용자에게 터치되면, 현재 모바일 디바이스의 6자유도 자세(6DOF)를 페인트 모듈(120)로 전송하면서 가상 도화지에 그림 객체를 생성하기 위한 페인트 모듈(120)을 활성화할 수 있다.
페인트 모듈(120)은 가상 도화지에 그림 객체를 생성하기 위한 것으로, 사용자에게 가상 도화지에 그림 객체를 생성할 수 있는 그림 도구를 제공하는 그림 도구부(121)와 그림 객체가 생성된 가상 도화지의 자세를 역변환하기 위한 왜곡 변환부(122)를 포함할 수 있다.
도 3에 도시한 바와 같이, 그림 도구부(121)는 가상 도화지가 중첩된 모바일 디바이스의 화면에 그림 도구를 디스플레이할 수 있다. 그림 도구는 선(line), 문자, 점 등의 그림 객체를 생성할 수 있는 도구와 이들 그림 객체의 색상을 변경하기 위한 도구들로 이루어질 수 있다.
왜곡 변환부(122)는 그림 객체가 생성된 가상 도화지의 왜곡을 제거하기 위한 것으로, 증강 현실 모듈(110)로부터 전달된 6자유도 자세(6DOF)를 기반으로 가상 도화지의 자세를 역변환함으로써 왜곡이 제거될 수 있다.
즉, 도 4에 도시한 바와 같이, 기울어진 상태로 생성된 가상 도화지를 해당 물체에 설정된 초기 가상 도화지의 상태로 되돌리기 위해 기울어진 상태의 6자유도 자세를 통해 기울어진 가상 도화지를 원상태로 자세 역변환을 실시할 수 있다.
본 실시예의 페인트 모듈(120)은 사용자에 의해 가상 도화지에 그림 객체가 생성 완료되면, 그림 객체가 생성된 가상 도화지를 증강 현실 모듈(110)로 전송할 수 있으며, 이후 증강 현실 모듈(110)의 도화지 증강부(113)는 그림 객체가 생성된 가상 도화지를 해당 물체에 중첩시킬 수 있다.
도 5는 본 발명의 실시예에 따른 증강 현실 장치(100)가 구비된 모바일 디바이스로 증강 현실을 구현한 일례로서, 모나리자 그림에 눈썹과 같은 그림 객체를 중첩시키는 과정을 나타낸다.
(a) 및 (b)에 도시한 바와 같이, 모바일 디바이스의 카메라 영상 내에서 물체 인식부(111)에 의해 모나리자 물체가 인식되면, 모나리자 물체에 대응하는 ID를 통해 도화지 생성부(112)에 의해 장방형 가상 도화지가 생성될 수 있으며, 도화지 증강부(113)에 의해 장방형 가상 도화지의 자세가 변환되어 가상 도화지가 모나리자 물체에 중첩될 수 있다.
(c)에 도시한 바와 같이, 사용자에 의해 터치 스크린이 터치되면 현재 모바일 디바이스의 6DOF가 페인트 모듈(120)로 전달됨과 동시에 그림 도구부(121)에 의해 모바일 디바이스의 터치 스크린에 그림 도구가 활성화될 수 있다.
(d)에 도시한 바와 같이, 사용자에 의해 가상 도화지에 그림 객체가 생성될 수 있으며, 그림 객체 생성이 완료된 후, (e)에 도시한 바와 같이 모나리자 물체에 그림 객체가 생성된 가상 도화지가 중첩될 수 있다.
이상, 본 발명의 바람직한 실시예를 참조로 본 발명의 증강 현실 장치에 대하여 설명하였지만, 본 발명의 권리범위는 상술한 실시예에 한정되지 않으며, 본 발명의 사상을 벗어나지 않는 범위 내에서 수정, 변경 및 다양한 변형실시예가 가능함은 당업자에게 명백하다.
100 : 증강 현실 장치
110 : 증강 현실 모듈
120 : 페인트 모듈

Claims (7)

  1. 모바일 디바이스의 카메라 영상 내의 물체에 그림 객체를 중첩 인식시키기 위한 증강 현실 모듈; 및 상기 그림 객체를 생성하기 위한 페인트 모듈;을 포함하는 증강 현실 장치에 있어서,
    상기 증강 현실 모듈은, 상기 카메라 영상으로부터 상기 물체를 인식하는 물체 인식부와, 상기 물체에 대응하는 가상 도화지를 생성하는 도화지 생성부와 상기 가상 도화지의 자세를 변환시켜 상기 가상 도화지를 상기 물체에 중첩시키는 도화지 증강부를 포함하고,
    상기 페인트 모듈은, 상기 가상 도화지에 그림 객체를 생성할 수 있는 그림 도구를 제공하는 그림 도구부와 상기 그림 객체가 생성된 가상 도화지의 자세를 역변환하기 위한 왜곡 변환부를 포함하는 것을 특징으로 하는 증강 현실 장치.
  2. 청구항 1에 있어서,
    상기 물체 인식부는 상기 물체의 ID와 상기 모바일 디바이스의 6자유도 자세(6DOF)를 검출하는 것을 특징으로 하는 증강 현실 장치.
  3. 청구항 2에 있어서,
    상기 도화지 생성부는 상기 물체의 외곽선에 대응하도록 평면상에 장방형, 정방형, 원형 또는 타원형의 가상 도화지를 생성하는 것을 특징으로 하는 증강 현실 장치.
  4. 청구항 2에 있어서,
    상기 도화지 증강부는 상기 모바일 디바이스의 6자유도 자세(6DOF)를 통해 상기 가상 도화지의 자세를 변환시켜 상기 가상 도화지를 상기 물체에 중첩시키는 것을 특징으로 하는 증강 현실 장치.
  5. 청구항 4에 있어서,
    상기 도화지 증강부는,
    상기 물체의 ID에 대해 상기 페인트 모듈에서 그림 객체가 생성된 가상 도화지가 존재하는지 여부를 판단하고, 상기 그림 객체가 생성된 가상 도화지가 존재하는 경우 상기 물체에 중첩시키는 것을 특징으로 하는 증강 현실 장치.
  6. 청구항 1에 있어서,
    상기 증강 현실 모듈은 상기 물체가 사용자에 의해 확인되면, 상기 모바일 디바이스의 6자유도 자세(6DOF)를 상기 페인트 모듈로 전달하고 상기 페인트 모듈의 상기 그림 도구부를 활성화하는 것을 특징으로 하는 증강 현실 장치.
  7. 청구항 6에 있어서,
    상기 왜곡 변환부는,
    상기 그림 도구부를 통해 그림 객체가 생성된 가상 도화지를 상기 6자유도 자세(6DOF)를 통해 상기 가상 도화지의 초기 자세로 역변환하는 것을 특징으로 하는 증강 현실 장치.
KR1020130059422A 2013-05-27 2013-05-27 증강 현실 장치 Expired - Fee Related KR101407325B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130059422A KR101407325B1 (ko) 2013-05-27 2013-05-27 증강 현실 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130059422A KR101407325B1 (ko) 2013-05-27 2013-05-27 증강 현실 장치

Publications (1)

Publication Number Publication Date
KR101407325B1 true KR101407325B1 (ko) 2014-06-13

Family

ID=51132855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130059422A Expired - Fee Related KR101407325B1 (ko) 2013-05-27 2013-05-27 증강 현실 장치

Country Status (1)

Country Link
KR (1) KR101407325B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489337A (zh) * 2022-01-24 2022-05-13 深圳市慧鲤科技有限公司 一种ar互动方法、装置、设备及存储介质
US12225292B2 (en) 2020-10-12 2025-02-11 Samsung Electronics Co., Ltd. Electronic device comprising UWB antennas and method for implementing 6DoF

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020019118A (ko) * 2002-02-19 2002-03-09 장호현 가상현실을 기반으로 한 3차원 그래픽스 실시간 화면출력방법 및 기록매체
KR20110119146A (ko) * 2010-04-26 2011-11-02 팬터로그인터액티브 주식회사 증강 현실 제공 장치 및 방법
KR20120050714A (ko) * 2010-11-11 2012-05-21 한국과학기술원 인쇄물과 동영상의 증강현실 시스템 및 방법
KR20120072283A (ko) * 2010-12-23 2012-07-03 박연희 증강현실 과학 실험 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020019118A (ko) * 2002-02-19 2002-03-09 장호현 가상현실을 기반으로 한 3차원 그래픽스 실시간 화면출력방법 및 기록매체
KR20110119146A (ko) * 2010-04-26 2011-11-02 팬터로그인터액티브 주식회사 증강 현실 제공 장치 및 방법
KR20120050714A (ko) * 2010-11-11 2012-05-21 한국과학기술원 인쇄물과 동영상의 증강현실 시스템 및 방법
KR20120072283A (ko) * 2010-12-23 2012-07-03 박연희 증강현실 과학 실험 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12225292B2 (en) 2020-10-12 2025-02-11 Samsung Electronics Co., Ltd. Electronic device comprising UWB antennas and method for implementing 6DoF
CN114489337A (zh) * 2022-01-24 2022-05-13 深圳市慧鲤科技有限公司 一种ar互动方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US8681179B2 (en) Method and system for coordinating collisions between augmented reality and real reality
Bigham et al. VizWiz:: LocateIt-enabling blind people to locate objects in their environment
US20140210857A1 (en) Realization method and device for two-dimensional code augmented reality
US9652895B2 (en) Augmented reality image transformation
Lee et al. Interactive e-learning system using pattern recognition and augmented reality
CN104102412B (zh) 一种基于增强现实技术的手持式阅览设备及其方法
CA2898668A1 (en) Realization method and device for two-dimensional code augmented reality
Du et al. Opportunistic interfaces for augmented reality: Transforming everyday objects into tangible 6dof interfaces using ad hoc ui
US9501810B2 (en) Creating a virtual environment for touchless interaction
CN102110379A (zh) 多媒体增强现实读物
US9013535B2 (en) Information processing apparatus, information processing system and information processing method
US20120251995A1 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
CN106600669A (zh) 基于可变色荧光画板和增强现实的装置及运行方法
KR20170064026A (ko) 가상현실, 증강현실 기반의 3차원 실감형 천체교육용 스마트 교육서비스 제공방법
US20150185829A1 (en) Method and apparatus for providing hand gesture-based interaction with augmented reality applications
KR101407325B1 (ko) 증강 현실 장치
Selvam et al. Augmented reality for information retrieval aimed at museum exhibitions using smartphones
Barrera-Machuca et al. Context-based 3d grids for augmented reality user interfaces
CN109718554A (zh) 一种实时渲染方法、装置及终端
CN105988760A (zh) 基于打印的互动显示方法及系统
CN111524240A (zh) 场景切换方法、装置及增强现实设备
US20170039768A1 (en) Apparatus for displaying image content based on pop-up book and method thereof
JP6931267B2 (ja) 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
KR20170006219A (ko) 3차원 모델링 서비스 제공 방법 및 이를 위한 장치
CN113434059B (zh) 书面文档处理方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130527

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140530

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140609

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140610

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180525

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20200320