KR100822793B1 - 광포인팅 원격 제어장치 - Google Patents

광포인팅 원격 제어장치 Download PDF

Info

Publication number
KR100822793B1
KR100822793B1 KR1020060117400A KR20060117400A KR100822793B1 KR 100822793 B1 KR100822793 B1 KR 100822793B1 KR 1020060117400 A KR1020060117400 A KR 1020060117400A KR 20060117400 A KR20060117400 A KR 20060117400A KR 100822793 B1 KR100822793 B1 KR 100822793B1
Authority
KR
South Korea
Prior art keywords
remote control
optical pointing
pointer
wireless communication
present
Prior art date
Application number
KR1020060117400A
Other languages
English (en)
Other versions
KR20070055411A (ko
Inventor
안건준
박철
배재훈
김재동
고희곤
Original Assignee
크루셜텍 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38276887&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100822793(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 크루셜텍 (주) filed Critical 크루셜텍 (주)
Publication of KR20070055411A publication Critical patent/KR20070055411A/ko
Application granted granted Critical
Publication of KR100822793B1 publication Critical patent/KR100822793B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • Details Of Television Systems (AREA)

Abstract

본 발명은 무선(Wireless) 통신방식을 이용하여 가정의 PC 와 가전제품들을 무선 네트워크 방식으로 TV 모니터와 연결하여 TV 윈도우 화면의 포인터(커서)를 제어하는 광포인팅 원격 제어장치를 제공하는 것으로, 본 발명의 장치는 실시예로 홈오토메이션 관리장치와 각각의 가전기기에 무선통신 칩셋을 설치하여 서로 통신이 가능하면서 통합적인 제어가 가능한 것과 인터넷을 통하여 정보서비스, 동영상, 콘텐츠 및 방송등을 텔레비젼 수상기로 제공하는 서비스를 원격으로 제어하는 장치에 관한 것이다. 이러한 원격제어 장치는 리모콘, 무선이어폰 또는 휴대폰과 같은 모바일 기기에 장착되어 휴대의 편리함을 제공할 수 있다. 또한 본 발명은 일반 광마우스처럼 윈도우 화면에서의 포인터(커서)를 움직이게 하고, 마우스 패드와 같은 바닥면의 피사체 대신 손가락 표면을 사용함으로써 보다 편리하고 빠르게 동작시 킬 수 있다.
본 발명은 TV 브라운관의 크기가 점차적으로 커지고 해상도가 높아짐에 따라 TV 화면을 일반 PC(Personal Computer)의 모니터로 사용하고, PC와 연결하여 인터넷 및 영화, 게임등 다양한 작업을 가능하게 하였다.
또 이러한 방식은 간편하고 휴대가 가능한 원격제어장치로써 무선 통신방식을 사용하고, 윈도우 화면에서 포인터(커서)를 움직이게 하는 마우스 기능을 추가함으로써 동작을 쉽고 편리하게 동작시킬 수 있다.
실시예로 기존 홈오토메이션은 유선으로 구축하는 문제점과 각각의 제어장치 에 통신포트를 설치함에 있어 비용이 비싸 상용화가 더디게 진행되고 있지만, 블루투스는 엄지손톱보다 작고, 비교적 저렴한 블루투스 칩셋을 통해 무선으로 통신이 가능하기 때문에 다양한 분야에서 관심을 보이고 있다.
또한 IP-TV와 같은 인터넷 서비스를 이용하는 데에서 본 발명의 장치가 필수적으로 필요하다.
홈오토메이션, 블루투스(Bluetooth), 광포인팅 장치, 리모콘, DSP(Digital Signal Processor)

Description

광포인팅 원격 제어장치{Optical Pointing Remote control device }
도1 종래의 TV 리모콘 단면도.
도2 본 발명의 셋톱박스를 통한 디지탈 가전 기기 제어를 위한 광포인팅 원격제어장치 개략도
도3 본 발명의 일 실시예의 변형예에 따른 광포인팅 원격제어 장치의 도면.
도4 본 본 발명의 바람직한 실시예에 따른 원격제어장치의 구성을 도시하는 블럭도
현재 모든 가전제품에서 필수품이 되고 있는 리모콘은 "멀리 떨어져서 무선으로 기계를 조종한다"는 의미를 지닌 "리모트 컨트롤(Remote Control)"의 줄임말이다.
도1은 종래의 TV 적외선 리모콘을 나타내는 도면이다.
상기 도면에서 4방향키(101)를 이용해서는 채널 변경 및 음량조절을 한다.
상기 리모콘은 가전 제품에 손을 대지 않고도 버튼을 눌러 스위치를 켜거나 끄고, 채널을 바꿀 수 있는 기계이면서 전자기파를 이용하는 1:1 방식으로 동작한다.
이와 같은 적외선 통신 방식의 리모콘은 TV 등 영상가전 분야에서 가장 많이 사용 되고 있다.
그러나 본 발명은 리모콘의 1:1 적외선 통신방식뿐만 아니라 블루투스 통신 방식을 이용한다. 블루투스는 방향의 제한이 없는 무지향성 무선주파수(Radio Frequency)를 이용하며 10m~100m(고출력일경우)이내의 거리에서 1MBps의 속도로 동작하고, 개인용 네트워크(Private Network)을 구성하는 근거리통신망을 목적으로 개발된 규격으로 여러개의 장치들을 서로 연결하여 사용할 수 있는 장점을 가지고 있어 홈오토메이션과 같은 1:N 통신방식에서 다양하게 사용되고 있다.
현재 TV 브라운관의 크기는 점점 커지고 해상도도 점점 높아지면서, 거기에 더해 대형 LCD를 TV 화면으로 사용하게 됨으로써, PC, 영상가전, 생활가전등 여러 기기들을 연결하여 하나의 홈네트워크를 구성하고 있다.
일반적으로 상기와 같이 여러 기기들과 TV 가 연결하면서 다양한 멀티미디어 기능들을 동작시키기 위해서는 PC의 모니터 화면상을 자유롭게 이동하는 포인터(커서)처럼 마우스를 움직이는것이 훨씬 편리하다.
그러나 상기 마우스는 바닥면을 피사체로 사용하기 때문에 피사체의 상태에 따라 모니터 상의 커서 움직임을 떨어뜨리는 문제점이 있다.
상기 문제점의 원인은 바닥면을 피사체로 사용함으로써 일반 볼마우스 같은 경우는 바닥면의 매질 또는 먼지에의한 오염으로, 광마우스 같은 경우는 빛을 이용하기 때문에 바닦면이 너무 미끄럽거나 반사되는 면에 의해 포인터의 동작성을 떨어지기 때문에 마우스 패드가 필수적으로 요구되는 문제점이 있다.
본 발명은 이러한 종래의 문제점을 해결하기 위해 광포인팅 장치모듈을 사용한다. 상기 광포인팅 장치가 모듈형태로 삽입된 본 발명의 광포인팅 원격제어장치는 손가락 표면의 움직임을 광포인팅 장치모듈에 내장되어 있는 이미지 센서에서 좌표값을 계산하여 포인터(커서)를 움직일 수 있는 광마우스와 같은 기능을 가지고 있지만, 일반 광마우스와는 달리 손가락표면을 피사체로 사용하기 때문에 이동하면서 동작시킬 수 있고 휴대가 간편함을 특징으로 한다. 그리고 무선통신 칩이 내장된 휴대폰, 무선이어폰 그리고 리모콘에 장착하여 무선으로 TV의 포인터(커서)를 제어함으로써 일반 가정에서 TV의 리모콘보다 더한 편리성을 제공할 수 있다.
도 2를 참고하면, 본 발명은 일종의 무선 전송 인터페이스를 갖춘 광포인팅 원격제어 장치를 제공하는데, 셋톱박스(Set-Top Box)(C13)와 광포인팅 원격제어 장치(C11)에 장착되어 무선으로 연결하고 있다.
그리고 상기 셋톱박스(C13)는 양방향 통신이 가능하고, TV 및 일반 디지탈 기기와 연결되어 인터넷 서비스를 통한 주문형 비디오(VOD: Video on Demand)뿐만아니라 인터넷 쇼핑과 같은 다양한 어플리케이션을 구현할 수 있고, 또한 무선으로 모든 일반 디지탈기기들과 연결되어 각각의 기기들을 제어할수 있다.
이와 같은 이유로, 상기의 셋톱박스와 무선으로 연결하여 제어하는 원격제어장치는 단순히 채널 선택이나 음량조절과 같은 단순한 기능만을 가지는 일반 리모콘으로는 상기 기능들을 효율적으로 사용할 수 없다.
또한 단순히 리모콘을 가지고 컨트롤 하는 것이 아니라 일반 무선 통신이 가 능한 휴대폰, PDA, 무선헤드셋등 통신기기에 광포인팅 장치를 실장함으로써 광포인팅 원격제어장치를 구성할 수 있다.
그렇기 때문에 본 발명은 휴대폰 또는 더 작은 소형기기에 실장할수 있는 초슬림 광포인팅 장치가 필요하게 된다.
상기와 같은 목적을 달성하기 위한 본 발명의 광포인팅 장치는 피사체 움직임을 계산하는 광학장치로서, 광축상의 광경로를 커버플레이트(205), 결상계(광학계), 이미지 센서(217)등의 수직 배열이 아닌 수평배열로 변환시킴으로써 두께를 최소2.0~ 5.0mm까지 만들 수 있게 한다.
광경로를 수직에서 수평으로 변환시키면서도 두께를 2.0~ 5.0mm 로 유지하기 위한 방법으로 광도파로(Optical Waveguide) 구조를 적용하고, 커버플레이트(205) 위에 놓여진 피사체(손가락)(203)의 이미지를 촬상(집광)하기 위해선 집광렌즈(211)를 사용한다.
또한 렌즈 구조의 정렬방식 및 형상 유지를 위해 광도파로와 경통(Lens Holder)의 일체형 구조를 적용한다.
상기 광포인팅 장치는 커버플레이트(205)에서 반사되어 내려오는 광을 광 도파로의 반사면에서 수평으로 광 경로를 변환하고, 이 수평 방향으로 변환된 광경로를 집광렌즈를 사용하여 집광한 후 다시 반사면을 사용하여 광경로를 수직 방향으로 변환하여 이미지 센서로 피사체(손가락)의 이동 정보를 전달하여 움직임을 계산할 수 있으며, 초슬림형으로 제작할 수 있는 광학 모듈이다.
도2의 광포인팅 원격제어 장치(C11)는 TV(C12)와 셋톱박스(C13)를 서로 연결 하였을 때 양방향통신이 가능한 셋톱박스(C13)를 광포인팅 장치모듈위에 손가락 표면(피사체)(C32)을 움직임으로써 TV의 포인터(커서)(C14)를 움직이고, 클릭버튼을 눌러 광마우스의 왼쪽과 오른쪽 버튼처럼 동작시킨다.
도3는 광포인팅 원격 제어장치의 일 실시예의 변형예에 따른 것으로 본 발명은 리모콘 형태의 광포인팅 원격제어 장치(C22), 이어폰 형태의 광포인팅 원격제어장치(C23), 휴대폰 형태의 광포인팅 원격제어 장치(C24)에 응용이 가능하도록 구성할 수 있다.
상기 도3의 광포인팅 장치(C21)는 커버플레이트(205) 위에 피사체(손가락)(203)이 놓이게 되면 광원(LED)(201)에서 출사된 광은 피사체(손가락)(203)에 반사되어 손가락의 지문 등의 이미지를 이미지 센서(217)에 전달하게 된다. 이미지 센서(217)는 이러한 피사체(손가락)(203)의 움직임 변화량을 계산하여 TV에 구현되어 있는 포인터(커서)를 움직이게 하는 것이다.
상기 광포인팅 장치를 구조적으로 상세히 설명하면 상기 광포인팅 장치는 피사체의 움직임을 감지하기 위해서, 피사체가 닿는 커버플레이트(205)와 커버플레이트(205) 하부에 위치하여 피사체에 빛을 조사하는 광원(201); 상기 조사된 빛이 피사체의 움직임에 반사되고, 이 반사된 빛이 커버플레이트(205) 하부에 위치한 제1 반사면(209)을 통해 반사되어 입사하는 제1도파관(207); 상기 입사된 빛을 제1도파관(207)을 통해 집광시키는 제1집광렌즈(210); 상기 제1 집광렌즈(210)와 맞닿는 제2집광렌즈(211); 상기 제2 집광렌즈(211)에 의해 집광된 빛이 제2도파관(213)을 통해 제2반사면(215) 하부로 전달하는 이미지 센서(217)를 포함한다.
본 발명의 장치에 의해 움직인 포인터(커서)는 TV에서 컴퓨터의 마우스와 같이 동작한다.
이처럼 본 발명은 기존의 마우스 센서 모듈의 구조의 문제점인 커버플레이트)와 결상계(광학계), 광 이미지 센서가 수직적으로 놓인 구조에서 나타나는 두께의 한계를 광도파로(Optical Waveguide) 및 결상렌즈(집광렌즈)를 사용하여 광경로를 수평으로 변화시켜줌으로써 충분한 초점 거리 및 초점 심도를 구현하면서도 모듈의 두께를 2.0~5.0mm 이하로 초슬림화할 수 있는 광포인팅 장치를 사용하여 초슬림형의 광포인팅장치를 가능하게 한다. 또한 초슬림형 광포인팅 장치를 구성하는데 있어서 광포인팅 장치는 광도파로(Optical Waveguide)와 경통(Lens Holder)를 분리또는 일체형으로 제작함으로써 광학계를 정렬(Alignment)하면서 발생하는 모듈 특성 저하의 문제를 해결하면서도 부품 수량의 간소화, 부품 형상의 단순화, 제조 공정의 간편화로 생산성을 향상 시킬 수 있는 구조를 특징으로 하는 초박형의 기기들에 적용할 수 있는 장점을 갖게 된다.
또한 장치에 내장된 LED(Light Emitting Diode)에서 나오는 빛이 손가락 표면(피사체)(203)에 반사되어 집광렌즈(210,211)를 통하여 이미지 센서(217) 위로 반사되고, 센서의 신호는 다시 각 영상을 디지털 신호 처리장치(DSP)로 보내고, DSP(Digital Signal Processor)는 각 영상의 패턴을 감지하여, 그런 패턴들이 이전의 영상과 비교해 어떻게 움직였는지 간파하면서 동작한다.
그리고 일련의 영상 패턴이 변화한 것을 토대로 DSP(Digital Signal Processor)는 손가락 표면의 패턴을 감지한 이미지센서가 얼마나 멀리 움직였는지 를 결정하고, 이에 상응하는 좌표를 셋톱박스로 보냄으로써, 셋톱박스는 광포인팅 장치에서 받은 좌표를 바탕으로 TV상의 포인터(커서)를 움직인다.
도4는 본 발명 장치에 대한 동작 블럭도이다. 처음 광포인팅 원격제어장치에서 신호를 셋톱박스에 보내면 셋톱박스는 양방향 통신칩이 장착된 디지탈 가전기기와 통신을 하여 가전기기의 상태를 TV화면을 통하여 보면서 포인터(커서)를 이동시켜 키를 동작시킨다.
본 발명의 장치는 셋톱박스를 TV 및 디지탈 가전기기와 연결하여 양방향 통신방식으로 TV 프로그램뿐만 아니라 인터넷서비스를 통한 주문형 비디오(VOD), 인터넷 쇼핑과 같은 다양한 어플리케이션을 제어하면서 각 가전기기의 상태 체크 및 제어 기능을 가지는 원격제어장치로써, 일반 리모콘의 버튼식이 아닌 컴퓨터의 광마우스 처럼 윈도우 화면과 같이 포인터(커서)를 이동시켜 셋톱박스를 통합적으로 컨트롤 동작시켜 리모콘이나, 휴대폰, 이어폰과 같은 소형휴대기기에 쉽게 실장이 가능하면서, 광마우스 처럼 화면의 포인터(커서)를 자유롭고 부드럽게 움직여 각 장치들을 이동하면서 제어할 수 있다.

Claims (8)

  1. 피사체가 닿는 커버플레이트(205)와 커버플레이트(205) 하부에 위치하여 피사체에 빛을 조사하는 광원(201); 상기 조사된 빛이 피사체의 움직임에 반사되고, 이 반사된 빛이 커버플레이트(205) 하부에 위치한 제1 반사면(209)을 통해 반사되어 입사하는 제1도파관(207); 상기 입사된 빛을 제1도파관(207)을 통해 집광시키는 제1집광렌즈(210); 상기 제1 집광렌즈(210)와 맞닿는 제2집광렌즈(211); 상기 제2 집광렌즈(211)에 의해 집광된 빛이 제2도파관(213)을 통해 제2반사면(215) 하부로 전달하는 이미지 센서(217)를 포함하는 광포인팅 장치;
    상기 장치를 셋톱박스와 무선통신모듈로 연결하여 TV 상의 포인터(커서)를 제어하는 광포인팅 장치 모듈을 포함하는 광포인팅 원격제어장치.
  2. 제1항에 있어서,
    셋톱박스는 양방향통신이 가능하면서, 인터넷 서비스를 통한 주문형비디오(VOD), 인터넷 쇼핑몰, 멀티미디어 서비스를 유선 또는 무선으로 연결하여 TV 상의 포인터를 움직임으로써 제어하는 광포인팅 원격제어장치.
  3. 제1항에 있어서,
    셋톱박스는 양방향통신이 가능하면서, 각종 디지털 가전기기들을 무선통신모듈로 연결하여 셋톱박스와 유선 또는 무선으로 TV상의 포인터를 움직임으로써 제어하는 광포인팅 원격제어장치
  4. 제 1항에 있어서,
    광포인팅 장치를 포함하고, 상기 무선통신 모듈이 탑재되어 포인터(커서)를 움직일 수 있도록 하는 광포인팅 원격제어장치.
  5. 제1항에 있어서,
    상기 무선통신 모듈은 RF, 블루투스, 적외선 통신 중 하나임을 특징으로 하는 광포인팅 원격제어장치.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020060117400A 2005-11-25 2006-11-27 광포인팅 원격 제어장치 KR100822793B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050113203 2005-11-25
KR20050113203 2005-11-25

Publications (2)

Publication Number Publication Date
KR20070055411A KR20070055411A (ko) 2007-05-30
KR100822793B1 true KR100822793B1 (ko) 2008-04-17

Family

ID=38276887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060117400A KR100822793B1 (ko) 2005-11-25 2006-11-27 광포인팅 원격 제어장치

Country Status (1)

Country Link
KR (1) KR100822793B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017682A (ko) * 2000-08-31 2002-03-07 서평원 다기능 전화기
JP2005148560A (ja) 2003-11-18 2005-06-09 Fuji Xerox Co Ltd 書き込み可能プロジェクタおよび光ポインタ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017682A (ko) * 2000-08-31 2002-03-07 서평원 다기능 전화기
JP2005148560A (ja) 2003-11-18 2005-06-09 Fuji Xerox Co Ltd 書き込み可能プロジェクタおよび光ポインタ

Also Published As

Publication number Publication date
KR20070055411A (ko) 2007-05-30

Similar Documents

Publication Publication Date Title
US10007424B2 (en) Mobile client device, operation method, recording medium, and operation system
US8788676B2 (en) Method and system for controlling data transmission to or from a mobile device
CN102111582B (zh) 电视遥控装置、电视机及遥控方法
US20100060612A1 (en) Opto-touch screen
JP2008510248A (ja) 超薄型の光学式ジョイスティックおよび超薄型の光学式ジョイスティックを含んだ個人用携帯端末機
US8581841B2 (en) 3D pointing device with up-down-left-right mode switching and integrated swipe detector
JP3132194U (ja) 押圧可能なタッチモジュール及びタッチ入力装置
US20100309118A1 (en) Multi-functional wireless control device
JP2007538332A (ja) 一体型無線ポインティング装置、これを内蔵した端末機器、及び無線ポインティング装置を用いたポインティング方法
KR100711093B1 (ko) 모바일 기기와 디스플레이상의 어플리케이션 간의 직접통신을 위한 방법 및 시스템
CN102467262A (zh) 光学输入装置及影像系统
KR101929595B1 (ko) 상-하-좌-우 모드 스위칭 및 통합형 스윕 검출기를 구비한 3d 포인팅 장치
KR100822793B1 (ko) 광포인팅 원격 제어장치
KR20050003155A (ko) 사용자와 디스플레이 시스템의 인터페이스 장치 및 그 방법
CN104102334A (zh) 远端装置的控制方法与远端控制系统
CN101414406A (zh) 遥控器、视频设备遥控方法及系统
KR100660521B1 (ko) 무선 포인팅 장치 및 포인팅 방법
CN102761644A (zh) 具有键盘及鼠标功能的手机
KR100947476B1 (ko) 포인팅 장치
KR101044145B1 (ko) 광학 포인팅 장치
EP1465048A2 (en) An optical mouse and its operation method
CN201611518U (zh) 基于红外摄像技术的空间遥控系统
KR100833644B1 (ko) 원격 제어 장치 및 이를 포함하는 디스플레이 원격 제어시스템
KR20080065050A (ko) 광 포인팅 장치가 구비된 휴대 단말기 및 광 포인팅 장치를이용한 포인팅 방법
KR20080043412A (ko) 광 포인팅 장치를 구비한 휴대단말기의 키클릭 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20160308

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170322

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180319

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee