KR101637241B1 - 포인팅 디바이스 및 포인터 제어 방법 - Google Patents

포인팅 디바이스 및 포인터 제어 방법 Download PDF

Info

Publication number
KR101637241B1
KR101637241B1 KR1020150021821A KR20150021821A KR101637241B1 KR 101637241 B1 KR101637241 B1 KR 101637241B1 KR 1020150021821 A KR1020150021821 A KR 1020150021821A KR 20150021821 A KR20150021821 A KR 20150021821A KR 101637241 B1 KR101637241 B1 KR 101637241B1
Authority
KR
South Korea
Prior art keywords
movement
pointer
coordinate system
processor
rotation
Prior art date
Application number
KR1020150021821A
Other languages
English (en)
Inventor
이병주
방현우
Original Assignee
(주)기술과가치
이병주
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)기술과가치, 이병주 filed Critical (주)기술과가치
Priority to KR1020150021821A priority Critical patent/KR101637241B1/ko
Priority to PCT/KR2015/003080 priority patent/WO2016129742A1/ko
Application granted granted Critical
Publication of KR101637241B1 publication Critical patent/KR101637241B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 실시예에 따른 포인팅 디바이스는 이동 궤적을 따라 이동하는 과정에서 회전가능한 바디; 상기 바디에 구비되어 센싱 신호를 출력하는 이미지 센싱부; 상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 프로세서를 포함한다.

Description

포인팅 디바이스 및 포인터 제어 방법{POINTING DEVICE AND POINTER CONTROL METHOD}
본 발명은 포인팅 디바이스 및 포인터 제어 방법에 관한 것이다.
포인팅 디바이스는 그 구조가 간단하고 가격이 비교적 저렴하기 때문에 대표적인 컴퓨터 입력장치로서 범용적으로 사용되고 있다.
포인팅 디바이스는 포인팅 디바이스가 놓이는 표면과의 상대적인 변위를 계산함으로써 포인터의 이동이 컴퓨터의 디스플레이 장치에 표시될 수 있다.
이와 같은 일반적인 포인팅 디바이스는 바디의 회전에 따라 좌표계 역시 회전함으로써 포인팅 디바이스의 동작이 정확하게 이루어지지 않을 수 있다.
공개특허 10-2004-0011310 (공개일 : 2004년02월05일)
본 발명의 실시예에 따른 포인팅 디바이스 및 포인터 제어 방법은 바디의 회전에 따른 동작 부정확성을 개선하기 위한 것이다.
본 출원의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않는 또 다른 과제는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일측면에 따르면, 이동 궤적을 따라 이동하는 과정에서 회전가능한 바디; 상기 바디에 구비되어 센싱 신호를 출력하는 이미지 센싱부; 상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 프로세서를 포함하는 포인팅 디바이스가 제공된다.
본 발명의 다른 측면에 따르면, 이동 궤적을 따라 이동하는 과정에서 회전가능한 바디; 상기 바디에 구비되어 센싱 신호를 출력하는 이미지 센싱부; 상기 바디의 이동 중에 상기 바디가 회전하더라도 포인터의 이동 변위와 상기 바디의 이동 궤적이 형성하는 각도를 줄이는 프로세서를 포함하는 포인팅 디바이스가 제공된다.
본 발명의 또다른 측면에 따르면, 이동 궤적에 따라 이동하는 과정에서 회전가능한 바디; 상기 바디에 구비되어 제1 센싱 신호를 출력하는 제1 이미지 센서; 상기 제1 이미지 센서와 이격되어 상기 바디에 구비되며, 제2 센싱 신호를 출력하는 제2 이미지 센서; 상기 제1 센싱 신호 및 상기 제2 센싱 신호에 따라 상기 바디의 회전각을 계산하고 상기 회전각에 따라 상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 프로세서를 포함하는 포인팅 디바이스가 제공된다.
본 발명의 또다른 측면에 따르면, 이동 궤적에 따라 이동하는 과정에서 회전가능한 바디; 상기 바디에 구비되어 상기 바디의 회전각 또는 회전 각속도를 센싱하는 도출용 센서; 상기 바디의 회전각이나 상기 회전 각속도로부터 도출된 상기 바디회전각에 따라 상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 프로세서를 포함하는 포인팅 디바이스가 제공된다.
본 발명의 또다른 측면에 따르면, 이동 궤적을 따라 이동하는 과정에서 회전가능한 바디에 구비되는 이미지 센싱부가 출력하는 센싱 신호를 처리하는 포인터 제어 방법에 있어서, 상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 포인터 제어 방법이 제공된다.
본 발명의 실시예에 따른 포인팅 디바이스 및 포인터 제어 방법은 바디의 이동 궤적과 포인터의 이동 변위를 일치시키거나 그 차이를 줄임으로써 동작 정확성을 향상시킬 수 있다.
본 발명의 실시예에 따른 포인팅 디바이스 및 포인터 제어 방법은 바디의 회전에 따라 회전된 좌표계를 보정함으로써 동작 비정확성의 발생을 방지할 수 있다.
본 출원의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않는 또 다른 효과는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 포인팅 디바이스를 나타낸다.
도 2는 일반적인 포인팅 디바이스의 동작을 나타낸다.
도 3은 도 2의 일반적인 포인팅 디바이스의 동작에 따른 포인터의 이동 변위을 나타낸다.
도 4는 일반적인 포인팅 디바이스의 동작에 따른 포인터 이동을 나타낸다.
도 5는 본 발명의 실시예에 따른 포인팅 디바이스의 이동 궤적의 차이 및 좌표계 보정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 포인팅 디바이스에 포함된 제1 이미지 센서 및 제2 이미지 센서를 통하여 좌표계 보정 각도를 구하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 포인팅 디바이스의 좌표계 재설정을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 포인팅 디바이스를 나타낸다.
도 9는 본 발명의 실시예에 따른 포인팅 시스템을 나타낸다.
도 10은 일반적인 포인팅 디바이스와 본 발명의 실시예에 따른 포인팅 디바이스를 비교한 도면이다.
이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.
또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 포인팅 디바이스를 나타낸다. 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 포인팅 디바이스는 바디(110), 이미지 센싱부(130), 및 프로세서(150)를 포함한다.
바디(110)는 이동 궤적에 따라 이동하는 과정에서 회전가능하다. 사용자가 포인팅 디바이스의 바디(110)를 손으로 잡고 조작하여 바디(110)를 이동시키게 된다. 이 과정에서 손목 관절, 팔꿈치 관절 또는 어깨 관절의 동작에 의하여 바디(110)가 회전할 수 있다.
이와 같은 바디(110)의 움직임에 대해서는 이후에 도 2를 통하여 상세히 설명한다.
이미지 센싱부(130)는 바디(110)에 구비되어 센싱 신호를 출력한다. 이미지 센싱부(130)는 광원(10)으로부터 나온 광이 본 발명의 실시예에 따른 포인팅 디바이스가 놓인 표면에서 반사되고, 그 반사된 광이 바디(110)에 구비된 렌즈(미도시)를 통과하여 이미지 센싱부(130)에 도달할 수 있다.
이에 따라 이미지 센싱부(130)는 표면 이미지에 해당되는 센싱 신호를 출력할 수 있다. 이미지 센싱부(130)는 바디(110)와 바디(110)가 위치하여 동작하는 표면 사이의 상대 변위를 측정할 수 있다. 프로세서(150)는 바디(110)의 이동 궤적과 포인터의 이동 변위의 차이를 줄인다.
이 때 포인터는 본 발명의 실시예에 따른 포인팅 디바이스와 연결된 컴퓨터의 디스플레이 장치에 표시될 수 있다.
다음으로 도면을 참조하여 프로세서(150)에 대해 상세히 설명한다.
도 2는 일반적인 포인팅 디바이스의 동작을 나타낸다. 도 2에 도시된 바와 같이, 일반적인 포인팅 디바이스의 경우, 바디(110)의 회전에 따라 바디(110)에 고정된 센서가 갖는 좌표계 역시 함께 회전한다.
즉, 도 2에 도시된 바와 같이, 사용자가 일반적인 포인팅 디바이스를 손으로 잡고 수평하게 이동시킬 때 손목이 돌아가 바디(110)가 회전할 수 있는데, 이 때 바디(110)의 회전에 따라 센서가 갖는 좌표계 역시 회전한다.
센서의 좌표계가 회전함에 따라 바디(110)의 이동벡터는 도면에서와 같이 일정한데 비하여 이미 회전된 좌표계에 따른 상기 이동벡터를 구성하는 성분은 실제와 달라진다. 이 때 바디(110)의 이동벡터는 바디(110)의 좌표계에 따른 이동벡터일 수 있다.
도 2에 도시된 바와 같이, 측정된 이동벡터의 x축 성분의 크기는 매순간 점차 작아지고 이동벡터의 y축 성분의 크기는 점차 커진다.
이에 따라 일반적인 포인팅 디바이스와 연결된 컴퓨터의 디스플레이 장치에 표시되는 포인터(pointer)는 도 3에 도시된 바와 같이, 우상향되는 궤적과 같은 교란 행태가 발생할 수 있다.
도 3에서 우상향 궤적은 곡선으로 표시되었으나 이는 일례일 뿐 이에 한정되는 것은 아니며 바디(110)의 회전 양상이 달라짐에 따라 다른 교란 행태를 보일 수 있다. 예를 들어, 바디(110)가 원호를 그리며 이동할 경우 포인터는 직선에 가깝게 표시되는 교란 행태가 나타날 수도 있다.
즉, 바디(110)의 이동궤적과 모니터에 표시되는 포인터의 이동궤적이 서로 다를 수 있으며, 이와 같은 차이는 일반적인 포인팅 디바이스의 경우, 바디(110)의 회전에 따라 바디(110)에 부착된 센서의 좌표계 역시 회전하기 때문이다.
도 4는 일반적인 포인팅 디바이스의 세 가지 태스크(TASK), 즉, 포인팅(pointing), 스티어링(steering), 드로잉(drawing)의 과정을 나타낸다.
일반적인 포인팅 디바이스가 특정 포인트로 포인터를 이동시키는 포인팅 태스크는 사용자의 의식적인 보정을 통해 비교적 정확하게 이루어질 수 있다.
그러나 앞서 설명된 바와 같이, 바디(110)에 부착된 센서의 좌표계가 바디(110) 회전과 함께 회전하므로 일반적인 포인팅 디바이스가 특정 궤적을 따라 포인터를 이동시키는 스티어링 태스크나 드로잉 태스크를 정확하게 수행하기 어려울 수 있다.
본 발명의 실시예에 따른 포인팅 디바이스는 바디(110)의 이동 궤적과 포인터의 이동 변위의 차이를 줄임으로써 이와 같은 스티어링 태스크나 드로잉 태스크를 정확하게 수행할 수 있다.
또한 본 발명의 실시예에 따른 포인팅 디바이스는 바디(110)의 회전에 따른 이미지 센싱부(130)의 좌표계 회전이 줄어들도록 상기 좌표계를 보정할 수 있다. 이에 따라 바디(110)의 이동 궤적과 포인터의 이동 변위의 차이가 발생하는 것을 방지할 수 있다.
이 때 이미지 센싱부(130)는 바디(110)에 고정되어 있으므로 이미지 센싱부(130)의 좌표계는 바디(110)의 좌표계일 수 있다.
이와 같은 바디(110)의 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 것과, 좌표계의 보정에 대해 도 5를 참조하여 설명한다.
도 5는 본 발명의 실시예에 따른 포인팅 디바이스의 포인터 이동 변위의 오차 및 좌표계 보정을 설명하기 위한 도면이다. 도 5에서 (1)은 일반적인 포인팅 디바이스의 사용자 조작에 따른 바디(110)의 순간 이동 궤적으로서 실세계에서의 연속된 아날로그 궤적일 수 있다.
(2)는 (1)의 이동 궤적을 따라 바디(110)가 이동하는 과정에서 바디(110)의 회전에 따라 발생하는 포인터의 이동 변위, 즉, (1)의 아날로그 궤적을 처리한 순간적인 디지털 변위일 수 있다.
(3)은 좌표계의 회전에 따른 (1)의 이동 궤적의 교란을 나타낸다. 이러한 아날로그 교란이 디지털 신호로 처리되면 (2)의 디지털 변위가 된다. (2)의 이동 변위 및 (3)의 교란은 앞서 도 4를 통하여 설명된 바와 같이 우상향하고 있음을 알 수 있으며, 본 발명의 실시예에 따른 포인팅 디바이스는 (2)의 이동 변위를 (1)의 이동 궤적과 일치시키거나 이들 이동 변위와 이동 궤적의 차이를 줄일 수 있다.
이를 위하여 본 발명의 실시예에 따른 포인팅 디바이스의 프로세서(150)는 바디(110) 회전에 따른 좌표계의 좌표계 보정 각도 dθnet을 통하여 궤적 보정 각도 dθeffective을 계산할 수 있다.
프로세서(150)는 궤적 보정 각도 dθeffective만큼 (2)의 이동 변위를 회전시킴으로서 (2)의 이동 변위를 (1)의 이동 궤적에 일치시킬 수 있다.
다음의 수학식 1은 좌표계 보정 각도 dθnet을 통하여 궤적 보정 각도 θeffective를 구하는 과정을 나타낸다.
[수학식 1]
Figure 112015015215217-pat00001
수학식 1을 통하여 알 수 있는 바와 같이, 궤적 보정 각도 dθeffective 는 좌표계 보정 각도 dθnet의 0.5 배임을 알 수 있다. 이 때 r은 마우스 바디(110)의 순간 회전 반경으로서 포인팅 디바이스를 조작하는 팔의 길이에 해당될 수 있다.
이 때 프로세서(150)는, 0 보다 크고 좌표계 보정 각도 dθnet(즉, 바디의 순간 회전 각도)보다 작도록 포인터의 이동 변위를 바디(110)의 이동 궤적을 향하여 회전시킬 수 있다.
즉, 궤적 보정 각도 dθeffective가 좌표계 보정 각도 dθnet의 0.5 배이면 (2)의 이동 변위가 (1)의 이동 궤적과 일치하는데, dθeffective가 0보다 크고 좌표계 보정 각도 dθnet의 0.5 배보다 작으면 (2)의 이동 변위와 (1)의 이동 궤적의 차이를 감소할 수 있다.
또한, 포인터의 이동 변위 (2)가 회전하지 않으면, 즉, 포인터의 이동 변위 (2)가 0 도만큼 회전하면, 포인터의 이동 변위 (2)와 바디(110)의 이동 궤적 (1)의 차이에 해당되는 교란이 발생한다.
이 때 프로세서가 좌표계 보정 각도 dθnet의 0.5 배보다 크고, 좌표계 보정 각도 dθnet보다 작도록 포인터의 이동 변위를 바디(110)의 이동 궤적을 향하여 회전시키더라도 포인터의 이동 변위 (2)와 바디(110)의 이동 궤적 (1)의 차이는 상기 교란보다 작음을 알 수 있다.
이 때 좌표계 보정 각도 dθnet은 프로세서(150)의 동작 과정에서 합산되며 결과적으로 재설정 되기 직전까지 보정 후 좌표계는 이미지 센싱부(130)의 좌표계에 비해 dθnet의 총합인 θnet만큼 돌아간 정도를 유지하게 된다.
그리고 이미지 센싱부(130)로부터 새롭게 측정된 포인터의 이동 변위 (2)는, θnet 만큼 회전된 보정 후 좌표계 기준으로 변환된 뒤 새로운 좌표계 보정 각도 dθnet 으로부터 얻은 새로운 dθeffective 만큼 추가 회전시키게 된다.
따라서 결과적으로 매순간 포인터 이동 변위의 회전 보정 정도는 앞선 좌표계 보정의 총합인 θnet 과 새로운 좌표계 보정값 dθnet으로부터 얻은 dθeffective를 더한 (θnet+dθeffective)가 된다. 이 때 좌표계의 재설정이란 dθnet 값을 0과 같은 특정 값으로 초기화 하는 것을 뜻한다.
이상에서 설명된 바와 같이, 본 발명의 실시예에 따른 포인팅 디바이스는 바디(110)의 이동 중에 바디(110)가 회전하더라도 포인터의 이동 변위와 바디(110)의 이동 궤적이 형성하는 각도를 줄일 수 있다.
따라서 프로세서(150)는, 이미지 센싱부(130)에서 출력된 센싱 신호를 앞선 좌표계 보정의 총합인 θnet 과 새로운 좌표계 보정 각도 dθnet으로부터 얻은 dθeffective를 더한 θnet+dθeffective 만큼 회전시켜 보정함으로써 컴퓨터의 디스플레이 장치에 표시되는 포인터의 이동 궤적이 바디(110)의 이동 궤적과 일치할 수 있다.
또한 바디(110)가 이동하면서 회전할 경우, 프로세서(150)는, 포인터의 이동 변위의 길이와 바디(110)의 이동 궤적의 길이의 차이가 줄어들도록 할 수 있다.
즉, 도 5에 도시된 바와 같이, (1)과 (2)의 이동 궤적 및 이동 변위 사이에는 길이 s만큼 차이가 있다. 이에 따라 프로세서(150)는 다음의 수학식 2 및 수학식 3을 통하여 (1)과 (2)의 이동 궤적 및 이동 변위 사이의 비를 도출할 수 있으며, 이를 통하여 s를 계산할 수 있다.
[수학식 2]
Figure 112015015215217-pat00002
이 때 Lp는 (1) 의 이동 궤적의 길이를 나타내고, Lc는 (2)의 이동 궤적의 길이를 나타낸다. Lp는 rdθnet이고, Lc는 2rsin(dθnet/2)이다.
따라서 Lp/Lc는 다음의 수학식 3과 같다.
[수학식 3]
Figure 112015015215217-pat00003
한편, 앞서 설명된 바와 같이, 프로세서(150)는 바디(110)의 회전에 따른 바디(110)의 좌표계의 회전이 줄어들도록 좌표계를 보정할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 프로세서(150)는 좌표계의 좌표계 보정 각도 dθnet 만큼, 즉, 바디(110)의 순간 회전 각도만큼 좌표계를 회전시켜 좌표계를 보정하고 그 보정상태를 유지할 수 있다.
좌표계 보정을 위한 좌표계의 회전 방향은 바디(110)의 회전 방향과 반대일 수 있다. 즉, 도 5에 도시된 바와 같이, 보정 전 좌표계는 초기 좌표계에 비하여 시계 방향으로 회전하였으며, 이를 보정하기 위하여 반시계 방향으로 좌표계를 회전시킬 수 있다.
좌표계를 좌표계 보정 각도 dθnet 만큼 보정할 수 있으나 0보다 크고 dθnet보다 작은 각도만큼 보정하더라도 바디(110)의 이동 궤적과 포인터의 이동 변위의 차이를 줄일 수 있다.
이상에서 설명된 바와 같이 좌표계를 보정하기 위해서는 포인팅 디바이스 바디(110)의 좌표계 보정 각도 dθnet의 도출이 필요하며, 도 1 및 도 6에 도시된 바와 같이, 본 발명의 실시예에 따른 포인팅 디바이스는 바디(110)에 구비된 제1 이미지 센서(131) 및 제2 이미지 센서(133)를 통하여 바디(110)의 좌표계 보정 각도 dθnet의 도출할 수 있다. 이 때 제1 이미지 센서(131)와 제2 이미지 센서(133)는 소정 거리 d만큼 이격될 수 있다.
바디(110)의 일반운동은 병진운동과 회전운동의 합으로 표현할 수 있다. 제1 이미지 센서(131) 및 제2 이미지 센서(133) 중 하나(예를 들어, 제1 이미지 센서)가 병진 운동의 기준으로 설정되면, 바디(110)의 병진운동 및 회전운동은 도 6에 도시된 바와 같이 분리 가능하다.
이 때 제1 이미지 센서(131) 및 제2 이미지 센서(133)를 연결한 직선이 바디(110)의 중심축을 지나므로 y축 방향 신호는 회전 정도의 계산과 무관하게 되므로 도면에는 표시하지 않았다.
분리된 두 운동 중 회전 운동의 경우, 각속도 및 dθ 는 다음의 수학식 4와 같다.
[수학식 4]
각속도 dθ/dt = (1/dt)(dx1i + dx2i)/d
즉, dθ = (dx1i + dx2i)/d 이다.
각속도는 순간 회전중심인 제1 이미지 센서(131)에 대해 제2 이미지 센서(133)가 움직이는 상대속도 값을 거리 d로 나눠준 값이다.
이 때 수학식 4의 단위는 라디안(radian)이므로 180/π를 곱해주어 degree 값으로 변환가능하다. 이에 따라 degree 단위로 표현되는 dθ는 다음의 수학식 5와 같다.
[수학식 5]
dθ = 180(dx1i + dx2i)/ πd
이 때 dx1i 또는 dx2i는 다음의 수학식 6과 같다.
[수학식 6]
dx1i = n * 1/CPI
dx2i = m * 1/CPI
CPI는 포인팅 디바이스의 해상도, 즉, 포인팅 디바이스의 바디(110)가 x축 방향으로 1인치 움직이는데 제1 이미지 센서(131) 및 제2 이미지 센서(133)가 해당 움직임을 분절하여 측정하는 횟수를 표현하며, 1/CPI는 측정의 최소 단위 당 바디(110)가 x축 방향으로 이동하는 거리가 된다.
본 발명의 실시예의 경우, 제1 이미지 센서(131) 및 제2 이미지 센서(133)는 동일한 CPI값을 가지나, 이에 한정되지 않고 서로 다른 CPI 값을 가질 수도 있다.
또한 n 혹은 m은 정수이고, 1/CPI가 제1 이미지 센서(131) 또는 제2 이미지 센서(133)가 이동한 실제 거리를 측정의 최소 분절 단위이므로, n * 1/CPI 혹은 m* 1/CPI는 해당 순간의 이미지 센서가 표면으로부터 상대 이동한 변위의 거리를 나타낸다.
따라서 제1 이미지 센서(131) 또는 제2 이미지 센서가 표면으로부터 측정가능한 최소 단위 거리 만큼 움직였을 때 n 혹은 m은 1이며 해당 순간의 회전 정도를 나타내는 수학식 5로부터 측정가능한 최소 단위 회전의 정도 R은 수학식 7과 같이 표현 된다. n의 최소값, 즉 1 회 측정시 바디의 최소 회전 정도인 R은 다음의 수학식 7이 된다.
[수학식 7]
R = 180Q/(πd*CPI)
수학식 7에서 Q는 게인으로써 제1 이미지 센서(131) 및 제2 이미지 센서(133)가 지나는 표면 재질이나 바디의 이동 속도에 따라 측정 정확도 CPI가 변화할 수 있으므로 이를 보정하기 위한 것이다.
따라서 수학식 5를 표면의 재질를 고려한 CPI로 변환하면, 다음의 수학식 8과 같다.
[수학식 8]
dθ = (n+m)*R
이상에서 설명된 바와 같이, 본 발명의 실시예에 따른 포인팅 디바이스는 바디(110)에 구비되어 제1 센싱 신호를 출력하는 제1 이미지 센서(131)와 제1 이미지 센서(131)와 이격되어 바디(110)에 구비되며, 제2 센싱 신호를 출력하는 제2 이미지 센서(133)를 포함한다.
프로세서(150)는 제1 센싱 신호 및 상기 제2 센싱 신호에 따라 바디(110)의 회전각을 계산하고 회전각에 따라 바디(110)의 이동 궤적과 포인터의 이동 변위의 차이를 줄인다.
이상에서 본 발명의 다른 실시예에 따른 포인팅 디바이스는 2개의 이미지 센서를 포함하나, 3 개 이상의 이미지 센서를 포함할 수도 있다.
한편, 도 7에 도시된 바와 같이, 프로세서(150)는, 보정된 좌표계를 회전된 바디(110)에 맞추어 재설정할 수 있다.
즉, 프로세서(150)의 좌표계 보정 동작에 따라 바디(110)가 회전하더라도 좌표계는 초기 좌표계를 유지할 수 있다. 그런데 연속된 하나의 태스크를 수행완료한 경우에 새로운 태스크를 수행하기 앞서 사용자는 도 7의 (d)와 같이 초기 좌표계의 상태로 재설정하기를 원할 수 있으며, 프로세서(150)는 재설정 신호에 따라 좌표계를 재설정할 수 있다.
이 때 재설정 신호는 사용자의 포인팅 디바이스 버튼 조작에 의하여 발생하거나 프로세서(150)에 의하여 자동으로 이루어질 수 있으나 이에 한정되는 것은 아니다.
이렇게 재설정을 가능케하고 일시적인 보정을 제공 하는 것은 표면으로부터 탈부착이 가능한 포인팅 디바이스가 갖는 높은 이동성에 대응하여 시기적절한 보정 결과를 제공하기 위한 것이다.
예로서 보정된 좌표계가 영구히 유지된다면 시간이 지나 사용자가 과거의 보정 상태를 기억하지 못하는 경우 포인팅 디바이스를 사용하려고 하는 순간 현재의 좌표계 회전 상태에 대한 아무런 단서를 찾지 못해 원하는 조작을 하기 어려울 것이다.
따라서 시기 적절히 좌표계를 초기화 시켜 일반적으로 포인팅 디바이스의 바디(110)와 수직, 수평한 좌표계 상태를 유지함으로써 사용자가 새로운 task에 대해 포인팅디바이스를 보다 직관적으로 조작 시작할 수 있다.
하지만 초기 좌표계는 사용자에 의해서 새롭게 정의될 수 있으며 바디와 수직, 수평한 좌표계로 한정지을 필요는 없다.
한편, 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 포인팅 디바이스는 통신부(190)를 더 포함할 수 있다.
프로세서(150)는 프로토콜에 맞추어 프로세서(150)의 처리 결과, 즉 포인터 제어 신호를 통신부(190)를 통하여 포인팅 디바이스의 외부에 있는 컴퓨터에 전송할 수 있다.
이 때 통신부(190)는 유선 또는 무선 통신을 수행할 수 있다. 예를 들어, 통신부(190)는 블루투스 통신 또는 와이파이 통신을 지원하거나 USB 인터페이스에 연결될 수 있다.
그러나 통신부(190)는 이와 같은 통신 방식에 한정되는 것은 아니며 다양한 통신 방식이 적용될 수 있다.
도 8은 본 발명의 다른 실시예에 따른 포인팅 디바이스를 나타낸다. 도 8에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 포인팅 디바이스는 도출용 센서(210)를 포함할 수 있다.
도출용 센서(210)는 바디(110)의 회전각 혹은 회전 각속도를 센싱할 수 있다. 예를 들어, 이와 같은 도출용 센서(210)는 자이로 센서나 지자기 센서일 수 있으나 이에 한정되는 것은 아니다 .
앞서 도 1에 도시된 포인팅 디바이스는 제1 센싱 신호 및 제2 센싱 신호를 통하여 바디(110)의 회전 각도, 즉, 도 5의 좌표계 보정 각도 dθnet을 도출한다. 따라서 제1 센싱 신호 및 제2 센싱 신호는 좌표계 보정 각도 dθnet의 도출 및 포인터의 이동을 컴퓨터의 디스플레이 장치에 표시하는데 사용될 수 있다.
이에 비하여 도 8의 포인팅 디바이스는 바디(110)의 회전 각도, 즉, 좌표계 보정 각도 dθnet의 도출은 도출용 센서(210)에서 이루어질 수 있으며, 이미지 센싱부(130)의 센싱 신호는 앞선 좌표계 보정의 총합인 θnet 과 새로운 좌표계 보정 각도 dθnet으로부터 얻은 dθeffective를 더한 θnet+dθeffective 만큼 보정되어 포인터의 이동을 컴퓨터의 디스플레이 장치에 표시하는데 사용될 수 있다.
이와 같은 본 발명의 실시예에 따른 포인팅 디바이스는 마우스뿐만아니라 다른 형태의 전자장치일 수 있다. 예를 들어, 본 발명의 실시예에 따른 포인팅 디바이스는 스마트 폰(smart phone)과 같은 모바일 디바이스(mobile device)일 수 있다.
도 8의 각도 측정 센서(210)는 스마트 폰에 구비된 자이로 센서나 지자기 센서일 수 있으며, 프로세서(150)는 스마트 폰의 CPU일 수 있다.
또한 광원(10)은 스마트 폰의 카메라 플래쉬이거나 스마트 폰에 구비된 별도의 발광 모듈일 수 있다. 통신부(190)는 스마트 폰에 구비된 각종 통신 모듈 중 하나일 수 있다. 또한 이미지 센싱부(130)는 스마트 폰에 구비된 후면 혹은 전면 카메라일 수 있다.
도 1 또는 도 8의 프로세서(150)는 포인팅 입력용 프로그램을 실행함으로써 앞서 설명된 좌표계 보정이나, 바디의 이동 궤적과 포인터의 이동 변위의 차이나 길이를 줄이는 것 등에 대한 동작을 수행할 수 있다.
포인팅 입력용 프로그램은 롬이나 플래쉬 메모리와 같은 저장부(미도시)에 설치될 수 있다.
또한 포인팅 입력용 프로그램은 애플 앱 마켓(apple app market)이나 안드로이드 앱 마켓(android app market) 등으로부터 전송되어 설치될 수도 있다.
한편, 본 발명의 실시예에 따른 포인터 제어 방법은 이동 궤적을 따라 이동하는 과정에서 회전가능한 바디(110)에 구비되는 이미지 센싱부(130)가 출력하는 센싱 신호를 처리하며, 이동 궤적과 포인터의 이동 변위의 차이를 줄인다.
이와 같은 본 발명의 실시에에 따른 포인터 제어 방법은 앞서 설명된 본 발명의 실시예들에 따른 포인팅 디바이스에 의하여 구현될 수 있을 뿐만 아니라 도 9에 도시된 본 발명의 실시예에 따른 포인팅 시스템을 통하여 구현될 수도 있다.
즉, 도 9에 도시된 바와 같이, 포인팅 디바이스와 연결된 컴퓨터의 프로세서(150)가 도 1 및 도 8의 프로세서(150)의 역할을 수행할 수도 있다. 이 때 도 9의 제어부(230)는 포인팅 디바이스의 동작을 전체적으로 제어하기 위한 것이다.
제1 이미지 센서(131) 및 제2 이미지 센서(133)는 각각 제1 센싱 신호 및 제2 센싱 신호를 출력할 수 있으며, 제어부(230)는 통신부(190)의 통신 규격에 맞게 제1 센싱 신호 및 제2 센싱 신호를 컴퓨터에 전송할 수 있다.
컴퓨터는 제1 센싱 신호 및 제2 센싱 신호를 처리하여 도 1의 프로세서(150)의 기능을 수행할 수 있다.
도 9에는 도시되어 있지 않으나 도 9의 포인팅 디바이스는 각도 측정 센서(210)를 포함할 수 있으며, 이 경우 컴퓨터는 도 8의 프로세서(150)의 기능을 수행할 수 있다.
도 10은 일반적인 포인팅 디바이스와 본 발명의 실시예에 따른 포인팅 디바이스를 비교한 도면이다. 도 10에 도시된 바와 같이, 유저가 일반적인 포인팅 디바이스와 본 발명의 실시예에 따른 포인팅 디바이스를 눈을 감고 조작한 결과이다.
유저가 일반적인 포인팅 디바이스를 조작할 경우 좌표계의 회전에 의하여 포인터의 궤적이 드리프트(drift)됨을 알 수 있다. 반면에 유저가 본 발명의 실시예에 따른 포인팅 디바이스를 조작할 경우 좌표계의 보정으로 인하여 포인터의 궤적의 드리프트량이 일반적인 포인팅 디바이스에 비하여 적음을 알 수 있다.
이상과 같이 본 발명에 따른 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화 될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.
바디(110)
이미지 센싱부(130)
제1 이미지 센서(131)
제2 이미지 센서(133)
프로세서(150)
광원(170)
통신부(190)
도출용 센서(210)

Claims (28)

  1. 이동 궤적을 따라 이동하는 과정에서 회전가능한 바디;
    상기 바디에 구비되어 센싱 신호를 출력하는 이미지 센싱부;
    상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 프로세서를 포함하며,
    상기 프로세서는,
    상기 포인터의 이동 변위의 길이와 상기 바디의 이동 궤적의 길이의 차이가 줄어들도록 하는 것을 특징으로 하는 포인팅 디바이스.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 바디의 회전에 따른 상기 바디의 좌표계의 회전이 줄어들도록 상기 좌표계를 보정하는 것을 특징으로 하는 포인팅 디바이스.
  3. 제1항에 있어서,
    상기 프로세서는,
    0 보다 크고 상기 바디의 순간 회전 각도보다 작도록 상기 포인터의 이동 변위를 상기 바디의 이동 궤적을 향하여 회전시키는 것을 특징으로 하는 포인팅 디바이스.
  4. 삭제
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 보정된 좌표계를 특정 초기 상태로 재설정하는 것을 특징으로 하는 포인팅 디바이스.
  6. 이동 궤적을 따라 이동하는 과정에서 회전가능한 바디;
    상기 바디에 구비되어 센싱 신호를 출력하는 이미지 센싱부;
    상기 바디의 이동 중에 상기 바디가 회전하더라도 포인터의 이동 변위와 상기 바디의 이동 궤적이 형성하는 각도를 줄이는 프로세서를 포함하며,
    상기 프로세서는,
    포인터의 이동 변위의 길이와 상기 바디의 이동 궤적의 길이의 차이가 줄어들도록 하는 것을 특징으로 하는 포인팅 디바이스.
  7. 삭제
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 바디의 회전에 따른 상기 바디의 좌표계의 회전이 줄어들도록 상기 좌표계를 보정하는 것을 특징으로 하는 포인팅 디바이스.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 보정된 좌표계를 특정 초기 상태로 재설정하는 것을 특징으로 하는 포인팅 디바이스.
  10. 이동 궤적에 따라 이동하는 과정에서 회전가능한 바디;
    상기 바디에 구비되어 제1 센싱 신호를 출력하는 제1 이미지 센서;
    상기 제1 이미지 센서와 이격되어 상기 바디에 구비되며, 제2 센싱 신호를 출력하는 제2 이미지 센서;
    상기 제1 센싱 신호 및 상기 제2 센싱 신호에 따라 상기 바디의 회전각을 계산하고 상기 회전각에 따라 상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 프로세서를 포함하며,
    상기 프로세서는,
    상기 포인터의 이동 변위의 길이와 상기 바디의 이동 궤적의 길이의 차이가 줄어들도록 하는 것을 특징으로 하는 포인팅 디바이스.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 바디의 회전에 따른 상기 바디의 좌표계의 회전이 줄어들도록 상기 좌표계를 보정하는 것을 특징으로 하는 포인팅 디바이스.
  12. 제10항에 있어서,
    상기 프로세서는,
    0 보다 크고 상기 바디의 순간 회전 각도보다 작도록 상기 포인터의 이동 변위를 상기 바디의 이동 궤적을 향하여 회전시키는 것을 특징으로 하는 포인팅 디바이스.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 포인터의 이동 변위와 상기 바디의 이동 궤적이 형성하는 각도를 줄이는 것을 특징으로 하는 포인팅 디바이스.
  14. 삭제
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 보정된 좌표계를 특정 초기 상태로 재설정하는 것을 특징으로 하는 포인팅 디바이스.
  16. 이동 궤적에 따라 이동하는 과정에서 회전가능한 바디;
    상기 바디에 구비되어 상기 바디의 회전각 또는 회전 각속도를 센싱하는 도출용 센서;
    상기 바디의 회전각이나 상기 회전 각속도로부터 도출된 상기 바디회전각에 따라 상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 프로세서를 포함하며,
    상기 프로세서는,
    상기 포인터의 이동 변위의 길이와 상기 바디의 이동 궤적의 길이의 차이가 줄어들도록 하는 것을 특징으로 하는 포인팅 디바이스.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 바디의 회전에 따른 상기 바디의 좌표계의 회전이 줄어들도록 상기 좌표계를 보정하는 것을 특징으로 하는 포인팅 디바이스.
  18. 제16항에 있어서,
    상기 프로세서는,
    0 보다 크고 상기 바디의 순간 회전 각도보다 작도록 상기 포인터의 이동 변위를 상기 바디의 이동 궤적을 향하여 회전시키는 것을 특징으로 하는 포인팅 디바이스.
  19. 제16항에 있어서,
    상기 프로세서는,
    상기 포인터의 이동 변위와 상기 바디의 이동 궤적이 형성하는 각도를 줄이는 것을 특징으로 하는 포인팅 디바이스.
  20. 삭제
  21. 제17항에 있어서,
    상기 프로세서는,
    상기 보정된 좌표계를 상기 회전된 바디에 맞추어 재설정하는 것을 특징으로 하는 포인팅 디바이스.
  22. 이동 궤적을 따라 이동하는 과정에서 회전가능한 바디에 구비되는 이미지 센싱부가 출력하는 센싱 신호를 처리하는 포인터 제어 방법에 있어서,
    상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이며,
    상기 포인터의 이동 변위의 길이와 상기 바디의 이동 궤적의 길이의 차이가 줄어들도록 하는 것을 특징으로 하는 포인터 제어 방법.
  23. 제22항에 있어서,
    상기 바디의 회전에 따른 상기 바디의 좌표계의 회전이 줄어들도록 상기 좌표계를 보정하는 것을 특징으로 하는 포인터 제어 방법.
  24. 제22항에 있어서,
    0 보다 크고 상기 바디의 순간 회전 각도보다 작도록 상기 포인터의 이동 변위를 상기 바디의 이동 궤적을 향하여 회전시키는 것을 특징으로 하는 포인터 제어 방법.
  25. 삭제
  26. 제23항에 있어서,
    상기 보정된 좌표계를 상기 회전된 바디에 맞추어 재설정하는 것을 특징으로 하는 포인터 제어 방법.
  27. 제22항에 있어서,
    상기 바디의 이동 중에 상기 바디가 회전하더라도 포인터의 이동 변위와 상기 바디의 이동 궤적이 형성하는 각도를 줄이는 것을 특징으로 하는 포인터 제어 방법.
  28. 제22항에 있어서,
    상기 이미지 센싱부는 서로 이격되어 상기 바디에 구비되는 제1 이미지 센서 및 제2 이미지 센서를 포함하며,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서는 각각 제1 센싱 신호 및 제2 센싱 신호를 출력하고,
    상기 바디의 회전각을 계산하고 상기 회전각에 따라 상기 이동 궤적과 포인터의 이동 변위의 차이를 줄이는 것을 특징으로 하는 포인터 제어 방법.
KR1020150021821A 2015-02-12 2015-02-12 포인팅 디바이스 및 포인터 제어 방법 KR101637241B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150021821A KR101637241B1 (ko) 2015-02-12 2015-02-12 포인팅 디바이스 및 포인터 제어 방법
PCT/KR2015/003080 WO2016129742A1 (ko) 2015-02-12 2015-03-30 포인팅 디바이스 및 포인터 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150021821A KR101637241B1 (ko) 2015-02-12 2015-02-12 포인팅 디바이스 및 포인터 제어 방법

Publications (1)

Publication Number Publication Date
KR101637241B1 true KR101637241B1 (ko) 2016-07-07

Family

ID=56500101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150021821A KR101637241B1 (ko) 2015-02-12 2015-02-12 포인팅 디바이스 및 포인터 제어 방법

Country Status (2)

Country Link
KR (1) KR101637241B1 (ko)
WO (1) WO2016129742A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020246626A1 (ko) * 2019-06-03 2020-12-10 엘지전자 주식회사 필기 입력 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281830A (ja) * 1994-04-05 1995-10-27 Mitsui Petrochem Ind Ltd 座標移動量演算装置および座標移動量演算方法
KR20040011310A (ko) 2002-07-30 2004-02-05 주식회사 애트랩 광마우스 및 광마우스의 오동작 방지 방법
US20110199298A1 (en) * 2008-06-27 2011-08-18 Movea S.A Pointer with motion sensing resolved by data merging

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002048853A1 (en) * 2000-12-15 2002-06-20 Finger System Inc. Pen type optical mouse device and method of controlling the same
KR100940095B1 (ko) * 2008-03-17 2010-02-02 (주)마이크로인피니티 포인터 이동 값 계산 장치, 포인터 이동 값 보정 방법 및자세 각도 변화량 보정 방법, 이를 사용하는 3차원 포인팅디바이스
JP2014038365A (ja) * 2011-11-14 2014-02-27 Ssd Co Ltd 補正装置、ポインティングデバイス、補正方法、及び、移動量算出方法
US20140300531A1 (en) * 2013-04-04 2014-10-09 Dexin Corporation Indicator input device with image recognition function

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281830A (ja) * 1994-04-05 1995-10-27 Mitsui Petrochem Ind Ltd 座標移動量演算装置および座標移動量演算方法
KR20040011310A (ko) 2002-07-30 2004-02-05 주식회사 애트랩 광마우스 및 광마우스의 오동작 방지 방법
US20110199298A1 (en) * 2008-06-27 2011-08-18 Movea S.A Pointer with motion sensing resolved by data merging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020246626A1 (ko) * 2019-06-03 2020-12-10 엘지전자 주식회사 필기 입력 장치
US11644906B2 (en) 2019-06-03 2023-05-09 Lg Electronics Inc. Handwriting input device

Also Published As

Publication number Publication date
WO2016129742A1 (ko) 2016-08-18

Similar Documents

Publication Publication Date Title
US11016116B2 (en) Correction of accumulated errors in inertial measurement units attached to a user
US20190187784A1 (en) Calibration of Inertial Measurement Units Attached to Arms of a User and to a Head Mounted Device
US10705113B2 (en) Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US20150286279A1 (en) Systems and methods for guiding a user during calibration of a sensor
US9507436B2 (en) Storage medium having stored thereon information processing program, information processing system, information processing apparatus, and information processing execution method
CN110319851B (zh) 传感器的校正方法、装置、设备及存储介质
CN111625764B (zh) 移动数据的校准方法、装置、电子设备和存储介质
US20170371425A1 (en) Handheld device and positioning method thereof
KR101503046B1 (ko) 다축 감지 장치 및 이의 교정 방법
JP5511088B2 (ja) 自律測位に用いる重力ベクトルを補正する携帯装置、プログラム及び方法
KR101637241B1 (ko) 포인팅 디바이스 및 포인터 제어 방법
KR101297317B1 (ko) 동작 추적을 위한 모션 센서의 교정 방법
JP2012146220A (ja) ジェスチャ入力装置
JP2019027988A (ja) 測量装置
KR101340555B1 (ko) 기준 시점 영상 생성 장치 및 방법
JP6384194B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN113407045B (zh) 一种光标控制方法、装置、电子设备和存储介质
CN107678568B (zh) 一种通过移动终端模拟激光笔的方法及装置
CN108225368B (zh) 计步装置和计步方法
JP2014241161A (ja) 入力装置およびデータ処理システム
JP6185301B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、指示位置の算出方法
JP6488946B2 (ja) 制御方法、プログラム及び制御装置
CN117288187B (zh) 机器人位姿确定方法、装置、电子设备及存储介质
JP5841958B2 (ja) データ処理システム
JP2015108595A (ja) センサー出力補正装置、センサー出力補正方法及びセンサー出力補正プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190611

Year of fee payment: 4