KR20130098837A - 공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치 - Google Patents

공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치 Download PDF

Info

Publication number
KR20130098837A
KR20130098837A KR1020120133550A KR20120133550A KR20130098837A KR 20130098837 A KR20130098837 A KR 20130098837A KR 1020120133550 A KR1020120133550 A KR 1020120133550A KR 20120133550 A KR20120133550 A KR 20120133550A KR 20130098837 A KR20130098837 A KR 20130098837A
Authority
KR
South Korea
Prior art keywords
gesture
coordinates
spatial coordinates
spatial
initial
Prior art date
Application number
KR1020120133550A
Other languages
English (en)
Other versions
KR101380997B1 (ko
Inventor
김상태
김재정
이호원
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20130098837A publication Critical patent/KR20130098837A/ko
Application granted granted Critical
Publication of KR101380997B1 publication Critical patent/KR101380997B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치가 개시된다. 제스처 보정 방법은 공간인식센서 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출하는 좌표 검출 단계; 및 상기 복수의 공간 좌표를 이용하여 상기 제스처의 최초 검출 위치인 초기 검출 좌표를 보정하는 제스처 보정 단계를 포함할 수 있으며, 이때 상기 복수의 공간 좌표는 시간에 따라 일정 주기로 순차 검출된 3차원 공간 좌표들로 이루어질 수 있다.

Description

공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치{METHOD AND APPARATUS FOR CORRECTING GESTURE ON SPACE RECOGNITION BASED ON VECTOR}
본 발명의 실시예들은 움직임 기반의 제스처 입력 시 제스처의 실제 물리적 공간 좌표와 센서에서 감지된 공간 좌표 간의 오차를 최소화 하기 위한 제스처 보정 방법에 관한 것이다.
전자 기기의 종류가 다양해지면서, 전자 기기를 제어하기 위한 다양한 기술이 제안되고 있다. 특히, 대형 디스플레이와 같은 원거리형 입력 인터페이스를 가진 기기에서는 3차원 공간 좌표 인식센서(이하, '공간인식센서'라 칭함)를 기반으로 한 입력장치가 늘어나고 있으며, 이는 다양한 컨텐츠에 적용되고 있다.
공간인식센서를 이용하는 전자 기기에서는 신체의 움직임을 이용한 다양한 방식의 제스처(예컨대, Hand gesture, Body gesture, Pose gesture 등)가 입력으로 사용되고 있다. 한국공개특허 제10-2012-0080072호(공개일 2012년 07월 16일)에는 모션 인식을 통해 디스플레이 장치를 제어하는 기술이 개시되어 있다.
그러나, 무엇보다 공간인식센서를 이용한 입력감지는 일정 주기로 업데이트되는 I/O(input/output) 이벤트에 따라 이루어지는 것을 특징으로 한다. 일반적으로 이러한 업데이트 주기는 충분히 빠르게 설정되어 있어 일반적인 정적인 입력(예컨대, 버튼 타입)에 있어서는 높은 정확도를 갖지만, 제스처 기반의 UI(User Interface)에서 많은 부분을 차지하는 빠르고 동적인 제스처의 경우 공간인식센서에 기 설정된 업데이트 주기 사이에 이벤트를 감지하는데 있어서는 한계를 갖는다.
도 1에 도시한 바와 같이, 제스처(101) 입력 시 공간 인식을 위한 업데이트 주기(T0, …, T7) 마다 이벤트를 감지하게 되는데, 이러한 업데이트 주기에 따라 실제 물리적 공간 좌표(TB)와 센서에서 감지된 공간 좌표(T0) 간에 오차 간격이 존재한다. 예를 들어서 업데이트 주기가 60Hz 로 설정되어있는 공간인식센서의 경우 일반적인 동적인 제스처 이벤트 시 제스처의 속도가 느리게는 0.2 m/s, 빠를 때는 0.4 m/s에 이름에 따라 이러한 오차 간격은 각각 적게는 33mm 많게는, 66mm에 까지 이르게 되고, 이러한 오차범위는 제스처가 시작된 지점을 기준으로 시스템 제어가 이루어지는 응용 어플리케이션 혹은 UI에 있어서 한계점을 부여하게 된다.
따라서, 공간 제스처의 실제 물리적 공간 좌표와 센서에서 감지된 공간 좌표 간에 발생되는 오차를 최소화 하기 위한 제스처 보정 기술이 필요하다.
공간 제스처의 초기 발생지점에 대한 오차 범위를 줄일 수 있는 제스처 보정 방법 및 그 장치를 제공한다.
본 발명의 실시예에 따르면, 벡터 기반 제스처를 보정하는 방법은, 공간인식센서를 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출하는 좌표 검출 단계; 및 상기 복수의 공간 좌표를 이용하여 상기 제스처의 최초 검출 위치인 초기 검출 좌표를 보정하는 제스처 보정 단계를 포함할 수 있으며, 이때 상기 복수의 공간 좌표는 시간에 따라 일정 주기로 순차 검출된 3차원 공간 좌표들로 이루어질 수 있다.
일 측면에 따르면, 상기 제스처 보정 단계는, 상기 3차원 공간 좌표들 간의 시간에 따른 위치 변화량을 이용하여 상기 제스처의 초기 검출 좌표를 보정할 수 있다.
다른 측면에 따르면, 상기 제스처 보정 단계는, 상기 복수의 공간 좌표가 최초 시점(t0)에 검출된 제1 공간 좌표(x0,y0,z0)와 상기 최초 시점(t0) 이후 일정 주기(t1)에 검출된 제2 공간 좌표(x1,y1,z1)로 이루어진 경우, 상기 제1 공간 좌표를 수학식
Figure pat00001
(여기서, k는 상수 값)에 의해 산출된 공간 좌표(xb,yb,zb)로 보정할 수 있다.
본 발명의 실시예에 따르면, 벡터 기반 제스처를 보정하는 장치는, 공간인식센서를 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출하는 좌표 검출부; 및 상기 복수의 공간 좌표를 이용하여 상기 제스처의 최초 검출 위치인 초기 검출 좌표를 보정하는 제스처 보정부를 포함할 수 있으며, 이때 상기 복수의 공간 좌표는 시간에 따라 일정 주기로 순차 검출된 3차원 공간 좌표들로 이루어질 수 있다.
본 발명의 실시예에 따르면, 공간인식센서를 구비한 제어 시스템은, 상기 공간인식센서를 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출하는 좌표 검출부; 및 상기 복수의 공간 좌표를 이용하여 상기 제스처의 최초 검출 위치인 초기 검출 좌표를 보정하는 제스처 보정부를 포함할 수 있으며, 이때, 상기 복수의 공간 좌표는 시간에 따라 일정 주기로 순차 검출된 3차원 공간 좌표들로 이루어지며, 상기 초기 검출 좌표가 보정된 상기 제스처를 입력 이벤트로 인식할 수 있다.
일 측면에 따르면, 상기 제스처 보정부는, 상기 3차원 공간 좌표들 간의 시간에 따른 위치 변화량을 이용하여 상기 제스처의 초기 검출 좌표를 보정할 수 있다.
다른 측면에 따르면, 공간인식센서를 구비한 제어 시스템은, 상기 초기 검출 좌표의 보정이 이루어진 시점 이후에 상기 초기 검출 좌표를 기준으로 상기 제스처에 기 설정된 조작 명령을 수행할 수 있다.
또 다른 측면에 따르면, 공간인식센서를 구비한 제어 시스템은, 상기 보정된 초기 검출 좌표가 상기 공간인식센서를 통한 제스처 검출이 가능한 검출 영역을 벗어나면 상기 제스처를 상기 보정된 초기 검출 좌표와 인접한 상기 검출 영역의 테두리 영역에서 시작된 제스처로 인식할 수 있다.
본 발명의 실시예에 따르면, 공간인식센서에서의 빠른 제스처에 대한 인식에 있어서 낮은 업데이트 주기를 가지는 센서에서도 공간제스처의 초기 발생지점에 대한 오차범위를 줄일 수 있다. 따라서, 일반적인 센서 업데이트 주기를 통해서도 하드웨어적인 부담(높은 업데이트 주기에 따른 CPU 점유 및 배터리 소모 등) 없이 오차범위를 줄일 수 있으며, 제스처의 입력 초기지점에 대한 오차율을 줄임으로써 정확도 높은 공간 인식을 가능하게 해 준다.
도 1은 공간인식센서에서 사용자에 의한 실제 물리적 공간 좌표와 센서에서 감지된 공간 좌표 간의 오차 발생을 설명하기 위한 예시 도면이다.
도 2는 본 발명의 일실시예에 있어서, 공간인식센서를 통해 입력되는 제스처의 초기 공간 좌표를 보정하는 제스처 보정 장치의 내부 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 공간 좌표 간의 시간에 따른 위치 변화량에 따라 초기 공간 좌표의 위치를 보정하는 과정을 설명하기 위한 예시 도면이다.
도 4는 본 발명의 일실시예에 있어서, 공간인식센서의 제스처 검출 가능 영역의 테두리 영역에서 시작된 제스처를 설명하기 위한 예시 도면이다.
도 5는 본 발명의 일실시예에 있어서, 공간인식센서를 통해 입력되는 제스처의 초기 공간 좌표를 보정하는 제스처 보정 방법을 도시한 순서도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 제스처 기반의 UI(User Interface) 환경에서 제스처 입력 시 사용자의 움직임에 의한 실제 물리적 공간 좌표와 센서에서 감지된 공간 좌표 간에 발생할 수 있는 오차를 최소화 하고자 하는 것이다. 본 발명의 실시예들은 모션인식 기반의 UI 환경을 구비한 시스템에 적용 가능한 것으로, 카메라, 모션 센서, 적외선 센서 및 이미지 센서 등 3차원 공간에서의 움직임 감지가 가능한 수단(이하, '공간인식센서'라 칭함)을 하나 이상 이용하여 비 접촉 상황에서 일반 스크린에 대한 신체의 움직임에 따른 제스처를 입력으로 하는 시스템 등에 적용될 수 있다.
본 명세서에서, 제스처라 함은 손의 움직임에 의한 제스처(Hand gesture), 신체의 움직임에 의한 제스처(Body gesture), 손 내지 신체의 포즈에 의한 제스처(Pose gesture) 등 공간 상에서의 사용자 움직임에 의한 모든 입력 형태를 의미할 수 있다.
이하에서는, 공간인식센서를 입력 수단으로 하는 시스템을 대표적인 실시예로 하여 구체적으로 설명하기로 한다.
도 2는 본 발명의 일실시예에 있어서, 제스처 보정 장치의 내부 구성을 도시한 블록도이다.
도 2에 도시한 바와 같이, 일실시예에 따른 제스처 보정 장치(200)는 좌표 검출부(210), 및 제스처 보정부(220)를 포함하여 구성될 수 있다.
좌표 검출부(210)는 공간인식센서를 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출하는 역할을 담당한다. 공간인식센서의 경우 사전에 정해진 소정 주기 마다 움직임에 따른 이벤트를 감지하게 되는데, 이에 좌표 검출부(210)는 사용자가 제스처 입력 시 소정 주기 마다 사용자의 움직임에 의한 공간 좌표를 순차적으로 검출할 수 있다. 이때, 제스처는 연속적인 움직임에 의한 것이므로 이는 시간에 따라 일정 주기로 순차 검출된 2개 이상의 3차원 좌표들로 이루어진다.
제스처 보정부(220)는 좌표 검출부(210)에서 검출된 복수의 공간 좌표를 이용하여 해당 제스처에 대하여 최초로 검출된 공간 좌표의 위치(이하, '초기 공간 좌표'라 칭함)를 보정하는 역할을 담당한다. 사용자로부터 입력된 제스처의 초기 공간 좌표에 대한 위치 보정은 좌표 검출부(210)에서 검출된 공간 좌표들 간의 관계를 바탕으로 이루어질 수 있다. 일 예로, 제스처 보정부(220)는 제스처에 대하여 순차적으로 검출된 2개 이상의 3차원 좌표 간의 시간에 따른 위치 변화량을 이용하여 해당 제스처의 초기 공간 좌표를 보정할 수 있다. 다른 예로, 제스처 보정부(220)는 제스처에 대하여 임의로 검출된 2개 이상의 3차원 좌표 간의 시간에 따른 위치 변화량을 이용하여 해당 제스처의 초기 공간 좌표를 보정하는 것 또한 가능하다. 예컨대, 특정 제스처에 대하여 7개의 공간 좌표(t0~t6)가 검출되는 경우 1, 2번째 공간 좌표(t0, t1) 등과 같이 순차적인 공간 좌표들을 이용하여 초기 공간 좌표(t0)를 보정하는 것은 물론, 2, 4번째 공간 좌표(t1, t3) 또는 0, 7번째 공간 좌표(t0, t6) 등과 같이 임의 공간 좌표들을 이용하여 초기 공간 좌표(t0)를 보정할 수 있다.
도 3은 제스처의 초기 공간 좌표를 보정하는 과정을 설명하기 위한 예시 도면이다. 도 3에 도시한 바와 같이, 사용자로부터 입력되는 제스처에 대하여 최초 시점(t0)에 제1 공간 좌표(x0,y0,z0)가 검출되고, 최초 시점(t0) 이후 일정 주기(t1)에 제2 공간 좌표(x1,y1,z1)가 검출된 것으로 가정할 때, 제1 공간 좌표(x0,y0,z0)는 제스처의 최초 공간 위치인 초기 공간 좌표(301)에 해당된다. 이때, 제스처의 초기 공간 좌표(301)에 대한 보정 위치(xb,yb,zb)는 제1 공간 좌표(x0,y0,z0)와 제2 공간 좌표(x1,y1,z1)에 따라 수학식 1과 같이 정의될 수 있다.
Figure pat00002
(여기서, k는 상수 값)
다시 말해, 제스처 보정부(220)는 제스처의 초기 공간 좌표(301)인 제1 공간 좌표(x0,y0,z0)를 수학식 1에 의해 산출된 공간 좌표(xb,yb,zb)(302)로 보정할 수 있다. 제스처의 초기 공간 좌표에 대한 보정은 순차적으로 발생한 2개 이상의 3차원 좌표들 간의 시간에 따른 좌표 위치 변화량에 따라 상대적으로 이루어질 수 있다. 따라서, 본 실시예에서는 제스처에 대한 최초 공간 좌표를 제1 공간 좌표(x0,y0,z0)가 아닌, 보정 식을 통해 얻은 공간 좌표(xb,yb,zb)(302)로 인식할 수 있다.
이와 같이, 본 실시예에 따르면 제스처에서 검출된 공간 좌표들간의 관계를 기초로 최초 공간 좌표의 위치를 보정함으로써 제스처 입력 초기지점에 대한 오차율을 최소화 할 수 있다. 빠른 속도로 스크린 상의 특정 오브젝트를 드래깅 할 경우 화면에 표시된 대상 오브젝트가 해당 스크린에서 발생할 수 있는 오차범위보다 작은 오브젝트의 경우 선택이 어려움이 있을 수 있다. 이러한 경우, 제스처 입력 초기지점에 대한 오차 범위를 줄임으로써 원거리 공간좌표 기반의 입력 환경에서 오브젝트에 대한 정확한 선택이 가능하다.
본 발명에 따른 제스처 보정 장치(200)는 공간인식센서를 입력 수단으로 하는 전자 기기의 제어 시스템에 적용될 수 있다. 전자 기기의 제어 시스템은 초기 공간 좌표가 보정된 제스처를 전자 기기에 대한 사용자의 최종 입력 이벤트로 인식할 수 있다. 다시 말해, 전자 기기의 제어 시스템은 제스처의 초기 공간 좌표에 대한 보정이 이루어진 시점 이후에 초기 공간 좌표를 기준으로 해당 제스처에 따라 전자 기기에 대한 기 설정된 조작 명령을 수행할 수 있다. 이때, 조작 명령은 제스처의 전체 궤적, 초기 공간 좌표, 또는 초기 공간 좌표로부터 진행된 드래깅이 종료된 마지막 공간 좌표 중 적어도 하나를 기준으로 결정될 수 있다. 더 나아가, 전자 기기의 제어 시스템은 공간인식센서의 제스처 감지 범위 주변에 형성된 테두리 영역을 하나 이상으로 구분하고 각각의 테두리 영역에 상이한 조작 명령을 할당할 수도 있다. 이로써 공간 제스처가 검출된 테두리 영역 종류에 따라 다양한 조작 명령이 수행될 수 있으며, 통상의 제스처 이벤트와 테두리 영역에 대한 드래깅에 따른 명령이 달리 수행될 수 있다.
도 4를 참조하면, 전자 기기는 움직임에 따른 제스처를 인식하기 위한 공간인식센서를 구비하고, 공간인식센서의 제스처 검출 가능 영역(110) 주변에는 소정 크기의 테두리 영역(120)이 형성될 수 있다. 또한, 테두리 영역(120)은 조작 명령을 결정짓기 위한 단위 영역(S1, S2, S3, S4)으로 구분될 수 있다. 테두리 영역(120)에서의 제스처는 공간인식센서에서 실질적으로 검출되지 않으나, 본 발명에 따른 제스처 보정 장치(200)가 적용될 경우 테두리 영역(120)으로부터 연장된 제스처의 여부를 확인할 수 있다.
도 4에 도시한 바와 같이, 최초로 시간(t0)에서 제1 공간 좌표(X0,Y0,Z0)가 개시된다. 이후 시간 (t1)에서는 제2 공간 좌표(X1,Y1,Z1)가 검출되는데, 본 발명에 따른 제스처 보정 기술에 의하면 제1 공간 좌표에서 제2 공간 좌표로 이어지는 벡터를 이용하여 해당 제스처의 초기 공간 좌표인 제1 공간 좌표(X0,Y0,Z0)를 수학식 1에 의해 산출된 좌표(Xb,Yb,Zb)로 보정할 수 있다. 이때, 수학식 1에 의해 산출된 좌표(Xb,Yb,Zb)가 제스처 검출 가능 영역(110) 내의 좌표 값이 아닌 경우 제1 공간 좌표(X0,Y0,Z0)가 해당 위치와 인접한 테두리 영역(120)에서 연장된 드래깅 중에 일어나는 동작임이 확인되고, 아울러 해당 제스처가 제1 공간 좌표(X0,Y0,Z0)와 인접한 테두리 영역(120)에서 시작된 제스처임이 확인된다.
더 나아가, 수학식 1과 도 4를 참조하면, 본 발명은 t0에서의 공간 좌표와 t1에서의 공간 좌표 사이의 벡터를 기준으로 그 이전 시간인 tb시간에서의 공간좌표가 연산된다. 이후 tb 시간에서 연산된 좌표 (Xb,Yb,Zb)가 공간인식센서의 제스처 검출 영역을 벗어난 논리적 테두리 영역에 속하는 경우, 상기 연산된 좌표 (Xb,Yb,Zb)는 테두리 영역에서의 공간좌표로 결정된다. 하지만, 상술한 식에 의하여 연산된 좌표 (Xb,Yb,Zb)는 실제 공간인식센서의 특성에 따라서 실제 테두리 영역의 경계와 다른 값으로 인식될 가능성이 있다. 따라서, 본 발명의 일 실시예는 이러한 격차를 줄이기 위해 t0, t1, k값 그리고 논리적 테두리 경계(실제 물리적인 경계 좌표와 다를 수 있음)의 선택적 보정(calibration) 작업을 통해 테두리 영역에서의 제스처 인식의 정확도를 높일 수 있다. 예를 들면, 너무 빠른 드래깅에 의하여 고정된 시간 동안 검출된 공간 좌표 차이가 큰 경우, 상술한 식에 의하여 연산된 (Xb,Yb,Zb)는 상기 입력장치의 논리적 테두리 영역을 벗어날 수 있다. 이 경우, k를 조절함으로써 상기 연산된 (Xb,Yb,Zb) 좌표가 공간인식센서의 제스처 검출 영역에 대한 논리적 테두리 영역 내에 속하게 할 수 있으며, 그 결과 테두리 영역에서의 공간 좌표가 연산된다. 상술한 방식과 동일한 방식으로 제스처 검출이 가능한 영역에서 테두리 영역 외부로 연장되는 드래깅에 의한 공간 좌표가 연산될 수 있으며, 이는 모두 본 발명의 범위에 속한다. 또는 상기 시간의 범위를 조절하거나, 상기 논리적 테두리 영역의 크기를 함께 또는 단독으로 조절함으로써, 각 디바이스에 적합한 최적의 테두리 영역에서의 제스처를 연산할 수 있다.
본 실시예에서는 테두리 영역에서 제스처 검출이 가능한 영역으로 연장되는 드래깅 제스처뿐만 아니라, 제스처 검출이 가능한 영역에서 테두리 영역 방향으로의 드래깅에 대해서도 동일한 방식으로 테두리 영역으로의 제스처가 연산되며, 상기 연산된 테두리 영역에서의 공간 좌표가 전자 기기에 대한 제어 변수로 사용될 수 있다.
도 5는 본 발명의 일실시예에 있어서, 제스처의 초기 공간 좌표를 보정하는 제스처 보정 방법을 도시한 순서도이다. 일실시예에 따른 제스처 보정 방법은 도 2를 통해 설명한 제스처 보정 장치에 의해 각각의 단계가 수행될 수 있다.
단계(510)에서 제스처 보정 장치는 공간인식센서를 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출할 수 있다. 제스처 보정 장치는 사용자가 제스처 입력 시 일정 주기 마다 사용자의 움직임에 의한 공간 좌표를 순차적으로 검출할 수 있다. 즉, 제스처는 연속적인 움직임 동작에 의한 것이므로 이는 시간에 따라 일정 주기로 순차 검출된 2개 이상의 3차원 좌표들로 이루어진다.
단계(520)에서 제스처 보정 장치는 복수의 공간 좌표를 이용하여 해당 제스처에 대하여 최초로 검출된 공간 좌표의 위치(초기 공간 좌표)를 보정할 수 있다. 일 예로, 제스처 보정 장치는 제스처에 대하여 순차적으로 검출된 2개 이상의 3차원 좌표 간의 시간에 따른 위치 변화량을 이용하여 해당 제스처의 초기 공간 좌표를 보정할 수 있다. 다른 예로, 제스처 보정 장치는 제스처에 대하여 임의로 검출된 2개 이상의 3차원 좌표 간의 시간에 따른 위치 변화량을 이용하여 해당 제스처의 초기 공간 좌표를 보정하는 것 또한 가능하다. 도 3을 참조하면, 제스처 보정 장치는 제스처에 대한 복수의 공간 좌표가 최초 시점(t0)에 검출된 제1 공간 좌표(x0,y0,z0)와, 최초 시점(t0) 이후 일정 주기(t1)에 검출된 제2 공간 좌표(x1,y1,z1)로 이루어진 경우 제1 공간 좌표(x0,y0,z0)를
Figure pat00003
에 의해 산출된 공간 좌표(xb,yb,zb)로 보정할 수 있다. 이와 같이, 제스처의 초기 공간 좌표에 대한 보정은 순차적으로 발생한 2개 이상의 3차원 좌표들 간의 시간에 따른 좌표 위치 변화량에 따라 상대적으로 이루어질 수 있다. 제스처에 대한 최초 공간 좌표의 위치를 제1 공간 좌표(x0,y0,z0)가 아닌, 보정 식을 통해 얻은 공간 좌표(xb,yb,zb)로 인식함으로써 제스처 입력 초기지점에 대한 오차율을 최소화 할 수 있다.
상기한 방식의 제스처 보정 장치(200)를 전자 기기의 제어 시스템에 적용할 경우 제어 시스템은 초기 공간 좌표가 보정된 제스처를 전자 기기에 대한 입력 이벤트로 인식할 수 있다. 전자 기기의 제어 시스템은 제스처의 초기 공간 좌표에 대한 보정이 이루어진 시점 이후에 초기 공간 좌표를 기준으로 해당 제스처에 따라 전자 기기에 대한 기 설정된 조작 명령을 수행할 수 있다. 이때, 조작 명령은 제스처의 전체 궤적, 초기 공간 좌표, 또는 초기 공간 좌표로부터 진행된 드래깅이 종료된 마지막 공간 좌표 중 적어도 하나를 기준으로 결정될 수 있다. 더 나아가, 전자 기기의 제어 시스템은 제스처의 초기 공간 좌표에 대한 보정 위치(xb,yb,zb)가 공간인식센서에서 제스처 검출이 가능한 영역을 벗어난 경우 사용자로부터 입력된 제스처를 제1 공간 좌표(x0,y0,z0)에 인접한 제스처 검출 가능 영역의 테두리 영역에서 시작된 제스처로 인식할 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 공간인식센서에서의 빠른 제스처에 대한 인식에 있어서 낮은 업데이트 주기를 가지는 센서에서도 공간제스처의 초기 발생지점에 대한 오차범위를 줄일 수 있다. 따라서, 일반적인 센서 업데이트 주기를 통해서도 하드웨어적인 부담(높은 업데이트 주기에 따른 CPU 점유 및 배터리 소모 등) 없이 오차범위를 줄일 수 있으며, 제스처의 입력 초기지점에 대한 오차율을 줄임으로써 정확도 높은 공간 인식이 가능하다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 파일 시스템은 컴퓨터 판독이 가능한 기록 매체에 기록될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 제스처 보정 장치
210: 좌표 검출부
220: 제스처 보정부

Claims (12)

  1. 공간인식센서를 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출하는 좌표 검출 단계; 및
    상기 복수의 공간 좌표를 이용하여 상기 제스처의 최초 검출 위치인 초기 검출 좌표를 보정하는 제스처 보정 단계
    를 포함하고,
    상기 복수의 공간 좌표는 시간에 따라 일정 주기로 순차 검출된 3차원 공간 좌표들인 것
    을 특징으로 하는 제스처 보정 방법.
  2. 제1항에 있어서,
    상기 제스처 보정 단계는,
    상기 3차원 공간 좌표들 간의 시간에 따른 위치 변화량을 이용하여 상기 제스처의 초기 검출 좌표를 보정하는 것
    을 특징으로 하는 제스처 보정 방법.
  3. 제1항에 있어서,
    상기 제스처 보정 단계는,
    상기 복수의 공간 좌표가 최초 시점(t0)에 검출된 제1 공간 좌표(x0,y0,z0)와 상기 최초 시점(t0) 이후 일정 주기(t1)에 검출된 제2 공간 좌표(x1,y1,z1)로 이루어진 경우, 상기 제1 공간 좌표를 수학식
    Figure pat00004
    (여기서, k는 상수 값)에 의해 산출된 공간 좌표(xb,yb,zb)로 보정하는 것
    을 특징으로 하는 제스처 보정 방법.
  4. 공간인식센서를 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출하는 좌표 검출부; 및
    상기 복수의 공간 좌표를 이용하여 상기 제스처의 최초 검출 위치인 초기 검출 좌표를 보정하는 제스처 보정부
    를 포함하고,
    상기 복수의 공간 좌표는 시간에 따라 일정 주기로 순차 검출된 3차원 공간 좌표들인 것
    을 특징으로 하는 제스처 보정 장치.
  5. 제4항에 있어서,
    상기 제스처 보정부는,
    상기 3차원 공간 좌표들 간의 시간에 따른 위치 변화량을 이용하여 상기 제스처의 초기 검출 좌표를 보정하는 것
    을 특징으로 하는 제스처 보정 장치.
  6. 제4항에 있어서,
    상기 제스처 보정부는,
    상기 복수의 공간 좌표가 최초 시점(t0)에 검출된 제1 공간 좌표(x0,y0,z0)와 상기 최초 시점(t0) 이후 일정 주기(t1)에 검출된 제2 공간 좌표(x1,y1,z1)로 이루어진 경우, 상기 제1 공간 좌표를 수학식
    Figure pat00005
    (여기서, k는 상수 값)에 의해 산출된 공간 좌표(xb,yb,zb)로 보정하는 것
    을 특징으로 하는 제스처 보정 장치.
  7. 공간인식센서를 구비한 제어 시스템에 있어서,
    상기 공간인식센서를 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출하는 좌표 검출부; 및
    상기 복수의 공간 좌표를 이용하여 상기 제스처의 최초 검출 위치인 초기 검출 좌표를 보정하는 제스처 보정부
    를 포함하고,
    상기 복수의 공간 좌표는 시간에 따라 일정 주기로 순차 검출된 3차원 공간 좌표들이며,
    상기 초기 검출 좌표가 보정된 상기 제스처를 입력 이벤트로 인식하는 것
    을 특징으로 하는 제어 시스템.
  8. 제7항에 있어서,
    상기 제스처 보정부는,
    상기 3차원 공간 좌표들 간의 시간에 따른 위치 변화량을 이용하여 상기 제스처의 초기 검출 좌표를 보정하는 것
    을 특징으로 하는 제어 시스템.
  9. 제7항에 있어서,
    상기 초기 검출 좌표의 보정이 이루어진 시점 이후에 상기 초기 검출 좌표를 기준으로 상기 제스처에 기 설정된 조작 명령을 수행하는 것
    을 특징으로 하는 제어 시스템.
  10. 제7항에 있어서,
    상기 보정된 초기 검출 좌표가 상기 공간인식센서를 통한 제스처 검출이 가능한 검출 영역을 벗어나면 상기 제스처를 상기 보정된 초기 검출 좌표와 인접한 상기 검출 영역의 테두리 영역에서 시작된 제스처로 인식하는 것
    을 특징으로 하는 제어 시스템.
  11. 컴퓨터 시스템이 제스처를 보정하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독 가능 매체로서, 상기 명령은
    공간인식센서를 통해 하나의 제스처로 입력되는 복수의 공간 좌표를 검출하는 좌표 검출 단계; 및
    상기 복수의 공간 좌표를 이용하여 상기 제스처의 최초 검출 위치인 초기 검출 좌표를 보정하는 제스처 보정 단계
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하며,
    상기 복수의 공간 좌표는 시간에 따라 일정 주기로 순차 검출된 3차원 공간 좌표들인 것을 특징으로 하는, 컴퓨터 판독 가능 매체.
  12. 제11항에 있어서,
    상기 제스처 보정 단계는,
    상기 3차원 공간 좌표들 간의 시간에 따른 위치 변화량을 이용하여 상기 제스처의 초기 검출 좌표를 보정하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
KR1020120133550A 2012-02-28 2012-11-23 공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치 KR101380997B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120020382 2012-02-28
KR20120020382 2012-02-28

Publications (2)

Publication Number Publication Date
KR20130098837A true KR20130098837A (ko) 2013-09-05
KR101380997B1 KR101380997B1 (ko) 2014-04-10

Family

ID=49450559

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020120133549A KR101372122B1 (ko) 2012-02-28 2012-11-23 터치스크린에서의 벡터 기반 제스처를 보정하는 방법 및 그 장치
KR1020120133550A KR101380997B1 (ko) 2012-02-28 2012-11-23 공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020120133549A KR101372122B1 (ko) 2012-02-28 2012-11-23 터치스크린에서의 벡터 기반 제스처를 보정하는 방법 및 그 장치

Country Status (1)

Country Link
KR (2) KR101372122B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055242A (zh) * 2016-05-24 2016-10-26 维沃移动通信有限公司 一种操作处理方法和移动终端
WO2019013494A1 (ko) * 2017-07-11 2019-01-17 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US10846864B2 (en) 2015-06-10 2020-11-24 VTouch Co., Ltd. Method and apparatus for detecting gesture in user-based spatial coordinate system
WO2022265213A1 (ko) * 2021-06-14 2022-12-22 삼성전자 주식회사 3차원 좌표 정보를 획득하는 폴더블 전자 장치 및 그 제어 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127700B2 (en) 2014-03-31 2018-11-13 Samsung Display Co., Ltd. Generation of display overlay parameters utilizing touch inputs
KR101633507B1 (ko) * 2015-02-12 2016-06-24 라인플러스 주식회사 엔드 포인트를 보정하는 시스템 및 방법
US20200239693A1 (en) 2017-03-01 2020-07-30 Dic Corporation Quinophthalone compound
CN112334546A (zh) 2018-07-13 2021-02-05 Dic株式会社 喹酞酮化合物
CN114729200A (zh) 2019-12-13 2022-07-08 Dic株式会社 喹酞酮化合物、颜料组合物和彩色滤光片

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100800439B1 (ko) 2006-09-12 2008-02-04 엘지전자 주식회사 터치패드 입력 오차 보정 방법 및 그 단말기
KR20080092655A (ko) * 2007-04-13 2008-10-16 삼성전자주식회사 휴대용 단말기에서 제스처 인식 방법 및 장치
KR20100042756A (ko) * 2008-10-17 2010-04-27 주식회사 케이티테크 이동통신 단말기의 센서를 이용한 터치입력 오차 보정 방법및 이를 수행하는 이동통신 단말기
KR20100081432A (ko) * 2009-01-06 2010-07-15 엘지전자 주식회사 터치입력 보정 방법 및 그를 이용한 이동 단말기
KR101595381B1 (ko) * 2009-06-10 2016-02-18 엘지전자 주식회사 이동 단말기 및 그의 제스처 입력 처리방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846864B2 (en) 2015-06-10 2020-11-24 VTouch Co., Ltd. Method and apparatus for detecting gesture in user-based spatial coordinate system
CN106055242A (zh) * 2016-05-24 2016-10-26 维沃移动通信有限公司 一种操作处理方法和移动终端
CN106055242B (zh) * 2016-05-24 2020-04-10 维沃移动通信有限公司 一种操作处理方法和移动终端
WO2019013494A1 (ko) * 2017-07-11 2019-01-17 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20190006831A (ko) * 2017-07-11 2019-01-21 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2022265213A1 (ko) * 2021-06-14 2022-12-22 삼성전자 주식회사 3차원 좌표 정보를 획득하는 폴더블 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR101372122B1 (ko) 2014-03-12
KR101380997B1 (ko) 2014-04-10
KR20130098836A (ko) 2013-09-05

Similar Documents

Publication Publication Date Title
KR101380997B1 (ko) 공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
US9477324B2 (en) Gesture processing
US8917906B2 (en) Method and apparatus for motion recognition
JP6201379B2 (ja) 位置算出システム、位置算出プログラム、および、位置算出方法
US10572012B2 (en) Electronic device for performing gestures and methods for determining orientation thereof
TWI506529B (zh) 滑動觸摸操作的顯示控制系統及方法
JP2015046732A5 (ko)
US9697803B2 (en) Method and apparatus to reduce display latency of touch events using image replications
CN104317398A (zh) 一种手势控制方法、穿戴式设备及电子设备
KR20160063163A (ko) 터치 제스쳐 인식 방법 및 장치
US10019919B2 (en) Processing apparatus, command generation method and storage medium
US20150077331A1 (en) Display control device, display control method, and program
KR102161745B1 (ko) 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법
JP2015176451A (ja) ポインティング制御装置およびポインティング制御プログラム
TW201423503A (zh) 一種觸控裝置之偵測方法
US9927917B2 (en) Model-based touch event location adjustment
KR20150129419A (ko) 사용자 입력 장치 및 그 방법
US20150035749A1 (en) Information processing device, information processing method, and program
US10558270B2 (en) Method for determining non-contact gesture and device for the same
WO2016165362A1 (zh) 一种投影显示方法、装置、电子设备及计算机存储介质
US9354706B2 (en) Storage medium having stored therein information processing program, information processing apparatus, information processing system, and method of calculating designated position
JPWO2019171635A1 (ja) 操作入力装置、操作入力方法、及びプログラム
WO2021161380A1 (ja) 視線推定システム、視線推定方法、及びコンピュータプログラム
US20160054852A1 (en) Method for acquiring actual coordinate and method for detecting input device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee