KR102339839B1 - 제스처 입력 처리 방법 및 장치 - Google Patents

제스처 입력 처리 방법 및 장치 Download PDF

Info

Publication number
KR102339839B1
KR102339839B1 KR1020140191031A KR20140191031A KR102339839B1 KR 102339839 B1 KR102339839 B1 KR 102339839B1 KR 1020140191031 A KR1020140191031 A KR 1020140191031A KR 20140191031 A KR20140191031 A KR 20140191031A KR 102339839 B1 KR102339839 B1 KR 102339839B1
Authority
KR
South Korea
Prior art keywords
gesture input
action
input
gesture
ellipse
Prior art date
Application number
KR1020140191031A
Other languages
English (en)
Other versions
KR20160079531A (ko
Inventor
이규빈
박근주
류현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140191031A priority Critical patent/KR102339839B1/ko
Priority to US14/718,259 priority patent/US9857878B2/en
Publication of KR20160079531A publication Critical patent/KR20160079531A/ko
Application granted granted Critical
Publication of KR102339839B1 publication Critical patent/KR102339839B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

제스처 입력 처리 방법 및 장치가 개시된다. 일 실시예에 따른 제스처 입력 처리 장치는 제스처 입력에 대응하는 타원 호의 유형 및 회전 방향에 기초하여 제스처 입력을 처리한다.

Description

제스처 입력 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING GESTURE INPUT}
아래 실시예들은 제스처 입력 처리 방법 및 장치에 관한 것이다.
전자 기술의 발달에 힘입어, 다양한 종류의 최신 전자기기들이 개발되어 보급되고 있다. 최신 제품들에는 사용자가 해당 제품을 좀 더 편리하고 효과적으로 이용할 수 있도록 하기 위한 최신 기술들이 적용되고 있다. 그러한 기술들의 예를 들면, 제스처 인식 기술, 음성 인식 기술 등이 있다.
이 중 제스처 인식 기술은 비전 센서 등을 이용하여 사용자의 움직임을 센싱한 후, 그 센싱 결과를 이용하는 기술을 의미한다. 제스처 인식 기술은 사용자가 편리하게 이용할 수는 있으나, 제스처가 정확하게 인식되지 않는 경우 의도하지 않은 기능이 수행될 수 있고, 제스처의 입력 자체가 이루어지지 않는 경우 수 차례 반복 입력이 요구될 수 있다.
사용자들은 제스처 입력을 위하여 손을 사용하는 것이 일반적인데, 손으로 표현할 수 있는 제스처는 불명확할 가능성이 크다. 예를 들어, 손을 흔드는 제스처, 손을 일 방향으로 움직이는 제스처, 페이지 넘김을 위하여 손을 스윙 하는 제스처 등을 서로 구별하는 것은 결코 용이하지 않다.
따라서, 이와 같은 불명확한 제스처를 정확하게 인식할 수 있는 방법에 대한 필요성이 대두되었다.
일 측에 따른 제스처 입력 처리 방법은 제스처 입력에 대응하는 타원 호(elliptical arc)의 유형(type)을 결정하는 단계; 상기 제스처 입력에 대응하는 회전 방향(rotation direction)을 결정하는 단계; 및 상기 유형 및 상기 회전 방향에 기초하여, 상기 제스처 입력을 처리하는 단계를 포함한다. 상기 제스처 입력은 반복 가능한 타원 형태의 동작 입력 중 일부일 수 있다.
상기 유형은 상기 제스처 입력에 대응하는 타원의 장축의 방향; 및 상기 장축을 기준으로 하는 상기 타원 호의 상대적 위치를 포함할 수 있다.
상기 제스처 입력 처리 방법은 상기 제스처 입력으로 인한 빛의 변화를 감지하는 이벤트 기반 비전 센서의 픽셀들에 의하여 출력되는 이벤트 신호들을 수신하는 단계를 더 포함할 수 있다.
상기 제스처 입력 처리 방법은 상기 유형 및 상기 회전 방향 중 적어도 하나를 결정하기 위하여, 상기 이벤트 신호들에 대응하는 이벤트 맵의 원소들 및 주변 원소들 사이의 거리 차이 및 시간 차이에 기초하여 광류(optical flow)를 계산하는 단계를 더 포함할 수 있다.
상기 제스처 입력 처리 방법은 상기 제스처 입력에 대응하는 모션 벡터들 또는 포지션들을 계산하는 단계를 더 포함하고, 상기 유형 및 상기 회전 방향 중 적어도 하나는 상기 모션 벡터들의 시간에 따른 변화 또는 상기 포지션들의 시간에 따른 변화에 기초하여 결정될 수 있다.
상기 처리하는 단계는 상기 유형 및 상기 회전 방향에 기초하여, 상기 제스처 입력에 대응하는 입력 방향을 결정하는 단계; 및 상기 입력 방향에 대응하는 액션(action)을 수행하는 단계를 포함할 수 있다.
상기 처리하는 단계는 상기 유형 및 상기 회전 방향에 기초하여 상기 제스처 입력이 순환 동작 입력의 의도 전달 부분 또는 복귀 부분에 해당하는지 여부를 판단하는 단계; 상기 제스처 입력이 상기 의도 전달 부분에 해당한다는 판단에 따라, 상기 순환 동작 입력에 대응하는 액션을 수행하는 단계; 및 상기 제스처 입력이 상기 복귀 부분에 해당한다는 판단에 따라, 상기 액션을 수행하지 않는 단계를 포함할 수 있다.
일 측에 따른 제스처 입력 처리 장치는 제스처 입력을 감지하는 센싱부; 미리 정해진 회전 방향 및 궤도를 가지는 후보 도형들에 기초하여, 상기 제스처 입력에 대응하는 후보 도형 및 상기 후보 도형에 포함된 부위(part)들 중 상기 제스처 입력에 대응하는 부위를 판단하는 판단부; 및 상기 부위에 기초하여, 상기 후보 도형에 매칭된 액션을 수행할지 여부를 결정하는 결정부를 포함한다.
도 1은 일 실시예에 따른 제스처 입력 처리 시스템을 설명하는 도면.
도 2는 일 실시예에 따른 제스처 입력 처리 장치의 동작을 설명하는 도면.
도 3 및 도 4는 실시예들에 따른 다양한 제스처 입력들에 대응하여 결정되는 타원 호의 유형들과 회전 방향들을 설명하는 도면들.
도 5는 일 실시예에 따른 다양한 제스처 입력들에 대응하는 액션들과 수행 여부들을 설명하는 도면.
도 6은 일 실시예에 따른 장축의 방향이 대각선 방향인 타원 형태의 순환 동작 입력들을 설명하는 도면.
도 7은 일 실시예에 따른 모션 벡터의 시간에 따른 변화에 기초하여 타원 호의 유형 및 회전 방향을 결정하는 방법을 설명하는 도면.
도 8 내지 도 10은 일 실시예에 따른 제스처 입력으로부터 모션 벡터를 계산하는 방법을 설명하는 도면들.
도 11은 일 실시예에 따른 세분화된 타원 호의 유형을 설명하는 도면.
도 12는 실시예들에 따른 순환 동작 입력의 다양한 형태들을 설명하는 도면.
도 13 및 도 14는 실시예들에 따른 제스처 입력의 깊이에 기초하여 제스처 입력을 처리하는 방법을 설명하는 도면들.
도 15 내지 도 17은 일 실시예에 따른 광류를 이용하여 z축 모션 벡터를 계산하는 방법을 설명하는 도면.
도 18은 일 실시예에 따른 제스처 입력 처리 방법을 나타낸 동작 흐름도.
도 19는 일 실시예에 따른 제스처 입력 처리 장치를 나타낸 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 사용자 인터페이스에 적용될 수 있다. 예를 들어, 비 접촉 동작 인식 인터페이스에서 넘기기 동작(swipe motion)을 인식하는데 사용될 수 있다. 하기에서 설명될 실시예들에 따르면 반복적인 넘기기 동작들도 정확하고 효율적으로 인식될 수 있다.
도 1은 일 실시예에 따른 제스처 입력 처리 시스템을 설명하는 도면이다. 제스처 입력 처리 시스템은 사용자의 제스처 입력을 처리하는 시스템으로, 예를 들어 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태로 구현될 수 있다.
도 1을 참조하면, 일 실시예에 따른 제스처 입력 처리 시스템(100)은 디스플레이 장치(110), 센서(120), 및 제스처 입력 처리 장치(130)를 포함한다. 디스플레이 장치(110)는 사용자에게 화상 정보를 제공하는 장치로, 예를 들어 LCD(Liquid Crystal Display) 장치, LED(Light Emitting Display) 장치, OLED(Organic LED) 장치, 라이트 필드 (light field) 디스플레이 장치, 빔 프로젝터 디스플레이 장치, CRT(Cathode-Ray Tube) 디스플레이 장치 등을 포함할 수 있다. 디스플레이 장치(110)는 2차원 영상 및/또는 3차원 영상을 사용자에게 제공할 수 있다.
센서(120)는 입력 객체(130)를 비 접촉 식으로 감지하는 장치로, 예를 들어 비전 센서(vision sensor) 등을 포함할 수 있다. 입력 객체(130)는 손, 손가락 등 사용자의 신체 일부이거나, 막대기, 공 등 도구일 수 있다. 센서(120)는 감지된 입력 객체(130)에 관한 정보를 제스처 입력 처리 장치(130)로 전송할 수 있다. 예를 들어, 센서(120)는 입력 객체(130)의 움직임을 감지하고, 감지된 움직임에 관한 정보를 제스처 입력 처리 장치(130)로 전송할 수 있다. 비전 센서와 관련된 보다 상세한 사항들은 도 8을 참조하여 후술한다.
제스처 입력 처리 장치(130)는 사용자의 제스처 입력을 처리하는 장치로, 하드웨어 모듈, 소프트웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 제스처 입력 처리 장치(130)는 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제스처 입력 처리 시스템에 포함될 수 있다.
사용자의 제스처 입력은 특정 방향에 대응하는 비 접촉 식 입력일 수 있다. 예를 들어, 사용자는 오른쪽 방향, 왼쪽 방향, 위쪽 방향, 아래쪽 방향 등 특정 방향을 의도하면서 입력 객체(140)를 3차원 공간 상에서 움직일 수 있다. 사용자의 제스처 입력은 센서(120)와 평행한 가상의 평면(150) 상에서 입력될 수 있다.
이 때, 사용자의 제스처 입력은 동일한 방향의 의도(intention)를 반복적, 연속적으로 입력할 수 있도록 하는 순환(circulation) 동작 입력의 일부일 수 있다. 순환 동작 입력은 사용자의 의도가 입력 객체(140)를 이용하여 한 번 입력된 이후, 다음 번 입력을 위하여 입력 객체(140)가 원래 위치로 되돌아가야 하는 동작 입력이다. 예를 들어, 사용자는 오른쪽 방향을 의도하고 3차원 공간 상에서 입력 객체(140)를 오른쪽 지점으로 움직일 수 있다. 이 경우, 연이어 오른쪽 방향의 의도를 입력하려면, 사용자는 입력 객체(140)를 다시 왼쪽 지점으로 복귀시켜야 한다.
제스처 입력 처리 시스템(100)은 제스처 입력에 대응하는 입력 방향을 인식하기 위하여, 특정 형태의 순환 동작 입력을 이용할 수 있다. 제스처 입력 처리 시스템(100)은 일부 궤적만 아는 경우에도 전체 궤적을 예측할 수 있고, 예측된 전체 궤적을 이용하여 특정 방향을 예측할 수 있는 형태의 순환 동작 입력을 이용할 수 있다. 또는, 제스처 입력 처리 시스템(100)은 일부 궤적만 아는 경우 바로 특정 방향을 예측할 수 있는 형태의 순환 동작 입력을 이용할 수도 있다.
예를 들어, 제스처 입력 처리 시스템(100)은 타원 형태의 동작 입력을 이용할 수 있다. 제스처 입력 처리 시스템(100)은 타원의 일부 궤적만 아는 경우에도 타원의 이심률(eccentricity)을 계산하는 등 타원의 전체 궤적을 예측할 수 있다. 제스처 입력 처리 시스템(100)은 예측된 타원의 장축의 방향을 이용하여 제스처 입력에 대응하는 입력 방향을 예측할 수 있다.
또한, 제스처 입력 처리 시스템(100)은 동일한 방향을 의도하는 제스처 입력을 반복적, 연속적으로 인식하기 위하여, 특정 형태의 순환 동작 입력에 대응하여 의도 전달(intention delivery) 부분과 복귀(return) 부분을 미리 결정할 수 있다. 의도 전달 부분은 입력 객체(140)를 이용하여 사용자의 의도가 입력되는 동작 입력을 지칭하고, 복귀 부분은 다음 번 입력을 위하여 입력 객체(140)가 원래 위치로 되돌아가는 동작 입력을 지칭한다.
예를 들어, 제스처 입력 처리 시스템(100)은 수평 방향으로 장축을 가지는 타원 형태의 동작 입력에 대응하여, 장축을 기준으로 위쪽에 위치하는 호를 의도 전달 부분으로 결정하고, 장축을 기준으로 아래쪽에 위치하는 호를 복귀 부분으로 결정할 수 있다.
또한, 제스처 입력 처리 시스템(100)은 순환 동작 입력의 회전 방향을 추가로 고려하여, 해당 순환 동작 입력에 대응하여 의도 전달 부분과 복귀 부분을 미리 결정할 수 있다. 예를 들어, 제스처 입력 처리 시스템(100)은 수평 방향으로 장축을 가지고 시계 방향으로 회전하는 타원 형태의 동작 입력에 대응하여, 장축을 기준으로 위쪽에 위치하는 호를 의도 전달 부분으로 결정하고, 장축을 기준으로 아래쪽에 위치하는 호를 복귀 부분으로 결정할 수 있다.
실시예들은 넘기기 동작 등 순환 동작 입력을 반복적으로 시행할 때 직선 왕복 운동이 아닌 긴 타원 형태의 운동을 이용함으로써, 제스처 입력이 반대 방향으로 오인식 되는 문제를 해결할 수 있다.
제스처 입력 처리 장치(130)는 센서(120)로부터 수신된 정보에 기초하여 사용자의 제스처 입력을 인식할 수 있다. 예를 들어, 제스처 입력 처리 장치(130)는 센서(120)로부터 수신된 정보를 이용하여 제스처 입력에 대응하는 궤적을 획득할 수 있다. 제스처 입력 처리 장치(130)는 획득된 궤적을 이용하여 전체 궤적을 예측하고, 예측된 전체 궤적을 이용하여 제스처 입력에 대응하는 입력 방향을 예측할 수 있다. 이 경우, 제스처 입력 처리 장치(130)는 사용자의 제스처 입력이 예측된 입력 방향을 의도하면서 입력된 것으로 인식할 수 있다.
제스처 입력 처리 장치(130)는 제스처 입력이 미리 결정된 의도 전달 부분 및 복귀 부분 중 어디에 해당하는지 여부를 판단할 수 있다. 제스처 입력 처리 장치(130)는 제스처 입력이 의도 전달 부분에 해당한다는 판단에 따라, 입력 방향에 대응하는 액션(action)을 수행할 수 있다. 예를 들어, 제스처 입력 처리 장치(130)는 디스플레이 장치(110)에서 입력 방향에 대응하는 넘기기 액션(swipe action)을 수행할 수 있다. 제스처 입력 처리 장치(130)는 제스처 입력이 복귀 부분에 해당한다는 판단에 따라, 아무런 액션을 수행하지 않을 수 있다.
제스처 입력 처리 장치(130)는 제스처 입력이 미리 정해진 형태에 대응하는지 여부를 판단하고, 제스처 입력이 미리 정해진 형태에 대응하지 않는다는 판단에 따라 제스처 입력을 처리하지 않고 폐기(discard)할 수 있다. 예를 들어, 제스처 입력 처리 장치(130)는 제스처 입력이 타원 형태가 아니고 원 형태에 가깝다고 판단할 수 있다. 이 경우, 제스처 입력 처리 장치(130)는 제스처 입력에 대응하는 입력 방향을 판단할 수 없으므로, 제스처 입력을 처리하지 않을 수 있다.
실시예들은 비 접촉 동작 인식 인터페이스에서 넘기기 동작의 인식 성능을 향상시킬 수 있다. 예를 들어, 실시예들은 넘기기 동작의 시작점과 종료점의 구분 인식률과 반복 넘기기 동작의 인식률을 향상시키는 기술을 제공할 수 있다.
도 2는 일 실시예에 따른 제스처 입력 처리 장치의 동작을 설명하는 도면이다. 도 2를 참조하면, 일 실시예에 따른 제스처 입력 처리 장치(200)는 제1 결정부(210), 제2 결정부(220), 및 처리부(230)를 포함한다. 제1 결정부(210)는 제스처 입력을 수신할 수 있다. 제1 결정부(210)는 제스처 입력을 감지하는 센서의 출력 신호를 수신할 수 있다. 제스처 입력은 반복 가능한 타원 형태의 동작 입력 중 일부일 수 있다. 여기서, 반복 가능한 타원 형태의 동작 입력은 반복적으로 입력될 수 있는 타원 형태의 동작 입력을 의미한다. 반복 가능한 타원 형태의 동작 입력은 타원 형태의 순환 동작 입력에 해당할 수 있다.
제1 결정부(210)는 제스처 입력에 대응하는 타원 호(elliptical arc)의 유형(type)을 결정할 수 있다. 타원 호의 유형은 제스처 입력에 대응하는 타원의 장축의 방향 및 장축을 기준으로 하는 타원 호의 상대적 위치를 포함할 수 있다. 일 예로, 제1 결정부(210)는 제1 제스처 입력(201)에 관한 센서의 출력 정보에 기초하여, 제1 제스처 입력(201)에 대응하는 타원(202)의 궤적을 예측하고, 타원(202)의 장축의 방향을 결정할 수 있다. 이 경우, 타원(202)의 장축의 방향은 수평 방향으로 결정될 수 있다. 또한, 제1 결정부(210)는 장축을 기준으로 분리되는 두 개의 타원 호들 중 제1 제스처 입력(201)에 대응하는 타원 호(203)를 결정할 수 있다. 이 경우, 장축을 기준으로 하는 타원 호의 상대적 위치는 상(up)으로 결정될 수 있다. 제1 제스처 입력(201)에 대응하는 타원 호의 유형은 (수평 방향, 상)의 투플(tuple)로 표현될 수 있다.
다른 예로, 제1 결정부(210)는 제2 제스처 입력(205)에 관한 센서의 출력 정보에 기초하여, 제2 제스처 입력(205)에 대응하는 타원(206)의 궤적을 예측하고, 타원(206)의 장축의 방향을 결정할 수 있다. 타원(206)의 장축의 방향은 수평 방향으로 결정될 수 있다. 제1 결정부(210)는 장축을 기준으로 하는 타원 호의 상대적 위치를 하(down)로 결정할 수 있다. 이 경우, 제2 제스처 입력(205)에 대응하는 타원 호의 유형은 (수평 방향, 하)의 투플로 표현될 수 있다.
제2 결정부(220)는 제스처 입력에 대응하는 회전 방향(rotation direction)을 결정할 수 있다. 제2 결정부(220)는 제스처 입력이 시계 방향으로 회전하는 동작 입력의 일부인지 여부 또는 반 시계 방향으로 회전하는 동작 입력의 일부인지 여부를 판단할 수 있다. 예를 들어, 제2 결정부(220)는 제1 제스처 입력(201)이 시계 방향으로 회전하는 동작 입력의 일부라고 판단할 수 있다. 이 경우, 제1 제스처 입력(201)에 대응하는 회전 방향은 시계 방향(204)으로 결정될 수 있다. 또한, 제2 결정부(220)는 제2 제스처 입력(205)도 시계 방향을 회전하는 동작 입력의 일부라고 판단할 수 있다. 제2 제스처 입력(205)에 대응하는 회전 방향은 시계 방향(208)으로 결정될 수 있다.
처리부(230)는 유형 및 회전 방향에 기초하여, 제스처 입력을 처리할 수 있다. 일 예로, 처리부(230)는 유형 및 회전 방향에 기초하여 제스처 입력에 대응하는 입력 방향을 결정할 수 있다. 예를 들어, 처리부(230)는 (수평 방향, 상) 및 시계 방향에 기초하여, 제1 제스처 입력(201)에 대응하는 입력 방향을 오른쪽 방향으로 결정할 수 있다. 처리부(230)는 입력 방향에 대응하는 액션을 수행할 수 있다. 예를 들어, 처리부(230)는 오른쪽 넘기기 액션을 수행할 수 있다.
또는, 처리부(230)는 유형 및 회전 방향에 기초하여 제스처 입력이 순환 동작 입력의 의도 전달 부분 또는 복귀 부분에 해당하는지 여부를 판단할 수 있다. 예를 들어, 시계 방향으로 회전하고 수평 방향의 장축을 가지는 타원 형태의 순환 동작 입력에서, 장축을 기준으로 위쪽 타원 호가 의도 전달 부분에 해당하고 아래쪽 타원 호가 복귀 부분에 해당할 수 있다. 이 경우, 처리부(230)는 제1 제스처 입력(201)은 의도 전달 부분에 해당한다고 판단하고, 제2 제스처 입력(205)는 복귀 부분에 해당한다고 판단할 수 있다.
처리부(230)는 제1 제스처 입력(201)이 의도 전달 부분에 해당한다는 판단에 따라 순환 동작 입력에 대응하는 액션을 수행할 수 있다. 예를 들어, 처리부(230)는 오른쪽 넘기기 액션을 수행할 수 있다. 처리부(230)는 제2 제스처 입력(205)이 복귀 부분에 해당한다는 판단에 따라 아무런 액션을 수행하지 않을 수 있다.
도 3 및 도 4는 실시예들에 따른 다양한 제스처 입력들에 대응하여 결정되는 타원 호의 유형들과 회전 방향들을 설명하는 도면들이다. 도 3을 참조하면, 장축의 방향이 수평 방향인 경우 장축 기준 상대적 위치는 상, 하 중 어느 하나로 결정될 수 있다. 회전 방향은 시계 방향, 반 시계 방향 중 어느 하나로 결정될 수 있다. 도 4를 참조하면, 장축의 방향이 수직 방향인 경우 장축 기준 상대적 위치는 좌, 우 중 어느 하나로 결정될 수 있다. 회전 방향은 시계 방향, 반 시계 방향 중 어느 하나로 결정될 수 있다.
도 2의 제1 결정부(210)는 제스처 입력을 후보 타원들 중 어느 하나에 매칭할 수 있다. 여기서, 후보 타원들은 장축의 방향 및 회전 방향에 의하여 서로 구별될 수 있다. 예를 들어, 후보 타원들은 (수평 방향, 시계 방향)의 제1 후보 타원, (수평 방향, 반 시계 방향)의 제2 후보 타원, (수직 방향, 시계 방향)의 제3 후보 타원, 및 (수직 방향, 반 시계 방향)의 제4 후보 타원을 포함할 수 있다. 제1 결정부(210)는 제스처 입력을 네 개의 후보 타원들 중 어느 하나에 매칭할 수 있다.
후보 타원들은 각각 복수의 후보 타원 호들을 포함할 수 있다. 예를 들어, 각 후보 타원들은 장축을 기준으로 서로 분리되는 두 개의 후보 타원 호들을 포함할 수 있다. 제1 결정부(210)는 제스처 입력을 매칭된 후보 타원에 포함된 후보 타원 호들 중 어느 하나에 매칭할 수 있다.
도 5는 일 실시예에 따른 다양한 제스처 입력들에 대응하는 액션들과 수행 여부들을 설명하는 도면이다. 도 5를 참조하면, 타원 호의 유형 및 회전 방향에 따라 대응 액션 및 수행 여부가 결정될 수 있다. 예를 들어, {타원 호의 유형, 회전 방향}이 {(수평 방향, 상), 시계 방향} (501)인 경우, 대응 액션은 오른쪽 넘기기 액션이고 수행 여부는 긍정일 수 있다. 반면, {타원 호의 유형, 회전 방향}이 {(수평 방향, 하), 시계 방향} (502)인 경우, 대응 액션은 오른쪽 넘기기 액션이나 수행 여부는 부정일 수 있다. 수행 여부가 부정인 경우 대응 액션이 사용되지 않으므로, 수행 여부가 부정인 경우 대응 액션이 설정되지 않을 수도 있다. 도 5에 도시된 타원 호의 유형에 따른 대응 액션 및 수행 여부는 예시적인 사항에 불과하며, 타원 호의 유형에 따른 대응 액션 및 수행 여부는 다양하게 변경될 수 있다.
수행 여부는 타원 호의 유형이 의도 전달 부분에 해당하는지 혹은 복귀 부분에 해당하는지 여부에 따라 결정될 수 있다. 예를 들어, 시계 방향으로 회전하고 장축의 방향이 수평 방향인 타원에서, 위쪽 타원 호가 의도 전달 부분에 해당하고 아래쪽 타원 호가 복귀 부분에 해당한다고 결정될 수 있다.
특정 타원 호의 유형이 의도 전달 부분에 해당하는지 혹은 복귀 부분에 해당하는지 여부에 대한 설정은 다양한 기준에 따라 변경될 수 있다. 예를 들어, 위로 넘기기 액션 및 아래로 넘기기 액션에서, 왼손잡이 사용자를 위한 설정과 오른손잡이 사용자를 위한 설정은 반대일 수 있다.
특정 타원 호의 유형이 의도 전달 부분에 해당하는지 혹은 복귀 부분에 해당하는지 여부에 대한 설정은 인체공학적으로 설계될 수 있다. 예를 들어, 왼쪽 넘기기 액션의 경우, 페이지 수가 증가하는 방향으로 책장을 반복적으로 넘기기 위하여 사용자는 손을 가로로 긴 타원형으로 움직이면서 동시에 시계 반대 방향으로 움직인다. 이 때, 손가락, 손바닥, 손목 관절은 자연스럽게 책장을 넘기는 동작과 유사한 형태로 움직인다. 책장을 넘기는 동작을 위한 관절의 자연스러운 움직임을 고려하여, {(수평 방향, 상), 반 시계 방향} (503)에 해당하는 제스처 입력이 인식되는 경우, 왼쪽 넘기기 액션이 수행되도록 설정될 수 있다.
도 6은 일 실시예에 따른 장축의 방향이 대각선 방향인 타원 형태의 순환 동작 입력들을 설명하는 도면이다. 도 6을 참조하면, 장축의 방향이 수평 방향 또는 수직 방향인 순환 동작 입력들 외에도 장축의 방향이 대각선 방향인 순환 동작 입력들이 이용될 수 있다. 도 5를 통하여 전술한 것과 마찬가지로, 타원 호의 유형 및 회전 방향에 따라 대응 액션 및 수행 여부가 결정될 수 있다. 예를 들어, 타원 호(610)의 경우 오른쪽 위로 넘기기 액션을 수행하는 것으로 결정되고, 타원 호(620)의 경우 아무런 액션을 수행하지 않는 것으로 결정될 수 있다. 물론 타원 호의 유형에 따른 대응 액션 및 수행 여부는 다양하게 변경될 수 있다.
도 7은 일 실시예에 따른 모션 벡터의 시간에 따른 변화에 기초하여 타원 호의 유형 및 회전 방향을 결정하는 방법을 설명하는 도면이다. 도 7을 참조하면, 제스처 입력으로부터 모션 벡터가 계산될 수 있다. 모션 벡터는 제스처 입력에 대응하는 움직임의 방향과 크기를 나타내는 벡터이다. 제스처 입력으로부터 모션 벡터를 계산하는 구체적인 방법은 후술한다.
제스처 입력 처리 장치는 시간의 흐름에 따른 제스처 입력을 이용하여 시간의 흐름에 따른 모션 벡터들을 계산할 수 있다. 제스처 입력 처리 장치는 미리 정해진 기준에 따라 제스처 입력을 복수의 세그먼트들로 분할하고, 각 세그먼트들에 대한 모션 벡터를 계산할 수 있다. 미리 정해진 기준은 시간, 입력 객체가 움직인 거리, 입력 객체의 움직임으로 인하여 발생되는 이벤트의 양 등으로 다양하게 설정될 수 있다.
제스처 입력 처리 장치는 모션 벡터들의 시간의 흐름에 따른 변화를 이용하여 제스처 입력에 대응하는 타원 호의 유형 및 회전 방향을 결정할 수 있다. 예를 들어, 시간의 흐름에 따라 모션 벡터들이 제1 변화 양상(710)과 같이 변하는 경우, 제스처 입력 처리 장치는 제스처 입력이 {(수평 방향, 상), 시계 방향}에 해당한다고 판단할 수 있다. 유사한 방식으로, 제스처 입력 처리 장치는 제스처 입력에 대응하는 타원 호의 유형 및 회전 방향을 결정할 수 있다.
또는, 제스처 입력 처리 장치는 모션 벡터들의 시간의 흐름에 따른 변화를 이용하여 포지션들의 시간의 흐름에 따른 변화를 트랙킹할 수 있다. 예를 들어, 제스처 입력 처리 장치는 초기 포지션을 아는 경우, 모션 벡터들을 이용하여 다음 포지션들을 계산할 수 있다. 경우에 따라 초기 포지션은 미리 설정된 초기 값으로 설정될 수 있다. 제스처 입력 처리 장치는 포지션들의 시간의 흐름에 따른 변화를 이용하여 제스처 입력에 대응하는 타원 호의 유형 및 회전 방향을 결정할 수 있다.
이하, 도 8 내지 도 10을 참조하여, 일 실시예에 따른 제스처 입력으로부터 모션 벡터를 계산하는 방법을 상세하게 설명한다. 도 8을 참조하면, 일 실시예에 따른 광류 계산부(810)는 광류를 계산할 수 있다. 광류(optical flow)는 명암의 이동과 관련된 정보를 포함하는 속도 벡터들의 집합이다. 카메라에 대해서 물체를 이동시키면 각 픽셀들의 밝기가 변화하는데, 광류는 이러한 명암의 이동을 2차원 벡터의 형태로 포함할 수 있다. 일반적으로 명암의 변화는 가시광선 영역에서 이용되는 용어나, 이하 명암의 변화는 가시광선에 의한 명암의 변화 및 적외선에 의한 명암의 변화를 모두 포괄하는 개념으로 이해될 수 있다. 예를 들어, 적외선 영역의 파장을 가지는 광자(photon)가 증가하는 경우 적외선의 명암이 밝아진다고 이해될 수 있고, 적외선 영역의 파장을 가지는 광자가 감소하는 경우 적외선의 명암이 어두워진다고 이해될 수 있다.
광류 계산부(810)는 입력 객체의 움직임에 대응하는 이벤트 신호들에 기초하여 광류를 계산할 수 있다. 일 예로, 광류 계산부(810)는 광류를 계산하기 위하여 이벤트 기반 비전 센서(820)로부터 출력되는 이벤트 신호들을 수신할 수 있다. 이벤트 기반 비전 센서는 미리 정해진 이벤트를 감지함에 따라 시간 비동기적으로 이벤트 신호를 출력하는 센서이다. 이벤트 기반 비전 센서는 복수의 이벤트 생성 원소들을 포함하며, 이벤트 생성 원소들 각각은 미리 정해진 이벤트를 감지하여 이벤트 신호를 출력할 수 있다. 이벤트 생성 원소들은 이벤트 기반 비전 센서의 픽셀들로 지칭될 수 있다.
미리 정해진 이벤트는 이벤트 기반 비전 센서로 입사되는 빛의 세기(intensity)가 변하는 이벤트 또는 명암이 변하는 이벤트를 포함할 수 있다. 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 밝아지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 ON 이벤트를 출력할 수 있다. 또한, 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 어두워지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 OFF 이벤트를 출력할 수 있다.
이 때, 이벤트 기반 비전 센서로 입사되는 빛의 세기의 변화 또는 명암의 변화는 피사체의 움직임에 기인할 수 있다. 예를 들어, 광원이 고정되어 있고 피사체는 스스로 발광하지 않는 경우를 상정하면, 이벤트 기반 비전 센서로 입사되는 빛은 광원에서 발생되어 피사체에 의해 반사된 빛일 수 있다. 피사체가 움직이지 않는 경우, 움직임이 없는 상태의 피사체에 의해 반사되는 빛은 실질적으로 변하지 않으므로, 이벤트 기반 비전 센서에 입사되는 빛의 세기의 변화 또는 명암의 변화도 발생되지 않는다. 반면, 피사체가 움직이는 경우, 움직이는 피사체에 의해 반사되는 빛은 피사체의 움직임에 따라 변하므로, 이벤트 기반 비전 센서에 입사되는 빛의 세기의 변화 또는 명암의 변화가 발생될 수 있다.
이에 따라, 이벤트 신호는 정지된 사물에 대하여는 발생되지 않고, 움직이는 사물이 감지되는 경우에 한하여 발생될 수 있다. 이벤트 기반 비전 센서는 프레임 기반 비전 센서와 달리 각 픽셀의 포토 다이오드의 출력을 프레임 단위로 스캔하지 않고, 빛의 변화가 있는 부분의 픽셀 데이터만을 출력할 수 있다. 예를 들어, 이벤트 기반 비전 센서에 포함된 복수의 이벤트 생성 원소들 중 입력 객체의 움직임을 감지한 일부의 이벤트 생성 원소들만 이벤트 신호를 출력할 수 있다.
다른 예로, 광류 계산부(810)는 광류를 계산하기 위하여 프레임 기반 비전 센서(831) 및 차이 정보 생성부(832)를 이용할 수 있다. 프레임 기반 비전 센서(831)는 제스처 입력을 프레임 별로 캡쳐하는 센서로, 예를 들어 CCD(Charge-Coupled Device) 카메라, CMOS(Complementary Metal-Oxide-Semiconductor) 카메라 등을 포함할 수 있다. 차이 정보 생성부(832)는 프레임 기반 비전 센서(831)에 의하여 출력되는 이미지들을 비교함으로써, 이미지들 사이의 차이 정보를 생성할 수 있다. 차이 정보 생성부(832)에 의하여 생성되는 차이 정보는 이벤트 기반 비전 센서(820)에 의하여 출력되는 이벤트 신호에 대응할 수 있다. 예를 들어, 차이 정보 생성부(832)는 이미지들을 비교함으로써 프레임간 움직임이 감지된 픽셀들을 검출하고, 움직임이 감지된 픽셀들에 대응하는 이벤트 신호들을 출력할 수 있다.
도 9를 참조하면, 광류 계산부(810)는 광류를 계산하기 위하여 이벤트 맵(900)을 이용할 수 있다. 이벤트 맵(900)은 이벤트 기반 비전 센서(820)의 픽셀들 또는 프레임 기반 비전 센서(820)의 픽셀들에 대응하는 원소들을 포함한다. 각각의 원소들은 해당 원소에 대응되는 이벤트 신호가 수신된 가장 최근 시간을 저장할 수 있다. 예를 들어, (i, j) 위치의 원소(910)에서 이벤트 신호가 수신된 가장 최근 시간은 Ti ,j이고, (i, j+1) 위치의 원소(920)에서 이벤트 신호가 수신된 가장 최근 시간은 Ti ,j+1일 수 있다. 이하, 이벤트 신호가 수신된 시간은 타임 스탬프라고 지칭된다.
광류 계산부(810)는 이벤트 신호를 수신하면, 수신된 이벤트 신호에 기초하여 이벤트 맵(900)을 갱신할 수 있다. 예를 들어, 광류 계산부(810)는 이벤트 맵(900)에 포함된 복수의 원소들 중 수신된 이벤트 신호에 대응하는 원소를 검출하고, 검출된 원소에 저장된 값을 이벤트 신호가 수신된 타임 스탬프로 갱신할 수 있다.
광류 계산부(810)는 마이크로 초(㎲) 이하의 단위로 새로운 이벤트 신호가 수신된 시간을 각 원소 별로 저장할 수 있다. 이 때, 광류 계산부(810)는 시간의 흐름에 따라 수신되는 이벤트 신호들의 히스토리를 고려하지 않고, 각 원소에서 마지막으로 수신된 이벤트 신호의 타임 스탬프만을 이용하여 광류를 계산할 수 있다. 이로 인하여, 광류 계산부(810)는 적은 메모리와 적은 계산량을 가지고 광류를 계산할 수 있다.
도 10을 참조하면, 광류 계산부(810)는 주변 원소 결정부(811), 시간 차이 계산부(812), 거리 차이 계산부(813) 및 광류 계산 수행부(814)을 포함한다. 주변 원소 결정부(811), 시간 차이 계산부(812), 거리 차이 계산부(813) 및 광류 계산 수행부(814) 각각은 프로세서, 메모리, 하드웨어 가속기(Hardware Accelerator, HWA), FPGA(Field Programmable Gate Array), 또는 이들의 조합 등으로 구현될 수 있다.
주변 원소 결정부(811)는 이벤트 신호가 수신되어 타임 스탬프가 갱신된 원소를 중심으로 복수의 주변 원소들을 결정할 수 있다. 예를 들어, 주변 원소 결정부(811)는 이벤트 맵(900)으로부터 타임 스탬프가 갱신된 원소와 직접적으로 인접한 8개의 원소들을 주변 원소들로 결정할 수 있다. 다른 실시예에 따르면, 주변 원소 결정부(811)는 타임 스탬프가 갱신된 원소와 직접적으로 인접한 8개의 원소들뿐만 아니라, 8개의 원소들을 둘러싸는 16개의 원소들도 함께 주변 원소들로 결정할 수 있다.
시간 차이 계산부(812)는 이벤트 맵(900)을 이용하여 타임 스탬프가 갱신된 원소와 그 주변 원소들 사이의 시간 차이를 계산할 수 있다. 예를 들어, 새로운 이벤트 신호가 수신되어, 도 9의 원소(910)의 타임 스탬프가 갱신된 경우를 가정하자. 시간 차이 계산부(812)는 원소(910)에 저장된 시간 Ti ,j와 주변 원소(920)에 저장된 시간 Ti ,j+1의 차이를 계산할 수 있다. 이 경우, 원소(910)에 저장된 시간 Ti ,j는 새로 갱신된 상태이므로, Ti ,j - Ti ,j+1은 0보다 크거나 같은 값이 된다(원소(920)에서도 동시에 이벤트가 발생된 경우, Ti ,j - Ti ,j+1이 0이 될 수 있다). 시간 차이 계산부(812)는 주변 원소 결정부(811)에 의해 결정된 복수의 주변 원소들 각각에서 전술한 시간 차이를 계산할 수 있다. 나아가, 시간 차이 계산부(812)는 계산된 시간 차이가 미리 정해진 윈도우 범위(예를 들어, 0.1초) 밖인 경우, 시간 차이를 무의미한 정보로 취급하여 계산된 시간 차이 대신 0을 출력할 수 있다.
또한, 거리 차이 계산부(813)는 타임 스탬프가 갱신된 하나의 원소와 그 주변 원소들 사이의 거리 차이를 계산할 수 있다. 보다 구체적으로, 거리 차이 계산부(813)는 새로운 타임 스탬프가 갱신된 원소와 그 주변 원소들 사이의 원소 거리의 역수를 계산할 수 있다. 여기서, 원소 거리는 복수의 이미지 원소들 사이의 일반화된 거리(normalized distance)를 포함할 수 있다. 예를 들어, 도 9의 원소(910)과 원소(920) 사이의 원소 거리는 1일 수 있다. 거리 차이 계산부(813)는 주변 원소 결정부(811)에 의해 결정된 복수의 주변 원소들 각각에서 원소 거리의 역수를 계산할 수 있다.
광류 계산 수행부(814)는 시간 차이 계산부(812)에 의해 계산된 시간 차이와 거리 차이 계산부(813)에 의해 계산된 거리 차이를 기초로 광류를 계산할 수 있다. 보다 구체적으로, 광류 계산 수행부(814)는 시간 차이와 거리 차이를 이용하여 타임 스탬프가 갱신된 원소에 대응되는 2차원 벡터 A를 계산하고, 2차원 벡터 A를 2차원 벡터 A의 내적 값으로 나누는 계산을 수행할 수 있다.
예를 들어, 광류 계산 수행부(814)는 타임 스탬프가 갱신된 원소의 주변 원소들 각각에 대응되는 시간 차이와 거리 차이의 역수를 곱할 수 있다. 광류 계산 수행부(814)는 주변 원소들에 각각 대응되는 곱셈 결과들을 합하여 2차원 벡터 A를 계산할 수 있다. 광류 계산 수행부(814)는 수학식 1을 이용하여 2차원 벡터 A를 계산할 수 있다.
Figure 112014126594905-pat00001
여기서, Δt는 시간 차이고, 2차원 벡터 d는 거리 차이다. 2차원 벡터 A의 단위는 "시간/거리"일 수 있다. 광류 계산 수행부(814)는 2차원 벡터 A를 2차원 벡터 A 자신을 내적한 값으로 나눔으로써 광류에 포함되는 속도 벡터 V를 계산할 수 있다. 여기서, 속도 벡터 V의 단위는 "거리/시간"일 수 있다. 광류 계산 수행부(814)는 타임 스탬프가 갱신된 원소들 각각에서 속도 벡터 V를 계산함으로써, 원소들 각각의 속도 벡터를 포함하는 광류를 생성할 수 있다.
광류 계산부(810)는 광류의 평균을 계산함으로써, 제스처 입력에 대응하는 모션 벡터를 계산할 수 있다. 광류 계산부(810)는 원소들의 속도 벡터들의 벡터 합을 계산함으로써, 광류의 평균을 계산할 수 있다. 원소들의 속도 벡터들 각각은 2차원 벡터이므로, 광류의 평균 또한 2차원 벡터일 수 있다.
광류 계산부(810)는 광류에 포함되는 각 원소의 속도 벡터에 노이즈로 작용될 수 있는 요소를 제거할 수 있다. 전술한 바와 같이, 시간 차이 계산부(812)는 타임 스탬프가 갱신된 원소와 그 주변 원소 사이의 시간 차이가 미리 정해진 윈도우 범위 밖인 경우 0을 출력할 수 있다. 만약, 타임 스탬프가 갱신된 원소와 그 주변 원소들 모두와의 시간 차이들이 미리 정해진 윈도우 범위 밖인 경우, 광류 계산 수행부(814)에서 계산되는 2차원 벡터 A는 0일 수 있다. 이 경우, 광류 계산 수행부(814)는 속도 벡터 V의 값으로 계산되는 무한대 대신 0을 출력할 수 있다.
도 8 내지 도 10을 통하여 기술한 사항들에 따르면, 제스처 입력을 감지하여 발생되는 이벤트 신호들에 기초하여 광류가 계산될 수 있다. 광류의 평균은 도 7의 모션 벡터들에 대응한다. 제스처 입력 처리 장치는 모션 벡터들의 시간의 흐름에 따른 변화에 기초하여, 입력 호의 유형 및 회전 방향을 결정할 수 있다.
도 11은 일 실시예에 따른 세분화된 타원 호의 유형을 설명하는 도면이다. 도 11을 참조하면, 일 실시예에 따른 세분화된 타원 호의 유형은 제스처 입력에 대응하는 타원의 이심률 및 타원의 둘레에서 제스처 입력에 대응하는 위치를 지시하는 각도를 포함할 수 있다. 제스처 입력 처리 장치는 모션 벡터들의 시간의 흐름에 따른 변화에 기초하여, 이심률 및 각도를 계산할 수 있다.
세분화된 타원 호의 유형을 이용하는 경우, 제스처 입력 처리 장치는 이전 제스처 입력에 대응하는 위치를 지시하는 이전 각도 및 현재 제스처 입력에 대응하는 위치를 지시하는 현재 각도에 기초하여 현재 제스처 입력에 대응하는 액션을 수행할지 여부를 판단할 수 있다.
예를 들어, 제1 시점에 감지된 제스처 입력에 대응하는 각도가 제1 각도(1110)이고, 바로 다음 시점인 제2 시점에 감지된 제스처 입력에 대응하는 각도가 제2 각도(1120)일 수 있다. 만약 제1 시점에 제스처 입력이 의도 전달 부분에 해당한다고 판단되어 제스처 입력에 대응하는 액션이 수행된 경우, 제2 시점에서는 제스처 입력이 여전히 의도 전달 부분에 해당하더라도 제스처 입력에 대응하는 액션을 중복하여 수행하지 않을 수 있다.
또한, 세분화된 타원 호의 유형을 이용하는 경우, 제스처 입력 처리 장치는 제스처 입력에 대응하는 위치를 지시하는 각도에 따라 액션의 페이즈(phase)를 제어할 수 있다. 예를 들어, 제스처 입력에 대응하는 액션이 넘기기 액션인 경우, 제스처 입력 처리 장치는 의도 전달 부분에 해당하는 각도들의 증감을 트랙킹하면서, 화면 또는 책장이 넘겨지는 중간 단계들을 표현할 수 있다.
나아가, 제스처 입력 처리 장치는 제스처 입력에 대응하는 타원의 크기, 제스처 입력의 속도 등에 기초하여 제스처 입력을 처리할 수 있다. 예를 들어, 제스처 입력에 대응하는 타원의 크기가 미리 정해진 임계 크기 이상이거나 제스처 입력의 속도가 미리 정해진 임계 속도 이상인 경우, 수행되는 액션이 달라질 수 있다. 제스처 입력 처리 장치에서 계산되는 타원의 크기나 제스처 입력의 속도는 입력 객체와 센서 사이의 거리로 인하여 영향을 받으므로, 제스처 입력 처리 장치는 별도의 깊이 센서, 스테레오 센서 등을 더 이용할 수도 있다.
도 12는 실시예들에 따른 순환 동작 입력의 다양한 형태들을 설명하는 도면이다. 도 12를 참조하면, 일 실시예에 따른 순환 동작 입력은 타원형 이외에도 다양한 형태를 가질 수 있다. 사용자의 제스처 입력은 미리 정해진 다양한 순환 동작 입력의 형태들 중 어느 하나로 매칭될 수 있다.
제스처 입력 처리 장치는 미리 정해진 회전 방향 및 궤도를 가지는 후보 도형들 중 제스처 입력에 대응하는 후보 도형을 선택하고, 후보 도형에 포함된 부위들 중 제스처 입력에 대응하는 부위를 판단할 수 있다. 제스처 입력 처리 장치는 판단된 부위에 기초하여 후보 도형에 매칭된 액션을 수행할지 여부를 결정할 수 있다.
일 예로, 순환 동작 입력은 밑변의 길이가 가장 긴 삼각형 형태(1210, 1220, 1230, 1240)를 가질 수 있다. 이 경우, 밑변에 해당하는 제스처 입력이 의도 전달 부분에 해당하고, 나머지 두 변에 해당하는 제스처 입력이 복귀 부분에 해당한다고 판단될 수 있다. 다른 예로, 순환 동작 입력은 장축을 밑변으로 하는 반 타원 형태(1250, 1260, 1270, 1280)를 가질 수 있다. 이 경우, 밑변에 해당하는 제스처 입력이 의도 전달 부분에 해당하고, 타원 호에 해당하는 제스처 입력이 복귀 부분에 해당한다고 판단될 수 있다.
각 후보 도형들은 해당 후보 도형의 주축(main axis)의 방향에 대응하는 액션(예를 들어, 넘기기 액션)에 매칭될 수 있다. 예를 들어, 밑변의 길이가 가장 긴 삼각형 형태(1210, 1220, 1230, 1240)의 도형들 및 장축을 밑변으로 하는 반 타원 형태(1250, 1260, 1270, 1280)에서 주축은 밑변에 해당할 수 있다.
도 13 및 도 14는 실시예들에 따른 제스처 입력의 깊이에 기초하여 제스처 입력을 처리하는 방법을 설명하는 도면들이다. 도 13을 참조하면, 사용자는 가상의 평면(1310) 위에서 입력 객체를 움직일 수 있다. 이 때, 사용자는 왼쪽 방향 또는 오른쪽 방향을 의도하면서 입력 객체를 움직일 수 있다.
제스처 입력 처리 장치는 순환 동작 입력의 궤적 중 센서에 더 가까운 부분을 의도 전달 부분으로 결정하고, 센서로부터 더 먼 부분을 복귀 부분으로 결정할 수 있다. 예를 들어, 타원 호(1311)에 해당하는 제스처 입력이 인식되면, 제스처 입력 처리 장치는 오른쪽 방향에 대응하는 액션을 수행한다. 반면, 타원 호(1312)에 해당하는 제스처 입력이 인식되면, 제스처 입력 처리 장치는 아무런 액션을 수행하지 않을 수 있다.
도 14를 참조하면, 사용자는 가상의 평면(1410) 위에서 입력 객체를 움직일 수 있다. 이 때, 사용자는 위쪽 방향 또는 아래쪽 방향을 의도하면서 입력 객체를 움직일 수 있다.
제스처 입력 처리 장치는 순환 동작 입력의 궤적 중 센서에 더 가까운 부분을 의도 전달 부분으로 결정하고, 센서로부터 더 먼 부분을 복귀 부분으로 결정할 수 있다. 예를 들어, 타원 호(1411)에 해당하는 제스처 입력이 인식되면, 제스처 입력 처리 장치는 아래쪽 방향에 대응하는 액션을 수행한다. 반면, 타원 호(1412)에 해당하는 제스처 입력이 인식되면, 제스처 입력 처리 장치는 아무런 액션을 수행하지 않을 수 있다.
도 15 내지 도 17은 일 실시예에 따른 광류를 이용하여 z축 모션 벡터를 계산하는 방법을 설명하는 도면이다. 도 15를 참조하면, 일 실시예에 따른 제스처 입력 처리 장치는 광류를 이용하여 센서(1510)와 평행한 가상의 평면(1520)과 수직한 방향(1523)으로 움직이는 z축 모션 벡터(Vz)을 계산할 수 있다. 도 8 내지 도 10을 통하여 전술한 바와 같이, 제스처 입력 처리 장치는 광류의 평균을 계산함으로써, 가상의 평면(1520) 위에서 x축 방향(1521)으로 움직이는 x축 모션 벡터(Vx) 및 y축 방향(1522)으로 움직이는 y축 모션 벡터(Vy)를 계산할 수 있다.
제스처 입력 처리 장치는 z축 모션 벡터(Vz)를 계산하기 위하여, 광류의 중심을 계산할 수 있다. 제스처 입력 처리 장치는 광류에 포함되는 원소들의 속도 벡터들의 무게 중심을 계산함으로써, 광류의 중심을 계산할 수 있다.
예를 들어, 도 16을 참조하면, 타임 스탬프가 갱신된 원소들이 원소(1610), 원소(1620), 원소(1630) 및 원소(1640)인 경우, 광류는 원소(1610), 원소(1620), 원소(1630) 및 원소(1640) 각각에 대응되는 속도 벡터 V1(1615), 속도 벡터 V2(1625), 속도 벡터 V3(1635) 및 속도 벡터 V4(1645)를 포함할 수 있다. 제스처 입력 처리 장치는 원소(1610), 원소(1620), 원소(1630) 및 원소(1640) 각각의 위치(x축 원소 좌표와 y축 원소 좌표)와 속도 벡터 V1(1615), 속도 벡터 V2(1625), 속도 벡터 V3(1635) 및 속도 벡터 V4(1645) 각각의 크기(x축 방향 크기와 y축 방향 크기)를 수학식 2에 대입하여, 광류의 중심 c(1650)를 계산할 수 있다.
Figure 112014126594905-pat00002
제스처 입력 처리 장치는 광류와 광류의 중심을 기초로 z축 모션 벡터(Vz)를 계산할 수 있다. 보다 구체적으로, 제스처 입력 처리 장치는 타임 스탬프가 갱신된 원소의 위치와 광류의 중심을 이용하여 해당 원소의 상대위치 벡터를 생성할 수 있다. 나아가, 제스처 입력 처리 장치는 해당 원소의 속도 벡터와 상대위치 벡터를 내적 함으로써, z축 모션 벡터(Vz)를 계산할 수 있다.
예를 들어, 도 17을 참조하면, 광류의 중심이 c(1650)이고, 타임 스탬프가 갱신된 원소들 중 i번째 원소가 원소(1710)일 수 있다. 제스처 입력 처리 장치는 c(1650)의 위치와 원소(1710)의 위치를 이용하여 상대위치 벡터(1715)를 생성할 수 있다. 나아가, 제스처 입력 처리 장치는 상대위치 벡터(1715)와 i번째 원소의 속도 벡터(1720)를 수학식 3에 대입하여, z축 모션 벡터(Vz)를 계산할 수 있다.
Figure 112014126594905-pat00003
도 15를 참조하면, 입력 객체(1530)가 센서(1510)에 가까워지는 방향으로 이동 중인 경우, 제스처 입력 처리 장치에 의해 계산된 Vz는 양(+)의 값을 가질 수 있다. 반대로, 입력 객체(1530)가 센서(1510)로부터 멀어지는 방향으로 이동 중인 경우, Vz는 음(-)의 값을 가질 수 있다.
도 15 내지 도 17을 통하여 기술한 사항들에 따르면, x축 모션 벡터, y축 모션 벡터 이외에 z축 모션 벡터가 더 계산될 수 있다. 제스처 입력 처리 장치는 x축 모션 벡터, y축 모션 벡터, 및 z축 모션 벡터의 시간의 흐름에 따른 변화에 기초하여, 입력 호의 유형 및 회전 방향을 결정할 수 있다.
도 18은 일 실시예에 따른 제스처 입력 처리 방법을 나타낸 동작 흐름도이다. 도 18을 참조하면, 일 실시예에 따른 제스처 입력 처리 방법은 제스처 입력에 대응하는 타원 호의 유형을 결정하는 단계(1810), 제스처 입력에 대응하는 회전 방향을 결정하는 단계(1820), 및 유형 및 회전 방향에 기초하여 제스처 입력을 처리하는 단계(1830)를 포함한다. 도 18에 도시된 각 단계들에는 도 1 내지 도 17을 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 사항은 생략한다.
도 19는 일 실시예에 따른 제스처 입력 처리 장치를 나타낸 블록도이다. 도 19를 참조하면, 일 실시예에 따른 제스처 입력 처리 장치(1900)는 센싱부(1910), 판단부(1920), 및 결정부(1930)를 포함한다. 센싱부(1910)는 제스처 입력을 감지한다. 판단부(1920)는 미리 정해진 회전 방향 및 궤도를 가지는 후보 도형들에 기초하여, 제스처 입력에 대응하는 후보 도형 및 상기 후보 도형에 포함된 부위들 중 제스처 입력에 대응하는 부위를 판단한다. 결정부(1930)는 판단된 부위에 기초하여, 후보 도형에 매칭된 액션을 수행할지 여부를 결정한다. 도 19에 도시된 각 모듈들에는 도 1 내지 도 17을 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 사항은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (25)

  1. 제스처 입력에 대응하는 타원의 장축의 방향이 수평인지 또는 수직인지 결정하는 단계;
    상기 제스처 입력에 대응하는 타원 호(elliptical arc)의 위치가 제1 위치인지 또는 상기 장축을 기준으로 상기 제1 위치와 분리되는 제2 위치인지 결정하는 단계;
    상기 제스처 입력에 대응하는 회전 방향(rotation direction)이 시계 방향인지 또는 반시계 방향인지 결정하는 단계;
    상기 타원 호가 상기 제1 위치에 있고 상기 장축의 상기 방향이 수직으로 결정됨에 따라, 상기 제스처 입력에 대응하는 액션을 수행하는 단계; 및
    상기 타원 호가 상기 제2 위치에 있고 상기 장축의 상기 방향이 수직으로 결정됨에 따라, 상기 액션을 수행하지 않는 단계를 포함하고,
    상기 액션은 제1 액션 및 제2 액션을 포함하고, 상기 제1 액션은 상기 회전 방향이 상기 시계 방향으로 결정됨에 따라 수행되고, 상기 제2 액션은 상기 회전 방향이 상기 반시계 방향으로 결정됨에 따라 수행되는 제스처 입력 처리 방법.
  2. 제1항에 있어서,
    상기 제스처 입력은
    반복 가능한 타원 형태의 동작 입력 중 일부인, 제스처 입력 처리 방법.
  3. 제1항에 있어서,
    상기 제스처 입력은
    순환(circulation) 동작 입력에 포함된 의도 전달(intention delivery) 부분 및 복귀(return) 부분 중 어느 하나에 해당하는, 제스처 입력 처리 방법.
  4. 제1항에 있어서,
    상기 제스처 입력으로 인한 빛의 변화를 감지하는 이벤트 기반 비전 센서의 픽셀들에 의하여 출력되는 이벤트 신호들을 수신하는 단계
    를 더 포함하고,
    상기 장축의 상기 방향, 상기 타원 호의 상기 위치, 및 상기 회전 방향 중 적어도 하나는 상기 이벤트 신호들에 기초하여 결정되는, 제스처 입력 처리 방법.
  5. 제4항에 있어서,
    상기 장축의 상기 방향, 상기 타원 호의 상기 위치, 및 상기 회전 방향 중 적어도 하나를 결정하기 위하여, 상기 이벤트 신호들에 대응하는 이벤트 맵의 원소들 및 주변 원소들 사이의 거리 차이 및 시간 차이에 기초하여 광류(optical flow)를 계산하는 단계
    를 더 포함하는, 제스처 입력 처리 방법.
  6. 제1항에 있어서,
    상기 제스처 입력을 프레임 별로 캡쳐하는 프레임 기반 비전 센서에 의하여 출력되는 이미지들을 수신하는 단계; 및
    상기 이미지들을 비교함으로써, 상기 이미지들 사이의 차이 정보를 생성하는 단계
    를 더 포함하고,
    상기 장축의 상기 방향, 상기 타원 호의 상기 위치, 및 상기 회전 방향 중 적어도 하나는 상기 차이 정보에 기초하여 결정되는, 제스처 입력 처리 방법.
  7. 제1항에 있어서,
    상기 제스처 입력을 후보 타원들 중 상기 타원에 매칭하는 단계; 및
    상기 제스처 입력을 상기 타원에 포함된 후보 타원 호들 중 상기 타원 호에 매칭하는 단계
    를 더 포함하는, 제스처 입력 처리 방법.
  8. 제7항에 있어서,
    상기 후보 타원 호들은
    상기 타원의 장축을 기준으로 서로 분리되는, 제스처 입력 처리 방법.
  9. 제1항에 있어서,
    상기 타원의 이심률(eccentricity)을 계산하는 단계; 및
    상기 타원의 둘레에서 상기 제스처 입력에 대응하는 위치를 지시하는 각도를 계산하는 단계
    를 더 포함하는, 제스처 입력 처리 방법.
  10. 제1항에 있어서,
    상기 제스처 입력에 대응하는 모션 벡터들의 시간에 따른 제1 변화 또는 포지션들의 시간에 따른 제2 변화를 결정하는 단계
    를 더 포함하고,
    상기 장축의 상기 방향, 상기 타원 호의 상기 위치, 및 상기 회전 방향 중 적어도 하나는 상기 모션 벡터들의 시간에 따른 상기 제1 변화 또는 상기 포지션들의 시간에 따른 상기 제2 변화에 기초하여 결정되는, 제스처 입력 처리 방법.
  11. 제1항에 있어서,
    상기 장축의 상기 방향, 상기 타원 호의 상기 위치, 및 상기 회전 방향에 기초하여, 상기 제스처 입력에 대응하는 입력 방향을 결정하는 단계
    를 더 포함하고,
    상기 입력 방향에 대응하는 상기 액션이 수행되는 제스처 입력 처리 방법.
  12. 제1항에 있어서,
    상기 장축의 상기 방향, 상기 타원 호의 상기 위치, 및 상기 회전 방향에 기초하여 상기 제스처 입력이 순환 동작 입력의 의도 전달 부분 또는 복귀 부분에 해당하는지 여부를 판단하는 단계;
    를 더 포함하고,
    상기 액션을 수행하는 단계는, 상기 제스처 입력이 상기 의도 전달 부분에 해당한다는 판단에 따라, 상기 순환 동작 입력에 대응하는 상기 액션을 수행하는 단계를 포함하고,
    상기 액션을 수행하지 않는 단계는, 상기 제스처 입력이 상기 복귀 부분에 해당한다는 판단에 따라, 상기 액션을 수행하지 않는 단계를 포함하는 제스처 입력 처리 방법.
  13. 제1항에 있어서,
    이전 제스처 입력 및 상기 제스처 입력에 공통적으로 대응하는 타원의 둘레에서, 이전 제스처 입력에 대응하는 위치를 지시하는 제1 각도 및 상기 제스처 입력에 대응하는 위치를 지시하는 제2 각도에 기초하여, 액션을 수행할지 여부를 판단하는 단계
    를 더 포함하는, 제스처 입력 처리 방법.
  14. 제1항에 있어서,
    상기 제스처 입력에 대응하는 타원의 둘레에서 상기 제스처 입력에 대응하는 위치를 지시하는 각도에 따라 액션의 페이즈(phase)를 제어하는 단계
    를 더 포함하는, 제스처 입력 처리 방법.
  15. 제1항에 있어서,
    상기 제스처 입력이 타원에 대응하는지 여부를 판단하는 단계; 및
    상기 제스처 입력이 타원에 대응하지 않는다는 판단에 따라, 상기 제스처 입력을 폐기(discard)하는 단계
    를 더 포함하는, 제스처 입력 처리 방법.
  16. 제1항에 있어서,
    상기 제스처 입력은
    상기 제스처 입력을 감지하는 비전 센서와 평행한 가상의 평면 상에서 입력되는, 제스처 입력 처리 방법.
  17. 제1항에 있어서,
    상기 제스처 입력에 대응하는 타원의 크기, 상기 제스처 입력의 속도, 및 상기 제스처 입력의 깊이 중 적어도 하나에 더 기초하여 상기 제스처 입력을 처리하는 단계
    를 더 포함하는, 제스처 입력 처리 방법.
  18. 제스처 입력을 감지하는 센싱부;
    상기 제스처 입력에 대응하는 타원의 장축의 방향이 수평인지 또는 수직인지 결정하고, 상기 제스처 입력에 대응하는 타원 호의 위치가 제1 위치인지 또는 상기 장축을 기준으로 상기 제1 위치와 분리되는 제2 위치인지 결정하고, 상기 제스처 입력에 대응하는 회전 방향이 시계 방향인지 또는 반시계 방향인지 결정하는 판단부; 및
    상기 타원 호가 상기 제1 위치에 있고 상기 장축의 상기 방향이 수직으로 결정됨에 따라, 상기 제스처 입력에 대응하는 액션을 수행하고, 상기 타원 호가 상기 제2 위치에 있고 상기 장축의 상기 방향이 수직으로 결정됨에 따라, 상기 액션을 수행하지 않는 결정부를 포함하되,
    상기 액션은 제1 액션 및 제2 액션을 포함하고, 상기 제1 액션은 상기 회전 방향이 상기 시계 방향으로 결정됨에 따라 수행되고, 상기 제2 액션은 상기 회전 방향이 상기 반시계 방향으로 결정됨에 따라 수행되는 제스처 입력 처리 장치.
  19. 제18항에 있어서,
    상기 액션은 상기 장축의 상기 방향으로 넘기기 액션인, 제스처 입력 처리 장치.
  20. 제18항에 있어서,
    상기 센싱부는
    상기 제스처 입력으로 인한 빛의 변화를 감지하는 이벤트 기반 비전 센서; 및
    상기 제스처 입력을 프레임 별로 캡쳐하는 프레임 기반 비전 센서
    중 적어도 하나를 포함하는, 제스처 입력 처리 장치.

  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
KR1020140191031A 2014-12-26 2014-12-26 제스처 입력 처리 방법 및 장치 KR102339839B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140191031A KR102339839B1 (ko) 2014-12-26 2014-12-26 제스처 입력 처리 방법 및 장치
US14/718,259 US9857878B2 (en) 2014-12-26 2015-05-21 Method and apparatus for processing gesture input based on elliptical arc and rotation direction that corresponds to gesture input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140191031A KR102339839B1 (ko) 2014-12-26 2014-12-26 제스처 입력 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160079531A KR20160079531A (ko) 2016-07-06
KR102339839B1 true KR102339839B1 (ko) 2021-12-15

Family

ID=56164088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140191031A KR102339839B1 (ko) 2014-12-26 2014-12-26 제스처 입력 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US9857878B2 (ko)
KR (1) KR102339839B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101754126B1 (ko) * 2015-06-10 2017-07-19 주식회사 브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치
CN109716392B (zh) * 2018-05-22 2023-08-15 豪威芯仑传感器(上海)有限公司 一种光流计算方法及计算设备
CN111273778B (zh) * 2020-02-14 2023-11-07 北京百度网讯科技有限公司 基于手势控制电子设备的方法和装置
JP2022162702A (ja) * 2021-04-13 2022-10-25 株式会社ソニー・インタラクティブエンタテインメント システム、情報処理方法および情報処理プログラム
KR20230026832A (ko) * 2021-08-18 2023-02-27 삼성전자주식회사 동작 제스처를 감지하는 전자 장치 및 그 동작 방법
WO2023209843A1 (ja) * 2022-04-27 2023-11-02 株式会社ソニー・インタラクティブエンタテインメント 信号処理回路、信号処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100050134A1 (en) 2008-07-24 2010-02-25 Gesturetek, Inc. Enhanced detection of circular engagement gesture
US20130162520A1 (en) 2011-12-27 2013-06-27 Maxim Integrated Products, Inc. Gesture detection and compact representation thereof

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP2007172577A (ja) * 2005-11-25 2007-07-05 Victor Co Of Japan Ltd 操作情報入力装置
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US20100027845A1 (en) * 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory
JP2010049469A (ja) 2008-08-21 2010-03-04 Sharp Corp 座標処理装置及び方法、並びに、座標処理プログラム及びその座標処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US8294105B2 (en) 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
WO2011013400A1 (ja) 2009-07-30 2011-02-03 シャープ株式会社 携帯型表示装置およびその制御方法、プログラム、記録媒体
US8416187B2 (en) * 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
JP5716502B2 (ja) 2011-04-06 2015-05-13 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US8810641B2 (en) * 2011-06-15 2014-08-19 Hisense Hiview Tech Co., Ltd. Television, control method and control device for the television
TWI450128B (zh) * 2011-12-05 2014-08-21 Wistron Corp 手勢偵測方法、手勢偵測系統及電腦可讀取儲存媒體
JP2013232119A (ja) 2012-04-27 2013-11-14 Panasonic Corp 入力装置、入力支援方法及びプログラム
JP5461735B2 (ja) 2012-04-27 2014-04-02 パナソニック株式会社 入力装置、入力支援方法及びプログラム
KR20130124061A (ko) 2012-05-04 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
US20140118244A1 (en) * 2012-10-25 2014-05-01 Pointgrab Ltd. Control of a device by movement path of a hand
US9436288B2 (en) * 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US20150029092A1 (en) * 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100050134A1 (en) 2008-07-24 2010-02-25 Gesturetek, Inc. Enhanced detection of circular engagement gesture
US20130162520A1 (en) 2011-12-27 2013-06-27 Maxim Integrated Products, Inc. Gesture detection and compact representation thereof

Also Published As

Publication number Publication date
KR20160079531A (ko) 2016-07-06
US9857878B2 (en) 2018-01-02
US20160187990A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
US20210096651A1 (en) Vehicle systems and methods for interaction detection
US11720181B2 (en) Cursor mode switching
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
KR102339839B1 (ko) 제스처 입력 처리 방법 및 장치
KR102230630B1 (ko) 빠른 제스처 재접속
US9477324B2 (en) Gesture processing
US20150220150A1 (en) Virtual touch user interface system and methods
US20170153713A1 (en) Head mounted display device and control method
US20130257736A1 (en) Gesture sensing apparatus, electronic system having gesture input function, and gesture determining method
US9268409B2 (en) Method and system for gesture identification based on object tracing
US20170344104A1 (en) Object tracking for device input
US9430094B2 (en) Optical touch system, method of touch detection, and computer program product
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
US20150268734A1 (en) Gesture recognition method for motion sensing detector
Bhowmik 39.2: invited paper: natural and intuitive user interfaces: technologies and applications

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right