KR20150121949A - 제스처를 인식하는 방법 및 장치 - Google Patents

제스처를 인식하는 방법 및 장치 Download PDF

Info

Publication number
KR20150121949A
KR20150121949A KR1020140048216A KR20140048216A KR20150121949A KR 20150121949 A KR20150121949 A KR 20150121949A KR 1020140048216 A KR1020140048216 A KR 1020140048216A KR 20140048216 A KR20140048216 A KR 20140048216A KR 20150121949 A KR20150121949 A KR 20150121949A
Authority
KR
South Korea
Prior art keywords
gesture
vector
pattern
vector value
value
Prior art date
Application number
KR1020140048216A
Other languages
English (en)
Inventor
박정민
현은정
이승은
전승영
조정호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140048216A priority Critical patent/KR20150121949A/ko
Priority to US14/693,524 priority patent/US20150301609A1/en
Publication of KR20150121949A publication Critical patent/KR20150121949A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시는 제스처를 인식하는 방법 및 장치에 관한 것으로, 본 개시의 다양한 실시 예에 따른 제스처를 인식하는 방법은 상기 제스처에 대한 적어도 하나의 벡터값을 추출하는 동작과 상기 벡터값에 기반하여 벡터의 패턴을 생성하는 동작과 기 저장된 적어도 하나의 벡터의 패턴과 상기 생성된 벡터의 패턴을 비교하는 동작 및 상기 비교 동작에 기반하여 제스처의 유형을 결정하는 동작을 포함할 수 있다.
또한 본 개시의 다양한 실시 예에 따른 제스처를 인식하는 방법은 적어도 둘 이상의 멀티 근접 입력을 감지 시, 상기 멀티 근접 입력에 대한 적어도 하나의 제1벡터값을 추출하는 동작과 상기 멀티 근접 입력이 감지된 상태에서 움직임이 발생하면, 상기 움직임에 대한 적어도 하나의 제2벡터값을 추출하는 동작과 상기 제1벡터값과 상기 제2벡터값의 이동궤적을 분석하여 핀치 제스처인지 여부를 결정하고는 동작 및 핀치 제스처이면, 상기 핀치 제스처에 대응하는 기능을 수행하는 동작을 포함할 수 있다. 이 밖에도 다양한 실시 예가 가능하다.

Description

제스처를 인식하는 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZING GESTURES}
본 개시는 전자 장치에서 제스처를 인식하는 방법 및 장치에 관한 것이다.
일반적으로 전자 장치는 적외선 센서(infrared sensor)를 통해 사물에 반사되는 빛(적외선)의 세기를 감지하여 제스처가 발생하는 거리 및 동작을 판단하여 제스처를 인식할 수 있다. 또한, 전자 장치의 TSP(touch screen panel)에서 호버링(hovering) 기술을 통해 스크린 상에 상기 오브젝트(예컨대, 사용자 손가락, 스타일러스펜)의 움직임을 감지하여 호버링 제스처를 인식할 수 있다. 이처럼 사용자는 각종 센서(예컨대, 제스처 인식 센서)의 위치에 기반하여 올바른 방향에 맞게 제스처를 입력함으로써 전자 장치는 상기 제스처에 해당하는 특정 명령을 수행할 수 있다. 예를 들면, 사용자가 원형 패턴을 입력하는 경우, 센서를 기준으로 정확히 원형 패턴을 입력해야 전자 장치는 상기 원형에 대한 동작을 수행할 수 있다.
하지만 사용자는 특정 명령을 수행하기 위해 전자 장치가 기울어진 상태에서 특정 패턴을 입력해야하는 경우 예컨대, 책상과 같이 전자 장치가 높이 있을 경우 팔을 들어서 손목을 꺾은 상태에서 특정 패턴을 입력해야하는 경우 사용자에게 불편함을 줄 수 있다.
본 개시의 실시 예에 따른 전자 장치는 사용자가 의도한 동작을 효과적으로 인식하기 위한 방법 및 장치를 제공한다. 특히, 제스처 동작을 사용자 기준으로 어떠한 각도에서 특정 패턴을 입력하더라도 사용자 의도를 파악할 수 있는 방법 및 장치를 제공한다.
본 개시는 제스처에 대한 적어도 하나의 벡터값을 추출하는 동작; 상기 벡터값에 기반하여 벡터의 패턴을 생성하는 동작; 기 저장된 적어도 하나의 벡터의 패턴과 상기 생성된 벡터의 패턴을 비교하는 동작; 및 상기 비교 동작에 기반하여 제스처의 유형을 결정하는 동작을 포함할 수 있다.
본 개시는 적어도 둘 이상의 멀티 근접 입력을 감지 시, 상기 멀티 근접 입력에 대한 적어도 하나의 제1벡터값을 추출하는 동작; 상기 멀티 근접 입력이 감지된 상태에서 움직임이 발생하면, 상기 움직임에 대한 적어도 하나의 제2벡터값을 추출하는 동작; 상기 제1벡터값과 상기 제2벡터값의 이동궤적을 분석하여 핀치 제스처인지 여부를 결정하는 동작; 및 핀치 제스처이면, 상기 핀치 제스처에 대응하는 기능을 수행하는 동작을 포함할 수 있다.
본 개시는 제스처 입력 감지 시, 상기 제스처에 대한 적어도 하나의 벡터값을 추출하고, 상기 벡터값에 기반하여 벡터의 패턴을 생성하고, 기 저장된 적어도 하나의 벡터의 패턴과 상기 생성된 벡터의 패턴을 비교하고, 상기 비교 과정에 기반하여 상기 제스처의 유형을 결정하도록 제어하는 제어부를 포함할 수 있다.
본 개시는 적어도 둘 이상의 멀티 근접 입력 감지 시 상기 멀티 근접 입력에 대한 적어도 하나의 제1벡터값을 추출하고, 상기 멀티 근접 입력이 감지된 상태에서 움직임이 발생하면, 상기 움직임에 대한 적어도 하나의 제2벡터값을 추출하고, 상기 제1벡터값과 상기 제2벡터값의 이동궤적을 분석하여 핀치 제스처인지 여부를 결정하여 상기 핀치 제스처에 대응하는 기능을 수행하도록 제어하는 제어부를 포함할 수 있다.
본 개시의 실시 예에 따른 전자 장치는 사용자가 패턴을 입력하기 위해 손목을 꺾거나 자세를 고치지 않아도 어느 각도에서도 동일한 입력으로 인식하여 제스처에 대응하는 기능을 쉽게 수행할 수 있다. 사용자는 전자 장치의 상태를 고려하지 않고 패턴을 입력하기 때문에 입력 인식률을 높일 수 있고, 입력이 어려운 상태에서도 쉽게 입력할 수 있다.
도 1은 일 실시 예에 따른 전자 장치 101를 포함하는 네트워크 환경 100을 도시한 도면이다.
도 2는 일 실시 예에 따른 전자 장치 200(예: 전자 장치 101)의 구성을 도시하는 도면이다.
도 3a 내지 도 3g는 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 제스처 인식 방법을 도시하는 흐름도이다.
도 5a 및 도 5b는 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 제스처 인식 방법을 도시하는 흐름도이다.
도 7a 내지 도 7e는 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 흐름도이다.
도 8은 일 실시 예에 따른 제스처 인식 방법을 도시하는 흐름도이다.
도9a 내지 도 9d는 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 제스처 인식 방법을 도시하는 흐름도이다.
도 11a 내지 도 11d는 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 제스처 인식 방법을 도시하는 흐름도이다.
도 13a 내지 도 13c는 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다.
도 15는 일 실시 예들에 따른 전자 장치 1501블록도 1500를 도시한다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시 예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.
본 발명의 다양한 실시 예에서 사용될 수 있는“포함한다” 또는“포함할 수 있다” 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 본 발명의 다양한 실시 예에서 “또는” 또는 “ A 또는/및 B 중 적어도 하나” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B” 또는 “ A또는/및 B 중 적어도 하나” 각각은, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명의 다양한 실시 예에서 사용된 “제 1,”“제2,”“첫째,”또는“둘째,”등의 표현들은 다양한 실시 예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시 예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 다양한 실시 예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시 예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 다양한 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 다양한 실시 예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 제스처 인식 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 제스처 인식 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 제스처 인식 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시 예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명의 다양한 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른, 전자 장치 101을 포함하는 네트워크 환경 100을 도시한 도면이다. 도 1을 참조하면, 상기 전자 장치 101은 버스 110, 프로세서 120, 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 인터페이스 160 및 제스처 인식 모듈 170을 포함할 수 있다.
상기 버스 110은 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서 120은, 예를 들면, 상기 버스 110을 통해 전술한 다른 구성요소들(예: 상기 메모리 130, 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 상기 제스처 인식 모듈 170 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리 130은, 상기 프로세서 120 또는 다른 구성요소들(예: 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 제스처 인식 모듈 170 등)로부터 수신되거나 상기 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리 130은, 예를 들면, 커널 131, 미들웨어 132, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 133 또는 어플리케이션 134 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널 131은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널 131은 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에서 상기 전자 장치 101의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어 132는 상기 API 133 또는 상기 어플리케이션 134가 상기 커널 131과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어 132는 상기 어플리케이션 134로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 어플리케이션 134 중 적어도 하나의 어플리케이션에 상기 전자 장치 101의 시스템 리소스(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)를 수행할 수 있다.
상기 API 133은 상기 어플리케이션 134이 상기 커널 131 또는 상기 미들웨어 132에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 어플리케이션 134는 SMS/MMS 어플리케이션, 이메일 어플리케이션, 달력 어플리케이션, 알람 어플리케이션, 건강 관리(health care) 어플리케이션(예: 운동량 또는 혈당 등을 측정하는 어플리케이션) 또는 환경 정보 어플리케이션(예: 기압, 습도 또는 온도 정보 등을 제공하는 어플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 어플리케이션 134은 상기 전자 장치 101와 외부 전자 장치(예: 전자 장치 104) 사이의 정보 교환과 관련된 어플리케이션일 수 있다. 상기 정보 교환과 관련된 어플리케이션은, 예를 들어, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 상기 알림 전달 어플리케이션은 상기 전자 장치 101 의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션 또는 환경 정보 어플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치(예: 전자 장치 104)로 전달하는 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치(예: 전자 장치 104)로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 상기 장치 관리 어플리케이션은, 예를 들면, 상기 전자 장치 101와 통신하는 외부 전자 장치(예: 전자 장치 104)의 적어도 일부에 대한 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴온/턴오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 상기 외부 전자 장치에서 동작하는 어플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스)를 관리(예: 설치, 삭제 또는 업데이트)할 수 있다.
다양한 실시 예에 따르면, 상기 어플리케이션 134은 상기 외부 전자 장치(예: 전자 장치 104)의 속성(예: 전자 장치의 종류)에 따라 지정된 어플리케이션을 포함할 수 있다. 예를 들어, 외부 전자 장치가 MP3 플레이어인 경우, 상기 어플리케이션 134은 음악 재생과 관련된 어플리케이션을 포함할 수 있다. 유사하게, 외부 전자 장치가 모바일 의료기기인 경우, 상기 어플리케이션 134은 건강 관리와 관련된 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 상기 어플리케이션 134은 전자 장치 101에 지정된 어플리케이션 또는 외부 전자 장치(예: 서버 106 또는 전자 장치 104)로부터 수신된 어플리케이션 중 적어도 하나를 포함할 수 있다.
상기 입출력 인터페이스 140은, 입출력 장치(예: 센서, 키보드 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 상기 버스 110를 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 제스처 인식 모듈 170에 전달할 수 있다. 예를 들면, 상기 입출력 인터페이스 140은 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 상기 프로세서 120로 제공할 수 있다. 또한, 상기 입출력 인터페이스 140은, 예를 들면, 상기 버스 110을 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 제스처 인식 모듈 170로부터 수신된 명령 또는 데이터를 상기 입출력 장치(예: 스피커 또는 디스플레이)를 통하여 출력할 수 있다. 예를 들면, 상기 입출력 인터페이스 140은 상기 프로세서 120를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다.
상기 디스플레이 150은 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다.
상기 통신 인터페이스 160은 상기 전자 장치 101와 외부 장치(예: 전자 장치 104 또는 서버 106) 간의 통신을 연결할 수 있다. 예를 들면, 상기 통신 인터페이스 160은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 상기 외부 장치와 통신할 수 있다. 상기 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
한 실시 예에 따르면, 상기 네트워크 162는 통신 네트워크(telecommunications network)일 수 있다. 상기 통신 네트워크 는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 한 실시 예에 따르면, 상기 전자 장치 101와 외부 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol 또는 physical layer protocol))은 어플리케이션 134, 어플리케이션 프로그래밍 인터페이스 133, 상기 미들웨어 132, 커널 131 또는 통신 인터페이스 160 중 적어도 하나에서 지원될 수 있다.상기 서버 106는 상기 전자 장치 101에서 구현되는 동작(또는, 기능)들 중 적어도 하나의 동작을 수행함으로써, 상기 전자 장치 101의 구동을 지원할 수 있다. 예를 들면, 상기 서버 106는 상기 전자 장치 101에 구현된 제스처 인식 모듈 170을 지원할 수 있는 제스처 인식 서버 모듈 108을 포함할 수 있다. 예컨대, 상기 제스처 인식 서버 모듈 108은 제스처 인식 모듈 170의 적어도 하나의 구성요소를 포함하여, 제스처 인식 모듈 170이 수행하는 동작들 중 적어도 하나의 동작을 수행(예: 대행)할 수 있다.
상기 제스처 인식 모듈 170은, 다른 구성요소들(예: 상기 프로세서 120, 상기 메모리 130, 상기 입출력 인터페이스 140, 또는 상기 통신 인터페이스 160 등)로부터 획득된 정보 중 적어도 일부를 처리하고, 이를 다양한 방법으로 사용자에게 제공 할 수 있다. 예를 들면, 상기 제스처 인식 모듈 170은 상기 프로세서 120를 이용하여 또는 이와는 독립적으로, 상기 전자 장치 101이 다른 전자 기기(예: 전자 장치 104 또는 서버 106)와 연동하도록 상기 전자 장치 101의 적어도 일부 기능을 제어할 수 있다.
도 2는 일 실시 예에 따른, 제스처 인식을 위한 전자 장치 200(예: 전자 장치 101)의 구성을 도시하는 도면이다. 상기 전자 장치 200는 제어부 210, 저장부 220, 표시부 230, 입력부 240 및 통신부 250를 포함할 수 있다.
상기 도 2를 참조하면, 제어부 210는 프로세서(예: 어플리케이션 프로세서(API)) 또는 프로세서에 의해 제어되는 하드웨어 모듈, 소프트웨어 모듈 또는 그 조합일 수 있다. 한 실시 예에 따르면, 예를 들면, 제어부 210는 프로세서 120에 의해 실행되는 제스처 인식 모듈 170의 적어도 일부 기능에 해당하는 제어 로직(control logic)을 포함할 수 있다. 상기 제어부 210의 상기 제스처 인식 모듈 170은 감지되는 제스처를 인식하기 위한 벡터값 추출 모듈 211, 벡터값 저장 모듈 212, 벡터 패턴 비교 모듈 213 및 제스처 유형 결정 모듈 214을 포함할 수 있다.
상기 제어부 210는 제스처 발생 시, 상기 제스처에 대한 벡터 패턴을 생성하며, 상기 제스처에 대한 벡터 패턴과 기 저장된 벡터 패턴을 비교하여 상기 제스처의 유형을 결정 및 상기 제스처에 대한 기능을 수행할 수 있다.
따라서 상기 제어부 210의 모듈 동작을 살펴보면, 벡터값 추출 모듈 211은 제스처 발생 시, 상기 제스처에 대한 벡터값을 추출할 수 있다. 벡터값 저장 모듈 212은 벡터값 추출 모듈 211을 통해 추출한 벡터값을 저장할 수 있다. 벡터 패턴 비교 모듈 213은 상기 제스처에 대한 벡터 패턴과 저장부 220에 저장된 벡터 패턴의 비교 동작을 수행할 수 있다. 제스처 유형 결정 모듈 214은 상기 비교 동작을 통해 제스처의 유형을 결정할 수 있다.
저장부 220는 제스처 발생 시 상기 제스처의 유형을 결정하기 위해 비교 대상의 벡터 패턴을 저장할 수 있다. 또한 저장부 220는 감지되는 제스처에 대한 벡터 패턴을 저장할 수 있다.
입력부 240는 예를 들어, 터치패널 및 키버튼 패널 등의 입력 장치(예: 입출력 인터페이스 140)으로 구성될 수 있다. 그리고 상기 터치패널은 표시부 230와 일체형으로 터치스크린으로 구성될 수 있으며, 상기 표시부 230에서 터치되는 입력들을 감지할 수 있다.
본 개시의 일 실시 예에서 제어부 210는 제스처 인식 모듈 170을 포함할 수 있으며, IR센서와 같은 제스처 센서, TSP를 통한 호버링(hovering), 이미지센서(image sensor) 등을 통해 사용자의 제스처를 판단할 수 있다. 사용자의 제스처 감지 시 움직임의 대상(target)이 되는 오브젝트(예컨대, 사용자의 손가락, 스타일러스펜 등)를 결정하고 상기 오브젝트의 움직임을 감지할 수 있다. 이때 본 개시의 일 실시 예에 따라 상기 오브젝트의 움직임 감지 시, x, y축의 움직임과 더불어 깊이(depth)인 z축의 움직임도 감지할 수 있다. 즉, 상기 제스처가 발생한 상태에서 움직임 감지 시, 상기 움직임에 대한 (x, y, z) 형태의 벡터값을 추출할 수 있다. 본 개시의 일 실시 예에서 상기 벡터값은 적어도 하나의 위상값을 포함할 수 있다. 상기 추출된 (x, y, z) 형태의 벡터값이 누적된 움직임 정보와 미리 정의된 움직임((x, y, z)의 3차원 형태로 저장) 정보를 비교할 수 있다. 구체적으로 기 정의된 움직임에 대한 벡터값의 분포도와 제스처에 대한 벡터값의 분포도를 비교할 수 있다. 또한, 기 정의된 움직임에 대한 벡터값이 생성되는 진행 방향과 제스처에 대한 벡터값이 생성되는 진행 방향을 비교할 수 있다. 상기 비교 동작을 통해 사용자의 제스처의 유형을 결정하고, 상기 제스처의 유형에 대응하는 기능을 수행할 수 있다. 전자 장치가 수평인 상태, 수직인 상태 또는 기울어진 상태에서 제스처 감지 시, 상기 제스처에 대한 벡터값의 분포도 및 벡터값이 생성되는 진행 방향을 비교함으로써 각각의 상태에서의 제스처를 같은 제스처로 인식할 수 있다.
본 개시의 일 실시 예에 따른 제스처를 인식하는 장치는 상기 제스처 입력 감지 시, 상기 제스처에 대한 적어도 하나의 벡터값을 추출하고, 상기 벡터값에 기반하여 벡터의 패턴을 생성하고, 기 저장된 적어도 하나의 벡터의 패턴과 상기 생성된 벡터의 패턴을 비교하고, 상기 비교 과정에 기반하여 상기 제스처의 유형을 결정하도록 제어하는 제어부 210를 포함할 수 있다.
상기 제어부 210는, 상기 벡터의 패턴 생성 시, 상기 벡터값의 분산, 편차, 평균 중 적어도 하나를 통해 분류할 수 있다.
상기 제어부 210는, 상기 벡터값의 분포도 및 상기 벡터값이 생성되는 진행 방향을 비교할 수 있다.
상기 제어부 210는, 새로운 제스처 감지 시, 상기 새로운 제스처에 대한 적어도 하나의 벡터값을 추출할 수 있다.
상기 제어부 210는, 상기 새로운 제스처가 감지됨에 따라 상기 새로운 제스처에 대한 벡터값을 누적하여 저장될 수 있다.
상기 제어부 210는, 이미지센서, IR센서 및 터치패널 중 적어도 하나를 통해 상기 제스처를 검출할 수 있다.
본 개시의 일 실시 예에 따른 제스처를 인식하는 장치는 적어도 둘 이상의 멀티 근접 입력 감지 시 상기 멀티 근접 입력에 대한 적어도 하나의 제1벡터값을 추출하고, 상기 멀티 근접 입력이 감지된 상태에서 움직임이 발생하면, 상기 움직임에 대한 적어도 하나의 제2벡터값을 추출하고, 상기 제1벡터값과 상기 제2벡터값의 이동궤적을 분석하여 핀치 제스처인지 여부를 결정하여 상기 핀치 제스처에 대응하는 기능을 수행하도록 제어하는 제어부 210를 포함할 수 있다.
상기 제어부 210는, 상기 핀치 제스처 발생 시, 이미지의 확대, 축소, Z축으로 정렬된 자료의 선택 범위를 조절하는 기능 중 적어도 하나를 수행할 수 있다.
도 3a 내지 도 3g는 제스처 인식 방법을 설명하기 위한 도면이다.
상기 도 3a 내지 도3g를 참조하면, 본 개시의 일 실시 예에서 제어부 210는 제스처 인식부를 포함할 수 있으며, 상기 제스처 인식부를 통해 사용자의 제스처 입력을 감지할 수 있다. 여기서 상기 제스처 입력은 원형 패턴, 8자 패턴, 별 패턴 등의 연속적인 도형의 패턴을 포함할 수 있다.
본 개시의 일 실시 예에 따른 제어부 210는 도 3a의 301과 같이 전자 장치가 수평인 상태에서 사용자의 원형 제스처 입력을 감지할 수 있다. 또는 도 3a의 303과 같이 전자 장치가 기울어진 상태에서 사용자의 원형 제스처 입력을 감지할 수 있다. 본 개시의 또 다른 실시 예에 따른 제어부 210는 도 3b의 305와 같이 전자 장치가 수평인 상태에서 사용자의 별 제스처 입력을 감지할 수 있다. 또는 도 3b의 307과 같이 전자 장치가 기울어진 상태에서 사용자의 별 제스처 입력을 감지할 수 있다.
본 개시의 일 실시 예에서 전자 장치가 수평인 상태이거나 또는 기울어진 상태에서 사용자의 원형 제스처 또는 별 제스처의 입력을 감지할 때 사용자 관점에서는 동일한 원형 제스처 또는 별 제스처를 그리는 것으로 인식할 수 있지만 전자 장치 관점에서는 다른 모양의 제스처로 인식할 수 있다. 즉, 두 가지 동작(즉, 전자 장치가 수평 상태에서 제스처 입력을 감지하는 경우와 전자 장치가 기울어진 상태에서 제스처 입력을 감지하는 경우)은 제스처 인식부 관점에서 다른 신호로 인식할 수 있다.
예를 들면, 센싱의 관점에서 상기 입력된 제스처를 x, y 방향으로만 본다면 전자 장치가 수평인 상태에서는 도 3c의 309와 같이 원에 가까운 형태로 인식할 수 있고, 전자 장치가 기울어진 상태에서는 도 3c의 311과 같이 타원형태로 인식할 수 있다. 본 개시의 일 실시 예에 따라 정확한 제스처 인식을 위해 z축 정보를 센싱할 수 있다. z축 방향으로의 인식을 위해 도 3d의 313과 같이 표시부 230에 사용자 손가락으로 압력을 가하면 입력에 따라 0보다 작은 -z축 방향으로의 수치를 결정할 수 있다. 또는 도 3d의 315와 같이 사용자 손가락이 호버링(hovering) 되는 거리에 따라 +z축 방향으로의 수치를 결정할 수 있다.
본 개시의 또 다른 실시 예에 따라 스타일러스펜(S-Pen) 입력으로 z축 정보를 센싱할 수 있다. 도 3e의 317과 같이 표시부 230에 상기 스타일러스펜으로 압력(필압값은 x)을 가하면 압력에 따라 0보다 작은 -z축 방향으로의 수치를 결정할 수 있다. 또는 도 3e의 319와 같이 상기 스타일러펜이 호버링(필압값은 0)되는 거리에 따라 +z축 방향으로의 수치를 결정할 수 있다.
제스처에 대한 x, y, z축 정보를 센싱함으로써 전자 장치의 위치가 변하거나(예컨대, 전자 장치가 수평인 상태이거나 기울어진 상태) 동일한 제스처를 여러 번 입력하더라도 패턴의 고유성이 깨지지 않을 수 있다. 예를 들면, 별 패턴 입력이 있을 경우 도 3f와 같이 시작지점을 다르게 입력하더라도 동일한 별 패턴 입력으로 인식할 수 있다. 또 다른 예를 들면, 원형 패턴 입력이 있을 경우 도 3g와 같이 사용자가 원을 한번만 그리던, 3회를 그리던 전자 장치는 동일한 원형 패턴 입력으로 인식할 수 있다.
도 4는 일 실시 예에 따라 제스처 인식 방법을 도시하는 흐름도이다.
상기 도 4를 참조하면, 제어부 210는 401동작에서 제스처가 감지되는지 여부를 결정할 수 있다. 여기서 상기 제스처는 터치 제스처, 멀티 제스처, 호버링 등을 포함할 수 있다. 이때 전자 장치는 수평인 상태 또는 기울어진 상태일 수 있다. 본 개시의 실시 예에 따라 상기 감지되는 제스처에 대한 패턴을 생성하여 상기 패턴에 대응하는 기능을 수행할 수 있다.
제스처가 감지되면 제어부 210는 403동작에서 상기 제스처에 대한 벡터값을 추출하고, 405동작에서 상기 추출한 벡터값을 저장할 수 있다. 그리고 제어부 210는 407동작에서 새로운 제스처가 감지되는지 여부를 결정할 수 있다. 새로운 제스처가 발생하면 제어부 210는 403동작으로 분기하여 새로운 제스처에 대한 벡터값을 추출 및 저장하는 동작을 반복 수행할 수 있다. 즉, 제어부 210는 새로운 제스처가 발생하지 않는 경우 409동작을 수행할 수 있다.
반면, 상기 407동작에서 새로운 제스처가 발생하지 않으면, 제어부 210는 409동작에서 상기 저장한 벡터값들을 분류하는 동작을 수행할 수 있다. 상기 벡터값들을 분류하는 동작은 벡터값의 분산, 편차, 평균을 통하여 수행될 수 있으며, 상기 분류하는 동작을 통해 상기 제스처에 대한 벡터의 패턴이 형성될 수 있다. 이어서 제어부 210는 411동작에서 기 저장된 벡터의 패턴과 제스처에 대한 벡터의 패턴을 비교할 수 있다. 여기서 비교하는 동작은 상기 기 저장된 벡터 패턴의 분포도와 제스처에 대한 벡터 패턴의 분포도를 비교할 수 있다. 또한 기 저장된 벡터 패턴이 생성되는 순서(진행 방향)와 상기 제스처에 대한 벡터 패턴이 생성되는 순서(진행 방향)를 비교할 수 있다.
상기 411동작에서 수행한 비교 동작을 통해 기 저장된 벡터의 패턴과 제스처에 대한 벡터의 패턴이 일치하는지 여부를 판단하여 제어부 210는 413동작에서 상기 제스처의 유형을 결정할 수 있다. 그리고 제어부 210는 415동작에서 상기 제스처에 대한 기능을 수행할 수 있다. 그리고 제어부 210는 417동작에서 종료 여부를 결정할 수 있다. 종료 명령이 발생하면 제어부 210는 417동작에서 이를 감지하고 종료할 수 있다. 반면, 종료 명령이 발생하지 않으면 제어부 210는 401동작으로 분기하여 제스처가 감지되는지 여부를 결정할 수 있다.
도 5a 및 도 5b는 제스처 인식 방법을 설명하기 위한 도면이다.
도 5a 및 도 5b를 참조하면, 상기 도 5a는 오각형 패턴의 제스처가 발생하는 경우 상기 오각형 패턴에 대한 벡터값의 분포도 및 벡터값의 진행 방향(순서)을 설명하기 위한 도면이다. 도 5b는 별 패턴의 제스처가 발생하는 경우 상기 별 패턴에 대한 벡터값의 분포도 및 벡터값의 진행 방향(순서)을 설명하기 위한 도면이다.
구체적으로, 도 5a를 살펴보면, 도 5a의 501에서 제1제스처가 발생함에 따라 도 5a의 503에서 “1”과 같이 일정 범위 내에 상기 제1제스처에 대한 벡터의 군집이 생성될 수 있다. 이어서 새로운 제스처 즉, 도 5a의 501에서 제2제스처가 발생함에 따라 도 5a의 503에서 “2”와 같이 다른 범위 내에 상기 제2제스처에 대한 벡터의 군집이 생성될 수 있다. 이어서 도 5a의 501에서 제3제스처가 발생함에 따라 도 5a의 503에서 “3”과 같이 상기 제3제스처에 대한 벡터의 군집이 생성, 도 5a의 501에서 제4제스처에 대한 벡터의 군집이 도 5a의 503에서 “4”와 같이 생성, 도 5a의 501에서 제5제스처에 대한 벡터의 군집이 도 5a의 503에서 “5”와 같이 생성될 수 있다. 그리고 도5a의 501에서 제6제스처에 대한 벡터의 군집이 도 5a의 503에서 “6”과 같이 생성될 수 있다. 상기 제6제스처에 대한 벡터의 군집이 다시 “1”벡터의 군집으로 들어올 경우 상기 제스처에 대한 벡터의 패턴이 생성될 수 있다. 오각형 패턴에 대한 각 벡터의 군집은 분산이 일정 이상되는 수준으로 정의될 수 있으며, 생성되는 벡터의 군집 진행 방향은 일정할 수 있다. 즉, 상기 제스처에 대한 벡터값이 도 5a의 503과 같이 분포되고, 상기 벡터값이 생성되는 진행 방향이 1→2→3→4→5→6(1)인 경우 상기 제스처를 오각형 패턴으로 결정할 수 있다.
본 개시의 또 다른 실시 예인 도 5b를 살펴보면, 도 5b의 505에서 제1제스처가 발생함에 따라 도 5b의 507에서 “1”과 같이 일정 범위 내에 상기 제1제스처에 대한 벡터의 군집이 생성될 수 있다. 이어서 새로운 제스처 즉, 도 5b의 505에서 제2제스처가 발생함에 따라 도 5b의 507에서 “2”와 같이 다른 범위 내에 상기 제2제스처에 대한 벡터의 군집이 생성될 수 있다. 이어서 도 5b의 505에서 제3제스처가 발생함에 따라 도 5b의 507에서 “3”과 같이 상기 제3제스처에 대한 벡터의 군집이 생성, 도 5b의 505에서 제4제스처에 대한 벡터의 군집이 도 5b의 507에서 “4”와 같이 생성, 도 5b의 505에서 제5제스처에 대한 벡터의 군집이 도 5b의 507에서 “5”와 같이 생성될 수 있다. 그리고 도 5b의 505에서 제6제스처에 대한 벡터의 군집이 도 5b의 507에서 “6”과 같이 생성될 수 있다. 상기 제6제스처에 대한 벡터의 군집이 다시 “1”벡터의 군집으로 들어오는 경우 상기 제스처에 대한 벡터의 패턴이 생성될 수 있다. 별 패턴에 대한 각 벡터의 군집은 분산이 일정 이상되는 수준으로 정의될 수 있으며, 벡터의 군집이 생성되는 진행 방향은 일정할 수 있다. 즉, 상기 제스처에 대한 벡터값이 도 5b의 507과 같이 분포되고, 생성되는 벡터값의 진행 방향이 1→4→2→5→3→6(1)인 경우 상기 제스처를 별 패턴으로 결정할 수 있다.
도 5a의 503 과 같은 오각형 패턴에 대한 벡터값의 분포도와 도 5b의 507과 같은 별 패턴에 대한 벡터값의 분포도를 비교하면 분포도가 유사하여 같은 패턴으로 인식할 수 있지만 벡터값의 진행 방향을 비교하였을 경우 다른 패턴으로 인식하여 도 5a의 제스처는 오각형 패턴으로, 도 5b의 제스처는 별 패턴으로 결정할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 제스처 인식 방법을 도시하는 흐름도이다.
도 6을 참조하면, 제어부 210는 601동작에서 제스처가 감지되는지 여부를 결정할 수 있다. 여기서 상기 제스처는 터치 제스처로 가정하여 설명한다. 제스처가 발생하면 제어부 210는 603동작에서 이미지센서로부터 상기 제스처에 대한 벡터값을 추출할 수 있다. 구체적으로, 상기 이미지센서를 통해 센서 상에 감지되는 오브젝트(예컨대, 사용자의 손가락, 스타일러스펜 등)의 움직임 여부를 판단하여 상기 움직임에 대한 벡터값을 추출할 수 있다. 그리고 제어부 210는 605동작에서 상기 추출한 벡터값을 저장할 수 있다. 그리고 제어부 210는 607동작에서 새로운 제스처가 감지되는지 여부를 결정할 수 있다. 새로운 제스처가 발생하면 제어부 210는 603동작으로 분기하여 이미지센서로부터 상기 새로운 제스처에 대한 벡터값을 추출 및 저장하는 동작을 반복 수행할 수 있다.
반면, 상기 607동작에서 새로운 제스처가 발생하지 않으면, 제어부 210는 609동작에서 상기 저장한 벡터값들을 분류하는 동작을 수행할 수 있다. 상기 벡터값들을 분류하는 동작은 벡터값의 분산, 편차, 평균을 통하여 수행될 수 있으며, 상기 분류하는 동작을 통해 상기 제스처에 대한 벡터의 패턴이 형성될 수 있다. 제어부 210는 611동작에서 기 저장된 벡터의 패턴과 제스처에 대한 벡터의 패턴을 비교할 수 있다. 여기서 비교하는 동작은 상기 기 저장된 벡터 패턴의 분포도와 제스처에 대한 벡터 패턴의 분포도를 비교할 수 있다. 또한 기 저장된 벡터 패턴이 생성되는 순서(진행 방향)와 상기 제스처의 벡터 패턴이 생성되는 순서(진행 방향)를 비교할 수 있다.
상기 611동작에서 수행한 비교 동작을 통해 제어부 210는 613동작에서 상기 제스처의 유형을 결정하며, 615동작에서 상기 제스처에 대한 기능을 수행할 수 있다. 그리고 제어부 210는 617동작에서 종료 여부를 결정할 수 있다. 종료 명령이 발생하면 제어부 210는 617동작에서 이를 감지하고 종료할 수 있다. 반면, 종료 명령이 발생하지 않으면 제어부 210는 601동작으로 분기하여 제스처가 감지되는지 여부를 결정할 수 있다.
도 7a 내지 도 7e는 본 개시의 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 흐름도이다.
상기 도 7a 내지 도 7e를 참조하면, 상기 도 7a는 이미지센서를 통해 사용자의 제스처를 감지하는 것을 설명하기 위한 도면이다. 본 개시의 일 실시 예에 따라 터치 스크린이 5x5로 구성되는 것으로 가정하여 패턴을 검출하는 방법을 설명한다. 도 7a의 701과 같이 진하게 표시된 부분 즉 “7”은 센서부의 수광부로 이미지센서에 반사된 값이 높음을 의미하며, 이는 “7” 부분에 사용자의 손 또는 스타일러스펜과 같은 오브젝트가 있음을 의미한다. 그리고 도 7a의 703과 같이 진하게 표시된 부분이 “7”에서 “9”로 이동한 것을 확인할 수 있다. 마찬가지로 도 7a의 705와 같이 진하게 표시된 부분이 “9”에서 “19”로 이동, 707과 같이 “19”에서 “17”로 이동한 것을 확인할 수 있다. 즉, 오브젝트가 7(701)→9(703)→19(705)→17(707)로 이동함을 감지하는 경우, 제어부 210는 시계방향으로 오브젝트가 이동함을 인식하고 이를 시간 단위로 샘플링(sampling)함으로써 위치를 추출하여 상기 제스처를 원형 패턴으로 결정할 수 있다.
도 7b 및 도 7c는 사용자 제스처를 통해 일련의 동작 흐름을 설명하기 위한 도면이다. 상기 도 7b와 같이 원형 제스처는 방향성을 가지며, 이전 센싱 시의 측정 위치와 현재 측정 위치의 좌표를 통해 하나의 벡터 정보인 Vn=aXn+bYn+cZn(여기서 n은 자연수)를 획득할 수 있다. 상기 벡터 정보는 배열 형태로 집합(set)을 구성할 수 있다. 이때 센싱 주기가 짧을수록 벡터 정보는 움직임의 가속도 속성을 가지게 된다. 구체적으로, 도 7c와 같이 가속도 속성을 가지는 제스처 발생 시, 이전 센싱 시의 측정 위치 좌표값인 V1=aX1+bY1+cZ1과 현재 측정 위치의 좌표값인 V2=aX2+bY2+cZ2를 통해 하나의 벡터 정보인 Vn=aXn+bYn+cZn (여기서, a, b, c는 실수)를 획득하고, 상기 획득한 벡터 정보를 분류하는 동작을 통해 상기 제스처에 대한 벡터의 패턴을 형성할 수 있다.
도 7d는 순간적인 벡터 정보를 정렬한 것을 설명하기 위한 도면으로, 벡터들의 방향 성분을 얻기 위해 단위 벡터로 정렬하면 709와 같이 정리될 수 있다. 각각 벡터의 움직임은 시계방향으로 움직임을 감지할 수 있으며, 벡터 움직임의 각속도 성분이 하나의 패턴으로 정의될 수 있다. 또한, 상기와 같은 원형 패턴은 도 7e와 같이 벡터값이 고르게 분포될 수 있다.
도 8은 본 개시의 일 실시 예에 따른 제스처 인식 방법을 도시하는 흐름도이다.
도 8을 참조하면, 제어부 210는 801동작에서 근접 입력이 감지되는지 여부를 결정할 수 있다. 근접 입력이 발생하면 제어부 210는 803동작에서 상기 근접 입력에 대한 벡터값을 추출하고, 805동작에서 상기 추출한 벡터값을 저장할 수 있다. 그리고 제어부 210는 807동작에서 새로운 근접 입력이 감지되는지 여부를 결정할 수 있다. 새로운 근접 입력이 발생하면 제어부 210는 803동작으로 분기하여 상기 새로운 근접 입력에 대한 벡터값을 추출 및 저장하는 동작을 반복 수행할 수 있다.
반면, 상기 807동작에서 새로운 근접 입력이 발생하지 않으면, 제어부 210는 809동작에서 상기 저장한 벡터값들을 분류하는 동작을 수행할 수 있다. 상기 벡터값들을 분류하는 동작은 상기 벡터값들의 분산, 편차, 평균을 통하여 수행될 수 있으며, 상기 분류하는 동작을 통해 상기 근접 입력에 대한 벡터의 패턴이 형성될 수 있다. 제어부 210는 811동작에서 기 저장된 벡터의 패턴과 상기 근접 입력에 대한 벡터의 패턴을 비교할 수 있다. 여기서 상기 비교하는 동작은 상기 기 저장된 벡터 패턴의 분포도와 근접 입력에 대한 벡터 패턴의 분포도를 비교하는 동작일 수 있다. 또한 기 저장된 벡터 패턴이 생성되는 순서(진행 방향)와 상기 근접 입력에 대한 벡터 패턴이 생성되는 순서(진행 방향)를 비교할 수 있다.
상기 811동작에서 수행한 비교 동작을 통해 제어부 210는 813동작에서 상기 근접 입력의 동작을 결정하며, 815동작에서 상기 근접 입력에 대한 기능을 수행할 수 있다. 그리고 제어부 210는 817동작에서 종료 여부를 결정할 수 있다. 종료 명령이 발생하면 제어부 210는 817동작에서 이를 감지하고 종료할 수 있다. 반면, 종료 명령이 발생하지 않으면 제어부 210는 801동작으로 분기하여 근접 입력이 감지되는지 여부를 결정할 수 있다.
도 9a 내지 도 9d는 본 개시의 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다. 상기 도 9a 내지 도 9d는 8자 패턴의 근접 입력이 발생한 것으로 가정하여 설명한다.
도 9a 내지 도 9d를 참조하면, 상기 9a와 같이 전자 장치가 기울어진 상태에서 8자 패턴의 근접 입력이 감지된 것을 확인할 수 있다. 도 9b와 같이 상기 8자 패턴의 모양은 원형이 두 개가 붙은 모양이지만, 움직임 관점에서 봤을 때 원형과 같이 한 방향으로 움직이지 않으며, 901과 같이 시계방향으로 움직인 후 903과 같이 반시계방향으로 움직이는 것을 확인할 수 있다. 또한, 이러한 8자 모양의 패턴은 도 9c의 905와 같이 단위벡터의 움직임이 시계방향으로 움직인 후 반시계방향으로 움직이는 것을 확인할 수 있다. 즉, 상기 8자 패턴이 발생함에 따라 벡터값의 진행 방향이 0도에서 360도 방향으로 이동하고, 다시 360도에서 0도 방향으로 이동한 것으로 위상이 정의될 수 있다. 따라서 8자 패턴의 벡터값은 도 9d와 같이 0도에서 360도로 순방향으로 이동하고, 다시 360도에서 0도로 역방향으로 이동하여 분포하는 것을 확인할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 제스처 인식 방법을 도시하는 흐름도이다.
도 10을 참조하면, 제어부 210는 1001동작에서 제스처가 감지되는지 여부를 결정할 수 있다. 여기서 상기 제스처는 터치 제스처로 가정하여 설명한다. 터치 제스처가 발생하면 제어부 210는 1003동작에서 터치패널로부터 상기 제스처에 대한 좌표값(x, y)을 추출할 수 있다. 이어서 제어부 210는 1005동작에서 IR센서로부터 상기 제스처에 대한 깊이값(z)을 추출할 수 있다. 제어부 210는 IR센서를 통해 발광부에서 쏜 적외선이 손에 반사되어 수광부로 들어가는 정도에 따라 거리를 감지하여 반사되는 빛의 세기로 오브젝트(예컨대, 사용자의 손, 스타일러스펜 등)의 움직임을 판단할 수 있다.
이어서 제어부 210는 1007동작에서 상기 추출한 벡터값을 저장할 수 있다. 그리고 제어부 210는 1009동작에서 새로운 제스처가 감지되는지 여부를 결정할 수 있다. 새로운 제스처가 발생하면 제어부 210는 1003동작으로 분기하여 상기 새로운 제스처에 대한 좌표값 및 깊이값을 추출 및 저장하는 동작을 반복 수행할 수 있다.
반면, 상기 1009동작에서 새로운 제스처가 발생하지 않으면, 제어부 210는 1011동작에서 상기 저장한 벡터값들을 분류하는 동작을 수행할 수 있다. 상기 벡터값들을 분류하는 동작은 벡터값들의 분산, 편차, 평균을 통하여 수행될 수 있으며, 상기 분류하는 동작을 통해 상기 제스처에 대한 벡터의 패턴이 형성될 수 있다. 제어부 210는 1013동작에서 기 저장된 벡터의 패턴과 상기 제스처에 대한 벡터의 패턴을 비교할 수 있다. 여기서 비교하는 동작은 상기 기 저장된 벡터 패턴의 분포도와 제스처에 대한 벡터 패턴의 분포도를 비교하는 동작일 수 있다. 또한 기 저장된 벡터 패턴이 생성되는 순서(진행 방향)와 상기 제스처에 대한 벡터 패턴이 생성되는 순서(진행 방향)를 비교할 수 있다.
상기 1013동작에서 수행한 비교 동작을 통해 제어부 210는 1015동작에서 상기 제스처의 유형을 결정하며, 1017동작에서 상기 제스처에 대응하는 기능을 수행할 수 있다. 그리고 제어부 210는 1019동작에서 종료 여부를 결정할 수 있다. 종료 명령이 발생하면 제어부 210는 1019동작에서 이를 감지하고 종료할 수 있다. 반면, 종료 명령이 발생하지 않으면 제어부 210는 1001동작으로 분기하여 제스처가 감지되는지 여부를 결정할 수 있다.
도 11a 내지 도 11d는 본 개시의 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다.
도 11a 내지 도 11d를 참조하면, 도 11a와 같이 제어부 210는 터치패널 및 IR센서를 통해 사각형 패턴의 제스처를 감지할 수 있다. 도 11b와 같은 상기 사각형 패턴은 원형 패턴과 유사하게 닫힌 모양의 도형이나 움직임 성분은 다른 성분을 가질 수 있다. 구체적으로, 원형 패턴의 벡터 정보는 센싱에 따라 원형의 모양을 가진다면, 사각형 패턴은 네 부분에 벡터 모양이 집중되어 있음을 확인할 수 있다. 즉, 원형 패턴의 제스처는 벡터각에 따른 위치가 고른 반면, 사각형 패턴의 제스처는 도 11c와 같이 크게 네 부분의 벡터각에 움직임이 집중되어 있고 원형 패턴에 비해 극단적인 움직임을 가질 수 있다. 이는 원형 패턴과 사각형 패턴의 고유 모양을 구분할 수 있는 특징이 될 수 있다. 또한, 사각형 패턴에 대한 벡터값은 도 11d와 같이 부분적으로 분포되어 있음을 확인할 수 있다. 즉, 도 11d와 같은 벡터값을 가지는 제스처 발생 시, 상기 제스처를 사각형 패턴으로 결정할 수 있다.
도 12는 본 개시의 일 실시 예에 따른 제스처 인식 방법을 도시하는 흐름도이다.
도 12를 참조하면, 제어부 210는 1201동작에서 적어도 둘 이상의 멀티 근접 입력이 감지되는지 여부를 결정할 수 있다. 멀티 근접 입력이 발생하면 제어부 210는 1203동작에서 상기 멀티 근접 입력에 대한 제1벡터값을 추출 및 저장할 수 있다. 그리고 제어부 210는 1205동작에서 상기 멀티 근접 입력이 발생한 상태에서 움직임이 발생하는지 여부를 결정할 수 있다. 움직임이 발생하면 제어부 210는 1207동작에서 상기 움직임에 대한 제2벡터값을 추출 및 저장할 수 있다. 그리고 제어부 210는 1209동작에서 제1벡터값과 제2벡터값의 이동궤적을 분석할 수 있다. 이동궤적 분석을 통해 제어부 210는 1211동작에서 핀치(pinch) 제스처인지 여부를 결정할 수 있다. 예를 들면, 두 개의 멀티 근접 입력이 threshold값 사이에서 발생한 상태에서 반대 방향으로의 움직임이 감지되면 제어부 210는 상기 멀티 근접 입력을 핀치 제스처로 결정할 수 있다.
핀치 제스처로 결정 시, 제어부 210는 1213동작에서 상기 핀치 제스처에 대한 기능을 수행할 수 있다. 반면, 핀치 제스처가 아니면 제어부 210는 1215동작에서 해당기능을 수행할 수 있다. 그리고 제어부 210는 1217동작에서 종료 여부를 결정할 수 있다. 종료 명령이 발생하면 제어부 210는 1217동작에서 이를 감지하고 종료할 수 있다. 반면, 종료 명령이 발생하지 않으면 제어부 210는 1201동작으로 분기하여 적어도 둘 이상의 멀티 근접 입력이 감지되는지 여부를 결정할 수 있다.
도 13a 내지 도 13c는 본 개시의 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다.
도 13a 내지 도 13c를 참조하면, 상기 도 13a 내지 도 13c는 사용자가 공중에서 비스듬히 핀치 제스처를 수행한 것을 설명하기 위한 도면이다.
상기 도 13a의 1301과 같이 사용자의 멀티 근접 입력이 감지된 상태에서 1303과 같이 핀치 제스처를 나타내는 형태의 벡터 움직임이 감지되면 핀치 제스처로 인식하여 그에 따른 동작을 수행할 수 있다. 예를 들면, 도 13c은 핀치 제스처의 벡터 정보를 나타낸 것으로 상기 도 13c와 같이 인식된 두 개 이상의 멀티 근접 입력이 threshold값 사이에서 반대 방향으로 움직임이 감지되면 이를 방향에 상관없이 핀치로 인식할 수 있다. 이를 수식으로 나타내면 0<threshold1<
Figure pat00001
<threshold2와 같이 나타낼 수 있다. 상기 제스처의 벡터 정보에 따라 X-Y축 기반의 핀치 제스처와 동일한 핀치로 인식하여 예를 들면, 화면에 표시된 이미지의 확대 등의 기능을 수행할 수 있다.
또 다른 실시 예에 따라 상기 도 13b의 1305와 같이 사용자의 멀티 근접 입력이 감지된 상태에서 1307과 같이 핀치 제스처가 발생하면, 상기 제스처에 따라 Z축으로 정렬된 자료의 선택 범위를 조절할 수 있다. 마찬가지로, 상기 도 13c와 같이 인식된 두 개 이상의 멀티 근접 입력이 threshold값 사이에서 반대 방향으로 움직임이 감지되면 이를 방향에 상관없이 핀치로 인식할 수 있다. 전자 장치나 어플리케이션의 설정에 따라 제스처의 움직임 벡터는 X-Y값으로 인식될 수 있고, Z축 벡터 값으로 인식될 수 있다.
도 14는 본 개시의 일 실시 예에 따른 제스처 인식 방법을 설명하기 위한 도면이다.
도 14를 참조하면, 상기 서술한 본 개시의 실시 예에 따라 웨어러블 디바이스(wearable device) 예컨대, 스마트 손목시계나 글래스와 같은 HMD(Head Mounted Device)에서 활용될 수 있다. 구체적으로, 웨어러블 디바이스는 IR센서와 같은 제스처 센서, TSP를 통한 호버링(hovering), 이미지센서(image sensor) 등을 통해 사용자의 제스처를 판단할 수 있다. 사용자의 제스처 감지 시 움직임의 대상(target)이 되는 오브젝트(예컨대, 사용자의 손가락, 스타일러스펜 등)를 결정하고 상기 오브젝트의 움직임을 감지할 수 있다. 이때 본 개시의 일 실시 예에 따라 상기 오브젝트의 움직임 감지 시, x, y축의 움직임과 더불어 깊이(depth)인 z축의 움직임도 감지할 수 있다. 즉, 상기 제스처가 발생한 상태에서 상기 제스처의 움직임 감지 시, 상기 움직임에 대한 (x, y, z) 형태의 벡터를 추출할 수 있다. 상기 제스처 인식을 통해 추출된 움직임에 대한 벡터값과 기 저장된 벡터값을 비교하여 상기 제스처의 유형을 결정하고, 상기 제스처에 대응하는 기능을 수행할 수 있다.
본 개시의 일 실시 예에 따른 제스처를 인식하는 방법은 상기 제스처에 대한 적어도 하나의 벡터값을 추출하는 동작과 상기 벡터값에 기반하여 벡터의 패턴을 생성하는 동작과 기 저장된 적어도 하나의 벡터의 패턴과 상기 생성된 벡터의 패턴을 비교하는 동작과 상기 비교 동작에 기반하여 제스처의 유형을 결정하는 동작을 포함할 수 있다.
본 개시의 일 실시 예에서 상기 벡터값은 적어도 하나의 위상값을 포함할 수 있다.
상기 벡터의 패턴을 생성하는 동작은, 상기 벡터값의 분산, 편차, 평균 중 적어도 하나를 통해 분류하는 동작을 포함할 수 있다.
상기 비교하는 동작은, 상기 벡터값의 분포도 및 상기 벡터값이 생성되는 진행 방향을 비교할 수 있다.
상기 추출하는 동작은, 새로운 제스처 감지 시, 상기 새로운 제스처에 대한 적어도 하나의 벡터값을 추출하는 과정을 더 포함할 수 있다.
상기 새로운 제스처가 감지됨에 따라 상기 새로운 제스처에 대한 벡터값이 누적하여 저장될 수 있다.
상기 제스처는, 이미지센서, IR센서 및 터치패널 중 적어도 하나를 통해 검출될 수 있다.
본 개시의 일 실시 예에 따른 제스처를 인식하는 방법에 있어서, 적어도 둘 이상의 멀티 근접 입력을 감지 시, 상기 멀티 근접 입력에 대한 적어도 하나의 제1벡터값을 추출하는 동작과 상기 멀티 근접 입력이 감지된 상태에서 움직임이 발생하면, 상기 움직임에 대한 적어도 하나의 제2벡터값을 추출하는 동작과 상기 제1벡터값과 상기 제2벡터값의 이동궤적을 분석하여 핀치 제스처인지 여부를 결정하는 동작 및 핀치 제스처이면, 상기 핀치 제스처에 대응하는 기능을 수행하는 동작을 포함할 수 있다.
상기 핀치 제스처에 대응하는 기능을 수행하는 동작은, 이미지의 확대, 축소 또는 Z축으로 정렬된 자료의 선택 범위를 조절하는 기능 중 적어도 하나를 수행할 수 있다.
도 15는 다양한 실시 예들에 따른 전자 장치 1501블록도 1500를 도시한다. 상기 전자 장치 1501은, 예를 들면, 도 1에 도시된 전자 장치 101의 전체 또는 일부를 구성할 수 있다. 도 15를 참조하면, 상기 전자 장치 1501은 하나 이상의 어플리케이션 프로세서(AP: application processor) 1510, 통신 모듈 1520, SIM(subscriber identification module) 카드 1524, 메모리 1530, 센서 모듈 1540, 입력 장치 1550, 디스플레이 1560, 인터페이스 1570, 오디오 모듈 1580, 카메라 모듈 1591, 전력관리 모듈 1595, 배터리 1596, 인디케이터 1597 및 모터 1598 를 포함할 수 있다.
상기 AP 1510는 운영체제 또는 응용 프로그램을 구동하여 상기 AP 1510에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 1510는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 상기 AP 1510는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 통신 모듈 1520(예: 상기 통신 인터페이스 160)은 상기 전자 장치 1501(예: 상기 전자 장치 101)와 네트워크를 통해 연결된 다른 전자 장치들(예: 전자 장치 104 또는 서버 106) 간의 통신에서 데이터 송수신을 수행할 수 있다. 한 실시 예에 따르면, 상기 통신 모듈 1520은 셀룰러 모듈 1521, Wifi 모듈 1523, BT 모듈 1525, GPS 모듈 1527, NFC 모듈 1528 및 RF(radio frequency) 모듈 1529를 포함할 수 있다.
상기 셀룰러 모듈 1521은 통신망(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 또한, 상기 셀룰러 모듈 1521은, 예를 들면, 가입자 식별 모듈(예: SIM 카드 1524)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 상기 셀룰러 모듈 1521은 상기 AP 1510가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 상기 셀룰러 모듈 1521은 멀티 미디어 제어 기능의 적어도 일부를 수행할 수 있다.
한 실시 예에 따르면, 상기 셀룰러 모듈 1521은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 또한, 상기 셀룰러 모듈 1521은, 예를 들면, SoC로 구현될 수 있다. 도 15에서는 상기 셀룰러 모듈 1521(예: 커뮤니케이션 프로세서), 상기 메모리 1530 또는 상기 전력관리 모듈 1595 등의 구성요소들이 상기 AP 1510와 별개의 구성요소로 도시되어 있으나, 한 실시 예에 따르면, 상기 AP 1510가 전술한 구성요소들의 적어도 일부(예: 셀룰러 모듈 1521)를 포함하도록 구현될 수 있다.
한 실시 예에 따르면, 상기 AP 1510 또는 상기 셀룰러 모듈 1521(예: 커뮤니케이션 프로세서)은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP 1510 또는 상기 셀룰러 모듈 1521은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 Wifi 모듈 1523, 상기 BT 모듈 1525, 상기 GPS 모듈 1527 또는 상기 NFC 모듈 1528 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 도 15에서는 셀룰러 모듈 1521, Wifi 모듈 1523, BT 모듈 1525, GPS 모듈 1527 또는 NFC 모듈 1528이 각각 별개의 블록으로 도시되었으나, 한 실시 예에 따르면, 셀룰러 모듈 1521, Wifi 모듈 1523, BT 모듈 1525, GPS 모듈 1527 또는 NFC 모듈 1528 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈 1521, Wifi 모듈 1523, BT 모듈 1525, GPS 모듈 1527 또는 NFC 모듈 1528 각각에 대응하는 프로세서들 중 적어도 일부(예: 셀룰러 모듈 1521에 대응하는 커뮤니케이션 프로세서 및 Wifi 모듈 1523에 대응하는 Wifi 프로세서)는 하나의 SoC로 구현될 수 있다.
상기 RF 모듈 1529는 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기 RF 모듈 1529는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈 1529는 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다. 도 15에서는 셀룰러 모듈 1521, Wifi 모듈 1523, BT 모듈 1525, GPS 모듈 1527 및 NFC 모듈 1528이 하나의 RF 모듈 1529을 서로 공유하는 것으로 도시되어 있으나, 한 실시 예에 따르면, 셀룰러 모듈 1521, Wifi 모듈 1523, BT 모듈 1525, GPS 모듈 1527 또는 NFC 모듈 1528 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
상기 SIM 카드 1524는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드 1524는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리 1530(예: 상기 메모리 130)는 내장 메모리 1532 또는 외장 메모리 1534를 포함할 수 있다. 상기 내장 메모리 1532는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
한 실시 예에 따르면, 상기 내장 메모리 1532는 Solid State Drive (SSD)일 수 있다. 상기 외장 메모리 1534는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 상기 외장 메모리 1534는 다양한 인터페이스를 통하여 상기 전자 장치 1501과 기능적으로 연결될 수 있다. 한 실시 예에 따르면, 상기 전자 장치 1501는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
상기 센서 모듈 1540은 물리량을 계측하거나 전자 장치 1501의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈 1540은, 예를 들면, 제스처 센서 1540A, 자이로 센서 1540B, 기압 센서 1540C, 마그네틱 센서 1540D, 가속도 센서 1540E, 그립 센서 1540F, 근접 센서 1540G, color 센서 1540H(예: RGB(red, green, blue) 센서), 생체 센서 1540I, 온/습도 센서 1540J, 조도 센서 1540K 또는 UV(ultra violet) 센서 1540M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈 1540은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infra red) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 상기 센서 모듈 1540은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 입력 장치 1550은 터치 패널(touch panel) 1552, (디지털) 펜 센서(pen sensor) 1554, 키(key) 1556 또는 초음파(ultrasonic) 입력 장치 1558를 포함할 수 있다. 상기 터치 패널 1552은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널 1552은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패널 1552은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널 1552은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서 1554는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키 1556는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파(ultrasonic) 입력 장치 1558는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치 1501에서 마이크(예: 마이크 1588)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시 예에 따르면, 상기 전자 장치 1501는 상기 통신 모듈 1520를 이용하여 이와 연결된 외부 장치(예: 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 1560(예: 상기 디스플레이 150)은 패널 1562, 홀로그램 장치 1564 또는 프로젝터 1566을 포함할 수 있다. 상기 패널 1562은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널 1562은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널 1562은 상기 터치 패널 1552과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치 1564은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터 1566는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치 1501의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 상기 디스플레이 1560은 상기 패널 1562, 상기 홀로그램 장치 1564, 또는 프로젝터 1566를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스 1570는, 예를 들면, HDMI(high-definition multimedia interface) 1572, USB(universal serial bus) 1574, 광 인터페이스(optical interface) 1576 또는 D-sub(D-subminiature) 1578를 포함할 수 있다. 상기 인터페이스 70는, 예를 들면, 도 1에 도시된 통신 인터페이스 160에 포함될 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스 1570는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈 1580은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈 1580의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 140에 포함될 수 있다. 상기 오디오 모듈 1580은, 예를 들면, 스피커 1582, 리시버 1584, 이어폰 1586 또는 마이크 1588 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈 1591은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬 (flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
상기 전력 관리 모듈 1595은 상기 전자 장치 1501의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력 관리 모듈 1595은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시 예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리 1596의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리 1596는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치 1501에 전원을 공급할 수 있다. 상기 배터리 1596는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터 1597는 상기 전자 장치 1501 혹은 그 일부(예: 상기 AP 1510)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터 1598는 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 상기 전자 장치 1501는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 개시에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 개시에 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 본 개시에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서 210)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 220가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서210에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 개시의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 개시에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 개시의 일 실시 예에 따른 제스처를 인식하기 위해 구현되는 기록 매체에 있어서, 상기 제스처에 대한 적어도 하나의 벡터값을 추출하고, 상기 벡터값에 기반하여 벡터의 패턴을 생성하고, 기 저장된 적어도 하나의 벡터의 패턴과 상기 생성된 벡터의 패턴을 비교하고, 상기 비교 동작에 기반하여 제스처의 유형을 결정하기 위한 프로그램을 기록한 기록 매체를 포함할 수 있다.
그리고 본 명세서와 도면에 개시된 본 개시의 실시 예들은 본 개시의 실시 예에 따른 의 기술 내용을 쉽게 설명하고 본 개시의 실시 예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 실시 예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 다양한 실시 예의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 다양한 실시 예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 다양한 실시 예의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 제스처를 인식하는 방법에 있어서,
    상기 제스처에 대한 적어도 하나의 벡터값을 추출하는 동작;
    상기 벡터값에 기반하여 벡터의 패턴을 생성하는 동작;
    기 저장된 적어도 하나의 벡터의 패턴과 상기 생성된 벡터의 패턴을 비교하는 동작; 및
    상기 비교 동작에 기반하여 제스처의 유형을 결정하는 동작을 포함하는 제스처를 인식하는 방법.
  2. 제 1 항에 있어서,
    상기 벡터값은 적어도 하나의 위상값을 포함하는 제스처를 인식하는 방법.
  3. 제 1 항에 있어서, 상기 벡터의 패턴을 생성하는 동작은,
    상기 벡터값을 분류하는 동작을 포함하는 제스처를 인식하는 방법.
  4. 제 3 항에 있어서, 상기 분류하는 동작은,
    상기 벡터값의 분산, 편차, 평균 중 적어도 하나를 통해 분류하는 제스처를 인식하는 방법.
  5. 제 1 항에 있어서, 상기 비교하는 동작은,
    벡터값의 분포도 및 상기 벡터값이 생성되는 진행 방향을 비교하는 제스처를 인식하는 방법.
  6. 제 1 항에 있어서, 상기 추출하는 동작은,
    새로운 제스처 감지 시, 상기 새로운 제스처에 대한 적어도 하나의 벡터값을 추출하는 과정을 더 포함하는 제스처를 인식하는 방법.
  7. 제 6 항에 있어서,
    상기 새로운 제스처가 감지됨에 따라 상기 새로운 제스처에 대한 벡터값이 누적하여 저장되는 제스처를 인식하는 방법.
  8. 제 1 항에 있어서, 상기 제스처는,
    이미지센서, IR센서 및 터치패널 중 적어도 하나를 통해 검출하는 제스처를 인식하는 방법.
  9. 제스처를 인식하는 방법에 있어서,
    적어도 둘 이상의 멀티 근접 입력을 감지 시, 상기 멀티 근접 입력에 대한 적어도 하나의 제1벡터값을 추출하는 동작;
    상기 멀티 근접 입력이 감지된 상태에서 움직임이 발생하면, 상기 움직임에 대한 적어도 하나의 제2벡터값을 추출하는 동작;
    상기 제1벡터값과 상기 제2벡터값의 이동궤적을 분석하여 핀치 제스처인지 여부를 결정하는 동작; 및
    핀치 제스처이면, 상기 핀치 제스처에 대응하는 기능을 수행하는 동작을 포함하는 제스처를 인식하는 방법.
  10. 제 9 항에 있어서, 상기 기능을 수행하는 동작은,
    이미지의 확대, 축소 또는 Z축으로 정렬된 자료의 선택 범위를 조절하는 기능 중 적어도 하나를 수행하는 제스처를 인식하는 방법.
  11. 제스처를 인식하는 장치에 있어서,
    상기 제스처 입력 감지 시, 상기 제스처에 대한 적어도 하나의 벡터값을 추출하고, 상기 벡터값에 기반하여 벡터의 패턴을 생성하고, 기 저장된 적어도 하나의 벡터의 패턴과 상기 생성된 벡터의 패턴을 비교하고, 상기 비교 과정에 기반하여 상기 제스처의 유형을 결정하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 전자 장치.
  12. 제 11 항에 있어서, 상기 벡터값은,
    적어도 하나의 위상값을 포함하는 전자 장치.
  13. 제 11 항에 있어서, 상기 제어부는,
    상기 벡터의 패턴 생성 시, 상기 벡터값의 분산, 편차, 평균 중 적어도 하나를 통해 분류하도록 제어하는 전자 장치.
  14. 제 11 항에 있어서, 상기 제어부는,
    상기 벡터값의 분포도 및 상기 벡터값이 생성되는 진행 방향을 비교하도록 제어하는 전자 장치.
  15. 제 11 항에 있어서, 상기 제어부는,
    새로운 제스처 감지 시, 상기 새로운 제스처에 대한 적어도 하나의 벡터값을 추출하는 전자 장치.
  16. 제 15 항에 있어서, 상기 제어부는,
    상기 새로운 제스처가 감지됨에 따라 상기 새로운 제스처에 대한 벡터값을 누적하여 저장하는 전자 장치.
  17. 제 11 항에 있어서, 상기 제어부는,
    이미지센서, IR센서 및 터치패널 중 적어도 하나를 통해 상기 제스처를 검출하는 전자 장치.
  18. 제스처를 인식하는 장치에 있어서,
    적어도 둘 이상의 멀티 근접 입력 감지 시 상기 멀티 근접 입력에 대한 적어도 하나의 제1벡터값을 추출하고, 상기 멀티 근접 입력이 감지된 상태에서 움직임이 발생하면, 상기 움직임에 대한 적어도 하나의 제2벡터값을 추출하고, 상기 제1벡터값과 상기 제2벡터값의 이동궤적을 분석하여 핀치 제스처인지 여부를 결정하여 상기 핀치 제스처에 대응하는 기능을 수행하도록 제어하는 제어부를 포함하는 전자 장치.
  19. 제 18 항에 있어서, 상기 제어부는,
    상기 핀치 제스처 발생 시, 이미지의 확대, 축소, Z축으로 정렬된 자료의 선택 범위를 조절하는 기능 중 적어도 하나를 수행하는 전자 장치.
  20. 제스처를 인식하기 위해 구현되는 기록 매체에 있어서,
    상기 제스처에 대한 적어도 하나의 벡터값을 추출하고, 상기 벡터값에 기반하여 벡터의 패턴을 생성하고, 기 저장된 적어도 하나의 벡터의 패턴과 상기 생성된 벡터의 패턴을 비교하고, 상기 비교 동작에 기반하여 제스처의 유형을 결정하기 위한 프로그램을 기록한 기록 매체.
KR1020140048216A 2014-04-22 2014-04-22 제스처를 인식하는 방법 및 장치 KR20150121949A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140048216A KR20150121949A (ko) 2014-04-22 2014-04-22 제스처를 인식하는 방법 및 장치
US14/693,524 US20150301609A1 (en) 2014-04-22 2015-04-22 Gesture recognition method and gesture recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140048216A KR20150121949A (ko) 2014-04-22 2014-04-22 제스처를 인식하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150121949A true KR20150121949A (ko) 2015-10-30

Family

ID=54322018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140048216A KR20150121949A (ko) 2014-04-22 2014-04-22 제스처를 인식하는 방법 및 장치

Country Status (2)

Country Link
US (1) US20150301609A1 (ko)
KR (1) KR20150121949A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180137985A (ko) * 2017-06-20 2018-12-28 주식회사 하이딥 터치 감지 및 터치압력 감지가 가능한 장치 및 제어방법
WO2019147076A1 (ko) * 2018-01-26 2019-08-01 한양대학교 산학협력단 레이더를 이용한 제스처 인식 장치 및 방법
WO2021020851A1 (en) * 2019-07-30 2021-02-04 Samsung Electronics Co., Ltd. Electronic device identifying gesture with stylus pen and method for operating the same
KR102357724B1 (ko) 2020-12-29 2022-02-08 주식회사 다모아텍 단일 채널 센싱에 기반하여 제스쳐, 터치, 및 터치 포스를 감지할 수 있는 하이브리드 제스쳐 센서 및 그 동작 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US10013160B2 (en) * 2014-05-29 2018-07-03 International Business Machines Corporation Detecting input based on multiple gestures
US10764281B1 (en) * 2017-01-09 2020-09-01 United Services Automobile Association (Usaa) Systems and methods for authenticating a user using an image capture device
US10902743B2 (en) 2017-04-14 2021-01-26 Arizona Board Of Regents On Behalf Of Arizona State University Gesture recognition and communication
CN108989546B (zh) * 2018-06-15 2021-08-17 Oppo广东移动通信有限公司 电子装置的接近检测方法及相关产品
US11321965B2 (en) * 2018-07-10 2022-05-03 Dell Products, L.P. Scalable gesture and eye-gaze tracking in virtual, augmented, and mixed reality (xR) applications
US20230045610A1 (en) * 2021-08-03 2023-02-09 Dell Products, L.P. Eye contact correction in a communication or collaboration session using a platform framework
CN114138111B (zh) * 2021-11-11 2022-09-23 深圳市心流科技有限公司 一种肌电智能仿生手的全系统控制交互方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8436821B1 (en) * 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
CN104685451B (zh) * 2012-09-18 2018-04-17 谷歌有限责任公司 姿势适应选择
TWI520034B (zh) * 2013-04-29 2016-02-01 緯創資通股份有限公司 判斷觸控手勢之方法及觸控系統

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180137985A (ko) * 2017-06-20 2018-12-28 주식회사 하이딥 터치 감지 및 터치압력 감지가 가능한 장치 및 제어방법
WO2019147076A1 (ko) * 2018-01-26 2019-08-01 한양대학교 산학협력단 레이더를 이용한 제스처 인식 장치 및 방법
US11474613B2 (en) 2018-01-26 2022-10-18 Iucf-Hyu (Industry-University Cooperation Foundation Hanyang University) Gesture recognition device and method using radar
WO2021020851A1 (en) * 2019-07-30 2021-02-04 Samsung Electronics Co., Ltd. Electronic device identifying gesture with stylus pen and method for operating the same
US11301061B2 (en) 2019-07-30 2022-04-12 Samsung Electronics Co., Ltd. Electronic device identifying gesture with stylus pen and method for operating the same
KR102357724B1 (ko) 2020-12-29 2022-02-08 주식회사 다모아텍 단일 채널 센싱에 기반하여 제스쳐, 터치, 및 터치 포스를 감지할 수 있는 하이브리드 제스쳐 센서 및 그 동작 방법
KR20220095084A (ko) 2020-12-29 2022-07-06 주식회사 다모아텍 단일 채널 센싱에 기반하여 제스쳐, 터치, 및 터치 포스를 감지할 수 있는 하이브리드 제스쳐 센서 및 그 동작 방법

Also Published As

Publication number Publication date
US20150301609A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
KR20150121949A (ko) 제스처를 인식하는 방법 및 장치
US10114514B2 (en) Electronic device, method for controlling the electronic device, and recording medium
US20150324004A1 (en) Electronic device and method for recognizing gesture by electronic device
KR20150098158A (ko) 지문인식 장치 및 방법
EP2958006A1 (en) Electronic device and method for controlling display
KR20150146236A (ko) 지문 처리 방법 및 그 전자 장치
KR20150125472A (ko) 음성 명령 제공 방법 및 장치
KR20160020189A (ko) 이미지 처리 방법 및 그 장치
KR20170001186A (ko) 전자 장치 및 그의 햅틱 피드백 제공 방법
KR20150099272A (ko) 전력 공유 방법 및 이를 구현하는 전자 장치
KR20150111632A (ko) 지문 인식 방법 및 그 전자 장치
KR20150117962A (ko) 안테나 방사 전력 제어 방법 및 이를 지원하는 전자 장치
KR20150106719A (ko) 전자 장치의 촬영 위치 안내 방법 및 이를 이용한 전자 장치
KR20150087638A (ko) 전자 장치에서 입력을 획득하기 위한 방법, 전자 장치 및 저장 매체
KR20150135893A (ko) 홈스크린 구성 방법 및 이를 이용한 전자 장치
EP3172638B1 (en) Method of controlling display of electronic device and electronic device thereof
KR20160030732A (ko) 보호 커버의 개폐 상태를 판단하기 위한 방법 및 그 전자 장치
KR20160017904A (ko) 전자장치의 화면 표시 방법
KR20150099280A (ko) 영상 처리 방법 및 전자 장치
KR20150132963A (ko) 디스플레이를 이용한 입력 처리 방법 및 장치
KR20150092962A (ko) 입력 처리 방법 및 그 전자 장치
KR20150137504A (ko) 영상처리 방법 및 이를 구현한 전자 장치
KR20150051832A (ko) 터치 기반 사용자 인터페이스를 포함하는 전자 장치
KR20150113572A (ko) 영상데이터를 획득하는 전자장치 및 방법
KR20160073125A (ko) 기능 제공 방법 및 그 전자 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid