KR20150048526A - 전자 장치 및 이의 사용자 제스처 인식방법 - Google Patents

전자 장치 및 이의 사용자 제스처 인식방법 Download PDF

Info

Publication number
KR20150048526A
KR20150048526A KR1020130128712A KR20130128712A KR20150048526A KR 20150048526 A KR20150048526 A KR 20150048526A KR 1020130128712 A KR1020130128712 A KR 1020130128712A KR 20130128712 A KR20130128712 A KR 20130128712A KR 20150048526 A KR20150048526 A KR 20150048526A
Authority
KR
South Korea
Prior art keywords
touch
trajectory
user
movement
electronic device
Prior art date
Application number
KR1020130128712A
Other languages
English (en)
Other versions
KR102159789B1 (ko
Inventor
문종보
노창수
윤현규
이종근
황제선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130128712A priority Critical patent/KR102159789B1/ko
Priority to US14/339,989 priority patent/US9720590B2/en
Priority to CN201480055721.0A priority patent/CN105637467B/zh
Priority to PCT/KR2014/009429 priority patent/WO2015064923A1/en
Priority to EP14856835.5A priority patent/EP3063614B1/en
Publication of KR20150048526A publication Critical patent/KR20150048526A/ko
Application granted granted Critical
Publication of KR102159789B1 publication Critical patent/KR102159789B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

근접 센서부를 포함하는 전자 장치가 개시된다. 본 장치는, 오브젝트에 의해 터치하고 터치 지점을 이동시키는 사용자 제스처가 입력되면, 오브젝트의 터치 궤적을 감지하는 터치 센서부, 터치 전후의 오브젝트의 움직임을 감지하는 근접 센서부, 터치 전후의 오브젝트의 움직임 방향에 기초하여, 터치 궤적을 수정하고, 수정된 터치 궤적에 따라 사용자 제스처를 인식하는 제어부를 포함한다. 이에 따라, 터치 궤적이 수정되어 정확한 제어 동작이 가능해진다.

Description

전자 장치 및 이의 사용자 제스처 인식방법 { ELECTRONIC APPRATUS AND USER GESTURE RECOGNITION METHOD THEREOF }
본 발명은 전자 장치 및 이의 사용자 제스처 인식방법에 관한 것으로, 더욱 상세하게는 근접 센서부를 포함하는 전자 장치 및 이의 사용자 제스처 인식방법에 관한 것이다.
최근 다양한 전자 장치에서 사용자 조작을 용이하게 하기 위해 터치 패널을 구비하는 경우가 많다. 즉, 사용자는 터치 입력을 통해 전자 장치를 쉽게 제어할 수 있다.
구체적으로 리모콘 및 휴대폰과 같은 소형 전자 장치뿐만 아니라, TV 및 노트북 등 상대적으로 크기가 큰 전자 장치에서도 대부분 터치 패널을 구비하고, 사용자는 터치 입력으로 전자 장치를 제어하기 위한 사용자 명령을 입력할 수 있다.
다만, 전자 장치의 터치 패널이 작은 경우 또는 사용자가 한 손으로 전자 장치를 제어하는 경우에는 사용자가 의도한 바와 다른 터치 궤적이 입력되는 경우가 있다.
예를 들면, 사용자는 종 방향의 터치 궤적을 입력하고자 한 경우, 사용자가 전자 장치를 그립(grip)한 방향에 따라 곡선 모양의 터치 궤적이 입력될 수 있다. 결과적으로, 사용자가 의도한 바와 다르게 전자 장치가 반응하고 이에 따른 이벤트가 발생하는 경우가 있다.
따라서 사용자의 터치 입력이 사용자가 의도한 바와 다소 다르게 입력되더라도, 이를 수정하여 반영할 수 있는 기술이 필요하다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 근접 센서부를 포함하여, 사용자가 입력한 터치 궤적을 수정할 수 있는 전자 장치 및 이의 사용자 제스처 인식방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는 오브젝트를 이용하여 상기 전자 장치를 터치하고 터치 지점을 이동시키는 사용자 제스처가 입력되면, 상기 오브젝트의 터치 궤적을 감지하는 터치 센서부, 상기 터치 전후의 상기 오브젝트의 움직임을 감지하는 근접 센서부, 상기 터치 전후의 상기 오브젝트의 움직임 방향에 기초하여, 상기 터치 궤적을 수정하고, 수정된 터치 궤적에 따라 상기 사용자 제스처를 인식하는 제어부를 포함할 있다.
그리고, 상기 제어부는, 상기 터치 전후의 상기 오브젝트의 움직임에 대해, 상기 터치 지점과의 거리에 따라 상이한 가중치를 적용하여, 상기 터치 궤적을 수정하는 것을 특징으로 할 수 있다.
한편, 상기 제어부는, 상기 터치가 개시되기 이전에 감지된 오브젝트 움직임 방향에 대해 제1 가중치를 적용하고, 상기 터치가 종료된 이후에 감지된 오브젝트 움직임 방향에 대해 상기 제1 가중치보다 큰 제2 가중치를 적용하여 상기 터치 궤적을 수정하는 것을 특징으로 할 수 있다.
그리고, 상기 터치 센서부는, 매트릭스 형태로 배치된 복수의 터치 센서에 대해 기 설정된 형태의 동작 그리드를 적용하여 상기 동작 그리드를 기준으로 상기 터치 지점을 센싱하며, 상기 제어부는, 상기 근접 센서부를 통해 감지된 상기 오브젝트의 움직임에 기초하여, 상기 전자 장치에 대한 사용자 그립(grip) 방향을 판단하고, 상기 사용자 그립(grip) 방향에 따라 상기 동작 그리드를 변형시켜, 변형된 동작 그리드를 기준으로 상기 사용자 제스처를 인식하는 것을 특징으로 할 수 있다.
한편, 상기 제어부는, 상기 사용자 그립 방향이 제1 방향이면, 상기 동작 그리드의 각 셀들을 상기 제1 방향에서 제2 방향으로 기울어지는 형태로 변형하고, 상기 사용자 그립 방향이 제2 방향이면, 상기 동작 그리드의 각 셀들을 상기 제2 방향에서 상기 디스플레이부의 제1 방향으로 기울어지는 형태로 변형하는 것을 특징으로 할 수 있다.
그리고, 디스플레이부를 더 포함하며, 상기 제어부는, 상기 사용자 그립 방향이 상기 디스플레이부의 우측 방향이면, 상기 동작 그리드의 각 셀들을 상기 우측 방향에서 상기 디스플레이부의 좌측 방향으로 기울어지는 형태로 변형하고, 상기 사용자 그립 방향이 상기 디스플레이부의 좌측 방향이면, 상기 동작 그리드의 각 셀들을 상기 좌측 방향에서 상기 디스플레이부의 우측 방향으로 기울어지는 형태로 변형하는 것을 특징으로 할 수 있다.
한편, 상기 제어부는, 상기 터치 종료 직후에 상기 근접 센서부를 통해 감지된 상기 오브젝트의 움직임과 상기 터치 센서부를 통해 감지된 터치 시작점을 연결한 선을 상기 사용자 제스처로 인식하는 것을 특징으로 할 수 있다.
그리고, 상기 제어부는, 상기 터치 센서부에서 감지된 터치 궤적, 상기 터치가 개시되기 이전의 상기 오브젝트의 움직임 궤적, 상기 터치가 종료된 이후의 상기 오브젝트의 움직임 궤적을 가산하여 상기 터치 궤적을 수정하는 것을 특징으로 할 수 있다.
한편, 본 발명의 일 실시예에 따른, 전자 장치의 사용자 제스처 인식방법에 있어서, 오브젝트를 이용하여 상기 전자 장치를 터치하고 터치 지점을 이동시키는 사용자 제스처가 입력되면, 상기 오브젝트의 터치 궤적을 감지하는 단계, 근접 센서부를 통해 상기 터치 전후의 상기 오브젝트의 근접하는 움직임을 감지하는 단계,상기 터치 전후의 상기 오브젝트의 근접하는 움직임 방향에 기초하여, 상기 터치 궤적을 수정하는 단계 및 상기 수정된 터치 궤적에 따라 상기 사용자 제스처를 인식하는 단계를 포함할 수 있다.
그리고, 상기 터치 궤적을 수정하는 단계는, 상기 터치 전후의 상기 오브젝트의 움직임에 대해, 상기 터치 지점과의 거리에 따라 상이한 가중치를 적용하여, 상기 터치 궤적을 수정하는 것을 특징으로 할 수 있다.
한편, 상기 터치 궤적을 수정하는 단계는, 상기 터치가 개시되기 이전에 감지된 오브젝트 움직임 방향에 대해 제1 가중치를 적용하고, 상기 터치가 종료된 이후에 감지된 오브젝트 움직임 방향에 대해 상기 제1 가중치보다 큰 제2 가중치를 적용하여 상기 터치 궤적을 수정하는 것을 특징으로 할 수 있다.
그리고, 상기 터치 센서부는, 매트릭스 형태로 배치된 복수의 터치 센서에 대해 기 설정된 형태의 동작 그리드를 적용하여 상기 동작 그리드를 기준으로 상기 터치 지점을 센싱하며, 상기 사용자 제스처를 인식하는 단계는, 상기 근접 센서부를 통해 감지된 상기 오브젝트의 움직임에 기초하여, 상기 전자 장치에 대한 사용자 그립(grip) 방향을 판단하고, 상기 사용자 그립(grip) 방향에 따라 상기 동작 그리드를 변형시켜, 변형된 동작 그리드를 기준으로 상기 사용자 제스처를 인식하는 것을 특징으로 할 수 있다.
한편, 상기 터치 궤적을 수정하는 단계는, 상기 사용자 그립 방향이 제1 방향이면, 상기 동작 그리드의 각 셀들을 상기 제1 방향에서 제2 방향으로 기울어지는 형태로 변형하고, 상기 사용자 그립 방향이 제2 방향이면, 상기 동작 그리드의 각 셀들을 상기 제2 방향에서 상기 제1 방향으로 기울어지는 형태로 변형하는 것을 특징으로 할 수 있다.
그리고, 상기 사용자 제스처를 인식하는 단계는, 상기 오브젝트를 이용하여 상기 전자 장치를 터치한 지점과 상기 터치 종료 직후에 상기 근접 센서부를 통해 감지된 상기 오브젝트의 움직임을 연결한 선을 상기 사용자 제스처로 인식하는 것을 특징으로 할 수 있다.
한편, 상기 터치 궤적을 수정하는 단계는, 상기 감지된 터치 궤적, 상기 터치가 개시되기 이전의 상기 오브젝트의 움직임 궤적, 상기 터치가 종료된 이후의 상기 오브젝트의 움직임 궤적을 가산하여 상기 터치 궤적을 수정하는 것을 특징으로 할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 전자 장치의 구성을 도시한 블럭도,
도 2 및 도 3은 사용자에 의해 터치 명령이 입력되는 과정을 시간 순으로 도시한 도면,
도 4는 디스플레이부 구성의 일 예를 나타내는 도면,
도 5는 사용자의 근접 조작을 감지하는 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시예에 따른, 사용자 제스처 인식방법을 설명하기 위한 흐름도,
도 7은 본 발명의 일 실시예에 따른, 종 방향의 터치 궤적이 입력되는 경우를 도시한 도면,
도 8는 횡 방향의 터치 궤적이 입력되는 경우를 도시한 도면,
도 9은 사용자가 오른손으로 전자 장치를 그립한 경우를 도시한 도면,
도 10은 사용자가 왼손으로 전자 장치를 그립한 경우를 도시한 도면,
도 11은 사용자가 오른손으로 전자 장치를 그립한 경우의 전자 장치의 왜곡된 동작 그리드를 도시한 도면, 그리고,
도 12는 사용자가 왼손으로 전자 장치를 그립한 경우의 전자 장치의 왜곡된 동작 그리드를 도시한 도면이다.
이하에서는 첨부된 도면을 참조하여, 본 발명의 다양한 실시 예를 좀더 상세하게 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른, 전자 장치(100)의 구성을 간략히 도시한 블럭도이다. 도 1에 도시된 바와 같이, 전자 장치(100)는 터치 센서부(110), 근접 센서부(120) 및 제어부(130)를 포함한다. 이때, 전자 장치(100)는 휴대폰일 수 있으나, 이는 일 실시예에 불과할 뿐, 터치 센서부(110)가 존재하는 리모콘, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 PC, PDA, TV 등과 같은 다양한 장치로 구현될 수 있다.
터치 센서부(110)는 터치 입력을 감지한다. 특히, 오브젝트에 의해 터치 센서부(110)를 터치하고 터치 지점을 이동시키는 사용자 제스처가 입력되면, 터치 센서부(110)는 오브젝트의 터치 궤적을 감지할 수 있다.
오브젝트는 터치 센서부(110)를 터치할 수 있는 사용자의 손가락 또는 터치 펜과 같은 도구 등이 이에 해당할 수 있다.
구체적으로 사용자의 손가락 또는 펜 등에 의해 터치 센서부(110)의 일 부분이 터치되고, 터치 지점을 오른쪽 방향으로 수평하게 이동하는 사용자 제스처가 입력되면, 터치 센서부(110)는 왼쪽에서 오른쪽 방향으로의 종 방향의 사용자 제스처가 입력된 것으로 감지할 수 있다.
근접 센서부(120)는 오브젝트의 근접한 움직임을 감지한다. 즉, 터치가 시작되기 전 및 터치가 종료한 후 오브젝트가 터치 센서부(110)에서 분리되어도, 근접 센서부(120)는 일정 범위 내의 오브젝트의 근접한 움직임을 감지할 수 있다.
즉, 도 2에 도시된 바와 같이 터치 센서부(110)에 사용자 손가락(200)의 터치 입력을 감지하고, 터치 입력 전후에서 사용자의 손가락(200)이 근접 센서부(120)로부터 일정 거리에 존재하는 경우, 근접 센서부(120)는 근접한 오브젝트의 움직임을 감지할 수 있다.
또한, 터치 센서부(110)와 근접 센서부(120)는 중첩하여 존재할 수 있다. 구체적으로 도 3에 도시된 바와 같이, 터치 센서부(110)와 근접 센서부(120)가 중첩하여 존재하는 경우, 사용자 손가락(200)이 t1 및 t5와 같이 터치 센서부(110) 및 근접 센서부(120)로부터 일정 거리 이상을 벗어나면, 터치 센서부(110) 및 근접 센서부(120)는 오브젝트의 존재를 감지할 수 없다.
그리고, 사용자 손가락(200)이 t2 및 t4와 같이 터치 센서부(110) 및 근접 센서부(120)로부터 일정 거리 내에 존재하면, 근접 센서부(120)는 오브젝트의 근접한 움직임을 감지할 수 있다. 한편, 근접 센서부(120)가 감지 가능한 일정 거리는 전자 장치(100)의 초기 설정 및 근접 센서부(120)의 특성에 따라 상이해질 수 있다.
또한, t3과 같이 사용자 손가락(200)이 터치 센서부(110) 및 근접 센서부(120)에 터치하면, 터치 센서부(110)는 오브젝트의 터치 입력을 감지할 수 있다.
한편, 터치 센서부(110) 및 근접 센서부(120)는 디스플레이부(140) 상에 존재할 수 있다. 이에 대해서는 후술한다.
제어부(130)는 전자 장치(100)의 전반적인 동작을 제어하기 위한 구성 요소이다. 터치 전후의 근접 센서부(120)에 의해 감지된 오브젝트의 근접한 움직임 방향에 기초하여, 제어부(130)는 터치 감지부(110)를 통해 감지된 터치 궤적을 수정하고, 수정된 터치 궤적에 따라 사용자 제스처를 인식할 수 있다.
터치 궤적에 대한 수정 방법은 실시 예에 따라 다양하게 구현될 수 있다.
가령, 일 실시 예에 따르면, 제어부(130)는 실제 터치 궤적과, 터치 이전의 오브젝트 움직임, 터치 이후의 오브젝트 움직임을 모두 고려하여, 사용자가 의도한 터치 궤적을 추정하고, 추정된 터치 궤적으로 실제 터치 궤적을 수정할 수 있다. 제어부(130)는 수정된 터치 궤적에 따라 사용자 제스처를 인식할 수 있다.
예를 들면, 터치 감지부(110)가 감지한 터치 궤적이 호의 모양을 그리고 있더라도, 터치 센서부(110)를 통한 터치 궤적의 입력 전후에 감지된 오브젝트의 근접한 움직임의 방향이 사용자에 의해 직선의 모양을 그리는 경우로 판단되는 경우에는, 제어부(130)는 터치 궤적을 직선 모양의 터치 궤적으로 판단하고, 직선의 터치 입력을 입력하고자 하는 사용자 제스처로 인식할 수 있다.
한편, 다른 실시 예에 따르면, 제어부(130)는 오브젝트의 움직임에 대해 구간별로 가중치를 부여하여 서로 다르게 반영할 수도 있다.
구체적으로, 제어부(130)는 터치 전후에 오브젝트의 움직임이 감지되는 위치의 좌표값에 대해, 터치 지점과의 거리에 따라 상이한 가중치를 적용하여, 터치 궤적을 수정할 수 있다. 이에 따르면, 터치 이전의 움직임 중에서 터치 개시 지점과 먼 위치에서의 오브젝트 움직임은 상대적으로 작게 반영되거나, 무시되고, 터치 개시 지점과 가까운 위치에서의 오브젝트 움직임은 상대적으로 크게 반영될 수 있다. 마찬가지로, 터치 이후의 움직임 중에서 터치 종료 지점과 먼 위치에서의 오브젝트 움직임은 상대적으로 작게 반영되거나, 무시되고, 터치 종료 지점과 가까운 위치에서의 오브젝트 움직임은 상대적으로 크게 반영될 수 있다.
제어부(130)는 터치 센서부(110)에서 감지된 터치 좌표값 및 근접 센서부(120)를 통해 감지된 근접 좌표값 각각에 기초하여 터치 궤적을 판단하고, 수정할 수 있다.
근접 센서부(120)를 통해 감지된 터치 전후의 오브젝트의 근접한 움직임은 터치 궤적에 따라 상이하게 감지될 수 있다. 따라서, 터치 전후 오브젝트의 움직임에 터치 지점과 가까울수록 높은 가중치를 적용하고, 터치 지점과 멀어지면, 사용자가 의도한 터치 궤적을 벗어나는 근접한 움직임일 가능성이 높으므로 낮은 가중치를 적용하여 터치 궤적을 수정할 수 있다.
또한, 터치 전의 오브젝트의 근접한 움직임보다 터치 후의 오브젝트의 근접한 움직임이 터치 궤적에 따라 더욱 특징적으로 나타나는 경우가 많다.
이 경우, 제어부(130)는 터치 이전의 움직임과 터치 이후의 움직임에 대해 서로 다른 가중치를 부여할 수도 있다. 가령, 제어부(130)는 터치가 개시되기 이전에 감지된 오브젝트 움직임 방향에 대해 제1 가중치를 적용하고, 터치가 종료된 이후에 감지되는 오브젝트 움직임 방향에 대해서는 제1 가중치보다 큰 제2 가중치를 적용할 수 있다. 제1 가중치 및 제2 가중치는 전자 장치(100)의 초기 설정 또는 사용자 설정에 따라 변경될 수 있다. 일 예로, 제1 가중치는 0으로 설정될 수도 있으며, 0에 준하는 작은 값으로 설정될 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 제어부(130)는 동작 그리드를 설정하여, 그 동작 그리드에 기준하여 사용자 제스처를 판단할 수도 있다.
구체적으로, 제어부(130)는 근접 센서부(120)를 통해 감지된 오브젝트의 움직임에 의해 전자 장치(100)를 그립(grip)한 사용자의 손의 방향을 판단하고, 판단된 사용자의 손의 방향에 따라 터치 센서부(110)가 변형된 동작 그리드(grid)를 갖도록 제어할 수 있다. 여기서, 변형된 동작 그리드는 사용자에 의해 전자 장치(100)가 그립된 방향에 따라서 그리드의 형태가 달라진 것을 의미한다.
동작 그리드는 사용자의 터치 입력의 위치를 판단하는 기준이 되는 격자 형태의 선이다. 일 예로, 동작 그리드는 사각형으로 구성된 격자 형태가 될 수 있다.
제어부(130)는 터치 센서부(110) 및 근접 센서부(120)가 감지한 터치 좌표 또는 근접 좌표에 대해 동작 그리드를 적용하여, 어떠한 형태의 사용자 제스처가 입력되었는지 여부를 판단할 수 있다.
터치 센서부(110)가 디스플레이부(140)에 대한 사용자 터치를 감지하는 구성인 경우, 동작 그리드는 디스플레이부(140)의 크기 및 형상에 따라 다양한 크기 및 형상으로 구현될 수 있다.
제어부(130)는 터치 센서부(110) 및 근접 센서부(120)가 감지한 오브젝트의 움직임을 동작 그리드와 매칭되는 좌표값으로 변환한다. 한편, 왜곡된 동작 그리드는 사용자에 의해 전자 장치(100)가 그립된 방향에 따라서 그리드의 형태가 달라진 것을 의미한다.
가령, 제어부(130)는 근접 센서부(120)에서 오브젝트의 움직임이 감지되면, 그 움직임 또는 감지 위치에 기초하여 전자 장치에 대한 사용자 그립(grip) 방향을 판단한다. 제어부(130)는 사용자 그립(grip) 방향에 따라 동작 그리드를 변형시키고, 변형된 동작 그리드를 기준으로 사용자 제스처의 종류를 판단한다.
구체적으로, 사용자 그립 방향에 따라 동작 그리드가 변형될 수 있다. 즉, 사용자 그립 방향이 제1 방향이면 동작 그리드의 각 셀들을 제1 방향에서 제2 방향으로 기울어지는 형태로 변형하고, 사용자 그립 방향이 제2 방향이면, 동작 그리드의 각 셀들을 제2 방향에서 디스플레이부의 제1 방향으로 기울어지는 형태로 변형할 수 있다.
예를 들어, 전자 장치(100)가 디스플레이부(140)를 포함하는 경우, 제1 방향은 디스플레이부(140)의 우측 방향일 수 있고, 제2 방향은 디스플레이부(140)의 좌측 방향이 될 수 있다. 즉, 제어부(130)는, 사용자 그립 방향이 디스플레이부(140)의 우측 방향이면, 동작 그리드의 각 셀들을 우측 방향에서 디스플레이부(140)의 좌측 방향으로 기울어지는 형태로 변형할 수 있다. 반면, 사용자 그립 방향이 디스플레이부(140)의 좌측 방향이면, 제어부(130)는 동작 그리드의 각 셀들을 좌측 방향에서 디스플레이부의 우측 방향으로 기울어지는 형태로 변형할 수 있다.
구체적으로, 제어부(130)가 판단한 사용자의 손이 오른쪽 방향인 경우, 정 사각형으로 이루어진 그리드에서 오른쪽에서 왼쪽으로 내려가는 방향으로 기울어진 그리드이고, 제어부(130)가 판단한 사용자의 손이 왼쪽 방향인 경우, 정 사각형으로 이루어진 그리드에서 왼쪽에서 오른쪽으로 내려가는 방향으로 기울어진 그리드이다. 사용자의 손의 방향을 판단하는 방법과 왜곡된 동작 그리드의 구체적인 내용에 대해서는 후술한다.
한편, 본 발명의 또 다른 실시 예에 따르면, 제어부(130)는 터치 종료 직후의 근접 센서부(120)를 통해 감지된 오브젝트의 움직임과 터치 센서부(110)를 통해 입력된 사용자 터치 시작점을 연결한 선을 사용자 제스처로 인식할 수도 있다.
즉, 터치 입력의 시작점은 사용자의 의도와 일치하는 경우가 대부분이나, 터치 센서부(110)의 크기가 작거나, 사용자가 한 손으로 전자 장치(100)를 제어하는 경우에는 터치 종료 시점은 사용자가 의도한 방향과 달라질 수 있다.
이러한 경우, 터치가 종료된 직후에 오브젝트는 터치 센서부(110)에서 분리되어 터치 입력은 입력되지 않아도, 사용자가 의도한 방향으로 근접하여 움직이게 된다. 이 경우, 근접 센서부(120)는 근접한 움직임을 감지할 수 있다. 제어부(130)는 터치 시작점과 터치 종료 직후의 근접 센서부(120)가 감지한 근접한 오브젝트의 위치 점을 연결하여, 터치 궤적을 수정할 수 있다. 이 경우, 수정된 터치 궤적은 초기 사용자의 의도와 같은 궤적으로 간주할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 제어부(130)는 터치 센서부에서 감지된 터치 궤적, 터치가 개시되기 이전의 오브젝트의 움직임 궤적, 터치가 종료된 이후의 오브젝트의 움직임 궤적을 가산하여 터치 궤적을 수정할 수도 있다. 즉, 근접 센서부(120)에 의해 감지된 터치 전후의 오브젝트의 근접한 움직임을 포함함으로써, 터치 궤적을 수정하기 위한 데이터를 풍부하게 할 수 있다.
한편, 제어부(130)는 터치 센서부(110)를 통해 입력된 사용자 제스처의 좌표값의 양이 많은 경우 사용자 제스처의 이동량이 큰 것으로 판단할 수 있다. 그리고, 제어부(130)는 근접 센서부(120)를 통해 감지된 터치 전후의 오브젝트의 움직임의 좌표값을 사용자 제스처의 이동량을 판단하는데 추가하여 판단할 수 있다.
즉, 터치 센서부(110)가 사용자에 의해 강한 압력으로 또는 오랜 시간 터치되어 변환된 좌표값의 양이 많은 경우, 제어부(130)는 사용자 제스처의 이동량이 큰 것으로 판단하고 터치 입력에 의해 제어되는 전자 장치(100)의 내용이 빠르게 변하도록 제어할 수 있다.
그리고, 제어부(130)는 터치 센서부(110)를 통해 입력된 사용자 제스처의 좌표값에 근접 센서부(120)를 통해 감지된 오브젝트의 움직임의 좌표값을 추가하여 사용자 제스처의 이동량을 판단하는데 이용할 수 있다.
따라서, 터치 센서부(110)는 통해 감지된 사용자 제스처의 좌표값이 적은 경우에도 근접 센서부(120)를 통해 감지된 오브젝트의 움직임의 좌표값의 양이 많은 경우에는, 제어부(130)는 사용자 제스처의 이동량이 큰 것으로 판단할 수 있다.
한편, 전자 장치(100)는 디스플레이부(140)를 포함할 수 있고, 디스플레이부(140)의 세부 구성은 도 4에 도시된 바와 같다. 즉, 디스플레이부(140)는 디스플레이 패널(145), 타이밍 컨트롤러(141), 게이트 드라이버(142), 데이터 드라이버(143) 및 전압 구동부(미도시) 등과 같은 처리 회로부를 더 포함할 수 있다. 그리고, 디스플레이부(140)는 프레임 버퍼(미도시) 등을 더 포함할 수도 있다.
타이밍 컨트롤러(141)는 외부로부터 디스플레이 패널(145)에 적합한 클록 신호와 수평 동기 신호(Hsync), 수직 동기 신호(Vsync)등을 입력받아 게이트 제어신호(주사 제어신호), 데이터 제어신호(데이터 신호)를 생성하여, 게이트 드라이버(142) 및 데이터 드라이버(143)로 각각 출력한다.　
전압 구동부(144)는 게이트 드라이버(142), 데이터 드라이버(143), 표시패널(145) 등에 구동 전압을 전달하기 위한 구성이다. 구체적으로는, 디스플레이 패널(145)에 필요한 전원전압(VDD)이나 접지전압(VSS)을 제공할 수 있다. 또한, 게이트 온 전압(Vgh)을 생성하여 게이트 드라이버(142)로 제공할 수 있다.
게이트 드라이버(142)는 주사선(S1, S2, S3,..., Sn)을 통해 디스플레이 패널(145)과 연결된다. 게이트 드라이버(142)는 타이밍 컨트롤러(141)에 의해 생성된 게이트 제어 신호에 따라 전압 구동부(144)로부터 제공받은 게이트 온/오프 전압(Vgh/Vgl)을 디스플레이 패널(145)로 인가한다.
데이터 드라이버(143)는 데이터 선(D1, D2, D3,..., Dm)을 통해 디스플레이 패널(145)과 연결된다. 데이터 드라이버(143)는 타이밍 컨트롤러(141)에 의해 생성된 데이터 제어 신호에 따라, 영상 이미지 프레임의 RGB 데이터를 디스플레이 패널(145)에 입력한다.
디스플레이 패널(145)은 다수의 게이트 라인(GL1~GLn)과 데이터 라인(DL1~DLn)이 서로 교차하여 화소 영역(146)을 형성하는 형태로 구현된다. 디스플레이 패널(145)이 OLED 방식인 경우, 각 화소 영역(146)에는 OLED와 같은 R, G, B의 발광소자가 형성되는 형태로 구현될 수 있다. 각 화소 영역(146)에는 스위칭소자 즉 TFT가 형성된다. 또한, 각 화소 영역(146)의 하측에는 사용자 신체 또는 펜을 이용한 사용자의 조작을 감지하기 위한 감지 센서들이 배치될 수 있다. 즉, 터치 센서부(110) 및 근접 센서부(120)는 디스플레이부(110)와 함께 배치되어, 픽셀 단위로 사용자 조작을 감지할 수 있다.　
한편, 도 5를 참조하여 근접 센서부(120)의 동작을 구체적으로 설명한다. 근접 센서부(120)는 적외선 소스부(153) 및 적외선 센싱부(154)를 더 포함할 수 있다. 적외선 소스부(153)는 디스플레이부(140) 내부의 디스플레이 패널(145)의 일 표면에 배치되고, 적외선 센싱부(154)는 디스플레이 패널(145)의 타 표면에 배치된다. 적외선 소스부(153)는 디스플레이 패널(145)의 표면 방향으로 적외선을 조사한다. 이에 따라, 디스플레이 패널(145)의 표면 위로 사용자의 손가락(200)의 접근을 인식할 수 있는 일정한 영역이 존재한다. 이 영역이 근접 터치를 인식할 수 있는 유효 인식 영역(5)이 된다.
적외선 센싱부(154)는 어레이 형태로 배치되는 복수의 적외선 센싱 소자를 포함할 수 있다. 따라서, 손가락(200)이 유효 인식 영역(5) 안으로 근접하면 적외선 센싱부(154)는 손가락(200)에 의하여 반사되는 적외선을 감지하여 적외선 스캔 이미지를 생성할 수 있다. 전자 장치(100)는 생성된 적외선 스캔 이미지를 이용하여 근접 터치 입력을 감지할 수 있다.
한편, 근접 센서부(120)는 펜(200)이 접근하는 경우도 감지할 수 있다. 즉, 터치 센서부(110)를 터치하는 오브젝트는 사용자의 손가락 외의 장치일 수 있다.
한편, 도 7 및 도 8은 본 발명의 일 실시예에 따른, 종 방향 및 횡 방향의 터치 궤적이 사용자의 손가락을 오브젝트로 하여 입력되는 경우를 도시한 도면이다.
전자 장치(100)는 특히 소형인 경우, 한 손으로 터치 명령이 입력되는 경우가 많다. 다만, 사용자의 손가락은 다수의 관절이 아닌 첫마디 손가락뼈, 중간 마디 손가락뼈, 끝 마디 손가락뼈, 즉 세 개의 관절로 구성되어 있다.
특히, 한 손으로 전자 장치를 그립 하는 경우 주로 터치 명령을 입력하는 엄지 손가락은 다른 손가락과 달리 중간 마디 손가락뼈가 없다.
따라서, 엄지 손가락을 오브젝트로 하여 터치가 입력되는 경우, 엄지 손가락의 첫마디 손가락뼈와 손목뼈를 연결하는 손 허리뼈(230)가 반 고정되고, 짧고 적은 개수의 두 개의 관절(210, 220)로 조작함으로써, 입력된 터치 궤적이 본래 사용자의 의도와 상이해질 수 있다.
구체적으로, 사용자에 의해 종 방향의 터치 궤적이 입력되는 경우를 도 7을 참조하여 설명한다.
사용자가 입력하고자 의도한 터치 궤적(310)과 오브젝트가 사용자의 손가락인 경우 생물학적 근거로 실제 입력된 터치 궤적(320)은 차이가 발생한다. 즉, 최초 터치 지점은 의도한 최초 터치 지점(10)과 실제 최초 터치 지점(11)이 거의 일치한다. 그러나, 터치 궤적을 그리는 시간이 경과함에 따라 의도한 터치 종료 지점(30)은 실제 터치 종료 지점(31)과 차이가 발생할 수 있다.
그러나, 근접 센서부(120)가 감지한 터치 종료 직후의 오브젝트의 움직임이 감지되는 위치(41)는 다시 의도한 터치 궤적(310)에 가까워질 수 있다.
따라서, 터치 직후의 근접 센서부(120)에 의해 오브젝트의 움직임이 감지되는 위치(41)를 좌표값으로 변환하고, 가중치를 적용하여 입력된 터치 궤적을 수정하면, 실제 터치가 입력된 지점(11, 21, 31)만을 연결한 것보다 더 사용자가 입력하고자 의도한 터치 궤적(310)과 가까워질 수 있다.
한편, 도 8은 사용자에 의해 횡 방향의 터치 궤적이 입력되는 경우를 도시한 도면이다.
횡 방향의 터치 궤적이 입력되는 경우에도 사용자가 입력하고자 의도한 터치 궤적(310)과 오브젝트가 사용자의 손가락인 경우 생물학적 근거로 실제 입력된 터치 궤적(320)은 차이가 발생한다.
특히, 손가락의 상술한 생물학적인 구조에 의해 횡 방향의 터치 궤적은 과도한 호를 그리며 입력될 수 있다. 따라서, 도 8에 도시된 바와 같이 사용자가 의도한 터치 궤적 중간의 지점(50, 60, 70)은 실제 터치가 입력된 지점(51, 61, 71)과 차이가 발생할 수 있다.
그러나, 근접 센서부(120)가 감지한 터치 종료 직후의 오브젝트의 움직임이 감지되는 위치(81)는 다시 의도한 터치 궤적(310)에 가까워질 수 있다.
따라서, 터치 직후의 근접 센서부(120)에 의해 오브젝트의 움직임이 감지되는 위치(81)를 좌표값으로 변환하고, 가중치를 적용하여 입력된 터치 궤적을 수정하면, 실제 터치가 입력된 지점(51, 61, 71)만을 연결한 것보다 더 사용자가 입력하고자 의도한 터치 궤적(310)과 가까워질 수 있다.
또한, 도 7 및 도 8의 경우, 상술한 바와 같이 가중치를 적용하여 터치 궤적을 수정할 수 있지만 이는 일 실시예에 불과할 뿐, 터치 시작점과 터치 종료 직후 근접 센서부를 통해 감지된 지점을 연결하는 방법으로 터치 궤적을 수정하는 등 터치 궤적을 사용자의 의도에 부합하도록 수정하는 다양한 방법이 사용될 수 있다.
한편, 도 9 내지 도 12는 전자 장치를 그립(grip)한 사용자 손의 방향에 따라 전자 장치(100)가 왜곡된 동작 그리드를 갖는 경우를 도시한 도면이다.
도 9 및 도 10은 전자 장치(100)의 일 예로 휴대폰의 경우이며, 디스플레이부(140)에 터치 센서부(110) 및 근접 센서부(120)를 포함하는 경우를 도시한다.
근접 센서부(120)에 의해 전자 장치(100)를 그립한 사용자의 손의 모양이 감지될 수 있으며, 제어부(130)는 감지된 사용자의 손의 모양에 의해 전자 장치(100)를 그립한 손을 판단할 수 있다.
전자 장치(100)를 그립한 손이 오른손인 경우, 도 11에 도시된 바와 같이 제어부(130)는 정 사각형의 격자 무늬의 동작 그리드에서 오른쪽에서 왼쪽으로 내려가는 방향으로 기울어진 그리드를 갖도록 제어할 수 있다.
즉, 전자 장치(100)가 오른손에 의해 그립되어 터치 궤적이 입력되면, 오른손의 생물학적 구조에 의해 오른쪽에서 왼쪽으로 사선으로 내려가는 터치 궤적이 입력될 수 있다.
따라서, 제어부(130)는 왜곡된 동작 그리드를 갖도록 제어하여, 오른쪽에서 왼쪽으로 사선으로 내려가는 터치 궤적을 오른쪽에서 왼쪽으로 수평하게 움직이는 터치 궤적으로 인식할 수 있다.
한편, 도 12에 도시된 바와 같이 전자 장치(100)를 그립한 손이 왼손인 경우, 제어부(130)는 정 사각형의 격자 무늬의 동작 그리드에서 왼쪽에서 오른쪽으로 내려가는 방향으로 기울어진 그리드를 갖도록 제어할 수 있다.
즉, 전자 장치(100)가 왼손에 의해 그립되어 터치 궤적이 입력되면, 왼손의 생물학적 구조에 의해 왼쪽에서 오른쪽으로 사선으로 내려가는 터치 궤적이 입력될 수 있다.
따라서, 제어부(130)는 왜곡된 동작 그리드를 갖도록 제어하여, 왼쪽에서 오른쪽으로 사선으로 내려가는 터치 궤적을 왼쪽에서 오른쪽으로 수평하게 움직이는 터치 궤적으로 인식할 수 있다.
한편, 도 6은 본 발명의 일 실시예에 따른 전자 장치(100)의 사용자 제스처 인식방법을 설명하기 위한 흐름도이다. 도 13에 따르면, 전자 장치(100)는 오브젝트에 의해 터치하고 터치 지점을 이동시키는 사용자 제스처가 입력되었는지 판단한다(S1000). 사용자 제스처가 입력된 경우(S1000-Y), 오브젝트의 터치 궤적을 감지한다(S1010). 즉, 횡 방향, 종 방향 또는 사선 방향의 터치 궤적을 감지할 수 있다.
근접 센서부(120)를 통해 터치 전후의 오브젝트의 근접하는 움직임을 감지한다(S1020). 즉, 전자 장치(100)는 터치 궤적뿐만 아니라 근접 센서부(120)를 통해 일정한 거리 내에 존재하는 오브젝트의 움직임을 감지할 수 있다.
그리고, 터치 전후의 오브젝트의 근접하는 움직임 방향에 기초하여 터치 궤적을 수정한다(S1030). 즉, 터치 전후의 오브젝트의 근접하는 움직임의 위치의 좌표값을 터치 지점과 가까울수록 큰 가중치를 적용하여 터치 궤적을 수정할 수 있다. 또는, 터치 직후의 오브젝트의 근접하는 움직임의 위치의 좌표값에 가중치를 적용하여 터치 궤적을 수정할 수 있고, 터치 시작점과 터치 직후의 오브젝트의 근접하는 움직임이 지점을 연결한 선을 사용자 제스처로 인식할 수 있도록 터치 궤적을 수정할 수 있다. 한편, 수정된 터치 궤적에 따라 사용자 제스처를 인식한다(S1040).
이상과 같이, 본 발명의 다양한 실시 예들에 따르면, 사용자의 터치 궤적 뿐만 아니라 터치 전 후에 감지되는 오브젝트의 움직임까지 고려하여 사용자의 조작 의도를 추정할 수 있다. 이에 따라, 사용자의 조작 의도에 부합되는 방향으로 사용자 제스처의 종류를 판단하여, 제어 동작을 수행할 수 있다. 이에 따르면, 한 손으로 전자 장치(100)를 그립 하거나, 손의 장애나 부상 등으로 정상적인 터치 조작이 어려운 경우, 디스플레이 사이즈나 형태의 제약으로 인해 터치 오동작이 발생할 가능성이 많은 경우 등에도, 사용자의 의도에 부합하는 제어 동작을 수행할 수 있게 된다.
상술한 다양한 실시 예들에 따른 전자 장치의 사용자 제스처 인식방법은 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 전자 장치 110 : 터치 센서부
120 : 근접 센서부 130: 제어부
140 : 디스플레이부 300 : 터치 펜

Claims (14)

  1. 전자 장치에 있어서,
    오브젝트를 이용하여 상기 전자 장치를 터치하고 터치 지점을 이동시키는 사용자 제스처가 입력되면, 상기 오브젝트의 터치 궤적을 감지하는 터치 센서부;
    상기 터치 전후의 상기 오브젝트의 움직임을 감지하는 근접 센서부; 및
    상기 터치 전후의 상기 오브젝트의 움직임 방향에 기초하여, 상기 터치 궤적을 수정하고, 수정된 터치 궤적에 따라 상기 사용자 제스처를 인식하는 제어부;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 터치 전후의 상기 오브젝트의 움직임에 대해, 상기 터치 지점과의 거리에 따라 상이한 가중치를 적용하여, 상기 터치 궤적을 수정하는 것을 특징으로 하는 전자 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 터치가 개시되기 이전에 감지된 오브젝트 움직임 방향에 대해 제1 가중치를 적용하고, 상기 터치가 종료된 이후에 감지된 오브젝트 움직임 방향에 대해 상기 제1 가중치보다 큰 제2 가중치를 적용하여 상기 터치 궤적을 수정하는 것을 특징으로 하는 전자 장치.
  4. 제1항에 있어서,
    상기 터치 센서부는, 매트릭스 형태로 배치된 복수의 터치 센서에 대해 기 설정된 형태의 동작 그리드를 적용하여 상기 동작 그리드를 기준으로 상기 터치 지점을 센싱하며,
    상기 제어부는,
    상기 근접 센서부를 통해 감지된 상기 오브젝트의 움직임에 기초하여, 상기 전자 장치에 대한 사용자 그립(grip) 방향을 판단하고,
    상기 사용자 그립(grip) 방향에 따라 상기 동작 그리드를 변형시켜, 변형된 동작 그리드를 기준으로 상기 사용자 제스처를 인식하는 것을 특징으로 하는 전자 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 사용자 그립 방향이 제1 방향이면, 상기 동작 그리드의 각 셀들을 상기 제1 방향에서 제2 방향으로 기울어지는 형태로 변형하고,
    상기 사용자 그립 방향이 제2 방향이면, 상기 동작 그리드의 각 셀들을 상기 제2 방향에서 상기 디스플레이부의 제1 방향으로 기울어지는 형태로 변형하는 것을 특징으로 하는 전자 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 터치 종료 직후에 상기 근접 센서부를 통해 감지된 상기 오브젝트의 움직임과 상기 터치 센서부를 통해 감지된 터치 시작점을 연결한 선을 상기 사용자 제스처로 인식하는 것을 특징으로 하는 전자 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 터치 센서부에서 감지된 터치 궤적, 상기 터치가 개시되기 이전의 상기 오브젝트의 움직임 궤적, 상기 터치가 종료된 이후의 상기 오브젝트의 움직임 궤적을 가산하여 상기 터치 궤적을 수정하는 것을 특징으로 하는 전자 장치.
  8. 전자 장치의 사용자 제스처 인식방법에 있어서,
    오브젝트를 이용하여 상기 전자 장치를 터치하고 터치 지점을 이동시키는 사용자 제스처가 입력되면, 상기 오브젝트의 터치 궤적을 감지하는 단계;
    근접 센서부를 통해 상기 터치 전후의 상기 오브젝트의 근접하는 움직임을 감지하는 단계;
    상기 터치 전후의 상기 오브젝트의 근접하는 움직임 방향에 기초하여, 상기 터치 궤적을 수정하는 단계; 및
    상기 수정된 터치 궤적에 따라 상기 사용자 제스처를 인식하는 단계;를 포함하는 사용자 제스처 인식방법.
  9. 제8항에 있어서,
    상기 터치 궤적을 수정하는 단계는,
    상기 터치 전후의 상기 오브젝트의 움직임에 대해, 상기 터치 지점과의 거리에 따라 상이한 가중치를 적용하여, 상기 터치 궤적을 수정하는 것을 특징으로 하는 사용자 제스처 인식방법.
  10. 제8항에 있어서,
    상기 터치 궤적을 수정하는 단계는,
    상기 터치가 개시되기 이전에 감지된 오브젝트 움직임 방향에 대해 제1 가중치를 적용하고, 상기 터치가 종료된 이후에 감지된 오브젝트 움직임 방향에 대해 상기 제1 가중치보다 큰 제2 가중치를 적용하여 상기 터치 궤적을 수정하는 것을 특징으로 하는 사용자 제스처 인식방법.
  11. 제8항에 있어서,
    상기 터치 센서부는, 매트릭스 형태로 배치된 복수의 터치 센서에 대해 기 설정된 형태의 동작 그리드를 적용하여 상기 동작 그리드를 기준으로 상기 터치 지점을 센싱하며,
    상기 사용자 제스처를 인식하는 단계는,
    상기 근접 센서부를 통해 감지된 상기 오브젝트의 움직임에 기초하여, 상기 전자 장치에 대한 사용자 그립(grip) 방향을 판단하고,
    상기 사용자 그립(grip) 방향에 따라 상기 동작 그리드를 변형시켜, 변형된 동작 그리드를 기준으로 상기 사용자 제스처를 인식하는 것을 특징으로 하는 사용자 제스처 인식방법.
  12. 제11항에 있어서,
    상기 터치 궤적을 수정하는 단계는,
    상기 사용자 그립 방향이 제1 방향이면, 상기 동작 그리드의 각 셀들을 상기 제1 방향에서 제2 방향으로 기울어지는 형태로 변형하고,
    상기 사용자 그립 방향이 제2 방향이면, 상기 동작 그리드의 각 셀들을 상기 제2 방향에서 상기 제1 방향으로 기울어지는 형태로 변형하는 것을 특징으로 하는 사용자 제스처 인식방법.
  13. 제8항에 있어서,
    상기 사용자 제스처를 인식하는 단계는,
    상기 오브젝트를 이용하여 상기 전자 장치를 터치한 지점과 상기 터치 종료 직후에 상기 근접 센서부를 통해 감지된 상기 오브젝트의 움직임을 연결한 선을 상기 사용자 제스처로 인식하는 것을 특징으로 하는 사용자 제스처 인식방법.
  14. 제8항에 있어서,
    상기 터치 궤적을 수정하는 단계는,
    상기 감지된 터치 궤적, 상기 터치가 개시되기 이전의 상기 오브젝트의 움직임 궤적, 상기 터치가 종료된 이후의 상기 오브젝트의 움직임 궤적을 가산하여 상기 터치 궤적을 수정하는 것을 특징으로 하는 사용자 제스처 인식방법.
KR1020130128712A 2013-10-28 2013-10-28 전자 장치 및 이의 사용자 제스처 인식방법 KR102159789B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130128712A KR102159789B1 (ko) 2013-10-28 2013-10-28 전자 장치 및 이의 사용자 제스처 인식방법
US14/339,989 US9720590B2 (en) 2013-10-28 2014-07-24 Electronic apparatus and method of recognizing a user gesture
CN201480055721.0A CN105637467B (zh) 2013-10-28 2014-10-07 识别用户手势的电子装置和方法
PCT/KR2014/009429 WO2015064923A1 (en) 2013-10-28 2014-10-07 Electronic apparatus and method of recognizing a user gesture
EP14856835.5A EP3063614B1 (en) 2013-10-28 2014-10-07 Electronic apparatus and method of recognizing a user gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130128712A KR102159789B1 (ko) 2013-10-28 2013-10-28 전자 장치 및 이의 사용자 제스처 인식방법

Publications (2)

Publication Number Publication Date
KR20150048526A true KR20150048526A (ko) 2015-05-07
KR102159789B1 KR102159789B1 (ko) 2020-09-25

Family

ID=52994841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130128712A KR102159789B1 (ko) 2013-10-28 2013-10-28 전자 장치 및 이의 사용자 제스처 인식방법

Country Status (5)

Country Link
US (1) US9720590B2 (ko)
EP (1) EP3063614B1 (ko)
KR (1) KR102159789B1 (ko)
CN (1) CN105637467B (ko)
WO (1) WO2015064923A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484105A (zh) * 2016-09-20 2017-03-08 努比亚技术有限公司 一种实现手势识别的方法及装置
JP6293953B1 (ja) * 2017-04-04 2018-03-14 京セラ株式会社 電子機器、プログラムおよび制御方法
EP3614241B1 (en) * 2017-04-20 2024-04-03 Alps Alpine Co., Ltd. Touch sensor-type electronic device and sensor control method
CN109446999B (zh) * 2018-10-31 2021-08-31 中电科新型智慧城市研究院有限公司 基于统计计算的动态人体运动的快速感知系统及方法
US20220236827A1 (en) * 2019-05-31 2022-07-28 Lenovo (Beijing) Limited Electronic apparatus and data processing method
KR20210102555A (ko) * 2020-02-11 2021-08-20 삼성디스플레이 주식회사 표시 장치
JP2022172878A (ja) * 2021-05-07 2022-11-17 上海天馬微電子有限公司 対象物の非接触操作を可能とする装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110052270A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
JP2011150414A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
EP2634680A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Graphical user interface interaction on a touch-sensitive device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1117338C (zh) * 1998-11-27 2003-08-06 无敌科技(西安)有限公司 一种无笔画顺序的手写字符辨识系统
WO2010113397A1 (ja) 2009-03-31 2010-10-07 三菱電機株式会社 表示入力装置
KR20100136649A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
KR101387270B1 (ko) 2009-07-14 2014-04-18 주식회사 팬택 터치 궤적에 따라 메뉴 정보를 표시하는 이동 단말기
BR112013005592A2 (pt) * 2010-09-10 2017-06-20 Acist Medical Sys Inc aparelho e método para busca de imagens médicas
US9542092B2 (en) 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
EP2645218A1 (en) 2012-03-29 2013-10-02 Sony Mobile Communications AB Method for operating an electronic device
JP5904440B2 (ja) 2012-04-20 2016-04-13 シャープ株式会社 操作入力装置、操作入力方法およびプログラム
JP6271881B2 (ja) * 2013-06-26 2018-01-31 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110052270A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
JP2011150414A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
EP2634680A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Graphical user interface interaction on a touch-sensitive device

Also Published As

Publication number Publication date
US20150116280A1 (en) 2015-04-30
CN105637467B (zh) 2019-06-11
US9720590B2 (en) 2017-08-01
EP3063614A4 (en) 2017-06-21
EP3063614B1 (en) 2018-09-19
KR102159789B1 (ko) 2020-09-25
EP3063614A1 (en) 2016-09-07
WO2015064923A1 (en) 2015-05-07
CN105637467A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
KR102159789B1 (ko) 전자 장치 및 이의 사용자 제스처 인식방법
US10318059B2 (en) Touch sensing system and method of controlling the same
JP6027328B2 (ja) ディスプレイ装置及びそのオブジェクト表示方法
US8947397B2 (en) Electronic apparatus and drawing method
US20140125615A1 (en) Input device, information terminal, input control method, and input control program
JP6349800B2 (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9423911B2 (en) Correction method of touch point and electromagnetic-type touch panel using the same
JP2014134938A (ja) 入力表示装置
KR20150106824A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
WO2014112132A1 (ja) 情報機器及び情報処理方法
US20150355769A1 (en) Method for providing user interface using one-point touch and apparatus for same
US20140028595A1 (en) Multi-touch based drawing input method and apparatus
US20150324026A1 (en) Processing apparatus, command generation method and storage medium
US20140304736A1 (en) Display device and method of controlling the display device
TW201416909A (zh) 適於接觸控制及懸浮控制的觸控系統及其運作方法
KR20180118269A (ko) 터치 스크린 및 그에 따른 펜 터치 검출 방법
CN104133627A (zh) 一种缩放显示方法及电子设备
KR20180016780A (ko) 사용자 접근에 따라 터치영역을 활성화하는 전자칠판, 이를 이용한 전자칠판 터치영역 활성화 방법
US20150042586A1 (en) Input Device
US10175825B2 (en) Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image
US20240160319A1 (en) Touch sensing device and touch sensing method
TWI603226B (zh) 體感偵測器之手勢辨識方法
KR20180095229A (ko) 호버링 터치 검출 장치 및 방법
KR101966585B1 (ko) 공간터치장치 및 이를 포함하는 디스플레이 장치
Horiuchi et al. Short range fingertip pointing operation interface by depth camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right