KR102560598B1 - 디스플레이 장치 및 그 제어방법 - Google Patents

디스플레이 장치 및 그 제어방법 Download PDF

Info

Publication number
KR102560598B1
KR102560598B1 KR1020160175784A KR20160175784A KR102560598B1 KR 102560598 B1 KR102560598 B1 KR 102560598B1 KR 1020160175784 A KR1020160175784 A KR 1020160175784A KR 20160175784 A KR20160175784 A KR 20160175784A KR 102560598 B1 KR102560598 B1 KR 102560598B1
Authority
KR
South Korea
Prior art keywords
touch
menu
user
hand
pen
Prior art date
Application number
KR1020160175784A
Other languages
English (en)
Other versions
KR20180072329A (ko
Inventor
김상호
김관형
심휘준
하지혜
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160175784A priority Critical patent/KR102560598B1/ko
Priority to US15/790,156 priority patent/US10802690B2/en
Publication of KR20180072329A publication Critical patent/KR20180072329A/ko
Priority to US17/019,524 priority patent/US11301120B2/en
Application granted granted Critical
Publication of KR102560598B1 publication Critical patent/KR102560598B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

단일 사용자의 복수의 터치 및 복수의 사용자가 사용할 수 있는 디스플레이 장치가 개시된다. 본 개시에 따른 디스플레이 장치는 디스플레이부, 디스플레이부 상에 사용자 터치를 감지하는 감지부, 상기 감지부를 통해 제1 터치가 감지되면, 상기 제1 터치에 대응되는 필기 기능을 실행하고, 상기 제1 터치가 입력되는 동안 상기 제1 터치가 감지된 좌표 값을 기준으로 기 설정된 범위내의 상기 사용자의 제2 터치가 감지되면, 상기 제2 터치에 응답하여 상기 제2 터치가 감지된 좌표값에 상기 제2 터치에 대응되는 기능하는 실행하는 프로세서를 가지는 것을 특징으로 하여 구성된다.

Description

디스플레이 장치 및 그 제어방법{Display Apparatus AND CONTROLLING METHOD THEREOF}
본 개시는 대화면 디스플레이 장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 대화면 전자 칠판에 있어서 복수의 사용자 각각이 복수의 터치를 사용하는 방법 및 전자 칠판에 관한 것이다.
전자 기술의 발달과 함께, 다양한 유형의 전자장치들이 개발되고 있다. 최근 스마트폰, 태블릿 PC등과 같은 소형 디스플레이 및 TV, 전자 칠판 등과 같은 대형 디스플레이 장치들은 터치 스크린을 구비하고 있다. 사용자는 터치 스크린을 이용하여 디스플레이 장치를 제어할 수 있다.
한편, 터치 디스플레이 장치에 있어서, 사용자의 편의를 증대시키기 위한 다양한 터치 모션 동작에 관한 기술이 발전하고 있다. 예를 들어 스마트폰의 화면에 하우징된 베젤을 이용하는 기술은 사용자가 좀더 직관적이고 편리하게 스마트폰 장치를 이용할 수 있게 해준다.
그러나 이러한 터치 모션들은 대부분 스마트폰과 같은 소화면 디스플레이 장치에서 사용되는 모션에 관한 것으로서, 하나 또는 2개의 손가락을 이용한 터치 에 관한 기술이 대부분이다. 또한 이러한 터치는 디스플레이 장치를 제어하는 손이 왼손인지, 오른손인지에 영향을 받지 않는다.
따라서, 전자 칠판 등과 같은 대화면 디스플레이 장치에 있어서, 사용자의 편의를 위한 다양한 기술들이 제안되고 있다. 그러나 이러한 기술들 대부분은 소화면 디스플레이 장치에 적용되는 터치들로서, 대화면 디스플레이 장치에서 추가적으로 고려할 수 있는 터치에 대하여는 관련 기술이 많이 존재하지 않는다.
구체적으로 일반적으로 전자 칠판은 디스플레이의 크기가 다른 디스플레이 장치보다 크다. 따라서 전자 칠판의 사용자는 양 손을 모두 사용하여 전자 칠판을 제어할 수 있다. 또한 여러명의 사용자가 동시에 전자 칠판을 제어하는 것이 가능하다.
일반적으로 전자 칠판의 사용자는 필기 기능이 가능한 펜을 이용하여 판서를 한다. 이때, 필기 기능을 제외한 나머지 기능, 예를 들어 지우개 기능 또는 펜의 굵기, 색깔을 바꾸는 기능들로 변환하기 위한 다양한 방법들이 제시되고 있다.
예를 들어, 전자 칠판의 가장자리에 다양한 기능을 제공하는 메뉴가 고정되어 있고, 사용자가 펜 또는 손을 이용하여 아이콘과 같은 메뉴의 UI 엘리먼트 터치하여 원하는 기능을 선택할 수 있다. 그러나 위와 같은 경우, 메뉴가 고정되어 있기 때문에 원하는 기능을 선택하기 위해서는 사용자가 메뉴가 위치한 곳까지 일일이 이동해야 한다는 단점이 존재한다.
또한 복수의 사용자가 동시에 전자 칠판을 사용하는 경우, 누가 메뉴를 사용할 것인지에 대한 문제점도 존재한다.
이러한 단점을 보완하기 위해, 판서를 하지 않는 다른 손의 터치를 통해 사용자가 원하는 위치에 메뉴를 불러오는 방법이 제안된다. 이때, 사용자는 원하는 기능을 실행하기 위해 먼 거리를 이동할 필요가 없다. 그러나 메뉴가 이동 가능한 경우에도 사용자가 판서를 하는 과정에서 메뉴가 화면을 가리게 되고, 사용자는 메뉴를 제거하거나, 원하는 위치로 이동시키기 위해 추가적인 동작을 수행하여야 한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 복수의 사용자가 전자 칠판과 같은 디스플레이 장치를 사용할 경우, 사용자 각각이 독자적으로 메뉴를 불러오고, 제거할 수 있도록 하여 사용자의 추가적 동작을 줄이고, 사용자 간의 메뉴 점유권을 보장하기 위한 데에 목적이 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어방법은, 디스플레이 화면 상에 사용자의 제1 터치를 감지하는 단계, 상기 제1 터치에 대응되는 기능을 실행하는 단계, 상기 제1 터치가 입력되는 동안 상기 제1 터치가 감지된 좌표 값을 기준으로 기 설정된 범위내의 상기 사용자의 제2 터치를 감지하는 단계, 및 상기 제2 터치에 응답하여 상기 제2 터치가 감지된 좌표값에 상기 제2 터치에 대응되는 기능을 실행하는 단계를 포함한다.
이때, 상기 제2 터치에 대응되는 기능을 실행하는 단계는, 상기 제2 터치가 제1 형상을 가지는 터치인 경우, 상기 제2 터치가 감지된 좌표값 주위에 복수의 UI 엘리먼트를 포함하는 메뉴UI를 실행할 수 있다.
이때, 상기 메뉴UI가 표시되는 동안 상기 제2 터치가 이동되는 경우, 상기 제2 터치의 이동방향에 대응되도록 상기 메뉴 UI를 이동하는 단계를 포함할 수 있다.
이때, 상기 메뉴UI가 표시되는 동안 상기 제2 터치가 해제되는 경우, 상기 메뉴UI를 상기 디스플레이 화면 상에서 제거하는 단계를 더 포함할 수 있다.
이때, 상기 메뉴 UI가 표시되는 동안 상기 복수의 UI 엘리먼트 중 하나가 터치된 경우, 상기 터치된 UI 엘리먼트에 대응하는 기능을 실행하는 단계를 더 포함할 수 있다.
이때, 상기 제2 터치에 대응되는 기능을 실행하는 단계는 상기 제2 터치가 제2 형상을 가지는 터치인 경우, 상기 제2 터치가 감지된 좌표값 주위에 상기 필기 기능을 지우는 지우개 기능을 실행할 수 있다.
이때, 상기 제1 터치는 펜 터치이고, 상기 제2 터치는 손가락 터치일 수 있다.
이때, 복수의 사용자 각각의 펜 터치 및 손 터치를 감지하는 단계를 더 포함하고, 상기 복수의 사용자의 펜 터치는, 상기 복수의 사용자 각각의 펜에 설정된 주파수를 이용하여 구별할 수 있다.
이때, 상기 복수의 사용자의 제2 터치 각각에 의해 복수의 메뉴가 디스플레이된 경우, 상기 복수의 메뉴에 대응되는 사용자를 나타내는 인디케이터를 표시할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치는 디스플레이부, 디스플레이부 상에 사용자터치를 감지하는 감지부, 상기 감지부를 통해 제1 터치가 감지되면, 상기 제1 터치에 대응되는 기능을 실행하고, 상기 제1 터치가 입력되는 동안 상기 제1 터치가 감지된 좌표 값을 기준으로 기 설정된 범위내의 상기 사용자의 제2 터치가 감지되면, 상기 제2 터치에 응답하여 상기 제2 터치가 감지된 좌표값에 상기 제2 터치에 대응되는 기능하는 실행하는 프로세서를 포함한다.
이때, 상기 프로세서는, 상기 제2 터치가 제1 형상을 가지는 터치인 경우, 상기 제2 터치가 감지된 좌표값 주위에 복수의 UI 엘리먼트를 포함하는 메뉴UI를 표시하도록 상기 디스플레이를 제어할 수 있다.
이때, 상기 프로세서는, 상기 메뉴UI가 표시되는 동안 상기 제2 터치가 이동되는 경우, 상기 메뉴UI는 상기 제2 터치의 이동방향에 대응되어 이동하도록 상기 디스플레이를 제어할 수 있다.
이때, 상기 프로세서는, 상기 메뉴UI가 표시되는 동안 상기 제2 터치가 제거되는 경우, 상기 메뉴UI가 제거하도록 상기 디스플레이를 제어할 수 있다.
이때, 상기 메뉴 UI는, 상기 필기 기능의 설정을 위한 적어도 하나의 UI 엘리먼트 및 상기 디스플레이 장치의 설정을 위한 적어도 하나의 UI 엘리먼트 중 적어도 하나를 포함할 수 있다.
이때, 상기 프로세서는, 상기 제2 터치가 제2 형상을 가지는 터치인 경우, 상기 제2 터치가 감지된 좌표값 주위에 상기 필기 기능을 지우는 지우개 기능을 실행할 수 있다.
이때, 상기 제1 터치는 펜 터치이고, 상기 제2 터치는 손가락 터치이며, 상기 감지부는, 펜 터치를 감지하기 위한 제1 감지부, 손가락 터치를 감지하기 위한 제2 감지부일 수 있다.
이때, 상기 복수의 사용자의 펜 터치는, 상기 복수의 사용자 각각의 펜에 설정된 주파수를 이용하여 구별할 수 있다.
이때, 상기 프로세서는, 상기 복수의 사용자의 제2 터치 각각에 의해 복수의 메뉴가 디스플레이된 경우, 상기 복수의 메뉴에 대응되는 사용자를 나타내도록 인디케이터를 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어방법은, 디스플레이부에 사용자의 복수의 손가락이 터치 되는 손가락 터치가 감지되면, 상기 복수의 손가락이 터치된 좌표값을 획득하는 단계, 상기 복수의 손가락이 터치된 좌표값을 분석하여 상기 터치된 손가락의 개수 및 손 터치의 유형 중 적어도 하나를 판단하는 단계 및 상기 손 터치의 유형 및 손가락의 개수 중 적어도 하나를 바탕으로 상기 손가락 터치에 대응되는 기능을 실행하는 단계를 포함할 수 있다.
이때, 상기 디스플레이부 터치된 복수의 손가락은 적어도 3개일 수 있다.
상술한 내용을 통하여 본 개시는 전자 칠판과 같은 대화면 디스플레이 장치에 있어서, 복수의 사용자가 독자적으로 메뉴를 쉽게 불러올 수 있도록 하여 추가적 동작이나 메뉴 점유권에 관한 문제를 해결할 수 있는 효과가 있다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치를 간략히 도시한 블록도이다.
도 2a 내지 도 2c는 본 개시의 일 실시 예에 따른 디스플레이 장치를 상세히 도시한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 기 설정된 범위내의 손 터치를 감지하는 방법을 설명한 예시도이다.
도 4a 내지 도 4d는 본 개시의 일 실시 예에 따른 손 터치에 대응하는 메뉴 UI의 실행 및 제거 방법을 도시한 예시도이다.
도 5a 내지 도 5c는 본 개시의 일 실시 예에 따른 손 터치에 대응하는 메뉴 UI의 실행 및 메뉴UI에 포함된 복수의 UI엘리먼트 중 어느 하나를 선택하는 방법을 설명한 예시도이다.
도 6은 복수의 사용자가 디스플레이 장치(100)을 사용하는 경우를 설명한 예시도이다.
도 7은 본 개시의 일 실시예에 따른 디스플레이부(120) 장치에서 손 터치의 패턴을 감지하는 방법을 설명하기 위한 흐름도이다.
도 8a 내지 도 8f는 본 개시의 실시예에 따른 손 터치의 유형을 판단하는 방법을 도시한 예시도이다.
도 9a 내지 도 9c는 본 개시의 일 실시예에 따른 손 터치의 유형 및 손가락의 개수에 대응되는 기능을 설명하기 위한 예시도이다.
도 10a 내지 도 10e은 본 개시의 일 실시예에 따른 지우개 UI를 생성하고 기능을 수행하는 것을 설명하기 위한 예시도이다.
도 11a 내지 도 11d은 본 개시의 일 실시예에 따른 메뉴 UI를 설명하기 위한 예시도이다.
도 12은 본 개시의 일 실시예에 따른 양손을 동시에 사용하는 경우를 설명하기 위한 예시도이다.
도 13은 복수의 터치를 입력 받는 디스플레이 장치의 동작을 설명한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려 하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있을 수 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치를 간략히 도시한 블록도이다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)은 E-Board, Digital information display(DID), Large format display(LFD)와 같은 대형 디스플레이 장치로 구성될 수 있으며, 또한 일정 크기 이상의 태블릿 PC로 이루어 질 수 있다. 그러나 이러한 실시 예에 한정되는 것은 아니며, 기타 다른 터치 디스플레이 장치에 적용될 수 있음은 물론이다.
디스플레이 장치(100)은 감지부(110), 디스플레이부(120) 및 프로세서(130)를 포함한다.
감지부(110)는 디스플레이부(130)상에 입력된 사용자 터치를 감지하여 프로세서(130)로 전송할 수 있다.
이때, 사용자 터치는 제1 터치와 제2 터치로 구성될 수 있다. 그러나 사용자 터치는 제1 터치 및 제2 터치 두가지 경우로 한정되는 것은 아니며, 필요에 따라 3개 이상의 복수의 터치로 구성될 수 있다.
제1 사용자 터치는 펜 터치, 제2 사용자 터치는 손 터치 일 수 있다. 그러나 이러한 구성에 한정되는 것은 아니며, 제1 사용자 터치 및 제2 사용자 터치가 모두 펜 터치일 수도 있고, 손 터치일 수도 있음은 물론이다. 이하 본 명세서에서는 제1 터치는 펜 터치, 제2 터치는 손 터치인 경우로 설명한다.
이때, 손 터치는 사용자의 손을 이용한 터치 방식을 말한다. 구체적으로, 손 터치는 사용자의 손가락, 손등, 손바닥 등의 터치를 포함 할 수 있다. 또한, 본 개시에서는 사용자의 손 터치에 대하여 기술하고 있으나, 손 터치는 사용자의 신체부위를 이용한 터치 또한 포함 될 수 있다. 한편, 펜 터치는 스타일러스 펜, 디지털 펜 등, 사용자의 신체부위를 통한 터치가 아닌, 다양한 입력장치를 이용한 터치 방식을 말한다.
이러한 손 터치 및 펜 터치 입력을 감지하는 방법은 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(IR) 방식 및 표면 초음파(Surface Acoustic Wave; SAW) 방식, EMR(Electro-magnetic Resonance) 방식 또는 EMI(Electro-magnetic Induction) 방식 중 어느 하나일 수 있다. 그러나, 이에 한정되는 것은 아니며, 종래 기술로부터 유추할 수 있는 다양한 터치 감지 방식이 적용될 수 있음은 물론이다.
감지부(110)는 손 터치 또는 펜 터치를 감지하기 위한 데이터를 획득할 수 있다. 이때, 프로세서(130)는 감지부(110)에 의해 감지된 손 터치의 데이터를 이용하여 손 터치의 유형을 판단할 수 있다. 손 터치의 유형은 손 터치의 패턴 또는 손 터치의 형상이 포함될 수 있다.이때, 손 터치의 패턴이라고 함은 사용자의 손의 모션, 제스쳐 등 손을 이용하여 수행할 수 있는 다양한 동작을 의미한다.
또한, 손 터치의 형상이라고 함은, 사용자의 손이 디스플레이부(130)를 터치하는 모양일 수 있다. 구체적으로 사용자의 손이 디스플레이부(130)를 터치한 경우, 프로세서(130)는 감지부(110)로부터 손이 터치된 좌표값을 획득하여 손의 형상을 파악할 수 있다. 그러나 이에 한정되는 것은 아니고, 프로세서(130)는 손 또는 손가락의 터치 면적, 터치 된 손가락의 개수, 손가락 간의 거리 등을 바탕으로 손의 형상을 파악할 수 있다.
본 발명의 일 실시 예에서, 감지부(110)는 손 터치를 감지하기 위한 제1 감지부와 펜 터치를 감지하기 위한 제2 감지부를 포함할 수 있다. 제1 감지부 및 제2 감지부에 대한 상세한 설명은 도 2a 내지 도 2c에서 후술한다.
디스플레이부(120)는 영상 데이터를 출력할 수 있다. 디스플레이부(120)는 프로세서(130)에 의해 실행되는 기능을 표시할 수 있다. 구체적으로, 디스플레이부(120)는 사용자의 펜 터치에 의한 필기 내용을 표시할 수 있고, 사용자의 손 터치에 의한 메뉴 UI, 지우개 UI등을 표시할 수 있다.
이때 디스플레이부(120)는 감지부(110)등과 결합하여 터치 디스플레이가 될 수 있다.
프로세서(130)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 특히 감지부(110)를 통해 사용자 터치가 감지되면, 프로세서(130)는 사용자 터치에 대응되는 기능이 실행되도록 디스플레이부(120)를 제어할 수 있다.
구체적으로, 감지부(110)를 통해 제1 터치가 감지되면, 프로세서(130)는 제1 터치에 대응되는 필기 기능을 실행할 수 있다. 프로세서(130)는 제1 터치가 입력된 좌표값을 획득하고, 획득한 좌표값을 기준으로 기 설정된 범위 내에서 사용자의 제2 터치를 입력 받을 수 있다. 감지부(110)가 기 설정된 범위 내의 제2 터치를 감지한 경우, 프로세서(130)는 제2 터치에 대응하는 기능을 실행할 수 있다.
이때, 기 설정된 범위는 제1 터치의 좌표값을 기준으로 사용자의 행동반경을 고려하여 결정될 수 있다. 그러나 이에 한정되는 것은 아니고, 기 설정된 범위는 카메라에 의해 사용자의 위치를 판단하여 결정할 수도 있으며, 그 외 다양한 방법에 의해 결정될 수 있음은 물론이다.
상술한 바와 같이, 감지부(110)는 사용자의 손 터치 형상을 감지 할 수 있다. 프로세서(130)는 사용자의 손 터치의 형상에 따라 다양한 기능을 표시하도록 디스플레이부(120)를 제어할 수 있다.
예를 들어, 프로세서(130)는 손 터치가 O자형 인 경우, 터치된 손 주변에 펜의 종류를 선택하는 제1 메뉴 UI를 표시하도록 디스플레이부(120)를 제어할 수 있다.　
다른 실시 예로, 프로세서(130)는 손 터치가 C자형 인 경우, 펜의 색깔 및 굵기를 선택할 수 있는 제2 메뉴 UI를 표시하도록 디스플레이부(120)를 제어할 수 있다.
또 다른 실시 예로, 프로세서(130)는 손 터치가 칠판 지우개를 쥔 것과 같은 모양인 경우, 지우개 UI를 표시하도록 디스플레이부(120)를 제어할 수 있다.　
또 다른 실시예로, 감지부(110)를 통해 복수의 손가락 터치가 감지된 경우, 프로세서(130)는 손 터치의 유형 및 터치된 손가락의 개수 중 적어도 하나를 바탕으로 손가락 터치에 대응되는 기능을 실행할 수 있다. 그러나 이러한 실시 예에 한정되는 것은 아니며, 프로세서(130)는 다양한 손 터치의 형상에 대응하는 다양한 기능을 실행하도록 디스플레이 장치(100)을 제어할 수 있음은 물론이다.
구체적으로, 사용자의 복수의 손가락 터치가 감지된 경우, 프로세서(130)는 입력받은 손가락 터치의 좌표값을 획득할 수 있다. 이렇게 획득한 좌표값을 통해 프로세서(130)는 복수의 터치된 좌표값을 분석하여 터치된 손가락의 개수 및 손 터치의 유형 중 적어도 하나를 판단할 수 있다.
이때, 손 터치의 유형은 복수의 손가락이 터치된 좌표값 사이의 거리를 측정하고, 측정된 거리를 분석하여 판단할 수 있다.
사용자의 손가락 터치는 적어도 세 개인 것이 바람직하다. 그러나 이에 한정되는 것은 아니고, 손가락 터치가 1개 또는 2개인 경우일 수도 있음은 물론이다.
프로세서(130)에 의해 판단되는 손 터치의 유형은 세가지 일 수 있다. 손 터치의 유형이란, 왼손인 경우, 오른손인 경우 및 왼손과 오른손을 판단할 수 없는 경우를 의미한다. 그러나 상술한 세가지 손 터치의 유형에 한정되는 것은 아니고, 기타 다양한 손 터치의 유형이 존재할 수 있음은 물론이다.
본 발명의 일 실시예에 따른 디스플레이부(120)에 제1 터치 동작이 입력된 경우 프로세서(130)는 디스플레이 장치(100)의 화면 상에 제1 기능을 수행한다.
예를 들어 왼손의 손가락 5개를 디스플레이부(120)에 터치한 경우, 프로세서(130)는 디스플레이 장치(100)의 화면상에 지우개 UI를 생성할 수 있고, 오른손의 손가락 5개를 디스플레이부(120)에 터치한 경우, 프로세서는 디스플레이 장치(100)의 화면 상에 메뉴 UI를 생성할 수 있다.
그러나 프로세서(130)에 의하여 수행되는 기능은 UI생성 기능뿐만 아니라, 특정 동작이나 특정 메뉴를 실행하는 다양한 Quick 동작이 될 수도 있음은 물론이다.
감지부(110)를 통해 감지된 손 터치가 유지되면, 프로세서(130)는 표시된 메뉴 UI가 유지되도록 디스플레이부(120)를 제어할 수 있다. 디스플레이부(120)에 메뉴 UI가 표시되는 동안 사용자의 손 터치가 이동하는 경우, 프로세서(130)는 메뉴UI가 손 터치의 이동방향을 따라 이동하여 표시되도록 디스플레이부(120)를 제어할 수 있다.
또한, 메뉴 UI가 표시되는 동안 손 터치가 제거되는 경우, 프로세서(130)는 메뉴UI가 제거되도록 디스플레이부(120)를 제어할 수 있다.
그러나 손 터치 제거에 대응하여 메뉴 UI가 제거되는 특징은 일 실시 예에 불과하다. 예를 들어 프로세서(130)는 손 터치가 제거되더라도 메뉴UI가 제거되지 않도록 디스플레이부(120)를 제어할 수 있다. 이 경우, 메뉴 UI에 포함된 UI엘리먼트 중 하나는 메뉴 UI를 종료시키는 기능을 하는 UI 엘리먼트일 수 있다. 또 다른 실시 예로, 손 터치가 제거된 경우, 프로세서(130)는 기 설정된 시간이 경과한 후 메뉴 UI에 사용자의 추가 입력이 없으면, 메뉴UI를 제거하도록 디스플레이부(120)를 제어할 수 있다.
또 다른 실시 예로, 사용자의 손 터치가 연속적으로 두 번 터치 되는 더블 탭(double-tap) 터치인 경우에는, 프로세서(130)는 손 터치가 제거되어도 메뉴UI가 제거되지 않도록 디스플레이부(120)를 제어할 수 있다. 이 경우, 메뉴 UI가 유지되는 동안 동일한 형상의 손 터치를 감지한 경우에 프로세서(130)는 메뉴UI를 제거하도록 디스플레이부(120)를 제어할 수 있다.
그러나, 상술한 실시 예에 한정되는 것은 아니며, 당업자가 유추할 수 있는 다양한 방법에 의해 메뉴UI를 제거할 수 있음은 물론이다.
한편 제1 터치가 펜 터치인 경우, 프로세서(130)는 펜 터치에 대응되는 기능을 실행하여 표시하도록 디스플레이부(120)를 제어할 수 있다. 복수의 UI엘리먼트를 포함하는 메뉴UI 영역 내에서의 펜 터치는 UI 엘리먼트를 선택하는 기능일 수 있다.
　또한, 판서 가능한 디스플레이 영역에서의 펜 터치에 대응하는 기능은 필기 기능일 수 있다. 디스플레이 영역 내에서 사용자의 펜 터치가 이루어진 경우, 필기 기능은 터치된 좌표값에 기 설정된 색을 표시하는 것일 수 있다.
그러나 제1 터치는 상술한 기능에 한정되는 것은 아니며, 펜 터치에 대응하는 기능은 펜 터치에 대응되는 직선을 표시하거나, 사각형, 원과 같은 도형을 표시하는 기능일 수 있으며, 일반적인 전자 칠판의 다양한 기능일 수도 있음은 물론이다.
　
도 2a 내지 도 2c는 본 개시의 일 실시 예에 따른 디스플레이 장치를 상세히 도시한 블록도이다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 감지부(110), 디스플레이(120), 프로세서(130) 외에 통신부(140), 메모리(150), 오디오 출력부(170)를 더 포함할 수 있다. 그러나 이러한 구성에 한정되는 것은 아니며, 필요에 따라 구성요소가 추가 또는 생략될 수 있다.
감지부(110)는 제1 감지부(111) 및 제2 감지부(112)를 포함할 수 있다. 구체적으로 제1 감지부(111)는 사용자의 펜 터치를 감지하고, 제2 감지부(112)는 사용자의 손 터치를 감지할 수 있다. 그러나 이러한 구성에 한정되는 것은 아니고, 감지부는 다양한 감지 방법에 의한 터치를 감지할 수 있다.
이때, 감지부(110)를 통해 입력되는 터치 방식은 정전 방식 터치일 수 있다. 그러나 이러한 방식에 한정되는 것은 아니고, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(IR) 방식 및 표면 초음파(Surface Acoustic Wave; SAW) 방식, 광학(Optical) 방식, EMR(Electro-magnetic Resonance) 방식 또는 EMI(Electro-magnetic Induction) 방식 중 어느 하나일 수 있다.
프로세서(130)는 제1 감지부(111) 및 제2 감지부(112)로부터 각각 감지된 신호를 전달받을 수 있다. 즉, 프로세서(130)는 제1 감지부(111)를 통해 전달된 신호와 제2 감지부(112)를 통해 전달된 신호에 대하여 각기 다른 기능을 실행하도록 디스플레이부(120)를 제어할 수 있다. 따라서 프로세서(130)는 사용자의 펜 터치와 손 터치를 구별하여 서로 다른 기능을 실행하여 표시하도록 디스플레이부(120)를 제어할 수 있다.
통신부(140)는 WiFi 칩(141), 블루투스 칩(142), 무선 통신 칩(143), NFC칩(144)중 적어도 하나를 포함할 수 있다. 특히, WiFi 칩(141), 블루투스 칩(142) 각각은 WiFi 방식, Bluetooth 방식으로 통신을 수행할 수 있다. WiFi 칩(141)이나 블루투스 칩(142)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(143)은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(144)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
통신부(140)는 외부장치와의 통신을 수행할 수 있다. 프로세서(130)는 통신부(140)를 통해 외부장치로부터 비디오 소스, 오디오 소스 등 다양한 컨텐츠를 전달받아 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
메모리(150)는 디스플레이 장치(100)을 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(150)는 본 개시의 다양한 실시 예들에 따라 디스플레이 장치(100)이 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 메모리(150)는 프로그램 또는 애플리케이션의 실행 중에 입력되거나 설정 또는 생성되는 각종 데이터 등과 같은 다양한 정보가 저장될 수 있다.
또한, 메모리(150)는 본 개시의 다양한 실시 예들에 따라 디스플레이 장치(100)이 동작하기 위한 각종 소프트웨어 모듈을 포함할 수 있으며, 프로세서(130)는 메모리(150)에 저장된 각종 소프트웨어 모듈을 실행하여 본 개시의 다양 한 실시 예들에 따른 디스플레이 장치(100)의 동작을 수행할 수 있다.
이를 위해, 메모리(150)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
오디오 출력부(160)는 오디오 신호를 출력할 수 있다. 예를 들어, 전자 장치(100)가 통신부(140)를 통해 외부서버에서 동영상 컨텐츠를 수신한 경우, 프로세서(130)는 동영상 컨텐츠를 디스플레이 하도록 디스플레이부(120)를 제어할 수 있고, 동영상 컨텐츠에 포함된 오디오를 재생하도록 오디오 출력부(160)를 제어할 수 있다.
도 2b는 본 개시의 전자장치에 따른 터치 스크린 패널을 도시한 예시도이다.
본 개시의 일 실시 예에 따르면, 터치 스크린 패널(200)은 디스플레이부(120)와 감지부(110)가 결합하여 구성될 수 있다. 구체적으로, 터치 스크린 패널(200)은 디스플레이 패널(210), 제1 터치 패턴 층(220) 및 제2 터치 패턴층(230)을 포함할 수 있다. 즉, 디스플레이부(120)는 디스플레이 패널(210)으로, 제1 감지부(111)는 제1 터치 패턴 층(220)으로, 제2 감지부(112)는 제2 터치 패턴 층(230)으로 구성될 수 있다.
디스플레이 패널(210)은 영상 데이터를 출력할 수 있다. 즉, 디스플레이 패널(210)은 프로세서(130)에 의해 실행되는 기능을 표시할 수 있다. 이 때, 디스플레이 패널(200)은 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display) 및 ELD(Electro Luminescence Display) 중 어느 하나로 구성될 수 있다.
제1 터치 패턴 층(220) 및 제2 터치 패턴 층(230)은 사용자의 터치 입력을 감지할 수 있다. 이때, 제1 터치 패턴 층(220) 및 제2 터치 패턴 층(230)은 2D 터치 패턴 층과 펜 터치 패턴 층으로 구성될 수 있다.
2D 터치 패턴 층은 디스플레이 패널(210)에 사용자의 손가락이 닿는 2D 터치를 감지할 수 있다. 펜 터치 패턴 층은 디스플레이 패널(210)에 펜과 같은 사용자 입력장치의 터치를 감지할 수 있다. 이때, 사용자 입력 장치는 스타일러스 펜, 라이트 펜, 디지털 펜 등이 될 수 있지만, 펜 종류에 한정되는 것은 아니며, 터치 입력을 위한 다양한 입력장치가 될 수 있음은 물론이다.
또한, 제1 터치 패턴 층(220) 및 제2 터치 패턴 층(230)은 상술한 2D 터치 패턴 층 및 펜 터치 패턴 층으로 한정되는 것은 아니다. 터치 패턴 층은 3D 터치 패턴층, 포스 터치 패턴 층 등 다양한 형태를 포함할 수 있음은 물론이다.
도 2c는 디스플레이 장치에 사용되는 스타일러스 펜(stylus pen)의 구성을 도시한 도면이다.
도 2c에 도시된 바와 같이, 스타일러스 펜(240)은 펜 IC(intergrated circuit)(241), 신호 발생기(242), 및 필압모듈(243)을 포함할 수 있다.
이때, 펜 IC(241)는 스타일러스 펜(240)의 전반적인 동작을 제어할 수 있다. 신호발생기(242)는 복수의 펜을 구별하기 위한 주파수 신호를 생성한다. 터치 스크린 패널(210)에 복수의 스타일러스 펜(240)의 복수의 터치가 감지된 경우, 프로세서(130)는 복수의 신호발생기(242)에서 발생한 주파수를 이용하여 각각의 스타일러스 펜을 구별할 수 있다. 이때, 프로세서(130)는 사용자 또는 기능에 따라 상이한 주파수를 이용할 수 있다. 2개 이상의 스타일러스 펜(240)이 사용자에 따라 상이한 주파수를 가지는 경우, 프로세서(130)는 각각의 스타일러스 펜(240)을 구별하여 각각의 기 설정된 범위에 각각의 제2 터치를 감지할 수 있다. 이는 도7에서 자세히 후술한다.
필압 모듈(243)은 터치 디스플레이 패널(200)에 스타일러스 펜(240)이 터치된 경우, 터치된 필압을 감지할 수 있다. 예를 들어 필압이 기 설정된 압력보다 낮은 경우, 스타일러스 펜(240)의 터치가 인식되지 않을 수 있다. 그러나 상술한 스타일러스 펜(240)의 구성은 일부 생략 또는 추가 될 수 있음은 물론이다.
도 3은 본 개시의 일 실시 예에 따른 기 설정된 범위내의 손 터치를 감지하는 방법을 설명한 예시도이다.
먼저 사용자가 판서를 위한 펜 터치를 시작할 수 있다. 프로세서(130)가 감지부(110)를 통해 감지된 펜 터치를 수신한 경우, 프로세서(130)는 디스플레이부(110)상에 펜이 터치된 위치에 대한 좌표값을 획득할 수 있다. 프로세서(130)는 획득한 좌표값을 기준으로 기 설정된 범위 내에서 사용자의 제2 터치를 수신할 수 있다. 기 설정된 범위 내에 사용자의 제2 터치가 감지되면, 프로세서(130)는 제2 터치에 대응되는 기능을 실행하여 디스플레이 하도록 디스플레이부(120)를 제어할 수 있다.
만약, 기 설정된 범위 밖에 임의의 터치가 입력된 경우, 프로세서(130)는 임의의 터치에 대응하는 기능을 실행하지 않을 수 있다.
또 다른 실시 예로, 프로세서(130)는 기 설정된 범위 밖의 임의의 터치를 다른 사용자의 터치로 감지하고, 다른 사용자의 터치에 대응하는 기능을 수행할 수도 있다. 기 설정된 범위 밖의 임의의 터치를 다른 사용자의 터치로 인식하는 경우, 프로세서(130)는 임의의 터치에 대한 좌표 값을 획득하고, 획득된 좌표값에 대응하는 기 설정된 범위를 설정할 수 있다.
그러나 이는 본원 개시의 일 실시 예에 불과 할 뿐, 이에 한정되는 것은 아니며, 기 설정된 범위 밖에 임의의 터치가 입력된 경우, 프로세서(130)가 이를 알리는 메시지를 표시하도록 디스플레이부(120)를 제어할 수도 있으며, 프로세서(130)가 임의의 터치의 종류(예를 들어 손 터치인지 펜 터치인지)에 따라 각각 다른 기능을 수행하도록 제어할 수도 있음은 물론이다.
이때, 도 3에 도시된 바와 같이, 기 설정된 범위는 원의 형태일 수 있다. 이때 원의 지름은 사용자의 양팔의 너비에 해당하는 길이일 수 있다. 또한 획득된 좌표값은 원의 둘레에 위치할 수 있다. 사용자의 양팔의 너비에 해당하는 길이는 디스플레이 장치를 사용하는 해당 국가의 성인의 양팔의 너비의 평균일 수 있다.
한편, 원의 지름은 사용자 양 팔의 너비의 2/3 또는 1/2 의 길이로 설정할 수도 있다.　 즉, 원의 지름은 디스플레이 장치(100)의 크기를 고려하여 사용자 양팔의 너비를 기준으로 비율을 조절할 수 있다.
또 다른 실시 예로, 디스플레이 장치(100)에 사용자의 신체 조건을 입력하여 기 설정된 범위를 결정하기 위한 원의 지름을 구할 수 있다.'
또 다른 실시예로, 기 설정된 범위는 펜 터치에 의해 획득된 좌표 값을 원의 중심으로 하고, 적절한 길이를 원의 반지름으로 하는 범위일 수 있다. 이때, 적절한 길이는 사용자의 양 팔의 너비, 양 팔의 너비의 2/3 또는 1/2 등 다양하게 정해질 수 있다.
그러나 이는 일 실시 예에 불과할 뿐, 원의 지름은 고정된 임의의 값이 될 수도 있으며, 기 설정된 범위가 원의 형태가 아닌 타원, 직사각형 등 다양한 형태가 될 수도 있음은 물론이다.
도 4a 내지 도 4d는 본 개시의 일 실시 예에 따른 손 터치에 대응하는 메뉴 UI의 실행 및 제거 방법을 도시한 예시도이다.
도 4a에 도시된 바와 같이, 사용자의 펜 터치(411)를 입력 받는 동안, 프로세서(130)는 감지부(110)를 통해 손 터치(412)를 입력 받아 메뉴UI(413)를 생성할 수 있다. 다만, 사용자의 펜 터치(411)가 없는 경우에도, 프로세서(130)는 손 터치(412)를 통해 메뉴UI(413)를 실행하도록 디스플레이부(120)를 제어할 수 있음은 물론이다.
이때, 손 터치(412)는 다양한 형상을 가질 수 있다. 구체적으로, 손 터치(412)는 다양한 형상을 가질 수 있고, 다양한 형상에 대응되는 기능이 실행될 수 있다. 한편, 프로세서(130)가 감지부(110)를 통해 손터치(412)를 입력 받고 있는 동안, 손 터치(412)의 형상이 변화하는 경우, 프로세서(130)는 변화하는 형상에 대응되는 기능을 실행하도록 디스플레이 장치(100)를 제어할 수 있다.
예를 들어, 제1 손터치가 O자형이고 제2 터치가 C자형 인 경우, 제1 손 터치에서 제2 손터치로 변하는 경우, 프로세서(130)는 메뉴UI에서 확장된 메뉴UI를 실행하도록 디스플레이부(120)를 제어할 수 있다.
이때, 제1 손터치가 입력되고 기 설정된 시간 이내(예를 들어 0.5초)에 제2 손터치로 변화하는 경우, 프로세서(130)는 제2 손터치에 대응되는 기능을 실행하도록 디스플레이 장치(100)를 제어할 수 있다. 그러나 기 설정된 시간은 0.5초에 한정되는 것은 아니며, 다양하게 결정될 수 있다.
예를 들어, 손 터치가 지속되는 동안, 손 터치의 형상이 변화하는 경우, 프로세서(130)는 변화한 손 터치의 형상에 대응하는 기능을 실행하도록 디스플레이 장치(100)을 제어할 수 있다.
이때, 사용자의 손 터치(412)는 다양한 형상을 가질 수 있다. 프로세서(130)는 다양한 형상에 대응하는 기능을 실행하여 표시하도록 디스플레이부(120)를 제어할 수 있다.
도시된 바와 같이 사용자의 손 터치는 O자형 손 터치(412)며, 이에 대응하여 실행되는 기능은 펜의 종류를 선택할 수 있는 UI 엘리먼트들을 포함한 메뉴UI(413)이다.
구체적으로, 메뉴UI(413)는 사용자의 O자형 손의 오른쪽 끝 부분에 위치할 수 있다. 그러나 이는 일 실시 예에 불과할 뿐, 손 터치(412)가 오른손인 경우에는 O자형 손의 왼쪽 끝 부분에 위치할 수도 있다. 또한 메뉴UI(413)는 상술한 위치에 한정되는 것은 아니며, 사용자의 손 주변에 적당한 곳에 위치할 수도 있음은 물론이다.
한편, 도 4b에 도시된 바와 같이, 사용자의 손 터치가 유지되면서 이동하는 경우, 프로세서(130)는 손 터치의 이동방향에 따라 생성된 메뉴UI를 이동하여 표시하도록 디스플레이부(120)를 제어 할 수 있다. 도 4b에 도시된 바와 같이, 점선으로 표시된 손과 메뉴 UI는 제거된 손과 메뉴UI이다.
즉, 제1 손 터치 및 메뉴UI(421)가 유지되면서 제2 손 터치 및 메뉴UI(422)로 이동할 수 있다.
또한, 사용자의 손 터치가 제거(423)된 경우, 디스플레이부(120)에 표시되던 메뉴UI도 함께 제거될 수 있다. 따라서, 사용자는 필요한 경우에만 손 터치를 통해 메뉴 UI를 디스플레이부(120)에 표시할 수 있다. 즉, 사용자는 메뉴UI가 판서를 방해하여 메뉴UI를 이동시키거나, 제거해야 하는 번거로움을 덜 수 있다.
그러나 사용자의 손 터치가 제거된 경우, 디스플레이부(120)에 표시된 메뉴UI가 유지될 수도 있음은 물론이다. 도 4c에 도시된 바와 같이, 사용자의 펜 터치(432) 및 손 터치가 존재하고, 이후 사용자의 손 터치가 제거(431)된 경우에도 디스플레이부(120)는 메뉴 UI를 표시할 수 있다.
메뉴UI 제거 방법에 대한 일 실시 예로, 프로세서(130)는 사용자의 손 터치가 제거 된 후 기 설정된 시간이 경과하면 메뉴UI를 제거하도록 디스플레이부(120)를 제어할 수 있다.
또 다른 실시 예로, 메뉴UI에 포함 된 복수의 UI 엘리먼트 중 하나는 메뉴를 제거하는 기능에 관한 UI 엘리먼트일 수 있다. 이 때 메뉴 제거 UI 엘리먼트가 펜 터치 된 경우, 프로세서(130)는 메뉴UI를 제거하도록 디스플레이부(120)를 제어할 수 있다.
또 다른 실시 예로, 사용자의 손 터치가 두 번 연속으로 손 터치를 하는 더블-탭 손 터치의 경우, 프로세서(130)는 손 터치가 제거되더라도 메뉴UI가 유지되어 표시되도록 디스플레이부(120)를 제어할 수 있다.
한편, 도 4d는 메뉴 UI(441)를 유지하는 경우 메뉴UI(441)를 이동시키는 방법을 설명한 예시도이다. 구체적으로, 프로세서(130)는 제1 메뉴UI(441)가 유지되는 동안, 디스플레이부(120)상의 임의의 위치에 사용자의 손 터치를 감지할 수 있다. 이때, 프로세서(130)는 유지되던 제1 메뉴UI를 제거하고 손 터치에 대응하는 위치에 제2 메뉴UI(442)를 생성하여 표시하도록 디스플레이부(120)를 제어할 수 있다.
도 5a 내지 도 5c는 본 개시의 일 실시 예에 따른 손 터치에 대응하는 메뉴 UI의 실행 및 메뉴UI에 포함된 복수의 UI엘리먼트 중 어느 하나를 선택하는 방법을 설명한 예시도이다.
도 5a에 도시된 바와 같이, 사용자가 펜 터치(511)를 하여 필기 기능이 실행되는 동안, 프로세서(130)가 감지부(110)으로부터 C자형 손 터치(512)를 수신한 경우, 프로세서(130)는 펜의 굵기 및 색깔을 선택할 수 있는 UI엘리먼트를 포함한 메뉴UI(513)를 표시하도록 디스플레이부(120)를 제어할 수 있다.
도 5b는 디스플레이부(120)에 표시된 메뉴UI에 포함된 복수의 UI엘리먼트들을 선택하는 방법을 설명한 예시도이다. 구체적으로, 메뉴UI(521)상의 복수의 UI엘리먼트에 사용자의 펜 터치가 감지된 경우, 프로세서(130)는 터치된 UI엘리먼트에 대응하는 기능을 실행할 수 있다.
이때, UI엘리먼트의 기능은 디스플레이부(120)에 표시된 메뉴UI의 하위 메뉴(522)로 확장하기 위한 기능일 수 있다. 구체적으로 도 5b에 도시된 바와 같이, 메뉴UI(521)상의 색깔을 선택하는 UI엘리먼트가 터치된 경우, 프로세서(130)는 이에 대응하는 하위 메뉴인 색깔 선택 메뉴UI(522)가 추가적으로 표시되도록 디스플레이부(120)를 제어할 수 있다.
　도 5c는 사용자의 손 터치가 유지되는 동안, 손의 형상이 변화한 경우를 설명한 예시도이다.
구체적으로 사용자의 O자형 손 터치 및 이에 대응되는 메뉴UI(531)가 생성되어 있고, 터치가 유지되면서 C자형 손 터치(532)로 변경된 경우, 프로세서(130)는 C자형 손 터치에 대응되는 메뉴UI를 표시하도록 디스플레이부(120)를 제어할 수 있다.
그러나 이는 일 실시 예에 불과할 뿐 이에 한정되는 것은 아니다. 예를 들어 사용자의 손 터치가 유지되는 경우, 손의 형상이 O자형에서 C자형으로 변화 하더라도 프로세서(130)는 O자형 터치에 대응하는 메뉴UI를 유지하도록 디스플레이부(120)를 제어할 수 있다. 이 경우, 사용자가 O자형 손 터치를 제거한 후, C자형 손 터치를 다시 입력하면, 프로세서(130)는 O자형 터치에 대응되는 메뉴UI를 제거하고, C자형 터치에 대응되는 메뉴UI를 표시하도록 디스플레이부(120)를 제어할 수 있다.
도 6은 복수의 사용자가 디스플레이 장치(100)을 사용하는 경우를 설명한 예시도이다.
이때, 제1사용자와 제2 사용자 각각의 제1 터치는 펜 터치일 수 있다. 제1 사용자의 펜 터치와 제2 사용자의 펜 터치는 각각의 펜에 설정된 주파수를 이용하여 구별할 수 있다. 구체적으로, 감지부(110)를 통해 제1 사용자 및 제2 사용자의 제1 터치가 감지되면, 프로세서(130)는 각각의 제1 터치에 대응되는 필기 기능을 실행할 수 있다. 프로세서(130)는 각각의 제1 터치가 입력된 좌표값을 획득하고, 획득한 좌표값을 기준으로 기 설정된 범위(610, 620) 내에서 각각의 사용자의 제2 터치를 입력 받을 수 있다. 감지부(110)가 기 설정된 범위(710,720) 내의 각각의 제2 터치를 감지한 경우, 프로세서(130)는 각각의 제2 터치에 대응하는 기능을 실행할 수 있다.
이때, 기 설정된 범위(610, 620)는 제1 사용자 및 제2 사용자 각각의 제1 터치의 좌표값을 기준으로 사용자의 행동반경을 고려하여 결정될 수 있다. 그러나 이에 한정되는 것은 아니고, 기 설정된 범위는 카메라에 의해 사용자의 위치를 판단하여 결정할 수도 있으며, 그 외 다양한 방법에 의해 결정될 수 있음은 물론이다.
한편, 손 터치의 형상은 다양할 수 있다. 상술한 바와 같이, 손 터치의 형상은 O자형, 또는 C자형일 수 있다. 그러나 이러한 형상에 한정되는 것은 아니며 다양한 손 터치의 유형에 따라 대응되는 기능을 실행할 수도 있음은 물론이다.
일 실시예로, 터치된 손가락의 개수를 이용하여 손의 유형을 결정할 수도 있다. 이하, 도 7 내지 도 12는 본 개시의 일 실시예에 따른 손가락 터치를 이용하여 손의 유형을 판단하고, 손의 유형에 대응되는 기능을 설명한다. 이하, 손가락 터치를 이용한 손의 유형은 손가락 터치 패턴이라고 한다.
이때 제1 터치 및 제2 터치는 모두 손 터치일 수도 있으나, 이에 한정되는 것은 아니다.
도 7은 본 개시의 일 실시예에 따른 디스플레이부(120) 장치에서 손 터치의 패턴을 감지하는 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 디스플레이 장치(100)은 사용자의 손가락 터치를 감지할 수 있다(S710). 사용자의 손가락 터치가 감지된 경우 디스플레이 장치(100)는 기존의 손가락 터치가 존재하는지를 판단할 수 있다(S720). 즉, S720은 디스플레이 장치(100)에 입력된 손가락 터치가 최초의 신호인지, 추가 신호인지를 판단할 수 있다.
디스플레이 장치(100)에 입력된 손가락 터치가 최초의 신호인 경우, 프로세서(130)는 손가락의 개수를 판단할 수 있다(S740).
이때, 손가락의 개수가 2개 이하인 경우, 프로세서(130)는 패턴 분석을 하지 않고, 감지된 손가락의 신규 좌표의 값을 업데이트 할 수 있다(S790).
감지된 손가락 수가 3개 이상인 경우 프로세서(130)는 손가락 패턴을 분석할 수 있다(S750). 손가락 패턴 분석이란, 후술할 도 8의 내용과 같이 손가락 터치 입력에 따른 손 터치의 유형을 판단하는 것을 말한다.
S750의 손가락 패턴을 분석하여 그 패턴이 left인지, right인지, middle인지를 판단할 수 있다(S760). 이때, left는 손 터치의 유형이 왼손인 경우를, right는 손 터치의 유형이 오른손인 경우를, middle은 손 터치의 유형이 왼손인지 오른손인지를 판단할 수 없는 경우를 의미한다.
S760에 의한 손가락 패턴 분석이 끝난 경우, 손가락 패턴에 대응하는 UI를 실행하고(S770), 감지된 손가락의 신규 좌표를 업데이트 할 수 있다(S790).
다시 S720으로 돌아와서, 디스플레이 장치(100)에 입력된 손가락 터치가 추가 신호인 경우, 이전 손가락 터치에서의 손가락의 개수와 비교하여 터치된 손가락의 개수가 변하였는지 판단할 수 있다(S730)
손가락 수의 변화가 없는 경우 프로세서(130)는 손가락의 개수를 판단할 수 있다(S740).
이때, 손가락의 개수가 1개 또는 2개인 경우, 프로세서(130)는 패턴 분석을 하지 않고, 감지된 손가락의 신규 좌표의 값을 업데이트 할 수 있다(S790).
감지된 손가락 수가 3개 이상인 경우 프로세서(130)는 손가락 패턴을 분석할 수 있다(S750).
프로세서(130)는 S750의 손가락 패턴을 분석하여 손 터치의 유형이 left인지, right인지, middle인지를 판단할 수 있다(S760).
S760에 의한 손가락 패턴 분석이 끝난 경우, 프로세서(130)는 손가락 패턴에 대응하는 UI를 실행하고(S770), 감지된 손가락의 신규 좌표를 업데이트 할 수 있다(S790).
다시 S730으로 돌아와서, 터치된 손가락의 수가 변하지 않은 경우 기존 UI를 유지하고(S780), 감지된 손가락의 신규 좌표를 업데이트 할 수 있다(S790).
도 8a 내지 도 8f는 본 개시의 실시예에 따른 손 터치의 유형을 판단하는 방법을 도시한 예시도이다.
도 8a에 도시된 바와 같이, 복수의 손가락 터치가 입력되면, 프로세서(130)는 감지부(110)를 통해 디스플레이부(120)상에 터치된 손가락의 좌표를 획득할 수 있다. 프로세서(130)는 감지부(110)에서 획득된 좌표정보를 이용하여 터치된 손가락의 개수를 판단할 수 있다.
도 8b 및 도 8c는 감지부(110)에 터치된 손가락이 5개인 경우, 손 터치의 유형을 구별하는 방법을 설명한 예시도이다.
먼저 프로세서(130)는 감지부(110)로부터 터치된 손가락의 좌표를 수신한 경우, 손가락의 숫자를 판단하고, 도 8b 및 도 8c와 같은 가상의 window를 생성할 수 있다.
프로세서(130)는 가상의 window를 분석하여 수신한 좌표가 801-805와 같은 경우 터치된 사용자의 손이 왼손이라고 판단하고, 811-815와 같은 경우 터치된 사용자의 손이 오른손이라고 판단할 수 있다.
프로세서(130)는 복수의 손가락이 터치된 좌표값 사이의 거리를 측정하고, 측정된 거리를 분석하여 터치된 사용자의 손이 왼손인지 오른 손인지 구분할 수 있다. 구체적으로 일반적인 터치 입력에 있어서 엄지와 검지 사이의 거리가 다른 인접한 2개의 손가락 사이의 거리보다 길다는 사실을 통해 엄지손가락(801 또는 811)을 검출할 수 있으며, 엄지 손가락의 왼쪽(801의 경우) 또는 오른쪽(811의 경우)에 손가락 터치가 감지된 경우 프로세서(130)는 터치된 사용자의 손이 왼손 또는 오른손이라고 판단할 수 있다.
도 8d 및 도 8e는 감지부(110)에 터치된 손가락이 4개인 경우, 손 터치의 유형을 구별하는 방법을 설명한 예시도이다.
구체적으로, 도 8d 및 도 8e는 손가락이 4개가 터치되며, 터치된 손가락 중 하나는 엄지손가락을 포함하는 경우의 판단방법이다.
먼저 프로세서(130)는 감지부(110)로부터 터치된 손가락의 좌표를 수신한 경우, 손가락의 숫자를 판단하고, 같은 가상의 window를 생성할 수 있다.
가상의 window를 분석하여 수신된 좌표가 821 내지 824와 같은 경우 프로세서(130)는 터치된 사용자의 손이 왼손이라고 판단하고, 수신된 좌표가 831 내지 834와 같은 경우 프로세서(130)는 터치된 사용자의 손이 오른손이라고 판단할 수 있다.
도 8b 내지 도 8e에서는 손가락이 4개인 경우에 대하여 설명하였지만 손가락이 3개인 경우에도 같은 방법이 적용될 수 있다. 즉, 감지부(111)에 입력된 손가락이 821 내지 823 또는 831 내지 833인 경우(미도시)에도 프로세서(130)는 터치된 사용자의 손이 왼손인지, 오른손인지 판단할 수 있다.
도 8f는 엄지손가락이 터치되지 않은 경우의 판단방법이다. 도 8f에 도시된 바와 같이 감지부(110)에 입력된 좌표가 841 내지 844인 경우 프로세서(130)은 터치된 손이 오른손인지 왼손인지에 대해 판단하지 않는다. 상술한 바와 같이 이러한 경우 손 터치의 유형은 “middle”이다. 따라서, 이러한 middle 손 터치의 유형이 입력되면, 프로세서(130)는 해당 손 터치의 유형 및 손가락의 개수에 대응하는 기능을 실행할 수 있다.
도 9a 내지 도 9c는 본 개시의 일 실시예에 따른 손 터치의 유형 및 손가락의 개수에 대응되는 기능을 설명하기 위한 예시도이다.
도 9a는 터치 패턴이 left인 경우, 도 9b는 터치 패턴이 right인 경우, 도 9c는 터치 패턴이 middle인 경우 구별될 수 있는 동작이다.
다만, 도 9a 내지 도 9c는 터치 패턴을 분석할 때, 터치된 손가락의 종류는 고려하지 않고 있으나, 터치된 손가락의 종류까지 고려하여 터치 패턴을 분류할 수도 있음은 물론이다.
예를 들어 엄지 검지 중지가 터치된 경우의 터치 패턴과 엄지 검지 약지가 터치된 터치 패턴이 각각 다른 기능을 수행하도록 할 수 있다. 구체적으로, 도 9a의 902의 경우 엄지, 검지, 중지, 약지가 터치된 것으로 도시되어 있지만, 엄지 손가락을 제외한 나머지 손가락의 종류는 바뀔 수 있다. 즉, 검지, 중지, 약지, 새끼 손가락 중 어느 3개를 포함한 터치 동작 또한 고려될 수 있다. 도 9a 및 도 9b에서 고려할 수 있는 경우의 수는 다음 표1과 같으며, 도 9c에서 고려할 수 있는 경우의 수는 표2와 같다. 하기 표에서 O는 터치된 경우를, X는 터치가 되지 않은 경우를 나타낸다.
Left/Right 엄지 검지 중지 약지 새끼
1 O O O O O
2 O O O O X
3 O O O X O
4 O O X O O
5 O X O O O
6 O O O X X
7 O O X O X
8 O O X X O
9 O X O O X
10 O X O X O
11 O X X O O
Middle 검지 중지 약지 새끼
1 O O O O
2 O O O X
3 O O X O
4 O X O O
5 X O O O
즉, 표1의 구성 1은 도 9a의 901 및 도 9b의 911을, 표1의 구성 2는 도 9a의 902 및 도 9b의 912를, 표1의 구성 6은 도 9a의 903 및 도 9b의 913을, 표2의 구성 1은 도 9c의 921을, 표2의 구성2는 도 9c의 922를 나타낸다. 그러나 표1의 구성 3 내지 5, 7 내지 11 및 표2의 구성 3 내지 5와 같이 도면에 도시 되지 않은 터치 패턴을 고려할 수 있음은 물론이다.
이때, 상기 표1 및 표2의 각각의 터치 패턴에 대응하는 각각의 기능들이 실행될 수도 있다.
도 9a 내지 도 9c는 사용자의 손가락이 3개 이상인 경우의 터치 패턴을 고려하였다. 그러나 이는 감지부(110)를 통해 입력되는 터치가 최초의 신호일 경우의 예이고, 후술하는 내용과 같이 입력되는 터치가 추가신호인 경우에는 손가락의 개수가 1개 또는 2개로 이루어 질 수도 있다.
또한, 입력되는 터치가 추가 신호인 경우 손 터치의 유형과 함께 손가락 개수의 변화를 이용하여 다양한 기능을 실행할 수 있다.
구체적으로, 상술한 손 터치의 유형과 손가락의 개수의 변화를 조합하여 동작을 실행하는 것도 가능하다. 구체적으로, 도 9a에서 사용자의 손이 901에서 902로 변화하거나, 또는 901 에서 903으로 변화하는 경우 각기 다른 기능을 수행할 수 있다. 이는 상술한 도 7의 S730의 내용이다. 마찬가지로 도 9b의 511 내지 513, 도 9c의 921 내지 922 에서도 다양하게 손가락의 개수를 변화시키며 대응하는 기능을 실행할 수 있다.
도 9a 내지 도 9c는 터치된 손가락의 개수가 3개 이상인 경우만을 도시하고 있으나, 입력되는 터치가 추가 신호인 경우에는 손가락의 개수가 1개 또는 2개로 감소하는 경우 또한 각기 다른 기능을 수행할 수 있음은 물론이다. 손가락의 개수가 1개 또는 2개로 감소하는 경우의 일 실시예는 도 10d 및 도 10d에서 후술한다.
도 10a 내지 도 10e은 본 개시의 일 실시예에 따른 지우개 UI를 생성하고 기능을 수행하는 것을 설명하기 위한 예시도이다.
도 10a 및 도 10b에 도시된 바와 같이, 사용자가 디스플레이 장치(100)상에 5개의 왼 손가락을 터치하는 경우(1001), 지우개 UI(1010)가 생성될 수 있다. 이 경우, 프로세서(130)는 터치된 손가락의 좌표를 분석하여 손 터치의 유형이 왼손이라고 판단하고 이에 대응되는 기능인 지우개 UI(1010)를 생성할 수 있다.
이때, 손가락이 정지하고 있는 경우에는 지우개UI(1010)의 지우기 기능이 실행되지 않으며, 손가락이 움직이는 경우 지우개UI(1010)의 지우개 동작이 실행될 수 있다. 다만 이에 한정되는 것은 아니고, 지우개 UI(1010)가 생성되는 즉시 지우개UI(1010)의 기능이 실행될 수도 있음은 물론이다.
도 10c는 도 10b에서 지우개 동작을 실행하는 동작을 멈추고 터치된 손가락의 개수를 감소 시키는 경우의 지우개 UI 기능에 대한 설명을 나타낸 도면이다. 구체적으로 손가락을 정지시킨 후 새끼손가락을 디스플레이부(120)에서 떼어 낸 경우(1002), 지우개 UI(1020)의 크기가 감소하며, 지울 수 있는 면적 또한 감소할 수 있다.
또한 도 10b 및 도 10c에서는 터치된 손가락의 개수가 1개 감소한 경우의 예를 설명하였지만, 손가락이 2개 감소하는 경우(미도시)에도 대응되는 기능이 실행될 수 있다.
구체적으로 손가락을 정지시킨 후 새끼 및 약지 손가락을 디스플레이부(120)에서 떼어 낸 경우, 지우개 UI의 크기가 감소하며, 지울 수 있는 면적도 감소할 수 있다. 이때, 터치된 손가락이 2개 감소하는 경우의 지우개 UI 및 지울 수 있는 면적의 크기는 터치된 손가락이 1개 감소하는 경우의 지우개 UI 및 지울 수 있는 면적의 크기보다 더 작을 수 있다.
도 10b 및 도 10c에서는 터치된 손가락의 개수가 5개에서 4개로 감소하는 경우(구체적으로는 새끼 손가락의 터치가 제거되는 경우)를 설명하고 있으나, 상술한 바와 같이 터치된 손가락이 5개에서 3개로 감소할 수도 있으며, 또한 터치된 손가락이 4개에서 3개로 감소할 수 있음은 물론이다.
또한 도 10b 및 도 10c에서는 새끼 또는 약지 손가락의 터치가 제거되는 것을 예로 설명하였으나, 상술한 표1 및 표2에서 설명한 바와 같이 엄지 손가락을 제외한 다른 손가락의 터치가 제외될 수도 있다.
도 10d는 터치된 손가락이 3개 이상인 상태에서 1개 또는 2개로 감소한 경우의 지우개 UI 및 기능의 변화를 설명한 도면이다.
구체적으로, 도 10c와 같은 손가락 터치에서 도 10d와 같이 터치된 손가락이 검지 손가락인 경우(1003)에는 지우개 UI(1020)의 크기 및 기능이 도 10c의 상태와 동일하게 유지될 수 있다.
도 10d의 경우, 터치된 손가락이 검지 손가락인 경우(1003)에 대하여 설명하였으나, 터치된 손가락이 검지 손가락인 경우(1003)뿐만 아니라, 엄지 손가락을 포함한 다른 손가락인 경우에도 도 10d와 동일한 기능을 할 수 있다. 또한 도 10d에서는 터치된 손가락이 하나인 경우에 대하여 설명하였지만, 터치된 손가락이 2개인 경우에도 도 10d와 동일한 기능을 하며, 이 경우에도 터치된 두개의 손가락의 종류는 엄지를 포함하여 어느 것이든 동일한 기능을 할 수 있다.
지우개 UI가 생성된 상태에서 터치된 손가락을 모두 제거하는 경우(1004), 도 10e와 같이 지우개 UI가 소멸할 수 있다.
도 11a 내지 도 11d은 본 개시의 일 실시예에 따른 메뉴 UI를 설명하기 위한 예시도이다.
도 11a 및 도 11b에 도시된 바와 같이, 사용자가 디스플레이 장치(100)상에 5개의 오른손가락을 터치하는 경우(1101), 메뉴 UI(1110)가 생성될 수 있다. 이 경우, 프로세서(130)는 터치된 손가락의 좌표를 분석하여 손 터치의 유형이 오른손이라고 판단하고 이에 대응되는 기능인 메뉴 UI를 생성할 수 있다.
도 11c는 도 11b에서 터치된 손가락의 개수를 감소 시키는 경우의 메뉴 UI 기능에 대한 설명을 나타낸 도면이다. 구체적으로 새끼손가락을 디스플레이부(120)에서 떼어 낸 경우(1102), 메뉴 UI(1120)의 상의 메뉴의 개수가 줄어들 수 있다.
또한 도 11b 및 도 11c에서는 터치된 손가락의 개수가 1개 감소한 경우(1102)의 예를 설명하였지만, 손가락이 2개 감소하는 경우(미도시)에도 대응되는 기능이 실행될 수 있다.
구체적으로 새끼 및 약지 손가락을 디스플레이부(120)에서 떼어 낸 경우, 메뉴UI의 크기가 감소하며, 메뉴 UI상의 메뉴의 개수가 줄어들 수 있다. 터치된 손가락이 2개 감소하는 경우의 메뉴 UI상의 메뉴의 개수는 터치된 손가락이 1개 감소하는 경우의 메뉴 UI 상의 메뉴의 개수보다 더 작을 수 있다.
도 11b 및 도 11c에서는 터치된 손가락의 개수가 5개에서 4개로 감소하는 경우(구체적으로는 새끼 손가락의 터치가 제거되는 경우)를 설명하고 있으나, 상술한 바와 같이 터치된 손가락이 5개에서 3개로 감소할 수도 있으며, 또한 터치된 손가락이 4개에서 3개로 감소할 수 있음은 물론이다.
또한 도 11b 및 도 11c에서는 새끼 또는 약지 손가락의 터치가 제거되는 것을 예로 설명하였으나, 상술한 표1 및 표2에서 설명한 바와 같이 엄지 손가락을 제외한 다른 손가락의 터치가 제외될 수도 있다.
도 11d는 터치된 손가락이 3개 이상인 상태에서 1개 또는 2개로 감소한 경우의 메뉴UI의 변화를 설명한 도면이다.
구체적으로, 도 11c와 같은 손가락 터치에서 도 11d와 같이 터치된 손가락이 검지손가락인 경우(1103)에는 메뉴UI(1120)가 도 11c의 상태와 동일하게 유지될 수 있다.
도 11d의 경우에는 터치된 손가락이 검지 손가락인 경우(1103)에 대하여 설명하였으나, 터치된 손가락이 검지 손가락뿐만 아니라, 엄지 손가락을 포함한 다른 손가락인 경우에도 도 11d와 동일한 기능을 할 수 있다. 또한 도 11d에서는 터치된 손가락이 하나인 경우에 대하여 설명하였지만, 터치된 손가락이 2개인 경우에도 도 11d와 동일한 기능을 하며, 이 경우에도 터치된 두개의 손가락의 종류는 엄지를 포함하여 어느 것이든 동일한 기능을 할 수 있다.
메뉴 UI가 생성된 상태에서 터치된 손가락을 모두 제거하는 경우, 메뉴UI가 소멸할 수 있다.
한편, 도 10a 내지 도11d에서는 지우개 UI는 왼손, 메뉴UI는 오른손의 터치에 의해 생성되는 것으로 설명하였으나, 지우개 UI는 오른손, 메뉴UI는 왼손의 터치에 의해 생성될 수 있음은 물론이다.
또한, 본 개시가 상술한 실시예에 의해 한정되는 것은 아니며, 상술한 터치 패턴(left, right, middle) 및 손가락의 개수의 조합에 따른 터치 입력 각각에 대하여 다양한 기능을 수행할 수 있음은 물론이다.
나아가 터치 패턴, 손가락의 개수 및 손가락의 종류의 조합에 따른 터치 입력 각각에 대하여 다양한 기능을 수행할 수도 있으며, 또한, 손가락의 개수가 변화하는 동작에 있어서, 터치가 제거되는 손가락의 순서에 따라 서로 다른 기능을 수행할 수도 있음은 물론이다.
도 12은 본 개시의 일 실시예에 따른 양손을 동시에 사용하는 경우를 설명하기 위한 예시도이다.
도 12에 도시된 바와 같이, 사용자는 양손을 모두 이용하여 지우개 UI(1211)와 메뉴UI(1212)를 독립적으로 실행시킬 수 있다. 즉, 사용자는 왼손(1201)을 터치하여 지우개 UI(1211)를 생성하고, 동시에 오른손(1202)을 터치하여 메뉴UI(1212)을 생성할 수 있다.
한편, 도 7 내지 도 12 에서는 터치된 손가락을 이용하여 손 터치의 유형을 판단하고, 손 터치에 대응되는 기능이 실행되는 설명하였으나, 다양한 실시예로 확장될 수 있다.
예를 들어, 상술한 바와 같이 펜 터치가 입력된 후 손 터치가 입력되는 경우, 프로세서(130)는 펜 터치된 좌표값을 획득하여 좌표값으로부터 기 설정된 범위 내의 손 터치를 입력 받도록 감지부(110)를 제어할 수 있다.
또 다른 실시예로, 손 터치가 입력된 후 펜 터치가 입력되는 경우, 프로세서(130)는 손 터치의 유형을 판단하고, 손 터치된 좌표값을 획득하여 좌표값으로부터 기 설정된 범위 내의 펜 터치를 입력받도록 감지부(110)를 제어할 수 있다. 구체적으로 디스플레이 장치(100)이 사용자의 오른손 터치를 입력 받은 경우, 기 설정된 범위는 손 터치의 왼쪽으로 설정될 수 있으며, 디스플레이 장치(100)이 사용자의 왼손 터치를 입력 받은 경우, 기 설정된 범위는 손터치의 오른손으로 설정될 수 있다.
또한, 상술한 바와 같이 제1 터치 및 제2 터치가 모두 손 터치일 수도 있음은 물론이다.
도 13은 복수의 터치를 입력 받는 디스플레이 장치의 동작을 설명한 흐름도이다.
도 13에 도시된 바와 같이, 제1 터치 감지부(111)는 사용자의 제1 터치를 감지할 수 있다(S1310). 이때, 사용자의 제1 터치는 펜 터치일 수 있으나, 이에 한정되는 것은 아니고, 손 터치 또는 기타 다른 터치 도구일 수 있음은 물론이다.
제1 터치 감지부(111)가 제1 터치를 감지한 경우, 프로세서(130)는 사용자의 제1 터치에 대응되는 제1 기능을 실행하고, 제1 기능과 관련된 화면은 표시하기 위해 디스플레이부(120)를 제어할 수 있다(S1320). 이때, 제1기능은 필기 기능일 수 있으나 이에 한정되는 것은 아니다. 따라서 제1 기능은 UI엘리먼트를 선택하는 기능일 수도 있고, 그 외 당업자가 용이하게 유추할 수 있는 기능들을 포함할 수 있다.
이때, 제2 터치가 감지되지 않는 경우(S1330-N)프로세서(130)는 제1 터치 감지를 기다릴 수 있다. 반면, 제2 터치가 감지된 경우(S1320-Y), 프로세서(130)는 감지된 제2 터치가 기 설정된 범위 내의 터치인지 판단 할 수 있다(S1340).
제2 터치가 기 설정된 범위 내의 터치인 경우(S1340-Y), 프로세서(130)는 제2 터치에 대응되는 제2 기능을 실행하고, 제2 기능과 관련된 화면을 표시하기 위해 디스플레이부(120)를 제어할 수 있다.
이 경우 사용자의 제2 터치는 다양한 형상을 가지는 터치일 수 있다. 예를 들어 사용자의 제1 터치가 제1 형상을 가지는 경우, 프로세서(130)는 메뉴UI를 표시하기 위하여 디스플레이부(120)를 제어할 수 있다. 사용자의 제2 터치가 제2 형상을 가지는 경우, 프로세서(130)는 지우개 UI를 표시하기 위하여 디스플레이부(120)를 제어할 수 있다. 그러나 이는 본 개시의 일 실시 예에 불과할 뿐, 프로세서(130)는 다양한 형상 터치에 대응되는 다양한 기능을 실행할 수 있음은 물론이다.
한편, 사용자의 제2 터치가 기 설정된 범위 내의 터치가 아닌 경우(S1340-N), 프로세서(130)는 제2 기능을 실행하지 않을 수 있다. 다만, 이는 일 실시 예에 불과할 뿐, 프로세서(130)는 기 설정된 범위가 아닌 위치에 제2 터치가 감지된 경우, 또 다른 기능을 실행할 수도 있다. 예를 들어, 기 설정된 범위가 아닌 위치에 제2 터치가 감지된 경우, 프로세서(130)는 디스플레이 장치(100)의 상태 정보를 디스플레이 하도록 디스플레이부(120)를 제어 할 수 있다. 다만 이는 일 실시 예에 불과할 뿐, 프로세서(130)가 손 터치에 대응하는 일반적인 다른 기능들이 실행될 수 있도록 디스플레이부(120)를 제어할 수 있음은 물론이다.
상기에서는 본 개시의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 설명된 실시 예들을 조합하거나, 하기의 청구 범위에 기재된 본 개시의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 개시를 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 디스플레이 장치 110: 감지부
120: 디스플레이부 130: 프로세서
140: 통신부 150: 메모리
160: 오디오 출력부

Claims (20)

  1. 디스플레이 장치의 제어방법에 있어서,
    디스플레이 화면 상에 사용자의 제1 터치를 감지하는 단계;
    상기 제1 터치에 대응되는 기능을 실행하는 단계;
    상기 제1 터치가 입력되는 동안 상기 제1 터치가 감지된 좌표 값을 기준으로 기 설정된 범위내의 상기 사용자의 제2 터치를 감지하는 단계; 및
    상기 제2 터치에 응답하여 상기 제2 터치가 감지된 좌표값에 상기 제2 터치에 대응되는 기능을 실행하는 단계;
    를 포함하고,
    상기 제1 터치에 대응되는 기능을 실행하는 단계는, 상기 제1 터치에 기초하여 필기 기능을 실행하는 단계를 포함하고,
    상기 제2 터치에 대응되는 기능을 실행하는 단계는, 상기 필기 기능을 제어하기 위한 복수의 UI 엘리먼트를 포함하는 메뉴 UI(user interface)를 표시하는 단계를 포함하고,
    상기 필기 기능은, 상기 제1 터치가 감지된 좌표 값에 기초하여 펜을 이용한 텍스트를 표시하는 기능을 포함하고,
    상기 제2 터치에 의한 형상이 제1 형상인 경우, 상기 메뉴 UI는 상기 펜의 종류를 선택하기 위한 메뉴 UI를 포함하고, 상기 제2 터치에 의한 형상이 제2 형상인 경우, 상기 메뉴 UI는 상기 펜의 두께를 선택하기 위한 메뉴 UI를 포함하는 제어방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 메뉴UI가 표시되는 동안 상기 제2 터치가 이동되는 경우, 상기 제2 터치의 이동방향에 대응되도록 상기 메뉴 UI를 이동하는 단계;를 포함하는 제어방법.
  4. 제1항에 있어서,
    상기 메뉴UI가 표시되는 동안 상기 제2 터치가 해제되는 경우, 상기 메뉴UI를 상기 디스플레이 화면 상에서 제거하는 단계;를 더 포함하는 제어방법.
  5. 제1항에 있어서,
    상기 메뉴 UI가 표시되는 동안 상기 복수의 UI 엘리먼트 중 하나가 터치된 경우, 상기 터치된 UI 엘리먼트에 대응하는 기능을 실행하는 단계; 를 더 포함하는 제어방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 제1 터치는 펜 터치이고, 상기 제2 터치는 손가락 터치인 제어방법.
  8. 제7항에 있어서,
    복수의 사용자 각각의 펜 터치 및 손 터치를 감지하는 단계;를 더 포함하고,
    상기 복수의 사용자의 펜 터치는, 상기 복수의 사용자 각각의 펜에 설정된 주파수를 이용하여 구별하는 제어방법.
  9. 제8항에 있어서,
    상기 복수의 사용자의 제2 터치 각각에 의해 복수의 메뉴가 디스플레이된 경우, 상기 복수의 메뉴에 대응되는 사용자를 나타내는 인디케이터를 표시하는 단계; 를 더 포함하는 제어방법.
  10. 디스플레이부;
    디스플레이부 상에 사용자터치를 감지하는 감지부; 및
    상기 감지부를 통해 제1 터치가 감지되면, 상기 제1 터치에 대응되는 필기 기능을 실행하고, 상기 제1 터치가 입력되는 동안 상기 제1 터치가 감지된 좌표 값을 기준으로 기 설정된 범위내의 상기 사용자의 제2 터치가 감지되면, 상기 제2 터치에 응답하여 상기 제2 터치가 감지된 좌표값에 상기 제2 터치에 대응되는 기능을 실행하는 프로세서;
    를 포함하며,
    상기 프로세서는,
    상기 필기 기능을 제어하기 위한 복수의 UI 엘리먼트를 포함하는 메뉴 UI(user interface)를 표시하여 상기 제2 터치에 대응되는 기능을 실행하고,
    상기 필기 기능은, 상기 제1 터치가 감지된 좌표 값에 기초하여 펜을 이용한 텍스트를 표시하는 기능을 포함하고,
    상기 제2 터치에 의한 형상이 제1 형상인 경우, 상기 메뉴 UI는 상기 펜의 종류를 선택하기 위한 메뉴 UI를 포함하고, 상기 제2 터치에 의한 형상이 제2 형상인 경우, 상기 메뉴 UI는 상기 펜의 두께를 선택하기 위한 메뉴 UI를 포함하는 디스플레이 장치.
  11. 삭제
  12. 제10항에 있어서,
    상기 프로세서는,
    상기 메뉴UI가 표시되는 동안 상기 제2 터치가 이동되는 경우, 상기 메뉴UI는 상기 제2 터치의 이동방향에 대응되어 이동하도록 상기 디스플레이를 제어하는 디스플레이 장치.
    　
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 메뉴UI가 표시되는 동안 상기 제2 터치가 제거되는 경우, 상기 메뉴UI가 제거하도록 상기 디스플레이를 제어하는 디스플레이 장치.
  14. 삭제
  15. 삭제
  16. 제10항에 있어서,
    상기 제1 터치는 펜 터치이고, 상기 제2 터치는 손가락 터치이며,
    상기 감지부는,
    펜 터치를 감지하기 위한 제1 감지부; 및
    손가락 터치를 감지하기 위한 제2 감지부;
    인 디스플레이 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    복수의 사용자 각각의 펜에 설정된 주파수를 이용하여 상기 감지부를 통해 복수의 사용자 각각의 펜 터치를 감지하는 디스플레이 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 복수의 사용자의 제2 터치 각각에 의해 복수의 메뉴가 디스플레이된 경우, 상기 복수의 메뉴에 대응되는 사용자를 나타내도록 인디케이터를 표시하도록 상기 디스플레이를 제어하는 디스플레이 장치.
  19. 삭제
  20. 삭제
KR1020160175784A 2016-12-21 2016-12-21 디스플레이 장치 및 그 제어방법 KR102560598B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160175784A KR102560598B1 (ko) 2016-12-21 2016-12-21 디스플레이 장치 및 그 제어방법
US15/790,156 US10802690B2 (en) 2016-12-21 2017-10-23 Display apparatus and controlling method thereof
US17/019,524 US11301120B2 (en) 2016-12-21 2020-09-14 Display apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160175784A KR102560598B1 (ko) 2016-12-21 2016-12-21 디스플레이 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20180072329A KR20180072329A (ko) 2018-06-29
KR102560598B1 true KR102560598B1 (ko) 2023-07-28

Family

ID=62561627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160175784A KR102560598B1 (ko) 2016-12-21 2016-12-21 디스플레이 장치 및 그 제어방법

Country Status (2)

Country Link
US (2) US10802690B2 (ko)
KR (1) KR102560598B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
KR102560598B1 (ko) * 2016-12-21 2023-07-28 삼성전자주식회사 디스플레이 장치 및 그 제어방법
KR102572675B1 (ko) * 2017-11-22 2023-08-30 삼성전자주식회사 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법
CN109542278B (zh) * 2018-09-27 2022-02-11 江苏特思达电子科技股份有限公司 触摸数据的处理方法、装置及触摸设备
US11586243B2 (en) 2019-08-02 2023-02-21 Dell Products L.P. Information handling system flexible display rotational orientation monitoring and management
US11243578B2 (en) 2019-08-02 2022-02-08 Dell Products L.P. Gear synchronized dual axis pivot hinge
US11294431B2 (en) 2019-08-02 2022-04-05 Dell Products L.P. Synchronized dual axis pivot hinge
US11024224B2 (en) * 2019-08-02 2021-06-01 Dell Products L.P. Information handling system flexible display operating condition monitoring and management
CN112656352B (zh) * 2019-10-16 2022-12-13 武汉迈瑞医疗技术研究院有限公司 内窥镜摄像主机及其控制方法、内窥镜成像系统及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140028546A1 (en) * 2012-07-27 2014-01-30 Lg Electronics Inc. Terminal and control method thereof

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502803A (en) * 1993-01-18 1996-03-26 Sharp Kabushiki Kaisha Information processing apparatus having a gesture editing function
JP2008118301A (ja) 2006-11-01 2008-05-22 Canon Inc 電子黒板システム
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
US8566045B2 (en) * 2009-03-16 2013-10-22 Apple Inc. Event recognition
TW201142686A (en) 2010-05-21 2011-12-01 Delta Electronics Inc Electronic apparatus having multi-mode interactive operation method
US9256360B2 (en) * 2010-08-25 2016-02-09 Sony Corporation Single touch process to achieve dual touch user interface
JP5630160B2 (ja) * 2010-09-07 2014-11-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US8842084B2 (en) * 2010-09-08 2014-09-23 Telefonaktiebolaget L M Ericsson (Publ) Gesture-based object manipulation methods and devices
US9285980B2 (en) * 2012-03-19 2016-03-15 Htc Corporation Method, apparatus and computer program product for operating items with multiple fingers
KR20130112350A (ko) 2012-04-03 2013-10-14 채상우 터치패턴기반 터치스크린 장치 및 그 제어방법
KR102092234B1 (ko) * 2012-08-03 2020-03-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9268423B2 (en) * 2012-09-08 2016-02-23 Stormlit Limited Definition and use of node-based shapes, areas and windows on touch screen devices
US20140071061A1 (en) 2012-09-12 2014-03-13 Chih-Ping Lin Method for controlling execution of camera related functions by referring to gesture pattern and related computer-readable medium
US20140104194A1 (en) * 2012-10-17 2014-04-17 Perceptive Pixel, Inc. Input Classification for Multi-Touch Systems
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US9250721B2 (en) * 2012-12-17 2016-02-02 Disney Enterprises, Inc. Wireless stylus device with interchangeable tips and eraser
US9760187B2 (en) * 2013-03-11 2017-09-12 Barnes & Noble College Booksellers, Llc Stylus with active color display/select for touch sensitive devices
US20140298274A1 (en) * 2013-03-22 2014-10-02 Ntt Docomo, Inc. Method and electronic device for processing data
JP6264370B2 (ja) * 2013-04-02 2018-01-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9733716B2 (en) * 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
JP2015001751A (ja) * 2013-06-13 2015-01-05 コニカミノルタ株式会社 手書き入力装置及び制御プログラム並びに制御方法
JP6418157B2 (ja) * 2013-07-09 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
KR20150014083A (ko) * 2013-07-29 2015-02-06 삼성전자주식회사 전자 장치 및 전자 장치의 입력 인식 방법
US9659279B2 (en) 2013-10-25 2017-05-23 Palo Alto Research Center Incorporated Method and system for enhanced inferred mode user interface operations
KR20150126494A (ko) * 2014-05-02 2015-11-12 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9727161B2 (en) * 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
KR20160008432A (ko) 2014-07-14 2016-01-22 조운현 스마트폰 버튼 생성방법
KR20160014481A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 Idle 모드에서 동작하는 전자 장치 및 방법
US20160048318A1 (en) * 2014-08-15 2016-02-18 Microsoft Technology Licensing, Llc Detecting selection of digital ink
KR20160034776A (ko) * 2014-09-22 2016-03-30 삼성전자주식회사 디바이스 및 상기 디바이스의 제어 방법
KR102301621B1 (ko) * 2015-01-16 2021-09-14 삼성전자주식회사 스타일러스 펜, 터치 패널 및 이들을 구비한 좌표 측정 시스템
JP2016139293A (ja) * 2015-01-28 2016-08-04 株式会社東芝 書き写し度算出システム、方法及びプログラム
US20160246472A1 (en) * 2015-02-25 2016-08-25 Qualcomm Incorporated Authentication based on a tap sequence performed on a touch screen
US10817172B2 (en) * 2015-03-27 2020-10-27 Intel Corporation Technologies for graphical user interface manipulations using multi-finger touch interactions
US11366585B2 (en) * 2015-04-24 2022-06-21 Samsung Electronics Company, Ltd. Variable display orientation based on user unlock method
KR20170016253A (ko) * 2015-08-03 2017-02-13 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10303328B2 (en) * 2015-09-14 2019-05-28 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
KR102168648B1 (ko) * 2016-01-07 2020-10-21 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR102560598B1 (ko) * 2016-12-21 2023-07-28 삼성전자주식회사 디스플레이 장치 및 그 제어방법
KR102468750B1 (ko) * 2017-12-29 2022-11-18 엘지디스플레이 주식회사 터치표시장치, 터치시스템, 터치구동회로, 펜 및 펜 센싱 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140028546A1 (en) * 2012-07-27 2014-01-30 Lg Electronics Inc. Terminal and control method thereof

Also Published As

Publication number Publication date
US20180173407A1 (en) 2018-06-21
US10802690B2 (en) 2020-10-13
US20200409540A1 (en) 2020-12-31
US11301120B2 (en) 2022-04-12
KR20180072329A (ko) 2018-06-29

Similar Documents

Publication Publication Date Title
KR102560598B1 (ko) 디스플레이 장치 및 그 제어방법
US9733752B2 (en) Mobile terminal and control method thereof
US20190033994A1 (en) Method of executing functions of a terminal including pen recognition panel and terminal supporting the method
KR102184288B1 (ko) 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법
KR102141099B1 (ko) 신속한 스크린 분할 방법 및 장치, 전자 디바이스, 디스플레이 인터페이스, 및 저장 매체
US9261990B2 (en) Hybrid touch screen device and method for operating the same
KR102081817B1 (ko) 디지타이저 모드 전환 방법
US10452191B2 (en) Systems and methods for automatically switching between touch layers of an interactive workspace based upon the use of accessory devices
US9041663B2 (en) Selective rejection of touch contacts in an edge region of a touch surface
US9990062B2 (en) Apparatus and method for proximity based input
KR101136153B1 (ko) 지문 인식 또는 멀티 터치가 가능한 센서 그리드 방식의 투명 패널 사용자 입력 장치, 사용자 지문 인식 방법, 및 사용자 터치 인식 방법
EP2988202A1 (en) Electronic device and method for providing input interface
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20150186037A1 (en) Information processing device, information processing device control method, control program, and computer-readable recording medium
TWI659353B (zh) 電子設備以及電子設備的工作方法
KR101728723B1 (ko) 전자 칠판 및 그 제어 방법
TW201816581A (zh) 介面控制方法和電子裝置
US20170192465A1 (en) Apparatus and method for disambiguating information input to a portable electronic device
KR20150012396A (ko) 입력 처리 방법 및 그 전자 장치
KR102559030B1 (ko) 터치 패널을 포함하는 전자 장치 및 그 제어 방법
KR101388793B1 (ko) 디지타이저 펜, 입력 장치 및 그 동작 방법
CN105843539A (zh) 一种信息处理方法及电子设备
EP3350677B1 (en) Coordinate measuring apparatus and method of controlling the same
JP6411067B2 (ja) 情報処理装置及び入力方法
KR20130102670A (ko) 터치스크린 단말기의 세밀한 조작을 위한 사용자별 손가락 및 터치 펜 접촉 위치 포인트 설정을 위한 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant