KR20140136356A - 사용자 단말 장치 및 그 인터렉션 방법 - Google Patents

사용자 단말 장치 및 그 인터렉션 방법 Download PDF

Info

Publication number
KR20140136356A
KR20140136356A KR1020130056794A KR20130056794A KR20140136356A KR 20140136356 A KR20140136356 A KR 20140136356A KR 1020130056794 A KR1020130056794 A KR 1020130056794A KR 20130056794 A KR20130056794 A KR 20130056794A KR 20140136356 A KR20140136356 A KR 20140136356A
Authority
KR
South Korea
Prior art keywords
pen
interaction
screen
user
touch
Prior art date
Application number
KR1020130056794A
Other languages
English (en)
Inventor
정종우
명인식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130056794A priority Critical patent/KR20140136356A/ko
Priority to EP14169167.5A priority patent/EP2806347A3/en
Priority to US14/282,308 priority patent/US9395823B2/en
Publication of KR20140136356A publication Critical patent/KR20140136356A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

사용자 단말 장치가 개시된다. 본 장치는, 디스플레이부, 디스플레이부에 대한 사용자 조작을 감지하기 위한 감지부, 디스플레이부에 대한 펜 터치가 감지되면 펜의 터치 지점에 대응되는 동작을 수행하는 제1 인터렉션 모드로 동작하고, 펜이 상기 디스플레이부에 놓여진 상태로 판단되면 제2 인터렉션 모드로 전환하여, 펜이 놓여진 라인 및 후속 사용자 조작에 대응되는 동작을 수행하는 제어부를 포함한다. 이에 따라, 다양한 인터렉션 동작을 편리하게 수행할 수 있게 된다.

Description

사용자 단말 장치 및 그 인터렉션 방법 { USER TERMINAL DEVICE AND INTERACTION METHOD THEREOF }
본 발명은 사용자 단말 장치 및 그 인터렉션 방법에 대한 것으로, 보다 상세하게는, 펜의 사용 방법에 따라 복수의 서로 다른 인터렉션 모드로 동작할 수 있는 사용자 단말 장치 및 그 인터렉션 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치들이 개발 및 보급되고 있다. 특히 최근에는 휴대폰이나 PDA, 태블릿 PC, 랩탑 PC 등과 같이 사용자가 휴대할 수 있는 사용자 단말 장치가 많이 사용되고 있다.
이러한 사용자 단말 장치들은 다양한 어플리케이션을 이용하여 사용자에게 서비스를 제공할 수 있다. 사용자는 홈 화면이나 어플리케이션 아이콘 화면 상에 표시된 아이콘을 선택하여, 자신이 원하는 어플리케이션을 실행시킬 수 있다.
사용자는 손이나 펜 등과 같은 입력 수단을 이용하여 화면을 직접 터치하여, 사용자 단말 장치에 설치된 각종 프로그램을 실행시키거나, 컨텐츠를 재생하는 등의 인터렉션을 할 수 있다.
하지만, 사용자 단말 장치의 기능이 점차 다양해지면서, 다양한 인터렉션 방법에 대한 니즈(Needs)도 증대되었다. 하지만, 지금까지의 사용자 단말 장치는 입력 수단을 이용하여 화면을 터치하거나, 화면에 가까이 접근시키는 정도의 조작으로밖에는 인터렉션을 할 방법이 없었다.
따라서, 사용자의 니즈를 충족시킬 수 있는 다양한 인터렉션 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 펜의 사용 방법에 따라 다양한 인터렉션 모드를 제공하는 사용자 단말 장치 및 그 인터렉션 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 사용자 단말 장치는, 디스플레이부, 상기 디스플레이부에 대한 사용자 조작을 감지하기 위한 감지부, 상기 디스플레이부에 대한 펜 터치가 감지되면 펜의 터치 지점에 대응되는 동작을 수행하는 제1 인터렉션 모드로 동작하고, 상기 펜이 상기 디스플레이부에 놓여진 상태로 판단되면 제2 인터렉션 모드로 전환하여, 상기 펜이 놓여진 라인 및 후속 사용자 조작에 대응되는 동작을 수행하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 디스플레이부 상에서 상기 펜의 호버링 조작이 복수 개의 지점에서 동시에 감지되고, 상기 복수 개의 지점 사이의 거리가 상기 펜의 길이에 대응되면, 상기 펜이 상기 디스플레이부에 놓여진 상태라고 판단할 수 있다.
그리고, 상기 제어부는, 상기 제1 인터렉션 모드에서, 상기 디스플레이부에 표시된 화면에 포함된 오브젝트가 상기 펜에 의해 터치되면, 상기 오브젝트에 매칭된 프로그램을 실행시키는 동작을 수행할 수 있다.
또는, 상기 제어부는, 상기 제1 인터렉션 모드에서, 상기 디스플레이부에 표시된 화면 상에서 상기 펜에 의한 드로잉이 감지되면, 드로잉 궤적에 따라 라인(line)을 표시하는 동작을 수행할 수 있다.
또는, 상기 제어부는, 상기 디스플레이부에 표시된 화면에 포함된 오브젝트 상에 상기 펜이 놓여진 것으로 판단되면 상기 제2 인터렉션 모드로 전환하고, 상기 펜이 놓여진 라인을 기준으로 상기 오브젝트를 고정시키고, 상기 후속 사용자 조작에 따라 상기 오브젝트의 형상을 변형시킬 수 있다.
또는, 상기 제어부는, 상기 제2 인터렉션 모드로 전환된 상태에서 상기 디스플레이부에 표시된 화면에 포함된 오브젝트를 상기 펜이 놓여진 라인 방향으로 이동시키는 상기 후속 사용자 조작이 감지되면, 상기 오브젝트를 상기 라인을 기준으로 정렬시킬 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 사용자 단말 장치는, 화면을 디스플레이하는 디스플레이부, 펜 촉 부분이, 내장 코일과 연결된 코어부 및 도전성 바디와 연결된 도전체부로 형성된 펜에 의한 펜 조작을 감지하기 위한 감지부, 상기 도전체부가 상기 화면에 터치되면 제1 인터렉션 동작을 수행하고, 상기 코어부가 상기 화면에 터치되면 상기 제1 인터렉션 동작과 상이한 제2 인터렉션 동작을 수행하는 제어부를 포함한다.
여기서, 상기 제1 인터렉션 동작은 터치 지점에 표시된 오브젝트를 선택하는 동작이고, 상기 제2 인터렉션 동작은 상기 펜의 필기 궤적에 따라 라인을 드로잉하는 동작이 될 수 있다.
그리고, 사용자 단말 장치의 인터렉션 방법은, 상기 사용자 단말 장치의 화면에 대한 펜 터치가 감지되면 펜의 터치 지점에 대응되는 동작을 수행하는 제1 인터렉션 모드로 동작하는 단계, 상기 펜이 상기 화면상에 놓여진 상태로 판단되면 제2 인터렉션 모드로 전환하는 단계, 상기 제2 인터렉션 모드로 동작하는 상태에서 후속 사용자 조작이 이루어지면, 상기 펜이 놓여진 라인 및 상기 후속 사용자 조작에 대응되는 인터렉션 동작을 수행하는 단계를 포함한다.
여기서, 상기 제2 인터렉션 모드로 전환하는 단계는, 상기 화면 상에서 상기 펜의 호버링 조작이 복수 개의 지점에서 동시에 감지되고, 상기 복수 개의 지점 사이의 거리가 상기 펜의 길이에 대응되면, 상기 펜이 상기 화면상에 놓여진 상태라고 판단할 수 있다.
또한, 상기 제1 인터렉션 모드에서, 상기 화면에 포함된 오브젝트가 상기 펜에 의해 터치되면, 상기 오브젝트에 매칭된 프로그램을 실행시키는 동작을 수행하는 단계를 더 포함할 수도 있다.
또는, 상기 제1 인터렉션 모드에서, 상기 디스플레이부에 표시된 화면 상에서 상기 펜에 의한 드로잉이 감지되면, 드로잉 궤적에 따라 라인(line)을 표시하는 동작을 수행하는 단계를 더 포함할 수도 있다.
또는, 상기 인터렉션 동작을 수행하는 단계는, 상기 화면에 포함된 오브젝트 상에 상기 펜이 놓여진 경우, 상기 펜이 놓여진 라인을 기준으로 상기 오브젝트를 고정시키고, 상기 후속 사용자 조작에 따라 상기 오브젝트의 형상을 변형시킬 수도 있다.
또는, 상기 인터렉션 동작을 수행하는 단계는, 상기 제2 인터렉션 모드로 전환된 상태에서 상기 화면에 포함된 오브젝트를 상기 펜이 놓여진 라인 방향으로 이동시키는 상기 후속 사용자 조작이 감지되면, 상기 오브젝트가 상기 라인을 기준으로 정렬되도록 표시할 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자 단말 장치의 인터렉션 방법은, 펜 촉 부분이, 내장 코일과 연결된 코어부 및 도전성 바디와 연결된 도전체부로 형성된 펜의 터치 여부를 감지하는 단계, 상기 코어부가 상기 화면에 터치된 것으로 감지되면 제1 인터렉션 동작을 수행하고, 상기 도전체부가 상기 화면에 터치된 것으로 감지되면, 상기 제1 인터렉션 동작과 상이한 제2 인터렉션 동작을 수행하는 단계를 포함한다.
여기서, 상기 제1 인터렉션 동작은 터치 지점에 표시된 오브젝트를 선택하는 동작이고, 상기 제2 인터렉션 동작은 상기 펜의 필기 궤적에 따라 라인을 드로잉하는 동작일 수 있다.
그리고, 사용자 단말 장치는, 화면을 디스플레이하는 디스플레이부, 경사진 라인 에지(line edge)형태로 이루어진 펜 촉을 포함하는 펜의 터치를 감지하기 위한 감지부, 상기 펜이 상기 화면에 터치되면 터치 면적에 따라 복수의 서로 다른 인터렉션 모드 중 하나의 인터렉션 모드로 동작하여, 상기 펜의 터치에 대응되는 인터렉션 동작을 수행하는 제어부를 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자는 펜을 사용하여 다양한 인터렉션 동작을 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 3은 본 발명의 일 실시 예에 따른 인터렉션 방법을 설명하기 위한 흐름도,
도 4는 펜의 구성의 일 예를 나타내는 도면,
도 5는 도 4의 펜을 이용한 인터렉션 방법을 설명하기 위한 도면,
도 6은 펜의 구성의 다른 예를 나타내는 도면,
도 7 및 도 8은 도 6의 펜을 이용한 다양한 인터렉션 방법을 설명하기 위한 도면,
도 9 내지 도 14는 복수의 서로 다른 인터렉션 모드의 예들을 구체적으로 설명하기 위한 도면,
도 15는 펜의 구성의 또 다른 예를 나타내는 도면,
도 16은 본 발명의 또 다른 실시 예에 따른 인터렉션 방법을 설명하기 위한 흐름도,
도 17 및 도 18은 펜의 구성의 또 다른 예들을 설명하기 위한 도면,
도 19는 펜 사용 각도에 따라 상이한 인터렉션 모드로 동작하는 실시 예를 설명하기 위한 도면,
도 20은 본 발명의 또 다른 실시 예에 따른 인터렉션 방법을 설명하기 위한 흐름도,
도 21은 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 22 및 도 23은 사용자의 조작을 감지하기 위한 감지부 구성을 설명하기 위한 도면,
도 24는 도 21의 실시 예에 따른 사용자 단말 장치에서 사용되는 펜 구성의 일 예를 나타내는 도면,
도 25는 펜이 놓여진 상태를 감지하는 방법을 설명하기 위한 도면,
도 26 내지 도 29는 도 21의 실시 예에 따른 인터렉션 방법의 다양한 예들을 설명하기 위한 도면,
도 30은 본 발명의 다양한 실시 예에 따른 사용자 단말 장치의 구성을 종합적으로 설명하기 위한 블럭도, 그리고,
도 31은 본 발명의 다양한 실시 예에 따른 사용자 단말 장치에서 사용 가능한 프로그램 구성의 일 예를 나타내는 도면이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다. 사용자 단말 장치(100)는 사용자가 임의로 사용할 수 있는 다양한 유형의 전자 장치를 의미한다. 도 1에서는 사용자 단말 장치(100)가 휴대폰인 것으로 도시하였으나, 사용자 단말 장치(100)의 종류 역시 다양하게 구현될 수 있다. 구체적으로는, 사용자 단말 장치(100)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다.
도 1에 따르면 사용자 단말 장치(100)의 본체에는 펜(200)이 장착 가능한 펜 장착부(190)가 마련된다. 사용자 단말 장치(100)의 전면에는 디스플레이부(110)가 배치된다. 펜 장착부(190)에는 펜(200)이 장착될 수 있다. 도 1에서는 펜 장착부(190)가 홀(hole)로 형성되어, 펜(200)이 삽입될 수 있도록 구현되었으나, 펜 장착부(190)는 다양한 형태로 구현될 수 있다. 가령, 펜 장착부(190)는 사용자 단말 장치(100)의 사이드 부분에 형성되어, 펜(200)을 고정시킬 수 있는 고정 클립 형태로 구현될 수도 있다.
사용자는 펜(200)을 본체(100)로부터 분리한 후, 펜(200)을 이용하여 디스플레이부(100)에 표시된 화면을 터치하거나, 화면에 가까이 접근시켜 인터렉션 동작을 수행할 수 있다. 이 경우, 펜(200)의 사용 형태에 따라 복수의 인터렉션 모드가 선택적으로 지원될 수 있다. 이하에서는, 본 발명의 다양한 실시 예에 따른 사용자 단말 장치(100)의 구성 및 그 인터렉션 방법에 대하여 실시 예 별로 구체적으로 설명한다.
< 펜의 터치 면적에 따라 상이한 인터렉션 동작을 제공하는 실시 예 >
도 2는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 설명하기 위한 블럭도이다. 도 2에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 감지부(120), 제어부(130)를 포함한다. 도 2에서는 본 발명의 다양한 실시 예에 따른 동작에 관여하는 구성요소들에 대해서만 도시하였으며, 나머지 세부 구성요소들에 대한 도시는 생략하였다.
디스플레이부(110)는 홈 화면, 아이콘 화면, 리스트 화면, 어플리케이션 실행 화면, 웹 브라우저 화면, 컨텐츠 재생 화면 등과 같은 다양한 종류의 화면을 디스플레이할 수 있다. 각 화면에는 아이콘이나, 이미지, 텍스트 등과 같은 다양한 오브젝트가 표시될 수 있다. 아이콘과 같은 일부 오브젝트에 대해서는 어플리케이션이 매칭될 수 있다. 사용자는 자신의 손가락이나 펜(200) 등을 이용하여 오브젝트를 선택하여, 자신이 원하는 제어 동작을 지시할 수 있다.
감지부(120)는 디스플레이부(110)에 대해 이루어지는 사용자 조작을 감지할 수 있다. 감지부(120)는 사용자의 손가락이나 기타 사물을 이용하여 화면을 터치하는 일반 터치 조작, 손가락 등을 화면 가까이 접근시키는 일반 호버링 조작, 펜(200)을 이용하여 화면을 터치하는 펜 터치 조작, 펜(200)을 화면 가까이 접근시키는 펜 호버링 조작 등과 같은 다양한 조작을 감지할 수 있다. 일 예로, 사용자가 화면 상에 표시된 하나의 오브젝트를 터치하는 경우, 감지부(120)는 그 터치 지점을 감지하여 제어부(130)로 통지한다.
제어부(130)는 사용자 단말 장치(100)의 동작을 전반적으로 제어할 수 있다. 제어부(130)는 감지부(120)에 의해 하나의 아이콘이 선택된 것으로 감지되면, 그 아이콘에 대응되는 제어 동작을 수행한다.
또한, 제어부(130)는 사용자 단말 장치(100)의 본체로부터 펜(200)이 분리되었는지, 또는 장착되어 있는지 여부를 판단할 수 있다. 펜 탈착 여부는 다양한 방식으로 구현될 수 있다. 일 예로, 도 1과 같이 펜 장착부(190)가 홀 형태로 구현된 경우, 홀 내부에 펜(200)과 접촉할 수 있는 접점이나 버튼 등이 마련될 수 있다. 펜(200)이 펜 장착부(190)에 장착되면 접점에 접촉되거나, 버튼이 눌러지게 된다. 이 경우, 펜 장착부(190)에 연결된 전자 회로에 의해 제어부(130) 측으로 일정 크기의 신호가 입력될 수 있다. 반면, 펜(200)이 펜 장착부(190)로부터 분리되면 접점이나 버튼으로부터 떨어지게 된다. 이에 따라, 펜 장착부(190)에서 제어부(130)로 인가되는 신호의 레벨이 변하게 된다. 제어부(130)는 이러한 신호 변화를 감지하여 펜(200)이 분리되었다고 판단할 수 있다.
제어부(130)는 펜(200)의 사용 방법에 따라 다양한 인터렉션 모드를 선택적으로 설정하여, 그 모드 하에서 이루어지는 사용자 조작에 따라 인터렉션 동작을 수행한다.
본 실시 예에 따르면, 제어부(130)는 펜(200)이 화면을 터치하면, 그 터치 면적에 기초하여 인터렉션 모드를 선택한다.
도 3은 본 실시 예에 따른 인터렉션 방법을 설명하기 위한 흐름도이다. 도 3에 따르면, 감지부(120)에 의해 펜 터치 조작이 감지되면(S310), 제어부(130)는 터치 면적이 임계치 미만인지 여부를 판단한다(S320). 즉, 사용자가 펜(200)에 가하는 힘이나, 펜(200)이 화면에 터치되는 각도 등에 따라, 터치 면적은 달라질 수 있다.
제어부(130)는 기 설정된 임계치 미만의 크기로 터치되었다면 제1 인터렉션 모드로 동작하고(S330), 임계치 이상의 크기로 터치되었다면 제2 인터렉션 모드로 동작한다(S340). 여기서 제2 인터렉션 모드란 동일한 사용자 조작에 대해 제1 인터렉션 모드와는 상이한 인터렉션 동작을 수행하는 모드를 의미한다. 가령, 제어부(130)는 제1 인터렉션 모드에서는 펜 터치 궤적에 따라 화면 상에 라인(line)을 드로잉하고, 제2 인터렉션 모드에서는 펜 터치 궤적에 따라 화면을 픽셀 단위로 스크롤시키는 인터렉션 동작을 수행할 수 있다. 이러한 인터렉션 모드의 예들에 대해서는 후술하는 부분에서 도면과 함께 구체적으로 설명한다.
도 2에서는 터치 면적에 기초하여 인터렉션 모드가 상이하게 결정되는 예에 대하여 설명하였으나, 터치 면적 이외에 터치 지점의 개수, 터치 위치, 터치 각도, 터치 횟수 등과 같은 다양한 기준에 따라 인터렉션 모드가 결정될 수도 있다. 또한, 도 2에서는 제1 및 제2 인터렉션 모드와 같이 두 개의 인터렉션 모드 중에서 하나가 결정되는 것으로 설명하였으나, 인터렉션 모드의 개수는 3개 이상으로 구현될 수도 있다. 이 경우, 임계치도 복수 개로 설정될 수 있다. 가령, 제어부(130)는 x1개 미만의 픽셀에 대응되는 터치 센서에서 터치가 감지된 경우에는 제1 인터렉션 모드로 동작하고, x1 이상 x2개 미만의 픽셀에 대응되는 터치 센서에서 터치가 감지된 경우에는 제2 인터렉션 모드로 동작하며, x3개 이상의 픽셀에 대응되는 터치 센서에서 터치가 감지된 경우에는 제3 인터렉션 모드로 동작할 수 있다.
터치 면적을 다양하게 변경시킬 수 있도록, 펜(200)의 펜 촉 부분은 다양한 형태로 구현될 수 있다.
도 4는 펜 구성의 일 예를 나타내는 도면이다. 도 4에 따르면, 펜(200)의 펜 촉(210) 부분은 일 단이 비스듬하게 잘린 원 기둥 형태를 이룬다. 이에 따라, 끝 단(211)이 뾰족하게 형성되고, 단면(212)은 타원 형을 이룬다.
도 5는 도 4의 펜(200)을 이용하여 화면을 터치하는 방법을 설명하기 위한 도면이다. 도 5에 도시된 바와 같이, 펜(200)을 단면(212) 방향으로 기울인 상태에서 화면을 터치하면, 단면(212)이 화면에 터치된다. 이에 따라, 터치 영역(510)이 상대적으로 크게 형성된다. 이러한 상태에서 사용자가 펜(200)의 터치 지점을 다른 지점으로 이동시키면, 제어부(130)는 그 이동 궤적에 따라 굵은 라인(511)이 입력된 것으로 판단한다.
한편, 도 5에 도시하지는 않았으나, 사용자는 펜(200)을 디스플레이부(110)의 화면에 90도 정도로 세운 상태로 터치할 수도 있다. 이 경우, 끝 단(211) 부분만이 디스플레이부(110)에 터치된다. 이에 따라, 터치 영역이 점 또는 작은 선 수준으로 작게 형성된다. 이러한 상태에서 사용자가 펜(200)을 이동시키면, 제어부(130)는 펜(200)의 이동 궤적을 따라, 가는 라인(thin line)이 입력된 것으로 판단한다.
도 5에 도시된 바와 같이, 사용자는 펜(200)을 잡은 상태에서 그 각도만을 기울여서 다양한 크기의 점이나, 다양한 굵기의 라인을 입력할 수 있다. 제어부(130)는 입력 형태에 따라 상이한 인터렉션 동작을 수행할 수 있다. 즉, 작은 점이 입력된 경우 및 굵은 점이 입력된 경우, 또는 가는 라인이 입력된 경우 및 굵은 라인이 입력된 경우를 구분하여 서로 다른 인터렉션 모드로 동작할 수 있다.
도 6은 펜 구성의 또 다른 예를 나타내는 도면이다. 도 6에 따르면, 펜 촉(210)의 끝 부분이 경사진 라인 에지(line edge)(221)형태로 이루어 질 수 있다. 이에 따라, 라인 에지(221)의 일 단(222)은 타 단에 비해 뾰족하게 형성된다.
도 7은 도 6의 펜(200)을 세운 상태로 화면을 터치한 경우를 나타낸다. 도 7에 따르면, 펜(200) 촉의 끝 부분(222)이 화면에 터치된다. 이에 따라, 작은 점(710)이 입력될 수 있다. 이러한 상태에서 사용자가 펜(200)을 움직이면 펜(200)의 이동 궤적에 따라 가는 선(711)이 입력될 수 있다.
도 8은 도 6과 같은 형태의 펜(200)을 기울여서 화면에 터치한 경우를 나타낸다. 도 8에 따르면, 펜(200)이 기울어진 상태로 터치되면, 화면상에는 작은 선(810)이 입력된다. 이러한 상태에서 사용자가 펜(200)을 라인 에지(221)에 수직한 방향으로 이동시키면, 굵은 라인(811)이 입력된다. 반면, 펜(200)을 라인 에지(221)와 동일한 방향으로 이동시키면, 가는 라인(812)이 입력된다.
이상과 같이, 사용자가 펜(200)을 터치한 면적이나, 터치 형태, 터치 각도 등에 따라 점, 선, 면 등과 같이 다양한 형태의 입력이 이루어질 수 있고, 점, 선, 면 각각의 크기나 굵기 등에 따라서도 다시 입력 형태가 구분될 수 있다. 제어부(130)는 이와 같이 다양한 입력 형태에 대해 각각 또는 부분적으로 복수의 인터렉션 모드를 매칭시켜, 그 입력 형태에 따른 인터렉션 동작을 수행할 수 있다.
< 인터렉션 동작의 예 >
이하에서는, 본 발명의 다양한 실시 예에 따른 인터렉션 동작을 설명한다.
도 9에 따르면, 제어부(130)는 펜(200) 사용 형태에 따라 인터렉션 모드를 판단한다(S910). 제어부(130)는 기 설정된 제1 조건을 충족하였다고 판단되면 제1 인터렉션 모드로 동작(a)하고, 제2 조건을 충족하였다고 판단되면 제2 인터렉션 모드로 동작(b)한다. 제1 조건 및 제2 조건은 다양한 기준에 따라 설정될 수 있다.
일 예로, 터치 면적이 임계치 미만인 경우가 제1 조건, 터치 면적이 임계치 이상인 경우가 제2 조건으로 설정될 수 있다. 제어부(130)는 감지부(120)에 포함된 복수의 터치 센서들 중에서 터치가 감지된 센서들의 개수를 확인하여 제1 조건을 충족하였는지 제2 조건을 충족하였는지 여부를 판단할 수 있다.
다른 예로, 터치 시에 펜(200)과 화면이 이루는 각도가 임계각 이상인 경우가 제1 조건, 임계각 미만인 경우가 제2 조건으로 설정될 수 있다. 이 경우, 펜(200) 내에는 가속도 센서나 지자기 센서 등이 내장될 수 있다. 가속도 센서가 내장된 경우, 가속도 센서는 펜(200)의 기울기(피치각, 롤각, 요우각 등)를 감지할 수 있다. 제어부(130)는 펜(200)으로부터 기울기 정보를 수신하여, 제1 조건 또는 제2 조건의 충족 여부를 판단할 수 있다. 이에 대해서는 후술하는 부분에서 구체적으로 설명한다.
또 다른 예로, 펜(200)에 구비된 버튼을 누르지 않은 상태에서 터치하는 경우가 제1 조건, 버튼을 누른 상태에서 터치하는 경우가 제2 조건으로 설정될 수도 있다. 이 경우, 펜(200) 내부에는 코일, 커패시터, 버튼에 연결된 스위치(미도시)등이 내장될 수 있다. 이에 따라, 버튼 선택 여부에 따라 감지부(120)에서 감지되는 신호의 크기가 달라질 수 있으며, 제어부(130)는 그 신호 크기에 기초하여 제1 조건 또는 제2 조건의 충족 여부를 판단할 수 있다.
또 다른 예로, 디스플레이부(110)에 내장된 압력 센서를 이용하여 펜 터치 시에 감지된 압력이 임계 압력 미만인 경우가 제1 조건, 임계 압력 이상인 경우가 제2 조건으로 설정될 수도 있다.
또 다른 예로, 펜이 터치된 상태에서 바로 터치 해제되는 경우가 제1 조건, 터치 상태가 임계 시간 이상 경과되는 경우가 제2 조건으로 설정될 수도 있다. 이 경우, 제어부(130)는 타이머를 이용하여 터치 시간을 카운팅하여, 제1 조건 또는 제2 조건의 충족 여부를 판단할 수 있다.
이 밖에도, 제1 조건 및 제2 조건은 다양한 기준에 따라 설정될 수 있다. 또한, 조건의 개수는 3개 이상으로 설정될 수도 있다. 이상과 같은 조건 판단 방법은 이하의 다른 실시 예에서도 동일하게 적용될 수 있다.
제어부(130)는 인터렉션 모드에 따라 다양한 인터렉션 동작을 수행할 수 있다. 도 9에 따르면, 제어부(130)는 제1 인터렉션 모드(a)에서 디스플레이부(110)에 표시된 화면(910) 상에서 펜(200)에 의한 드로잉이 감지되면, 드로잉 궤적에 따라 라인(line)(911)을 표시하는 동작을 수행할 수 있다. 도 9에서는 다양한 텍스트를 포함하는 화면(910)이 표시된 상태를 나타낸다. 이러한 상태에서 사용자는 화면(910)에 밑줄을 치거나 그림, 메모 등을 입력하는 인터렉션 동작을 수행할 수 있다.
한편, 제2 인터렉션 모드(b)에서는 제어부(130)는 펜(200)의 드로잉이 감지되면, 그 드로잉 궤적(921)에 대응되는 텍스트들이 선택된 것으로 판단한다. 도 9에서는 사용자가 펜(200)을 기울인 상태에서 이동시켜, 굵은 라인 형태의 드로잉 궤적(921)이 입력된 경우를 나타낸다. 제어부(130)는 드로잉 궤적과 텍스트 라인이 일정 비율 이상 일치하면, 그 텍스트 라인에 포함된 텍스트들을 선택하여, 다른 텍스트들과 구별되도록 표시한다. 사용자는 선택된 텍스트에 대해 일괄적으로 복사, 변경, 삭제, 잘라내기 등과 같은 편집을 수행할 수도 있고, 선택된 텍스트를 키워드로 한 검색 동작이나 기타 동작을 수행할 수 있다. 도 9에서는 도시하지 않았으나, 제어부(130)는 텍스트 선택이 이루어진 경우, 선택된 텍스트들 일측에 사용자가 선택 가능한 각종 메뉴들을 표시하여 줄 수도 있다.
도 10은 본 발명의 또 다른 실시 예에 따른 인터렉션 동작을 설명하기 위한 도면이다. 도 10에 따르면, 제1 인터렉션 모드(a)에서는 사용자는 펜(200)을 이용하여 화면(1000) 상에서 직접 오브젝트(1010)를 드로잉할 수 있다.
반면, 제2 인터렉션 모드(b)에서는 사용자는 펜(200)을 이용하여 화면(1000)을 터치한 상태에서 상하 또는 좌우 방향으로 드래깅하면, 제어부(130)는 그 드래깅 방향에 따라 화면(1000)을 상하 또는 좌우 방향으로 스크롤시킬 수 있다. 실시 예에 따라서, 스크롤은 화면 페이지 단위로 이루어질 수도 있고, 픽셀 단위로 이루어질 수도 있다. 또한, 도 10의 제2 인터렉션 모드(b)에서, 터치 앤 드래깅 조작 대신에 사용자가 펜(200)을 이용하여 오브젝트를 단순 터치하면, 제어부(130)는 터치된 오브젝트에 매칭된 어플리케이션을 실행시키고, 그 실행 화면을 표시하는 것과 같은 제어 동작을 수행할 수도 있다.
도 11은 본 발명의 또 다른 실시 예에 따른 인터렉션 동작을 설명하기 위한 도면이다. 도 11에 따르면, 제어부(130)는 제1 인터렉션 모드(a)에서는 화면(1100) 상에 가는 실선(1110)을 표시하고, 제2 인터렉션 모드(b)에서는 화면(1100) 상에 굵은 실선(1120)을 표시할 수 있다. 실선의 굵기는 펜(200)의 터치 면적에 비례하여 결정될 수도 있고, 임계치를 기준으로 제1 굵기 및 제2 굵기와 같이 단계적으로 결정될 수도 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 인터렉션 동작을 설명하기 위한 도면이다. 도 12에 따르면, 제어부(130)는 제1 인터렉션 모드(a)에서는 펜(200)의 이동 궤적에 따라 화면(1200) 상에 라인을 드로잉하여 오브젝트(1210)를 생성할 수 있다. 반면, 제2 인터렉션 모드(b)에서는 펜(200)에 대해 지우개 기능을 할당하여, 펜 이동 궤적에 포함되는 라인을 삭제하는 인터렉션 동작을 수행할 수 있다. 즉, 본 실시 예에 따르면, 제어부(130)는 인터렉션 모드 별로 펜(200)에 대해 상이한 기능을 할당하여 줄 수 있다. 도 12에서는 펜 기능과 지우개 기능이 각각 할당된 경우를 도시하였으나, 이 밖에도 연필, 펜, 볼펜 등과 같은 뾰족한 필체가 표시되는 기능과, 붓, 형광펜 등과 같이 굵은 필체가 표시되는 기능이 각각 할당될 수도 있다.
도 13은 본 발명의 또 다른 실시 예에 따른 인터렉션 동작을 설명하기 위한 도면이다. 도 13에 따르면, 제어부(130)는 제1 인터렉션 모드(a)에서는 펜(200)에 의한 조작과, 사용자 신체(50)에 의한 조작을 모두 인식하여, 각 조작에 대응되는 인터렉션 동작을 수행할 수 있다. 도 13에서는 자(1310)를 포함하는 화면(1300)이 표시된 상태를 나타낸다. 이러한 상태에서 사용자가 손가락으로 자(1310)를 터치하면, 제어부(130)는 그 터치 지점(T1)의 이동에 따라 자(1310)의 표시 위치를 변경할 수 있다. 이러한 상태에서 사용자는 펜(200)을 이용하여 자(1310)의 일 측에서 드로잉을 하면, 자(1310)에 의해 반듯한 라인(1320)이 드로잉될 수 있다.
반면, 제어부(130)는 제2 인터렉션 모드(b)에서는 펜(200)에 의한 조작만을 감지하여, 그 조작에 대응되는 인터렉션 동작을 수행할 수 있다. 도 13에 따르면, 펜(200)의 이동 궤적에 따라 라인(1330)을 드로잉하는 인터렉션 동작을 표시하였다.
도 14는 본 발명의 또 다른 실시 예에 따른 인터렉션 동작을 설명하기 위한 도면이다. 도 14에 따르면, 제1 인터렉션 모드(a)에서는 제어부(130)는 펜(200)의 이동 궤적에 따라 화면(1400) 상에 오브젝트(1410)를 드로잉하는 펜 툴(pen tool) 동작을 수행한다. 반면, 제2 인터렉션 모드(b)에서는, 제어부(130)는 오브젝트(1410) 내의 각 영역을 사용자가 선택한 컬러로 채우는 페인트통 툴 동작을 수행할 수 있다. 제어부(130)는 사용자가 드로잉한 오브젝트(1410)를 구성하는 폐곡선들을 경계로, 오브젝트(1410)를 복수의 영역으로 구분한다. 그 중 하나의 영역(1420)이 터치되면, 해당 영역(1420)을 사용자가 기 설정한 컬러로 표시한다.
상술한 여러 실시 예들에서는 제1 인터렉션 모드와 제2 인터렉션 모드에서의 동작을 서로 구분하여 각각 설명하였으나, 제1 및 제2 인터렉션 모드는 실시 예에 따라서는 서로 반대로 구현될 수도 있다. 가령, 제1 인터렉션 모드에서, 디스플레이부에 표시된 화면에 포함된 오브젝트가 상기 펜에 의해 터치되면, 오브젝트에 매칭된 프로그램을 실행시키는 동작을 수행하고, 제2 인터렉션 모드에서 펜(200)에 따른 드로잉 동작을 수행할 수도 있다. 즉, 이러한 실시 예들에서 설명한 각 인터렉션 모드들은 상황에 따라 다양하게 조합되어 구현될 수 있다.
또한, 상술한 여러 실시 예들에서는, 사용자가 펜의 접촉 면적을 다양하게 구현할 수 있도록, 펜 촉을 구성하였다. 이 밖에도, 펜 사용 방법에 따라 터치 면적이 달라지도록 펜 촉 부분은 다양한 형태로 구현될 수 있다.
도 15는 터치 면적을 변화시킬 수 있는 또 다른 펜의 구성의 예를 나타내는 도면이다. 도 15에 따르면, 펜 촉(1510)은 플렉서블한 특성을 가지는 탄성 부재로 이루어질 수 있다. 이에 따라, 사용자가 펜(200)에 대해 작은 힘을 가하여 디스플레이부(110)의 화면에 터치하면, 터치 면적이 작게 형성된다. 반면, 화면 방향으로 더 많은 힘을 가하면서 디스플레이부(110)의 화면에 터치하면, 펜 촉(1510)이 눌리면서 터치 면적이 커지게 된다. 제어부(130)는 터치 면적이 기 설정된 임계치 미만이면 제1 인터렉션 모드로 동작하고, 터치 면적이 임계치 이상이면 제2 인터렉션 모드로 동작할 수 있다.
한편, 상술한 바와 같이, 제어부(130)는 터치 시에 펜(200)과 화면이 이루는 각도에 따라 복수의 인터렉션 모드 중 하나로 선택적으로 동작할 수도 있다.
< 터치 각도에 따라 다양한 인터렉션 동작을 제공하는 실시 예 >
도 16은 이러한 실시 예에 따른 사용자 단말 장치(100)의 동작을 설명하기 위한 도면이다. 도 16에 따르면, 제어부(130)는 펜(200)이 디스플레이부(110)의 화면을 기준으로 임계각 이상으로 세워진 상태(a)와, 임계각 미만으로 기울어진 상태(b)를 구분하여 인식할 수 있다. 이 경우, 펜(200) 내에는 가속도 센서나 지자기 센서 등이 내장될 수 있다. 가속도 센서가 내장된 경우, 가속도 센서는 펜(200)의 기울기(피치각, 롤각, 요우각 등)를 감지할 수 있다. 구체적으로는, 가속도 센서가 펜(200)에 내장되면, 가속도 센서를 구성하는 각 축 플럭스게이트의 배치 방향에 따라 서로 직교하는 X, Y, Z축이 정해진다. 피치각은 Y축을 중심으로 회전되는 경우에 측정되는 회전각을 의미하고, 롤각은 X축을 중심으로 회전되는 경우에 측정되는 회전각을 의미한다. 요우각은 Z축을 중심으로 회전하는 경우에 측정되는 회전각을 의미한다. 피치각 및 롤각은 가속도 센서에 의해 측정되고, 요우각은 지자기 센서 또는 자이로 센서에 의해 측정될 수 있다. 펜(200)은 가속도 센서, 지자기 센서 또는 자이로 센서를 이용하여 피치각, 롤각, 요우각 등의 변화를 감지하고, 그 감지 결과를 사용자 단말 장치(100)로 전송한다. 제어부(130)는 그 감지 결과와 기 설정된 임계 조건을 비교하여, 인터렉션 모드를 결정할 수 있다.
따라서, 상술한 바와 같이 펜의 구성을 변경시키지 않더라도 사용자는 펜을 세우거나 기울이는 조작만으로 다양한 인터렉션 동작을 수행할 수 있다. 인터렉션 동작에 대해서는 상술한 다양한 도면에서 구체적으로 설명한 바 있으므로 중복 설명은 생략한다.
한편, 이상 설명한 실시 예들과 달리, 펜 촉 부분을 복수의 서로 다른 재질로 구성하여, 터치되는 재질에 따라 상이한 인터렉션 동작을 수행하도록 구현될 수도 있다.
< 터치 부분에 따라 상이한 인터렉션 동작을 제공하는 실시 예 >
도 17은 본 발명의 또 다른 실시 예에 따른 펜의 구성을 설명하기 위한 도면이다. 도 17에 따르면, 펜(200)은 코일(L), 커패시터(C1, C2, VC), 스위치(SW) 등을 포함하는 회로부(230)를 포함한다. 커패시터 및 코일에 의해 회로부(230)는 공진 회로로 동작할 수 있다.
펜(200)의 바디(250)는 도전성 재질로 이루어지며, 코일(L)은 코어부(210)를 권선한다. 코일(L)에 의해 권선된 코어부(210)의 일 단은 바디(250) 바깥으로 돌출되어 펜 촉 부분을 형성한다. 또한, 코어부(210)의 일 측에는 도전성 바디(250)와 연결된 도전체부(240)가 형성된다. 결과적으로, 펜 촉 부분은 도전체부(240) 및 코어부(210)로 형성된다. 스위치는 바디(250) 외측에 형성된 버튼(미도시)과 연결되어, 버튼이 푸쉬되지 않은 상태에서는 커패시터 C2를 오픈시키고, 버튼이 푸쉬되면 커패시터 C2를 회로부(230)에 병렬적으로 연결시킨다. 이에 따라 버튼 선택 여부에 따라, 회로부(230)의 커패시턴스 크기가 달라지게 된다.
사용자가 펜(200)을 똑바로 세운 상태에서 디스플레이부(110)를 터치하면, 코어부(210)가 화면에 터치된다. 반면, 사용자가 펜(200)을 도전체부(240) 방향으로 기울인 상태에서 디스플레이부(110)를 터치하면, 도전체부(240)가 화면에 터치된다. 제어부(130)는 코어부(210)가 터치될 때와 도전체부(240)가 터치될 때를 구분하여 인식할 수 있다. 그 인식 방법에 대해서는 후술하는 부분에서 구체적으로 설명한다.
제어부(130)는 코어부(210)가 터치될 때와 도전체부(240)가 터치될 때를 구분하여 서로 다른 인터렉션 모드로 동작할 수 있다. 가령, 도전체부(240)가 화면에 터치된 것으로 감지되면 제어부(130)는 제1 인터렉션 동작을 수행하고, 코어부(210)가 화면에 터치된 것으로 감지되면, 제1 인터렉션 동작과 상이한 제2 인터렉션 동작을 수행한다. 제1 및 제2 인터렉션 동작에 대한 예는 상술한 부분에서 이미 설명한 바 있으므로, 중복 설명은 생략한다.
도 18은 본 실시 예에 따른 인터렉션 방법을 설명하기 위한 흐름도이다. 도 18에 따르면, 제어부(130)는 펜의 코어부(210)가 터치되었을 때에는(S1810), 제1 인터렉션 모드로 동작한다. 이에 따라, 사용자의 펜 터치에 따라 제1 인터렉션 동작을 수행한다(S1820). 반면, 제어부(130)는 펜의 도전체부(240)가 터치되었을 때에는(S1830), 제2 인터렉션 모드로 동작한다. 이에 따라, 사용자의 펜 터치에 따라 제2 인터렉션 동작을 수행한다(S1840). 제1 및 제2 인터렉션 동작에 대한 예는 상술한 부분에서 이미 설명한 바 있으므로, 중복 설명은 생략한다.
도 17에서는 펜 촉 부분에 도전체부(240) 및 코어부(210)가 고정적으로 형성되고, 사용자가 펜(200)을 기울여야만 도전체부(240)를 화면에 터치시킬 수 있는 구조를 도시하였으나, 펜(200)의 구성은 이와 다르게 구현될 수도 있다.
도 19는 본 발명의 또 다른 실시 예에 따른 펜의 구성을 나타내는 도면이다. 도 19에 따르면, 펜(200)의 바디(1930)의 일 단에는 펜 촉(210)이 돌출 또는 함몰될 수 있는 홀(hole)이 형성되고, 바디(1930)의 타 단에는 펜 촉(210)을 홀 바깥으로 밀어낼 수 있는 스위치(1920)가 형성된다. 펜 촉(210)은 코일(1910)이 권선된 코어의 일 단부가 될 수 있다.
도 19에서는 도시를 생략하였으나, 펜 촉(210)은 스위치(1920)까지 이어질 정도로 길게 형성되고, 펜 촉 (210) 주변에는 스프링, 스토퍼(stopper) 등이 마련될 수 있다. 이에 따라, 사용자가 스위치(1920)를 누르게 되면, 스위치(1920) 하단의 구조물(미도시)에 의해 펜 촉(210)이 홀 바깥으로 밀려난 상태에서 스프링 및 스토퍼에 의해 고정된다. 사용자가 다시 스위치(1920)를 누르게 되면 스토퍼가 해제된 상태에서 스프링의 복원력에 의해 펜 촉(210)이 홀 안쪽으로 들어오게 된다.
따라서, 펜 촉(210)이 튀어 나와 있는 상태에서는 사용자가 펜을 기울이더라도 펜 촉(210)이 화면에 터치되고, 펜 촉(210)이 홀 내부로 들어가 있는 상태에서는 사용자가 펜을 세우거나 기울이거나 상관없이 홀 입구 부분(1931)이 화면에 터치된다.
바디(1730)와 홀 입구 부분(1931)은 도전성 재질로 각각 형성되어 서로 연결되므로, 사용자가 펜(200)을 잡고 홀 입구 부분(1731)을 화면에 터치시키면, 제어부(130)는 일반 터치 조작이 감지된 것으로 판단할 수 있다. 반면, 펜 촉(210)이 튀어 나와 있는 상태에서는 펜 터치 조작이 감지된 것으로 판단할 수 있다. 이에 따라, 제어부(130)는 감지 결과에 따라 복수의 서로 다른 인터렉션 모드를 선택적으로 실행시킬 수 있다.
상술한 실시 예들에서는 터치 면적, 터치되는 부분의 재질, 터치 각도 등과 같은 다양한 기준에 따라 복수의 인터렉션 모드를 제공하는 방법들을 설명하였으나, 본 발명의 또 다른 실시 예에서는 펜을 화면에 놓는 동작을 통해서, 새로운 인터렉션 동작을 수행할 수도 있다.
< 펜의 위치에 따라 상이한 인터렉션 동작을 제공하는 실시 예 >
도 20은 이러한 실시 예에 따른 인터렉션 방법을 설명하기 위한 흐름도이다. 도 20에 따르면, 사용자 단말 장치(100)는 일반적인 펜 터치가 감지되면(S2010), 제1 인터렉션 모드에 따라 인터렉션 동작을 수행한다(S2020). 제1 인터렉션 모드는 상술한 다양한 인터렉션 모드 들 중에서 적어도 하나로 구현될 수 있다. 일 예로, 제1 인터렉션 모드에서 화면상의 오브젝트가 펜(200)에 의해 터치되면, 제어부(130)는 그 터치된 오브젝트에 매칭된 제어 동작을 수행할 수 있다. 또는, 펜(200)의 이동 궤적에 따라 라인을 드로잉하는 동작을 수행할 수도 있다.
제어부(130)는 펜이 화면상에 놓여진 상태가 감지되면(S2030), 제1 인터렉션 모드를 제2 인터렉션 모드로 전환한다. 펜이 화면상에 놓여진 상태인지 여부는, 펜(200)의 구성에 따라 다양한 방식으로 판단할 수 있다.
일 예로, 펜(200)의 바디가 도전체로 이루어진 경우, 사용자가 화면 상에 펜(200)을 놓고 그 펜(200)에 손을 대고 있으면, 제어부(130)는 터치 센서를 이용하여 펜(200)이 화면에 터치된 영역을 판단할 수 있다. 이에 따라, 제어부(130)는 기 설정된 개수 이상의 터치 지점이 발생하고, 그 터치 지점이 하나의 라인을 이루는 것으로 감지되면, 펜(200)이 화면상에 놓여진 상태인 것으로 판단한다.
또는, 펜(200)이 복수의 코일을 내장하고 있는 경우, 기 설정된 조건을 충족하면 펜(200)이 화면상에 놓여진 상태라고 판단할 수 있다.
도 20에서는 펜(200)이 화면상에 놓여진 경우와 그렇지 않은 경우를 구분하여, 각 경우에 대해 상이한 인터렉션 모드로 동작하는 실시 예를 설명하였으나, 펜(200)이 화면이 아니라 사용자 단말 장치(100)의 주변이나, 본체의 베젤 부분, 키 패드 부분 등과 같은 다양한 위치에 놓여진 상태에서 상이한 인터렉션 모드로 동작하는 실시 예로 구현될 수도 있다.
도 21은 도 20의 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다. 도 21에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 감지부(120), 제어부(130) 및 저장부(140)를 포함한다.
저장부(140)는 사용자 단말 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장하기 위한 구성요소이다.　일 예로, 저장부(140)에는 화면상에 표시되는 각종 오브젝트에 대한 데이터와, 그 오브젝트에 매칭된 제어 동작에 대한 정보, 기 설정된 조건 정보 등이 저장될 수 있다. 도 2에서는 도시를 생략하였으나, 본 발명의 다른 실시 예들에서도 저장부(140)가 마련될 수 있음은 물론이다.
제어부(130)는 저장부(140)에 저장된 각종 프로그램 및 데이터를 이용하여 사용자 단말 장치의 전반적인 동작을 제어한다.
제어부(130)는 RAM(131), ROM(132), CPU(133), GPU(Graphic Processing Unit)(134), 버스(135)를 포함한다. RAM(131), ROM(132), CPU(133), GPU(134) 등은 버스(135)를 통해 서로 연결될 수 있다.
CPU(133)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(140)에 저장된 각종 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(134)는 사용자 단말 장치(100)의 부팅이 완료되면, 화면을 디스플레이한다. 구체적으로는, GPU(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(110)로 제공되어, 디스플레이 영역 내에 표시된다.
GPU(134)는 저장부(140)에 저장된 데이터를 이용하여 각종 화면을 렌더링할 수 있다. 또한, GPU(134)는 사용자가 손가락이나 펜으로 화면 상에서 드로잉(drawing) 동작을 수행하면, 그 조작 내용에 따라 오브젝트를 렌더링한다. 가령, 사용자가 펜(200)을 이용하여 원을 그리면, 그 드로잉 궤적에 따라 화면 상에 원이 표시된다.
GPU(134)는 화면과 오브젝트를 서로 다른 그래픽 레이어 상에 표현할 수 있다. 즉, 화면 레이어 상측에 오브젝트 레이어를 중첩시켜 표시한다. 상술한 바와 같이 일부 실시 예들에서는, 펜의 사용 방법에 따라 상이한 형태의 인터렉션 동작을 수행할 수 있다. GPU(134)는 인터렉션 모드에 대응되는 인터렉션 동작을 수행할 수 있다. 가령, 도 9의 실시 예의 경우에는, 제1 인터렉션 모드(a)에서는 라인(911)을 디스플레이하고, 제2 인터렉션 모드(b)에서는 라인을 표시하지 않을 수 있다. 대신에 CPU(133)에서 펜의 이동 궤적에 대응되는 텍스트를 선택하는 인터렉션 동작을 수행할 수 있다. 그 밖에도, 도 10 내지 도 14에서 설명한 바와 같은 다양한 인터렉션 모드에 따른 동작을 수행할 수 있다.
제어부(130)는 오브젝트 레이어에 렌더링된 오브젝트의 경계 선을 검출하여, 그 경계 선에 따라 오브젝트를 인식할 수 있다. 제어부(130)는 인식된 오브젝트 지점을 특정하기 위한 픽셀 좌표 값과, 그 픽셀 값들을 오브젝트 정보로, 저장부(140)에 저장할 수 있다. 이러한 저장값에 기초하여 제어부(130)는 사용자가 화면을 터치한 경우, 어떠한 오브젝트가 선택되었는지 여부를 판단할 수 있다. 가령, 메일 프로그램이 매칭된 오브젝트가 선택되었다면, 제어부(130)는 메일 프로그램을 실행시키고 그 실행 화면을 디스플레이부(110)에 디스플레이할 수 있다.
디스플레이부(110)는 상술한 바와 같은 다양한 화면을 디스플레이한다. 디스플레이부(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이부(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
도 21에서, 디스플레이부(110) 및 감지부(120)는 하나의 터치 스크린으로 구현된 경우를 도시하였다.
감지부(120)는 다양한 입력 수단을 이용한 사용자 조작이 감지되면, 감지 결과를 제어부(130)로 통지한다. 가령, 사용자가 손가락이나 펜으로 화면상의 일 지점을 터치하였다면, 감지부(120)는 터치 지점의 x, y 좌표 값을 제어부(130)로 통지한다. 사용자가 터치한 상태에서 터치 지점을 이동시키는 경우, 감지부(120)는 변화되는 터치 좌표값을 실시간으로 제어부(130)에 통지한다. 감지부(120)는 직접적인 터치가 이루어지지 않고, 가까이 접근만 한 경우도 감지할 수 있다.
구체적으로는, 감지부(120)는 펜 인식 패널(121)과 터치 패널(122)을 포함할 수 있다. 팬 인식 패널(121)은 펜(200)의 근접 입력 또는 터치 입력을 감지하고, 그 감지 결과에 따른 이벤트 신호를 출력한다. 이러한 펜 인식 패널(121)은 EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다.
구체적으로는, 펜(200)이 코일 및 커패시터 등으로 이루어진 공진 회로를 내장하고 있는 형태인 경우, 펜 인식 패널(121)은 전자 유도 코일 센서(미도시) 및 전자 신호 처리 회로부(미도시)를 포함할 수 있다. 전자 유도 코일 센서는, 복수의 루프 코일이 서로 교차되도록 배치된 그리드 구조로 이루어진다. 전자 신호 처리 회로부는 전자 유도 코일 센서의 각 루프 코일에 순차적으로 교류 신호를 제공하고, 각 루프 코일로부터 출력되는 신호를 제어부(130)로 전달한다.
펜(200)이 공진 회로를 내장하고 있는 형태인 경우, 펜 인식 패널(121)의 루프 코일 근방에 펜(200)이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜(200) 내의 공진 회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(121)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지된다. 이상에서는 펜(200)으로 기재하였으나, 전자 유도에 기초한 전류를 발생시킬 수 있는 물체라면 입력 수단으로 사용될 수 있다. 펜 인식 패널(121)은 디스플레이 부(110) 하측에 배치되어, 특정 이벤트 발생에 따라 또는 디폴트로 활성화될 수 있다.
터치 패널(122)은 사용자의 신체나 기타 사물을 통한 물리적인 터치 입력을 감지하기 위한 구성요소이다. 터치 패널(122)은 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다. 터치 패널(122)은 터치가 감지되면, 감지된 지점에 대응되는 터치 이벤트 값을 출력한다.
터치 패널(122)은 정전 용량 식이나 감압 식 등과 같은 다양한 형태의 터치 센서를 포함할 수 있다. 일 예로, 터치 패널(122)이 정전 용량 식으로 구현된 경우, 터치 패널(122)은 유리의 양면에 얇은 금속 전도성 물질(예를 들면, ITO(Indium Tin Oxide：산화 인듐주석) 막 등)을 코팅하여 유리표면에 전류가 흐르도록 하고 전하를 저장할 수 있는 유전체로 코팅되어 구성된다. 이러한 터치 패널(122)의 표면이 터치되면 정전기에 의해 일정량의 전하가 접촉 위치로 이동하고, 터치 패널(122)은 전하의 이동에 따른 전류의 변화량을 인식해서 터치된 위치를 감지하게 되고 터치 이벤트를 추적한다. 즉, 손가락이나, 일반 터치 펜에 의한 터치를 감지할 수 있다.
도 21에서는 펜 인식 패널(121)과 터치 패널(122)가 각각 별도의 패널로 마련된 것으로 도시하였으나, 두 패널이 하나의 패널로 구현될 수도 있다. 이에 따라, 감지부(120)는 사용자의 손가락에 의한 터치 조작 및 근접 조작과, 펜에 의한 터치 조작 및 근접 조작을 각각 구별하여 감지할 수 있다. 제어부(130)는 그 감지 결과에 따라 다양한 제어 동작을 수행할 수 있다.
펜 인식 패널(121)에서는 펜을 이용한 조작을 거의 픽셀 단위로 인식할 수 있다. 따라서, 제어부(130)가 펜 사용 모드에서는 화면 상에 표시되는 메뉴의 크기를 축소시키더라도, 사용자는 충분히 용이하게 해당 메뉴를 선택할 수 있다. 펜을 이용한 세밀한 조작을 감지하기 위하여, 펜 인식 패널(121)은 디스플레이부(110) 내의 디스플레이 패널 이상의 사이즈로 제작될 수 있다. 이에 따라, 디스플레이 패널의 경계 부분에서부터 사용자 조작을 픽셀 단위로 감지할 수 있다.
한편, 도 22는 감지부(120)의 세부 구성의 일 예를 나타낸다. 도 22를 참조하면, 감지부(120)는 적외선 소스부(123) 및 적외선 센싱부(124)를 더 포함할 수 있다. 적외선 소스부(123)는 디스플레이 부(110) 내부의 디스플레이 패널(115)의 일 표면에 배치되고, 적외선 센싱부(124)는 디스플레이 패널(115)의 타 표면에 배치된다. 적외선 소스부(123)는 디스플레이 패널(115)의 표면 방향으로 적외선을 조사한다. 이에 따라, 디스플레이 패널(115)의 표면 위로 사용자의 손가락(50)의 접근을 인식할 수 있는 일정한 영역이 존재한다. 이 영역이 근접 터치를 인식할 수 있는 유효 인식 영역(5)이 된다.
적외선 센싱부(124)는 어레이 형태로 배치되는 복수의 적외선 센싱 소자를 포함할 수 있다. 따라서, 손가락(50)이 유효 인식 영역(5) 안으로 근접하면 적외선 센싱부(124)는 손가락(50)에 의하여 반사되는 적외선을 감지하여 적외선 스캔 이미지를 생성할 수 있다. 사용자 단말 장치(100)는 생성된 적외선 스캔 이미지를 이용하여 근접 터치 입력을 감지할 수 있다.
한편, 감지부(120)는 펜(200)이 접근하는 경우도 감지할 수 있다. 즉, 상술한 바와 같이, 펜 인식 패널(121)은 전자 유도 코일 센서 및 전자 신호 처리 회로부(미도시)를 포함할 수 있다.
도 23은 펜 인식 패널(121)을 이용하여 펜(200)의 접근을 감지하기 위한 구성의 일 예를 나타낸다. 도 23에 따르면, 디스플레이부(110) 내에는 전자 유도 코일 센서(125)가 더 포함될 수 있다. 펜(200)이 접근하게 되면, 펜(200) 내부의 자기장 코일로 인해 접근 지점의 자기장이 변화하게 되므로, 그 지점의 전자 유도 코일 센서(125)에서 변화된 자기장이 감지된다. 감지된 자기장은 전자 신호 처리 회로부에 의해 처리되어 제어부(130)로 입력된다. 그 입력 값에 기초하여, 펜(200)이 접근한 지점을 감지할 수 있다. 또한, 제어부(130)는 그 자기장 변화 값의 크기에 따라 직접적인 터치가 이루어졌는 지 여부도 판단할 수 있다.
도 23에 도시된 바와 같이, 적외선 소스부(123), 적외선 센싱부(124), 펜 인색 패널(121) 등을 이용하게 되면, 사용자가 손(50)과 같은 신체 일부로 터치 또는 접근하였는지, 펜(200)을 이용하여 터치 또는 접근하였는지를 구별하여 인식할 수 있게 된다. 제어부(130)는 그 입력 수단의 종류와 조작 방식에 따라 다양한 제어 동작을 선택적으로 수행할 수 있게 된다.
한편, 제어부(130)의 동작은 사용자 단말 장치(100)에 저장된 각종 소프트웨어의 실행에 의해 이루어질 수 있다.
도 24는 본 실시 예에서 사용할 수 있는 펜(200)의 구성의 일 예를 나타낸다. 도 24에 따르면, 펜(200)의 양단에 각각 코어(2400, 2420) 및 이를 권선한 코일(2410, 2430)이 내장된다. 따라서, 사용자가 제1 코어(2400) 및 제1 코일(2410)이 내장된 제1 단부를 화면에 터치시키거나 호버링시키는 조작과, 제2 코어(2420) 및 제2 코일(2430)이 내장된 제2 단부를 화면에 호버링시키는 조작을 각각 구분하여 인식할 수 있다. 도 24에서는 제2 코어(2420)가 펜(200) 외부로 돌출되지 않은 형태로 도시되었으나, 실시 예에 따라서는 제2 코어(2420)도 펜(200) 외부로 돌출되어 있을 수 있다. 이 경우에는 제2 코어(2420)를 화면에 터치하는 조작도 별도로 인식할 수 있다.
도 25는 펜(200)이 화면 상에 놓여진 상태를 나타낸다. 이 경우, 펜(200)의 바디부 때문에 제1 코어 및 제2 코어(2400, 2410)가 화면에 직접적으로 터치되지는 않으나, 각 코어(2400, 2410)를 감고 있는 코일(2420, 2430)들 때문에 화면 상에서 복수의 호버링 조작이 감지된다. 제어부(130)는, 호버링이 이루어진 지점(2510, 2520)을 각각 확인하여, 그 사이의 거리를 산출한다.
결과적으로, 제어부(130)는 디스플레이부(110) 상에서 펜(200)의 호버링 조작이 복수 개의 지점(2510, 2520)에서 동시에 감지되고, 복수 개의 지점(2510, 2520) 사이의 거리가 펜의 길이에 대응되면, 펜이 디스플레이부(110)에 놓여진 상태라고 판단할 수 있다.
< 인터렉션 동작의 또 다른 예 >
도 26 내지 도 29는 펜을 화면상에 놓은 상태에서 이루어지는 다양한 인터렉션 동작의 예를 설명하기 위한 도면이다.
도 26에 따르면, 사용자는 화면상에 표시된 하나의 오브젝트(2610) 상에 펜(200)을 놓을 수 있다. 이 경우, 제어부(130)는 펜(200)이 놓여진 위치를 하나의 라인(2600)으로 인식한다. 이러한 상태에서 사용자가 펜(200)을 잡고 돌리게 되면, 펜(200) 회전에 따라 오브젝트(2610)가 함께 회전하게 된다. 즉, 제어부(130)는 펜(200)이 놓여진 라인을 인식한 후, 그 라인을 기준으로 후속 사용자 조작에 따라 오브젝트를 변형시키거나, 위치 이동, 크기 확대, 축소, 삭제, 추가 등과 같은 다양한 편집을 수행할 수 있다.
도 27은 펜(200)을 이용하여 오브젝트들을 정렬시키는 인터렉션 동작을 설명하기 위한 도면이다. 도 27에 따르면, 사용자가 화면상에 펜(200)을 놓으면, 제어부(130)는 그 펜(200)의 위치를 하나의 라인(2700)으로 인식한다. 이러한 상태에서 사용자가 화면에 표시된 오브젝트(2710, 2720)를 펜이 놓여진 라인(2700) 방향으로 이동시키는 후속 사용자 조작을 수행하면, 감지부(120)는 그 후속 사용자 조작을 감지하여, 제어부(130)로 통지한다. 제어부(130)는 후속 사용자 조작이 감지되면, 오브젝트(2710, 2720)들이 라인(2700) 방향으로 이동하여 라인(2700)을 기준으로 정렬되도록 표시하는 인터렉션 동작을 수행한다.
도 28은 본 발명의 또 다른 실시 예에 따른 인터렉션 동작을 설명하기 위한 도면이다. 도 28에 따르면, 사용자가 화면상에 펜(200)을 놓으면, 제어부(130)는 그 펜(200)의 위치를 하나의 라인(2800)으로 인식한다. 그리고, 해당 라인(2800)을 기준으로 전체 화면을 복수의 영역으로 구분한다. 도 28에서는 라인(2800)이 수직 방향으로 형성되어, 좌측 영역 및 우측 영역으로 구분된 상태를 나타낸다. 이러한 상태에서 사용자가 일 영역 내의 오브젝트(2810 ~ 2830)들을 라인(2800) 반대 측 영역으로 이동시키기 위한 후속 사용자 조작을 수행하면, 제어부(130)는 각 오브젝트(2810 ~ 2830)들을 반대 측 영역으로 이동시키다가 라인(2800)을 통과하면서 삭제되도록 표시한다. 삭제시에는 각 오브젝트(2810 ~ 2830)들이 점점 투명해지다가 점진적으로 사라지는 그래픽 효과를 제공할 수도 있고, 라인(2800)을 기준으로 다른 레이어로 떨어지는 것처럼 보이는 그래픽 효과를 제공할 수도 있다.
도 29는 본 발명의 또 다른 실시 예에 따른 인터렉션 동작을 설명하기 위한 도면이다. 도 29에 따르면, 사용자는 오브젝트(2900) 상에 펜(200)을 놓을 수 있다. 제어부(130)는 디스플레이부(110)에 표시된 화면에 포함된 오브젝트(2900) 상에 펜(200)이 놓여진 것으로 판단되면 제2 인터렉션 모드로 전환한다. 그리고, 펜(200)이 놓여진 라인(2900)을 감지한다. 제어부(130)는 펜(200)의 양 단부에 의한 호버링 지점(2911, 2912)을 감지하여, 라인(2900)의 위치를 판단할 수 있다. 제어부(130)는 라인(2900)의 라인(2900)을 기준으로 오브젝트(2900)를 고정시키고, 후속 사용자 조작에 따라 오브젝트(2900)의 형상을 변형시킨다. 도 29에서는 오브젝트(2900)의 좌측 하단 모서리 부분이 고정된 상태에서, 사용자가 오브젝트(2900)의 우측 상단 모서리 부분을 손가락(50)으로 터치하여 우측으로 드래깅하는 상태를 나타낸다. 제어부(130)는 그 드래깅에 따라 오브젝트(2900)를 우측 방향으로 늘이는 인터렉션 동작을 수행한다. 제어부(130)는 인터렉션 동작이 완료되고 펜(200)이 화면으로부터 떨어지면, 우측 방향으로 확대된 오브젝트(2900)를 포함하는 화면을 디스플레이할 수 있다.
이상과 같이, 사용자는 펜(200) 및 손 등과 같은 다양한 입력 수단을 다양한 방식으로 이용하여, 복수의 서로 다른 인터렉션 동작을 선택적으로 수행할 수 있다. 이에 따라, 사용자 단말 장치(100)의 기능을 보다 편리하고 다양하게 이용할 수 있게 된다.
한편, 사용자 단말 장치(100)는 상술한 바와 같이 다양한 유형의 전자 장치로 구현될 수 있다. 도 30은 휴대폰이나 태블릿 PC, PDA 등과 같은 휴대형 전자 장치로 구현된 사용자 단말 장치(100)의 세부 구성의 일 예를 나타낸다.
도 30에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 감지부(120), 제어부(130), 저장부(140), 통신부(150), GPS 칩(161), 비디오 프로세서(162), 오디오 프로세서(163), 버튼(164), 마이크 부(165), 카메라부(166), 스피커부(167), 움직임 감지부(168)를 포함할 수 있다.
디스플레이부(110) 및 감지부(120)는 상술한 부분에서 설명한 바와 같이 터치 스크린 형태로 구현되어, 각종 화면을 디스플레이하고, 그 화면에 대해 이루어지는 사용자 조작을 감지할 수 있다.
제어부(130)는 저장부(140)에 저장된 각종 프로그램 및 데이터를 이용하여 사용자 단말 장치(100)의 동작을 전반적으로 제어한다. 특히, 제어부(130)는 펜(200)의 탈착 여부를 감지하여, 그 감지 결과에 따라 상이한 레이아웃의 화면을 디스플레이할 수 있다.
디스플레이부(110), 감지부(120), 제어부(130)에 대해서는 상술한 다양한 실시 예들에서 이미 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(150)는 와이파이칩(151), 블루투스 칩(152), 무선 통신 칩(153), NFC 칩(154)을 포함한다.
와이파이 칩(151), 블루투스 칩(152)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(151)이나 블루투스 칩(152)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(153)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(154)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
제어부(130)는 통신부(150)를 이용하여 각종 외부 기기와 통신을 수행한다. 일 예로, 어플리케이션을 다운로드받아 저장부(140)에 설치하고, 그 어플리케이션에 대응되는 오브젝트를 디스플레이할 수 있다. 이 경우, 해당 어플리케이션을 기존에 사용되던 오브젝트에 매칭시킬 수도 있다.
GPS 칩(161)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 사용자 단말 장치(100)의 현재 위치를 산출하기 위한 구성요소이다. 제어부(130)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(161)을 이용하여 사용자 위치를 산출할 수 있다.
비디오 프로세서(162)는 통신부(150)를 통해 수신된 컨텐츠 또는, 저장부(140)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 처리부(162)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(163)는 통신부(150)를 통해 수신된 컨텐츠 또는, 저장부(140)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(163)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
제어부(130)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(162) 및 오디오 프로세서(163)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 디스플레이부(110)는 비디오 프로세서(162)에서 생성한 이미지 프레임을 디스플레이할 수 있다.
또한, 스피커부(167)는 오디오 프로세서(163)에서 생성한 오디오 데이터를 출력한다.　
버튼(164)은 사용자 단말 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
마이크 부(165)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 제어부(130)는 마이크 부(165)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(140)에 저장할 수 있다.
카메라부(166)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라부(166)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.
카메라 부(166) 및 마이크 부(165)가 마련된 경우, 제어부(130)는 마이크 부(165)를 통해 입력되는 사용자 음성이나 카메라 부(166)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 사용자 단말 장치(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(130)는 카메라 부(166)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 제어부(130)는 마이크 부(165)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다.
모션 제어 모드나 음성 제어 모드가 지원되는 사용자 단말 장치(100)에서는, 음성 인식 기술 또는 모션 인식 기술이 상술한 다양한 실시 예에 사용될 수 있다. 가령, 사용자가 홈 화면에 표시된 오브젝트를 선택하는 듯한 모션을 취하거나, 그 오브젝트에 대응되는 음성 명령어를 발음하는 경우, 해당 오브젝트가 선택된 것으로 판단하고, 그 오브젝트에 매칭된 제어 동작을 수행할 수 있다.
움직임 감지부(168)는 사용자 단말 장치(100)의 본체 움직임을 감지하기 위한 구성요소이다. 즉, 사용자 단말 장치(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 움직임 감지부(168)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 30에 도시하지는 않았으나, 실시 예에 따라서는, 사용자 단말 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩 등을 더 포함할 수 있음은 물론이다.
도 31은 사용자 단말 장치(100)가 사용하는 소프트웨어 구조의 일 예를 나타내는 도면이다. 도 31의 소프트웨어는 저장부(140)에 저장될 수도 있으나 반드시 이에 한정되는 것은 아니며 사용자 단말 장치(100) 내에 사용되는 다양한 유형의 저장 수단에 저장될 수도 있다.
도 31에 따르면, 사용자 단말 장치(100)에는 OS(141), 커널(142), 미들웨어(143), 어플리케이션(144) 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System: OS, 141)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(141)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(142)은 감지부(120) 등에서 감지되는 각종 신호들을 미들웨어(143)로 전달하는 통로 역할을 한다.
미들웨어(143)는 사용자 단말 장치(100)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 31에 따르면, 미들웨어(143)는 X11 모듈(143-1), APP 매니저 (143-2), 연결 매니저(143-3), 보안 모듈(143-4), 시스템 매니저(143-5), 멀티미디어 프레임워크(143-6), UI 프레임워크(143-7), 윈도우 매니저(143-8), 펜 조작 인식 모듈(143-9)을 포함한다.
X11 모듈(143-1)은 사용자 단말 장치(100)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 조작이 감지되는 이벤트, 시스템 알람이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(143-2)는 저장부(140)에 설치(install)된 각종 어플리케이션의 실행 상태를 관리하는 모듈이다. APP 매니저(143-2)는 X11 모듈(143-2)로부터 어플리케이션 실행 명령이 입력된 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다. 즉, APP 매니저(143-2)는 화면 상에서 적어도 하나의 오브젝트가 선택된 이벤트가 감지되면, 그 오브젝트에 대응되는 어플리케이션을 호출하여 실행시키는 동작을 수행한다.
연결 매니저(143-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(143-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
보안 모듈(143-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(143-5)는 사용자 단말 장치(100) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(143-5)는 그 모니터링 결과를 UI 프레임워크(143-7)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(143-6)는 사용자 단말 장치(100)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(143-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
UI 프레임워크(143-7)는 각종 UI를 제공하기 위한 모듈이다. UI 프레임워크(143-7)는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다. 제어부(130)는 UI 프레임워크(143-7)를 실행시켜 상술한 다양한 인터렉션 모드에 따른 인터렉션 동작을 화면 상에 표시할 수 있다.
윈도우 매니저(143-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(143-8)는 이러한 이벤트가 감지되면 UI 프레임워크(142-7)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
펜 조작 인식 모듈(143-9)은 펜(200)을 이용한 각종 사용자 조작을 감지하기 위한 모듈이다. 구체적으로는, 펜 조작 인식 모듈(143-9)은 펜(200)이 터치되면, 센싱 값을 출력하는 터치 센서의 개수 및 위치에 기초하여 터치 면적을 산출하고, 그 터치 면적과 기 설정된 조건을 비교한다. CPU(133)는 그 비교 결과에 기초하여, 인터렉션 모드를 결정할 수 있다. 또는, 도 25에서 설명한 바와 같이, 펜 조작 인식 모듈(143-9)은 복수의 지점에서 호버링이 감지되면, 그 감지 결과와 기 설정된 조건을 비교한다. CPU(133)는 그 비교 결과에 기초하여, 인터렉션 모드를 결정할 수 있다.
이 밖에도, 펜 조작 인식 모듈(143-9)은 사용자가 디스플레이부(110) 표면 상에서 펜 드로잉일 수행하면, 그 드로잉한 궤적을 파싱하여 인식할 수 있다. 이 경우, 필기 인식 모듈(143-9)은 펜 인식 패널(121)로 터치되는 포인트들의 좌표값을 입력받아, 터치된 포인트들의 좌표값을 스트로크로 저장한다. 그리고, 그 스트로크를 이용하여 스트로크 어레이를 생성할 수 있다. 그리고 필기 인식 모듈(143-9)은 미리 저장된 필기 라이브러리와, 생성된 스트로크 어레이를 비교하여, 필기 내용을 인식할 수 있다. 인식된 필기 내용은 어플리케이션 매니저(143-2)로 제공되며, 어플리케이션 매니저(143-2)는 그 필기 내용을, 사용자 필기가 이루어진 지점의 오브젝트에 대응되는 어플리케이션으로 제공한다. 이에 따라, 상술한 바와 같이, 어플리케이션이 인식된 필기 내용에 기초한 제어 동작을 수행할 수 있다.
한편, UI 프레임워크(143-7)는 사용자가 손이나 펜 등과 같은 다양한 입력 수단을 이용하여 디스플레이부(110) 표면을 터치하거나 드로잉하는 경우, 그 사용자 조작에 따라 다양한 그래픽 라인을 드로잉(drawing)할 수 있다. 구체적으로는, 사용자가 펜(200)을 이용하여 화면상에 그림을 그리면, 제어부(130)는 UI 프레임워크(143-7)의 실행에 따라 펜(200)이 지나가는 지점마다 그래픽 라인을 그린다. 라인의 굵기는 펜(200)이 화면상에 가하는 압력이나, 펜(200)과 화면이 접하는 면적의 크기에 따라 달라질 수 있으며, 컬러나 라인의 형태 등도 사용자 설정 사항에 따라 다양하게 변경될 수 있다.
또한, UI 프레임워크(143-7)은 펜이 분리되거나 장착되는 등의 이벤트가 발생하면, 현재 표시되고 있는 UI 화면의 레이이웃을 변경하는 동작도 수행한다.
어플리케이션 모듈(144)은 다양한 기능을 지원하기 위한 어플리케이션들(144-1 ~ 144-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 어플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다.
도 31에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(140)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
이상과 같이, 본 발명의 다양한 실시 예들에 따르면, 사용자는 다양한 인터렉션 동작을 편리하게 수행할 수 있다. 특히, 펜의 터치 면적, 터치 또는 호버링 지점의 위치, 터치 또는 호버링 지점의 개수, 터치 또는 호버링 지점 간의 거리, 터치 또는 호버링 강도 등과 같이 펜의 사용 방법에 따라 달라지는 다양한 파라미터들을 기 설정된 임계치와 비교하여, 인터렉션 모드를 결정할 수 있다. 이에 따라, 사용자는 별도의 버튼 조작 없이도, 펜의 특성을 이용하여 다양한 인터렉션을 신속하게 선택하여 사용할 수 있게 된다. 결과적으로, 사용자 단말 장치 및 펜의 활용성을 크게 향상시킬 수 있다.
이상과 같은 다양한 인터렉션 방법은, 프로그램 코드로 구현되어, 비일시적 판독 가능 매체에 저장된 상태로 제공될 수도 있다.
구체적으로는, 사용자 단말 장치의 화면에 대한 펜 터치가 감지되면 펜의 터치 지점에 대응되는 동작을 수행하는 제1 인터렉션 모드로 동작하는 단계, 상기 펜이 상기 화면상에 놓여진 상태로 판단되면 제2 인터렉션 모드로 전환하는 단계, 상기 제2 인터렉션 모드로 동작하는 상태에서 후속 사용자 조작이 이루어지면, 상기 펜이 놓여진 라인 및 상기 후속 사용자 조작에 대응되는 인터렉션 동작을 수행하는 단계를 단계적으로 수행하여 인터렉션 방법을 구현하는 프로그램 코드가 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다.
또는, 펜 촉 부분이, 내장 코일과 연결된 코어부 및 도전성 바디와 연결된 도전체부로 형성된 펜을 사용하는 실시 예에서는, 해당 펜의 터치 여부를 감지하는 단계, 상기 코어부가 상기 화면에 터치된 것으로 감지되면 제1 인터렉션 동작을 수행하고, 상기 도전체부가 상기 화면에 터치된 것으로 감지되면, 상기 제1 인터렉션 동작과 상이한 제2 인터렉션 동작을 수행하는 단계를 순차적으로 수행하는 프로그램 코드가 비일시적 판독 가능 매체에 저장될 수 있다.
이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있으며, 이에 따라, 다양한 장치에서 상술한 다양한 실시 예에 따른 인터렉션 방법을 수행할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 사용자 단말 장치 200 : 펜
110 : 디스플레이부 120 : 감지부
130 : 제어부 140 : 저장부

Claims (17)

  1. 사용자 단말 장치에 있어서,
    디스플레이부;
    상기 디스플레이부에 대한 사용자 조작을 감지하기 위한 감지부;
    상기 디스플레이부에 대한 펜 터치가 감지되면 펜의 터치 지점에 대응되는 동작을 수행하는 제1 인터렉션 모드로 동작하고, 상기 펜이 상기 디스플레이부에 놓여진 상태로 판단되면 제2 인터렉션 모드로 전환하여, 상기 펜이 놓여진 라인 및 후속 사용자 조작에 대응되는 동작을 수행하는 제어부;를 포함하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 디스플레이부 상에서 상기 펜의 호버링 조작이 복수 개의 지점에서 동시에 감지되고, 상기 복수 개의 지점 사이의 거리가 상기 펜의 길이에 대응되면, 상기 펜이 상기 디스플레이부에 놓여진 상태라고 판단하는 것을 특징으로 하는 사용자 단말 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 제1 인터렉션 모드에서, 상기 디스플레이부에 표시된 화면에 포함된 오브젝트가 상기 펜에 의해 터치되면, 상기 오브젝트에 매칭된 프로그램을 실행시키는 동작을 수행하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 제1 인터렉션 모드에서, 상기 디스플레이부에 표시된 화면 상에서 상기 펜에 의한 드로잉이 감지되면, 드로잉 궤적에 따라 라인(line)을 표시하는 동작을 수행하는 것을 특징으로 하는 사용자 단말 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 표시된 화면에 포함된 오브젝트 상에 상기 펜이 놓여진 것으로 판단되면 상기 제2 인터렉션 모드로 전환하고, 상기 펜이 놓여진 라인을 기준으로 상기 오브젝트를 고정시키고, 상기 후속 사용자 조작에 따라 상기 오브젝트의 형상을 변형시키는 것을 특징으로 하는 사용자 단말 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 제2 인터렉션 모드로 전환된 상태에서 상기 디스플레이부에 표시된 화면에 포함된 오브젝트를 상기 펜이 놓여진 라인 방향으로 이동시키는 상기 후속 사용자 조작이 감지되면, 상기 오브젝트를 상기 라인을 기준으로 정렬시키는 것을 특징으로 하는 사용자 단말 장치.
  7. 사용자 단말 장치에 있어서,
    화면을 디스플레이하는 디스플레이부;
    펜 촉 부분이, 내장 코일과 연결된 코어부 및 도전성 바디와 연결된 도전체부로 형성된 펜에 의한 펜 조작을 감지하기 위한 감지부;
    상기 도전체부가 상기 화면에 터치되면 제1 인터렉션 동작을 수행하고, 상기 코어부가 상기 화면에 터치되면 상기 제1 인터렉션 동작과 상이한 제2 인터렉션 동작을 수행하는 제어부;를 포함하는 사용자 단말 장치.
  8. 제7항에 있어서,
    상기 제1 인터렉션 동작은 터치 지점에 표시된 오브젝트를 선택하는 동작이고,
    상기 제2 인터렉션 동작은 상기 펜의 필기 궤적에 따라 라인을 드로잉하는 동작인 것을 특징으로 하는 사용자 단말 장치.
  9. 사용자 단말 장치의 인터렉션 방법에 있어서,
    상기 사용자 단말 장치의 화면에 대한 펜 터치가 감지되면 펜의 터치 지점에 대응되는 동작을 수행하는 제1 인터렉션 모드로 동작하는 단계;
    상기 펜이 상기 화면상에 놓여진 상태로 판단되면 제2 인터렉션 모드로 전환하는 단계;
    상기 제2 인터렉션 모드로 동작하는 상태에서 후속 사용자 조작이 이루어지면, 상기 펜이 놓여진 라인 및 상기 후속 사용자 조작에 대응되는 인터렉션 동작을 수행하는 단계;를 포함하는 인터렉션 방법.
  10. 제9항에 있어서,
    상기 제2 인터렉션 모드로 전환하는 단계는,
    상기 화면 상에서 상기 펜의 호버링 조작이 복수 개의 지점에서 동시에 감지되고, 상기 복수 개의 지점 사이의 거리가 상기 펜의 길이에 대응되면, 상기 펜이 상기 화면상에 놓여진 상태라고 판단하는 것을 특징으로 하는 인터렉션 방법.
  11. 제9항에 있어서,
    상기 제1 인터렉션 모드에서, 상기 화면에 포함된 오브젝트가 상기 펜에 의해 터치되면, 상기 오브젝트에 매칭된 프로그램을 실행시키는 동작을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 인터렉션 방법.
  12. 제9항에 있어서,
    상기 제1 인터렉션 모드에서, 상기 디스플레이부에 표시된 화면 상에서 상기 펜에 의한 드로잉이 감지되면, 드로잉 궤적에 따라 라인(line)을 표시하는 동작을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 인터렉션 방법.
  13. 제9항에 있어서,
    상기 인터렉션 동작을 수행하는 단계는,
    상기 화면에 포함된 오브젝트 상에 상기 펜이 놓여진 경우, 상기 펜이 놓여진 라인을 기준으로 상기 오브젝트를 고정시키고, 상기 후속 사용자 조작에 따라 상기 오브젝트의 형상을 변형시키는 것을 특징으로 하는 인터렉션 방법.
  14. 제9항에 있어서,
    상기 인터렉션 동작을 수행하는 단계는,
    상기 제2 인터렉션 모드로 전환된 상태에서 상기 화면에 포함된 오브젝트를 상기 펜이 놓여진 라인 방향으로 이동시키는 상기 후속 사용자 조작이 감지되면, 상기 오브젝트가 상기 라인을 기준으로 정렬되도록 표시하는 것을 특징으로 하는 인터렉션 방법.
  15. 사용자 단말 장치의 인터렉션 방법에 있어서,
    펜 촉 부분이, 내장 코일과 연결된 코어부 및 도전성 바디와 연결된 도전체부로 형성된 펜의 터치 여부를 감지하는 단계;
    상기 코어부가 상기 화면에 터치된 것으로 감지되면 제1 인터렉션 동작을 수행하고, 상기 도전체부가 상기 화면에 터치된 것으로 감지되면, 상기 제1 인터렉션 동작과 상이한 제2 인터렉션 동작을 수행하는 단계;를 포함하는 인터렉션 방법.
  16. 제15항에 있어서,
    상기 제1 인터렉션 동작은 터치 지점에 표시된 오브젝트를 선택하는 동작이고,
    상기 제2 인터렉션 동작은 상기 펜의 필기 궤적에 따라 라인을 드로잉하는 동작인 것을 특징으로 하는 인터렉션 방법.
  17. 사용자 단말 장치에 있어서,
    화면을 디스플레이하는 디스플레이부;
    경사진 라인 에지(line edge)형태로 이루어진 펜 촉을 포함하는 펜의 터치를 감지하기 위한 감지부;
    상기 펜이 상기 화면에 터치되면 터치 면적에 따라 복수의 서로 다른 인터렉션 모드 중 하나의 인터렉션 모드로 동작하여, 상기 펜의 터치에 대응되는 인터렉션 동작을 수행하는 제어부;를 포함하는 사용자 단말 장치.
KR1020130056794A 2013-05-20 2013-05-20 사용자 단말 장치 및 그 인터렉션 방법 KR20140136356A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130056794A KR20140136356A (ko) 2013-05-20 2013-05-20 사용자 단말 장치 및 그 인터렉션 방법
EP14169167.5A EP2806347A3 (en) 2013-05-20 2014-05-20 User terminal device and interaction method thereof
US14/282,308 US9395823B2 (en) 2013-05-20 2014-05-20 User terminal device and interaction method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130056794A KR20140136356A (ko) 2013-05-20 2013-05-20 사용자 단말 장치 및 그 인터렉션 방법

Publications (1)

Publication Number Publication Date
KR20140136356A true KR20140136356A (ko) 2014-11-28

Family

ID=50979507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130056794A KR20140136356A (ko) 2013-05-20 2013-05-20 사용자 단말 장치 및 그 인터렉션 방법

Country Status (3)

Country Link
US (1) US9395823B2 (ko)
EP (1) EP2806347A3 (ko)
KR (1) KR20140136356A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016108326A1 (en) * 2014-12-29 2016-07-07 Lg Electronics Inc. Terminal device and method for controlling the same

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031629A (ko) * 2013-09-16 2015-03-25 삼성전자주식회사 터치 입력이 가능한 디스플레이 장치 및 그 터치 입력 방법
US20150205386A1 (en) * 2014-01-22 2015-07-23 Lenovo (Singapore) Pte. Ltd. Pen gestures for navigation
US20150363026A1 (en) * 2014-06-16 2015-12-17 Touchplus Information Corp. Control device, operation mode altering method thereof, control method thereof and battery power warning method thereof
USD762726S1 (en) * 2014-09-02 2016-08-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR20160033951A (ko) * 2014-09-19 2016-03-29 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR101728723B1 (ko) * 2015-08-05 2017-04-20 삼성전자주식회사 전자 칠판 및 그 제어 방법
WO2017022966A1 (en) * 2015-08-05 2017-02-09 Samsung Electronics Co., Ltd. Electric white board and control method thereof
CN105117100A (zh) * 2015-08-19 2015-12-02 小米科技有限责任公司 目标对象的显示方法和装置
US10691316B2 (en) 2016-03-29 2020-06-23 Microsoft Technology Licensing, Llc Guide objects for drawing in user interfaces
US11119652B1 (en) * 2020-05-05 2021-09-14 Huawei Technologies Co., Ltd. Using a stylus to modify display layout of touchscreen displays
US11875543B2 (en) 2021-03-16 2024-01-16 Microsoft Technology Licensing, Llc Duplicating and aggregating digital ink instances
US11435893B1 (en) 2021-03-16 2022-09-06 Microsoft Technology Licensing, Llc Submitting questions using digital ink
US11526659B2 (en) 2021-03-16 2022-12-13 Microsoft Technology Licensing, Llc Converting text to digital ink
US11372486B1 (en) * 2021-03-16 2022-06-28 Microsoft Technology Licensing, Llc Setting digital pen input mode using tilt angle

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4883926A (en) * 1988-04-21 1989-11-28 Hewlett-Packard Company Stylus switch
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
AU2002326008A1 (en) * 2001-05-21 2003-01-02 Synaptics (Uk) Limited Position sensor
US6985138B2 (en) * 2003-08-29 2006-01-10 Motorola, Inc. Input writing device
US7735024B2 (en) 2003-10-29 2010-06-08 Intel Corporation Methods and apparatus to provide a handheld pointer-based user interface
US20090167702A1 (en) 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
US20100023387A1 (en) * 2008-07-25 2010-01-28 Yang Pan Hierarchical User Interfaces for Advertisement Messages in a Mobile Device
US9454834B2 (en) * 2008-09-26 2016-09-27 Nintendo Co., Ltd. Storage medium storing image processing program for implementing controlled image display according to input coordinate, and information processing device
KR20100136618A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 휴대용 단말기의 터치 입력 장치 및 방법
US20130009907A1 (en) * 2009-07-31 2013-01-10 Rosenberg Ilya D Magnetic Stylus
GB2485489A (en) * 2009-09-09 2012-05-16 Mattel Inc A system and method for displaying, navigating and selecting electronically stored content on a multifunction handheld device
JP5379050B2 (ja) 2010-02-22 2013-12-25 冨士男 塚田 ペン先角度調整機構付筆記具
WO2011121375A1 (en) * 2010-03-31 2011-10-06 Nokia Corporation Apparatuses, methods and computer programs for a virtual stylus
KR20110112980A (ko) 2010-04-08 2011-10-14 삼성전자주식회사 터치 감지 장치 및 방법
JP5663329B2 (ja) 2011-01-28 2015-02-04 三菱鉛筆株式会社 静電容量型タッチペンを搭載した筆記具
JP5664303B2 (ja) 2011-02-09 2015-02-04 大日本印刷株式会社 コンピュータ装置、入力システム、及びプログラム
JP2012168901A (ja) 2011-02-16 2012-09-06 Gomuno Inaki Kk タッチペンのペン先
US8847930B2 (en) * 2011-04-17 2014-09-30 Wimo Labs LLC Electrically conductive touch pen
TWM411613U (en) * 2011-05-06 2011-09-11 Pei-Lin Huang Touch-control pen
US20120299969A1 (en) * 2011-05-24 2012-11-29 Waltop International Corporation Tablet having a hierarchical adjustment function in side area
JP5325943B2 (ja) * 2011-07-12 2013-10-23 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム
US9395800B2 (en) * 2011-09-30 2016-07-19 Qualcomm Incorporated Enabling instant handwritten input on mobile computing devices
US9250721B2 (en) * 2012-12-17 2016-02-02 Disney Enterprises, Inc. Wireless stylus device with interchangeable tips and eraser

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016108326A1 (en) * 2014-12-29 2016-07-07 Lg Electronics Inc. Terminal device and method for controlling the same
US9485341B2 (en) 2014-12-29 2016-11-01 Lg Electronics Inc. Terminal device and method for controlling the same

Also Published As

Publication number Publication date
US9395823B2 (en) 2016-07-19
US20140340339A1 (en) 2014-11-20
EP2806347A2 (en) 2014-11-26
EP2806347A3 (en) 2014-12-31

Similar Documents

Publication Publication Date Title
US9395823B2 (en) User terminal device and interaction method thereof
KR102230708B1 (ko) 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
KR102459521B1 (ko) 터치스크린을 가지는 전자 장치 및 이의 제어 방법
KR102119843B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
KR101580300B1 (ko) 사용자 단말 장치 및 그의 제어 방법
US10205873B2 (en) Electronic device and method for controlling a touch screen of the electronic device
US10095386B2 (en) Mobile device for displaying virtually listed pages and displaying method thereof
US10067666B2 (en) User terminal device and method for controlling the same
US20130300684A1 (en) Apparatus and method for executing multi applications
KR102132390B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
KR20160049455A (ko) 스크롤바를 이용한 이미지 디스플레이 방법 및 이를 위한 장치
JP2015170365A (ja) 携帯端末機及び携帯端末機のコンテンツの拡大表示方法
US11243687B2 (en) User terminal apparatus and controlling method thereof
US20170003874A1 (en) Electronic device for displaying keypad and keypad displaying method thereof
KR102174740B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20130159934A1 (en) Changing idle screens
KR20200066602A (ko) 사용자 단말 장치 및 이의 디스플레이 방법
EP3287886A1 (en) User terminal apparatus and controlling method thereof
KR102305314B1 (ko) 사용자 단말 장치 및 그의 제어 방법
KR102492182B1 (ko) 사용자 단말 장치 및 그 제어 방법
KR20170009688A (ko) 전자 장치 및 이의 제어 방법
KR20160044400A (ko) 디스플레이 장치 및 그 제어방법
CN111580706A (zh) 提供用户交互的电子设备及其方法
KR20140089870A (ko) 사용자 인터페이스 제공 방법 및 그 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination