KR102203885B1 - 사용자 단말 장치 및 그 제어 방법 - Google Patents

사용자 단말 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102203885B1
KR102203885B1 KR1020130097820A KR20130097820A KR102203885B1 KR 102203885 B1 KR102203885 B1 KR 102203885B1 KR 1020130097820 A KR1020130097820 A KR 1020130097820A KR 20130097820 A KR20130097820 A KR 20130097820A KR 102203885 B1 KR102203885 B1 KR 102203885B1
Authority
KR
South Korea
Prior art keywords
screen
user
application
widget
icon
Prior art date
Application number
KR1020130097820A
Other languages
English (en)
Other versions
KR20140128208A (ko
Inventor
정종우
명인식
이택헌
조동빈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/245,210 priority Critical patent/US9891809B2/en
Priority to CN201480023680.7A priority patent/CN105164714B/zh
Priority to EP14787826.8A priority patent/EP2989532B1/en
Priority to PCT/KR2014/003625 priority patent/WO2014175688A1/en
Publication of KR20140128208A publication Critical patent/KR20140128208A/ko
Application granted granted Critical
Publication of KR102203885B1 publication Critical patent/KR102203885B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

사용자 단말 장치가 개시된다. 본 장치는,오브젝트를 포함하는 화면을 디스플레이하는 디스플레이부, 오브젝트 상에 또는 그 주변 영역에 입력된 사용자 드로잉 입력(user drawing input)을 감지하기 위한 감지부, 사용자 드로잉 입력이 감지되면, 오브젝트에 대응되는 프로그램을 실행하고, 사용자 드로잉 입력을 그 프로그램의 입력으로 처리한 화면을 표시하는 제어부를 포함한다. 이에 따라, 사용자 단말 장치의 동작을 편리하게 제어할 수 있다.

Description

사용자 단말 장치 및 그 제어 방법 { USER TERMINAL DEVICE AND CONTROL METHOD THEREOF }
본 발명은 사용자 단말 장치 및 그 제어 방법에 대한 것으로, 보다 상세하게는, 오브젝트를 포함하는 화면을 디스플레이하고, 그 오브젝트에 대한 사용자 조작에 대응되는 제어 동작을 수행하는 사용자 단말 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치들이 개발 및 보급되고 있다. 특히 최근에는 휴대폰이나 PDA, 태블릿 PC, 랩탑 PC 등과 같이 사용자가 휴대할 수 있는 사용자 단말 장치가 많이 사용되고 있다.
이러한 사용자 단말 장치들은 다양한 어플리케이션을 이용하여 사용자에게 서비스를 제공할 수 있다. 사용자는 홈 화면이나 어플리케이션 아이콘 화면 상에 표시된 아이콘을 선택하여, 자신이 원하는 어플리케이션을 실행시킬 수 있다.
이에 따라, 사용자가 좀 더 편리하고 간단하게 자신이 원하는 서비스를 이용할 수 있는 사용자 인터렉션 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 보다 상세하게는, 본 발명의 목적은 오브젝트를 포함하는 화면을 디스플레이하고, 그 오브젝트와 관련된 사용자 조작을 다양한 형태로 감지하여, 적어도 하나의 제어 동작을 편리하고 신속하게 실행시킬 수 있는 사용자 단말 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 사용자 단말 장치는, 오브젝트를 포함하는 화면을 디스플레이하는 디스플레이부, 상기 오브젝트 상에 또는 그 주변 영역에 입력된 사용자 드로잉 입력(user drawing input)을 감지하기 위한 감지부, 상기 사용자 드로잉 입력이 감지되면, 상기 오브젝트에 대응되는 프로그램을 실행하고, 상기 사용자 드로잉 입력을 상기 프로그램의 입력으로 처리한 화면을 상기 디스플레이부에 표시하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 사용자 드로잉 입력에 의해 텍스트가 드로잉되면, 상기 텍스트를 상기 프로그램의 입력으로 처리한 화면을 상기 디스플레이부에 표시할 수 있다.
또는, 상기 제어부는, 상기 오브젝트가 검색 위젯이면, 상기 인식된 텍스트에 대한 검색을 수행하고, 상기 텍스트에 대한 검색 결과를 포함하는 검색 결과 화면을 상기 디스플레이부에 표시할 수 있다.
또는, 상기 제어부는, 상기 사용자 드로잉 입력에 의해 심벌이 드로잉되면, 상기 심벌을 상기 프로그램의 입력으로 처리한 화면을 상기 디스플레이부에 표시할 수 있다.
또는, 상기 제어부는, 상기 오브젝트가 메일 프로그램이 매칭된 아이콘이면, 상기 인식된 텍스트에 대응되는 메일 주소로 메일을 전송하기 위한 메일 작성 화면을 상기 디스플레이부에 표시할 수 있다.
또는, 상기 제어부는, 상기 오브젝트가 메신저 프로그램이 매칭된 아이콘이면, 상기 인식된 텍스트에 대응되는 타 사용자와의 사이에서 송수신된 메신저 내용을 표시하는 메신저 화면을 상기 디스플레이부에 표시할 수 있다.
이상과 같은 실시 예들에서, 상기 사용자 드로잉 입력은 사용자 신체 또는 펜을 이용한 터치 앤 드래그 조작에 의해 수행될 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자 단말 장치는, 복수의 오브젝트를 포함하는 화면을 디스플레이하는 디스플레이부, 상기 화면상에서 사용자 조작을 감지하기 위한 감지부, 상기 사용자 조작에 의해 상기 복수의 오브젝트 중 제1 오브젝트 및 제2 오브젝트 사이에서 연결 라인이 드로잉되면, 상기 제1 오브젝트에 대응되는 제1 제어 동작 및 상기 제2 오브젝트에 대응되는 제2 제어 동작을 연동하여 수행하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 제1 오브젝트에 대응되는 제1 프로그램을 실행시켜 제1 화면을 디스플레이하고, 상기 제1 화면에서 사용자 조작이 이루어지면, 상기 제2 오브젝트에 대응되는 제2 프로그램을 실행시키고 상기 사용자 조작에 따른 결과가 반영된 제2 화면을 디스플레이할 수 있다.
또한, 상기 제어부는, 상기 제2 프로그램의 종류에 따라 상기 제1 화면에 표시되는 컨텐츠를 상이하게 결정할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 사용자 단말 장치의 제어 방법은, 오브젝트를 포함하는 화면을 디스플레이하는 단계, 상기 오브젝트 상에 또는 그 주변 영역에 입력된 사용자 드로잉 입력(user drawing input)을 감지하는 단계, 상기 오브젝트에 대한 상기 사용자 드로잉 입력이 감지되면, 상기 오브젝트에 대응되는 프로그램을 실행하고, 상기 사용자 드로잉 입력을 상기 오브젝트에 대응되는 프로그램의 입력으로 처리한 화면을 디스플레이하는 단계를 포함한다.
그리고, 상기 화면을 디스플레이하는 단계는, 상기 사용자 드로잉 입력에 의해 텍스트가 드로잉되면, 상기 텍스트를 상기 프로그램의 입력으로 처리한 화면을 디스플레이할 수 있다.
또는, 상기 화면을 디스플레이하는 단계는, 상기 오브젝트가 검색 위젯이면, 상기 텍스트에 대한 검색을 수행하고, 상기 텍스트에 대한 검색 결과를 포함하는 검색 결과 화면을 디스플레이할 수 있다.
또는, 상기 화면을 디스플레이하는 단계는, 상기 사용자 드로잉 입력에 의해 심벌이 드로잉되면, 상기 심벌을 상기 프로그램의 입력으로 처리한 화면을 디스플레이하는 것을 특징으로 하는 제어 방법.
또는, 상기 화면을 디스플레이하는 단계는, 상기 오브젝트가 메일 프로그램이 매칭된 아이콘이면, 상기 메일 프로그램을 실행시키고 상기 텍스트에 대응되는 메일 주소로 메일을 전송하기 위한 메일 작성 화면을 디스플레이할 수 있다.
또는, 상기 화면을 디스플레이하는 단계는, 상기 오브젝트가 메신저 프로그램이 매칭된 아이콘이면, 상기 상기 인식된 텍스트에 대응되는 타 사용자와의 사이에서 송수신된 메신저 내용을 표시하는 메신저 화면을 디스플레이할 수 있다.
또는, 상기 화면을 디스플레이하는 단계는, 기 설정된 조건이 충족된 상태에서 상기 사용자 드로잉 입력이 감지되면, 상기 사용자 드로잉 입력에 따라 상기 화면을 디스플레이하는 단계, 상기 조건이 미충족된 상태에서 상기 사용자 드로잉 입력이 감지되면 상기 사용자 드로잉 입력의 방향에 따라 상기 홈 화면을 페이지 단위로 변경하는 단계를 포함할 수 있다.
한편, 본 발명의 또 다른 실시 예에 따른 제어 방법은, 복수의 오브젝트를 포함하는 화면을 디스플레이하는 단계, 상기 화면상에서 사용자 조작을 감지하는 단계, 상기 사용자 조작에 의해 상기 복수의 오브젝트 중 제1 오브젝트 및 제2 오브젝트 사이에서 연결 라인이 드로잉되면, 상기 제1 오브젝트에 대응되는 제1 제어 동작 및 상기 제2 오브젝트에 대응되는 제2 제어 동작을 연동하여 수행하는 제어 단계를 포함한다.
여기서, 상기 제어 단계는, 상기 제1 오브젝트에 대응되는 제1 프로그램을 실행시켜 제1 화면을 디스플레이하는 단계, 상기 제1 화면에 대한 사용자 조작이 이루어지면, 상기 제2 오브젝트에 대응되는 제2 프로그램을 실행시키고 상기 제1 화면에 대한 상기 사용자 조작의 결과가 반영된 제2 화면을 디스플레이하는 단계를 포함한다.
또한, 상기 제어 단계는, 상기 제2 프로그램의 종류에 따라 상기 제1 화면에 표시되는 컨텐츠를 상이하게 결정하는 단계를 더 포함할 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자 단말 장치는, 오브젝트를 포함하는 화면을 디스플레이하는 디스플레이부, 상기 화면 상에서 사용자 조작을 감지하기 위한 감지부, 상기 사용자 조작에 의해 상기 오브젝트내의 제1 영역이 선택되면 상기 오브젝트와 관련된 제1 제어 동작을 수행하고, 상기 오브젝트내의 제2 영역이 선택되면 상기 오브젝트와 관련된 제2 제어 동작을 수행하는 제어부를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 단말 장치는 오브젝트와 관련된 사용자 조작에 따라, 적어도 하나의 제어 동작을 신속하게 수행할 수 있게 된다. 이에 따라, 사용자는 자신이 원하는 서비스를 편리하게 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 2는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도,
도 3 내지 도 8은 사용자 조작의 다양한 예 및 그에 따른 동작을 설명하기 위한 도면,
도 9는 본 발명의 다른 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도,
도 10 내지 도 12는 도 9의 실시 예에 따른 사용자 단말 장치의 동작을 설명하기 위한 도면,
도 13은 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도,
도 14 및 도 15는 도 13의 실시 예에 따른 사용자 단말 장치의 동작을 설명하기 위한 도면,
도 16은 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도,
도 17 내지 도 21은 도 16의 실시 예에 따른 사용자 단말 장치의 다양한 동작 예를 설명하기 위한 도면,
도 22는 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도,
도 23 내지 도 27은 도 22의 실시 예에 따른 사용자 단말 장치의 다양한 동작 예를 설명하기 위한 도면,
도 28은 펜을 구비한 사용자 단말 장치의 외관 구성 예를 나타내는 도면,
도 29는 사용자 단말 장치의 세부 구성의 일 예를 나타내는 도면,
도 30은 사용자 단말 장치가 사용하는 소프트웨어 구조의 일 예를 나타내는 도면,
도 31은 사용자 단말 장치의 세부 구성을 종합적으로 설명하기 위한 도면,
도 32는 사용자에 의해 생성되는 유저 크리에이티브 화면 구성의 일 예를 나타내는 도면,
도 33은 사용자에 의해 생성되는 유저 크리에이티브 화면 구성의 다른 예를 나타내는 도면,
도 34는 유저 크리에이티브 화면을 구성하기 위한 저작 툴 화면의 일 예를 나타내는 도면,
도 35 내지 도 37은 다양한 실시 예에 따른 유저 크리에이티브 화면 구성 방법을 설명하기 위한 도면,
도 38 내지 도 42는 유저 크리에이티브 화면을 생성하는 다양한 방법 예들을 설명하기 위한 도면, 그리고,
도 43 및 도 44는 유저 크리에이티브 화면의 다양한 활용 방법을 설명하기 위한 도면이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 다양한 실시 예에 따른 사용자 단말 장치의 구성을 설명하기 위한 블럭도이다. 도 1에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 감지부(120), 제어부(130)를 포함한다.
사용자 단말 장치(100)는 사용자가 임의로 사용할 수 있는 다양한 유형의 전자 장치를 의미한다. 구체적으로는, 사용자 단말 장치(100)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 도 1에서는 본 발명의 다양한 실시 예에 따른 동작에 관여하는 구성요소들에 대해서만 도시하였으며, 나머지 세부 구성요소들에 대한 도시는 생략하였다.
디스플레이부(110)는 홈 화면, 아이콘 화면, 리스트 화면, 어플리케이션 실행 화면, 웹 브라우저 화면, 컨텐츠 재생 화면 등과 같은 다양한 종류의 화면을 디스플레이할 수 있다. 홈 화면이란 사용자 단말 장치(100)가 턴 온 되어 시스템 준비가 완료된 이후에 최초 표시되는 화면으로, 다르게는 초기 화면, 메인 화면, 언 락 화면 등과 같이 다양한 이름으로 명명될 수 있다. 아이콘 화면이란 디스플레이부(110)에 설치된 전체 어플리케이션에 대한 아이콘을 표시하는 화면을 의미하고, 리스트 화면이란 전체 어플리케이션에 대한 정보를 리스트 형태로 정렬하여 표시하는 화면을 의미한다. 어플리케이션 실행 화면이란 어플리케이션의 실행에 의해 렌더링되는 화면을 의미하고, 웹 브라우저 화면이란 웹 브라우저의 실행에 의해, 외부 웹 서버로부터 수신된 웹 페이지를 디스플레이한 화면을 의미한다. 컨텐츠 재생 화면이란 멀티미디어 컨텐츠를 재생하여 그 비디오 프레임을 디스플레이하는 화면을 의미한다. 이 밖에도, 디스플레이부(110)는 다양한 유형의 화면을 디스플레이할 수 있다.
디스플레이부(110)에 표시되는 화면에는 아이콘이나 텍스트, 이미지, 사진 등과 같은 다양한 유형의 오브젝트들이 표시될 수 있다. 가령, 홈 화면에는 사용자가 선택한 특정 어플리케이션의 아이콘이나, 각종 위젯 정보, 폴더 아이콘 등과 같은 다양한 오브젝트(object)들이 포함될 수 있다. 감지부(120)는 디스플레이부(110)에 대해 이루어지는 사용자 조작을 감지할 수 있다.
사용자 조작은 사용자의 손가락이나 기타 신체 일부, 펜 등과 같은 다양한 입력 수단에 의해 이루어질 수 있으며, 조작 방식에 따라 터치 조작, 호버링 조작, 게이징 조작, 모션 제스쳐 조작, 음성 입력 조작 등과 같이 다양한 형태로 구분될 수 있다.
터치 조작이란 사용자가 입력 수단을 이용하여 화면을 터치하는 것을 의미하고, 호버링 조작이란 입력 수단을 화면으로부터 가까운 거리 내로 접근시키는 것을 의미한다. 터치 조작에는 사용자가 화면에서 숫자나 문자, 기호, 부호 등을 드로잉하는 사용자 드로잉 입력도 포함될 수 있다. 사용자 드로잉 입력은 사용자 신체 또는 펜을 이용한 터치 앤 드래그 조작으로 구현될 수 있다. 한편, 게이징(gazing) 조작이란 사용자가 화면의 일 부분을 일정 시간 이상 응시하는 것을 의미한다. 모션 제스쳐 조작이란 사용자가 사용자 단말 장치(100) 앞에서 정해진 모션 제스쳐를 취하여, 그 모션 제스쳐에 매칭되는 제어 동작을 수행하도록 제어하는 것을 의미한다. 또한, 음성 입력 조작이란 사용자가 기 설정된 음성 코맨드를 발음하여, 그 음성 코맨드에 매칭되는 제어 동작을 수행하도록 제어하는 것을 의미한다.
감지부(120)는 사용자 조작을 감지하기 위한 구성요소이다. 감지부(120)는 사용자 조작 수단 및 방식에 따라 다양한 형태로 구현될 수 있다. 가령, 터치 조작을 감지하기 위한 감지부(120)의 경우에는, 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 디스플레이부(110) 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이부(110) 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 디스플레이부(110)에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다.
한편, 입력 수단이 내부에 코일을 포함하는 펜일 경우, 감지부(120)는 펜 내부의 코일에 의해 변화되는 자기장을 감지할 수 있는 자기장 감지 센서를 포함할 수도 있다. 이에 따라, 터치 조작 뿐만 아니라 근접 조작, 즉, 호버링(hovering)도 감지할 수 있게 된다. 일 예로, 감지부(120)는 디스플레이부(110)의 화면 내에 포함된 오브젝트 상에서 또는 그 주변 영역에서 이루어지는 사용자 드로잉 입력도 감지할 수 있다. 이러한 감지부(120)의 구성에 대해서도 명세서 후반부에서 구체적으로 설명한다.
감지부(120)는 사용자 조작이 감지되면, 감지 결과를 제어부(130)로 통지한다. 가령, 사용자가 손가락이나 펜으로 화면 상의 일 지점을 터치하였다면, 감지부(120)는 터치 지점의 x, y 좌표 값을 제어부(130)로 통지한다. 사용자가 터치 한 상태에서 터치 지점을 이동시키는 경우, 감지부(120)는 변화되는 터치 좌표 값을 실시간으로 제어부(130)에 통지한다. 제어부(130)는 디스플레이부(110)에 표시된 오브젝트에 대한 사용자 조작이 감지되면, 그 오브젝트 및 사용자 조작 내용에 따라 적절한 제어 동작을 수행한다. 화면상에 표시되는 각 오브젝트에 대해서는 디폴트로 또는 사용자에 의해 설정된 적어도 하나의 제어 동작이 매칭될 수 있다.
제어부(130)는 사용자가 선택한 오브젝트에 대응되는 제어 동작을 수행할 수 있다. 제어 동작이란, 사용자 단말 장치(100)에서 특정 어플리케이션을 실행시켜 그 실행 화면을 표시하거나, 기 설정된 특정 기능을 수행하는 것을 의미한다. 또는, 제어부(130)는 오브젝트 상에서 또는 그 주변 영역에서 사용자 드로잉 입력이 이루어지면, 그 오브젝트에 대응되는 프로그램을 실행하고, 그 사용자 드로잉 입력을 그 프로그램의 입력으로 처리한 화면을 디스플레이부(110)에 디스플레이할 수도 있다. 이하에서는, 오브젝트 및 사용자 조작에 따라 다양한 제어 동작을 수행하는 실시 예들에 대하여 구체적으로 설명한다.
<　복수의 오브젝트를 일괄 지정하는 실시 예 >
도 2는 본 발명의 일 실시 예에 따른 제어 동작을 설명하기 위한 흐름도이다. 도 2에 따르면, 사용자 단말 장치(100)는 복수의 오브젝트를 포함하는 화면을 디스플레이할 수 있다(S210). 여기서, 화면은 상술한 바와 같이 홈 화면, 아이콘 화면, 리스트 화면, 어플리케이션 실행 화면, 웹 브라우저 화면, 컨텐츠 재생 화면 등과 같이 다양하게 구현될 수 있다. 홈 화면을 예로 들면, 사용자 단말 장치(100)는 각종 아이콘이나 위젯 정보 등을 표시할 수 있다.이러한 상태에서, 사용자 단말 장치(100)는 복수의 오브젝트를 연관짓는 사용자 조작이 감지되었는지 여부를 판단한다(S220).
복수의 오브젝트를 연관짓는 사용자 조작이란 다양한 형태로 이루어질 수 있다. 가령, 복수의 오브젝트를 포함하는 폐곡선을 드로잉하는 조작, 복수의 오브젝트 사이에 연결 라인을 드로잉하는 조작, 복수의 오브젝트를 각각 터치하는 멀티 터치 조작, 복수의 오브젝트가 표시된 영역을 덮는 커버링 조작 중 적어도 하나가 될 수 있다. 이러한 조작은 터치 방식에 따른 조작 예에 해당하며, 음성 조작 시에는 복수의 오브젝트의 명칭을 연이어 발음하는 사용자 조작이나, 복수의 제어 동작을 연관시키도록 설정된 음성 코맨드를 발음하는 사용자 조작 등도 포함될 수 있다.
그 밖에, 모션 조작 시에도 특정 모션 제스쳐 등이 감지되면, 복수의 오브젝트를 연관짓는 사용자 조작이라고 판단할 수도 있다.제어부(130)는 이러한 사용자 조작이 감지되면, 그 사용자 조작에 의해 연관지어진 복수의 오브젝트 각각에 대응되는 제어 동작을 수행할 수 있다(S230). 이러한 제어 동작은 다양한 방식으로 이루어질 수 있다.
이하에서는, 복수의 오브젝트를 연관짓는 사용자 조작의 예 및 이에 따른 제어 동작의 예에 대해서 구체적으로 설명한다.
도 3은 폐곡선을 드로잉하는 사용자 조작에 의해 복수의 오브젝트가 동시 선택되는 경우를 나타낸다. 도 3에서는 위젯 정보(11) 및 각종 아이콘(12 ~ 17)을 포함하는 홈 화면이 표시된 경우를 예로 들어 설명한다. 이러한 상태에서 사용자가 손가락(50)이나 펜 등과 같은 입력 수단을 이용하여 화면상에서 폐곡선(10)을 그리게 되면, 감지부(120)는 그 터치 지점을 제어부(130)로 통지한다. 제어부(130)는 터치 지점을 연속적으로 연결하여 드로잉 궤적을 인식한다. 그리고, 제어부(130)는 디스플레이부(110) 상에서 드로잉 궤적을 따라 기 설정된 컬러 및 굵기로 그래픽 라인(10)을 렌더링한다. 그래픽 라인(10)은 홈 화면 상에 중첩 표시된다. 제어부(130)는 그래픽 라인(10)을 드로잉하는 중에 서로 겹치는 부분이 발생하면 그 내부 영역을 폐곡선으로 인식한다. 제어부(130)는 폐곡선 내에 표시된 오브젝트의 종류를 판단한다.
도 3에서는 위젯 정보(11) 및 아이콘 B(13)가 그래픽 라인(10)으로 이루어진 폐곡선 내부에 포함된 상태를 나타낸다. 이 경우, 제어부(130)는 위젯 정보(11) 및 아이콘 B(13)에 대응되는 제어 동작을 각각 실행시키고, 그 실행 화면(21, 22)을 병렬적으로 디스플레이한다. 즉, 한 번의 사용자 조작만으로 복수의 어플리케이션이 실행되고, 그에 따라 복수의 어플리케이션 실행 화면이 디스플레이될 수 있다.
도 3에서는 사용자 조작의 시작 지점과 종료 지점이 완전히 일치하는 폐곡선을 드로잉한 경우를 도시하였으나, 사용자 조작이 반드시 폐곡선을 이루지 않더라도 복수의 오브젝트를 동시에 선택하고자 하는 의도로 해석될 수 있으면 도 3에서와 동일하게 동작할 수 있다. 가령, 제어부(130)는 사용자의 드로잉 궤적이 곡선 형태이지만 완전히 닿는 부분이 없는 경우, 전체 드로잉 길이와 궤적 사이의 거리를 확인한다. 제어부(130)는 전체 드로잉 크기에 비례하여 궤적 사이 거리가 충분히 작고, 그 원 내부에 적어도 하나의 오브젝트가 표시되고 있다면 폐곡선을 그린 것으로 간주할 수도 있다. 이에 따라, 그 원 내부의 오브젝트가 선택된 것으로 판단할 수 있다.또 다른 실시 예에 따르면, 제어부(130)는 폐곡선 이외의 다양한 형태의 라인을 드로잉하는 사용자 조작에 의해서도, 복수의 오브젝트가 연관될 수도 있다. 가령, 사용자가 A, B, C 오브젝트(12, 13, 14)를 차례로 가로지르는 라인을 드로잉한 경우, 제어부(130)는 A, B, C 오브젝트(12, 13, 14)가 각각 선택된 것으로 판단하여, 각 오브젝트에 대응되는 A, B, C 제어 동작을 병렬적으로 또는 서로 연관시켜 수행할 수 있다.
예를 들어, 제어 동작을 병렬적으로 수행하는 실시 예의 경우, 음악 파일 아이콘, 사진 아이콘, 문자 아이콘 상에 직선 또는 곡선이 드로잉되었다면, 음악 파일 재생 화면, 사진 화면, 문자 메시지 화면을 전체 화면 내에 나란하게 배치하여 디스플레이할 수 있다, 반면, 각 제어 동작을 연동시켜 수행하는 실시 예의 경우라면, 음악 파일 및 사진이 첨부된 문자 메시지 화면을 디스플레이하는 제어 동작을 수행할 수 있다. 이상과 같이, 사용자 조작에 의해 복수의 제어 동작이 서로 연동하여 또는 각기 개별적으로 이루어질 수 있다.
도 3에서는 복수의 오브젝트를 그룹핑하거나, 복수의 오브젝트를 연결하는 선을 드로잉하면, 각 오브젝트에 매칭된 제어 동작을 각각 실행하는 것으로 설명하였으나, 이 밖에 다양한 실시 예가 가능하다. 일 예로, 복수의 오브젝트가 하나의 그룹으로 그룹핑되어 있거나, 복수의 오브젝트가 서로 연결되어 있는 경우, 그 오브젝트들에 대해서는 일괄적으로 위치 이동, 카피, 삭제 등과 같은 편집 작업을 할 수 있다. 구체적으로는, 그룹핑 또는 서로 연결된 오브젝트들 중에서 하나의 오브젝트를 사용자가 터치한 후 다른 위치로 드래그하면, 함께 그룹핑 또는 연결된 타 오브젝트들의 위치도 함께 이동될 수 있다. 또는, 함께 그룹핑 또는 연결된 복수의 오브젝트들을 모두 하나의 폴더 안으로 옮길 수도 있다. 이러한 동작은 후술하는 다른 실시 예들에서도 동일하게 적용될 수 있음은 물론이다.
도 4는 복수의 오브젝트가 표시된 영역을 한꺼번에 덮는 커버링 조작에 의해 복수의 오브젝트가 선택되는 경우를 나타낸다. 도 4에 도시된 바와 같이, 사용자가 손바닥(50) 전체 또는 적어도 하나의 손가락을 이용하여 복수의 오브젝트(11. 13, 14)를 덮게 되면, 감지부(120)는 커버링된 영역에 대한 정보를 제어부(130)로 제공한다. 제어부(130)는 해당 영역 내에 표시된 오브젝트를 확인하고, 그 오브젝트에 대응되는 제어 동작을 각각 수행한다.
도 4에서는 위젯(11)과 두 개의 아이콘(13, 14)이 사용자의 손에 의해 덮여진 상태를 나타내며, 이에 따라, 해당 위젯 및 아이콘들(11, 13, 14)에 대응되는 어플리케이션의 실행 화면(21, 22, 23)이 나란하게 정렬되어 표시되는 경우를 나타낸다. 감지부(120)는 터치 센서를 이용하여 커버링 조작을 감지할 수 있다. 제어부(130)는 감지부(120)에서 감지된 터치 영역의 넓이가 일정 크기 이상이면 커버링 조작으로 판단하고, 그 터치 영역 내에 표시된 오브젝트들이 동시에 선택된 것으로 판단할 수 있다. 이에 따라, 도 4에 도시된 바와 같이, 각 오브젝트에 매칭된 제어 동작들을 일괄적으로 수행한다.
도 5는 사용자가 복수의 오브젝트를 동시에 터치하는 멀티 터치 조작에 의해 복수의 오브젝트가 선택되는 경우를 나타낸다. 감지부(120)는 복수의 터치 센서에서 터치가 감지되면, 그 터치 지점의 개수 및 위치 정보를 제어부(130)로 제공한다. 제어부(130)는 터치 지점이 복수 개이고, 각 터치 지점마다 오브젝트가 표시되어 있는 경우, 그 오브젝트들이 동시에 선택된 것으로 판단한다. 도 5에서는 두 개의 오브젝트(16, 17)가 동시에 선택된 경우를 나타낸다. 이에 따라, 선택된 오브젝트(16, 17) 각각에 대응되는 어플리케이션의 실행 화면(31, 32)이 나란하게 표시될 수 있다.
도 3 내지 도 5에서는 디스플레이부(110)의 세로 길이가 가로 길이보다 큰 경우를 도시하였으나, 디스플레이부(110)의 형태 및 크기는 사용자 단말 장치(100)의 종류에 따라 다양하게 구현될 수 있음은 물론이다. 또한, 복수의 어플리케이션이 실행되었을 경우, 그 실행 화면의 정렬 순서도 디스플레이부(110)의 형태 및 크기에 따라 다양하게 구현될 수 있다. 즉, 도 3 내지 도 5에 도시된 바와 달리, 가로 길이가 세로 길이보다 큰 디스플레이부를 구비한 사용자 단말 장치에서는 각 실행 화면이 가로 방향으로 정렬되어 표시될 수도 있다.
한편, 도 3 내지 도 5에서는 복수의 오브젝트에 대응되는 어플리케이션들을 각각 실행시켜 복수 개의 실행 화면을 제공하는 경우를 도시하였으나, 제어부(130)는, 사용자 조작에 의해 동시 선택된 복수의 오브젝트 각각에 대응되는 제어 동작을 상호 연관시켜 수행할 수도 있다.
이러한 연관 동작의 예는 다양하게 구현될 수 있다. 가령, 드로잉 조작, 커버링 조작, 멀티 터치 조작 등에 의해 썸네일 사진과, 메일 아이콘이 동시에 선택된 경우, 제어부(130)는 그 썸네일 사진이 자동 첨부된 메일 작성 화면을 생성하여 디스플레이부(110) 상에 디스플레이할 수 있다. 이에 따라, 메일 프로그램을 먼저 실행시킨 후, 첨부하고자 하는 사진을 일일이 검색하여 첨부 명령을 입력하여야만 하는 종래의 과정들이 생략되고, 바로 사용자가 원하는 제어 동작이 이루어질 수 있다. 또는, 메일 아이콘과 스케쥴 아이콘이 함께 선택된 경우, 제어부(130)는 송수신된 메일 내에 기록된 각종 일정 정보가 반영된 스케쥴 생성 화면이 바로 디스플레이될 수도 있다. 또는, 검색 프로그램용 아이콘과, 특정 컨텐츠 아이콘이 함께 선택된 경우에는, 제어부(130)는 해당 컨텐츠와 관련된 정보를 자동으로 검색하여 그 검색 결과를 나타내는 화면을 바로 디스플레이할 수도 있다.
도 6은 복수의 오브젝트를 연관짓는 또 다른 조작 방식 및 그에 따라 연관 동작을 수행하는 방법을 설명하기 위한 도면이다. 도 6에 도시된 바와 같이 사용자는 복수의 오브젝트들 사이에서 연결 라인(60)을 드로잉할 수 있다.
사용자 단말 장치(100)의 제어부(130)는 복수의 오브젝트 중에서 제1 및 제2 오브젝트 사이에서 연결 라인(60)이 드로잉되어 두 오브젝트(15, 16)가 연관지어지면, 제1 오브젝트(15)에 대응되는 제1 제어 동작과, 제2 오브젝트(16)에 대응되는 제2 제어 동작을 연동하여 수행할 수 있다. 구체적으로는, 제어부(130)는 제1 오브젝트(15)에 대응되는 제1 프로그램을 실행시켜, 제1 화면(41)을 디스플레이할 수 있다. 사용자는 제1 화면(41)에 대해 임의의 사용자 조작을 입력할 수 있다. 제어부(130)는 사용자 조작에 따른 동작을 수행한 후, 그 결과, 즉, 제1 프로그램의 실행 결과 데이터를 획득한다.
또한, 제어부(130)는 제2 오브젝트(16)에 대응되는 제2 프로그램을 실행시킨다. 제어부(130)는 제1 프로그램에 대한 사용자 조작에 의해 얻어지는 실행 결과 데이터를 제2 프로그램에 제공하여, 그 결과가 반영된 제2 화면을 디스플레이한다.도 6에서는 제1 오브젝트가 카메라 아이콘이고, 제2 오브젝트가 문자 아이콘인 경우를 예로 들어 도시하였다.
도 6에 도시된 바와 같이, 사용자는 자신의 손가락(50)이나 펜(200) 등과 같은 입력 수단을 이용하여 카메라 아이콘(15) 및 문자 아이콘(16) 사이에서 연결 라인(60)을 드로잉하는 조작을 입력할 수 있다. 이 경우, 제어부(130)는 카메라 어플리케이션을 실행시키고, 카메라(미도시)를 활성화시켜 라이브 뷰 화면(41)을 먼저 디스플레이할 수 있다. 이러한 상태에서 사용자가 촬영 명령을 입력하면, 제어부(130)는 촬영된 이미지(43)가 자동 첨부된 문자 메시지 작성 화면(42)을 바로 디스플레이한다.
도 6에서는 연결 라인(60)이 화살표 형상으로 도시되었으나, 연결 라인(60)의 형상은 반드시 이에 한정되는 것은 아니며, 실선이나 점선, 곡선 등과 같은 다양한 형태로 구현될 수 있다. 도 6에서와 같이 연결 라인(60)이 화살표 형상인 경우, 제어부(130)는 그 방향성까지 고려하여 어플리케이션 실행 순서를 결정할 수 있다. 즉, 사용자의 드로잉이 완료된 후 일정 시간이 경과되면, 제어부(130)는 사용자의 드로잉 궤적을 분석하여, 그 형태를 파악한다. 제어부(130)는 드로잉 형태가 기 설정된 데이터베이스에 등록된 화살표 패턴과 일정 비율 이상 유사도를 가지는 것으로 판단되면, 화살표가 드로잉된 것으로 판단하고, 화살 촉 부분의 위치에 따라 방향성을 결정할 수 있다. 이에 따라, 제어부(130)는 그 화살표의 방향과, 각 오브젝트들(15, 16)의 표시 위치에 기초하여, 각 오브젝트(15, 16)에 매칭된 어플리케이션을 순차적으로 실행시킨다.
도 6과 같이 카메라 아이콘(15)으로부터 메일 아이콘(16) 방향으로 화살표가 그려진 경우에는, 제어부(130)는 카메라 프로그램을 먼저 실행시켜, 촬영 화면(41)을 디스플레이한다. 이러한 상태에서 사용자가 촬영을 완료하면, 제어부(130)는 메일 프로그램을 실행시켜 메일 작성 화면(42)을 디스플레이한다. 반면, 메일 아이콘(16)부터 카메라 아이콘(15) 방향으로 화살표가 그려진 경우에는, 제어부(130)는 메일 작성 화면(42)을 먼저 디스플레이할 수 있다. 이러한 상태에서 메일 작성이 완료되면 제어부(130)는 촬영화면(41)을 디스플레이한다. 촬영 화면(41)을 통해서 촬영이 완료되면, 제어부(130)는 그 촬영 이미지를 자동 첨부하여 메일을 전송할 수 있다.화살표와 같이 방향성을 인식할 수 있는 연결 라인이 아닌 경우에는, 제어부(130)는 연결 라인이 그려지는 방향을 인식하여 어플리케이션 실행 순서를 결정할 수도 있다. 즉, 좌에서 우로 그려진다면, 좌측 오브젝트에 대응되는 제어 동작부터 수행하고, 반대로 그려진 경우에는, 우측 오브젝트에 대응되는 제어 동작부터 수행할 수 있다.
한편, 도 6에 도시된 바와 같이 연결 라인을 그리는 드로잉 조작이 이루어진 경우에도, 반드시 연관 제어 동작을 수행하여야 하는 것은 아니다. 즉, 실시 예에 따라서는, 도 6과 같은 연결 라인이 그려진 경우에도, 각 어플리케이션을 병렬적으로 실행시켜 복수의 어플리케이션 실행 화면을 동시에 디스플레이하는 방식으로 구현될 수도 있다.
또는, 제어부(130)는 복수의 오브젝트가 연결 라인에 의해 연관지어질 때, 연동하는 두 프로그램의 종류를 고려하여 각 화면을 표시할 수 있다. 즉, 선행 프로그램의 실행 화면인 제1 화면을 표시함에 있어서는, 후속 프로그램의 종류를 고려하여 제1 화면에 표시되는 컨텐츠를 상이하게 결정할 수 있다. 여기서, 선행 프로그램이란 연결 라인(60)을 드로잉하기 위해 최초 터치되는 지점과 가까운 제1 오브젝트(15)에 대응되는 제1 프로그램을 의미하고, 후속 프로그램이란 연결 라인(60)을 드로잉하기 위해 최종적으로 터치되는 지점과 가까운 제2 오브젝트(16)에 대응되는 제2 프로그램을 의미한다.
도 7 및 도 8은 이러한 실시 예에 따른 사용자 단말 장치(100)의 동작을 설명하기 위한 도면이다. 도 7은, 갤러리 프로그램이 매칭된 제1 오브젝트(21)와 편집 프로그램이 매칭된 제2 오브젝트(22) 사이에서 연결 라인(60)이 드로잉된 상태를 나타낸다. 이 경우, 제어부(130)는 기 저장된 전체 사진 및 동영상 컨텐츠(1 ~9)를 제1 화면(41)에 표시할 수 있다. 이러한 상태에서 사용자가 하나의 컨텐츠를 선택하면, 제어부(130)는 선택된 컨텐츠를 편집하기 위한 편집 화면을 디스플레이한다.
도 8은 갤러리 프로그램이 매칭된 제1 오브젝트(21)와 메시지 프로그램이 매칭된 제2 오브젝트(23) 사이에서 연결 라인(60)이 드로잉된 상태를 나타낸다. 이 경우, 제어부(130)는, 기 저장된 전체 컨텐츠(1 ~ 9) 중에서 사용자가 공유 가능하도록 설정한 컨텐츠(1, 2, 5, 8)만을 선별적으로 제1 화면(41)에 디스플레이한다. 또한, 제1 화면(41)에는 전체 컨텐츠를 볼 수 있는 메뉴(31)도 함께 표시될 수 있다.
이와 같이, 복수의 오브젝트가 연결 라인에 의해 연관지어지는 경우, 후속 프로그램의 종류 또는 성격에 따라, 선행 프로그램의 실행 화면에 표시되는 컨텐츠가 달라질 수 있게 된다.
또한, 제어부(130)는 프로그램의 실행 화면을 항상 초기 화면으로만 디스플레이하지 않고, 사용자 조작에 대응되는 뎁스의 실행 화면으로 바로 디스플레이하여 줄 수도 있다. 이상과 같은 실시 예에서는 복수의 오브젝트들을 서로 연관 짓는 사용자 조작에 따라 복수의 제어 동작을 수행하는 방법에 대하여 구체적으로 설명하였다.
이상에서는 각 오브젝트들이 사용자 단말 장치의 제조 회사 또는 어플리케이션 제작자가 설계한 형상 및 크기 그대로 디스플레이된 경우를 기준으로 설명하였으나, 오브젝트는 사용자 단말 장치의 사용자가 직접 드로잉하여 생성할 수도 있다. 즉, 본 발명의 또 다른 실시 예에 따르면, 사용자가 홈 화면상에서 오브젝트를 직접 생성하고, 그 오브젝트에 자신이 원하는 제어 동작을 직접 매칭시키는 방식으로, 홈 화면을 구성할 수 있다.
이하에서는 설명의 편의를 위하여, 사용자가 직접 구성할 수 있는 형태의 홈 화면을 유저 크리에이티브 화면(User Creative Screen : UCS)라고 하고, 사용자 단말 장치의 제조 회사 또는 어플리케이션 제작자가 설계한 화면을 기본 화면(basic screen)이라고 명명한다. 본 명세서에서 설명하는 다양한 실시 예들은 기본 화면에서 수행될 수도 있지만, 유저 크리에이티브 화면에서 수행될 수도 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자는 복수의 제어 동작을 미리 하나의 오브젝트에 매칭시켜 두고, 그 오브젝트를 선택하여 복수의 제어 동작을 한꺼번에 실행시킬 수도 있다. 이 경우, 사용자는 복수의 오브젝트를 사용시마다 연관시키지 않더라도, 간단하게 선택하여 복수의 제어 동작을 한꺼번에 이용할 수 있다. 이하에서는 이러한 실시 예에 대하여 구체적으로 설명한다.
<　복수의 제어 동작을 오브젝트에 매칭시키는 실시 예 >
도 9는 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 9에 따르면, 사용자 단말 장치는 적어도 하나의 오브젝트를 디스플레이한다(S710). 오브젝트는 아이콘으로만 한정되는 것은 아니며, 텍스트나 이미지, 사진 등과 같이 다양한 형태로 디스플레이될 수 있다.
이러한 상태에서 사용자가 하나의 오브젝트를 선택하면(S720), 사용자 단말 장치의 제어부(130)는 선택된 오브젝트에 복수의 제어 동작이 매칭되어 있는지 여부를 판단한다(S730). 이러한 판단을 위해 사용자 단말 장치에 구비된 저장부(미도시)에는 각 오브젝트 별로 매칭된 제어 동작 정보가 저장되어 있을 수 있다.
판단 결과, 복수의 제어 동작이 매칭되어 있다면, 제어부(130)는 각각의 제어 동작을 병렬적으로 수행한다(S740). 가령, 하나의 오브젝트에 메일 어플리케이션과, 다이어리 어플리케이션이 매칭되어 있다면, 제어부(130)는 그 오브젝트가 선택되면, 메일 어플리케이션 및 다이어리 어플리케이션 각각을 실행시키고, 각 어플리케이션의 실행 화면을 동시에 디스플레이한다.
반면, 선택된 오브젝트에 하나의 제어 동작만이 매칭되어 있다면, 제어부(130)는 매칭된 제어 동작을 수행한다(S750).
도 10은 도 9의 제어 방법에 따른 사용자 단말 장치의 동작을 설명하기 위한 도면이다. 도 10에 따르면, 사용자 단말 장치(100)는 적어도 하나의 오브젝트(700)를 디스플레이한다. 도 10에서 오브젝트(700)는 사용자가 홈 화면 상에서 손가락이나 펜을 이용하여 직접 드로잉하여 생성한 것을 나타낸다.
도 10에서 오브젝트(700)에 갤러리 프로그램 및 그림판 프로그램이 매칭된 경우로 가정하면, 제어부(130)는 갤러리 프로그램 및 그림판 프로그램의 실행 화면(51, 52)을 화면 상에 각각 디스플레이한다. 갤러리 프로그램의 실행 화면(51)에는 사용자 단말 장치에 저장된 각종 사진들의 썸네일 이미지와, 그 중 하나의 확대 사진이 디스플레이될 수 있다. 그림판 프로그램의 실행 화면(52)에는 그림을 그릴 수 있는 영역이 디스플레이되고, 사용자의 손가락이나 펜의 움직임에 따라 그림이 그려질 수 있다.
도 10의 경우, 사용자는 갤러리 프로그램의 실행 화면(51)을 보면서 그림판 프로그램의 실행 화면(52) 상에 그림을 그릴 수 있다.
한편, 하나의 오브젝트에 매칭될 수 있는 제어 동작의 개수 및 종류는 다양하게 변경될 수 있다. 가령, 도 10에서 그림판 프로그램 대신에 동영상 재생 프로그램이 매칭되었다면, 사용자는 하나의 화면(51)에서는 이전에 촬영한 사진을 볼 수 있고, 다른 하나의 화면(52)에서는 동영상을 볼 수 있게 된다.
도 11은 복수의 제어 동작이 매칭된 오브젝트의 다른 예를 나타내는 도면이다. 도 11에 따르면, 하나의 오브젝트(18) 내에 서로 다른 제어 동작이 매칭된 아이콘(D, E)과 이를 연결하는 화살표가 표시될 수 있다. 이러한 오브젝트(18)의 형태는 사용자가 직접 드로잉할 수도 있고, 사용자 단말 장치(100)의 제조 업체나 어플리케이션 개발업체 등에서 제공할 수도 있다. 제어부(130)는 해당 오브젝트(18)가 선택되면, D 아이콘에 해당하는 제어 동작과, E 아이콘에 해당하는 제어 동작을 순차적으로 수행한다.
가령, D 아이콘이 카메라 프로그램에 매칭되고, E 아이콘이 메일 프롤그램에 매칭된다면, 도 6에서 설명한 바와 같이, 제어부(130)는 카메라 프로그램을 먼저 실행시켜, 촬영 화면(41)을 디스플레이한다. 이러한 상태에서 사용자가 촬영을 완료하면, 제어부(130)는 메일 프로그램을 실행시켜 메일 작성 화면(42)을 디스플레이한다.
도 12는 복수의 제어 동작이 매칭된 오브젝트의 또 다른 예를 나타내는 도면이다. 도 12에 따르면, 기존 오브젝트들 사이를 연결하는 추가 오브젝트(19)가 표시될 수 있다. 제어부(130)는 D 아이콘(15)이 선택되면, D 아이콘(15)에 해당하는 제1 제어 동작을 수행하고, E 아이콘(16)이 선택되면 E 아이콘(16)에 해당하는 제2 제어 동작을 수행한다. 반면, 그 사이의 추가 오브젝트(19)가 선택되면, 제1 및 제2 제어 동작을 순차적으로 수행한다.
이상의 실시 예에서는 하나의 오브젝트에 복수의 제어 동작이 매칭된 경우, 그 오브젝트가 선택되면 매칭된 복수의 제어 동작을 동시에 또는 순차적으로 모두 실행시키는 것으로 설명하였으나, 본 발명의 또 다른 실시 예에 따르면, 사용자의 조작 패턴에 따라 복수의 제어 동작 중 일부의 제어 동작만이 실행될 수도 있다.
이하에서는, 조작 패턴에 따라 서로 다른 제어 동작을 수행하는 실시 예에 대하여 설명한다.
<　사용자 조작 패턴에 따라 상이한 제어 동작을 수행하는 실시 예 >
도 13은 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다. 도 13에 따르면, 사용자 단말 장치(100)는 오브젝트를 디스플레이한 상태에서(S910), 사용자 조작이 감지되면(S920), 그 패턴을 확인한다(S930).
즉, 본 실시 예에 따르면, 사용자 단말 장치(100)는 하나의 오브젝트에 대해 설정된 복수의 조작 패턴 및 그 조작 패턴에 매칭되는 제어 동작에 대한 정보를 저장할 수 있다. 조작 패턴은 사용자 조작이 이루어지는 방향, 강도, 횟수, 조작 수단 등에 따라 다양하게 구분될 수 있다.
가령, 사용자 조작 방향이 기준이 되는 경우를 예로 들면, 하나의 오브젝트를 가로 방향으로 가로지르는 제1 사용자 조작과 세로 방향으로 가로지르는 제2 사용자 조작은 서로 다른 패턴의 조작으로 인식될 수 있다. 이에 따라 제1 사용자 조작에 대해서는 제1 제어 동작이 매칭되고, 제2 사용자 조작에 대해서는 제2 제어 동작이 매칭될 수 있다.
또는, 사용자 조작 강도가 기준이 되는 경우를 예로 들면, 사용자 조작 시에 감지되는 터치 강도나 압력 또는 터치 면적이 임계치 이상인 경우에 대해서는 제1 제어 동작이 매칭되고, 임계치 미만인 경우에 대해서는 제2 제어 동작이 매칭될 수 있다.
그 밖에, 조작 횟수를 기준으로 정의되는 경우를 예로 들면, 1회 터치에 대해서는 제1 제어 동작이 매칭되고, 2회 터치에 대해서는 제2 제어 동작이 매칭될 수 있다.
또는, 조작 수단을 기준으로 정의되는 경우를 예로 들면, 손가락으로 터치한 경우에 대해서는 제1 제어 동작이 매칭되고, 펜으로 터치한 경우에 대해서는 제2 제어 동작이 매칭될 수 있다.
또는, 간단하게는 오브젝트를 가로 방향이나 세로 방향 또는 대각선 방향으로 가로지르는 형태의 제1 사용자 조작에 대해서는 해당 오브젝트에 대응되는 어플리케이션을 복수 회 실행시켜, 복수의 실행 화면을 나란하게 디스플레이하는 제1 제어 동작이 매칭될 수 있다. 반대로, 해당 오브젝트를 가로지르지 않는 형태의 제2사용자 조작(즉, 단순 터치 등)에 대해서는 해당 오브젝트에 대응되는 어플리케이션을 1회 실행시켜, 하나의 실행 화면을 디스플레이부(110)에 디스플레이하는 제2 제어 동작이 매칭될 수도 있다.　
사용자 단말 장치(100)의 제어부(130)는 사용자 조작의 패턴이 확인되면, 저장부(미도시)에 기 저장된 매칭 정보에 기초하여, 확인된 패턴에 따른 제어 동작을 수행한다(S940). 결과적으로, 동일한 오브젝트를 선택하더라도 그 선택 방식에 따라 상이한 프로그램이 실행되거나, 상이한 기능이 수행될 수 있다. 또는, 하나의 오브젝트에 대해 한 번의 사용자 조작을 하더라도 복수의 실행 화면이 디스플레이될 수 있다.
도 14 및 도 15는 본 실시 예에 따른 사용자 단말 장치의 구체적인 동작의 일 예를 나타내는 도면이다. 지금까지 설명한 다른 도면에서는 디스플레이부(110)의 세로 방향 길이가 가로 방향 길이보다 큰 형태의 사용자 단말 장치(100)를 기준으로 다양한 실시 예들을 설명하였으나, 도 14 및 도 15에서는 가로 방향의 길이가 더 긴 형태, 가령, 태블릿 PC나 노트북 PC 등으로 구현된 사용자 단말 장치(100)를 기준으로 설명한다. 하지만, 본 실시 예가 반드시 이러한 형태의 장치에서만 수행되는 것은 아니며, 사용자 단말 장치는 다양한 형태로 구현될 수 있다.
도 14에 따르면, 사용자 단말 장치(100)는 복수의 오브젝트(12 ~ 20)들을 디스플레이할 수 있다. 이러한 상태에서 사용자가 하나의 오브젝트(19)를 세로 방향으로 가르는 사용자 조작을 하면, 제어부(130)는 오브젝트(19)에 대응되는 어플리케이션을 두 번 실행하여, 두 개의 실행 화면(61, 62)을 디스플레이한다. 이 경우, 실행 화면(61, 62)의 배치 순서는 사용자 조작 방향에 따라 결정될 수 있다. 즉, 도 14에서와 같이 세로 방향으로 가르는 경우에는, 실행 화면(61, 62)은 화면 중심을 기준으로 좌측 및 우측에 배치된다.
도 15는 사용자가 하나의 오브젝트(19)를 가로 방향으로 가른 경우를 나타낸다. 이 경우, 제어부(130)는 두 개의 실행 화면(61, 62)을 화면 중심을 기준으로 상측 및 하측에 배치한다.
한편, 제어부(130)는 오브젝트가 선택되었을 때, 동일한 실행 화면(61, 62)을 두 개 표시할 수도 있고, 기 설정된 기준에 따라 두 실행 화면(61, 62)을 다르게 표시할 수도 있다. 가령, 도 14 및 도 15에서와 같이, 메시지 프로그램이 매칭된 오브젝트(19)에 대해 사용자 조작이 이루어진 경우, 제어부(130)는 메시지 프로그램을 실행시키고, 하나의 실행 화면(61)에는 메시지 송수신 이력을 표시할 수 있고, 다른 하나의 실행 화면(62)에는 최후에 메시지를 송수신하였던 사용자와의 사이에서 주고받은 메시지 내용을 표시하여 줄 수도 있다.
도 14 및 도 15에서는 메시지 프로그램을 예로 들어 설명하였으나, 메시지 프로그램 이외에 다른 프로그램이 매칭될 수 있음은 물론이다.
한편, 사용자 조작은 조작 위치를 기준으로 서로 다른 복수의 조작으로 구분될 수도 있다. 이하에서는 사용자 조작 지점에 따라 상이한 제어 동작을 수행하는 실시 예에 대하여 설명한다.
<　사용자 조작 지점에 따라 상이한 제어 동작을 수행하는 실시 예 >
도 16은 하나의 오브젝트 내에서 조작 위치에 따라 상이한 제어 동작을 수행하는 실시 예에 대하여 설명하기 위한 흐름도이다.
도 16에 따르면, 사용자 단말 장치는 오브젝트를 디스플레이한 상태에서(S1210), 사용자 조작이 감지되면(S1220), 그 오브젝트에 대응되는 어플리케이션을 실행한다(S1230). 이에 따라 오브젝트 내에서 제1 지점이 선택되었다고 판단되면(S1240), 그 지점에 대응되는 제1 제어 동작을 수행한다(S1250). 반면, 제1 지점이 아닌 다른 지점이 선택되었다고 판단되면, 제2 제어 동작을 수행한다(S1260). 도 16에서는 하나의 오브젝트를 두 지점으로 구분하고, 각 지점 별로 다른 제어 동작이 매칭된 상태를 기준으로 설명하였으나, 지점의 개수는 3개 이상이 될 수도 있다.
도 17은 카메라 어플리케이션이 매칭된 오브젝트가 표시된 상태를 나타낸다. 도 17에서 오브젝트(1300)는 복수의 파트(1310, 1320)로 구분된다. 설명의 편의상, 오브젝트(1300) 우측 상단에 표시된 (+) 지점(1310)을 제1 파트라고 하고, 나머지 부분(1320)을 제2 파트라고 한다.
사용자는 제1 파트(1310) 및 제2 파트(1320)를 구분하여 터치함으로써, 자신이 원하는 세부 기능을 바로 실행시킬 수 있다. 즉, 도 17에서 사용자 조작(1311)에 의해 터치된 지점이 제1 파트(1310)이면, 제어부(130)는 카메라 어플리케이션을 실행시키고, 바로 파노라마 촬영 모드로 동작한다. 이에 따라 파노라마 촬영을 위한 화면(71)을 표시한다.
반면, 사용자 조작(1321)에 의해 터치된 지점이 제2 파트(1320)이면, 제어부(130)는 카메라 어플리케이션을 실행시키고, 일반 촬영 모드에 따른 화면(72)을 표시한다.
본 실시 예에 따르면, 사용자는 어플리케이션 실행 후에 일일이 메뉴를 찾아서 모드나 세부 옵션을 설정하여야 하는 불편함 없이, 오브젝트(1300)가 표시된 화면 상에서 바로 자신이 원하는 제어 동작을 선택할 수 있다.
특히, 사용자 단말 장치가 펜을 입력 수단으로 사용하는 경우, 펜의 펜 끝 부분은 손가락에 비해 뾰족하기 때문에 세밀한 부분의 터치가 가능할 수 있다. 따라서, 오브젝트(1300)의 크기가 크지 않더라도 사용자는 펜을 이용하여 세부 지점을 용이하게 터치하여, 원하는 기능을 바로 실행시킬 수 있다.
도 18은 하나의 오브젝트 내에서 조작 위치에 따라 상이한 제어 동작을 수행하는 다른 실시 예에 대하여 설명하기 위한 도면이다. 도 18에 따르면, 화면상에 표시된 오브젝트(1810)에 대해 사용자가 펜(200)을 접근시키는 호버링 조작을 수행할 수 있다. 제어부(130)는 호버링 조작이 감지되면, 오브젝트(1810)의 표면이 한 꺼풀 벗겨지는 듯한 그래픽 효과를 표현하면서, 그 오브젝트(1810) 내에 숨겨져 있던 히든 파트(1811)를 노출시킨다. 이에 따라, 하나의 오브젝트(1810)가 히든 파트(1811) 및 원(original) 파트(1812)로 구분될 수 있다. 제어부(130)는 이러한 상태에서 사용자가 터치하는 파트에 따라 상이한 제어 동작을 수행한다.
도 18에서는 원 파트(1812)가 선택된 경우에는 제어부(130)가 해당 오브젝트(1810)의 메인 실행 화면(1813)을 디스플레이하고, 히든 파트(1811)가 선택된 경우에는 해당 오브젝트(1810)와 관련된 간단한 팝업 화면(1814)를 디스플레이하는 것으로 도시하였다. 하지만, 이러한 제어 동작은 일 예에 불과하며, 프로그램의 종류에 따라 다양한 제어 동작이 이루어질 수 있다.
도 17에서는 하나의 오브젝트가 고정적으로 두 개의 파트로 구분된 경우를 설명하였고, 도 18에서는 하나의 오브젝트가 호버링 조작에 따라 유동적으로 두 개의 파트로 구분되는 경우를 설명하였다. 하지만, 본 발명의 또 다른 실시 예에 따르면, 오브젝트는 사용자 단말 장치(100)의 상황 변화에 따라 형상이 변경되거나, 오브젝트 일 측에 부가 오브젝트가 추가될 수도 있다.
도 19 및 도 20은 부가 오브젝트가 추가되는 실시 예들에 대하여 설명하기 위한 도면이다.
도 19는, 문자 프로그램이 매칭된 오브젝트(1822)가 표시된 상태를 나타낸다. 이러한 상태에서 신규 문자 메시지가 수신되어 미확인 상태에 있으면, 제어부(130)는 그 오브젝트(1822)의 일 측에 부가 오브젝트(1821)를 표시한다. 부가 오브젝트(1821)는 신규 문자 메시지의 개수를 나타내는 숫자 형태로 표시될 수도 있고, 그 밖의 문자나 기호, 이미지 등으로 표시될 수도 있다. 사용자는 각종 입력 수단을 이용하여 원 오브젝트(1822) 부분 또는 부가 오브젝트(1821) 부분을 선택할 수 있다. 제어부(130)는 사용자가 선택한 부분에 따라 상이한 제어 동작을 수행한다.
가령, 사용자가 부가 오브젝트(1821)를 선택한 경우, 제어부(130)는 신규 문자 메시지를 바로 확인할 수 있는 메시지 화면(1823)을 디스플레이한다. 반면, 사용자가 원 오브젝트(1822)를 선택한 경우, 제어부(130)는 문자 프로그램의 실행 화면(1824)를 디스플레이한다. 도 19에서는 문자 프로그램을 예로 들어 설명하였으나, 메신저 프로그램이나 메일 프로그램에서도 동일한 형태의 실시 예가 구현될 수 있다.
도 20은 일정 프로그램이 매칭된 오브젝트가 표시된 상태를 나타낸다. 사용자는 수시로 자신의 일정 정보를 등록시켜 둘 수 있다. 제어부(130)는 사용자가 등록해둔 일정이 도래하였다고 판단되면, 오브젝트(1832)의 일 측에 신규 일정이 도래하였음을 알리기 위한 부가 오브젝트(1831)를 표시한다. 사용자는 부가 오브젝트(1831) 또는 원 오브젝트(1832)를 선택할 수 있다.
사용자가 부가 오브젝트(1831)를 선택하면, 제어부(130)는 신규 일정의 내용을 알리기 위한 화면(1833)을 디스플레이한다. 반면, 사용자가 원 오브젝트(1832)를 선택하면, 제어부(130)는 일정 프로그램의 실행 화면(1834)을 디스플레이한다.
이와 같이, 하나의 오브젝트에 대해서도 사용자의 선택 지점에 따라 서로 다른 제어 동작을 수행할 수 있게 된다.
한편, 도 17 내지 도 20에서 설명한 실시 예들에서 예시한 프로그램은 반드시 이에 한정되는 것은 아니며, 다른 종류의 프로그램에 대해서도 동일한 실시 예가 구현될 수 있다. 구체적으로는, 컨텐츠 재생 프로그램이나, 뉴스 프로그램, 주소록 프로그램, 전화 프로그램, 웹 브라우저 등과 같은 다양한 프로그램에 대해서도 도 17 내지 도 20 중 어느 하나의 실시 예가 구현될 수 있다.
가령, 도 17의 실시 예에서 컨텐츠 재생 프로그램이 매칭된 오브젝트가 복수의 파트로 구분되어 있다고 가정하면, 그 중 하나인 제1 파트가 선택된 경우, 제어부(130)는 이전에 재생된 컨텐츠의 재생 화면을 디스플레이하고, 제1 파트와 상이한 제2 파트가 선택된 경우에는 재생 가능한 컨텐츠의 리스트를 디스플레이할 수 있다.
또는, 도 18 또는 도 19의 실시 예가 뉴스 프로그램에 대해 적용된 경우를 가정하면, 제어부(130)는 긴급 속보가 발생한 경우 뉴스 프로그램이 매칭된 오브젝트의 일 측에 긴급 속보 발생 사실을 알리기 위한 부가 오브젝트를 표시할 수 있다. 사용자가 부가 오브젝트를 선택하면, 제어부(130)는 긴급 속보를 나타내는 뉴스 화면을 디스플레이할 수 있다. 반면, 원 오브젝트가 선택되면, 제어부(130)는 뉴스 프로그램의 메인 화면을 디스플레이할 수 있다.
이상과 같이, 하나의 프로그램이 매칭된 오브젝트에 대해서도, 그 오브젝트에 대한 사용자 조작 내용에 따라 다양한 실행 화면을 선택적으로 제공하여 줄 수 있다.
한편, 도 17 내지 도 20에서는 오브젝트 내에서의 선택 지점에 따라 서로 다른 실행 화면이 디스플레이되는 경우에 대하여 설명하였으나, 실행 화면이 표시되는 것 이외에도 다른 형태의 제어 동작이 이루어질 수도 있다.
도 21은 오브젝트 내에서의 선택 지점에 따라 다양한 제어 동작을 수행하는 또 다른 실시 예를 설명하기 위한 도면이다.
도 21에 따르면, 제어부(130)는 원형 오브젝트(1840) 및 각종 아이콘(1847)을 포함하는 화면을 디스플레이할 수 있다. 원형 오브젝트(1840)는 다양한 세부 오브젝트(1841 ~ 1846)를 포함할 수 있다. 사용자는 각 세부 오브젝트(1841 ~ 1846)를 조작하여 다양한 제어 동작을 수행할 수 있다. 도 21에서는 음악 컨텐츠를 재생하기 위한 위젯이 원형 오브젝트(1840)로 구현된 경우를 도시하였다. 원형 오브젝트(1840)에는 터치에 의해 선택가능한 각종 버튼(1841, 1842, 1843), 펜(200)으로 터치 앤 드래그(touch & drag)하여 조정 가능한 음량 메뉴(1844), 재생 상태 조정 메뉴(1845), 재생 상태 표시 영역(1846) 등이 포함될 수 있다.
사용자가 각종 버튼(1841, 1842, 1843)을 선택하면, 제어부(130)는 선택된 버튼의 종류에 따라 컨텐츠 재생, 빨리 감기, 되감기 등과 같은 제어 동작을 수행할 수 있다. 또는, 사용자가 음량 메뉴(1844)가 표시된 영역을 펜(200)으로 터치하여 시계 방향 또는 반시계 방향으로 드래깅하면, 제어부(130)는 그 드래깅 방향에 따라 음량을 증가 또는 감소시킬 수도 있다.
또는, 사용자가 재생 상태 조정 메뉴(1845)가 표시된 영역을 펜(200)으로 터치하여 시계 방향 또는 반시계 방향으로 드래깅하면, 제어부(130)는 그 드래깅 방향에 따라 재생 시점을 앞쪽 또는 뒤쪽으로 조정할 수도 있다. 재생 상태 표시 영역(1846)은 원형 오브젝트(1840)의 최외측 가장자리에 배치된 바(bar) 그래프로 구현될 수 있다. 제어부(130)는 사용자가 재생 상태 조정 메뉴(1845)를 조정하면, 그 조정 상태에 따라 재생 상태 표시 영역(1846)에 표시되는 바그래프의 길이를 변경한다.
도 21과 같이 원형 오브젝트가 제공되면, 사용자는 펜(200)으로 원의 테두리 등에 동그라미를 그리는 듯한 제스쳐를 취해서 각종 인터렉션 동작을 수행할 수 있다. 도 21의 원형 오브젝트(1840) 내에서 재생 상태 조정 메뉴(1845)가 표시되는 영역은, 음악 컨텐츠가 기록된 디스크 형상으로 표시될 수 있다. 즉, 사용자는 펜(200)을 이용하여 디스크를 잡아서 스크래칭하는 등의 디제잉 동작을 수행할 수도 있다.
도 21에서는 원형 오브젝트를 예시하였으나, 그 밖에도, 펜(200)으로 조작하기 쉬운 다양한 형태의 오브젝트가 제공될 수 있으며, 제어부(130)는 그 오브젝트 내의 터치 지점에 따라서 다양한 제어 동작을 수행할 수 있다.
한편, 사용자는 오브젝트를 선택하기 위한 의도로 사용자 조작을 하는 것 이외에, 특정 정보를 입력하기 위한 의도로 사용자 조작을 할 수도 있다. 이 경우, 제어부(130)는 사용자 조작이 이루어지는 영역 또는 그 주변 영역에 표시된 오브젝트의 종류와, 사용자 조작의 내용을 조합하여 사용자가 원하는 기능을 바로 실행시킬 수도 있다. 이하에서는, 사용자 입력을 반영한 제어 동작을 수행하는 실시 예에 대하여 설명한다.
<　사용자 입력 내용을 반영한 제어 동작을 수행하는 실시 예 >
도 22는 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 도면이다. 도 22에 따르면, 사용자 단말 장치는 위젯이나 아이콘 등과 같은 다양한 오브젝트를 디스플레이한다(1410). 이러한 상태에서, 사용자는 오브젝트 상에 또는 그 주변 영역에 손가락이나 펜을 이용하여 텍스트를 쓰거나, 각종 심벌을 드로잉하는 사용자 드로잉 조작을 할 수 있다. 즉, 사용자는 사용자 드로잉 입력을 통해 다양한 정보를 입력할 수 있다. 사용자 단말 장치는 사용자 드로잉 입력이 이루어진 오브젝트의 종류와, 그 입력 내용에 기초하여, 상이한 제어 동작을 수행할 수 있다.
사용자 드로잉 입력은 오브젝트를 특정하기 위한 입력과, 오브젝트에 대응하는 프로그램의 입력을 포함할 수 있다. 구체적으로는, 제어부(130)는 하나의 사용자 드로잉 입력이 이루어지면, 그 사용자 드로잉 입력이 이루어진 시작 위치에 표시된 오브젝트가 선택된 것으로 보고, 전체 사용자 드로잉 입력의 궤적을 파악한다. 제어부(130)는 파악된 궤적이 특정 텍스트 또는 심벌로 인식되면, 해당 오브젝트에 대응되는 프로그램에 대한 입력으로, 인식된 텍스트 또는 심벌을 제공한다. 이에 따라, 프로그램은 텍스트 또는 심벌에 따른 프로그램 실행 결과 화면을 구성하고, 제어부(130)는 구성된 실행 결과 화면을 디스플레이부(110)를 통해 디스플레이한다.
즉, 제어부(130)는 오브젝트 상에 또는 그 주변 영역에 입력된 사용자 드로잉 입력이 감지되면, 해당 오브젝트에 대응되는 프로그램을 실행하고, 그 사용자 드로잉 입력을 해당 프로그램의 입력으로 처리하여 그 화면을 디스플레이부(110)에 디스플레이할 수 있다.
도 22에서는 텍스트가 입력된 경우를 예로 들어 설명한다.
사용자 단말 장치는 텍스트가 입력된 것이 감지되면(S1420), 그 텍스트가 입력된 오브젝트에 대응되는 어플리케이션을 실행시킨다(S1430). 그리고 나서, 사용자가 입력한 텍스트에 기초한 제어 동작을 수행한다(S1440). 구체적으로는, 제어부(130)는 사용자가 입력한 텍스트를, 실행된 어플리케이션에 대한 입력으로 제공하여, 그 실행 결과 화면을 디스플레이한다.
도 23은 본 실시 예에 따른 사용자 단말 장치의 동작을 설명하기 위한 도면이다. 도 23에 따르면, 위젯이나 아이콘 등을 비롯한 각종 오브젝트(11 ~ 19)들이 표시된 상태를 나타낸다. 사용자는 이러한 오브젝트에 대해 임의로 사용자 조작을 가할 수 있다.
감지부(120)는 이러한 사용자 조작을 감지하여 제어부(130)로 통지한다.
제어부(130)는 그 사용자 조작 내용 및 해당 오브젝트의 종류에 대응되는 제어 동작을 수행한다. 가령, 제어부(130)는 오브젝트에 대응되는 영역, 즉, 오브젝트 위 또는 주변 영역에서 펜 조작에 의해 텍스트가 드로잉되었다면, 그 오브젝트에 대응되는 프로그램을 실행시키고, 해당 텍스트에 대응되는 실행 화면을 디스플레이부(110)에 바로 표시할 수 있다.
도 23에서는, 사용자가 검색 사이트에서 제공한 검색 위젯(11) 상에 임의의 텍스트, 가령, KIM이라는 텍스트를 드로잉한 경우를 도시하였다. 이 경우, 제어부(130)는 그 검색 위젯(11)에 대응되는 프로그램을 실행하고 바로 KIM이라는 텍스트를 검색어로 입력하여, 검색을 수행한다. 그리고, 그 검색 결과 화면(1400)을 디스플레이한다. 검색 결과 화면(1400)에는 KIM이라는 검색어를 포함하는 다양한 검색 결과들이 표시될 수 있다.
종래에는 검색 위젯(11)을 선택하면, 그 어플리케이션의 초기 실행 화면이 먼저 디스플레이되고, 사용자는 초기 실행 화면에서 검색 창에 검색어를 입력하여야만 검색이 이루어졌다. 하지만, 본 실시 예에 따르면, 사용자는 홈 화면 상에서 바로 검색어를 입력하고, 그 검색 결과를 바로 확인할 수 있게 되므로, 훨씬 더 빠르고 용이하게 서비스를 이용할 수 있게 된다.
도 23에서는 검색 창 상에서 텍스트 드로잉이 이루어진 경우를 도시하였으나, 검색 창을 기준으로 일정 거리 이내에서 텍스트 드로잉이 이루어진 경우에도, 해당 텍스트에 기초한 검색 서비스를 제공하도록 구현될 수도 있다.한편, 도 23에서는 검색 서비스를 이용하는 경우를 예로 들었지만, 그 밖의 다양한 프로그램에 대해서도 본 실시 예가 적용될 수 있다.
도 24는, 사용자가 메일 프로그램이 매칭된 오브젝트(1600)의 일 측에 손가락이나 펜을 이용하여 To KIM이라는 텍스트(1601)를 쓰고, 그 텍스트 주위에 동그라미(1602)를 그린 경우를 나타낸다. 이 경우, 제어부(130)는 메일 프로그램을 실행시키고, 사용자가 드로잉한 내용을 파싱한다.
제어부(130)는 파싱된 내용으로부터 명령어 및 검색어를 각각 분리한다. 도 24에서, "To"는 명령어에 해당한다. 제어부(130)는 기 저장된 명령어 라이브러리 파일로부터 파싱된 단어에 대응되는 단어가 존재하는지 비교하여, 존재하면 그 단어는 명령어로 인식한다. 제어부(130)는 명령어에 대응되는 화면을 구성한다.
도 24에서는 제어부(130)는 "To"라는 명령어가 메일 작성 및 전송을 위한 명령어임을 인식하고, 그 명령어에 대응되는 메일 작성 화면을 디스플레이한다. 도 24에서는 텍스트 필기 이후에 동그라미(1602)까지 그린 상태를 도시하였으나, 동그라미(1602)는 생략될 수도 있다. 즉, 제어부(130)는 동그라미(1602) 부분은 무시하고, 나머지 부분만을 텍스트로 인식할 수도 있다. 또는, 제어부(130)는 동그라미(1602)와 같은 폐곡선이 인식되면, 그 시점에서 제어부(130)는 필기가 완료되었다고 판단하고 그 폐곡선 내의 텍스트만을 파싱할 수도 있다. 또한, 도 24의 예에서, 제어부(130)는 "KIM"이라는 텍스트는 검색어로 판단한다.
이에 따라, 그 검색어에 대응되는 메일 어드레스를 기 저장된 연락처 정보 내에서 탐색한다. 이러한 동작을 위해, 저장부(미도시)에는 각 어플리케이션에서 제공하는 기능에 대응되는 코맨드들에 대한 정보가 미리 저장되어 있을 수 있다. 제어부(130)는 사용자가 입력한 검색어에 대응되는 메일 어드레스가 탐색되면, 탐색된 메일 어드레스를 메일 작성 화면 내의 수신자 정보 영역에 바로 기재한다.
이에 따라, 사용자가 입력한 상대방의 메일 어드레스가 포함된 메일 작성 화면(1610)이 바로 디스플레이될 수 있다. 이에 따라, 사용자는 다양한 메뉴 선택이나, 번거로운 검색 과정 없이 원하는 상대방에게 바로 메일을 보낼 수 있게 된다.
메일 프로그램이 아니라, 메신저 프로그램이 매칭된 아이콘과 같은 오브젝트 상에 또는 그 주변 영역에 텍스트가 필기되었다면, 제어부(130)는 메신저 프로그램을 실행시키고 텍스트에 대응되는 타 사용자와의 사이에서 송수신된 메신저 내용을 표시하는 메신저 화면을 디스플레이부(110)에 표시할 수도 있다.
도 25는 전화 프로그램이 매칭된 오브젝트 상에서 텍스트 드로잉이 이루어지는 경우를 나타낸다. 도 25에 따르면, 전화 프로그램이 매칭된 오브젝트(1620) 상에서 사용자가 KIM 이라는 텍스트(1621)를 드로잉하게 되면, 제어부(130)는 KIM에 대응되는 전화 번호를 주소록으로부터 자동으로 검색한다. 제어부(130)는 전화 번호가 검색되면, 그 전화 번호로 자동으로 전화 통화를 연결한다. 이에 따라, 전화 통화 연결 화면(1622)이 디스플레이된다.
한편, 사용자가 사용자는 위젯이나 아이콘과 같은 오브젝트를 직접 터치하여 그 오브젝트에 대응되는 프로그램의 설정 값을 변경하는 경우, 그 변경되는 값에 따라 오브젝트의 형태가 변경될 수도 있다.
도 26은 사용자 조작에 따라 위젯이 변경되는 예를 설명하기 위한 도면이다. 도 26에 따르면, 디스플레이부(110)는 위젯(1630)을 포함하는 화면(2900)을 디스플레이한다.
도 26에서는 위젯(1630)이 시침(1634) 및 분침(1635)을 포함하는 아날로그 시계(1631)를 포함하는 알람 위젯인 경우를 나타낸다. 알람 위젯(1630)에는 디지털 시계(1632), 요일 정보(1633) 등도 함께 표시될 수 있다.
제어부(130)는 알람 위젯(1630)상에서의 사용자 조작에 따라, 알람을 설정하고, 설정된 알람에 맞게 위젯의 표시 내용을 변경한다. 구체적으로는, 제어부(130)는 위젯(1630) 내의 아날로그 시계(1631)내에서 시간을 나타내는 숫자를 일부(12, 3, 6, 9)만 표시하고 있다가, 펜 호버링이 이루어지면, 전체 숫자(1 ~ 12)를 표시할 수 있다. 또한, 사용자는 시침(1634) 및 분침(1635)을 각각 터치하여 원하는 위치로 드래깅(1641)할 수 있다.
제어부(130)는, 아날로그 시계(1631) 상에서 시침(1634) 및 분침(1635) 중 적어도 하나를 이동시키기 위한 펜 조작이 입력되면, 펜 조작에 따라 변경된 시간으로 알람을 설정한다. 그리고, 그 알람이 설정된 시간으로 시침 및 상기 분침을 적어도 하나를 이동시킬 수 있다. 도 26에서는 시침(1634)을 11시에서 5시 위치로 이동시키고, 분침(1635)은 그대로 12에 둔 상태를 나타낸다. 이에 따라, 알람 설정 시간은 5시로 설정된다. 알람 설정 시간이 변경되면, 아날로그 시계(1631) 뿐만 아니라 디지털 시계(1632)에 표시되는 시간도 자동으로 변경된다.
한편, 사용자는 요일 정보(1633) 중에서 알람이 울렸으면 하는 요일을 펜(200)으로 터치하여, 바로 선택할 수도 있다. 선택된 요일은 나머지 요일과 상이한 컬러로 표시될 수 있다. 그 밖에, 도 26에서는 도시하지 않았으나, 오전 및 오후를 선택하는 영역, 알람 온/오프를 선택하는 영역, 벨소리 선택 영역 등도 위젯(1630)에 포함될 수 있음은 물론이다. 상술한 바와 같이 펜(200)은 손가락에 비해 세밀한 터치가 가능하므로, 펜(200)을 이용할 경우에는 도 26의 위젯(1630)은 더 작게 표시될 수도 있다.
도 27은 알람 위젯(1630)에서 알람을 설정하는 또 다른 방법을 설명하기 위한 도면이다. 도 27에 따르면, 사용자는 펜(200)으로 디지털 시계(1632) 상에서 바로 시간 정보(1642)를 필기할 수 있다. 도 27에서는 시 영역에 1을 필기하고, 분 영역에 27을 필기한 상태를 나타낸다. 제어부(130)는 필기 내용을 인식하여, 그 인식 결과에 따라 알람 설정 시간을 자동으로 설정한다. 그리고, 설정된 시간에 맞게 디지털 시계(1632) 및 아날로그 시계(1630)의 표시 내용을 변경한다.
이상과 같이 아이콘 뿐만 아니라 하나의 위젯 내에서 펜의 조작 위치에 따라 상이한 제어 동작이 이루어지며, 펜을 이용한 입력 내용도 그 위젯 프로그램에 바로 반영될 수 있다. 이 밖에도, 프로그램의 종류 및 사용자의 필기 내용에 따라 다양한 제어 동작이 이루어질 수 있다.
도 23 및 도 24에서는 사용자가 임의의 텍스트를 입력한 경우를 도시하였으나, 해당 어플리케이션에서 제공되는 모드 별로 텍스트 또는 드로잉 패턴을 상이하게 설정하여, 이러한 텍스트 또는 드로잉 패턴을 드로잉하는 사용자 조작에 따라 동작을 수행할 수도 있다.
가령, 카메라 프로그램의 경우, 일반 모드, 베스트 모드, 얼굴 인식 모드, 파노라마 모드, 스마일 샷 모드, 동영상 촬영 모드 등과 같은 다양한 촬영 모드가 있을 수 있다. 저장부(140)에는 각 촬영 모드에 대응되는 텍스트 또는 드로잉 패턴이 저장되어 있을 수 있다. 가령, 베스트 모드에 대해서는 알파벳 B, 얼굴 인식 모드에 대해서는 동그라미, 파노라마 모드에 대해서는 물결 무늬, 스마일 샷 모드에 대해서는 알파벳 S, 동영상 촬영 모드에 대해서는 알파벳 M 등이 설정되어 있을 수 있다.
이에 따라, 제어부(130)는 카메라 프로그램이 매칭된 오브젝트 상에서 또는 그 주변에서 사용자의 드로잉이 감지되면, 카메라 프로그램을 실행시키고 그 드로잉 조작에 매칭되는 촬영 모드에 따른 화면을 바로 디스플레이한다. 가령, 알파벳 M자가 드로잉된 것으로 감지되면, 바로 동영상 촬영 모드에 따른 촬영 화면을 디스플레이한다. 반면, 해당 오브젝트에 대해 단순 터치가 이루어진 경우에는, 제어부(130)는 카메라 프로그램의 기본 화면을 디스플레이할 수 있다.
종래에는 사용자가 카메라 프로그램을 실행시킨 후, 그 초기 화면에서 메뉴를 선택하여 선택 가능한 촬영 모드 리스트를 확인한 후, 그 리스트에서 자산이 원하는 촬영 모드를 디스플레이하여야 하였으나, 본 실시 예에서는 홈 화면 상에서 바로 사용자가 원하는 뎁스의 화면이 디스플레이될 수 있으므로, 사용자 편의성이 크게 증대될 수 있다. 또 다른 예로, 펜을 이용하여 각종 필기를 할 수 있는 노트 프로그램이 매칭된 오브젝트에 대해서도 유사한 동작이 구현될 수 있다. 노트 프로그램에서는 사용자가 자유롭게 필기할 수 있는 다양한 형태의 페이퍼를 디스플레이한다. 예를 들어, 일반 노트와 같이 칸이 그려진 노트 페이퍼, 각종 아이디어를 메모할 수 있는 아이디어 페이퍼, 편지지 형태의 편지 페이퍼, 카드 형태의 카드 페이퍼 등과 같은 다양한 레이아웃의 페이퍼들이 제공될 수 있다.
저장부(140)에는 각 페이퍼 별로 상이한 텍스트 또는 드로잉 패턴이 매칭되어 저장될 수 있다. 일 예로, 노트 페이퍼에 대해서는 일반적인 터치 조작이 매칭되고, 아이디어 페이퍼에 대해서는 알파벳 I, 편지 페이퍼에 대해서는 M, 카드 페이퍼에 대해서는 C 등이 매칭될 수 있다. 제어부(130)는 이러한 매칭 정보에 기초하여, 사용자가 드로잉한 패턴에 대응되는 형태의 페이퍼를 바로 디스플레이할 수 있다.
한편, 도 14나 도 15에서 설명한 바와 같이, 가로 선 또는 세로 선과 같은 특정 드로잉 패턴에 대해서는 해당 프로그램의 동작 모드나 기능과 상관 없이. 해당 프로그램의 실행 화면을 복수 개로 디스플레이하기 위한 제어 동작이 매칭될 수도 있다. 그 밖에도, 사용자의 드로잉 패턴에 대해서는 다양한 제어 동작이 매칭될 수도 있다. 가령, 사용자는 오브젝트 상에서 기 설정된 기호나 텍스트 등을 드로잉하여 그 오브젝트 또는 그 오브젝트에 매칭된 어플리케이션에 대해 편집할 수도 있다.
가령, 하나의 오브젝트 상에서 사용자가 X 표시를 드로잉하게 되면, 제어부(130)는 그 오브젝트를 삭제할 수 있다. 실시 예에 따라서는, 이러한 경우에 오브젝트에 매칭되는 어플리케이션도 삭제할 수 있다. 또는, 하나의 오브젝트 상에서 사용자가 C 표시를 하는 경우, 제어부(130)는 그 오브젝트를 복사할 수 있다.
그 밖에도, P 표시를 하게 되면 붙여 넣기 동작을 수행하고, S표시를 하면 잘라내기 동작을 수행할 수 있다. 이러한 표시 내용 및 그에 따른 동작의 예는 이 밖에도 다양하게 구현될 수 있다. 또한, 다이어리 오브젝트의 경우 그 다이어리 오브젝트 위에 사용자가 특정 날짜를 필기로 입력하면, 제어부(130)는 다이어리 프로그램을 실행시키고 해당 날짜의 다이어리를 펼칠 수도 있다. 또는, 뮤직 오브젝트의 경우, 사용자가 뮤직 오브젝트 위에 노래 제목이나 가수 명, 앨범 명 등을 필기하면, 제어부(130)는 기 저장된 컨텐츠나 외부 서버로부터 사용자가 필기한 내용에 대응되는 뮤직 컨텐츠를 검색하여, 바로 재생을 해줄 수도 있다.
이상과 같이, 본 발명의 다양한 실시 예들에 따르면, 사용자는 오브젝트들이 표시된 화면상에서 다양한 조작 방식으로 원하는 제어 동작을 편리하게 선택할 수 있다. 이에 따라, 각종 프로그램 실행 및 이용에 따른 사용자의 편의성을 크게 증대시킬 수 있다.
이상과 같은 실시 예들은 실시 예 별로 개별적으로 구현되어 장치에 적용될 수도 있지만, 서로 조합되어 적용될 수도 있다. 즉, 하나의 사용자 단말 장치(100) 내에서 복수의 오브젝트를 그룹핑하여 복수의 제어 동작을 동시에 수행할 수도 있고, 그 오브젝트 중 하나에 대해 복수의 제어 동작을 매칭시켜 둘 수도 있으며, 오브젝트를 선택하는 사용자 조작의 방향이나 위치, 사용자가 입력한 내용 등에 따라서 다양한 제어 동작을 선택적으로 수행할 수도 있다.사용자 조작은 상술한 바와 같이 터치나, 음성, 모션 등과 같이 다양한 형태로 이루어질 수 있다.
터치 조작에 의해 제어되는 경우, 감지부(120)는 터치 스크린 형태로 구현될 수 있다. 또한, 터치 수단은 반드시 손가락과 같은 신체 일부로 한정되는 것은 아니며 다양한 유형의 펜이 사용될 수도 있다. 이하에서는 사용자가 손가락이나 펜을 함께 이용하여 제어할 수 있는 사용자 단말 장치의 세부 구성의 예들에 대하여 구체적으로 설명한다.
<　펜으로 조작 가능한 사용자 단말 장치의 세부 구성 예 >
도 28은 펜을 이용하여 조작 가능한 사용자 단말 장치의 구성을 나타내는 도면이다. 펜(200)은 단순 터치 펜으로 구현될 수도 있고, 스타일러스 펜이나 디지타이저 펜 등으로 구현될 수도 있다. 이 경우, 펜(200) 내부에는 공진 회로가 마련될 수 있다. 사용자 단말 장치(100)로 펜(200)이 접근하거나 터치되면, 펜(200)에 내장된 공진 회로에서는, 사용자 단말 장치(100)에 내장된 루프 코일로부터 송신된 자기 신호에 의해 유도 자계가 발생한다. 사용자 단말 장치(100)에 구비된 감지부(120)에서는 유도 자계를 검출하여, 펜의 접근 위치 또는 터치 위치를 감지한다.
도 29는 사용자의 손가락(50)에 의한 조작인지, 펜(200)에 의한 조작인지 여부를 감지할 수 있는 사용자 단말 장치(100)의 세부 구성의 일 예를 나타낸다.도 29에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 감지부(120), 제어부(130) 및 저장부(140)를 포함한다.
디스플레이부(110)는 상술한 바와 같은 다양한 화면을 디스플레이한다. 디스플레이부(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이부(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
디스플레이부(110) 및 감지부(120)는 하나의 터치 스크린으로 구현될 수 있다. 감지부(120)는 펜 인식 패널(121)과 터치 패널(122)을 포함할 수 있다. 팬 인식 패널(121)은 펜(200)의 근접 입력 또는 터치 입력을 감지하고, 그 감지 결과에 따른 이벤트 신호를 출력한다. 이러한 펜 인식 패널(121)은 EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다.
구체적으로 펜 인식 패널(121)은 전자 유도 코일 센서(미도시) 및 전자 신호 처리 회로부(미도시)를 포함할 수 있다. 전자 유도 코일 센서는, 복수의 루프 코일이 서로 교차되도록 배치된 그리드 구조로 이루어진다. 전자 신호 처리 회로부는 전자 유도 코일 센서의 각 루프 코일에 순차적으로 교류 신호를 제공하고, 각 루프 코일로부터 출력되는 신호를 제어부(130)로 전달한다. 펜 인식 패널(121)의 루프 코일 근방에 공진회로를 내장하는 펜(200)이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜(200) 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(121)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지된다.
이상에서는 펜이라고 기재하였으나, 전자 유도에 기초한 전류를 발생시킬 수 있는 물체라면 입력 수단으로 사용될 수 있다. 펜 인식 패널(121)은 디스플레이 부(110) 하측에 배치되어, 특정 이벤트 발생에 따라 또는 디폴트로 활성화될 수 있다.
터치 패널(122)은 사용자의 신체나 기타 사물을 통한 물리적인 터치 입력을 감지하기 위한 구성요소이다. 터치 패널(122)은 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다. 터치 패널(122)은 터치가 감지되면, 감지된 지점에 대응되는 터치 이벤트 값을 출력한다. 터치 패널(122)은 상술한 바와 같이 정전 용량 식이나 감압 식 등과 같은 다양한 형태의 터치 센서를 포함할 수 있다. 일 예로, 터치 패널(122)이 정전용량식으로 구현된 경우, 터치 패널(122)은 유리의 양면에 얇은 금속 전도성 물질(예를 들면, ITO(Indium Tin Oxide：산화 인듐주석) 막 등)을 코팅하여 유리표면에 전류가 흐르도록 하고 전하를 저장할 수 있는 유전체로 코팅되어 구성된다. 이러한 터치 패널(122)의 표면이 터치되면 정전기에 의해 일정량의 전하가 접촉 위치로 이동하고, 터치 패널(122)은 전하의 이동에 따른 전류의 변화량을 인식해서 터치된 위치를 감지하게 되고 터치 이벤트를 추적한다.
여기서 터치 패널(12)에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의해 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 다른 물체, 예를 들면 정전용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다. 도 29에서는 펜 인식 패널(121)과 터치 패널(122)가 각각 별도의 패널로 마련된 것으로 도시하였으나, 두 패널이 하나의 패널로 구현될 수도 있다.　한편, 도 29에서와 같이, 사용자는 사용자 단말 장치(100)에 대해 사용자의 손가락이나 기타 신체 일부를 이용하거나, 펜(200)을 이용하여 조작할 수 있다.
설명의 편의를 위해서 펜(200)을 이용하는 조작을 펜 조작이라고 하고, 그 밖의 조작을 일반 조작이라고 한다. 도 29에 도시된 구성에 따르면, 감지부(130)는 펜 조작과 일반 조작을 구분하여 인식할 수 있다.
또한, 제어부(130)는 일반 조작에 기초한 인터렉션에 따른 제어 동작과 펜 조작에 따른 인터렉션에 따른 제어 동작 사이에서 충돌이 생기지 않도록, 두 인터렉션을 구별하여 처리할 수 있다. 구체적으로는, 제어부(130)는, 기 설정된 조건이 충족된 상태에서 펜 조작이 감지되면, 상술한 다양한 실시 예들에서 설명한 바와 같이 펜 조작에 따라 드로잉되는 내용과, 그 펜 조작이 이루어지는 영역에 표시되는 오브젝트에 대응되는 제어 동작을 수행한다. 반면, 그 조건이 미충족된 상태에서 펜 조작이 감지되면 제어부(130)는 펜 조작과 일반 조작을 동일하게 취급할 수 있다. 즉, 조건이 미충족된 상태에서는 펜 조작이 수행되더라도 상술한 실시 예에서 설명한 제어 동작과 상이한 일반적인 동작을 수행할 수 있다.
가령, 조건이 미 충족된 상태에서 두 오브젝트 사이에 라인이 드로잉되더라도, 제어부(130)는 두 오브젝트의 제어 동작을 연동하여 실행시키지 않고, 그 펜 조작의 방향에 따라 홈 화면을 좌우 또는 상하 방향으로 페이지 단위로 변경하거나, 스크롤시킬 수 있다. 또는, 펜 조작에 따라 그래픽 라인을 드로잉하기만 할 뿐 별다른 제어 동작을 수행하지 않을 수도 있다.
이러한 조건은 다양하게 설정될 수 있다. 가령, 화면 상에 표시되는 특정 메뉴나 사용자 단말 장치(100)에 본체에 구비된 버튼(볼륨 버튼, 홈 버튼, 펜 버튼, 히든 키 등)이 손가락으로 눌려진 상태에서 펜 조작에 의해 드로잉이 이루어지는 것을 하나의 조건으로 설정할 수 있다. 제어부(130)는 해당 메뉴나 버튼이 눌려지지 않은 상태에서는 펜 조작에 의해 복수의 오브젝트들이 특정되더라도, 별다른 동작을 수행하지 않고 단순히 펜 조작에 따른 라인만을 그려 줄 수 있다. 반면, 눌려진 상태에서 펜 조작에 의해 복수의 오브젝트들이 특정된다면, 제어부(130)는 그 펜 조작에 의해 연관되는 복수의 오브젝트를 인식하여, 각 오브젝트에 대응되는 복수의 제어 동작을 각각 수행한다.
또는, 펜(200)이 본체로부터 분리되는 상태가 하나의 조건으로 설정될 수도 있다. 이 경우, 사용자가 펜을 분리한 상태에서 펜(200)으로 화면을 드래그하면 제어부(130)는 그 드래깅 궤적에 대응되는 라인을 표시하는 드로잉을 수행한다. 반면, 펜을 분리한 상태에서 손가락으로 화면을 드래그하면, 화면을 페이지 단위로 다른 페이지로 변경하거나, 스크롤시킬 수 있다.
이 밖에도, 다양한 조건이 설정되어 있을 수 있다. 이러한 조건은 사용자 단말 장치(100)의 제조 회사에서 디폴트로 설정하여 저장부(140)에 저장해 둘 수도 있지만, 사용자가 사용 과정에서 임의로 설정해 둘 수도 있다.
한편, 도 29에서는 도시를 생략하였으나, 사용자 단말 장치(100) 내에는 디스플레이부를 구동시킬 수 있는 드라이버부(미도시), 프레임 버퍼(미도시) 등이 더 포함될 수도 있다. 프레임 버퍼는 디스플레이부(110)의 패널 상에 디스플레이될 이미지 프레임을 버퍼링하기 위한 구성이고, 드라이버부는 프레임 버퍼에 저장된 이미지 프레임을 이미지 소스 신호로 변환하고 디스플레이부(110)로 제공하여, 디스플레이부(110)가 이미지 프레임을 디스플레이하도록 구동시키는 구성이다.
제어부(130)는 저장부(140)에 저장된 각종 프로그램 및 데이터를 이용하여 사용자 단말 장치의 전반적인 동작을 제어한다.제어부(130)는 RAM(131), ROM(132), CPU(133), GPU(Graphic Processing Unit)(134), 버스(135)를 포함한다. RAM(131), ROM(132), CPU(133), GPU(134) 등은 버스(135)를 통해 서로 연결될 수 있다. CPU(133)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(140)에 저장된 각종 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(134)는 사용자 단말 장치(100)의 부팅이 완료되면, 홈 화면을 디스플레이한다. 구체적으로는, GPU(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 홈 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(110)로 제공되어, 디스플레이 영역 내에 표시된다.
도 30은 사용자 단말 장치(100)가 사용하는 소프트웨어 구조의 일 예를 나타내는 도면이다.
도 30의 소프트웨어는 저장부(140)에 저장될 수도 있으나 반드시 이에 한정되는 것은 아니며 사용자 단말 장치(100) 내에 사용되는 다양한 유형의 저장 수단에 저장될 수도 있다.
도 30에 따르면, 사용자 단말 장치(100)에는 OS(141), 커널(142), 미들웨어(143), 어플리케이션(144)를 포함한다.운영체제(Operating System: OS, 141)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(141)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다. 커널(142)은 감지부(120) 등에서 감지되는 각종 신호들을 미들웨어(143)로 전달하는 통로 역할을 한다. 미들웨어(143)는 사용자 단말 장치(100)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다.
도 30에 따르면, 미들웨어(143)는 X11 모듈(143-1), APP 매니저 (143-2), 연결 매니저(143-3), 보안 모듈(143-4), 시스템 매니저(143-5), 멀티미디어 프레임워크(143-6), UI 프레임워크(143-7), 윈도우 매니저(143-8), 필기 인식 모듈(143-9)을 포함한다. X11 모듈(143-1)은 사용자 단말 장치(100)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다.
여기서 이벤트란, 사용자 조작이 감지되는 이벤트, 시스템 알람이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다. APP 매니저(143-2)는 저장부(140)에 설치(install)된 각종 어플리케이션의 실행 상태를 관리하는 모듈이다. APP 매니저(143-2)는 X11 모듈(143-2)로부터 어플리케이션 실행 명령이 입력된 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다.
연결 매니저(143-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(143-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다. 보안 모듈(143-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다. 시스템 매니저(143-5)는 사용자 단말 장치(100) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(143-5)는 그 모니터링 결과를 UI 프레임워크(143-7)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다. 멀티미디어 프레임워크(143-6)는 사용자 단말 장치(100)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(143-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다. UI 프레임워크(143-7)는 각종 UI를 제공하기 위한 모듈이다. UI 프레임워크(143-7)는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다. 윈도우 매니저(143-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(143-8)는 이러한 이벤트가 감지되면 UI 프레임워크(142-7)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
필기 인식 모듈(143-9)은 사용자가 디스플레이부(110) 표면 상에서 드로잉한 궤적을 파싱하여, 그 내용을 인식하기 위한 모듈이다. 필기 인식 모듈(143-9)은 펜 인식 패널(121)로 터치되는 포인트들의 좌표값을 입력받아, 터치된 포인트들의 좌표값을 스트로크로 저장한다. 그리고, 그 스트로크를 이용하여 스트로크 어레이를 생성할 수 있다. 그리고 필기 인식 모듈(143-9)은 미리 저장된 필기 라이브러리와, 생성된 스트로크 어레이를 비교하여, 필기 내용을 인식할 수 있다. 인식된 필기 내용은 어플리케이션 매니저(143-2)로 제공되며, 어플리케이션 매니저(143-2)는 그 필기 내용을, 사용자 필기가 이루어진 지점의 오브젝트에 대응되는 어플리케이션으로 제공한다. 이에 따라, 상술한 바와 같이, 어플리케이션이 인식된 필기 내용에 기초한 제어 동작을 수행할 수 있다.
한편, UI 프레임워크(143-7)는 사용자가 손이나 펜 등과 같은 다양한 입력 수단을 이용하여 디스플레이부(110) 표면을 터치하거나 드로잉하는 경우, 그 사용자 조작에 따라 다양한 그래픽 라인을 드로잉(drawing)할 수 있다. 구체적으로는, 사용자가 펜(200)을 이용하여 화면상에 그림을 그리면, 제어부(130)는 UI 프레임워크(143-7)의 실행에 따라 펜(200)이 지나가는 지점마다 그래픽 라인을 그린다. 라인의 굵기는 펜(200)이 화면상에 가하는 압력이나, 펜(200)과 화면이 접하는 면적의 크기에 따라 달라질 수 있으며, 컬러나 라인의 형태 등도 사용자 설정 사항에 따라 다양하게 변경될 수 있다. 어플리케이션 모듈(144)은 다양한 기능을 지원하기 위한 어플리케이션들(144-1 ~ 144-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 어플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다.
도 30에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(140)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
한편, 상술한 바와 같이 사용자 단말 장치는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 여기서, 휴대폰이나 태블릿 PC 등과 같이 통신 기능, 컨텐츠 재생 기능 등과 같이 다양한 기능을 갖춘 장치로 구현되는 경우, 사용자 단말 장치에는 이러한 기능을 수행하기 위한 구성요소들이 추가로 구비될 수 있다.
도 31은 다양한 구성 요소를 종합적으로 포함하는 사용자 단말 장치의 일 예를 나타내는 블럭도이다.
도 31에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 감지부(120), 제어부(130), 저장부(140), 통신부(150), GPS 칩(161), 비디오 프로세서(162), 오디오 프로세서(163), 버튼(164), 마이크 부(165), 카메라부(166), 스피커부(167), 움직임 감지부(168)를 포함할 수 있다.
디스플레이부(110) 및 감지부(120)는 상술한 부분에서 설명한 바와 같이 터치 스크린 형태로 구현되어, 각종 화면을 디스플레이하고, 그 화면에 대해 이루어지는 사용자 조작을 감지할 수 있다. 제어부(130)는 저장부(140)에 저장된 각종 프로그램 및 데이터를 이용하여 사용자 단말 장치(100)의 동작을 전반적으로 제어한다. 디스플레이부(110), 감지부(120), 제어부(130)에 대해서는 상술한 다양한 실시 예들에서 이미 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(150)는 와이파이칩(151), 블루투스 칩(152), 무선 통신 칩(153), NFC 칩(154)을 포함한다. 와이파이 칩(151), 블루투스 칩(152)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(151)이나 블루투스 칩(152)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
무선 통신 칩(153)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(154)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.　
제어부(130)는 통신부(150)를 이용하여 각종 외부 기기와 통신을 수행한다. 일 예로, 어플리케이션을 다운로드받아 저장부(140)에 설치하고, 그 어플리케이션에 대응되는 오브젝트를 디스플레이할 수 있다. 이 경우, 해당 어플리케이션을 기존에 사용되던 오브젝트에 매칭시킬 수도 있다. GPS 칩(161)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 사용자 단말 장치(100)의 현재 위치를 산출하기 위한 구성요소이다.
제어부(130)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(161)을 이용하여 사용자 위치를 산출할 수 있다. 비디오 프로세서(162)는 통신부(150)를 통해 수신된 컨텐츠 또는, 저장부(140)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다.
비디오 처리부(162)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 오디오 프로세서(163)는 통신부(150)를 통해 수신된 컨텐츠 또는, 저장부(140)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(163)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.제어부(130)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(162) 및 오디오 프로세서(163)를 구동시켜, 해당 컨텐츠를 재생할 수 있다.
디스플레이부(110)는 비디오 프로세서(162)에서 생성한 이미지 프레임을 디스플레이할 수 있다.
또한, 스피커부(167)는 오디오 프로세서(163)에서 생성한 오디오 데이터를 출력한다.　
버튼(164)은 사용자 단말 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
마이크 부(165)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.
제어부(130)는 마이크 부(165)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(140)에 저장할 수 있다.카메라부(166)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다.
카메라부(166)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다. 카메라 부(166) 및 마이크 부(165)가 마련된 경우, 제어부(130)는 마이크 부(165)를 통해 입력되는 사용자 음성이나 카메라 부(166)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다.
즉, 사용자 단말 장치(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(130)는 카메라 부(166)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다.
음성 제어 모드로 동작하는 경우 제어부(130)는 마이크 부(165)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다. 모션 제어 모드나 음성 제어 모드가 지원되는 사용자 단말 장치(100)에서는, 음성 인식 기술 또는 모션 인식 기술이 상술한 다양한 실시 예에 사용될 수 있다. 가령, 사용자가 복수의 오브젝트를 포함하는 원을 그리는 모션을 취하거나, 복수의 오브젝트를 발음하는 경우, 그 복수의 오브젝트 각각에 대응되는 제어 동작들을 수행할 수 있다.
타 실시 예에서도 모션 제어 또는 음성 제어 기술이 사용될 수 있음은 물론이다. 움직임 감지부(168)는 사용자 단말 장치(100)의 본체 움직임을 감지하기 위한 구성요소이다. 즉, 사용자 단말 장치(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 움직임 감지부(168)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 31에 도시하지는 않았으나, 실시 예에 따라서는, 사용자 단말 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩 등을 더 포함할 수 있음은 물론이다.
이상과 같이, 상술한 다양한 실시 예들은 다양한 형태의 사용자 단말 장치에 의해 구현될 수 있다. 한편, 상술한 다양한 실시 예들에서 언급한 오브젝트들은 상술한 바와 같이 홈 화면, 아이콘 화면, 리스트 화면, 어플리케이션 실행 화면, 웹 브라우저 화면, 컨텐츠 재생 화면 등과 같은 다양한 종류의 화면 내에 표시되는 다양한 종류의 오브젝트일 수 있다.
특히, 홈 화면의 경우, 상술한 바와 같이, 정형화된 형태의 기본 화면이 될 수도 있고, 유저 크리에이티브 화면이 될 수도 있다.
유저 크리에이티브 화면으로 구성되는 경우, 사용자는 자신의 임의대로 홈 화면 상에서 오브젝트를 드로잉(drawing)한 후, 그 오브젝트에 대해 적어도 하나의 제어 동작을 매칭시킬 수 있다.
이하에서는 유저 크리에이티브 화면을 구성하는 방법 및 그 형태에 대해서 구체적으로 설명한다.
<　유저 크리에이티브 화면을 구성하는 실시 예 >
도 32는 사용자가 직접 구성한 유저 크리에이티브 화면의 일 예를 나타내는 도면이다. 도 32에 따르면, 사용자 단말 장치(100)의 홈 화면(2100)에는 다양한 오브젝트(2110 ~ 2190)들이 표시된다. 각 오브젝트(2110 ~ 2190)들은 사용자가 직접 홈 화면(2100) 상에서 드로잉하여 생성한 것이다. 이에 따라, 각 오브젝트(2110 ~ 2190)들의 크기나 형태, 위치, 컬러 등과 같은 표시 속성은 정형화되지 않고, 사용자의 임의에 따라 다양하게 표현될 수 있다. 이 경우, 일부 오브젝트(2120)는 복수의 오브젝트(2121 ~ 2124)를 포함하는 형태로 드로잉이 될 수도 있다. 또한, 사용자는 자신이 드로잉한 오브젝트에 대해서 자신이 원하는 제어 동작을 매칭시킬 수 있다.
제어부(130)는 사용자가 오브젝트 별로 제어 동작을 매칭시키면, 그 매칭 정보를 저장부(140) 또는 기타 저장 수단에 저장한다. 이 후에, 제어부(130)는 표시된 오브젝트가 선택되면, 매칭 정보에 기초하여, 오브젝트에 매칭되는 제어 동작을 수행한다.
도 32에 도시된 바와 같이, 일부 오브젝트(2120)는 복수의 오브젝트(2121 ~ 2124)를 포함하는 형태로 표현될 수 있다. 이 경우, 사용자가 해당 오브젝트(2120) 하나만 선택하더라도 그 내부에 포함된 각 오브젝트(2121 ~ 2124)들에 매칭된 복수의 제어 동작을 각각 수행할 수도 있다. 또한, 모든 오브젝트들이 제어 동작이 매칭되어 있어야 하는 것은 아니며, 일부 오브젝트는 단순히 시각적 만족을 위한 그림으로만 활용될 수도 있다.
도 33은 유저 크리에이티브 화면의 또 다른 예를 나타낸다. 도 33에 도시된 바와 같이, 사용자 단말 장치(100)는 락 상태에서 언 락(un-lock)이 이루어졌을 때에도, 홈 화면(2210)을 표시할 수 있다. 사용자 단말 장치(100)가 펜으로 제어 가능한 장치인 경우, 펜으로 언 락 동작이 이루어질 경우에는 펜에 특화된 그래픽 효과가 디스플레이될 수 있다. 즉, 도 33에 도시된 바와 같이, 락 화면(2200)을 사용자가 펜으로 가르는 듯한 제스쳐를 취하게 되면, 제어부(130)는 락 화면(2200)이 종이처럼 찢어지는 그래픽 효과를 제공하면서, 홈 화면(2210)을 디스플레이한다.
홈 화면(2210) 내에는 사용자가 이전에 만들어 둔 복수의 오브젝트(2211 ~ 2219) 들이 배치될 수 있다. 사용자는 자신의 손이나 펜으로 홈 화면에서 마음대로 드로잉하여 디폴트로 제공되는 기존의 오브젝트를 삭제하거나 변형할 수도 있고, 새로이 추가할 수도 있다.
또한, 오브젝트 별로 매칭되는 제어 동작도 임의로 선택하여, 각 오브젝트마다 어플리케이션이나 특정 이미지, 특정 기능, 북마크 등을 링크시킬 수도 있다. 이에 따라 개개인의 개성이 표현될 수 있는 새로운 개념의 홈 화면을 구현할 수 있다.
도 32 및 도 33에서는 홈 화면이 유저 크리에이티브 화면으로 구성된 경우를 도시하였으나, 반드시 홈 화면만이 이와 같이 구성될 수 있는 것은 아니며, 어플리케이션 아이콘 화면이나 락 화면 등과 같은 다양한 UI 화면에서 사용자가 직접 드로잉한 오브젝트를 표시할 수 있음은 물론이다. 한편, 사용자는 저작 툴(tool)을 이용하여, 펜(200)에 부여되는 속성을 임의로 선택할 수 있다.
도 34는 화면 저작 툴의 구성의 일 예를 나타낸다.제어부(130)는 홈 화면(2210)이 디스플레이되고 있는 상태에서, 저작 툴 메뉴(미도시)가 선택되면, 도 34와 같은 저작 툴 화면(2300)을 디스플레이할 수 있다. 도 34에 따르면, 저작 툴 화면(2300)에는 라인의 컬러, 오브젝트의 형태, 생성할 아이템의 개수, 특수 기호 등을 선택할 수 있는 다양한 툴 들이 표시된다. 사용자가 이들 툴을 임의로 선택하고 설정을 완료한 후 입력 수단을 이용하여 화면을 조작하면, 설정된 표시 속성에 따라 오브젝트가 드로잉될 수 있다. 이에 따라, 사용자는 좀 더 다양한 오브젝트를 표현할 수 있게 된다.
한편, 홈 화면은 바탕 화면 및 오브젝트로 구성될 수 있다. 바탕 화면과 오브젝트는 서로 다른 레이어에 배치되어, 중첩 표시될 수 있다. 여기서, 오브젝트는 아이콘이나 위젯 등과 같이 홈 화면에 표시되는 다양한 그래픽 이미지들을 의미한다. 사용자는 바탕 화면 그 자체 또는 바탕 화면에 표시된 오브젝트를 직접적으로 드로잉하여, 자신만의 특별한 홈 화면을 생성할 수 있다.
도 35 내지 도 37은 복수의 레이어를 이용하여 홈 화면을 표시하는 다양한 실시 예들에 대하여 설명하기 위한 도면이다. 도 35에 따르면, 디스플레이부(110)는 제1 내지 제3 레이어(3510, 3520, 3530)를 중첩하여, 하나의 홈 화면(3500)을 구성한다. 각 레이어(3510, 3520, 3530)에 표시될 이미지는 각 레이어(3510, 3520, 3530)에 대응되는 그래픽 버퍼(미도시)에 저장되어, 디스플레이부(110)로 제공될 수 있다.
도 35에서는, 제1 레이어(3510)에 위젯(3511)이 표시되고, 제2 레이어(3520)에서 아이콘(3521, 3522)이 표시된 상태를 나타낸다. 제어부(130)는 제1 레이어(3510) 및 제2 레이어(3520)에 표시되는 각 오브젝트들의 경계를 검출하여, 그 오브젝트의 위치를 확인한다. 이에 따라, 감지부(120)에 포함된 터치 센서로부터 터치 좌표값이 검출되면, 그 터치 좌표값과 각 오브젝트의 위치를 비교하여 어느 오브젝트가 선택되었는지 여부를 판단한다. 제3 레이어(3530)에는 바탕 화면(3531)이 표시된다.
사용자는 제1 내지 제3 레이어(3510, 3520, 3530)에 표시되는 각 오브젝트나 바탕 화면을 직접적으로 드로잉할 수 있다. 제어부(130) 내의 GPU(134)는 사용자가 화면 상에서 드로잉한 궤적의 크기, 위치, 형태, 굵기 등을 픽셀 단위로 그대로 적용하여 각 오브젝트 및 바탕 화면을 대응되는 레이어 상에 렌더링한다. 따라서, 오브젝트 및 바탕 화면은 사용자가 의도한 그대로 표시될 수 있다. 디스플레이부(110)는 각 레이어(3510, 3520, 3530)를 순차적으로 중첩시켜 표시한다. 이에 따라, 사용자는 바탕 화면(3511) 및 오브젝트(3511, 3521, 3522)로 구성된 하나의 홈 화면(3500)을 인식할 수 있다.
도 35에서 오브젝트(3511, 3521, 3522)는 바탕 화면(3511)이 표시된 상태에서 제1 또는 제2 레이어(3510, 3520)에서 직접적으로 드로잉될 수도 있지만, 별도의 프로그램 실행 화면에서 드로잉된 이후에 바탕 화면(3511) 상으로 이동될 수도 있다.
또한, 도 35에서는 세 개의 레이어만을 도시하였으나, 레이어의 개수는 이에 한정되지 않으며 그 배치 위치 또한 도 35에 도시된 순서로 한정되지는 않는다. 가령, 위젯(3511)이 제2 레이어에 표시되고, 아이콘(3521, 3522)이 제1 레이어에 표시될 수도 있다. 또한, 위젯이나 아이콘은 각각 복수의 레이어에 분산되어 표시될 수도 있다. 한편, 본 발명의 또 다른 실시 예에 따르면, 사용자는 하나의 바탕 화면을 그린 이후에, 그 바탕 화면의 각 영역을 구분하여 오브젝트처럼 활용할 수도 있다.
도 36은 본 발명의 또 다른 실시 예에 따른 홈 화면 구성 방법을 설명하기 위한 도면이다. 도 36에 따르면, 디스플레이부(110)는 제1 내지 제3 레이어(3610, 3620, 3630)를 중첩하여, 하나의 홈 화면(3600)을 구성한다. 각 레이어(3610, 3620, 3630)들 중에서 제1 레이어(3610)에는 위젯(3611)이나 기타 아이콘(미도시)이 표시될 수 있고, 제3 레이어(3630)에는 바탕 화면(3631)이 표시될 수 있다. 제2 레이어(3620)는 사용자 인터렉션을 위한 투명 레이어로 구현될 수 있다. 사용자는 제3 레이어(3630)에서 바탕 화면(3631)을 그린 이후에, 그 바탕 화면(3631)의 전체 영역 중 일부 영역을 복수 개로 구분하여, 각각을 독립적인 청크 영역(3631-1 ~ 3631-5)으로 설정할 수 있다. 청크 영역은 사용자의 선택에 의해 수동적으로 설정될 수도 있고, 사용자 단말 장치(100)가 자동적으로 설정할 수도 있다.
수동적으로 설정하는 실시 예의 경우에는, 사용자가 하나의 바탕 화면(3631)을 드로잉하면, 제어부(130)는 그 바탕 화면(3631)을 저장한다. 그리고 나서, 사용자가 바탕 화면(3631) 상에서 손가락이나 펜과 같은 입력 수단을 이용하여 터치 및 드래깅하여 각 영역을 구분하는 조작을 하게 되면, 제어부(130)는 그 조작에 따른 그래픽 라인을 제2 레이어(3620)에 표시할 수 있다.
이러한 조작이 완료되면, 제어부(130)는 제2 레이어(3620)에서 드로잉된 사용자 궤적에 의해 특정된 복수의 영역을 각각 복수의 투명 오브젝트(3621-1 ~ 3621-5)로 인식한다. 제어부(130)는 복수의 투명 오브젝트(3621-1 ~ 3621-5) 각각의 픽셀 좌표 값을 저장한다. 또한, 각 투명 오브젝트(3621-1 ~ 3621-5)에 대해 제어 동작을 매칭시켜, 그 매칭 정보도 함께 저장한다. 이 후에, 제어부(130)는 터치나 호버링 등과 같은 각종 사용자 조작이 감지되면, 그 감지 지점에 대응되는 픽셀 좌표값을 가지는 투명 오브젝트를 확인한다. 그리고, 확인된 투명 오브젝트에 대응되는 제어 동작을 수행한다.
한편, 청크를 자동적으로 구분하는 실시 예의 경우, 제어부(130)는 사용자 조작의 특성을 분석하여, 바탕 화면(3631)을 복수 개의 영역으로 구분한다. 구체적으로는, 제어부(130)는 폐곡선 단위, 스트로크 단위, 획수 단위, 드로잉 순서 단위 등과 같이 다양한 기준에 따라 영역을 구분할 수 있다.
폐곡선 단위란, 하나의 오브젝트 내에서 폐곡선을 이루는 부분을 서로 독립적인 청크로 인식하는 것을 의미하고, 스트로크 단위란 펜(200)이 홈 화면을 터치하여 떨어질 때까지 드로잉된 부분을 하나의 청크로 인식하는 것을 의미한다. 획수 단위란 정해진 횟수만큼의 스트로크가 일어날 때마다 그 때까지 드로잉된 부분을 독립적인 청크로 인식하는 것을 의미하며, 드로잉 순서 단위란 정해진 시간 단위를 기준으로 먼저 드로잉된 부분과, 나중에 드로잉된 부분을 구분하여 각각을 독립적인 청크로 인식하는 것을 의미한다. 이 밖에도, 제어부(130)는 다양한 기준에 따라 오브젝트를 구분할 수 있다.
청크 구분이 이루어지면, 제어부(130)는 각 청크에 대응되는 가상의 투명 오브젝트(3621-1 ~ 3621-5)가 존재하는 것으로 가정하고, 그 오브젝트(3621-1 ~ 3621-5)의 픽셀 좌표 값을 저장한다. 그리고, 각 오브젝트(3621-1 ~ 3621-5)에 매칭되는 제어 동작에 대한 정보도 저장한다. 이에 따라, 사용자가 홈 화면(3600) 상에서 바탕 화면(3611)에 표시된 복수의 영역(3631-1 ~ 3631-5) 중 하나를 선택하면, 제어부(130)는 그 선택된 영역에 매칭된 제어 동작을 수행한다.
도 36의 실시 예에 따르면, 사용자는 오브젝트 크기에 구애받지 않고 자신의 마음대로 원하는 크기 및 형태의 홈 화면을 그릴 수 있고, 그 홈 화면 내에서 자신이 원하는 영역에 대해 제어 동작을 매칭시킬 수 있다.
예를 들어, 바탕 화면(3631) 내에서 어떠한 표식이나 오브젝트가 없는 밑바탕 부분에 대해서도, 사용자가 원하는 제어 동작을 매칭시킬 수 있다. 즉, 사용자는 제3자가 알 수 없는 밑바탕 부분까지도 투명 오브젝트로 설정하여, 사용할 수 있게 된다.
도 36의 실시 예에서도 레이어의 개수나 배치 순서 등은 다양하게 변경될 수 있음은 상술한 바와 같다.
한편, 도 35 및 도 36에서는 홈 화면의 배경 화면도 사용자가 직접 드로잉할 수 있는 실시 예에 대하여 설명하였으나, 본 발명의 또 다른 실시 예에 따르면, 사용자가 직접 드로잉한 위젯 화면을 기존의 홈 화면 전면에 중첩시켜, 마치 사용자가 홈 화면 자체를 변경한 것처럼 구현할 수도 있다.
도 37은 이러한 실시 예에 따른 홈 화면 구성 방법을 설명하기 위한 도면이다. 도 37에 따르면, 최상위 레이어(3710)에는 위젯 화면(3711)이 표시된다. 사용자는 위젯 화면(3711)을 자신이 원하는 대로 직접적으로 드로잉할 수 있다. 위젯 화면(3711)은 하위의 다른 레이어(3720) 상에 중첩 표시된다. 따라서, 사용자는 위젯 화면(3711)을 마치 홈 화면(3700)인 것처럼 사용할 수 있다.
도 36과 마찬가지로 도 37의 위젯 화면(3711)도 복수의 청크 영역(3711-1 ~ 3711-5)으로 구분되고, 각 청크 영역(3711-1 ~ 3711-5) 은 마치 오브젝트 처럼 활용될 수 있다. 또한, 위젯 화면(3711)이 표시되는 제1 레이어(3710) 상위에 또 다른 투명 레이어가 더 추가될 수 있다. 청크 구분 방법에 대해서는 도 36에 대한 부분에서 구체적으로 설명하였으므로, 중복 설명은 생략한다.
제어부(130)는 제1 레이어(3710)의 하위 레이어 중 하나의 레이어(3720)에 기존의 홈 화면을 그대로 표시할 수도 있다. 제어부(130)는 사용자 조작에 따라 기존 홈 화면이 표시된 레이어(3720)와 위젯 화면이 표시된 레이어(3710)의 표시 순서를 변경하여, 사용자에게 기존 홈 화면을 바로 제공하여 줄 수도 있다. 즉, 본 실시 예에 따르면, 사용자 단말 장치(100)는 기존 홈 화면을 변경하지 않고, 위젯 프로그램을 이용하여 유저 크리에이티브 화면을 제공하여 줄 수 있다. 한편, 상술한 바와 같이, 홈 화면에 포함된 각종 오브젝트(투명 오브젝트 포함)에 대해서는 각각, 적어도 하나의 제어 동작이 매칭될 수 있다. 사용자는 직접 홈 화면 또는 그 홈 화면 내의 오브젝트를 드로잉하고, 매칭시킬 제어 동작도 선택할 수 있다.
도 38 내지 도 42는 제어 동작과 매칭되는 오브젝트를 생성하는 다양한 방법에 대하여 구체적으로 설명한다.
도 38은 홈 화면 생성 방법의 일 예를 나타내는 도면이다. 도 38에 따르면, 사용자는 홈 화면(2400)을 캔버스처럼 사용하여 펜(200)으로 다양한 오브젝트(2410, 2420)를 그릴 수 있다.
오브젝트(2410, 2420)가 드로잉되고 난 이후에 사용자는 매칭시킬 제어 동작을 선택할 수 있다. 제어부(130)는 제어 동작을 매칭시키기 위한 사용자 명령이 입력되면, 사용자 단말 장치(100)에 설치된 어플리케이션들에 대한 리스트를 각 오브젝트(2410, 2420) 별로 표시한다. 도 38에서는 사용자 단말 장치는 베젤 부분에 홈 버튼(101) 및 히든 버튼(102)이 배치된 형태로 구성되고, 그 중 히든 버튼(102)이 선택되었을 때 각 어플리케이션 리스트(2411, 2421)을 디스플레이하는 것으로 도시하였으나, 사용자 명령은 다양한 방식으로 입력될 수 있다.
사용자는 어플리케이션 리스트(2411, 2421) 상에서 각 오브젝트에 매칭될 어플리케이션을 선택할 수 있다. 선택이 완료되면, 제어부(130)는 해당 오브젝트에 대한 정보와, 선택된 어플리케이션의 정보를 서로 매칭시켜 저장부(140) 또는 기타 저장 수단에 저장할 수 있다. 이에 따라, 유저 크리에이티브 화면이 생성될 수 있다.
도 39는 유저 크리에이티브 화면 생성 방법의 다른 예를 설명하기 위한 도면이다. 도 39에 따르면, 사용자가 홈 화면(2500)이 표시된 상태에서 히든 키(102)를 선택하면, 제어부(130)는 홈 화면 일측에 각종 메뉴(2510)들을 표시한다. 이들 메뉴 중에는 오브젝트를 직접 생성하기 위한 메뉴(2511)도 포함될 수 있다.
사용자가 이러한 메뉴(2511)를 선택하면, 제어부(130)는 사용자 단말 장치(100)에 설치된 각종 어플리케이션에 대한 정보를 리스트(2520) 형태로 표시할 수 있다. 이러한 상태에서 사용자가 하나의 어플리케이션을 선택하면, 사용자가 오브젝트를 드로잉할 수 있는 홈 화면(2500)이 디스플레이된다. 이 경우, 사용자가 오브젝트를 드로잉할 수 있도록 유도하는 가이드 메시지(2530)가 디스플레이될 수 있다.
사용자는 가이드 메시지(2530)를 보고, 홈 화면(2500) 상에서 오브젝트(2540)를 그릴 수 있다. 오브젝트 드로잉이 완료되면, 제어부(130)는 사용자가 미리 선택한 어플리케이션과 오브젝트(2540)를 매칭시키고, 최종 홈 화면(2500) 내에 오브젝트(2540)를 표시한다. 제어부(130)는 오브젝트 드로잉의 완료 여부를 다양한 방식으로 판단할 수 있다. 가령, 사용자가 오브젝트를 그리기 위한 마지막 스트로크를 한 후, 일정 시간이 경과되면, 제어부(130)는 오브젝트 드로잉이 완료된 것으로 판단할 수 있다. 또는 오브젝트를 그리고 나서 별도로 확인 버튼을 눌렀을 때, 오브젝트 드로잉이 완료된 것으로 판단할 수 있다. 이 후에는 삭제 또는 편집 되지 않는 이상, 오브젝트(2540)는 홈 화면(2500) 내에 고정적으로 디스플레이된다.
한편, 어플리케이션이 먼저 선택될 경우, 그 어플리케이션에 이미 매칭되어 있는 기준 오브젝트를 활용하여 사용자가 오브젝트를 생성할 수도 있다.
도 40은 기준 오브젝트를 편집하여 오브젝트를 생성하는 방법을 설명하기 위한 도면이다. 도 40에 도시된 바와 같이, 사용자가 어플리케이션을 먼저 선택한 경우, 홈 화면(2600)에는 선택된 어플리케이션에 대응되는 기준 오브젝트(2610)가 먼저 표시된다(a).
사용자는 펜(200)을 이용하여 기준 오브젝트(2610)를 편집할 수 있다(b, c). 즉, 도 40에 도시된 바와 같이, 펜(200)을 이용하여 기준 오브젝트(2610)의 가장자리 부분을 일일이 터치하여 다양한 방향으로 늘려서, 별 형태의 오브젝트(2610)를 생성할 수 있다(d).
도 40에서는 형상을 변형시키는 경우에 대해서만 도시하였으나, 사용자는 기준 오브젝트(2610)의 크기나 컬러, 첨부 텍스트 등을 변경하여, 완전히 새로운 오브젝트를 생성할 수도 있음은 물론이다. 이 경우, 도 34에서 설명한 바와 같은 저작 툴이 사용될 수도 있다.
도 41은 사용자가 좀 더 용이하게 오브젝트를 드로잉할 수 있도록, 가이드 이미지를 디스플레이해주는 실시 예를 나타낸다.
도 41에 따르면, 사용자가 오브젝트 생성 메뉴를 선택하면, 제어부(130)는 홈 화면(2700) 상에 어플리케이션 리스트(2710)를 디스플레이한다. 사용자는 어플리케이션 리스트(2710) 상에서, 자신이 드로잉할 오브젝트에 매칭하고자 하는 어플리케이션을 먼저 선택할 수 있다. 이 경우, 어플리케이션 리스트(2710)는 사라지고, 홈 화면(2700) 상에는 선택된 어플리케이션에 대응되는 레퍼런스 오브젝트(2720)가 워터마크 형태로 표시된다. 레퍼런스 오브젝트(2720)는 사용자가 따라 그릴 수 있도록 점선 형태로 표시될 수도 있다. 사용자는 레퍼런스 오브젝트(2720)의 라인을 따라서 오브젝트(2730)를 드로잉할 수 있다. 이 경우, 사용자는 반드시 레퍼런스 오브젝트(2720)와 동일하게 오브젝트를 그려야만 하는 것은 아니다. 최종적으로, 오브젝트(2730)가 완성되면, 제어부(130)는 완성된 오브젝트(2730)에 사용자가 선택한 어플리케이션을 매칭시킨다.
한편, 사용자가 직접 제어 동작을 선택하지 않더라도, 사용자 단말 장치(100)에서 사용자가 그린 오브젝트를 인식하여 그 오브젝트에 어울리는 어플리케이션을 추천하여 줄 수도 있다.
도 42는 오브젝트에 대응되는 어플리케이션을 추천하는 방법을 설명하기 위한 도면이다. 도 42에 따르면, 사용자가 홈 화면(2800) 상에서 오브젝트(2810)를 그리고 나면, 제어부(130)는 오브젝트(2810)의 특성을 인식한다. 구체적으로는, 제어부(130)는 상술한 필기 인식 모듈(143-9)을 이용하여, 드로잉된 오브젝트(2810)의 형상을 인식할 수 있다.
제어부(130)는 기 설치된 각 어플리케이션들에 대응되는 아이콘이나 어플리케이션 명 등과 인식된 형상을 비교하여, 일정 값 이상의 유사도를 가지는 어플리케이션을 검색할 수 있다. 가령, 사용자가 새 형상을 그린 경우, 제어부(130)는 새 형상의 기본 아이콘으로 대표되는 어플리케이션을 검색할 수 있다.
또는, 제어부(130)는 인식된 형상과 관련된 서비스를 제공하는 어플리케이션을 검색할 수도 있다. 가령, 도 42에 도시된 바와 같이 사용자가 해 형상을 그린 경우에는, 제어부(130)는 날씨와 관련된 어플리케이션을 검색하여 줄 수도 있다.
제어부(130)는 검색된 어플리케이션들을 사용자에게 추천하여 줄 수 있다. 즉, 제어부(130)는 오브젝트(2810)의 일 측에, 검색된 적어도 하나의 어플리케이션들의 리스트(2820)를 디스플레이하여 줄 수 있다. 사용자가 리스트(2820) 상에서 하나의 어플리케이션을 선택하면, 선택된 어플리케이션이 오브젝트에 매칭될 수 있다.
이상과 같이, 사용자는 다양한 방식으로 유저 크리에이티브 화면을 구성할 수 있다. 사용자가 직접 오브젝트를 그려서 유저 크리에이티브 화면을 구성하기 때문에 유저 크리에이티브 화면 내의 어디 쯤에 어떤 오브젝트가 존재하는지 용이하게 기억할 수 있다. 즉, 하나의 페이지 상에 많은 오브젝트들을 작게 표시하더라도, 사용자는 각 오브젝트의 위치를 직관적으로 알 수 있다. 따라서, 사용자 단말 장치(100)는 홈 화면의 페이지를 복수 개로 구성하지 않고도, 하나의 페이지 상에 많은 오브젝트들을 작게 표시함으로써 하나의 페이지 내에 표현할 수 있게 된다. 이 경우, 사용자는 줌 인 또는 줌 아웃 조작을 하여, 페이지 내의 작은 오브젝트를 확대하여 볼 수도 있다.
도 43은 유저 크리에이티브 화면에 대해 줌 인 또는 줌 아웃 조작을 수행하는 방법을 설명하기 위한 도면이다. 도 43에 따르면, 유저 크리에이티브 화면(2900) 내에는 다양한 오브젝트들이 표시된다. 이 중 일부 오브젝트(2910 ~ 2960)는 사용자가 그 형태를 잘 식별하기 어려운 수준으로 작게 표시될 수 있다. 이러한 상태에서 사용자는 축소된 오브젝트(2910 ~ 2960)들이 표시된 부분을 탭(tap)하거나, 복수의 손가락으로 화면을 터치한 후 터치 간격을 벌리는 조작을 하여 줌 인(zoom-in)을 시킬 수 있다. 이 경우, 전체 홈 화면(2900)이 확대되면서, 축소되어 있던 오브젝트(2910 ~ 2960)들이 크게 표시된다. 사용자는 확대된 오브젝트 중 하나를 선택하여, 매칭된 제어 동작을 실행시킬 수 있다.
한편, 사용자가 오브젝트가 표시되지 않은 여백 영역을 탭하거나, 복수의 손가락으로 화면을 터치한 후 터치 간격을 좁히는 조작을 하게 되면, 제어부(130)는 줌-아웃 동작을 수행한다. 이에 따라, 화면이 다시 원래의 크기로 돌아가면서, 각 오브젝트들은 축소된 사이즈로 표시된다. 이에 따라, 페이지를 늘리지 않고도, 많은 오브젝트들을 화면에 담을 수 있게 된다.　
또는, 사용자 단말 장치(100)는 유저 크리에이티브 화면을 롤 스크린 형태로 표현할 수도 있다. 즉, 사용자 단말 장치(100)는 유저 크리에이티브 화면이 표시된 상태에서 사용자가 화면을 터치하여 한쪽 방향으로 드래그하게 되면, 그 드래그 방향에 따라 화면을 점진적으로 스크롤시킬 수 있다.
도 44는 스크롤 방식으로 홈 화면을 변경하는 실시 예를 설명하기 위한 도면이다. 도 44에 따르면, 제어부(130)는 다양한 오브젝트들을 포함하는 홈 화면(3000)을 디스플레이한다. 이러한 상태에서 사용자가 손가락이나 펜을 이용하여 화면을 터치하고, 화살표와 같이 스크롤시키면, 화면이 이동하면서 빈 공간(3010)이 새로이 나타난다. 사용자는 빈 공간(3010)에 대해 새로운 오브젝트를 그리고, 제어 동작을 매칭시켜 사용할 수 있다. 도 44에서는 상하 방향으로 홈 화면은 연속적으로 스크롤되는 경우로 도시하였으나, 스크롤 방향은 상하로만 한정되는 것은 아니며 다양한 방향으로 구현될 수 있다.
또한, 제어부(130)는 스크롤이 이루어지는 경우, 홈 화면이 스크롤에 의해 출렁거리는 듯한 그래픽 효과를 부여할 수도 있고, 소리나 진동, 빛 등과 같은 부수적인 피드백도 함께 제공하여 줄 수도 있다.
이상과 같이, 사용자 단말 장치(100)는 사용자가 직접 생성한 오브젝트를 포함하는 홈 화면, 즉, 유저 크리에이티브 화면을 제공하여 줄 수 있다. 유저 크리에이티브 화면상에서 오브젝트의 형태, 크기, 컬러 등은 다양하게 구현될 수 있다. 특히, 오브젝트의 위치도 사용자가 편리하게 정할 수 있다.
따라서, 사용자는 자신이 자주 사용하는 오브젝트들을 근처에 배치하여 두고, 필요 시에는 여러 개의 오브젝트를 동시에 선택하여, 각 오브젝트에 대응되는 제어 동작을 동시에 실행시킬 수 있다. 동시 선택 방법은 상술한 다양한 실시 예에서 설명한 바와 같이, 복수의 오브젝트를 포함하는 폐곡선을 드로잉하는 조작, 복수의 오브젝트 사이에 연결 라인을 드로잉하는 조작, 복수의 오브젝트를 각각 터치하는 멀티 터치 조작, 복수의 오브젝트가 표시된 영역을 덮는 커버링 조작 중 적어도 하나가 될 수 있다.
또는, 사용자는 오브젝트를 생성할 때, 그 오브젝트에 매칭될 제어 동작을 복수 개 선택하여 줄 수도 있고, 다르게는, 오브젝트 생성 시에 그 오브젝트에 대한 사용자의 선택 패턴, 가령, 어느 방향으로 선택할지, 어느 지점을 선택할지 등을 다양하게 선택하고, 그에 대응되는 제어 동작을 상이하게 설정하여 줄 수도 있다. 이에 따라, 유저 크리에이티브 화면 상에서 상술한 다양한 실시 예들에 따른 제어 방법이 구현될 수 있다.
이상과 같이, 본 발명의 다양한 실시 예에 따르면, 사용자는 오브젝트를 편리한 방식으로 선택하여 하나 또는 복수의 제어 동작을 동시에 선택할 수 있게 된다.
상술한 다양한 실시 예들에 따른 사용자 단말 장치의 제어 방법이나 유저 크리에이티브 화면 생성 방법 등은 소프트웨어로 코딩되어 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
구체적으로는, 홈 화면을 디스플레이하는 단계, 상기 홈 화면에 포함된 복수의 오브젝트를 연관짓는 사용자 조작이 감지되면, 상기 복수의 오브젝트 각각에 대응되는 제어 동작을 수행하는 단계를 포함하는 제어 방법을 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 디스플레이부　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　120 : 감지부
130 : 제어부　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　140 : 저장부

Claims (21)

  1. 어플리케이션에 대응되는 아이콘 또는 위젯을 포함하는 제1 화면을 디스플레이하는 디스플레이;
    상기 아이콘 또는 위젯 상에 또는 그 주변 영역에 입력된 사용자 드로잉 입력(user drawing input)을 감지하기 위한 센서; 및
    상기 사용자 드로잉 입력이 감지되면, 상기 아이콘 또는 위젯에 대응되는 어플리케이션을 실행하고, 상기 사용자 드로잉 입력을 상기 어플리케이션의 입력으로 처리한 제2 화면을 상기 디스플레이에 표시하는 프로세서;를 포함하고,
    상기 프로세서는,
    기설정된 조건이 만족되는 동안 상기 사용자 드로잉 입력이 감지되면, 상기 어플리케이션에 의해 제공되는 복수의 기능 중 상기 사용자 드로잉 입력에 대응되는 기능을 수행하고, 상기 기설정된 조건이 만족되지 않는 동안 상기 사용자 드로잉 입력이 감지되면, 상기 사용자 드로잉 입력에 따라 제1 화면에서 제공되는 기능을 수행하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 사용자 드로잉 입력에 의해 텍스트가 드로잉되면, 상기 텍스트를 상기 어플리케이션의 입력으로 처리한 제2 화면을 상기 디스플레이에 표시하는 것을 특징으로 하는 사용자 단말 장치
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 위젯이 검색 위젯이면, 상기 텍스트에 대한 검색을 수행하고, 상기 텍스트에 대한 검색 결과를 포함하는 검색 결과 화면인 제2 화면을 상기 디스플레이에 표시하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제1항에 있어서,
    상기 프로세서는, 상기 사용자 드로잉 입력에 의해 심벌이 드로잉되면, 상기 심벌을 상기 어플리케이션의 입력으로 처리한 제2 화면을 상기 디스플레이에 표시하는 것을 특징으로 하는 사용자 단말 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 아이콘 또는 위젯이 메일 어플리케이션에 매칭된 아이콘 또는 위젯이면, 상기 텍스트에 대응되는 메일 주소로 메일을 전송하기 위한 메일 작성 화면인 제2 화면을 상기 디스플레이에 표시하는 것을 특징으로 하는 사용자 단말 장치.
  6. 제2항에 있어서,
    상기 프로세서는,
    상기 아이콘 또는 위젯이 메신저 어플리케이션에 매칭된 아이콘 또는 위젯이면, 상기 텍스트에 대응되는 타 사용자와의 사이에서 송수신된 메신저 내용을 표시하는 메신저 화면인 제2 화면을 상기 디스플레이에 표시하는 것을 특징으로 하는 사용자 단말 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 사용자 드로잉 입력은 사용자 신체 또는 펜을 이용한 터치 앤 드래그 조작에 의해 수행되는 것을 포함하는 것을 특징으로 하는 사용자 단말 장치.
  8. 복수의 어플리케이션에 대응되는 복수의 아이콘 또는 위젯을 포함하는 화면을 디스플레이하는 디스플레이;
    상기 화면상에서 사용자 조작을 감지하기 위한 센서; 및
    상기 사용자 조작에 의해 상기 복수의 아이콘 또는 위젯 중 제1 아이콘 또는 제1 위젯 및 제2 아이콘 또는 제2 위젯 사이에서 연결 라인이 드로잉되면, 상기 제1 아이콘 또는 제1 위젯에 대응되는 제1 어플리케이션의 제1 기능 및 상기 제2 아이콘 또는 제2 위젯에 대응되는 제2 어플리케이션의 제2 기능을 연동하여 수행하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 제1 어플리케이션에 의해 제공되는 기설정된 제1 기능을 수행하고, 상기 기설정된 제1 기능의 수행 결과에 기초하여 상기 제2 어플리케이션에 의해 제공되는 기설정된 제2 기능을 수행하는, 사용자 단말 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 제1 아이콘 또는 제1 위젯에 대응되는 제1 어플리케이션을 실행시켜 제1 화면을 디스플레이하고, 상기 제1 화면에서 사용자 조작이 이루어지면, 상기 제2 아이콘 또는 제2 위젯에 대응되는 제2 어플리케이션을 실행시키고 상기 사용자 조작에 따른 결과가 반영된 제2 화면을 디스플레이하는 것을 특징으로 하는 사용자 단말 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제2 어플리케이션의 종류에 따라 상기 제1 화면에 표시되는 컨텐츠를 상이하게 결정하는 것을 특징으로 하는 사용자 단말 장치.
  11. 사용자 단말 장치의 제어 방법에 있어서,
    어플리케이션에 대응되는 아이콘 또는 위젯을 포함하는 제1 화면을 디스플레이하는 단계;
    상기 아이콘 또는 위젯 상에 또는 그 주변 영역에 입력된 사용자 드로잉 입력(user drawing input)을 감지하는 단계; 및
    상기 아이콘 또는 위젯에 대한 상기 사용자 드로잉 입력이 감지되면, 상기 아이콘 또는 위젯에 대응되는 어플리케이션을 실행하고, 상기 사용자 드로잉 입력을 상기 아이콘 또는 위젯에 대응되는 어플리케이션의 입력으로 처리한 제2 화면을 디스플레이하는 단계;를 포함하고,
    상기 제2 화면을 디스플레이하는 단계는,
    기설정된 조건이 만족되는 동안 상기 사용자 드로잉 입력이 감지되면, 상기 어플리케이션에 의해 제공되는 복수의 기능 중 상기 사용자 드로잉 입력에 대응되는 기능을 수행하고, 상기 기설정된 조건이 만족되지 않는 동안 상기 사용자 드로잉 입력이 감지되면, 상기 사용자 드로잉 입력에 따라 제1 화면에서 제공되는 기능을 수행하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 제2 화면을 디스플레이하는 단계는,
    상기 사용자 드로잉 입력에 의해 텍스트가 드로잉되면, 상기 텍스트를 상기 어플리케이션의 입력으로 처리한 화면을 디스플레이하는 것을 특징으로 하는 제어 방법.
  13. 제12항에 있어서,
    상기 제2 화면을 디스플레이하는 단계는,
    상기 위젯이 검색 위젯이면, 상기 텍스트에 대한 검색을 수행하고, 상기 텍스트에 대한 검색 결과를 포함하는 검색 결과 화면을 디스플레이하는 것을 특징으로 하는 제어 방법.
  14. 제11항에 있어서,
    상기 제2 화면을 디스플레이하는 단계는,
    상기 사용자 드로잉 입력에 의해 심벌이 드로잉되면, 상기 심벌을 상기 어플리케이션의 입력으로 처리한 화면을 디스플레이하는 것을 특징으로 하는 제어 방법.
  15. 제12항에 있어서,
    상기 제2 화면을 디스플레이하는 단계는,
    상기 아이콘 또는 위젯이 메일 어플리케이션에 매칭된 아이콘 또는 위젯이면, 상기 메일 어플리케이션을 실행시키고 상기 텍스트에 대응되는 메일 주소로 메일을 전송하기 위한 메일 작성 화면을 디스플레이하는 것을 특징으로 하는 제어 방법.
  16. 제12항에 있어서,
    상기 화면을 디스플레이하는 단계는,
    상기 아이콘 또는 위젯이 메신저 어플리케이션에 매칭된 아이콘 또는 위젯이면, 상기 텍스트에 대응되는 타 사용자와의 사이에서 송수신된 메신저 내용을 표시하는 메신저 화면을 디스플레이하는 것을 특징으로 하는 제어 방법.
  17. 삭제
  18. 복수의 어플리케이션에 대응되는 복수의 오브젝트를 포함하는 화면을 디스플레이하는 단계;
    상기 화면상에서 사용자 조작을 감지하는 단계; 및
    상기 사용자 조작에 의해 상기 복수의 오브젝트 중 제1 오브젝트 및 제2 오브젝트 사이에서 연결 라인이 드로잉되면, 상기 제1 오브젝트에 대응되는 제1 어플리케이션의 제1 기능 및 상기 제2 오브젝트에 대응되는 제2 어플리케이션의 제2 기능을 연동하여 수행하는 제어 단계;를 포함하고,
    상기 제어 단계는,
    상기 제1 어플리케이션에 의해 제공되는 기설정된 제1 기능을 수행하고, 상기 기설정된 제1 기능의 수행 결과에 기초하여 상기 제2 어플리케이션에 의해 제공되는 기설정된 제2 기능을 수행하는 단계;를 포함하고,
    상기 오브젝트는 상기 어플리케이션에 대응되는 아이콘 또는 위젯을 포함하고,
    상기 제1 오브젝트는 상기 제1 어플리케이션에 대응되는 제1 아이콘 또는 제1 위젯을 포함하며,
    상기 제2 오브젝트는 상기 제2 어플리케이션에 대응되는 제2 아이콘 또는 제2 위젯을 포함하는 제어 방법.
  19. 제18항에 있어서,
    상기 제어 단계는,
    상기 제1 오브젝트에 대응되는 제1 어플리케이션을 실행시켜 제1 화면을 디스플레이하는 단계; 및
    상기 제1 화면에 대한 사용자 조작이 이루어지면, 상기 제2 오브젝트에 대응되는 제2 어플리케이션을 실행시키고 상기 제1 화면에 대한 상기 사용자 조작의 결과가 반영된 제2 화면을 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  20. 제19항에 있어서,
    상기 제어 단계는,
    상기 제2 어플리케이션의 종류에 따라 상기 제1 화면에 표시되는 컨텐츠를 상이하게 결정하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.





  21. 삭제
KR1020130097820A 2013-04-26 2013-08-19 사용자 단말 장치 및 그 제어 방법 KR102203885B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/245,210 US9891809B2 (en) 2013-04-26 2014-04-04 User terminal device and controlling method thereof
CN201480023680.7A CN105164714B (zh) 2013-04-26 2014-04-25 用户终端装置及其控制方法
EP14787826.8A EP2989532B1 (en) 2013-04-26 2014-04-25 User terminal device and controlling method thereof
PCT/KR2014/003625 WO2014175688A1 (en) 2013-04-26 2014-04-25 User terminal device and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130046991 2013-04-26
KR1020130046991 2013-04-26

Publications (2)

Publication Number Publication Date
KR20140128208A KR20140128208A (ko) 2014-11-05
KR102203885B1 true KR102203885B1 (ko) 2021-01-15

Family

ID=52452141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130097820A KR102203885B1 (ko) 2013-04-26 2013-08-19 사용자 단말 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US9891809B2 (ko)
EP (1) EP2989532B1 (ko)
KR (1) KR102203885B1 (ko)
CN (1) CN105164714B (ko)
WO (1) WO2014175688A1 (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924335B1 (en) 2006-03-30 2014-12-30 Pegasystems Inc. Rule-based user interface conformance methods
US8594740B2 (en) 2008-06-11 2013-11-26 Pantech Co., Ltd. Mobile communication terminal and data input method
US20140351723A1 (en) * 2013-05-23 2014-11-27 Kobo Incorporated System and method for a multimedia container
KR102207443B1 (ko) * 2013-07-26 2021-01-26 삼성전자주식회사 그래픽 유저 인터페이스 제공 방법 및 장치
JP6146350B2 (ja) * 2014-03-18 2017-06-14 パナソニックＩｐマネジメント株式会社 情報処理装置およびコンピュータプログラム
US9785340B2 (en) 2014-06-12 2017-10-10 Apple Inc. Systems and methods for efficiently navigating between applications with linked content on an electronic device with a touch-sensitive display
US9648062B2 (en) 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
DE202015006142U1 (de) 2014-09-02 2015-12-09 Apple Inc. Elektronische Touch-Kommunikation
US10469396B2 (en) 2014-10-10 2019-11-05 Pegasystems, Inc. Event processing with enhanced throughput
USD761845S1 (en) * 2014-11-26 2016-07-19 Amazon Technologies, Inc. Display screen or portion thereof with an animated graphical user interface
US20160225369A1 (en) * 2015-01-30 2016-08-04 Google Technology Holdings LLC Dynamic inference of voice command for software operation from user manipulation of electronic device
KR20160113906A (ko) * 2015-03-23 2016-10-04 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101688162B1 (ko) * 2015-03-23 2016-12-20 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106293433A (zh) * 2015-05-26 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
CN104866201A (zh) * 2015-06-10 2015-08-26 三星电子（中国）研发中心 一种智能设备以及一种触发应用的编辑功能的方法
WO2017000138A1 (en) * 2015-06-29 2017-01-05 Orange Method for controlling the execution of a program configurable into a disabled state and enabled state
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US10210383B2 (en) * 2015-09-03 2019-02-19 Microsoft Technology Licensing, Llc Interacting with an assistant component based on captured stroke information
USD815107S1 (en) 2015-10-30 2018-04-10 Bank Of America Corporation Display screen with a transitional graphical user interface
US10430025B2 (en) 2015-10-30 2019-10-01 Bank Of America Corporation Active selection configuration system with suggested actions
US10031645B2 (en) 2015-10-30 2018-07-24 Bank Of America Corporation Application connectivity for aggregation
US10051015B2 (en) 2015-10-30 2018-08-14 Bank Of America Corporation System for configuration, device connectivity and device control based on user selection
US9929917B2 (en) * 2015-10-30 2018-03-27 Bank Of America Corporation System for configuration and device connectivity based on user selection
US10048836B2 (en) 2015-10-30 2018-08-14 Bank Of America Corporation Application connectivity for aggregation and for use in data filtering
US10158535B2 (en) 2015-10-30 2018-12-18 Bank Of America Corporation System for active configuration of devices based on user selection
KR102254699B1 (ko) * 2015-12-29 2021-05-24 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
USD781907S1 (en) 2016-01-19 2017-03-21 Apple Inc. Display screen or portion thereof with graphical user interface
US10423133B2 (en) * 2016-02-17 2019-09-24 Lutron Technology Company Llc Configuring a load control system
US10698599B2 (en) * 2016-06-03 2020-06-30 Pegasystems, Inc. Connecting graphical shapes using gestures
EP3472699B1 (en) * 2016-07-12 2022-03-02 Samsung Electronics Co., Ltd. Method and electronic device for managing functionality of applications
US10163184B2 (en) * 2016-08-17 2018-12-25 Adobe Systems Incorporated Graphics performance for complex user interfaces
CN106774824B (zh) * 2016-10-26 2020-02-04 网易（杭州）网络有限公司 虚拟现实交互方法及装置
CN108269117B (zh) * 2017-01-03 2021-10-26 阿里巴巴集团控股有限公司 数据的推送、确定方法及装置、计算机终端
CN108399037A (zh) * 2017-02-07 2018-08-14 阿里巴巴集团控股有限公司 一种日程创建、编辑方法及智能表
JP6903999B2 (ja) * 2017-03-29 2021-07-14 富士フイルムビジネスイノベーション株式会社 コンテンツ表示装置およびコンテンツ表示プログラム
DK179979B1 (en) 2017-05-16 2019-11-27 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR TOUCH INPUT PROCESSING
CN111026306B (zh) * 2017-05-16 2021-02-02 苹果公司 用于触摸输入处理的设备、方法和图形用户界面
KR102329761B1 (ko) * 2017-05-26 2021-11-22 삼성전자주식회사 외부 장치의 선택 및 제어를 위한 전자 장치와 그의 동작 방법
KR20190053675A (ko) * 2017-11-10 2019-05-20 삼성전자주식회사 전자 장치 및 그 동작 방법
USD857041S1 (en) 2018-01-03 2019-08-20 Apple Inc. Display screen or portion thereof with graphical user interface
CN109062534B (zh) * 2018-07-13 2021-07-13 Oppo广东移动通信有限公司 发声控制方法、装置、电子装置以及存储介质
US11048488B2 (en) 2018-08-14 2021-06-29 Pegasystems, Inc. Software code optimizer and method
USD869493S1 (en) 2018-09-04 2019-12-10 Apple Inc. Electronic device or portion thereof with graphical user interface
CN114077365A (zh) * 2020-08-21 2022-02-22 荣耀终端有限公司 分屏显示方法和电子设备
US11567945B1 (en) 2020-08-27 2023-01-31 Pegasystems Inc. Customized digital content generation systems and methods
WO2022114495A1 (ko) * 2020-11-30 2022-06-02 삼성전자 주식회사 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040217947A1 (en) * 2003-01-08 2004-11-04 George Fitzmaurice Layer editor system for a pen-based computer
US20070003143A1 (en) * 2005-06-30 2007-01-04 Canon Kabushiki Kaisha Information processing device, information processing control method and program
US20100321312A1 (en) * 2009-06-19 2010-12-23 Lg Electronics Inc. Method for processing touch signal in mobile terminal and mobile terminal using the same

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5500937A (en) * 1993-09-08 1996-03-19 Apple Computer, Inc. Method and apparatus for editing an inked object while simultaneously displaying its recognized object
US5880743A (en) * 1995-01-24 1999-03-09 Xerox Corporation Apparatus and method for implementing visual animation illustrating results of interactive editing operations
US5777616A (en) * 1996-08-05 1998-07-07 International Business Machines Corporation Data processing system and method for invoking a function of a multifunction icon in a graphical user interface
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
JP2938420B2 (ja) * 1998-01-30 1999-08-23 インターナショナル・ビジネス・マシーンズ・コーポレイション ファンクション選択方法及び装置、ファンクションを選択するための制御プログラムを格納した記憶媒体、オブジェクトの操作方法及び装置、オブジェクトを操作するための制御プログラムを格納した記憶媒体、複合アイコンを格納した記憶媒体
US6459442B1 (en) * 1999-09-10 2002-10-01 Xerox Corporation System for applying application behaviors to freeform data
US6857106B1 (en) * 1999-09-15 2005-02-15 Listen.Com, Inc. Graphical user interface with moveable, mergeable elements
US6956562B1 (en) * 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
US7266768B2 (en) * 2001-01-09 2007-09-04 Sharp Laboratories Of America, Inc. Systems and methods for manipulating electronic information using a three-dimensional iconic representation
US20080104526A1 (en) * 2001-02-15 2008-05-01 Denny Jaeger Methods for creating user-defined computer operations using graphical directional indicator techniques
US7017124B2 (en) * 2001-02-15 2006-03-21 Denny Jaeger Method for controlling electronic devices using digital recall tool
US20020199025A1 (en) * 2001-02-23 2002-12-26 Altoweb, Inc. System and method to create an application and to manipulate application components within the application
US7202861B2 (en) * 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US20030093419A1 (en) * 2001-08-17 2003-05-15 Srinivas Bangalore System and method for querying information using a flexible multi-modal interface
US7120299B2 (en) * 2001-12-28 2006-10-10 Intel Corporation Recognizing commands written onto a medium
US7093202B2 (en) * 2002-03-22 2006-08-15 Xerox Corporation Method and system for interpreting imprecise object selection paths
US7554530B2 (en) * 2002-12-23 2009-06-30 Nokia Corporation Touch screen user interface featuring stroke-based object selection and functional object activation
US20040145574A1 (en) * 2003-01-29 2004-07-29 Xin Zhen Li Invoking applications by scribing an indicium on a touch screen
JP4454958B2 (ja) * 2003-04-30 2010-04-21 株式会社東芝 情報処理装置および機能選択方法
EP1639441A1 (en) * 2003-07-01 2006-03-29 Nokia Corporation Method and device for operating a user-input area on an electronic display device
US7181695B2 (en) * 2004-01-13 2007-02-20 Nbor Corporation System and method for sending and receiving electronic messages using graphic directional indicators
US7623119B2 (en) * 2004-04-21 2009-11-24 Nokia Corporation Graphical functions by gestures
US8169410B2 (en) * 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
JP4741908B2 (ja) * 2005-09-08 2011-08-10 キヤノン株式会社 情報処理装置及び情報処理方法
US7728818B2 (en) * 2005-09-30 2010-06-01 Nokia Corporation Method, device computer program and graphical user interface for user input of an electronic device
JP2007109118A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 入力指示処理装置および入力指示処理プログラム
US8196055B2 (en) * 2006-01-30 2012-06-05 Microsoft Corporation Controlling application windows in an operating system
KR100672605B1 (ko) 2006-03-30 2007-01-24 엘지전자 주식회사 아이템 선택 방법 및 이를 위한 단말기
EP2010999A4 (en) 2006-04-21 2012-11-21 Google Inc SYSTEM FOR ORGANIZING AND VISUALIZING DISPLAY OBJECTS
US7844908B2 (en) * 2006-08-04 2010-11-30 National Instruments Corporation Diagram that visually indicates targeted execution
US20080104020A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Handwritten Query Builder
EP1947562A3 (en) 2007-01-19 2013-04-03 LG Electronics Inc. Inputting information through touch input device
KR101346931B1 (ko) * 2007-01-19 2014-01-07 엘지전자 주식회사 터치 스크린을 구비한 전자 기기 및 이를 이용한애플리케이션 실행 방법
JP4560062B2 (ja) * 2007-03-29 2010-10-13 株式会社東芝 筆跡判定装置、方法およびプログラム
US20090021482A1 (en) * 2007-07-20 2009-01-22 Ying-Chu Lee Virtually multiple wheels and method of manipulating multifunction tool icons thereof
US20090037813A1 (en) * 2007-07-31 2009-02-05 Palo Alto Research Center Incorporated Space-constrained marking menus for mobile devices
US8296681B2 (en) * 2007-08-24 2012-10-23 Nokia Corporation Searching a list based upon user input
US20090193363A1 (en) * 2008-01-30 2009-07-30 International Business Machines Corporation Representing Multiple Computing Resources Within A Predefined Region Of A Graphical User Interface For Displaying A Single Icon
KR100900295B1 (ko) * 2008-04-17 2009-05-29 엘지전자 주식회사 이동 디바이스와 이동 통신 시스템의 사용자 인터페이스방법
TW200937254A (en) * 2008-02-29 2009-09-01 Inventec Appliances Corp A method for inputting control commands and a handheld device thereof
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
KR100969790B1 (ko) * 2008-09-02 2010-07-15 엘지전자 주식회사 이동단말기 및 그 컨텐츠 합성방법
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
US8954894B2 (en) * 2008-11-15 2015-02-10 Adobe Systems Incorporated Gesture-initiated symbol entry
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
EP2192474B1 (en) * 2008-12-01 2017-04-12 LG Electronics Inc. Method for operating execution icon of mobile terminal
US20100185949A1 (en) * 2008-12-09 2010-07-22 Denny Jaeger Method for using gesture objects for computer control
KR101565768B1 (ko) * 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
US8869070B2 (en) * 2008-12-30 2014-10-21 T-Mobile Usa, Inc. Handwriting manipulation for conducting a search over multiple databases
US8289287B2 (en) * 2008-12-30 2012-10-16 Nokia Corporation Method, apparatus and computer program product for providing a personalizable user interface
US20100169842A1 (en) * 2008-12-31 2010-07-01 Microsoft Corporation Control Function Gestures
US8330733B2 (en) * 2009-01-21 2012-12-11 Microsoft Corporation Bi-modal multiscreen interactivity
US9424578B2 (en) * 2009-02-24 2016-08-23 Ebay Inc. System and method to provide gesture functions at a device
US8589374B2 (en) * 2009-03-16 2013-11-19 Apple Inc. Multifunction device with integrated search and application selection
US8499243B2 (en) * 2009-03-23 2013-07-30 Panasonic Corporation Information processing device, information processing method, recording medium, and integrated circuit
JP5091180B2 (ja) * 2009-03-27 2012-12-05 ソニーモバイルコミュニケーションズ， エービー 携帯端末装置
KR101559178B1 (ko) * 2009-04-08 2015-10-12 엘지전자 주식회사 명령어 입력 방법 및 이를 적용한 이동 통신 단말기
US8819597B2 (en) * 2009-04-10 2014-08-26 Google Inc. Glyph entry on computing device
KR101537706B1 (ko) * 2009-04-16 2015-07-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20100281435A1 (en) * 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
KR101587211B1 (ko) * 2009-05-25 2016-01-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR101564222B1 (ko) * 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
KR101561703B1 (ko) * 2009-06-08 2015-10-30 엘지전자 주식회사 메뉴 실행 방법 및 이를 적용한 이동 통신 단말기
US8217912B2 (en) * 2009-06-17 2012-07-10 Broadcom Corporation Graphical authentication for a portable device and methods for use therewith
US8656314B2 (en) * 2009-07-30 2014-02-18 Lenovo (Singapore) Pte. Ltd. Finger touch gesture for joining and unjoining discrete touch objects
KR101611302B1 (ko) * 2009-08-10 2016-04-11 엘지전자 주식회사 제스쳐 입력이 가능한 휴대 단말기 및 그 제어방법
US9563350B2 (en) * 2009-08-11 2017-02-07 Lg Electronics Inc. Mobile terminal and method for controlling the same
US8341558B2 (en) * 2009-09-16 2012-12-25 Google Inc. Gesture recognition on computing device correlating input to a template
KR20110036222A (ko) 2009-10-01 2011-04-07 삼성전자주식회사 화상형성장치 및 화상형성장치의 작업수행방법
KR101701492B1 (ko) * 2009-10-16 2017-02-14 삼성전자주식회사 데이터 표시 방법 및 그를 수행하는 단말기
JP5547466B2 (ja) * 2009-12-15 2014-07-16 京セラ株式会社 携帯電子機器及び携帯電子機器の制御方法
US9465532B2 (en) * 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
US20110209089A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen object-hold and page-change gesture
US8589815B2 (en) * 2010-03-10 2013-11-19 Microsoft Corporation Control of timing for animations in dynamic icons
US8930360B2 (en) * 2010-05-28 2015-01-06 Yahoo! Inc. System and method for online handwriting recognition in web queries
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
KR101638918B1 (ko) * 2010-08-17 2016-07-12 엘지전자 주식회사 이동 단말기 및 이것의 표시 방식 전환 방법
KR101684970B1 (ko) * 2010-08-18 2016-12-09 엘지전자 주식회사 이동단말기 및 그 제어방법
US8854318B2 (en) * 2010-09-01 2014-10-07 Nokia Corporation Mode switching
US9021402B1 (en) * 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
KR20120055872A (ko) * 2010-11-24 2012-06-01 엘지전자 주식회사 이동 단말기 및 그 구동 방법
KR101740436B1 (ko) * 2010-12-08 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20120179998A1 (en) * 2011-01-12 2012-07-12 Nesladek Christopher D Touch screen user interfaces
CN105867531B (zh) * 2011-02-10 2019-08-09 三星电子株式会社 包含触摸屏显示器的便携式设备以及控制它的方法
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
US8793624B2 (en) * 2011-05-18 2014-07-29 Google Inc. Control of a device using gestures
EP2527968B1 (en) * 2011-05-24 2017-07-05 LG Electronics Inc. Mobile terminal
US8751972B2 (en) * 2011-09-20 2014-06-10 Google Inc. Collaborative gesture-based input language
US9229568B2 (en) * 2011-09-30 2016-01-05 Oracle International Corporation Touch device gestures
US9619139B2 (en) * 2011-10-03 2017-04-11 Kyocera Corporation Device, method, and storage medium storing program
US8478777B2 (en) * 2011-10-25 2013-07-02 Google Inc. Gesture-based search
KR101873741B1 (ko) * 2011-10-26 2018-07-03 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR101887453B1 (ko) * 2011-12-15 2018-08-10 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20130080179A (ko) * 2012-01-04 2013-07-12 삼성전자주식회사 휴대용 단말기에서 아이콘 관리 방법 및 장치
KR101496512B1 (ko) * 2012-03-08 2015-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8881269B2 (en) * 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
US20130257749A1 (en) * 2012-04-02 2013-10-03 United Video Properties, Inc. Systems and methods for navigating content on a user equipment having a multi-region touch sensitive display
EP2658227B1 (en) * 2012-04-27 2018-12-05 LG Electronics Inc. Exchange of hand-drawings on touch-devices
KR101315957B1 (ko) * 2012-05-21 2013-10-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140027606A (ko) * 2012-08-01 2014-03-07 삼성전자주식회사 필기 인식을 이용한 단말의 제어 방법 및 그 단말
US8640046B1 (en) * 2012-10-23 2014-01-28 Google Inc. Jump scrolling
US20140165012A1 (en) * 2012-12-12 2014-06-12 Wenbo Shen Single - gesture device unlock and application launch
KR102029242B1 (ko) * 2013-01-03 2019-11-08 엘지전자 주식회사 이동 단말기 제어방법
US8943092B2 (en) * 2013-03-04 2015-01-27 Microsoft Corporation Digital ink based contextual search
KR102214974B1 (ko) * 2013-08-29 2021-02-10 삼성전자주식회사 잠금 화면 상에서 필기 형태의 사용자 입력과 관련된 기능을 실행하기 위한 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040217947A1 (en) * 2003-01-08 2004-11-04 George Fitzmaurice Layer editor system for a pen-based computer
US20070003143A1 (en) * 2005-06-30 2007-01-04 Canon Kabushiki Kaisha Information processing device, information processing control method and program
US20100321312A1 (en) * 2009-06-19 2010-12-23 Lg Electronics Inc. Method for processing touch signal in mobile terminal and mobile terminal using the same

Also Published As

Publication number Publication date
CN105164714B (zh) 2019-12-20
US9891809B2 (en) 2018-02-13
US20140325410A1 (en) 2014-10-30
KR20140128208A (ko) 2014-11-05
EP2989532A4 (en) 2017-04-12
EP2989532A1 (en) 2016-03-02
EP2989532B1 (en) 2021-01-13
CN105164714A (zh) 2015-12-16
WO2014175688A1 (en) 2014-10-30

Similar Documents

Publication Publication Date Title
KR102203885B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20230152940A1 (en) Device, method, and graphical user interface for managing folders
US11340759B2 (en) User terminal device with pen and controlling method thereof
KR102230708B1 (ko) 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
US11137898B2 (en) Device, method, and graphical user interface for displaying a plurality of settings controls
US11416205B2 (en) Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display
KR102183448B1 (ko) 사용자 단말 장치 및 그 디스플레이 방법
US11402978B2 (en) Devices, methods, and systems for manipulating user interfaces
US10831337B2 (en) Device, method, and graphical user interface for a radial menu system
CN110837329B (zh) 用于管理用户界面的方法和电子设备
US10140301B2 (en) Device, method, and graphical user interface for selecting and using sets of media player controls
US8812994B2 (en) Device, method, and graphical user interface for configuring restricted interaction with a user interface
US8595645B2 (en) Device, method, and graphical user interface for marquee scrolling within a display area
US20130227472A1 (en) Device, Method, and Graphical User Interface for Managing Windows
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20220174145A1 (en) Device, Method, and Graphical User Interface for Updating a Background for Home and Wake Screen User Interfaces
KR20160055552A (ko) 메모 표시 방법 및 이를 위한 디바이스
EP3128397B1 (en) Electronic apparatus and text input method for the same
CN110851068B (zh) 用于管理用户界面的方法和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant