KR102230708B1 - 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 - Google Patents

사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 Download PDF

Info

Publication number
KR102230708B1
KR102230708B1 KR1020200046882A KR20200046882A KR102230708B1 KR 102230708 B1 KR102230708 B1 KR 102230708B1 KR 1020200046882 A KR1020200046882 A KR 1020200046882A KR 20200046882 A KR20200046882 A KR 20200046882A KR 102230708 B1 KR102230708 B1 KR 102230708B1
Authority
KR
South Korea
Prior art keywords
area
user
sub
terminal device
gesture
Prior art date
Application number
KR1020200046882A
Other languages
English (en)
Other versions
KR20200043356A (ko
Inventor
정희석
곽세진
김현진
조시연
윤여준
이문주
니푼 쿠마르
서준규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200043356A publication Critical patent/KR20200043356A/ko
Application granted granted Critical
Publication of KR102230708B1 publication Critical patent/KR102230708B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G06F1/165—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display the additional display being small, e.g. for presenting status information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1634—Integrated protective display lid, e.g. for touch-sensitive display in handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/23—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • H04M1/236—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof including keys on side or rear faces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit

Abstract

벤디드 터치 스크린을 포함하는 사용자 단말 장치의 사용자 인터렉션 방법이 개시된다. 본 방법은, 사용자 단말 장치의 외부에 위치한 외부 장치와 사용자 단말 장치가 서로 통신 가능하도록 연결되면, 외부 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하고, 상기 UI 엘리먼트를 선택하는 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행한다. 이에 따라, 다양한 인터랙션을 수행할 수 있다.

Description

사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 {USER TERMINCAL DEVICE FOR SUPPORTING USER INTERAXION AND METHODS THEREOF}
본 개시는 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법에 대한 것으로, 보다 상세하게는 메인 영역과 적어도 하나의 서브 영역으로 구분되는 벤디드 터치 스크린을 이용하여 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 사용자 단말 장치들이 개발 및 보급되고 있다. 최근에는 사용자 단말 장치의 크기도 최소화되면서 그 기능은 더욱 다양해져, 그 수요가 점점 더 늘어나고 있다.
사용자 단말 장치는 사용자의 요청에 따라 멀티미디어 컨텐츠나, 어플리케이션 화면 등과 같이 다양한 컨텐츠를 제공할 수 있다. 사용자는 사용자 단말 장치에 구비된 버튼이나 터치 스크린 등을 이용하여, 자신이 사용하고자 하는 기능을 선택할 수 있다. 사용자 단말 장치는 사용자와의 인터렉션에 따라 선택적으로 프로그램을 실행시켜, 그 실행 결과를 디스플레이할 수 있다.
한편, 사용자 단말 장치에서 제공할 수 있는 기능이 점차 다양해짐에 따라, 컨텐츠를 디스플레이하는 방식이나 사용자 인터렉션 방식에 대해서도 다양한 니즈(needs)가 발생하고 있다. 즉, 컨텐츠의 종류 및 기능이 크게 증대함에 따라, 단순히 버튼을 선택하거나, 터치 스크린을 터치하는 종래의 인터렉션 방식으로는 부족한 경우가 발생할 수 있다.
이에 따라, 사용자가 좀 더 편리한 방식으로 사용자 단말 장치를 이용할 수 있도록 하는 사용자 인터렉션 기술에 대한 필요성이 대두되었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은, 메인 영역 및 적어도 하나의 서브 영역으로 구분되는 벤디드 터치 스크린을 이용하여, 다양한 사용자 인터렉션을 지원할 수 있는 사용자 단말 장치 및 그 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 메인 영역 및 상기 메인 영역의 면적보다 작은 면적을 가지는 서브 영역으로 구분되고, 상기 메인 영역을 포함하는 면과 상기 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 사용자 인터렉션 방법에 있어서, 상기 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받는 단계, 상기 메인 영역 상에서 이동하는 펜 제스처를 입력받는 단계, 및 상기 펜 제스처에 의하여 이동된 궤적에 대응하는 영역을 상기 손가락 제스처에 의하여 선택된 상기 제1 오브젝트에 대응하는 기능을 적용하여 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
　상기 손가락 제스처를 입력받는 단계는, 상기 벤디드 터치 스크린의 서브 영역 아래에 실장된 터치 패널을 통하여 입력받는 단계를 포함하고, 상기 펜 제스처를 입력받는 단계는, 상기 벤디드 터치 스크린의 메인 영역 아래에 실장된 펜 인식 패널을 통하여 입력받는 단계를 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 손가락 제스처로서 상기 제1 오브젝트 상에 손가락 터치가 유지되는 경우, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 제1 오브젝트 상에 상기 손가락 터치가 해제되는 경우, 상기 메뉴에 포함된 상기 제1 오브젝트와 다른 제2 오브젝트에 대응하는 기능을 적용하여 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 제1 오브젝트 상에 상기 손가락 터치가 해제되는 경우, 상기 시각적으로 변형하여 표시된 상기 이동된 궤적에 대응하는 영역을 상기 변형 전의 형태로 되돌리는 단계를 포함할 수 있다.
상기 제1오브젝트를 선택하는 손가락 제스처를 입력받는 단계는, 상기 손가락 제스처를 수행하는 사용자의 손바닥을 상기 사용자 단말 장치의 뒷면에서 감지하는 단계를 더 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역은, 상기 메인 영역 상에 상기 이동된 궤적이 위치하는 영역, 상기 이동된 궤적이 폐곡선을 생성함에 따른 상기 폐곡선 내의 영역, 또는 상기 이동된 궤적의 근처 영역인 것을 특징으로 할 수 있다.
상기 메뉴는 상기 메인 영역 상에 이미지를 편집 또는 그리기 위한 메뉴로서, 상기 메뉴는 연필 오브젝트, 펜 굵기 오브젝트, 브러시 오브젝트, 지우개 오브젝트, 직선 오브젝트, 곡선 오브젝트 중 적어도 하나의 오브젝트를 포함할 수 있다.
상기 메뉴는 상기 메인 영역 상에 표시된 이북 페이지를 관리하기 위한 메뉴로서, 상기 메뉴는 볼드 오브젝트, 이탤릭체 오브젝트, 언더바 오브젝트, 취소선 오브젝트, 서체 크기 변경 오브젝트, 하이라이트 오브젝트, 검색 오브젝트, 돋보기 오브젝트 중 적어도 하나의 오브젝트를 포함할 수 있다.
상기 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받는 단계는, 상기 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트 및 제2 오브젝트를 선택하는 멀티 손가락 제스처를 입력받는 단계를 포함하고, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 멀티 손가락 제스처에 응답하여, 펜 제스처의 이동된 궤적에 대응하는 영역에 상기 제1 오브젝트 및 상기 제2 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 표시된 이미지를 처리할 수 있는 어플리케이션을 실행하여 상기 메인 영역 상에 표시하는 단계를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 메인 영역 및 상기 메인 영역의 면적보다 작은 면적을 가지는 서브 영역으로 구분되고, 상기 메인 영역을 포함하는 면과 상기 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린을 포함하는 사용자 단말 장치는 상기 서브 영역 상에 표시된 메뉴 중 제1 오브젝트를 선택하는 손가락 제스처를 입력받고, 상기 메인 영역 상에서 이동하는 펜 제스처를 입력받는 상기 벤디드 터치 스크린, 및 상기 펜 제스처에 의하여 이동된 궤적에 대응하는 영역을 상기 손가락 제스처에 의하여 선택된 상기 제1 오브젝트에 대응하는 기능을 적용하여 시각적으로 변형하여 표시하는 제어부를 포함할 수 있다.
상기 벤디드 터치 스크린은, 상기 손가락 제스처는 상기 벤디드 터치 스크린의 상기 서브 영역 아래에 실장된 터치 패널을 통하여 입력받고, 상기 펜 제스처는 상기 벤디드 터치 스크린의 상기 메인 영역 아래에 실장된 펜 인식 패널을 통하여 입력받을 수 있다.
상기 제어부는, 상기 사용자의 손가락 제스처로서 상기 제1 오브젝트 상에 상기 손가락 터치 제스처가 유지되는 경우, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다.
상기 제어부는, 상기 제1 오브젝트 상에 상기 손가락 터치가 해제되는 경우, 상기 시각적으로 변형하여 표시된 상기 이동된 궤적에 대응하는 영역을 상기 변형 전의 형태로 되돌릴 수 있다.
상기 이동된 궤적에 대응하는 영역은, 상기 메인 영역 상에 상기 이동된 궤적이 위치하는 영역, 상기 이동된 궤적이 폐곡선을 생성함에 따른 상기 폐곡선 내의 영역, 또는 상기 이동된 궤적의 근처 영역일 수 있다.
상기 벤디드 터치 스크린은, 상기 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트 및 제2 오브젝트를 선택하는 멀티 손가락 제스처를 입력받고, 상기 제어부는, 상기 멀티 손가락 제스처에 응답하여, 상기 펜 제스처의 이동된 궤적에 대응하는 영역에 상기 제1 오브젝트 및 상기 제2 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다.
상기 제어부는, 상기 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 표시된 이미지를 처리할 수 있는 어플리케이션을 실행하여 상기 메인 영역 상에 표시할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면, 메인 영역 및 상기 메인 영역의 면적보다 작은 면적을 가지는 서브 영역으로 구분되고, 상기 메인 영역을 포함하는 면과 상기 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린을 가지는 사용자 단말 장치의 사용자 인터랙션을 수행하는 프로그램이 기록되어 있는 기록 매체는, 상기 메인 영역을 포함하는 면과 상기 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린의 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받는 단계, 상기 메인 영역 상에서 이동하는 펜 제스처를 입력받는 단계, 및 상기 손가락 제스처 및 상기 펜 제스처에 응답하여 상기 펜 제스처의 이동된 궤적에 대응하는 영역에 상기 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서, 상기 사용자 단말 장치의 외부에 위치한 외부 장치와 상기 사용자 단말 장치가 서로 통신 가능하도록 연결되면, 상기 외부 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하는 단계, 　상기 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받는 단계, 및 상기 입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 단계를 포함할 수 있다.
상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는, 상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 단계를 포함할 수 있다.
상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는, 상기 서브 영역에 상기 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시하는 단계를 포함할 수 있다.
상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는, 상기 외부 장치의 기능을 제어하는 단계를 포함할 수 있다.　
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서, 상기 사용자 단말 장치로부터 상기 사용자 단말 장치와 관련된 액세서리 장치가 분리되면, 상기 액세서리 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하는 단계, 상기 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받는 단계, 및 상기 입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 단계를 포함할 수 있다.
상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는, 상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 단계를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서, 상기 사용자 단말 장치와 통신 가능한 외부 장치를 나타내는 UI 엘리먼트를 상기 서브 영역에 표시하는 단계, 상기 서브 영역에 상기 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받는 단계, 및　상기 입력 받은 사용자 제스처에 응답하여, 상기 사용자 단말 장치와 상기 외부 장치 간에 통신 연결을 수행하는 단계를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치는, 사용자 제스처를 입력 받는 상기 벤디드 터치 스크린, 및 상기 사용자 단말 장치의 외부에 위치한 외부 장치와 상기 사용자 단말 장치가 서로 통신 가능하도록 연결되면, 상기 외부 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하고,
상기 UI 엘리먼트를 선택하는 상기 벤디드 터치 스크린을 통하여　입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 서브 영역에 상기 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 외부 장치의 기능을 제어하는 것을 특징으로 할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치에 있어서, 사용자 제스처를 입력 받는 상기 벤디드 터치 스크린, 및 상기 사용자 단말 장치로부터 상기 사용자 단말 장치와 관련된 액세서리 장치가 분리되면, 상기 액세서리 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하고, 상기 UI 엘리먼트를 선택하는 상기 벤디드 터치 스크린을 통하여　입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 것을 특징으로 할 수 있다.
사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치에 있어서, 사용자 제스처를 입력 받는 상기 벤디드 터치 스크린, 및 상기 사용자 단말 장치와 통신 가능한 외부 장치를 나타내는 UI 엘리먼트를 상기 서브 영역에 표시하고, 상기 UI 엘리먼트를 선택하는 상기 벤디드 터치 스크린을 통하여　입력 받은 사용자 제스처에 응답하여, 상기 사용자 단말 장치와 상기 외부 장치 간에 통신 연결을 수행하는 제어부를 포함할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 사용자는 벤디드 터치 스크린을 이용하여 사용자 단말 장치의 기능을 제어할 수 있다. 이에 따라, 사용자 편의성 및 만족도가 향상될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 2 내지 도 10은 벤디드 터치 스크린의 다양한 구성 예를 나타내는 도면,
도 11은 본 개시의 다양한 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 12는 사용자 단말 장치의 소프트웨어 구성의 일 예를 나타내는 도면,
도 13 내지 도 23은 본 개시의 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면,
도 24 내지 도 26은 본 개시의 일 실시 예에 따른 이북 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면,
도 27 및 도 28은 본 개시의 일 실시 예에 따른 웹 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면,
도 29 및 도 30은 본 개시의 일 실시 예에 따른 메모 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면,
도 31 및 도 32는 본 개시의 일 실시 예에 따른 메모 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면, 그리고,
도 33 및 도 34는 본 개시의 다양한 실시 예에 따른 사용자 단말 장치의 인터랙션 방법을 설명하기 위한 흐름도,
도 35 내지 도 44는 본 개시의 일 실시 예에 따른 외부 장치와 연결되어 사용자 인터렉션을 수행하는 도면,
도 45 및 도 46은 본 개시의 일 실시 예에 따른 서브 영역에 표시되는 패널을 대상으로 사용자 인터렉션을 수행하는 도면,
도 47 및 도 48은 본 개시의 일 실시 예에 따른 메인 영역과 서브 영역 의 경계를 기준으로 사용자 인터렉션을 수행하는 도면,
도 49는 커버를 가지는 벤디드 터치 스크린의 다양한 구성 예를 나타내는 도면,
도 50 내지 도 52는 본 개시의 다양한 실시 예에 따른 사용자 단말 장치의 인터랙션 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 개시에 대하여 구체적으로 설명한다.
도 1은 본 개시의 다양한 실시 예를 설명하기 위한 사용자 단말 장치의 기본 구성의 일 예를 나타내는 블록도이다. 도 1의 사용자 단말 장치(1000)는 구체적으로는, TV, PC, 랩탑 PC, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 테이블 디스플레이 장치 등과 같이 다양한 유형의 장치로 구현될 수 있다. 휴대폰이나 태블릿 PC, PDA, MP3 플레이어, 랩탑 PC 등과 같이 휴대 가능한 유형의 장치로 구현되는 경우에는 모바일 디바이스로 명명할 수도 있으나, 본 명세서에서는 사용자 단말 장치로 통칭하여 설명한다.
도 1에 따르면, 사용자 단말 장치(1000)는 벤디드 터치 스크린(100) 및 제어부(200)를 포함한다.
벤디드 터치 스크린(100)은 메인 영역과 적어도 하나의 서브 영역으로 구분된다. 여기서 메인 영역과 서브 영역은 다양한 의미로 정의될 수 있다. 일 예로, 두 영역 중 상대적으로 크기가 큰 영역을 메인 영역이라고 하고, 크기가 작은 영역을 서브 영역이라고 정의할 수 있다. 또는, 홈 화면으로 복귀하기 위한 홈 버튼이나 전면 스피커 등이 배치된 면과 동일한 면에 위치한 영역을 메인 영역이라고 하고, 사이드 면이나 후면에 위치한 영역을 서브 영역이라고 정의할 수도 있다. 또는, 메인 영역은 영역 내의UI 엘리먼트를 직접 컨트롤할 수 있는 영역을 의미하고, 서브 영역은 메인 영역의 UI 엘리먼트를 컨트롤할 수 있는 영역을 의미하는 것으로 정의할 수도 있다.
서브 영역의 면적은 메인 영역보다는 작을 수 있다. 또한, 적어도 하나의 서브 영역은 메인 영역과 상이한 면을 형성할 수 있다. 가령, 메인 영역이 사용자 단말 장치(1000)의 전면(front surface)에 배치되었다면, 적어도 하나의 서브 영역은 사용자 단말 장치(1000)의 외관을 이루는 면(surface)들 중에서 우측면(right side surface), 좌측면(left side surface), 후면(back surface)과 같이 서로 다른 면에 배치될 수 있다. 메인 영역을 포함하는 면과, 적어도 하나의 서브 영역을 포함하는 면은 둔각을 이루도록 고정될 수 있다. 서브 영역의 형태, 위치, 개수는 실시 예에 따라 다양하게 구현될 수 있다. 이에 대해서는 후술하는 부분에서 도면과 함께 구체적으로 설명한다.
제어부(200)는 벤디드 터치 스크린(100)의 메인 영역 및 적어도 하나의 서브 영역을 개별적으로 제어할 수 있다. 가령, 메인 영역 및 적어도 하나의 서브 영역에서는, 서로 다른 컨텐츠를 디스플레이할 수 있다. 메인 영역 및 적어도 하나의 서브 영역에 표시되는 컨텐츠의 종류, 표시 방법, 레이아웃 등은 실시 예에 따라 다양하게 변경될 수 있다. 이에 대해서는, 후술하는 부분에서 구체적으로 설명한다.
도 2는 하나의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 외관 구성의 예를 나타내는 도면이다.
도 2에 따르면, 벤디드 터치 스크린(100)은 사용자 단말 장치(1000)의 전면(front surface)에 배치된 메인 영역(1010) 및 사용자 단말 장치(1000)의 우측면에 배치된 서브 영역(1020)으로 구분될 수 있다. 도 2에서는, 메인 영역(1010)과 서브 영역(1020)은 경계 영역(1050)을 기준으로 구분된다. 벤디드 터치 스크린(100)이 벤딩된 상태라는 점을 고려하여, 경계 영역(1050)은 다르게는 벤딩 라인이라고 표현할 수도 있다.
도 3은 도2의 사용자 단말 장치의 단면 구성을 나타내는 도면이다. 도 3에 따르면, 벤디드 터치 스크린(100)의 메인 영역(1010)과 서브 영역(1020)은 사용자 단말 장치(1000)의 전면 및 측면에 각각 배치된다.
도 4 및 도 5는 두 개의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 외관 구성 예 및 그 단면 구성 예를 나타내는 도면이다.
도 4에 따르면, 메인 영역(1010)은 전면에 배치되고, 우측면 및 좌측면에 각각 서브 영역(1020, 1030)이 배치된다. 메인 영역(1010)과 각 서브 영역(1020, 1030)은 경계 영역(1050-1, 1050-2)에 의해 구분된다.
도 5는 도4의 사용자 단말 장치(1000)의 단면 구성을 나타낸다. 도 5에 따르면, 각 서브 영역(1020, 1030)은 전면 방향에서 시청 가능하도록 메인 영역(1010)과 둔각을 이루면서 배치될 수 있다.
도 6 및 도 7은 두 개의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 또 다른 예를 나타내는 도면이다. 도 6에 따르면, 두 개의 서브 영역(1020, 1030)은 메인 영역(1010)을 기준으로 양 측면에 배치되며, 전면 방향이 아닌 우측 및 좌측 방향에서 시청 가능한 각도로 고정될 수 있다. 즉, 도 7에 따르면, 각 서브 영역(1020, 1030)은 메인 영역(1010)을 포함하는 면과, 90도에 가깝게 벤딩될 수 있다.
한편, 본 개시의 또 다른 실시 예에 따르면, 서브 영역은 메인 영역(1010)의 반대 방향 측에 배치될 수도 있다.
도 8 및 도 9는 두 개의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 또 다른 예를 나타낸다. 도 8 및 도 9에 따르면, 벤디드 터치 스크린(100)은 전면에 형성된 메인 영역(1010), 측면에 형성된 제1 서브 영역(1020), 후면에 형성된 제2 서브 영역(1040)으로 구분된다. 도 9에서는, 제2 서브 영역(1030)은 후면 전체를 덮지 않고, 후면의 일부 영역에만 형성될 수 있다. 제어부(200)는 제1 경계 영역(1050-1) 및 제3 경계 영역(1050-3)을 기준으로, 메인 영역(1010), 제1 서브 영역(1020), 제2 서브 영역(1040)을 구분하여, 영역별로 상이한 컨텐츠를 디스플레이할 수 있다.
한편, 도3 내지 도 9에서는, 서브 영역(1020, 1030)이 라운드 형태인 곡면 형태로 구성되어 메인 영역(1010)을 포함하는 면과 서브 영역(1020, 1030)을 포함하는 곡면이 둔각(θ)을 이루도록 서로 연결된 것을 도시하였으나, 서브 영역(1020, 1030, 1040)도 평면 형태로 구성될 수 있다. 이 경우, 메인 영역(1010)을 포함하는 평면과, 서브 영역(1020, 1030, 1040)을 포함하는 평면은, 경계 라인을 따라 접할 수 있다. 즉, 경계 영역(1050-1, 1050-2, 1050-3)은 라인 형상이 될 수도 있다.
한편, 사용자 단말 장치(1000)는 삼각형 형태의 단면을 가질 수 있다. 이 경우, 메인 영역(1010)을 포함하는 면과 서브 영역(1020)을 포함하는 면은 경계 영역(1050)에서 둔각(θ)을 이루도록 서로 연결된다. 이 밖에도, 단면 구성은 사다리꼴, 5각형 등과 같은 다양한 형태로 구성될 수 있다.
또한, 이상에서는 벤디드 터치 스크린(100)이 사용자 단말 장치의 전면을 기준으로 가로 방향으로 벤딩된 상태를 도시하였으나, 반드시 이에 한정되는 것은 아니다. 즉, 벤디드 터치 스크린(100)은 사용자 단말 장치(1000)의 전면을 기준으로 세로 방향으로 벤딩될 수도 있다.
도 10은 벤디드 터치 스크린(100)이 세로 방향으로 벤딩된 상태를 나타낸다. 구체적으로는, 벤디드 터치 스크린(100)은 사용자 단말 장치(1000)의 전면에 배치된 메인 영역(1010) 및 하측 면에 배치된 서브 영역(1020)으로 구분될 수 있다. 메인 영역(1010)의 상측에는 스피커부(390)가 배치될 수 있다.
한편, 도1에서는, 벤디드 터치 스크린(100) 및 제어부(200)를 포함하는 사용자 단말 장치의 구성을 도시하였으나, 실시 예에 따라서, 사용자 단말 장치(1000)는 다양한 구성요소를 더 포함할 수 있다. 가령, 사용자 단말 장치(1000)는 각종 어플리케이션이 저장된 메모리를 더 포함할 수 있다. 제어부(200)는 사용자 제스처에 따라 메모리에 저장된 어플리케이션을 실행시켜, 그 어플리케이션이 제공하는 컨텐츠를 메인 영역 또는 서브 영역 중 적어도 하나에 표시할 수 있다. 다시 말하자면, 제어부(200)는 그 어플리케이션이 제공하는 컨텐츠가 메인 영역 또는 서브 영역 중 적어도 하나에 표시되도록 벤디드 터치 스크린(100)을 제어할 수 있다.
컨텐츠에는 UI(User Interaction) 엘리먼트가 포함될 수 있다. UI 엘리먼트는 사용자와 인터렉션이 가능하여 사용자 입력에 따라 시각적, 청각적, 후각적 등 피드백이 가능한 엘리먼트를 의미한다. UI 엘리먼트는 이미지, 텍스트 및 동영상 중 적어도 하나의 형태로 표현될 수 있으며, 또는, 상술한 정보가 디스플레이되지 않더라도 사용자 입력에 따라 피드백이 가능한 일 영역이 있으면, 이 영역을 UI 엘리먼트라 할 수 있다. UI 엘리먼트, 예로, 특정 기능을 수행하는 오브젝트 또는 어플리케이션 식별 정보로서 어플리케이션에 대응하는 아이콘이 될 수 있다.
또한, 본 개시에서는 메인 영역에 표시되는 컨텐츠는 메인 컨텐츠, 서브 영역에 표시되는 컨텐츠는 서브 컨텐츠로 명명하여 설명한다. 제어부(200)는 메인 컨텐츠와 서브 컨텐츠를 다른 레이아웃으로 표시할 수 있다. 제어부(200)는 어플리케이션이 변경되면, 변경된 어플리케이션에 따른 메인 컨텐츠 및 서브 컨텐츠를 메인 영역 및 서브 영역에 각각 디스플레이할 수 있다.
그 밖에도 사용자 단말 장치(1000)는 다양한 형태로 구성될 수 있다.
도 11은 휴대폰으로 구현된 사용자 단말 장치(1000)의 세부 구성의 일 예를 나타내는 블럭도이다. 도 11에 따르면, 사용자 단말 장치(1000)는 벤디드 터치 스크린(100), 제어부(200), 저장부(310), GPS 칩(320), 통신부(330), 비디오 프로세서(340), 오디오 프로세서(350), 버튼(360), 마이크부(370), 촬상부(380), 스피커부(390), 움직임 감지부(400)를 포함한다.
벤디드 터치 스크린(100)은 상술한 바와 같이 메인 영역 및 적어도 하나의 서브 영역으로 구분될 수 있다. 벤디드 터치 스크린(100)은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 벤디드 터치 스크린(100) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 또한, 벤디드 터치 스크린(100)은 플렉서블 디스플레이로 구현될 수도 있다. 또는, 플렉서블 하지 않은 일반 디스플레이로 구현될 수도 있다. 일반 디스플레이로 구현되는 경우, 복수의 디스플레이를 서로 연결하여 벤디드 터치 스크린(100)을 구성할 수 있다.
한편, 벤디드 터치 스크린(100)은 터치 패널(미도시) 및 펜 인식 패널(미도시)을 포함할 수 있다.
터치 패널은 사용자의 손가락 제스처 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널은 벤디드 터치 스크린(100)의 메인 영역 및 서브 영역 아래에 모두 실장될 수 있으며, 또는 벤디드 터치 스크린(100)의 서브 영역 아래에만 실장될 수 있다. 터치 패널이 사용자의 손가락 제스처 입력을 감지하는 방식에는 정전식 방식과 감압식 방식이 있을 수 있다. 정전식은 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 패널에 내장된 두 개의 전극 판을 포함하여, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다.
펜 인식 패널은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 사용자의 펜 제스처 입력을 감지하고, 펜 근접 이벤트 값 또는 펜 터치 이벤트 값을 출력할 수 있다. 펜 인식 패널은 벤디드 터치 스크린(100)의 메인 영역 아래에 실장될 수 있다. 펜 인식 패널은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다.
저장부(310)는 사용자 단말 장치(1000)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로는, 저장부(310)에는 메인 영역 및 서브 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다. 제어부(200)는 저장부(310)에 저장된 프로그램 및 데이터를 이용하여 벤디드 터치 스크린(100)의 메인 영역 및 서브 영역 각각에 컨텐츠를 표시한다. 다시 말해, 제어부(200)는 벤디드 터치 스크린(100)이 컨텐츠를 표시하도록 제어할 수 있다. 또한, 제어부(200)는 메인 영역, 서브 영역 및 그 사이의 경계에 해당하는 경계 영역에 대하여 사용자 터치가 이루어지면, 그 터치에 대응되는 제어 동작을 수행한다.
제어부(200)는 RAM(210), ROM(220), CPU(230), GPU(Graphic Processing Unit)(240), 버스(250)를 포함한다. RAM(210), ROM(220), CPU(230), GPU(Graphic Processing Unit)(240) 등은 버스(250)를 통해 서로 연결될 수 있다.
CPU(230)는 저장부(310)에 액세스하여, 저장부(310)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 저장부(310)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(220)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(230)는 ROM(220)에 저장된 명령어에 따라 저장부(310)에 저장된 O/S를RAM(210)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(230)는 저장부(310)에 저장된 각종 프로그램을 RAM(210)에 복사하고, RAM(210)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(240)는 사용자 단말 장치(1000)의 부팅이 완료되면, 메인 영역 및 서브 영역 중에서 활성화된 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(240)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 벤디드 터치 스크린(100)으로 제공되어, 메인 영역 및 서브 영역에 각각 표시된다.
GPS 칩(320)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 사용자 단말 장치(1000)의 현재 위치를 산출하기 위한 구성요소이다. 제어부(200)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(320)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(330)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신부(330)는 와이파이 칩(331), 블루투스 칩(332), 무선 통신 칩(333), NFC 칩(334) 등을 포함한다. 제어부(200)는 통신부(330)를 이용하여 각종 외부 장치와 통신을 수행한다.
와이파이 칩(331), 블루투스 칩(332)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(331)이나 블루투스 칩(332)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(333)은IEEE, 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(334)은135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(340)는 통신부(330)를 통해 수신된 컨텐츠 또는, 저장부(310)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서(340)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(350)는 통신부(330)를 통해 수신된 컨텐츠 또는, 저장부(310)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(350)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
제어부(200)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(340) 및 오디오 프로세서(350)를 구동시켜, 해당 컨텐츠를 재생할 수 있다.
벤디드 터치 스크린(100)은 비디오 프로세서(340)에서 생성한 이미지 프레임을 메인 영역, 서브 영역 중 적어도 하나의 영역에 디스플레이할 수 있다.
또한, 스피커부(390)는 오디오 프로세서(350)에서 생성한 오디오 데이터를 출력한다.
버튼(360)은 사용자 단말 장치(1000)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
마이크 부(370)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 제어부(200)는 마이크 부(370)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(310)에 저장할 수 있다.
촬상부(380)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 촬상부(380)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다. 상술한 바와 같이, 촬상부(380)는 사용자의 시선 추적을 위한 실시 예에서 사용자의 이미지를 획득하기 위한 수단으로 사용될 수 있다.
촬상부(380) 및 마이크 부(370)가 마련된 경우, 제어부(200)는 마이크 부(370)를 통해 입력되는 사용자 음성이나 촬상부(380)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 사용자 단말 장치(1000)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(200)는 촬상부(380)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 제어부(200)는 마이크 부(370)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다.
모션 제어 모드나 음성 제어 모드가 지원되는 사용자 단말 장치(1000)에서는, 음성 인식 기술 또는 모션 인식 기술이 상술한 다양한 실시 예에 사용될 수 있다. 가령, 사용자가 홈 화면에 표시된 오브젝트를 선택하는 듯한 모션을 취하거나, 그 오브젝트에 대응되는 음성 명령어를 발음하는 경우, 해당 오브젝트가 선택된 것으로 판단하고, 그 오브젝트에 매칭된 제어 동작을 수행할 수 있다.
움직임 감지부(400)는 사용자 단말 장치(1000)의 본체 움직임을 감지하기 위한 구성요소이다. 즉, 사용자 단말 장치(1000)는 다양한 방향으로 회전되거나 기울어질 수 있다. 움직임 감지부(400)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 11에 도시하지는 않았으나, 실시 예에 따라서는, 사용자 단말 장치(1000) 내에USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.
한편, 상술한 바와 같이, 저장부(310)에는 다양한 프로그램이 저장될 수 있다. 도 12는 사용자 단말 장치(1000)에 저장된 소프트웨어의 구조를 설명하기 위한 도면이다. 도 12에 따르면, 저장부(310)에는 OS(1210), 커널(1220), 미들웨어(1230), 어플리케이션(1240) 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System: OS, 1210)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(1210)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(1220)은 벤디드 터치 스크린(100)에서 감지되는 터치 신호 등을 비롯한 각종 신호들을 미들웨어(1220)로 전달하는 통로 역할을 한다.
미들웨어(1220)는 사용자 단말 장치(1000)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 12에 따르면, 미들웨어(1230)는 X11 모듈(1230-1), APP 매니저(1230-2), 연결 매니저(1230-3), 보안 모듈(1230-4), 시스템 매니저(1230-5), 멀티미디어 프레임워크(1230-6), UI 프레임워크(1230-7), 윈도우 매니저(1230-8), 필기 인식 모듈(1230-9)을 포함한다.
X11 모듈(1230-1)은 사용자 단말 장치(1000)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 제스처가 감지되는 이벤트, 시스템 알람(alarm)이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(1230-2)는 저장부(310)에 설치(install)된 각종 어플리케이션(1240)의 실행 상태를 관리하는 모듈이다. APP 매니저(1230-2)는 X11 모듈(1230-1)로부터 어플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다.
연결 매니저(1230-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(1230-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
보안 모듈(1230-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(1230-5)는 사용자 단말 장치(1000) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(1230-5)는 그 모니터링 결과를 메인 UI 프레임워크(1230-7)나 서브UI 프레임워크(1230-9)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(1230-6)는 사용자 단말 장치(1000)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(1230-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
메인 UI 프레임워크(1230-7)는 벤디드 터치 스크린(100)의 메인 영역에 표시할 각종 UI를 제공하기 위한 모듈이고, 서브 UI 프레임워크(1230-9)는 서브 영역에 표시할 각종 UI를 제공하기 위한 모듈이다. 메인 UI 프레임워크(1230-7) 및 서브 UI 프레임워크(1230-9)는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
윈도우 매니저(1230-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(1230-8)는 이러한 이벤트가 감지되면 메인 UI 프레임워크(1230-7) 또는 서브 UI 프레임워크(1230-9)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
그 밖에도, 사용자가 화면을 터치 및 드래그하는 경우, 그 드래그 궤적에 따라 라인을 드로잉하기 위한 필기 모듈이나, 움직임 감지부(400)에서 감지된 센서 값에 기초하여 피치각, 롤각, 요우각 등을 산출하기 위한 각도 산출 모듈 등과 같은 다양한 프로그램 모듈이 저장될 수도 있다.
어플리케이션 모듈(1240)은 다양한 기능을 지원하기 위한 어플리케이션들(1240-1 ~ 1240-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 어플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다. CPU(230)는 오브젝트가 선택되면, 어플리케이션 모듈(1240)을 이용하여 선택된 오브젝트에 대응되는 어플리케이션을 실행시킬 수 있다.
도 12에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(310)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
한편, 상술한 바와 같이 사용자 단말 장치(1000)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 따라서, 도 11 및 도 12에서 설명한 구성은, 사용자 단말 장치(1000)의 종류에 따라 다양하게 변형될 수 있다.
이상에서 설명한 바와 같이, 사용자 단말 장치(1000)는 다양한 형태 및 구성으로 구현될 수 있다. 사용자 단말 장치(1000)의 제어부(200)는 실시 예에 따라 다양한 사용자 인터렉션을 지원할 수 있다.
이하에서는, 본 개시의 다양한 실시 예에 따른 사용자 인터렉션 방법에 대하여 구체적으로 설명한다.
도 13은 본 개시의 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 13의1310을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(1311) 또는 빈 화면을 표시하고, 서브 영역(1020)에는 이미지를 편집하거나 또는 빈 화면에 이미지를 그리기 위한 메뉴(1312)가 표시할 수 있다. 메뉴(1312)는 펜 종류로서 연필을 선택하는 연필 오브젝트(1312-1), 펜의 굵기를 선택하는 펜 굵기 오브젝트(1312-2), 펜 종류로서 브러시를 선택하는 브러시 오브젝트(1312-3), 메인 영역(1010) 상에 이미지를 삭제하는 지우개 오브젝트(1312-4) 중 적어도 하나를 포함할 수 있다. 이때, 서브 영역(1020)에 연필 오브젝트(1312-1)은 선택된 상태일 수 있다. 예를 들어, 연필 오브젝트(1312-1)은 이미지 편집 어플리케이션이 실행될 때 디폴트로 선택될 수 있다.
도 13의1320을 참조하면, 연필 오브젝트(1312-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1322)를 입력받을 수 있다. 예를 들어, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 일 지점을 터치 후, 이동하고, 상기 일 지점과 다른 지점에서 상기 터치를 해제하는 펜 제스처(1322)를 입력받을 수 있다.
제어부(200)는 입력받은 펜 제스처(1322)에 응답하여, 이동된 궤적에 대응하는 영역(1321)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 연필 오브젝트(1312-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1321)에 연필로 그려진 형태가 나타나도록 표시할 수 있다.
도 14는 본 개시의 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 14의1410을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(1311)를 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1312)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1312)에 포함된 브러시 오브젝트(1312-3)을 선택하는 사용자의 손가락 제스처(1411)(예로, 손가락 터치 제스처)를 입력받을 수 있다. 이때, 사용자의 손바닥은 사용자 단말 장치(1000)의 뒷면에 접촉될 수 있으며, 사용자 단말 장치(1000)는 손가락 제스처를 수행하는 사용자의 손바닥을 사용자 단말 장치(1000)의 뒷면에서 감지할 수 있다.
도 14의1420을 참조하면, 브러시 오브젝트(1312-3)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(1422)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1422)에 응답하여, 이동된 궤적에 대응하는 영역(1421)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 브러시 오브젝트(1312-3)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1421)에 브러시로 그려진 형태가 나타나도록 표시할 수 있다.
도 15a 및 도 15b는 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 15a의1510을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(1311)를 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1312)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1312)에 포함된 브러시 오브젝트(1312-3)을 선택하는 사용자의 손가락 제스처(1511)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 15a의1520을 참조하면, 브러시 오브젝트(1312-3)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1522)를 입력받을 수 있다. 이때, 사용자는 서브 영역(1020)에 포함된 브러시 오브젝트(1312-3) 상에 계속하여 손가락 제스처(1511)(예로, 손가락 터치 제스처)를 유지할 수 있다. 제어부(200)는 손가락 터치 제스처가 유지된 상태에서 입력받은 펜 제스처(1522)에 응답하여, 이동된 궤적에 대응하는 영역(1521)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 브러시 오브젝트(1312-3)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1521)에 브러시로 그려진 형태가 나타나도록 표시할 수 있다.
도 15b의1530을 참조하면, 벤디드 터치 스크린(100)은 서브 영역(1020)에 포함된 브러시 오브젝트(1312-3) 상에 손가락 제스처(1511) (예로, 손가락 터치 제스처)를 해제하는 손가락 제스처(1531)(예로, 터치 해제 제스처)를 입력받을 수 있다.
도 15b의1540을 참조하면, 손가락 터치 제스처가 해제된 경우, 제어부(200)는 메뉴(1312)에 포함된 연필 오브젝트(1312-1)을 자동적으로 선택할 수 있다. 손가락 터치 제스처가 해제된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1542)를 계속하여 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1542)에 응답하여, 연필 오브젝트(1312-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1541)에 연필로 그려진 형태가 나타나도록 표시할 수 있다.
도 16은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 16의1610을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(1311)를 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1312)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1312)에 포함된 지우개 오브젝트(1312-4)을 선택하는 사용자의 손가락 제스처(1611)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 16의1620을 참조하면, 지우개 오브젝트(1312-4)이 선택된 상태에서, 메인 영역(1010) 상에 이동하는 펜 제스처(1622)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1322)에 응답하여, 이동된 궤적에 대응하는 영역(1621)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 지우개 오브젝트(1312-4)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1621)에 표시된 이미지를 지우거나, 상기 이미지를 바탕화면의 색과 동일하게 변형하여 표시할 수 있다.
도 17은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 17의1710을 참조하면, 제어부(200)는 메인 영역(100)에는 이미지가 없는 빈 화면(1711)을 표시하고, 서브 영역(1020)에는 이미지를 그리기 위한 메뉴(1712)를 표시할 수 있다. 메뉴(1712)는 가상의 이미지를 그리는 연습 오브젝트(1712-1), 직선을 그리는 직선 오브젝트(1712-2), 사각형을 그리는 사각형 오브젝트(1712-3), 곡선을 그리는 곡선 오브젝트(1713-4) 또는 원을 그리는 원 오브젝트(1713-5) 중 적어도 하나를 포함할 수 있다. 사용자 단말 장치(1000)는 메뉴(1712)에 포함된 연습 오브젝트(1712-1)을 선택하는 사용자의 손가락 제스처(1713)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 17의1720을 참조하면, 연습 오브젝트(1712-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1722)를 입력받을 수 있다. 이때, 사용자는 서브 영역(1020)에 포함된 연습 오브젝트(1712-1) 상에 계속하여 손가락 제스처(1713)(예로, 손가락 터치 제스처)를 유지할 수 있다. 사용자의 손가락 제스처(1713)가 유지된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 제스처(1722)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1722)에 응답하여, 이동된 궤적에 대응하는 영역(1721)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 연습 오브젝트(1712-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1721)에 점선 또는 명암이 낮은 선을 표시할 수 있다.
연습 오브젝트(1712-1)을 해제하는 사용자의 손가락 제스처(예로, 터치 해제 제스처)가 입력되는 경우, 제어부(200)는 시각적으로 변형하여 표시된 이동된 궤적에 대응하는 영역(1721)을 변형 전의 형태로 되돌릴 수 있다. 예를 들어, 이동된 궤적에 대응하는 영역(1721)에 적용된 점선 또는 명암이 낮은 색으로 표시된 선(1721)이 메인 영역(1010) 상에서 삭제될 수 있다.
도 18은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 18의 1810을 참조하면, 제어부(200)는 메인 영역(1010)에는 이미지가 없는 빈 화면(1711)을 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1712)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1712)에 포함된 직선 오브젝트(1712-2)을 선택하는 사용자의 손가락 제스처(1811)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 18의 1820을 참조하면, 직선 오브젝트(1712-2)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(1822)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1822)에 응답하여, 이동된 궤적에 대응하는 영역(1821)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 직선 오브젝트(1712-2)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1821)이 직선으로 나타나도록 표시할 수 있다. 다시 말해, 제어부(200)는 펜 제스처(1822)에 의하여 이동된 궤적에 대응하는유사한 방식으로, 서브 영역(1020)에 사각형 오브젝트(1712-3) 또는 원 오브젝트(1712-5)이 손가락 제스처를 이용하여 선택된 경우, 제어부(200)는 메인 영역(1010) 상에서 펜 제스처(미도시)에 의하여 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 사각형 오브젝트(1712-3)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)의 시작점 및 종료점을 인식하고, 시작점 및 종료점 각각이 꼭짓점이 되는 사각형이 나타나도록 표시할 수 있다. 또한, 원 오브젝트(1712-5)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)의 시작점 및 종료점을 인식하고, 시작점을 원점으로 갖고 시작점과 종료점 간에 거리를 반지름으로 갖는 원이 메인 영역(1010) 상에 나타나도록 표시할 수 있다.
도 19는 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 19의1910을 참조하면, 제어부(200)는 메인 영역(1010)에는 이미지가 없는 빈 화면(1711)을 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1712)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1712)에 포함된 곡선 오브젝트(1712-4)을 선택하는 사용자의 손가락 제스처(1911)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 19의1920을 참조하면, 곡선 오브젝트(1712-4)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1922)를 입력받을 수 있다. 또한, 벤디드 터치 스크린(100)은 서브 영역(1020) 상에 두 지점(1923-1,1923-2)을 터치하는 멀티 손가락 제스처(1923)를 입력받을 수 있다. 제어부(200)는 펜 제스처(1922) 및 멀티 손가락 제스처(1923)에 응답하여, 두 지점(1923-1,1923-2)의 위치와 관련된 이동된 궤적에 대응하는 영역(1921)에 곡선 오브젝트(1712-4)에 대응하는 기능을 적용할 수 있다. 예를 들어, 제어부(200)는 곡선 오브젝트(1712-4)에 대응하는 기능이 적용된 결과로서, 멀티 지점에 대응하는 메인 영역(1010)에 수평선들을 기준으로 수평선들의 바깥쪽에 해당하는 영역들(1711-1,1711-3)에 포함된 이동된 궤적에 대응하는 영역(1921-1,1921-3)에는 표시를 하지 않고, 수평선들의 안쪽에 해당하는 영역(1711-2)에 포함된 이동된 궤적에 대응하는 영역(1921-2,1921-4)에는 곡선이 나타나도록 표시할 수 있다. 도 19의 1920을 참조하면, 서브 영역(1020)에는 곡선 오브젝트(1712-4)에 대응하는 기능이 실행 중인 것을 나타내는 아이콘(1924)이 표시될 수 있다.
도 20은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 20의2010을 참조하면, 제어부(200)는 메인 영역(110)에는 카메라 어플리케이션을 이용하여 촬영된 이미지(2011)를 표시하고, 서브 영역(1020)에는 이미지(2011)를 편집하기 위한 메뉴(2012)를 표시할 수 있다. 메뉴(2012)는 말 풍선을 삽입하기 위한 말풍선 오브젝트(2012-1), 선택된 영역에 효과를 적용하는 효과 오브젝트(2012-2) 또는 선택된 영역을 잘라내어 사진으로 저장하는 잘라내기 오브젝트(2012-3) 중 적어도 하나를 포함할 수 있다. 벤디드 터치 스크린(100)은 말풍선 오브젝트(2012-1)을 선택하는 사용자의 손가락 제스처(2013)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 20의2020을 참조하면, 말풍선 오브젝트(2012-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 일 지점을 선택하는 펜 제스처(2022)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2022)에 응답하여, 일 지점에 대응하는 영역(2021)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 말풍선 오브젝트(2021)에 대응하는 기능이 적용된 결과로서, 일 지점에 대응하는 영역(2021)에 말풍선이 나타나도록 표시할 수 있다.
도 21은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 21의2110을 참조하면, 제어부(200)는 메인 영역(1010) 상에는 카메라 어플리케이션을 이용하여 촬영된 이미지(2011)를 표시하고, 서브 영역(1020)에는 이미지(2011)를 편집하기 위한 메뉴(2012)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2012)에 포함된 효과 오브젝트(2012-2)을 선택하는 사용자의 손가락 제스처(2111)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 21의2120을 참조하면, 효과 오브젝트(2012-2)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2122)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2122)에 응답하여, 이동된 궤적에 대응하는 영역(2121)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 효과 오브젝트(2012-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2121)에 기 설정되어 있는 효과를 적용할 수 있다. 예를 들어, 제어부(200)는 이동된 궤적에 대응하는 영역(2121)에 뽀샤시 효과, 세피아 효과, 흑백 효과 또는 만화 효과 중 하나를 적용할 수 있다.
도 22는 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 22의2210을 참조하면, 제어부(200)는 메인 영역(1010)에는 카메라 어플리케이션을 이용하여 촬영된 이미지(2011)를 표시하고, 서브 영역(1020)에는 이미지(2011)를 편집하기 위한 메뉴(2012)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2012)에 포함된 잘라내기 오브젝트(2012-3)을 선택하는 사용자의 손가락 제스처(2211)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 22의2220을 참조하면, 잘라내기 오브젝트(2012-3)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2222)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2222)에 응답하여, 이동된 궤적에 대응하는 영역(2221)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 잘라내기 오브젝트(2012-3)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2221)에 점선 또는 하이라이트된 선이 나타나도록 표시할 수 있다. 그리고 제어부(200)는 상기 표시된 선의 안쪽 영역을 잘라낼 수 있다. 제어부(200)에 의하여 잘라진 영역은 클립보드에 저장되거나, 저장부(310)에 별도 파일로 저장될 수 있다.
도 23은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 23의2310을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(2311)를 표시하고, 서브 영역(1020)에는 이미지(2011)를 편집하기 위한 메뉴(2312)를 표시할 수 있다. 메뉴(2312)는 이미지(2311)에 필터 효과를 적용하기 위한 오브젝트로서, 뽀샤시 필터를 적용하는 뽀샤시 오브젝트(2312-1), 세피아 필터를 적용하는 세피아 오브젝트(2312-2), 흑백 필터를 적용하는 흑백 오브젝트(2312-3) 또는 만화 필터를 적용하는 만화 오브젝트(2312-4) 중 적어도 하나를 포함할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2312)에 포함된 뽀샤시 오브젝트(2312-1)을 선택하는 사용자의 손가락 제스처(2313)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 23의2320을 참조하면, 뽀샤시 오브젝트(2312-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2322)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2322)에 응답하여, 이동된 궤적에 대응하는 영역(2321)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 뽀샤시 오브젝트(2312-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2321)이 다른 영역과 비교하여 대비(contrast)가 높아지고, 이미지가 밝아지며 부드럽게 표시되는 뽀샤시 효과가 적용되도록 표시할 수 있다.
유사한 방식으로, 서브 영역(1020)에 세피아 오브젝트(2312-2), 흑백 오브젝트(2312-3) 또는 만화 오브젝트(2312-4)이 손가락 제스처를 이용하여 선택된 경우, 제어부(200)는 메인 영역(1010) 상에서 펜 제스처(미도시)에 의하여 이동된 궤적에 대응하는 영역(미도시)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 세피아 오브젝트(2312-2)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)에 세피아 효과가 적용되도록 표시할 수 있다. 또한, 흑백 오브젝트(2312-3)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)이 흑색 및 백색의 명암으로 표시되는 흑백 효과가 적용되도록 표시할 수 있다. 또한, 제어부(200)는 만화 오브젝트(2312-4)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)이 만화 이미지와 같은 만화 효과가 적용되도록 표시할 수 있다.
도 24는 본 개시의 일 실시 예에 따른 이북 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 24의2410을 참조하면, 제어부(200)는 메인 영역(1010)은 텍스트를 포함하는 페이지(2411)가 표시되고, 서브 영역(1020)에는 페이지(2411)를 관리하기 위한 메뉴(2412)를 표시할 수 있다. 메뉴(1312)는 페이지(2411) 내의 특정 텍스트를 하이라이트 하는 하이라이트 오브젝트(2412-1), 페이지(2411) 내의 단어를 뜻을 검색하여 표시하는 검색 오브젝트(2412-2) 또는 페이지(2411) 내의 특정 영역을 확대하는 돋보기 오브젝트(2412-3) 중 적어도 하나를 포함할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2412)에 포함된 하이라이트 오브젝트(2412-1)을 선택하는 사용자의 손가락 제스처(2413)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 24의2420을 참조하면, 하이라이트 오브젝트(2412-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2422)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2422)에 응답하여, 이동된 궤적에 대응하는 영역(2421)을 시각적으로 변형하여 표시할 수 있다. 이때, 이동된 궤적에 대응하는 영역(2421)은 이동된 궤적 바로 위에 위치하는 텍스트 또는 텍스트 근처에 영역이 될 수 있다. 제어부(200)는 밑줄 오브젝트(2412-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2421)이 다른 영역과 시각적으로 구별되도록 하이라이트하여 표시할 수 있다. 예를 들어, 제어부(200)는 텍스트 또는 텍스트 근처의 색을, 다른 텍스트 또는 다른 텍스트 근처의 색들과 다르게 표시하거나 또는 동적으로 점멸하는 애니메이션 효과 등을 적용하여 표시할 수 있다.
도 25는 본 개시의 다른 일 실시 예에 따른 이북 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 25의2510을 참조하면, 제어부(200)는 메인 영역(1010)에는 텍스트를 포함하는 페이지(2411)를 표시하고, 서브 영역(1020)에는 페이지(2411)를 관리하기 위한 메뉴(2412)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2412)에 포함된 검색 오브젝트(2412-2)을 선택하는 사용자의 손가락 제스처(2511)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 25의2520을 참조하면, 검색 오브젝트(2412-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2522)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2522)에 응답하여, 이동된 궤적에 대응하는 영역(2521)을 시각적으로 변형하여 표시할 수 있다. 그리고 이동된 궤적에 대응하는 영역(2521)에 포함된 텍스트들로 구성된 단어의 뜻을 검색하여 화면상에 표시할 수 있다. 예를 들어, 제어부(200)는 검색 오브젝트(2412-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2521)이 다른 영역과 시각적으로 구별되도록 하이라이트하여 표시할 수 있다. 그리고 제어부(200)는 검색된 단어의 뜻이 이동된 궤적에 대응하는 영역(2521) 근처에 메모장(2523) 상에 포함되도록 표시할 수 있다.
유사한 방식으로, 서브 영역(1020)에 돋보기 오브젝트(2412-3)이 손가락 제스처를 이용하여 선택된 경우, 제어부(200)는 메인 영역(1010) 상에서 펜 제스처(미도시)에 의하여 이동된 궤적에 대응하는 영역(미도시)으로서 이동된 궤적의 안쪽 영역을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)을 확대하여 표시할 수 있다.
도 26은 본 개시의 또 다른 일 실시 예에 따른 이북 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 26의2610을 참조하면, 제어부(200)는 메인 영역(1010)에는 텍스트를 포함하는 페이지(2611)를 표시하고, 서브 영역(1020)에는 페이지(2611)를 관리하기 위한 메뉴(2612)를 표시할 수 있다. 메뉴(2612)는 페이지(2611) 내의 텍스트의 서체를 굵게 표시하는 볼드(bold) 오브젝트(2612-1), 텍스트의 서체를 기울림꼴로 표시하는 이탤릭체 오브젝트(2612-2), 텍스트의 서체에 밑줄을 긋는 언더바 오브젝트(2612-3), 텍스트의 서체에 취소선을 긋는 취소선 오브젝트(2612-4), 텍스트의 서체의 크기를 변경하는 서체 크기 변경 오브젝트(2624-5) 중 적어도 하나를 포함할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2612)에 포함된 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2)을 선택하는 사용자의 손가락 제스처(2613)를 입력받을 수 있다. 이때, 사용자의 손가락 제스처(2613)는 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2)을 거의 동시에 선택하는 멀티 손가락 제스처가 될 수도 있다. 멀티 손가락 제스처는 사용자의 손가락 제스처(2613)는 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2) 중 하나를 먼저 선택하고, 이후 다른 하나를 선택하는 순차적인 손가락 터치 제스처들의 조합이 될 수도 있다.
도 26의2620을 참조하면, 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2622)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2422)에 응답하여, 이동된 궤적에 대응하는 영역(2621)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2621)에 포함된 텍스트의 서체를 기울임 꼴로 굵게 표시할 수 있다.
유사한 방식으로, 서브 영역(1020)에 언더바 오브젝트(2612-3), 취소선 오브젝트(2612-4) 또는 서체 크기 변경 오브젝트(2614-5)이 손가락 제스처를 이용하여 선택된 경우, 제어부(200)는 메인 영역(1010) 상에서 펜 제스처(미도시)에 의하여 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 언더바 오브젝트(2612-3)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)에 포함된 텍스트의 서체에 밑줄이 그어지도록 표시할 수 있다. 또한, 취소선 오브젝트(2612-4)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)에 포함된 텍스트의 서체에 취소선이 그어지도록 표시할 수 있다. 또한, 서체 크기 변경 오브젝트(2612-5)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역에(미도시) 포함된 텍스트의 크기를 또는 축소하여 표시할 수 있다.
도 27은 본 개시의 다른 일 실시 예에 따른 웹 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 27의2710을 참조하면, 제어부(200)는 메인 영역(1010)에는 컨텐츠를 포함하는 웹 페이지(2711)를 표시하고, 서브 영역(1020)에는 웹 페이지(2711)를 대상으로 웹 페이지 관리 기능을 수행하기 위한 메뉴(2712)를 표시할 수 있다. 메뉴(2712)는 다른 웹 페이지 또는 홈 웹 페이지로 이동하기 위한 인터넷 오브젝트(2712-1), 즐겨찾기로 등록한 웹 페이지 목록을 표시하기 위한 즐겨찾기 오브젝트(2712-2), 웹 페이지(2711)에 선 또는 도형을 그리기 위한 그리기 오브젝트(2712-3), 웹 페이지의 일부를 잘라내기 위한 자르기 오브젝트(2712-4), 편집 전의 화면으로 복귀하기 위한 취소 오브젝트(2712-5) 중 적어도 하나를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2712)에 포함된 자르기 오브젝트(2712-4)을 선택하는 사용자의 손가락 제스처(2713)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 27의2720을 참조하면, 자르기 오브젝트(2712-4)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2722)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2722)에 응답하여, 이동된 궤적에 대응하는 영역(2721)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 이동된 궤적에 대응하는 영역(2721)에 점선 또는 하이라이트된 선이 나타나도록 표시할 수 있다. 그리고 이동하는 펜 제스처(2722)가 위치하는 지점 또는 상기 지점의 근처에는 자르기 오브젝트(2712-4)이 선택 중인 것을 나타내는 아이콘(예로, 가위 아이콘)(2723)이 함께 표시될 수 있다. 제어부(200)는 상기 표시된 선의 안쪽 영역을 잘라낼 수 있다. 제어부(200)에 의하여 잘라진 영역을 원래의 위치에서 변형, 이동 또는 각도를 기울여서 화면 상에 표시할 수 있다. 잘라진 영역은 클립보드에 저장되거나, 저장부(310)에 별도 파일로 저장될 수 있다.
도 28은 본 개시의 다른 일 실시 예에 따른 웹 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 28의2810을 참조하면, 제어부(200)는 메인 영역(1010)에는 컨텐츠를 포함하는 웹 페이지(2711)가 표시되고, 서브 영역(1020)에는 웹 페이지(2711)를 대상으로 웹 페이지 관리 기능을 수행하기 위한 메뉴(2712)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2712)에 포함된 그리기 오브젝트(2712-3)을 선택하는 사용자의 손가락 제스처(2811)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 28의2820을 참조하면, 그리기 오브젝트(2712-3)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2822)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2822)에 응답하여, 이동된 궤적에 대응하는 영역(2821)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 이동된 궤적에 대응하는 영역(2721)에 특정 색을 표시할 수 있다. 특정 색은 사전에 디폴트로 결정되어 있거나, 또는 사용자에 의하여 복수 개의 색들 중에서 선택될 수 있다.
도 29a 및 도 29b는 본 개시의 일 실시 예에 따른 메모 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 29a의2910을 참조하면, 제어부(200)는 메인 영역(1010)에는 빈 화면(2911)을 표시하고, 서브 영역(1020)에는 빈 화면에 표시될 이미지를 처리하기 위한 메뉴(2912)를 표시할 수 있다. 메뉴(2912)는 표시된 이미지를 숫자로 변환하여 전화를 걸기 위한 전화 오브젝트(2912-1), 표시된 이미지를 숫자로 변환하여 계산을 하기 위한 계산기 오브젝트(2912-2), 표시된 이미지를 저장하기 위한 메모 오브젝트(2912-3)을 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2912)에 포함된 계산기 오브젝트(2912-2)을 선택하는 사용자의 손가락 제스처(2913)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 29a의2920을 참조하면, 계산기 오브젝트(2912-2)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2922)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2922)에 응답하여, 이동된 궤적에 대응하는 영역(2921)을 시각적으로 변형하여 표시할 수 있다. 그리고 제어부(200)는 계산기 오브젝트(2712-2)에 대응하는 기능이 적용된 결과로서, 표시된 이미지를 숫자 및 연산자로 인식하고 계산을 수행할 수 있다.
도 29b의2930을 참조하면, 제어부(200)는 계산기 오브젝트(2712-2)에 대응하는 기능이 적용된 결과로서, 상기 표시된 이미지를 처리할 수 있는 어플리케이션(2931)을 실행하여 메인 영역(1010) 상에 표시할 수 있다. 예를 들어, 제어부(200)는 계산기 오브젝트(2912-2)에 대응하는 기능을 수행하는 계산기 어플리케이션(2931)을 실행하여 메인 영역(100) 상에 표시할 수 있다. 계산기 어플리케이션(2931)의 실행에 따른 계산 결과(2932)는 메인 영역(100) 상에 표시될 수 있다.
도 30a 및 도 30b는 본 개시의 다른 일 실시 예에 따른 메모 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 30a의3010을 참조하면, 제어부(200)는 메인 영역(1010)에는 빈 화면(2911)을 표시하고, 서브 영역(1020)에는 빈 화면에 표시된 이미지를 처리하기 위한 메뉴(2912)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2912)에 포함된 전화 오브젝트(2912-1)을 선택하는 사용자의 손가락 제스처(3011)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 30a의3020을 참조하면, 전화 오브젝트(2912-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(3022)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(3022)에 응답하여, 이동된 궤적에 대응하는 영역(3021)을 시각적으로 변형하여 표시할 수 있다. 그리고 제어부(200)는 전화 오브젝트(2912-1)에 대응하는 기능이 적용된 결과로서, 표시된 이미지를 전화번호로 인식하고 전화 걸기를 수행할 수 있다.
도 30b의3030을 참조하면, 제어부(200)는 전화 오브젝트(2912-1)에 대응하는 기능을 수행하는 전화 어플리케이션(3031)이 실행하여 메인 영역(1010) 상에 표시할 수 있다. 제어부(200)는 전화 어플리케이션(3031)을 이용하여 인식된 전화번호로 전화 걸기를 수행하는 화면을 표시할 수 있다.
도 31a 및 도 31b는 본 개시의 일 실시 예에 따른 홈 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 31a의3110을 참조하면, 제어부(200)는 메인 영역(1010)에는 홈 화면(3111)을 표시하고, 서브 영역(1020)에는 홈 화면에 표시된 이미지를 빠르게 처리하기 위한 퀵 오브젝트(3112)을 표시할 수 있다. 벤디드 터치 스크린(100)은 퀵 오브젝트(3112)을 선택하는 사용자의 손가락 제스처(3113)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 31a의3120을 참조하면, 퀵 오브젝트(3112)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(3122)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(3122)에 응답하여, 이동된 궤적에 대응하는 영역(3121)을 시각적으로 변형하여 표시할 수 있다. 그리고 제어부(200)는 퀵 오브젝트(3112)에 대응하는 기능이 적용된 결과로서, 표시된 이미지에 대한 형식을 판단할 수 있다. 판단 결과, 표시된 이미지가 전화번호 형식을 갖는 경우, 제어부(200)는 표시된 이미지를 전화번호로 인식하고 전화 걸기를 수행할 수 있다.
도 31b의3030을 참조하면, 제어부(200)는 퀵 오브젝트(3112)에 대응하는 기능을 수행하는 전화 어플리케이션(3131)을 실행하여 메인 영역(1010) 상에 표시할 수 있다. 제어부(200)는 전화 어플리케이션(3131)을 이용하여 인식된 전화번호로 전화 걸기를 수행하는 화면을 표시할 수 있다.
도 32a 및 도 32b는 본 개시의 일 실시 예에 따른 홈 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 32a의3210을 참조하면, 제어부(200)는 메인 영역(1010)에는 홈 화면(3111)을 표시하고, 서브 영역(1020)에는 홈 화면에 표시된 이미지를 빠르게 처리하기 위한 퀵 오브젝트(3112)을 표시할 수 있다. 벤디드 터치 스크린(100)은 퀵 오브젝트(3112)을 선택하는 사용자의 손가락 제스처(3213)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 32a의3220을 참조하면, 퀵 오브젝트(3112)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(3222)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(3222)에 응답하여, 이동된 궤적에 대응하는 영역(3221)을 시각적으로 변형하여 표시할 수 있다. 그리고 제어부(200)는 퀵 오브젝트(3112)에 대응하는 기능이 적용된 결과로서, 표시된 이미지에 대한 형식을 판단할 수 있다. 판단 결과, 표시된 이미지가 이메일 형식을 갖는 경우, 제어부(200)는 표시된 이미지를 이메일로 인식하고 이메일 보내기를 수행할 수 있다.
도 32b의3230을 참조하면, 퀵 오브젝트(3112)에 대응하는 기능을 수행하는 이메일 어플리케이션(3231)이 실행되어 화면에 표시될 수 있다. 제어부(200)는 이메일 어플리케이션(3231)을 이용하여 인식된 이메일로 메일을 보내기 위한 이메일 작성 화면을 표시할 수 있다.
도 33은 본 개시의 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 33을 참조하면, 사용자 단말 장치(1000)는 서브 영역(1010) 상에서 손가락 제스처를 입력받을 수 있다(S3301). 또한, 사용자 단말 장치(1000)는 메인 영역 상에서 이동하는 펜 제스처를 입력받을 수 있다(S3303).
사용자 단말 장치(1000)는 입력받은 손가락 제스처가 서브 영역(1010) 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는지 판단할 수 있다(S3305). 만약, 제1 오브젝트를 선택하지 않는 경우, 사용자 단말 장치(1000)는 펜 제스처의 이동된 궤적에 대응하는 영역에 디폴트 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다(S3307).
사용자 단말 장치(1000)는 입력받은 손가락 제스처가 제1 오브젝트 및 제2 오브젝트를 선택하는지 판단할 수 있다(S3309). 예를 들어, 사용자 단말 장치(1000)는 손가락 제스처가 제1 오브젝트 및 제2 오브젝트를 모두 선택하는 멀티 손가락 제스처인지를 판단할 수 있다. 손가락 제스처가 제1 오브젝트만 선택하고 제2 오브젝트를 선택하지 않은 경우, 사용자 단말 장치(1000)는 펜 제스처의 이동된 궤적에 대응하는 영역에 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다(S3311). 반면, 손가락 제스처가 제1 오브젝트 및 제2 오브젝트를 모두 선택하는 멀티 손가락 제스처인 경우, 사용자 단말 장치(1000)는 펜 제스처의 이동된 궤적에 대응하는 영역에 제1 오브젝트와는 다른 제2 오브젝트를 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다(S3313)
도 34는 본 개시의 다른 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 34를 참조하면, 사용자 단말 장치(1000)는 서브 영역(1010) 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받을 수 있다(S3401). 또한, 사용자 단말 장치(1000)는 메인 영역 상에서 이동하는 펜 제스처를 입력받을 수 있다(S3403).
사용자 단말 장치(1000)는 손가락 제스처 및 펜 제스처에 응답하여, 펜 제스처의 이동된 궤적에 대응하는 영역에 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다(S3405).
사용자 단말 장치(1000)는 서브 영역 상에 손가락 제스처의 입력이 유지되는지 판단할 수 있다(S3407). 손가락 제스처의 입력이 유지되는 경우, 사용자 단말 장치(1000)는 펜 제스처의 이동된 궤적에 대응하는 영역에 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 계속하여 시각적으로 변형하여 표시할 수 있다(S3409). 반면, 손가락 제스처가 더 이상 입력되지 않는 경우, 사용자 단말 장치(1000)는 시각적으로 변형하여 표시된 이동된 궤적에 대응하는 영역을 변형 전의 형태로 되돌릴 수 있다(S3411).
이 밖에도, 상술한 다양한 실시 예들에서 설명한 인터랙션들이 수행될 수 있으나, 각 실시 예들에 대한 구체적인 흐름도는 그 도시 및 설명을 생략한다.
도 35 내지 도 44는 본 개시의 일 실시 예에 따른 외부 장치와 연결되어 사용자 인터렉션을 수행하는 도면이다.
일 실시 예에서, 사용자 단말 장치(1000)의 외부에 위치한 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결될 수 있다
여기에서, 사용자 단말 장치(1000)의 외부에 위치한 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되는 것은 유선 또는 무선으로 연결되는 것을 모두 포함할 수 있다. 예를 들어, 사용자 단말 장치(1000)와 외부 장치가 일정 거리에 이내에 위치하거나, 서로 접촉하는 경우, 사용자 단말 장치(1000)와 외부 장치 간에 통신 가능하도록 연결될 수 있다. 예로, 사용자 단말 장치(1000)와 외부 장치 간에 통신 방식으로 블루투스 방식을 이용하는 경우, 사용자 단말 장치(1000)의 블루투스 기능이 온이 되면 통신부(330)는 파워 비콘(Power Beacon) 신호를 외부 장치로 전송할 수 있다. 파워 비콘 신호에 대한 응답으로, 외부 장치는 자신의 연결될 수 있음을 알리는 광고(Advertisement) 신호를 전송할 수 있다. 광고 신호에 대한 응답으로, 사용자 단말 장치(1000)는 연결 요청(Connection request) 신호를 외부 장치로 전송하고, 이에 따라 사용자 단말 장치(1000)와 외부 장치(3511) 간에 통신 세션(Session)이 형성될 수 있다. 이러한 상황에서, 사용자 단말 장치(1000)가 외부 장치와 통신 가능하도록 연결되는 것은 사용자 단말 장치(1000)와 외부 장치(3511) 간에 통신 세션(Session)이 형성된 상태를 의미할 수 있다.
외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되면, 벤디드 터치 스크린(100)은 상기 외부 장치와 관련된 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다. 상기 외부 장치와 관련된 UI 엘리먼트는, 예로, 외부 장치를 식별하기 위한 오브젝트, 외부 장치를 제어하기 위한 오브젝트, 외부 장치와 관련된 어플리케이션에 대응하는 아이콘 중 하나가 될 수 있다.
다음으로, UI 엘리먼트가 서브 영역(1020)에 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처는, 예로, 사용자의 손가락 제스처 또는 사용자의 펜 제스처가 될 수 있다.
사용자 제스처에 응답하여, 제어부(200)는 외부 장치와 관련된 적어도 하나의 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다. 그리고, 복수 개의 또 다른 UI 엘리먼트들 중 일 UI 엘리먼트를 선택하는 사용자 제스처에 응답하여, 제어부(200)는 일 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 서브 영역(1020) 또는 메인 영역(1010)에 표시할 수 있다. 또는, 사용자 제스처에 응답하여, 제어부(200)는 선택된 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 서브 영역(1020) 또는 메인 영역(1010)에 표시할 수 있다.
또 다른 실시 예로, 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되면, 벤디드 터치 스크린(100)은 기 설정된 어플리케이션의 실행 화면을 서브 영역(1020) 또는 메인 영역(1010)에 표시할 수 있다
이와 같이, 외부 장치와 관련된 UI 엘리먼트가 서브 영역을 통하여 표시되는 경우, 메인 영역(1010)에서 표시되는 것과 비교하여 상대적으로 적은 전력이 소모될 수 있다. 또한, 도 49와 같이, 사용자 단말 장치(1000)가 커버를 가지는 상황이라면, 사용자는 커버를 여는 불편함이 없이 서브 영역(1020)을 통하여 신속하고 용이하게 확인할 수 있다.
도 35a의3510을 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 웨어러블 장치(Wearable device)(예로, 손목에 장착할 수 있는 갤럭시 기어 등)(3511)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 웨어러블 장치(3511)와 서로 통신 가능하도록 연결되면, 제어부(200)는 웨어러블 장치(3511)와 관련된 UI 엘리먼트(3512)를 서브 영역(1020)에 표시할 수 있다. UI 엘리먼트(3512)는, 예로, 웨어러블 장치(3511)를 식별하기 위한 오브젝트 또는 웨어러블 장치(3511)와 관련된 어플리케이션에 대응하는 아이콘이 될 수 있다. UI 엘리먼트(3521)가 서브 영역(1020)에 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트(3512)를 선택하는 사용자 제스처를 입력 받을 수 있다.
사용자 제스처 입력에 응답하여, 도 35a의 3520과 같이, 제어부(200)는 웨어러블 장치(3511)와 관련된 복수 개의 UI 엘리먼트들을 서브 영역(1020)에 표시할 수 있다. 그리고, 복수 개의 또 다른 UI 엘리먼트들 중 일 UI 엘리먼트(3521)를 선택하는 사용자 제스처에 응답하여, 제어부(200)는 도 35b의 3530과 같이 일 UI 엘리먼트(3521)에 대응하는 어플리케이션의 실행 화면(3531)을 메인 영역(1010)에 표시할 수 있다. 다른 예로, 제어부(200)는 도 35b의 3540과 같이 일 UI 엘리먼트(3521)에 대응하는 어플리케이션의 실행 화면(3541)을 서브 영역(1020)에 표시할 수 있다.
다음으로, 어플리케이션의 실행 화면(3531,3541)을 통한 사용자 입력에 응답하여, 제어부(200)는 웨어러블 장치(3511)를 제어할 수 있다. 예를 들어, 제어부(200)는, 사용자 입력에 응답하여, 웨어러블 장치(3511)의 홈 화면의 종류를 결정하거나, 웨어러블 장치(3511)에 표시될 알림 어플리케이션의 종류를 결정하거나, 웨어러블 장치(3511)에서 재생될 영상 또는 오디오 컨텐츠를 결정하거나, 웨어러블 장치(3511)가 감지할 사용자 생체 정보를 결정하거나, 또는 웨어러블 장치(3511)에 표시될 시간 정보를 결정할 수 있으나 이에 제한되지는 않는다.
도 36a의 3610을 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 웨어러블 장치(3611)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 웨어러블 장치(3611)와 서로 통신 가능하도록 연결되면, 제어부(200)는 웨어러블 장치(3611)와 관련된 UI 엘리먼트(3612)를 서브 영역(1020)에 표시할 수 있다. UI 엘리먼트(3612)는, 예로, 웨어러블 장치(3611)를 식별하기 위한 오브젝트 또는 웨어러블 장치(3611)와 관련된 어플리케이션에 대응하는 아이콘이 될 수 있다. UI 엘리먼트(3612)가 서브 영역(1020)에 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트(3612)를 선택하는 사용자 제스처를 입력 받을 수 있다.
사용자 제스처 입력에 응답하여, 도 36a의 3620과 같이, 제어부(200)는 UI 엘리먼트(3612)에 대응하는 어플리케이션의 실행 화면(3621)을 메인 영역(1010)에 표시할 수 있다. 다른 예로, 제어부(200)는 도 36b의 3630과 같이 UI 엘리먼트(3612)에 대응하는 어플리케이션의 실행 화면(3631)을 서브 영역(1020)에 표시할 수 있다. 다음으로, 어플리케이션의 실행 화면(3621,3631)을 통한 사용자 입력에 응답하여, 제어부(200)는 웨어러블 장치(3611)를 제어할 수 있다.
도 37a의 3710을 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 웨어러블 장치(3711)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 웨어러블 장치(3711)와 서로 통신 가능하도록 연결되면, 제어부(200)는 웨어러블 장치(3711)와 관련하여 기 설정된 어플리케이션의 실행 화면(3712)을 서브 영역(1020)에 표시할 수 있다. 다른 예로, 제어부(200)는 도 37b의 3720과 같이, 웨어러블 장치(3711)와 관련하여 기 설정된 어플리케이션의 실행 화면(3721)을 메인 영역(1010)에 표시할 수 있다. 다음으로, 어플리케이션의 실행 화면(3712,3721)을 통한 사용자 입력에 응답하여, 제어부(200)는 웨어러블 장치(3711)를 제어할 수 있다.
도 38의 3810을 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 오디오 장치(예로, 스피커, 이어폰, 헤드셋, 마이크, 홈 씨어터(Theater) 등)(3811)와 통신 가능하도록 연결될 수 있다. 예를 들어, 사용자 단말 장치(1000)와 오디오 장치(3811)가 일정 거리에 이내에 위치하거나, 또는 서로 접촉하는 경우, 사용자 단말 장치(1000)와 오디오 장치(3811)는 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 오디오 장치(3811)와 서로 통신 가능하도록 연결되면, 제어부(200)는 오디오 장치(3811)와 관련된 UI 엘리먼트(3812)를 서브 영역(1020)에 표시할 수 있다. UI 엘리먼트(3812)는, 예로, 오디오 장치(3811)를 식별하기 위한 오브젝트 또는 오디오 장치(3811)와 관련된 어플리케이션에 대응하는 아이콘이 될 수 있다. UI 엘리먼트(3812)가 서브 영역(1020)에 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트(3812)를 선택하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처는, 예로, UI 엘리먼트(3812)를 탭하는 사용자의 손가락 제스처 또는 사용자의 펜 제스처가 될 수 있다.
사용자 제스처 입력에 응답하여, 도 38의 3820과 같이, 제어부(200)는 UI 엘리먼트(3812)에 대응하는 어플리케이션의 실행 화면(3821)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션 실행 화면(3821)은, 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 오디오 장치(3811)의 식별 정보(3821-1), 오디오 장치의 상태 정보(예로, 이퀄라이저 정보 또는 재생 중인 볼륨 정보 등)(3821-2,3821-3) 및 오디오 장치(3811)를 제어할 수 있는 UI 엘리먼트(3821-4) 중 적어도 하나를 포함할 수 있다. 오디오 장치(3811)를 제어할 수 있는 UI 엘리먼트(3821-4)는, 예로, 오디오 장치(3811)의 볼륨을 조절할 수 있는 UI 엘리먼트 또는 오디오 장치(3811)의 음향 효과(예로, 힙합, 재즈, 클래식 등)을 선택할 수 있는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 그리고, 어플리케이션의 실행 화면(3821)을 통한 사용자 입력에 응답하여, 제어부(200)는 오디오 장치(3811)의 기능을 제어할 수 있다. 예로, 제어부(200)는 오디오 장치(3811)의 볼륨을 조절할 수 있다.
도 39를 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 디스플레이 장치(3911)(예로, 모니터, 디지털 TV, 타플렛 PC 등)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 디스플레이 장치(3911)와 서로 통신 가능하도록 연결되면, 제어부(200)는 외부에 위치한 디스플레이 장치(3911)와 관련하여 기 설정된 어플리케이션의 실행 화면(3912)을 메인 영역(1010)에 표시할 수 있다. 어플리케이션 실행 화면(3921)은 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 디스플레이 장치(3911)의 식별 정보(3912-1), 디스플레이 장치(3911)를 제어할 수 있는 UI 엘리먼트(3912-2) 또는 디스플레이 장치(3911)의 상태 정보 중 적어도 하나를 포함할 수 있다.
디스플레이 장치(3911)를 제어할 수 있는 UI 엘리먼트(3912-2)는, 예로, 디스플레이 장치(3911)에서 재생할 컨텐츠를 검색하는 UI 엘리먼트, 디스플레이 장치(3911)에서 컨텐츠의 재생을 시작하는 UI 엘리먼트 또는 디스플레이 장치(3911)에서 컨텐츠의 재생을 중지하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 디스플레이 장치(3911)의 상태 정보는, 예로, 디스플레이 장치(3911)에서 재생 중인 영상 컨텐츠의 제목, 영상 컨텐츠가 재생한 시간, 영상 컨텐츠의 출처 또는 영상 컨텐츠의 남은 재생 시간 중 적어도 하나를 포함할 수 있다.
도 40를 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 저장 장치(4011)(예로, 컴퓨터, 서버 등)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 저장 장치(4011)와 서로 통신 가능하도록 연결되면, 제어부(200)는 저장 장치(4011)와 관련하여 기 설정된 어플리케이션의 실행 화면(4012)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션 실행 화면(4012)은 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 저장 장치(4011)의 식별 정보(4012-1), 사용자 단말 장치(1000)에서 재생할 컨텐츠를 검색하는 UI 엘리먼트(4012-2), 사용자 단말 장치(1000)에서 재생 중인 컨텐츠와 관련된 상태 정보, 사용자 단말 장치(1000)에서 컨텐츠의 재생을 시작하는 UI 엘리먼트 또는 사용자 단말 장치(1000)에서 컨텐츠의 재생을 중지하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 또한, 사용자 단말 장치(1000)에서 재생 중인 컨텐츠와 관련된 정보는 예로, 재생 중인 컨텐츠의 제목, 컨텐츠의 재생 시간, 컨텐츠의 출처 또는 컨텐츠의 남은 재생 시간 중 적어도 하나를 포함할 수 있다.
도 41를 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 입력 장치(4111)(예로, 게임 컨트롤러)가 입력 가능하도록 연결될 수 있다. 예로, 사용자 단말 장치(1000)가 게임 컨트롤러(4111)와 서로 통신 가능하도록 연결되면, 제어부(200)는 게임 컨트롤러(4111)와 관련하여 기 설정된 어플리케이션의 실행 화면(4112)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션 실행 화면(4112)은 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 게임 컨트롤러(4111)의 식별 정보(4112-1), 게임 컨트롤러(4111)를 제어할 수 있는 UI 엘리먼트(4112-3) 또는 게임 컨트롤러(4111)의 상태 정보(4112-2) 중 적어도 하나를 포함할 수 있다. 게임 컨트롤러(4111)를 제어할 수 있는 UI 엘리먼트(4112-3)는, 예로, 게임 컨트롤러(4111)를 통하여 제어할 영상 컨텐츠를 검색하는 UI 엘리먼트, 게임 컨트롤러(4111)를 통하여 제어되는 영상 컨텐츠의 재생을 시작하는 UI 엘리먼트 또는 게임 컨트롤러(4111)를 통하여 재생 중인 영상 컨텐츠의 재생을 중지하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 또한, 게임 컨트롤러(4111)의 상태 정보(4112-2)는, 예로, 게임 컨트롤러(4111)의 바테리 잔량, 또는 게임 컨트롤러(4111) 와의 네트워크 접속 상태 등이 될 수 있다.
도 42를 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 입력 장치(4211)(예로, 키보드, 마우스)와 통신 가능하도록 연결될 수 있다. 예로, 사용자 단말 장치(1000)가 키보드(4211)와 서로 통신 가능하도록 연결되면, 제어부(200)는 외부에 위치한 입력 장치(4211)와 관련하여 기 설정된 어플리케이션의 실행 화면(4212)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션 실행 화면(4212)은 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 키보드(4211)의 식별 정보(4212-1), 키보드(4211)를 제어할 수 있는 UI 엘리먼트(4212-3) 또는 키보드(4211)의 상태 정보(4212-2) 중 적어도 하나를 포함할 수 있다. 키보드(4211)를 제어할 수 있는 UI 엘리먼트(4212-3)는, 예로, 키보드(4211)의 자판의 종류를 변경할 수 있는 UI 엘리먼트가 될 수 있다. 또한, 키보드(4211)의 상태 정보는, 예로, 키보드(4211)의 바테리 잔량이 될 수 있다.
다른 일 실시 예에서, 사용자 단말 장치(1000)의 주변에 외부 장치가 존재하는 경우, 제어부(200)는 사용자 단말 장치(1000)와 통신 가능한 외부 장치를 나타내는 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다. UI 엘리먼트가 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받을 수 있다. 그리고, 제어부(200)는 입력 받은 사용자 제스처에 응답하여, 사용자 단말 장치(1000)와 외부 장치 간에 통신 연결을 수행할 수 있다.
예를 들어, 도 43의 4310을 참조하면, 사용자 단말 장치(1000)의 주변에 복수의 외부 장치(4311 내지 4314)가 존재하는 경우, 제어부(200)은 사용자 단말 장치(1000)와 통신 가능한 외부 장치들을 나타내는 복수의 UI 엘리먼트들(4315 내지4318)을 서브 영역에 표시할 수 있다. 복수의 UI 엘리먼트들 각각은, 예로, 외부 장치들(4311 내지 4314)을 식별하는 오브젝트 또는 외부 장치들(4311 내지 4314) 각각을 대표하는 어플리케이션에 대응하는 아이콘들이 될 수 있다. 복수의 UI 엘리먼트들(4315 내지4318)이 표시된 상태에서, 벤디드 터치 스크린(100)은 통신 연결을 위하여 일 UI 엘리먼트(4317)를 선택하는 사용자 제스처를 입력 받을 수 있다.
사용자 제스처에 응답하여, 제어부(200)는 일 UI 엘리먼트(4317)에 대응하는 외부 장치(4313)와 통신 연결을 수행하고, 도 4320과 같이, 제어부(200)는 일 UI 엘리먼트(4317)에 대응하는 어플리케이션의 실행 화면(4321)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션의 실행 화면(4321)에는 일 UI 엘리먼트(4317)에 대응하는 외부 장치(4313)를 제어할 수 있는 적어도 하나의 UI 엘리먼트들이 포함될 수 있다. 다음으로, 어플리케이션의 실행 화면(4321)을 통한 사용자 입력에 응답하여, 제어부(200)는 외부 장치(4313)를 제어할 수 있다.
도 45 및 도 46은 본 개시의 일 실시 예에 따른 서브 영역에 표시되는 패널을 대상으로 사용자 인터렉션을 수행하는 도면이다.
일 실시 예에서, 사용자 단말 장치(1000)와 서로 통신 가능하거나 또는 사용자 단말 장치(1000)로 입력 가능한 외부 장치가 복수 개인 경우, 벤디드 터치 스크린(100)은 복수 개의 외부 장치 중 일 외부 장치와 관련된 패널을 서브 영역(1020)에 표시할 수 있다. 이 때, 패널은 일 외부 장치와 관련된 적어도 하나의 UI 엘리먼트를 포함할 수 있다. 여기에서, 하나의 패널이 하나의 외부 장치에 대응한다고 가정한다면, 하나의 패널은 하나의 어플리케이션을 통하여 제공될 수도 있고, 복수의 패널이 하나의 어플리케이션을 통하여 제공될 수도 있다. 한편, 사용자 단말 장치(1000)로 입력 가능하다는 것은, 사용자 단말 장치(1000)와 통신 가능하도록 연결되거나 또는 사용자 단말 장치(1000)의 액세서리 형태의 장치로 사용자 단말 장치(1000)와 결합되어 있다가 분리되는 상태를 포함할 수 있다. 예를 들어, 액세서리 형태로 존재하는 외부 장치는 펜이 될 수 있다.
패널이 표시되는 동안에, 벤디드 터치 스크린(100)은 서브 영역(1020)에서 일 방향으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 제어부(200)는 패널에 포함된 UI 엘리먼트를 변경 또는 삭제하거나, 패널에 새로운 UI 엘리먼트를 표시할 수 있다.
예를 들어, 도 44의 4410을 참조하면, 사용자 단말 장치(1000)와 통신 가능하거나 또는 사용자 단말 장치(1000)로 입력 가능한 외부 장치(예로, 오디오 장치, 웨어러블 장치, 펜 등)(4411,4412,4413)가 복수 개인 경우, 벤디드 터치 스크린(100)은 복수 개의 외부 장치 중 일 외부 장치(예로, 웨어러블 장치)와 관련된 적어도 하나의 UI 엘리먼트(4414-1 내지4414-4)를 포함하는 패널(4414)을 서브 영역(1020)에 표시할 수 있다. 이 때, UI 엘리먼트는, 예로, 일 외부 장치(예로, 웨어러블 장치)와 관련된 어플리케이션에 대응하는 UI 엘리먼트(예로, 아이콘) 또는 일 외부 장치를 제어할 수 있는 UI 엘리먼트가 될 수 있다. 외부 장치와 관련된 어플리케이션은, 예로, 사용자 단말 장치(1000)가 추천하는 외부 장치와 관련된 기 설정된 어플리케이션 또는 외부 장치 이용 시에 사용자가 일정 횟수 이상 빈번하게 사용한 어플리케이션 또는 제3자가 외부 장치와 관련하여 추천한 어플리케이션 등이 될 수 있다.
패널(4414)이 표시되는 동안에, 벤디드 터치 스크린(100)은 서브 영역(1020)의 긴 변을 따라 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도 44의 4420 같이 제어부(200)는 상기 일 외부 장치(예로, 웨어러블 장치)와 관련된 다른 UI 엘리먼트들(4414-5,4414-6)을 더 포함하는 패널(4414)을 서브 영역(1020)에 표시할 수 있다.
또는, 패널(4414)이 표시되는 동안에, 벤디드 터치 스크린(100)은 서브 영역(1020)의 짧은 변을 따라 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도 44의 4430과 같이 제어부(200)는 복수 개의 외부 장치 중 다른 일 외부 장치(예로, 펜)와 관련된 UI 엘리먼트들(4415-1,4415-2,4415-3)을 포함하는 패널(4415)을 서브 영역(1020)에 표시할 수 있다.
도 45은, 본 개시의 실시 예에 따라 벤디드 터치 스크린(100)의 서브 영역(120)에 표시될 수 있는 패널들의 예이나, 패널들의 종류는 이에 한정되지 않는다. 도45의 4510은, 사용자 단말 장치(100)와 통신 가능한 외부 장치가 오디오 장치인 경우, 오디오 장치와 관련된 UI 엘리먼트를 포함하는 패널이다. 또한, 도45의 4520은, 사용자 단말 장치(100)와 통신 가능한 외부 장치가 입력 장치인 경우, 입력 장치와 관련된 UI 엘리먼트를 포함하는 패널이다. 또한, 도45의 4530은, 사용자 단말 장치(100)와 통신 가능한 외부 장치가 웨어러블 장치인 경우, 웨어러블 장치와 관련된 UI 엘리먼트를 포함하는 패널이다. 또한, 도45의 4540은, 사용자 단말 장치(100)에서 실행 중인 어플리케이션이 음악 어플리케이션인 경우, 음악 어플리케이션과 관련된 UI 엘리먼트를 포함하는 패널이다. 음악 어플리케이션과 관련된 UI 엘리먼트는, 예로, 음악 검색 UI 엘리먼트, 음악 시작 UI 엘리먼트, 음악 종료 UI 엘리먼트, 볼륨 조절 UI 엘리먼트, 음악 어플리케이션과 관련된 다른 어플리케이션에 대응하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 도45의 4550은, 사용자 단말 장치(100)에서 실행 중인 어플리케이션이 갤러리 어플리케이션인 경우, 갤러리 어플리케이션과 관련된 UI 엘리먼트를 포함하는 패널이다. 갤러리 어플리케이션과 관련된 UI 엘리먼트는, 예로, 이미지 검색 UI 엘리먼트, 이미지 편집 UI 엘리먼트, 이미지 삭제 UI 엘리먼트, 이미지 공유 UI 엘리먼트, 이미지 어플리케이션과 관련된 다른 어플리케이션에 대응하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다.
복수의 패널들이 저장부(310)에 저장되어 있고, 벤디드 터치 스크린(100)의 서브 영역(1020)에 복수의 패널들 중 일 패널이 표시되는 경우, 사용자의 제스처에 따라 서브 영역(1020)에 표시 중인 일 패널이 복수의 패널들 중 다른 일 패널로 전환될 수 있다. 그리고, 사용자의 제스처가 연속되는 경우, 제어부(200)는 복수의 패널들의 전환이 끝나면, 최초 표시되었던 일 패널을 다시 표시할 수 있다. 즉, 사용자의 제스처에 따라, 제어부(200)는 복수의 패널들을 순환 또는 리볼빙(revolving)되는 방식으로 표시할 수 있다.
다른 실시 예로, 복수의 패널들이 저장부(310)에 저장되어 있는 경우, 사용자는 복수의 패널들이 순환되는 순서를 변경할 수 있다. 또는, 복수의 패널들 중 적어도 일 패널을 삭제할 수 있다. 또는, 사용자는 특정 어플리케이션 또는 기능을 일 외부 장치에 대응하는 패널로 등록할 수도 있다.
도 46a의 4610을 참조하면, 제어부(200)는 메인 영역 또는 서브 영역에 패널 관리 어플리케이션(4601)을 표시할 수 있다. 패널 관리 어플리케이션(4601)에는 일 패널과 관련된 오브젝트들(4611 내지 4615)이 포함될 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 복수의 오브젝트들 중 일 오브젝트를 선택하고 서브 영역(1020)의 긴 변을 따라서 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도 46a의 4620과 같이 제어부(200)는 위치가 변경된 오브젝트들(4611,4612,4613,4616,4617)을 포함하는 패널 관리 어플리케이션(4601)을 표시할 수 있다. 또한, 도 46b의 4630을 참조하면, 복수의 패널들 각각을 대표하는 오브젝트들(4611 내지 4615)를 포함하는 패널 관리 어플리케이션(4601)이 표시되는 동안, 벤디드 터치 스크린(100)은 오브젝트들 중 일 오브젝트를 선택하고 서브 영역(1020)의 바깥 방향으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도 46b의 4640과 같이 제어부(200)는 오브젝트들(4611 내지 4615) 중에 일 오브젝트(4614)를 삭제하고, 일 오브젝트(4614)가 제거된 패널 관리 어플리케이션(4601)을 표시할 수 있다.
도 47 및 도 48은 본 개시의 일 실시 예에 따른 메인 영역과 서브 영역 의 경계를 기준으로 사용자 인터렉션을 수행하는 도면이다.
일 실시 예로, 제어부(200)는 메인 영역(101)에 컨텐츠 및 컨텐츠를 제어할 수 있는 UI 엘리먼트를 표시할 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010)과 서브 영역(1020)의 경계 영역을 기준으로 하는 사용자 제스처를 입력 받을 수 있다. 예를 들어, 벤디드 터치 스크린(100)은 메인 영역(1010)에서 사용자 단말 장치(1000)의 적어도 하나의 측면(예컨대, 좌측, 우측, 상측, 하측 중 적어도 하나의 면)까지 연장되어, 벤디드 터치 스크린(100)이 동작 가능한 곡률 반경(radius of curvature)(예컨대, 곡률 반경 5cm, 1cm, 7.5mm, 5mm, 4mm 등) 이하로 접혀 사용자 단말 장치(1000)의 측면에 체결될 수 있다. 이 경우, 벤디드 터치 스크린(100)은 상기 접히는 영역을 기준으로 하는 사용자 제스처를 입력 받을 수 있다. 구체적으로, 벤디드 터치 스크린(100)은 상기 경계 영역을 따라서 수직 방향으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 또는, 벤디드 터치 스크린(100)은 상기 경계 영역을 기준으로 메인 영역(1010)에서 서브 영역(1020)으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 제어부(200)는 컨텐츠를 제어할 수 있는 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다. 또한, 제어부(200)는 메인 영역(1010)에는 컨텐츠를 확장하여 표시할 수 있다. 이 때, 컨텐츠는 UI 엘리먼트가 표시되던 영역의 적어도 일부를 포함하도록 확장하여 표시될 수 있다.
도 47의4710을 참조하면, 제어부(200)는 메인 영역(1010)에 웹 페이지(4711) 및 웹 페이지를 제어할 수 있는 UI 엘리먼트(4712)를 표시할 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010)과 서브 영역(1020)의 경계를 따라서 아래로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도47의 4720과 같이, 제어부(200)는 UI 엘리먼트(4712)를 서브 영역(1020)에 표시할 수 있다. 또한, 제어부(200)는 메인 영역(1010)에는 웹 페이지(4711)를 표시할 수 있다. 여기에서, 웹 페이지(4711)는, 도 47의 4710에서 UI 엘리먼트(4712)가 표시되던 영역의 적어도 일부를 포함하도록 확장하여 표시될 수 있다. 다음으로, UI 엘리먼트(4712)를 선택하는 사용자 제스처에 응답하여, 제어부(200)는 웹 페이지(4711)를 제어할 수 있다. 예로, 제어부(200)는 웹 페이지를 복사, 웹 페이지를 등록, 웹 페이지의 이전 또는 이후의 웹 페이지를 표시할 수 있다.
다른 일 실시 예로, 제어부(200)는 서브 영역(1020)에 UI 엘리먼트를 표시할 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010)과 서브 영역(1020)의 경계 영역을 기준으로 하는 사용자 제스처를 입력 받을 수 있다. 예로, 벤디드 터치 스크린(100)은 상기 경계 영역을 따라서 수직 방향으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 또는, 벤디드 터치 스크린(100)은 상기 경계 영역을 기준으로 서브 영역(1020)에서 메인 영역(1010)으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 제어부(200)는 UI 엘리먼트에 대응하는 컨텐츠 또는 어플리케이션의 실행 화면을 메인 영역(1010)에 표시할 수 있다. 또한, 제어부(200)는 메인 영역(1010)에 표시된 컨텐츠 또는 어플리케이션의 실행 화면을 제어할 수 있는 또 다른 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다.
예를 들어, 도 48의 4810을 참조하면, 제어부(200)는 서브 영역(1020)에 날씨 오브젝트(4811)를 표시할 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010)과 서브 영역(1020)의 경계를 따라서 위로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도48의 4820과 같이, 제어부(200)는 날씨 오브젝트(4811)에 대응하는 날씨 어플리케이션 실행 화면(4812)을 메인 영역(1010)에 표시할 수 있다. 또한, 제어부(200)는 날씨 어플리케이션 실행 화면(4812)을 제어할 수 있는 UI 엘리먼트들(4813)을 서브 영역(1020)에 표시할 수 있다.
도 50은 본 개시의 또 다른 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 50을 참조하면, 사용자 단말 장치(1000)는 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되는지 판단할 수 있다(S5001).
판단 결과, 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되면(S5001-Y), 사용자 단말 장치(1000)는 외부 장치와 관련된 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다(S5003).
다음으로, 사용자 단말 장치(1000)는 서브 영역(1020)에 UI 엘리먼트를 선택하는 사용자 제스처가 입력 되는지를 판단할 수 있다(S5005).
판단 결과, 사용자 제스처가 입력 되면(S5005-Y), 사용자 단말 장치(1000)는 UI 엘리먼트와 관련된 기능을 실행할 수 있다(S5007). 예를 들어, 사용자 단말 장치(1000)는 메인 영역(1010) 또는 서브 영역(1020)에 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시할 수 있다. 또는, 사용자 단말 장치(1000)는 서브 영역(1020)에 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시할 수 있다. 또는, 사용자 단말 장치(1000)는 외부 장치의 기능을 제어할 수 있다.
도 51은 본 개시의 또 다른 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 51을 참조하면, 사용자 단말 장치(1000)는 사용자 단말 장치(1000)로부터 사용자 단말 장치(1000)와 관련된 액세서리 장치가 분리되었는지를 판단할 수 있다(S5101). 액세서리 장치는, 예로, 펜이 될 수 있다.
판단 결과, 사용자 단말 장치(1000)로부터 액세서리 장치가 분리되면(S5101-Y), 사용자 단말 장치(1000)는 외부 장치와 관련된 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다(S5103).
다음으로, 사용자 단말 장치(1000)는 서브 영역(1020)에 UI 엘리먼트를 선택하는 사용자 제스처가 입력 되는지를 판단할 수 있다(S5105).
판단 결과, 사용자 제스처가 입력 되면(S5105-Y), 사용자 단말 장치(1000)는 UI 엘리먼트와 관련된 기능을 실행할 수 있다(S5107). 예를 들어, 사용자 단말 장치(1000)는 메인 영역(1010) 또는 서브 영역(1020)에 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시할 수 있다. 또는, 사용자 단말 장치(1000)는 서브 영역(1020)에 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시할 수 있다. 또는, 사용자 단말 장치(1000)는 외부 장치의 기능을 제어할 수 있다.
도 52는 본 개시의 또 다른 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 52를 참조하면, 사용자 단말 장치(1000)는 사용자 단말 장치(1000)와 통신 가능한 외부 장치가 존재하는지를 판단할 수 있다(S5201).
판단 결과, 사용자 단말 장치(1000)와 통신 가능한 외부 장치가 존재하면(S5201-Y), 사용자 단말 장치(1000)는 상기 외부 장치를 나타내는 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다(S5203).
다음으로, 사용자 단말 장치(1000)는 서브 영역(1020)에 UI 엘리먼트를 선택하는 사용자 제스처가 입력 되는지를 판단할 수 있다(S5205).
판단 결과, 사용자 제스처가 입력 되면(S5205-Y), 사용자 단말 장치(1000)는 사용자 단말 장치(1000)와 외부 장치 간에 통신 연결을 수행할 수 있다(S5207).
이 밖에도, 상술한 다양한 실시 예들에서 설명한 인터랙션들이 수행될 수 있으나, 각 실시 예들에 대한 구체적인 흐름도는 그 도시 및 설명을 생략한다.
이상과 같이 사용자 단말 장치는 다양한 인터랙션을 지원할 수 있다. 상술한 각 실시 예들은 실시 예 별로 별도로 구현될 수도 있으나, 필요에 따라 서로 조합되어 구현될 수 있음은 물론이다.
상술한 다양한 실시 예들에 따른 사용자 단말 장치의 인터랙션 방법 또는 화면 디스플레이 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 장치에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
일 예로, 메인 영역 및 상기 메인 영역의 면적보다 작은 면적을 가지는 서브 영역으로 구분되고, 메인 영역을 포함하는 면과 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린의 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받는 단계, 메인 영역 상에서 이동하는 펜 제스처를 입력받는 단계, 손가락 제스처 및 펜 제스처에 응답하여 상기 펜 제스처의 이동된 궤적에 대응하는 영역에 상기 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체(non-transitory readable medium)에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 벤디드 터치 스크린　　　　　　　　　　　　　200: 제어부
1000: 사용자 단말 장치　　　　　　　　　　　　　　1010: 메인 영역

Claims (10)

  1. 전자 장치에 있어서,
    상기 전자 장치의 전면 및 측면에 각각 대응되는 메인 디스플레이 영역 및 상기 메인 디스플레이 영역의 면적보다 작은 면적을 가지는 곡면 형태의 서브 디스플레이 영역을 포함하는 터치 스크린; 및
    제어부;를 포함하고,
    상기 제어부는,
    상기 서브 디스플레이 영역에 적어도 하나의 아이템을 포함하는 메뉴를 디스플레이하도록 상기 터치 스크린을 제어하고,
    상기 메뉴에 포함되는 제1 아이템을 선택하기 위한 제1 터치 입력을 획득하고 상기 메뉴에 포함되는 제2 아이템을 선택하기 위한 제2 터치 입력을 획득하고,
    상기 메인 디스플레이 상에서 이동하는 제3 터치 입력을 획득하고,
    상기 제1 터치 입력에 의하여 선택된 상기 제1 아이템에 대응되는 기능 및 상기 제2 터치 입력에 의하여 선택된 제2 아이템에 대응되는 기능을 적용하여 상기 제3 터치 입력에 의하여 이동된 궤적에 대응되는 영역을 시각적으로 변형하여 디스플레이하는
    전자 장치.
  2. 제1항에 있어서,
    상기 제1 터치 입력 및 상기 제2 터치 입력은 손가락 터치 입력이고, 상기 제3 터치 입력은 펜 터치 입력인
    전자 장치.
  3. 제2 항에 있어서,
    상기 제어부는,
    상기 터치 스크린의 상기 서브 디스플레이 영역 아래에 실장된 터치 패널을 통하여 상기 손가락 터치 입력을 획득하고,
    상기 터치 스크린의 상기 메인 디스플레이 영역 아래에 실장된 펜 인식 패널을 통하여 상기 펜 터치 입력을 획득하는
    전자 장치.
  4. 제2 항에 있어서,
    상기 제어부는
    상기 손가락 터치 입력으로서 상기 제1 아이템 상에 손가락 터치가 유지되는 경우, 상기 이동된 궤적에 대응되는 영역을 시각적으로 변형하여 표시하는
    전자 장치.
  5. 제1 항에 있어서,
    상기 터치 스크린은,
    상기 전자 장치의 후면에 대응되고 상기 메인 디스플레이 영역보다 작은 면적을 가지는 서브 디스플레이 영역을 더 포함하는
    전자 장치.
  6. 전자 장치의 전면 및 측면에 각각 대응되는 메인 디스플레이 영역 및 상기 메인 디스플레이 영역의 면적보다 작은 면적을 가지는 곡면 형태의 서브 디스플레이 영역을 포함하는 터치 스크린을 포함하는 상기 전자 장치의 사용자 인터렉션 방법에 있어서,
    상기 서브 디스플레이 영역에 적어도 하나의 아이템을 포함하는 메뉴를 디스플레이하는 단계;
    상기 메뉴에 포함되는 제1 아이템을 선택하기 위한 제1 터치 입력을 획득하고 상기 메뉴에 포함되는 제2 아이템을 선택하기 위한 제2 터치 입력을 획득하는 단계;
    상기 메인 디스플레이 상에서 이동하는 제3 터치 입력을 획득하는 단계; 및
    상기 제1 터치 입력에 의하여 선택된 상기 제1 아이템에 대응되는 기능 및 상기 제2 터치 입력에 의하여 선택된 상기 제2 아이템에 대응되는 기능을 적용하여 상기 제3 터치 입력에 의하여 이동된 궤적에 대응되는 영역을 시각적으로 변형하여 디스플레이하는 단계;를 포함하는
    사용자 인터렉션 방법.
  7. 제6 항에 있어서,
    상기 제1 터치 입력 및 상기 제2 터치 입력은 손가락 터치 입력이고, 상기 제3 터치 입력은 펜 터치 입력인
    사용자 인터렉션 방법.
  8. 제7 항에 있어서,
    상기 제1 터치 입력 및 상기 제2 터치 입력을 획득하는 단계는,
    상기 터치 스크린의 상기 서브 디스플레이 영역 아래에 실장된 터치 패널을 통하여 상기 손가락 터치 입력을 획득하는 단계를 포함하고,
    상기 제3 터치 입력을 획득하는 단계는,
    상기 터치 스크린의 상기 메인 디스플레이 영역 아래에 실장된 펜 인식 패널을 통하여 상기 펜 터치 입력을 획득하는 단계를 포함하는
    사용자 인터렉션 방법.
  9. 제7 항에 있어서,
    상기 이동된 궤적에 대응되는 영역을 시각적으로 변형하여 디스플레이하는 단계는,
    상기 손가락 터치 입력으로서 상기 제1 아이템 상에 손가락 터치가 유지되는 경우, 상기 이동된 궤적에 대응되는 영역을 시각적으로 변형하여 표시하는 단계를 포함하는
    사용자 인터렉션 방법.
  10. 제6 항에 있어서,
    상기 터치 스크린은,
    상기 전자 장치의 후면에 대응되고 상기 메인 디스플레이 영역보다 작은 면적을 가지는 서브 디스플레이 영역을 더 포함하는
    사용자 인터렉션 방법.
KR1020200046882A 2013-12-30 2020-04-17 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 KR102230708B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130167120 2013-12-30
KR20130167120 2013-12-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150050717A Division KR102104053B1 (ko) 2013-12-30 2015-04-10 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200043356A KR20200043356A (ko) 2020-04-27
KR102230708B1 true KR102230708B1 (ko) 2021-03-22

Family

ID=53792215

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020140116506A KR101588294B1 (ko) 2013-12-30 2014-09-02 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
KR1020150050717A KR102104053B1 (ko) 2013-12-30 2015-04-10 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
KR1020200046882A KR102230708B1 (ko) 2013-12-30 2020-04-17 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020140116506A KR101588294B1 (ko) 2013-12-30 2014-09-02 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
KR1020150050717A KR102104053B1 (ko) 2013-12-30 2015-04-10 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법

Country Status (4)

Country Link
US (1) US10452333B2 (ko)
EP (2) EP3091426B1 (ko)
KR (3) KR101588294B1 (ko)
CN (1) CN105683895B (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102309298B1 (ko) * 2014-12-29 2021-10-06 엘지전자 주식회사 서브영역에 디스플레이된 이미지를 통해 어플리케이션의 기능을 제어하는 벤디드 디스플레이 디바이스 및 그 제어 방법
US10102824B2 (en) * 2015-05-19 2018-10-16 Microsoft Technology Licensing, Llc Gesture for task transfer
USD803203S1 (en) * 2015-07-15 2017-11-21 Samsung Electronics Co., Ltd. Electronic device
USD803806S1 (en) * 2015-07-15 2017-11-28 Samsung Electronics Co., Ltd. Electronic device
KR20170021159A (ko) 2015-08-17 2017-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102427833B1 (ko) 2015-11-30 2022-08-02 삼성전자주식회사 사용자 단말장치 및 디스플레이 방법
CN106557123A (zh) * 2016-11-30 2017-04-05 努比亚技术有限公司 移动终端及控制其虚拟按键显示的装置和方法
EP3333688B1 (en) * 2016-12-08 2020-09-02 LG Electronics Inc. Mobile terminal and method for controlling the same
USD862299S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD862302S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD862301S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD862298S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD862295S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD886815S1 (en) * 2017-05-04 2020-06-09 Lg Electronics Inc. Television receiver
USD862304S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD863121S1 (en) * 2017-05-04 2019-10-15 Lg Electronics Inc. Television receiver
USD862300S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD862296S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD886814S1 (en) * 2017-05-04 2020-06-09 Lg Electronics Inc. Television receiver
USD862303S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD862297S1 (en) * 2017-05-04 2019-10-08 Lg Electronics Inc. Television receiver
USD863122S1 (en) * 2017-05-04 2019-10-15 Lg Electronics Inc. Television receiver
USD848993S1 (en) * 2017-06-01 2019-05-21 Samsung Electronics Co., Ltd. Mobile phone
KR20180134668A (ko) 2017-06-09 2018-12-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN107577414A (zh) * 2017-09-07 2018-01-12 广东欧珀移动通信有限公司 分屏显示的方法和移动终端
WO2019047147A1 (zh) * 2017-09-08 2019-03-14 广东欧珀移动通信有限公司 图标移动方法及装置
CN108322595A (zh) * 2017-12-22 2018-07-24 努比亚技术有限公司 一种控制方法、终端及计算机可读存储介质
CN111381746B (zh) 2018-12-27 2021-07-23 北京小米移动软件有限公司 参数调节方法、装置及存储介质
JP1646030S (ko) * 2019-04-10 2021-11-08
JP7300304B2 (ja) 2019-04-22 2023-06-29 株式会社ワコム ペン状態検出回路及びペン状態検出方法
CN112130741A (zh) * 2019-06-24 2020-12-25 中兴通讯股份有限公司 一种移动终端的控制方法及移动终端
CN112130740B (zh) * 2019-06-24 2023-08-11 中兴通讯股份有限公司 一种屏幕显示方法及装置
CN115297199A (zh) * 2019-08-30 2022-11-04 华为技术有限公司 一种具有折叠屏的设备的触控方法与折叠屏设备
CN110825301A (zh) * 2019-09-25 2020-02-21 华为技术有限公司 一种界面切换方法及电子设备
US11513604B2 (en) 2020-06-17 2022-11-29 Motorola Mobility Llc Selectable response options displayed based-on device grip position
US11595511B2 (en) 2020-07-30 2023-02-28 Motorola Mobility Llc Adaptive grip suppression within curved display edges
US11543860B2 (en) 2020-07-30 2023-01-03 Motorola Mobility Llc Adaptive grip suppression tuning
KR20220031455A (ko) * 2020-09-04 2022-03-11 삼성전자주식회사 프리뷰 드로잉 방법 및 이를 위한 전자 장치
US11287972B1 (en) * 2020-09-18 2022-03-29 Motorola Mobility Llc Selectable element selection within a curved display edge
US11508276B2 (en) 2020-09-18 2022-11-22 Motorola Mobility Llc Adaptive user interface display size for curved display edges
KR102465051B1 (ko) 2020-10-23 2022-11-09 동의대학교 산학협력단 시각화 인터랙션에 기반한 서비스를 제공하는 장치 및 그 서비스 제공 방법
KR102318111B1 (ko) * 2020-11-17 2021-10-27 주식회사 일루니 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치
US11726734B2 (en) 2022-01-13 2023-08-15 Motorola Mobility Llc Configuring an external presentation device based on an impairment of a user
CN115268757A (zh) * 2022-07-19 2022-11-01 武汉乐庭软件技术有限公司 一种基于触摸屏的画面系统上的手势交互识别系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100548364B1 (ko) 2003-07-01 2006-02-02 엘지전자 주식회사 이어폰 잭에 플러그 인 되는 디바이스의 식별방법
US8314161B2 (en) * 2005-08-22 2012-11-20 Owens Corning Intellectual Capital, Llc Deformable, rigid polystyrene foam board
US7912508B2 (en) * 2006-12-15 2011-03-22 Motorola Mobility, Inc. Wireless communication device with additional input or output device
KR101469778B1 (ko) * 2008-07-01 2014-12-05 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
JP2010250554A (ja) 2009-04-15 2010-11-04 Sony Corp メニュー表示装置、メニュー表示方法およびプログラム
KR20110083386A (ko) 2010-01-14 2011-07-20 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101660739B1 (ko) * 2010-04-08 2016-09-28 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101680344B1 (ko) * 2010-05-06 2016-11-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20130007811A (ko) * 2011-07-11 2013-01-21 삼성전자주식회사 외부 장치와 연결된 휴대 단말기의 화면 표시 방법 및 장치
US8723824B2 (en) * 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays
KR102148717B1 (ko) * 2011-12-05 2020-08-28 삼성전자주식회사 휴대용 단말기의 디스플레이 제어 방법 및 장치
US9250768B2 (en) * 2012-02-13 2016-02-02 Samsung Electronics Co., Ltd. Tablet having user interface
KR101661526B1 (ko) 2012-04-08 2016-10-04 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 ｕｉ 방법
KR101515623B1 (ko) * 2012-05-14 2015-04-28 삼성전자주식회사 벤디드 디스플레이를 갖는 휴대단말의 기능 운용 방법 및 장치
US9152131B2 (en) * 2013-03-14 2015-10-06 Google Technology Holdings LLC Snooze alarm system for a wearable device
KR101584590B1 (ko) * 2013-07-11 2016-01-13 삼성전자주식회사 어플리케이션을 표시하는 사용자 단말 장치 및 그 방법
US9674697B2 (en) * 2013-07-24 2017-06-06 Htc Corporation Method for operating mobile device, mobile device using the same, wearable device using the same, and computer readable medium

Also Published As

Publication number Publication date
KR20150080454A (ko) 2015-07-09
KR102104053B1 (ko) 2020-04-27
EP3091426A4 (en) 2017-07-05
EP3091426A1 (en) 2016-11-09
EP3091426B1 (en) 2020-03-25
CN105683895A (zh) 2016-06-15
CN105683895B (zh) 2020-04-10
US10452333B2 (en) 2019-10-22
KR20200043356A (ko) 2020-04-27
EP3686723B1 (en) 2023-03-22
EP3686723A1 (en) 2020-07-29
US20160313966A1 (en) 2016-10-27
KR20150080402A (ko) 2015-07-09
KR101588294B1 (ko) 2016-01-28

Similar Documents

Publication Publication Date Title
KR102230708B1 (ko) 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
KR102423826B1 (ko) 사용자 단말 장치 및 그의 제어 방법
KR102420043B1 (ko) 디스플레이 장치 및 디스플레이 방법
KR102427833B1 (ko) 사용자 단말장치 및 디스플레이 방법
KR101580300B1 (ko) 사용자 단말 장치 및 그의 제어 방법
US10048824B2 (en) User terminal device and display method thereof
KR102203885B1 (ko) 사용자 단말 장치 및 그 제어 방법
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
KR102304178B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
US10579248B2 (en) Method and device for displaying image by using scroll bar
KR102137731B1 (ko) 전자 장치, 전자 장치의 알림 정보 표시 방법
US20150253968A1 (en) Portable terminal and method of enlarging and displaying contents
KR102343361B1 (ko) 전자 기기 및 이의 웹 페이지 디스플레이 방법
KR20150026132A (ko) 전자 장치를 이용하여 오브젝트를 공유하는 방법 및 장치
CN107710137B (zh) 用于显示键区的电子设备及其键区显示方法
US10691333B2 (en) Method and apparatus for inputting character
KR20160001610A (ko) 투과 영역을 포함하는 커버를 가지는 휴대 단말기의 디스플레이 방법 및 장치
KR102180404B1 (ko) 사용자 단말 장치 및 그 제어 방법
KR20140028383A (ko) 사용자 단말 장치 및 그 제어 방법
KR20160055552A (ko) 메모 표시 방법 및 이를 위한 디바이스
KR102475336B1 (ko) 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102157078B1 (ko) 휴대 단말기에서 전자문서 작성 방법 및 장치
CN111580706B (zh) 提供用户交互的电子设备及其方法
KR102305314B1 (ko) 사용자 단말 장치 및 그의 제어 방법
KR102269075B1 (ko) 디스플레이 장치 및 그 제어방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant