WO2015102293A1 - 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 - Google Patents

사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 Download PDF

Info

Publication number
WO2015102293A1
WO2015102293A1 PCT/KR2014/012785 KR2014012785W WO2015102293A1 WO 2015102293 A1 WO2015102293 A1 WO 2015102293A1 KR 2014012785 W KR2014012785 W KR 2014012785W WO 2015102293 A1 WO2015102293 A1 WO 2015102293A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal device
user terminal
area
gesture
user
Prior art date
Application number
PCT/KR2014/012785
Other languages
English (en)
French (fr)
Inventor
정희석
곽세진
김현진
조시연
윤여준
이문주
쿠마르니푼
서준규
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140116506A external-priority patent/KR101588294B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201480059965.6A priority Critical patent/CN105683895B/zh
Priority to CN202010185534.1A priority patent/CN111580706B/zh
Priority to EP20162969.8A priority patent/EP3686723B1/en
Priority to EP14876874.0A priority patent/EP3091426B1/en
Publication of WO2015102293A1 publication Critical patent/WO2015102293A1/ko
Priority to US15/199,044 priority patent/US10452333B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G06F1/165—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display the additional display being small, e.g. for presenting status information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1634—Integrated protective display lid, e.g. for touch-sensitive display in handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/23—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • H04M1/236—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof including keys on side or rear faces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit

Definitions

  • the present disclosure relates to a user terminal device for providing user interaction and a method thereof, and more particularly, to a user terminal device for providing user interaction using a bent touch screen divided into a main area and at least one sub area, and a method thereof. It's about how.
  • the user terminal device may provide various contents such as multimedia content or an application screen according to a user's request.
  • the user may select a function to be used by the user by using a button or a touch screen provided in the user terminal device.
  • the user terminal device may selectively execute a program according to the interaction with the user and display the execution result.
  • the present disclosure is in accordance with the above-described needs, and an object of the present disclosure is to provide a user terminal apparatus and a method capable of supporting various user interactions using a bent touch screen divided into a main region and at least one sub-region. Is in.
  • a user interaction method of a user terminal device including a bent touch screen having a fixed surface at an obtuse angle comprising: receiving a finger gesture for selecting a first object included in a menu displayed on the sub area; Receiving a pen gesture moving on a main area, and visually transforming and displaying a region corresponding to the trajectory moved by the pen gesture by applying a function corresponding to the first object selected by the finger gesture It may include.
  • the receiving of the finger gesture may include inputting through a touch panel mounted under a sub area of the bent touch screen, and the receiving of the pen gesture may be performed under a main area of the bent touch screen.
  • the method may include receiving an input through a pen recognition panel mounted at.
  • the visually deforming and displaying the region corresponding to the moved trajectory may include visually deforming and displaying the region corresponding to the moved trajectory when the finger touch is maintained on the first object as the finger gesture. It may include a step.
  • Visually modifying and displaying an area corresponding to the moved trajectory may include a function corresponding to a second object different from the first object included in the menu when the finger touch is released on the first object.
  • the method may include visually modifying and displaying an area corresponding to the moved trajectory.
  • Visually deforming and displaying an area corresponding to the moved trajectory may include: when the finger touch is released on the first object, changing the visually deformed area corresponding to the moved trajectory before the deformation. And returning to form.
  • the receiving of the finger gesture for selecting the first object may further include detecting a palm of the user performing the finger gesture on the back of the user terminal device.
  • the area corresponding to the moved trajectory is an area in which the moved trajectory is located on the main area, an area within the closed curve as the moved trajectory generates a closed curve, or an area near the moved trajectory. You can do
  • the menu is a menu for editing or drawing an image on the main area, and the menu may include at least one of a pencil object, a pen thickness object, a brush object, an eraser object, a straight object, and a curved object.
  • the menu is a menu for managing an e-book page displayed on the main area, wherein the menu includes at least one of a bold object, an italic object, an underbar object, a strikethrough object, a font size change object, a highlight object, a search object, and a magnifier object. It can contain one object.
  • Receiving a finger gesture for selecting a first object included in a menu displayed on the sub area may include receiving a multi-finger gesture for selecting a first object and a second object included in the menu displayed on the sub area. And visually modifying and displaying the region corresponding to the moved trajectory, in response to the multi-finger gesture, the first object and the second object in the region corresponding to the moved trajectory of the pen gesture.
  • the method may include visually modifying and displaying an area corresponding to the moved trajectory.
  • the visually transforming and displaying the region corresponding to the moved trajectory may include executing an application capable of processing the displayed image and displaying it on the main region as a result of applying a function corresponding to the first object. It may further comprise a step.
  • a user terminal device including a bent touch screen having a fixed surface at an obtuse angle may receive a finger gesture for selecting a first object from a menu displayed on the sub-area, and perform a pen gesture for moving on the main area.
  • the bent touch screen receives the finger gesture through a touch panel mounted under the sub area of the bent touch screen, and the pen gesture is a pen recognition mounted under the main area of the bent touch screen. Can be input through the panel.
  • the controller may visually transform and display an area corresponding to the moved trajectory.
  • the controller applies a function corresponding to the second object different from the first object included in the menu to visually display an area corresponding to the moved trajectory. It can be modified and displayed.
  • the controller may return an area corresponding to the visually transformed and displayed trajectory to the shape before the deformation.
  • the region corresponding to the moved trajectory may be a region in which the moved trajectory is located on the main region, an area within the closed curve as the moved trajectory generates a closed curve, or an area near the moved trajectory. .
  • the bent touch screen receives a multi-finger gesture for selecting a first object and a second object included in a menu displayed on the sub-area, and the controller responds to the multi-finger gesture to determine the pen gesture.
  • the area corresponding to the moved trajectory may be visually modified and displayed.
  • the controller may execute an application capable of processing the displayed image and display the same on the main area.
  • a main area and a sub area having an area smaller than the area of the main area are divided into a surface including the main area and the sub area.
  • a recording medium on which a program for performing a user interaction of a user terminal device having a bent touch screen fixed to an obtuse angle is recorded, the surface including the main area and the surface including the sub area.
  • a user terminal device having a bent touch screen including a main area and a sub area respectively corresponding to the front and side surfaces of the user terminal device.
  • the user interaction method of when the external device located outside the user terminal device and the user terminal device is connected to communicate with each other, displaying a UI element associated with the external device in the sub-area, ⁇ the UI element And receiving a user gesture for selecting, and executing a function related to the UI element in response to the received user gesture.
  • the executing of the function related to the UI element may include displaying an execution screen of an application corresponding to the UI element in the main area or a sub area.
  • the executing of the function related to the UI element may include displaying at least one UI element capable of controlling the external device in the sub area.
  • Executing a function related to the UI element may include controlling a function of the external device.
  • a user terminal device having a bent touch screen including a main area and a sub area respectively corresponding to the front and side surfaces of the user terminal device.
  • the executing of the function related to the UI element may include displaying an execution screen of an application corresponding to the UI element in the main area or a sub area.
  • a user terminal device having a bent touch screen including a main area and a sub area respectively corresponding to the front and side surfaces of the user terminal device.
  • a method of user interaction comprising: displaying a UI element representing an external device that can communicate with the user terminal device in the sub area, receiving a user gesture for selecting the UI element in the sub area, and receiving the input And in response to a user gesture, performing a communication connection between the user terminal device and the external device.
  • a user terminal device having a bent touch screen including a main area and a sub area respectively corresponding to the front and side surfaces of the user terminal device.
  • the UI device related to the external device is displayed in the sub-area when the bent touch screen receiving the user gesture and the external device located outside the user terminal device and the user terminal device are communicatively connected to each other.
  • the controller may include a controller configured to execute a function related to the UI element in response to a user gesture received through the bent touch screen for selecting the UI element.
  • the controller may be configured to display an execution screen of an application corresponding to the UI element in the main area or the sub area when executing a function related to the UI element.
  • the controller may be further configured to display at least one UI element capable of controlling the external device in the sub area when executing a function related to the UI element.
  • the controller When the controller executes a function related to the UI element, the controller may control a function of the external device.
  • a user terminal device having a bent touch screen including a main area and a sub area respectively corresponding to the front and side surfaces of the user terminal device.
  • the UI device associated with the accessory device is displayed in the sub area when the bent touch screen receiving the user gesture and the accessory device related to the user terminal device are separated from the user terminal device.
  • it may include a control unit for executing a function associated with the UI element.
  • the controller may be configured to display an execution screen of an application corresponding to the UI element in the main area or the sub area when executing a function related to the UI element.
  • a user may control a function of a user terminal device by using a bent touch screen. Accordingly, user convenience and satisfaction may be improved.
  • FIG. 1 is a block diagram illustrating a configuration of a user terminal device according to an exemplary embodiment.
  • 2 to 10 are views showing various configuration examples of the bent touch screen
  • FIG. 11 is a block diagram illustrating a configuration of a user terminal device according to various embodiments of the present disclosure.
  • FIG. 12 is a diagram illustrating an example of a software configuration of a user terminal device
  • 13 to 23 illustrate a process of performing a user interaction in an image editing application according to an embodiment of the present disclosure
  • 24 to 26 are views illustrating a process of performing a user interaction in an e-book application according to an embodiment of the present disclosure
  • 27 and 28 are views illustrating a process of performing a user interaction in a web application according to an embodiment of the present disclosure
  • 29 and 30 are diagrams illustrating a process of performing a user interaction in a memo application according to one embodiment of the present disclosure
  • 31 and 32 are views illustrating a process of performing a user interaction in a memo application according to an embodiment of the present disclosure
  • 33 and 34 are flowcharts illustrating an interaction method of a user terminal device according to various embodiments of the present disclosure
  • 35 to 44 are diagrams illustrating a user interaction connected to an external device according to an embodiment of the present disclosure.
  • 45 and 46 are diagrams illustrating user interaction with a panel displayed in a sub area according to an embodiment of the present disclosure
  • 47 and 48 are diagrams illustrating user interaction based on a boundary between a main area and a sub area according to an embodiment of the present disclosure
  • FIG. 49 is a view illustrating various configuration examples of a bent touch screen having a cover
  • 50 to 52 are flowcharts illustrating an interaction method of a user terminal device according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram illustrating an example of a basic configuration of a user terminal device for describing various embodiments of the present disclosure.
  • the user terminal device 1000 of FIG. 1 may be implemented as various types of devices such as a TV, a PC, a laptop PC, a mobile phone, a tablet PC, a PDA, an MP3 player, a kiosk, an electronic picture frame, a table display device, and the like.
  • a portable type of device such as a mobile phone, a tablet PC, a PDA, an MP3 player, a laptop PC, etc.
  • it may be referred to as a mobile device, but will be collectively described as a user terminal device.
  • the user terminal device 1000 includes a bent touch screen 100 and a controller 200.
  • the bent touch screen 100 is divided into a main area and at least one sub area.
  • the main region and the sub region may be defined in various meanings.
  • a relatively large area of the two areas may be referred to as a main area, and a small area may be defined as a sub area.
  • an area located on the same surface as the surface on which the home button or the front speaker for returning to the home screen is disposed may be called a main area, and an area located on the side surface or the rear surface may be defined as a sub area.
  • the main area may be defined as an area capable of directly controlling UI elements in the area
  • the sub area may be defined as an area that can control UI elements in the main area.
  • the area of the sub area may be smaller than the main area.
  • the at least one sub-region may form a different surface from the main region.
  • the at least one sub area may include a right side surface, among the surfaces forming the appearance of the user terminal device 1000. It may be arranged on different surfaces such as a left side surface and a back surface.
  • the surface including the main region and the surface including the at least one sub region may be fixed to form an obtuse angle.
  • the shape, location, and number of sub-regions may be variously implemented according to embodiments. This will be described in detail with reference to the accompanying drawings.
  • the controller 200 may individually control the main area and the at least one sub area of the bent touch screen 100. For example, different contents may be displayed in the main area and at least one sub area.
  • the type, display method, layout, etc. of content displayed in the main area and at least one sub area may be variously changed according to embodiments. This will be described in detail later.
  • FIG. 2 is a diagram illustrating an example of an external configuration of a user terminal device including a bent touch screen divided into one sub area and a main area.
  • the bent touch screen 100 includes a main area 1010 disposed on the front surface of the user terminal device 1000 and a sub area 1020 disposed on the right side of the user terminal device 1000. It can be divided into.
  • the main area 1010 and the sub area 1020 are divided based on the boundary area 1050.
  • the boundary area 1050 may alternatively be referred to as a bending line.
  • FIG. 3 is a diagram illustrating a cross-sectional configuration of the user terminal device of FIG. 2.
  • the main area 1010 and the sub area 1020 of the bent touch screen 100 are disposed on the front and side surfaces of the user terminal device 1000, respectively.
  • FIGS. 4 and 5 are diagrams illustrating examples of external appearance and cross-sectional configuration of a user terminal device including a bent touch screen divided into two sub areas and a main area.
  • the main region 1010 is disposed on the front surface, and the sub regions 1020 and 1030 are disposed on the right side and the left side, respectively.
  • the main area 1010 and each of the sub areas 1020 and 1030 are divided by the boundary areas 1050-1 and 1050-2.
  • each of the sub-regions 1020 and 1030 may be disposed at an obtuse angle with the main region 1010 to be able to view from the front direction.
  • FIG. 6 and 7 illustrate another example of a user terminal device including a bent touch screen divided into two sub-regions and a main region.
  • the two sub-regions 1020 and 1030 are disposed on both sides of the main region 1010 and may be fixed at angles that can be viewed from the right and left directions instead of the front direction. That is, according to FIG. 7, each of the sub-regions 1020 and 1030 may be bent close to 90 degrees with a surface including the main region 1010.
  • the sub region may be disposed on the opposite side of the main region 1010.
  • 8 and 9 illustrate another example of a user terminal device including a bent touch screen divided into two sub areas and a main area.
  • the bent touch screen 100 is divided into a main region 1010 formed on the front surface, a first sub region 1020 formed on the side surface, and a second sub region 1040 formed on the rear surface.
  • the second sub-region 1030 may be formed only in a partial region of the rear surface without covering the entire rear surface.
  • the control unit 200 controls the main area 1010, the first sub area 1020, and the second sub area 1040 based on the first boundary area 1050-1 and the third boundary area 1050-3. Different contents may be displayed for each area.
  • the sub-regions 1020 and 1030 are formed in a curved shape having a round shape, and the surface including the main region 1010 and the curved surface including the sub-regions 1020 and 1030 are obtuse angles ⁇ .
  • the sub-regions 1020, 1030, 1040 may also be configured in a planar form.
  • the plane including the main region 1010 and the plane including the sub regions 1020, 1030, and 1040 may be in contact with the boundary line. That is, the boundary regions 1050-1, 1050-2, and 1050-3 may have a line shape.
  • the user terminal device 1000 may have a triangular cross section.
  • the surface including the main region 1010 and the surface including the sub region 1020 are connected to each other to form an obtuse angle ⁇ at the boundary region 1050.
  • the cross-sectional configuration may be configured in various forms such as trapezoidal, pentagonal and the like.
  • bent touch screen 100 is bent in the horizontal direction with respect to the front surface of the user terminal device, it is not necessarily limited thereto. That is, the bent touch screen 100 may be bent in the vertical direction with respect to the front surface of the user terminal device 1000.
  • the bent touch screen 100 may be divided into a main area 1010 disposed on the front surface of the user terminal device 1000 and a sub area 1020 disposed on the lower surface thereof.
  • the speaker unit 390 may be disposed above the main area 1010.
  • the configuration of the user terminal device including the bent touch screen 100 and the controller 200 is illustrated.
  • the user terminal device 1000 may further include various components.
  • the user terminal device 1000 may further include a memory in which various applications are stored.
  • the controller 200 may execute an application stored in the memory according to a user gesture and display the content provided by the application in at least one of the main area and the sub area.
  • the controller 200 may control the bent touch screen 100 to display the contents provided by the application in at least one of the main area and the sub area.
  • the content may include a UI element.
  • the UI element refers to an element that can interact with a user and provide feedback such as visual, audio, and olfactory based on user input.
  • the UI element may be expressed in the form of at least one of an image, text, and a video. Alternatively, if there is an area in which feedback is possible according to a user input even if the above information is not displayed, this area may be referred to as a UI element.
  • the UI element may be, for example, an object that performs a specific function or an icon corresponding to the application as application identification information.
  • the content displayed in the main area is referred to as main content
  • the content displayed in the sub area is referred to as sub content.
  • the controller 200 may display the main content and the sub content in different layouts.
  • the controller 200 may display the main content and the sub content according to the changed application in the main area and the sub area, respectively.
  • the user terminal device 1000 may be configured in various forms.
  • the user terminal device 1000 may include a bent touch screen 100, a controller 200, a storage unit 310, a GPS chip 320, a communication unit 330, a video processor 340, and an audio processor. 350, a button 360, a microphone 370, an image capturer 380, a speaker 390, and a motion detector 400.
  • the bent touch screen 100 may be divided into a main area and at least one sub area as described above.
  • the bent touch screen 100 may be implemented as various types of displays such as a liquid crystal display (LCD), an organic light emitting diodes (OLED) display, a plasma display panel (PDP), and the like.
  • the bent touch screen 100 may also include a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, an organic TFT (OTFT), or the like.
  • the bent touch screen 100 may be implemented as a flexible display.
  • the display may be implemented as a non-flexible general display.
  • the bent touch screen 100 may be configured by connecting a plurality of displays to each other.
  • the bent touch screen 100 may include a touch panel (not shown) and a pen recognition panel (not shown).
  • the touch panel may detect a user's finger gesture input and output a touch event value corresponding to the detected touch signal.
  • the touch panel may be mounted under both the main area and the sub area of the bent touch screen 100 or may be mounted only under the sub area of the bent touch screen 100.
  • the touch panel detects a user's finger gesture input may be a capacitive type or a pressure sensitive type.
  • the electrostatic type is a method of calculating touch coordinates by sensing fine electricity generated by a user's human body.
  • the pressure-sensitive type includes two electrode plates embedded in the touch panel and calculates touch coordinates by detecting that the upper and lower plates of the touched point are in contact with each other so that current flows.
  • the pen recognition panel detects a user's pen gesture input according to the operation of the user's touch pen (eg, a stylus pen or a digitizer pen), and outputs a pen proximity event value or a pen touch event value. can do.
  • the pen recognition panel may be mounted under the main area of the bent touch screen 100.
  • the pen recognition panel may be implemented by, for example, an EMR method, and detect a touch or a proximity input according to a change in the intensity of the electromagnetic field due to the proximity or touch of the pen.
  • the pen recognition panel includes an electromagnetic induction coil sensor (not shown) having a grid structure and an electronic signal processor (not shown) that sequentially provides an AC signal having a predetermined frequency to each loop coil of the electromagnetic induction coil sensor. Can be configured.
  • the magnetic field transmitted from the loop coil generates a current based on mutual electromagnetic induction in the resonant circuit in the pen. Based on this current, an induction magnetic field is generated from the coil constituting the resonant circuit in the pen, and the pen recognition panel detects the induction magnetic field in the loop coil in a signal receiving state, so that the pen's approach position or touch position is changed. Can be detected.
  • the storage unit 310 may store various programs and data necessary for the operation of the user terminal device 1000.
  • the storage 310 may store programs, data, etc. for configuring various screens to be displayed in the main area and the sub area.
  • the controller 200 displays contents in each of the main area and the sub area of the bent touch screen 100 using the programs and data stored in the storage 310. In other words, the controller 200 may control the bent touch screen 100 to display content.
  • the controller 200 performs a control operation corresponding to the touch.
  • the controller 200 includes a RAM 210, a ROM 220, a CPU 230, a graphic processing unit (GPU) 240, and a bus 250.
  • the RAM 210, the ROM 220, the CPU 230, the graphics processing unit (GPU) 240, and the like may be connected to each other through the bus 250.
  • the CPU 230 accesses the storage 310 and performs booting using an operating system stored in the storage 310. In addition, various operations are performed using various programs, contents, and data stored in the storage unit 310.
  • the ROM 220 stores a command set for system booting.
  • the CPU 230 copies the O / S stored in the storage 310 to the RAM 210 according to the command stored in the ROM 220 and executes the O / S.
  • Boot up When the booting is completed, the CPU 230 copies various programs stored in the storage 310 to the RAM 210 and executes the programs copied to the RAM 210 to perform various operations.
  • the GPU 240 displays a UI screen in an activated area among a main area and a sub area.
  • the GPU 240 may generate a screen including various objects such as an icon, an image, and a text using a calculator (not shown) and a renderer (not shown).
  • the calculator calculates attribute values such as coordinates, shapes, sizes, and colors for displaying the objects according to the layout of the screen.
  • the renderer generates screens of various layouts including objects based on the attribute values calculated by the calculator.
  • the screen generated by the renderer is provided to the bent touch screen 100 and displayed on the main area and the sub area, respectively.
  • the GPS chip 320 is a component for receiving a GPS signal from a GPS satellite and calculating a current position of the user terminal device 1000.
  • the controller 200 may calculate the user location using the GPS chip 320 when using the navigation program or when the current location of the user is required.
  • the communication unit 330 is configured to communicate with various types of external devices according to various types of communication methods.
  • the communication unit 330 includes a Wi-Fi chip 331, a Bluetooth chip 332, a wireless communication chip 333, an NFC chip 334, and the like.
  • the control unit 200 communicates with various external devices using the communication unit 330.
  • the Wi-Fi chip 331 and the Bluetooth chip 332 communicate with each other by WiFi and Bluetooth.
  • various connection information such as SSID and session key may be transmitted and received first, and then various communication information may be transmitted and received using the same.
  • the wireless communication chip 333 refers to a chip that performs communication according to various communication standards such as IEEE, zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like.
  • the NFC chip 334 refers to a chip operating in a near field communication (NFC) scheme using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, 2.45 GHz, and the like.
  • NFC near field communication
  • the video processor 340 is a component for processing video data included in content received through the communication unit 330 or content stored in the storage 310.
  • the video processor 340 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on the video data.
  • the audio processor 350 is a component for processing audio data included in the content received through the communication unit 330 or the content stored in the storage 310.
  • the audio processor 350 may perform various processing such as decoding, amplification, noise filtering, and the like on the audio data.
  • the controller 200 may drive the video processor 340 and the audio processor 350 to play the corresponding content.
  • the bent touch screen 100 may display an image frame generated by the video processor 340 in at least one of a main area and a sub area.
  • the speaker unit 390 outputs audio data generated by the audio processor 350.
  • the button 360 may be various types of buttons such as a mechanical button, a touch pad, a wheel, and the like formed in an arbitrary area such as a front part, a side part, a back part, etc. of the main body of the user terminal device 1000.
  • the microphone unit 370 is configured to receive a user voice or other sound and convert the same into audio data.
  • the controller 200 may use the user's voice input through the microphone unit 370 in a call process or convert the user voice into audio data and store the audio in the storage unit 310.
  • the imaging unit 380 is a component for capturing a still image or a moving image under the control of a user.
  • the imaging unit 380 may be implemented in plurality, such as a front camera and a rear camera. As described above, the imaging unit 380 may be used as a means for acquiring an image of the user in an embodiment for tracking the gaze of the user.
  • the controller 200 may perform a control operation according to a user voice input through the microphone unit 370 or a user motion recognized by the imaging unit 380. It may be. That is, the user terminal device 1000 may operate in a motion control mode or a voice control mode. When operating in the motion control mode, the controller 200 activates the imaging unit 380 to photograph the user, tracks the user's motion change, and performs a control operation corresponding thereto. When operating in the voice control mode, the controller 200 may operate in a voice recognition mode that analyzes a user voice input through the microphone unit 370 and performs a control operation according to the analyzed user voice.
  • a voice recognition technique or a motion recognition technique may be used in the above-described various embodiments. For example, when a user takes a motion as if selecting an object displayed on a home screen or pronounces a voice command corresponding to the object, it may be determined that the object is selected and a control operation matched to the object may be performed. .
  • the motion detector 400 is a component for detecting body movement of the user terminal device 1000. That is, the user terminal device 1000 may be rotated or tilted in various directions.
  • the motion detector 400 may detect movement characteristics such as a rotation direction, an angle, and a tilt using at least one of various sensors such as a geomagnetic sensor, a gyro sensor, an acceleration sensor, and the like.
  • various external inputs for connecting to a USB port through which a USB connector may be connected in the user terminal device 1000, or various external terminals such as a headset, a mouse, and a LAN may be used.
  • Ports, DMB chips for receiving and processing Digital Multimedia Broadcasting (DMB) signals, and various sensors may be further included.
  • DMB Digital Multimedia Broadcasting
  • the storage unit 310 may store software including an OS 1210, a kernel 1220, middleware 1230, an application 1240, and the like.
  • An operating system (OS) 1210 performs a function of controlling and managing overall operations of hardware. That is, the OS 1210 is a layer that performs basic functions such as hardware management, memory, and security.
  • the kernel 1220 serves as a path for transmitting various signals including the touch signal sensed by the bent touch screen 100 to the middleware 1220.
  • the middleware 1220 includes various software modules for controlling the operation of the user terminal device 1000.
  • the middleware 1230 includes an X11 module 1230-1, an APP manager 1230-2, a connection manager 1230-3, a security module 1230-4, a system manager 1230-5, and the like.
  • the multimedia framework 1230-6, the UI framework 1230-7, the window manager 1230-8, and the handwriting recognition module 1230-9 are included.
  • the X11 module 1230-1 is a module that receives various event signals from various hardware included in the user terminal device 1000.
  • the event may be variously set, such as an event in which a user gesture is detected, an event in which a system alarm occurs, an event in which a specific program is executed or terminated, and the like.
  • the APP manager 1230-2 is a module that manages execution states of various applications 1240 installed in the storage 310. When the application execution event is detected from the X11 module 1230-1, the APP manager 1230-2 calls and executes an application corresponding to the event.
  • the connection manager 1230-3 is a module for supporting a wired or wireless network connection.
  • the connection manager 1230-3 may include various detailed modules such as a DNET module and a UPnP module.
  • the security module 1230-4 is a module supporting certification, request permission, secure storage, and the like for hardware.
  • the system manager 1230-5 monitors the state of each component in the user terminal device 1000, and provides the monitoring result to other modules. For example, when a battery level is low, an error occurs, or a communication connection is broken, the system manager 1230-5 may monitor the monitoring result in the main UI framework 1230-7 or the subUI frame. It may be provided to the walk 1230-9 to output a notification message or a notification sound.
  • the multimedia framework 1230-6 is a module for playing multimedia content stored in the user terminal device 1000 or provided from an external source.
  • the multimedia framework 1230-6 may include a player module, a camcorder module, a sound processing module, and the like. Accordingly, an operation of reproducing and reproducing a screen and sound by reproducing various multimedia contents may be performed.
  • the main UI framework 1230-7 is a module for providing various UIs to be displayed in the main area of the bent touch screen 100, and the sub UI framework 1230-9 displays various UIs to be displayed in the sub area. Module to provide.
  • the main UI framework 1230-7 and the sub UI framework 1230-9 include an image compositor module constituting various objects, a coordinate synthesizer for calculating coordinates at which the object is to be displayed, and coordinates for calculating the configured object.
  • a 2D / 3D UI toolkit that provides a tool for constructing a UI in 2D or 3D form, and a rendering module for rendering.
  • the window manager 1230-8 may detect a touch event or other input event using a user's body or a pen. When the event is detected, the window manager 1230-8 transmits an event signal to the main UI framework 1230-7 or the sub UI framework 1230-9 to perform an operation corresponding to the event.
  • a pitch module, a roll angle, a yaw angle, etc. may be adjusted based on a writing module for drawing a line according to the drag trajectory or a sensor value detected by the motion detector 400.
  • Various program modules, such as an angle calculation module for calculating, may be stored.
  • the application module 1240 includes applications 1240-1 to 1240-n to support various functions.
  • it may include a program module for providing various services such as a navigation program module, a game module, an e-book module, a calendar module, an alarm management module, and the like.
  • These applications may be installed by default, or may be arbitrarily installed and used by a user during use.
  • the CPU 230 may execute an application corresponding to the selected object by using the application module 1240.
  • the storage unit 310 includes a sensing module for analyzing signals sensed by various sensors, a messaging module such as a messenger program, a short message service (SMS) & multimedia message service (MMS) program, an email program, and telephone information.
  • a messaging module such as a messenger program, a short message service (SMS) & multimedia message service (MMS) program, an email program, and telephone information.
  • SMS short message service
  • MMS multimedia message service
  • Various programs may be additionally provided, such as a Call Info Aggregator program module, a VoIP module, a web browser module, and the like.
  • the user terminal device 1000 may be implemented as various types of devices such as a mobile phone, a tablet PC, a laptop PC, a PDA, an MP3 player, an electronic picture frame device, a TV, a PC, a kiosk, and the like. Therefore, the configuration described with reference to FIGS. 11 and 12 may be variously modified according to the type of the user terminal device 1000.
  • the user terminal device 1000 may be implemented in various forms and configurations.
  • the controller 200 of the user terminal device 1000 may support various user interactions according to embodiments.
  • FIG. 13 is a diagram illustrating a process of performing a user interaction in an image editing application according to an exemplary embodiment.
  • the controller 200 displays an image 1311 or a blank screen to be edited in the main area 1010, and edits an image or displays an image on the blank screen in the sub area 1020.
  • the menu 1312 for drawing can be displayed.
  • the menu 1312 includes a pencil object 1312-1 for selecting a pencil as a pen type, a pen thickness object 1312-2 for selecting a pen thickness, a brush object 1312-3 for selecting a brush as a pen type, It may include at least one of an eraser object 1312-4 for deleting an image on the main area 1010.
  • the pencil object 1312-1 may be in a selected state in the sub region 1020.
  • the pencil object 1312-1 may be selected by default when the image editing application is executed.
  • the bent touch screen 100 may receive a pen gesture 1322 moving on the main area 1010.
  • the bent touch screen 100 may move a touch point on the main area 1010, move it, and receive a pen gesture 1322 for releasing the touch at a point different from the point. .
  • the controller 200 may visually transform and display the region 1321 corresponding to the moved trajectory in response to the input pen gesture 1322. For example, as a result of the application of the function corresponding to the pencil object 1312-1, the controller 200 may display a shape drawn in pencil in the region 1321 corresponding to the moved trajectory.
  • FIG. 14 is a diagram illustrating a process of performing a user interaction in an image editing application according to another exemplary embodiment.
  • the controller 200 may display an image 1311 to be edited in the main area 1010, and display a menu 1312 for editing an image in the sub area 1020.
  • the bent touch screen 100 may receive a user's finger gesture 1411 (eg, a finger touch gesture) for selecting the brush object 1312-3 included in the menu 1312.
  • the palm of the user may contact the back of the user terminal device 1000, and the user terminal device 1000 may detect the palm of the user performing a finger gesture on the back of the user terminal device 1000.
  • the bent touch screen 100 may receive a pen gesture 1422 moving on the main area 1010.
  • the controller 200 may visually transform and display the region 1421 corresponding to the moved trajectory in response to the input pen gesture 1422. For example, as a result of applying a function corresponding to the brush object 1312-3, the controller 200 may display a shape drawn with a brush in the region 1421 corresponding to the moved trajectory.
  • 15A and 15B illustrate a process of performing a user interaction in an image editing application according to another exemplary embodiment of the present disclosure.
  • the controller 200 may display an image 1311 to be edited in the main area 1010, and display a menu 1312 for editing an image in the sub area 1020.
  • the bent touch screen 100 may receive a user's finger gesture 1511 (eg, a finger touch gesture) for selecting the brush object 1312-3 included in the menu 1312.
  • the bent touch screen 100 may receive a pen gesture 1522 moving on the main area 1010.
  • the user may continuously keep a finger gesture 1511 (eg, a finger touch gesture) on the brush object 1312-3 included in the sub area 1020.
  • the controller 200 may visually transform and display the area 1521 corresponding to the moved trajectory in response to the pen gesture 1522 received while the finger touch gesture is maintained. For example, as a result of applying a function corresponding to the brush object 1312-3, the controller 200 may display a shape drawn with a brush in the area 1521 corresponding to the moved trajectory.
  • the bent touch screen 100 may release a finger gesture 1511 (eg, a finger touch gesture) on a brush object 1312-3 included in the sub area 1020.
  • 1153 eg, a touch release gesture
  • the controller 200 may automatically select the pencil object 1312-1 included in the menu 1312.
  • the bent touch screen 100 may continuously receive a pen gesture 1542 moving on the main area 1010.
  • the controller 200 is a result of applying a function corresponding to the pencil object 1312-1 so that a pencil drawn shape appears in an area 1541 corresponding to the moved trajectory. I can display it.
  • 16 is a diagram illustrating a process of performing a user interaction in an image editing application according to another embodiment of the present disclosure.
  • the controller 200 may display an image 1311 to be edited in the main area 1010, and display a menu 1312 for editing an image in the sub area 1020.
  • the bent touch screen 100 may receive a user's finger gesture 1611 (eg, a finger touch gesture) selecting the eraser object 1312-4 included in the menu 1312.
  • a pen gesture 1622 moving on the main area 1010 may be input.
  • the controller 200 may visually transform and display the area 1621 corresponding to the moved trajectory in response to the input pen gesture 1322. For example, as a result of applying the function corresponding to the eraser object 1312-4, the controller 200 erases an image displayed in the area 1621 corresponding to the moved trajectory, or deletes the image from the color of the desktop. The same modifications can be made.
  • 17 is a diagram illustrating a process of performing a user interaction in an image editing application according to another embodiment of the present disclosure.
  • the controller 200 may display a blank screen 1711 without an image in the main area 100, and display a menu 1712 for drawing an image in the sub area 1020.
  • the menu 1712 includes a practice object 1712-1 for drawing a virtual image, a straight line object 1712-2 for drawing a straight line, a rectangle object for drawing a rectangle 1712-3, and a curved object 1713-4 for drawing a curve. Or it may include at least one of the circle object (1713-5) for drawing a circle.
  • the user terminal device 1000 may receive a user's finger gesture 1713 (eg, a finger touch gesture) that selects the exercise object 1712-1 included in the menu 1712.
  • a user's finger gesture 1713 eg, a finger touch gesture
  • the bent touch screen 100 may receive a pen gesture 1722 moving on the main area 1010.
  • the user may keep the finger gesture 1713 (eg, a finger touch gesture) on the exercise object 1712-1 included in the sub-region 1020.
  • the bent touch screen 100 may receive a gesture 1722 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 1721 corresponding to the moved trajectory in response to the input pen gesture 1722. For example, the controller 200 may display a dotted line or a low-contrast line in the area 1721 corresponding to the moved trajectory as a result of applying the function corresponding to the exercise object 1712-1.
  • the controller 200 visually deforms the area 1721 corresponding to the displayed moving trajectory before deformation. Can be reversed. For example, a line 1721 indicated by a dotted line or a low contrast color applied to the region 1721 corresponding to the moved trajectory may be deleted on the main region 1010.
  • FIG. 18 is a diagram illustrating a process of performing a user interaction in an image editing application according to another embodiment of the present disclosure.
  • the controller 200 may display a blank screen 1711 without an image in the main area 1010, and display a menu 1712 for editing an image in the sub area 1020.
  • the bent touch screen 100 may receive a user's finger gesture 1811 (eg, a finger touch gesture) for selecting the straight object 1712-2 included in the menu 1712.
  • the bent touch screen 100 may receive a pen gesture 1822 moving on the main area 1010.
  • the controller 200 may visually transform and display the region 1821 corresponding to the moved trajectory in response to the input pen gesture 1822.
  • the controller 200 may display the region 1821 corresponding to the moved trajectory as a straight line as a result of applying a function corresponding to the linear object 1712-2.
  • the controller 200 may perform a finger gesture on the sub-region 1020 by the rectangular object 1712-3 or the original object 1712-5 in a similar manner corresponding to the trajectory moved by the pen gesture 1822.
  • the controller 200 may visually transform and display an area corresponding to the trajectory moved by a pen gesture (not shown) on the main area 1010. For example, when the rectangular object 1712-3 is selected, the controller 200 recognizes a start point and an end point of an area (not shown) corresponding to the moved trajectory, and a rectangle in which each of the start point and the end point is a vertex appears. Can be displayed. In addition, when the original object 1712-5 is selected, the controller 200 recognizes a start point and an end point of an area (not shown) corresponding to the moved trajectory, and has a start point as the origin and a distance between the start point and the end point as a radius. The circle may be displayed to appear on the main area 1010.
  • 19 is a diagram illustrating a process of performing a user interaction in an image editing application according to another embodiment of the present disclosure.
  • the controller 200 may display a blank screen 1711 without an image in the main area 1010, and display a menu 1712 for editing an image in the sub area 1020.
  • the bent touch screen 100 may receive a user's finger gesture 1911 (eg, a finger touch gesture) for selecting the curved object 1712-4 included in the menu 1712.
  • the bent touch screen 100 may receive a pen gesture 1922 moving on the main area 1010.
  • the bent touch screen 100 may receive a multi-finger gesture 1923 touching two points 1923-1 and 1923-2 on the sub-region 1020.
  • the controller 200 may include a curved object (eg, a curved object) in an area 1921 corresponding to the moved trajectory associated with the positions of the two points 1913-1 and 1923-2. 1712-4) can be applied.
  • the controller 200 may include regions 1711 that are outside of the horizontal lines with respect to the horizontal lines in the main region 1010 corresponding to the multi-point.
  • the moved trajectories included in the areas 1711-2 corresponding to the inside of the horizontal lines are not displayed in the regions 191-1 and 1921-3 corresponding to the moved trajectories included in the -1,1711-3.
  • the areas 1921-2 and 1921-4 corresponding to the curves may be displayed to appear.
  • an icon 1924 representing a function corresponding to the curved object 1712-4 may be displayed in the sub region 1020.
  • 20 is a diagram illustrating a process of performing a user interaction in an image editing application according to another embodiment of the present disclosure.
  • the controller 200 displays an image 2011 photographed using a camera application in the main region 110, and a menu for editing the image 2011 in the sub region 1020 ( 2012).
  • the menu 2012 includes a speech bubble object 2012-1 for inserting a speech balloon, an effect object 2012-2 for applying an effect to a selected area, or a cutting object 2012-3 for cutting out a selected area and storing it as a photo. It may include at least one of.
  • the bent touch screen 100 may receive a user's finger gesture 2013 (eg, a finger touch gesture) for selecting the speech bubble object 2012-1.
  • the bent touch screen 100 may receive a pen gesture 2022 that selects a point on the main area 1010.
  • the controller 200 may visually transform and display the region 2021 corresponding to a point in response to the input pen gesture 2022.
  • the controller 200 may display a speech bubble in a region 2021 corresponding to a point as a result of applying a function corresponding to the speech bubble object 2021.
  • 21 is a diagram illustrating a process of performing a user interaction in an image editing application according to another embodiment of the present disclosure.
  • the controller 200 displays an image 2011 photographed using a camera application on the main area 1010, and a menu for editing the image 2011 on the sub area 1020 ( 2012).
  • the bent touch screen 100 may receive a user's finger gesture 2111 (eg, a finger touch gesture) for selecting the effect object 2012-2 included in the menu 2012.
  • the bent touch screen 100 may receive a pen gesture 2122 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 2121 corresponding to the moved trajectory in response to the input pen gesture 2122.
  • the controller 200 may apply a preset effect to the region 2121 corresponding to the moved trajectory as a result of applying the function corresponding to the effect object 2012-1.
  • the controller 200 may apply one of a pretty effect, a sepia effect, a black and white effect, or a cartoon effect to the area 2121 corresponding to the moved trajectory.
  • FIG. 22 is a diagram illustrating a process of performing a user interaction in an image editing application according to another embodiment of the present disclosure.
  • the controller 200 displays an image 2011 photographed using a camera application in the main area 1010, and a menu for editing the image 2011 in the sub area 1020 ( 2012).
  • the bent touch screen 100 may receive a user's finger gesture 2211 (eg, a finger touch gesture) for selecting the cut object 2012-3 included in the menu 2012.
  • the bent touch screen 100 may receive a pen gesture 2222 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 2221 corresponding to the moved trajectory in response to the input pen gesture 2222. For example, the controller 200 may display a dotted line or a highlighted line in the region 2221 corresponding to the moved trajectory as a result of applying the function corresponding to the cutting object 2012-3.
  • the controller 200 may cut out the inner region of the displayed line.
  • the area cut by the controller 200 may be stored in the clipboard or may be stored in a separate file in the storage 310.
  • FIG. 23 is a diagram illustrating a process of performing a user interaction in an image editing application according to another embodiment of the present disclosure.
  • the controller 200 displays an image 2311 to be edited in the main area 1010, and displays a menu 2312 for editing the image 2011 in the sub area 1020.
  • the menu 2312 is an object for applying a filter effect to the image 2311, and includes a pretty object 2312-1 for applying a pretty filter, a sepia object 2312-2 for applying a sepia filter, and a black and white filter for applying a filter effect. It may include at least one of the black and white object 2312-3 or the cartoon object 2312-4 to which the cartoon filter is applied.
  • the bent touch screen 100 may receive a user's finger gesture 2313 (eg, a finger touch gesture) that selects the pretty object 2312-1 included in the menu 2312.
  • the bent touch screen 100 may receive a pen gesture 2322 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 2321 corresponding to the moved trajectory in response to the input pen gesture 2322.
  • the controller 200 is a result of applying the function corresponding to the pretty object 2312-1 so that the area 2321 corresponding to the moved trajectory is increased compared to other areas, and the image is increased. It can be displayed to apply a bright effect that is bright and soft.
  • the controller 200 controls the main area ( An area (not shown) corresponding to the trajectory moved by the pen gesture (not shown) may be visually modified and displayed on the 1010.
  • the controller 200 may display a sepia effect to be applied to an area (not shown) corresponding to the moved trajectory.
  • the controller 200 may display a black and white effect in which an area (not shown) corresponding to the moved trajectory is displayed in black and white contrast.
  • the controller 200 may display a region (not shown) corresponding to the moved trajectory so that a cartoon effect such as a cartoon image is applied.
  • 24 is a diagram illustrating a process of performing a user interaction in an e-book application according to an embodiment of the present disclosure.
  • the controller 200 displays a page 2411 including text in a main area 1010 and a menu 2412 for managing the page 2411 in a sub area 1020.
  • the menu 1312 includes a highlight object 2412-1 that highlights specific text in page 2411, a search object 2412-2 that searches for and displays a word in page 2411, or a specific in page 2411. It may include at least one of the magnifying glass object 2412-3 to enlarge the area.
  • the bent touch screen 100 may receive a user's finger gesture 2413 (eg, a finger touch gesture) that selects the highlight object 2412-1 included in the menu 2412.
  • the bent touch screen 100 may receive a pen gesture 2422 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 2421 corresponding to the moved trajectory in response to the input pen gesture 2422.
  • the area 2421 corresponding to the moved trajectory may be a text located near the moved trajectory or near the text.
  • the controller 200 may highlight and display the area 2421 corresponding to the moved trajectory so as to be visually distinguished from other areas. For example, the controller 200 may display the text or the color near the text differently from other text or the colors near the text, or apply the animation effect to dynamically blink.
  • 25 is a diagram illustrating a process of performing a user interaction in an e-book application according to another embodiment of the present disclosure.
  • the control unit 200 displays a page 2411 including text in the main area 1010, and a menu 2412 for managing the page 2411 in the sub area 1020. I can display it.
  • the bent touch screen 100 may receive a user's finger gesture 2511 (eg, a finger touch gesture) for selecting the search object 2412-2 included in the menu 2412.
  • the bent touch screen 100 may receive a pen gesture 2522 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 2521 corresponding to the moved trajectory in response to the input pen gesture 2522.
  • the meaning of a word composed of texts included in the area 2521 corresponding to the moved trajectory may be searched for and displayed on the screen.
  • the controller 200 may highlight and display the area 2521 corresponding to the moved trajectory so as to be visually distinguished from other areas.
  • the controller 200 may display the meaning of the searched word to be included on the notepad 2523 near the area 2521 corresponding to the moved trajectory.
  • the controller 200 corresponds to a trajectory moved by a pen gesture (not shown) on the main area 1010.
  • a pen gesture not shown
  • an inner region of the moved trajectory may be visually modified and displayed.
  • the controller 200 may enlarge and display an area (not shown) corresponding to the moved trajectory.
  • FIG. 26 is a diagram illustrating a process of performing a user interaction in an e-book application according to another embodiment of the present disclosure.
  • the controller 200 displays a page 2611 including text in the main area 1010 and a menu 2612 for managing the page 2611 in the sub area 1020.
  • the menu 2612 includes a bold object 2612-1 that displays the font of the text in the page 2611 in bold, an italic object 2612-2 that displays the font of the text in italics, and a font of the text.
  • the bent touch screen 100 may receive a user's finger gesture 2613 selecting the bold object 2612-1 and the italic object 2612-2 included in the menu 2612.
  • the user's finger gesture 2613 may be a multi-finger gesture that simultaneously selects the bold object 2612-1 and the italic object 2612-2.
  • the multi-finger gesture may be a combination of sequential finger touch gestures in which the user's finger gesture 2613 first selects one of the bold object 2612-1 and the italic object 2612-2, and then selects the other. have.
  • the bent touch screen 100 performs a pen gesture 2622 moving on the main area 1010. Can be input.
  • the control unit 200 may visually transform and display the area 2621 corresponding to the moved trajectory in response to the input pen gesture 2422. For example, as a result of applying the functions corresponding to the bold object 2612-1 and the italic object 2612-2, the controller 200 selects a font of text included in the area 2621 corresponding to the moved trajectory. Italic type can be displayed in bold.
  • the control unit 200 when the underbar object 2612-3, strikethrough object 2612-4, or font size changing object 2614-5 is selected using the finger gesture in the sub-region 1020, the control unit 200. May visually transform and display an area corresponding to a trajectory moved by a pen gesture (not shown) on the main area 1010. For example, when the under bar object 2612-3 is selected, the controller 200 may display a font of text included in an area (not shown) corresponding to the moved trajectory so as to be underlined. In addition, when the strikethrough object 2612-4 is selected, the controller 200 may display a strikethrough on a font of text included in an area (not shown) corresponding to the moved trajectory. In addition, when the font size change object 2612-5 is selected, the controller 200 may reduce or display the size of the text included in the area (not shown) corresponding to the moved trajectory.
  • FIG. 27 is a diagram illustrating a process of performing a user interaction in a web application according to another embodiment of the present disclosure.
  • the controller 200 displays a web page 2711 including content in a main area 1010, and a web page management function for a web page 2711 in a sub area 1020.
  • a menu 2712 for performing the operation may be displayed.
  • the menu 2712 includes an Internet object 2712-1 for moving to another web page or a home web page, a bookmark object 2712-2 for displaying a list of web pages registered as favorites, and a web page 2711.
  • At least one of a drawing object 2712-3 for drawing a line or a figure, a cutting object 2712-4 for cutting out a part of a web page, and a cancel object 2712-5 for returning to a screen before editing is displayed.
  • the bent touch screen 100 may receive a user's finger gesture 2713 (eg, a finger touch gesture) that selects the cutting object 2712-4 included in the menu 2712.
  • the bent touch screen 100 may receive a pen gesture 2722 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 2721 corresponding to the moved trajectory in response to the input pen gesture 2722. For example, the controller 200 may display a dotted line or a highlighted line in an area 2721 corresponding to the moved trajectory.
  • An icon (for example, a scissors icon) 2723 indicating that the cutting object 2712-4 is being selected may be displayed at a point where the moving pen gesture 2722 is located or near the point.
  • the controller 200 may cut an inner region of the displayed line.
  • the region cut by the controller 200 may be displayed on the screen by changing, moving, or inclining the angle from the original position.
  • the cut region may be stored in the clipboard or may be stored as a separate file in the storage 310.
  • FIG. 28 is a diagram illustrating a process of performing a user interaction in a web application according to another exemplary embodiment.
  • the control unit 200 displays a web page 2711 including content in a main area 1010, and a web page management function for a web page 2711 in a sub area 1020.
  • a menu 2712 for performing the operation may be displayed.
  • the bent touch screen 100 may receive a user's finger gesture 2811 (eg, a finger touch gesture) for selecting the drawing object 2712-3 included in the menu 2712.
  • the bent touch screen 100 may receive a pen gesture 2822 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 2821 corresponding to the moved trajectory in response to the input pen gesture 2822.
  • the controller 200 may display a specific color in the area 2721 corresponding to the moved trajectory.
  • the specific color is predetermined in advance or may be selected from among a plurality of colors by the user.
  • 29A and 29B illustrate a process of performing a user interaction in a memo application according to an embodiment of the present disclosure.
  • the controller 200 displays a blank screen 2911 in the main area 1010, and displays a menu 2912 for processing an image to be displayed on the blank screen in the sub area 1020. can do.
  • the menu 2912 includes a telephone object 2912-1 for converting a displayed image into a number, a calculator object 2912-1 for converting a displayed image into a number, and a memo for storing the displayed image.
  • the object 2912-3 may be displayed.
  • the bent touch screen 100 may receive a user's finger gesture 2913 (eg, a finger touch gesture) that selects the calculator object 2912-2 included in the menu 2912.
  • the bent touch screen 100 may receive a pen gesture 2922 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 2921 corresponding to the moved trajectory in response to the input pen gesture 2922.
  • the controller 200 may recognize the displayed image as a number and an operator and perform calculation.
  • the control unit 200 executes an application 2913 capable of processing the displayed image to display the image on the main area 1010. Can be marked on.
  • the controller 200 may execute the calculator application 2913, which performs a function corresponding to the calculator object 2912-2, and display the same on the main area 100.
  • the calculation result 2932 according to the execution of the calculator application 2927 may be displayed on the main area 100.
  • 30A and 30B illustrate a process of performing a user interaction in a memo application according to another exemplary embodiment of the present disclosure.
  • the controller 200 displays a blank screen 2911 in the main area 1010, and displays a menu 2912 for processing an image displayed on the blank screen in the sub area 1020.
  • the bent touch screen 100 may receive a user's finger gesture 3011 (eg, a finger touch gesture) that selects the telephone object 2912-1 included in the menu 2912.
  • the bent touch screen 100 may receive a pen gesture 3022 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 3021 corresponding to the moved trajectory in response to the input pen gesture 3022.
  • the controller 200 may recognize the displayed image as a telephone number and make a call as a result of applying a function corresponding to the telephone object 2912-1.
  • the controller 200 may execute a phone application 3031 performing a function corresponding to the phone object 2912-1 and display the same on the main area 1010.
  • the controller 200 may display a screen for making a call to the recognized phone number using the phone application 3031.
  • 31A and 31B illustrate a process of performing a user interaction in a home application according to an embodiment of the present disclosure.
  • the controller 200 displays a home screen 3111 on the main area 1010, and displays a quick object 3112 on the sub area 1020 to quickly process an image displayed on the home screen. I can display it.
  • the bent touch screen 100 may receive a user's finger gesture 3113 (eg, a finger touch gesture) for selecting the quick object 3112.
  • the bent touch screen 100 may receive a pen gesture 3122 moving on the main area 1010.
  • the controller 200 may visually transform and display the region 3121 corresponding to the moved trajectory in response to the input pen gesture 3122.
  • the controller 200 may determine the format of the displayed image as a result of applying the function corresponding to the quick object 3112. As a result of the determination, when the displayed image has a phone number format, the controller 200 may recognize the displayed image as a phone number and make a call.
  • the controller 200 may execute a phone application 3131 that performs a function corresponding to the quick object 3112 and display the same on the main area 1010.
  • the controller 200 may display a screen for making a call to the recognized phone number using the phone application 3131.
  • 32A and 32B illustrate a process of performing a user interaction in a home application according to an embodiment of the present disclosure.
  • the controller 200 displays a home screen 3111 on the main area 1010, and displays a quick object 3112 on the sub area 1020 to quickly process an image displayed on the home screen. I can display it.
  • the bent touch screen 100 may receive a user's finger gesture 3213 (eg, a finger touch gesture) for selecting the quick object 3112.
  • the bent touch screen 100 may receive a pen gesture 3222 moving on the main area 1010.
  • the controller 200 may visually transform and display the area 3221 corresponding to the moved trajectory in response to the input pen gesture 3322.
  • the controller 200 may determine the format of the displayed image as a result of applying the function corresponding to the quick object 3112. As a result of the determination, when the displayed image has an e-mail format, the controller 200 may recognize the displayed image as an e-mail and send an e-mail.
  • an e-mail application 3231 which performs a function corresponding to the quick object 3112 may be executed and displayed on the screen.
  • the controller 200 may display an email writing screen for sending a mail to a recognized email using the email application 3231.
  • 33 is a flowchart illustrating an interaction method according to an embodiment of the present disclosure.
  • the user terminal device 1000 may receive a finger gesture on the sub area 1010 in operation S3301.
  • the user terminal device 1000 may receive a pen gesture moving on the main area.
  • the user terminal device 1000 may determine whether the input finger gesture selects the first object included in the menu displayed on the sub-region 1010 (S3305). If the first object is not selected, the user terminal apparatus 1000 may visually transform and display the region corresponding to the moved trajectory as a result of applying a default function to the region corresponding to the moved trajectory of the pen gesture. It may be (S3307).
  • the user terminal device 1000 may determine whether the input finger gesture selects the first object and the second object (S3309). For example, the user terminal device 1000 may determine whether the finger gesture is a multi-finger gesture for selecting both the first object and the second object. When the finger gesture selects only the first object and does not select the second object, the user terminal device 1000 is a result of applying a function corresponding to the first object to an area corresponding to the moved trajectory of the pen gesture. The region corresponding to the trajectory may be visually modified and displayed (S3311). On the other hand, when the finger gesture is a multi-finger gesture that selects both the first object and the second object, the user terminal device 1000 places a second object different from the first object in an area corresponding to the moved trajectory of the pen gesture. As a result of the application, an area corresponding to the moved trajectory may be visually modified and displayed (S3313).
  • 34 is a flowchart illustrating an interaction method according to another exemplary embodiment of the present disclosure.
  • the user terminal device 1000 may receive a finger gesture for selecting a first object included in a menu displayed on the sub area 1010 (S3401).
  • the user terminal device 1000 may receive a pen gesture moving on the main area.
  • the user terminal apparatus 1000 In response to a finger gesture and a pen gesture, the user terminal apparatus 1000 visually deforms an area corresponding to the moved trajectory as a result of applying a function corresponding to the first object to an area corresponding to the moved trajectory of the pen gesture. Can be displayed (S3405).
  • the user terminal device 1000 may determine whether an input of a finger gesture is maintained on the sub area (S3407). When the input of the finger gesture is maintained, the user terminal apparatus 1000 continuously visualizes an area corresponding to the moved trajectory as a result of applying a function corresponding to the first object to an area corresponding to the moved trajectory of the pen gesture. It can be transformed and displayed (S3409). On the other hand, when the finger gesture is no longer input, the user terminal device 1000 may return the area corresponding to the displayed movement trajectory, which is visually deformed, to the form before deformation (S3411).
  • 35 to 44 are diagrams illustrating a user interaction connected to an external device according to an embodiment of the present disclosure.
  • the external device located outside the user terminal device 1000 and the user terminal device 1000 may be connected to communicate with each other.
  • the connection between the external device located outside the user terminal device 1000 and the user terminal device 1000 to communicate with each other may include a wired or wireless connection.
  • the user terminal device 1000 and the external device may be connected to communicate with each other.
  • the Bluetooth method is used as a communication method between the user terminal device 1000 and an external device
  • the communication unit 330 transmits a power beacon signal to the external device.
  • the external device may transmit an advertisement signal indicating that the external device may be connected.
  • the user terminal device 1000 transmits a connection request signal to an external device, thereby establishing a communication session between the user terminal device 1000 and the external device 3511. Can be.
  • the user terminal device 1000 may be connected to the external device to communicate with each other, which may mean a state in which a communication session is formed between the user terminal device 1000 and the external device 3511.
  • the bent touch screen 100 may display a UI element related to the external device in the sub area 1020.
  • the UI element related to the external device may be, for example, one of an object for identifying the external device, an object for controlling the external device, and an icon corresponding to an application related to the external device.
  • the bent touch screen 100 may receive a user gesture for selecting the UI element.
  • the user gesture may be, for example, a user's finger gesture or a user's pen gesture.
  • the controller 200 may display at least one UI element related to the external device in the sub area 1020.
  • the controller 200 may display an execution screen of an application corresponding to the one UI element on the sub area 1020 or the main area 1010. I can display it.
  • the controller 200 may display an execution screen of the application corresponding to the selected UI element in the sub area 1020 or the main area 1010.
  • the bent touch screen 100 displays an execution screen of a preset application on the sub area 1020 or the main area 1010.
  • the user terminal apparatus 1000 when the user terminal apparatus 1000 has a cover, the user may quickly and easily check the sub area 1020 without any inconvenience of opening the cover.
  • the user terminal device 1000 may be connected to communicate with a wearable device (for example, a galaxy gear that may be mounted on a wrist) 3511 located outside.
  • a wearable device for example, a galaxy gear that may be mounted on a wrist
  • the controller 200 may display a UI element 3512 related to the wearable device 3511 on the sub area 1020.
  • the UI element 3512 may be, for example, an object corresponding to the wearable device 3511 or an icon corresponding to an application associated with the wearable device 3511. While the UI element 3251 is displayed in the sub area 1020, the bent touch screen 100 may receive a user gesture for selecting the UI element 3512.
  • the controller 200 may display a plurality of UI elements related to the wearable device 3511 in the sub area 1020.
  • the controller 200 may execute an execution screen of an application corresponding to the one UI element 3351 as shown in 3530 of FIG. 35B.
  • 3531 may be displayed in the main area 1010.
  • the controller 200 may display the execution screen 3551 of the application corresponding to the UI element 3351 on the sub area 1020 as shown in 3540 of FIG. 35B.
  • the controller 200 may control the wearable device 3511 in response to a user input through the execution screens 3531 and 3551 of the application. For example, the controller 200 may determine the type of the home screen of the wearable device 3511, the type of notification application to be displayed on the wearable device 3511, or the wearable device 3511 in response to a user input. ) May determine video or audio content to be played back, determine user biometric information to be detected by the wearable device 3511, or determine time information to be displayed on the wearable device 3511, but is not limited thereto.
  • the user terminal device 1000 may be connected to communicate with the wearable device 3611 located outside.
  • the controller 200 may display a UI element 3612 related to the wearable device 3611 on the sub area 1020.
  • the UI element 3612 may be, for example, an object corresponding to the wearable device 3611 or an icon corresponding to an application associated with the wearable device 3611. While the UI element 3612 is displayed on the sub-region 1020, the bent touch screen 100 may receive a user gesture for selecting the UI element 3612.
  • the controller 200 may display an execution screen 3621 of an application corresponding to the UI element 3612 on the main area 1010.
  • the controller 200 may display the execution screen 3631 of the application corresponding to the UI element 3612 on the sub area 1020 as shown in 3630 of FIG. 36B.
  • the controller 200 may control the wearable device 3611.
  • the user terminal device 1000 may be connected to communicate with a wearable device 3711 located outside.
  • the controller 200 displays an execution screen 3712 of a preset application on the sub area 1020 in relation to the wearable device 3711. can do.
  • the controller 200 may display an execution screen 3721 of an application set in relation to the wearable device 3711 on the main area 1010.
  • the controller 200 may control the wearable device 3711.
  • the user terminal device 1000 may be connected to communicate with an external audio device (eg, a speaker, earphone, headset, microphone, home theater, etc.) 3811.
  • an external audio device eg, a speaker, earphone, headset, microphone, home theater, etc.
  • the user terminal device 1000 and the audio device 3811 may be connected to communicate with each other.
  • the controller 200 may display a UI element 3812 related to the audio device 3811 in the sub area 1020.
  • the UI element 3812 may be, for example, an object corresponding to the audio device 3811 or an icon corresponding to an application associated with the audio device 3811.
  • the bent touch screen 100 may receive a user gesture for selecting the UI element 3812.
  • the user gesture may be, for example, a user's finger gesture or a pen gesture of the user tapping the UI element 3812.
  • the controller 200 may display an execution screen 3811 of an application corresponding to the UI element 3812 on the sub area 1020.
  • the application execution screen 3821 may be, for example, identification information 3811-1 of the audio device 3811 indicating that the user terminal device 1000 is connected, status information of the audio device (for example, equalizer information or volume information being played). Etc.) 3811-2, 3821-3, and the UI elements 3821-4 that can control the audio device 3811.
  • the UI element 3821-4 that can control the audio device 3811 may be, for example, a UI element that can adjust the volume of the audio device 3811 or a sound effect of the audio device 3811 (eg, hip hop, jazz, Classic elements, etc.).
  • the controller 200 may control a function of the audio device 3811. For example, the controller 200 may adjust the volume of the audio device 3811.
  • the user terminal device 1000 may be connected to communicate with a display device 3911 (eg, a monitor, a digital TV, a tablet PC, etc.) located at an external location.
  • a display device 3911 eg, a monitor, a digital TV, a tablet PC, etc.
  • the controller 200 may display an execution screen 3912 of a preset application in relation to the display device 3911 located outside the main area 1010.
  • the application execution screen 3921 is, for example, identification information 3912-1 of the display device 3911 indicating that the user terminal device 1000 is connected to the UI element 3912-2 for controlling the display device 3911. ) Or state information of the display device 3911.
  • the UI element 3912-2 that can control the display device 3911 may be, for example, a UI element for searching for content to be played on the display device 3911, a UI element for starting playback of content on the display device 3911, or The display device 3911 may include at least one of UI elements for stopping playback of content.
  • the state information of the display device 3911 may include, for example, at least one of a title of the video content being played on the display device 3911, a time played by the video content, a source of the video content, or a remaining play time of the video content. have.
  • the user terminal device 1000 may be connected to communicate with a storage device 4011 (eg, a computer, a server, etc.) located outside.
  • a storage device 4011 eg, a computer, a server, etc.
  • the controller 200 displays an execution screen 4012 of a preset application in relation to the storage device 4011 on the sub area 1020. can do.
  • the application execution screen 4012 may be, for example, identification information 4012-1 of the storage device 4011 indicating that the user terminal device 1000 is connected, and a UI element 4012 that searches for content to be played in the user terminal device 1000.
  • state information related to content being played on the user terminal device 1000 a UI element that starts playing the content on the user terminal device 1000, or a UI element that stops playing the content on the user terminal device 1000; It may include at least one of.
  • the information related to the content being played in the user terminal device 1000 may include, for example, at least one of a title of the content being played, a content playback time, a source of content, or a remaining playback time of the content.
  • the user terminal device 1000 may be connected to enable an input device 4111 (eg, a game controller) that is located at an external location.
  • the controller 200 may display an execution screen 4112 of a preset application in relation to the game controller 4111 in the sub area 1020. Can be marked on.
  • the application execution screen 4112 is, for example, identification information 4112-1 of the game controller 4111 indicating that the user terminal device 1000 is connected, and a UI element 4112-3 for controlling the game controller 4111. ) Or the state information 4112-2 of the game controller 4111.
  • the UI element 4112-3 that can control the game controller 4111 may include, for example, a UI element that searches for video content to be controlled through the game controller 4111, and a video content controlled through the game controller 4111. It may include at least one of a UI element for starting playback or a UI element for stopping playback of the video content being played through the game controller 4111.
  • the state information 4112-2 of the game controller 4111 may be, for example, a battery remaining amount of the game controller 4111, a network connection state with the game controller 4111, or the like.
  • the user terminal device 1000 may be connected to communicate with an external input device 4211 (for example, a keyboard and a mouse).
  • the controller 200 may display an execution screen 4212 of a preset application in relation to an external input device 4211. 1020).
  • the application execution screen 4212 may be, for example, identification information 4212-1 of the keyboard 4211 indicating that the user terminal device 1000 is being connected, a UI element 4212-3 capable of controlling the keyboard 4211, or It may include at least one of the state information 4212-2 of the keyboard 4211.
  • the UI element 4212-3 that can control the keyboard 4211 may be, for example, a UI element that can change the type of the keyboard of the keyboard 4211.
  • the state information of the keyboard 4211 may be, for example, a battery remaining amount of the keyboard 4211.
  • the controller 200 when an external device exists near the user terminal device 1000, the controller 200 displays a UI element indicating an external device that can communicate with the user terminal device 1000 in the sub area 1020. can do. While the UI element is displayed, the bent touch screen 100 may receive a user gesture for selecting the UI element. In addition, the controller 200 may perform a communication connection between the user terminal device 1000 and the external device in response to the input user gesture.
  • the controller 200 may communicate with the user terminal device 1000.
  • a plurality of UI elements 4315 to 4318 representing the devices may be displayed in the sub area.
  • Each of the plurality of UI elements may be, for example, an object identifying the external devices 4311 to 4314 or icons corresponding to an application representing each of the external devices 4311 to 4314.
  • the bent touch screen 100 may receive a user gesture for selecting one UI element 4317 for communication connection.
  • the controller 200 communicates with an external device 4313 corresponding to one UI element 4317, and as illustrated in FIG. 4320, the controller 200 corresponds to one UI element 4317.
  • the execution screen 4321 of the application may be displayed on the sub-region 1020.
  • the execution screen 4321 of the application may include at least one UI element that can control the external device 4313 corresponding to the UI element 4317.
  • the controller 200 may control the external device 4313.
  • 45 and 46 are diagrams illustrating user interaction with a panel displayed in a sub area according to an embodiment of the present disclosure.
  • the bent touch screen 100 may be connected to one of the plurality of external devices.
  • the related panel may be displayed in the sub area 1020.
  • the panel may include at least one UI element related to one external device.
  • one panel may be provided through one application, or a plurality of panels may be provided through one application.
  • being able to input to the user terminal device 1000 is connected to the user terminal device 1000 or connected to the user terminal device 1000 as an accessory type device of the user terminal device 1000. It may include a state of separation.
  • an external device present in the form of an accessory may be a pen.
  • the bent touch screen 100 may receive a user gesture of dragging in the sub-region 1020 in one direction.
  • the controller 200 may change or delete a UI element included in the panel or display a new UI element on the panel.
  • an external device eg, an audio device, a wearable device, a pen, etc.
  • the bent touch screen 100 includes a panel including at least one UI element 4414-1 through 4414-4 associated with one of the plurality of external devices (eg, the wearable device).
  • 4414 may be displayed on the sub-region 1020.
  • the UI element may be, for example, a UI element (eg, an icon) corresponding to an application related to one external device (eg, a wearable device) or a UI element capable of controlling one external device.
  • the application related to the external device may be, for example, a preset application related to the external device recommended by the user terminal device 1000 or an application frequently used by the user more than a predetermined number of times when using the external device or a third party related to the external device. It can be an application.
  • the bent touch screen 100 may receive a user gesture of dragging along the long side of the sub-region 1020.
  • the control unit 200 further includes a panel 4414 further including other UI elements 4414-5 and 4414-6 associated with the external device (eg, the wearable device).
  • the sub area 1020 may be displayed.
  • the bent touch screen 100 may receive a user gesture of dragging along a short side of the sub-region 1020.
  • the controller 200 may control UI elements 4415-1, 4415-2, and 4415-3 associated with another external device (eg, a pen) among a plurality of external devices.
  • the included panel 4415 may be displayed on the sub region 1020.
  • 45 is an example of panels that may be displayed on the sub area 120 of the bent touch screen 100 according to an exemplary embodiment of the present disclosure, but the types of panels are not limited thereto.
  • 4510 of FIG. 45 is a panel including a UI element related to an audio device when the external device that can communicate with the user terminal device 100 is an audio device.
  • 4520 of FIG. 45 is a panel including UI elements related to the input device when the external device that can communicate with the user terminal device 100 is an input device.
  • 4530 of FIG. 45 is a panel including a UI element related to the wearable device when the external device that can communicate with the user terminal device 100 is a wearable device.
  • the UI element associated with the music application may include, for example, at least one of a music search UI element, a music start UI element, a music end UI element, a volume control UI element, and a UI element corresponding to another application related to the music application.
  • 4550 of FIG. 45 illustrates a panel including UI elements related to the gallery application when the application running in the user terminal device 100 is the gallery application.
  • the UI element related to the gallery application may include, for example, at least one of an image search UI element, an image editing UI element, an image deleting UI element, an image sharing UI element, and a UI element corresponding to another application related to the image application.
  • the controller 200 may display one panel that was initially displayed when switching of the plurality of panels is completed. That is, according to the gesture of the user, the controller 200 may display the plurality of panels in a circulating or revolving manner.
  • the user may change the order in which the plurality of panels are cycled. Alternatively, at least one panel of the plurality of panels may be deleted. Alternatively, the user may register a specific application or function as a panel corresponding to one external device.
  • the controller 200 may display the panel management application 4601 in the main area or the sub area.
  • the panel management application 4601 may include objects 4611 to 4615 related to one panel.
  • the bent touch screen 100 may receive a user gesture of selecting one object among a plurality of objects and dragging along the long side of the sub-region 1020.
  • the controller 200 may display the panel management application 4601 including the objects 4611, 4612, 4613, 4616, and 4617 having changed positions.
  • the bent touch screen 100 may be configured as one of the objects.
  • a user gesture of selecting an object and dragging the sub-area 1020 in an outward direction may be input.
  • the controller 200 deletes one object 4614 among the objects 4611 to 4615 and displays the panel management application 4601 from which the one object 4614 has been removed. can do.
  • 47 and 48 are diagrams illustrating user interaction based on a boundary between a main area and a sub area according to an embodiment of the present disclosure.
  • the controller 200 may display the content and the UI element for controlling the content in the main area 101.
  • the bent touch screen 100 may receive a user gesture based on a boundary area between the main area 1010 and the sub area 1020.
  • the bent touch screen 100 may extend from the main area 1010 to at least one side (eg, at least one of left, right, top, and bottom) of the user terminal device 1000.
  • the depressed touch screen 100 may be folded below an operable radius of curvature (eg, 5 cm, 1 cm, 7.5 mm, 5 mm, 4 mm, etc.) to be fastened to the side of the user terminal device 1000.
  • the bent touch screen 100 may receive a user gesture based on the folding area.
  • the bent touch screen 100 may receive a user gesture of dragging in a vertical direction along the boundary area.
  • the bent touch screen 100 may receive a user gesture for dragging from the main area 1010 to the sub area 1020 based on the boundary area.
  • the controller 200 may display a UI element for controlling content in the sub area 1020.
  • the controller 200 may expand and display the content in the main area 1010. In this case, the content may be extended to include at least a portion of the area where the UI element was displayed.
  • the controller 200 may display a web page 4711 and a UI element 4712 that can control the web page in the main area 1010.
  • the bent touch screen 100 may receive a user gesture of dragging downward along a boundary between the main area 1010 and the sub area 1020.
  • the controller 200 may display the UI element 4712 in the sub area 1020.
  • the controller 200 may display a web page 4711 in the main area 1010.
  • the web page 4711 may be expanded to include at least a portion of the area where the UI element 4712 is displayed in 4710 of FIG. 47.
  • the controller 200 may control the web page 4711.
  • the controller 200 may copy a web page, register a web page, and display a web page before or after the web page.
  • the controller 200 may display a UI element in the sub area 1020.
  • the bent touch screen 100 may receive a user gesture based on a boundary area between the main area 1010 and the sub area 1020.
  • the bent touch screen 100 may receive a user gesture of dragging in the vertical direction along the boundary area.
  • the bent touch screen 100 may receive a user gesture for dragging from the sub-region 1020 to the main region 1010 based on the boundary region.
  • the controller 200 may display an execution screen of the content or the application corresponding to the UI element in the main area 1010.
  • the controller 200 may display another UI element on the sub area 1020 that can control an execution screen of a content or an application displayed on the main area 1010.
  • the controller 200 may display the weather object 4811 in the sub area 1020.
  • the bent touch screen 100 may receive a user gesture of dragging upward along a boundary between the main area 1010 and the sub area 1020.
  • the controller 200 may display a weather application execution screen 4812 corresponding to the weather object 4811 on the main area 1010.
  • the controller 200 may display the UI elements 4813 capable of controlling the weather application execution screen 4812 on the sub area 1020.
  • 50 is a flowchart illustrating an interaction method according to another embodiment of the present disclosure.
  • the user terminal device 1000 may determine whether the external device and the user terminal device 1000 are connected to each other to communicate with each other (S5001).
  • the user terminal device 1000 may display a UI element related to the external device in the sub area 1020 ( S5003).
  • the user terminal device 1000 may determine whether a user gesture for selecting a UI element is input to the sub area 1020 (S5005).
  • the user terminal device 1000 may execute a function related to a UI element (S5007).
  • the user terminal device 1000 may display an execution screen of an application corresponding to the UI element in the main area 1010 or the sub area 1020.
  • the user terminal device 1000 may display at least one UI element capable of controlling the external device in the sub area 1020.
  • the user terminal device 1000 may control the function of the external device.
  • 51 is a flowchart illustrating an interaction method according to another exemplary embodiment of the present disclosure.
  • the user terminal device 1000 may determine whether an accessory device related to the user terminal device 1000 is separated from the user terminal device 1000 (S5101).
  • the accessory device may be, for example, a pen.
  • the user terminal device 1000 may display a UI element related to the external device in the sub area 1020 (S5103).
  • the user terminal device 1000 may determine whether a user gesture for selecting a UI element is input to the sub area 1020 (S5105).
  • the user terminal device 1000 may execute a function related to a UI element (S5107).
  • the user terminal device 1000 may display an execution screen of an application corresponding to the UI element in the main area 1010 or the sub area 1020.
  • the user terminal device 1000 may display at least one UI element capable of controlling the external device in the sub area 1020.
  • the user terminal device 1000 may control the function of the external device.
  • FIG. 52 is a flowchart illustrating an interaction method according to another embodiment of the present disclosure.
  • the user terminal device 1000 may determine whether there is an external device that can communicate with the user terminal device 1000 (S5201).
  • the user terminal device 1000 may display a UI element representing the external device in the sub area 1020 (S5203). ).
  • the user terminal device 1000 may determine whether a user gesture for selecting a UI element is input to the sub area 1020 (S5205).
  • the user terminal device 1000 may perform a communication connection between the user terminal device 1000 and an external device (S5207).
  • the user terminal device may support various interactions.
  • Each of the above-described embodiments may be separately implemented for each embodiment, but may be implemented in combination with each other as necessary.
  • the interaction method or the screen display method of the user terminal device according to the various embodiments described above may be stored in a non-transitory readable medium.
  • Such non-transitory readable media can be mounted and used in a variety of devices.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by the device, not a medium storing data for a short time such as a register, a cache, a memory, and the like. Specifically, it may be a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.
  • a sub-area of a bent touch screen is divided into a main area and a sub area having an area smaller than that of the main area, and the surface including the main area and the surface including the sub area are fixed to form an obtuse angle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

벤디드 터치 스크린을 포함하는 사용자 단말 장치의 사용자 인터렉션 방법이 개시된다. 본 방법은, 사용자 단말 장치의 외부에 위치한 외부 장치와 사용자 단말 장치가 서로 통신 가능하도록 연결되면, 외부 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하고, 상기 UI 엘리먼트를 선택하는 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행한다. 이에 따라, 다양한 인터랙션을 수행할 수 있다.

Description

사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
본 개시는 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법에 대한 것으로, 보다 상세하게는 메인 영역과 적어도 하나의 서브 영역으로 구분되는 벤디드 터치 스크린을 이용하여 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 사용자 단말 장치들이 개발 및 보급되고 있다. 최근에는 사용자 단말 장치의 크기도 최소화되면서 그 기능은 더욱 다양해져, 그 수요가 점점 더 늘어나고 있다.
사용자 단말 장치는 사용자의 요청에 따라 멀티미디어 컨텐츠나, 어플리케이션 화면 등과 같이 다양한 컨텐츠를 제공할 수 있다. 사용자는 사용자 단말 장치에 구비된 버튼이나 터치 스크린 등을 이용하여, 자신이 사용하고자 하는 기능을 선택할 수 있다. 사용자 단말 장치는 사용자와의 인터렉션에 따라 선택적으로 프로그램을 실행시켜, 그 실행 결과를 디스플레이할 수 있다.
한편, 사용자 단말 장치에서 제공할 수 있는 기능이 점차 다양해짐에 따라, 컨텐츠를 디스플레이하는 방식이나 사용자 인터렉션 방식에 대해서도 다양한 니즈(needs)가 발생하고 있다. 즉, 컨텐츠의 종류 및 기능이 크게 증대함에 따라, 단순히 버튼을 선택하거나, 터치 스크린을 터치하는 종래의 인터렉션 방식으로는 부족한 경우가 발생할 수 있다.
이에 따라, 사용자가 좀 더 편리한 방식으로 사용자 단말 장치를 이용할 수 있도록 하는 사용자 인터렉션 기술에 대한 필요성이 대두되었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은, 메인 영역 및 적어도 하나의 서브 영역으로 구분되는 벤디드 터치 스크린을 이용하여, 다양한 사용자 인터렉션을 지원할 수 있는 사용자 단말 장치 및 그 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 메인 영역 및 상기 메인 영역의 면적보다 작은 면적을 가지는 서브 영역으로 구분되고, 상기 메인 영역을 포함하는 면과 상기 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 사용자 인터렉션 방법에 있어서, 상기 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받는 단계, 상기 메인 영역 상에서 이동하는 펜 제스처를 입력받는 단계, 및 상기 펜 제스처에 의하여 이동된 궤적에 대응하는 영역을 상기 손가락 제스처에 의하여 선택된 상기 제1 오브젝트에 대응하는 기능을 적용하여 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
　상기 손가락 제스처를 입력받는 단계는, 상기 벤디드 터치 스크린의 서브 영역 아래에 실장된 터치 패널을 통하여 입력받는 단계를 포함하고, 상기 펜 제스처를 입력받는 단계는, 상기 벤디드 터치 스크린의 메인 영역 아래에 실장된 펜 인식 패널을 통하여 입력받는 단계를 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 손가락 제스처로서 상기 제1 오브젝트 상에 손가락 터치가 유지되는 경우, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 제1 오브젝트 상에 상기 손가락 터치가 해제되는 경우, 상기 메뉴에 포함된 상기 제1 오브젝트와 다른 제2 오브젝트에 대응하는 기능을 적용하여 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 제1 오브젝트 상에 상기 손가락 터치가 해제되는 경우, 상기 시각적으로 변형하여 표시된 상기 이동된 궤적에 대응하는 영역을 상기 변형 전의 형태로 되돌리는 단계를 포함할 수 있다.
상기 제1오브젝트를 선택하는 손가락 제스처를 입력받는 단계는, 상기 손가락 제스처를 수행하는 사용자의 손바닥을 상기 사용자 단말 장치의 뒷면에서 감지하는 단계를 더 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역은, 상기 메인 영역 상에 상기 이동된 궤적이 위치하는 영역, 상기 이동된 궤적이 폐곡선을 생성함에 따른 상기 폐곡선 내의 영역, 또는 상기 이동된 궤적의 근처 영역인 것을 특징으로 할 수 있다.
상기 메뉴는 상기 메인 영역 상에 이미지를 편집 또는 그리기 위한 메뉴로서, 상기 메뉴는 연필 오브젝트, 펜 굵기 오브젝트, 브러시 오브젝트, 지우개 오브젝트, 직선 오브젝트, 곡선 오브젝트 중 적어도 하나의 오브젝트를 포함할 수 있다.
상기 메뉴는 상기 메인 영역 상에 표시된 이북 페이지를 관리하기 위한 메뉴로서, 상기 메뉴는 볼드 오브젝트, 이탤릭체 오브젝트, 언더바 오브젝트, 취소선 오브젝트, 서체 크기 변경 오브젝트, 하이라이트 오브젝트, 검색 오브젝트, 돋보기 오브젝트 중 적어도 하나의 오브젝트를 포함할 수 있다.
상기 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받는 단계는, 상기 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트 및 제2 오브젝트를 선택하는 멀티 손가락 제스처를 입력받는 단계를 포함하고, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 멀티 손가락 제스처에 응답하여, 펜 제스처의 이동된 궤적에 대응하는 영역에 상기 제1 오브젝트 및 상기 제2 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는, 상기 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 표시된 이미지를 처리할 수 있는 어플리케이션을 실행하여 상기 메인 영역 상에 표시하는 단계를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 메인 영역 및 상기 메인 영역의 면적보다 작은 면적을 가지는 서브 영역으로 구분되고, 상기 메인 영역을 포함하는 면과 상기 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린을 포함하는 사용자 단말 장치는 상기 서브 영역 상에 표시된 메뉴 중 제1 오브젝트를 선택하는 손가락 제스처를 입력받고, 상기 메인 영역 상에서 이동하는 펜 제스처를 입력받는 상기 벤디드 터치 스크린, 및 상기 펜 제스처에 의하여 이동된 궤적에 대응하는 영역을 상기 손가락 제스처에 의하여 선택된 상기 제1 오브젝트에 대응하는 기능을 적용하여 시각적으로 변형하여 표시하는 제어부를 포함할 수 있다.
상기 벤디드 터치 스크린은, 상기 손가락 제스처는 상기 벤디드 터치 스크린의 상기 서브 영역 아래에 실장된 터치 패널을 통하여 입력받고, 상기 펜 제스처는 상기 벤디드 터치 스크린의 상기 메인 영역 아래에 실장된 펜 인식 패널을 통하여 입력받을 수 있다.
상기 제어부는, 상기 사용자의 손가락 제스처로서 상기 제1 오브젝트 상에 상기 손가락 터치 제스처가 유지되는 경우, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다.
상기 제어부는, 상기 제1 오브젝트 상에 상기 손가락 터치가 해제되는 경우, 상기 메뉴에 포함된 상기 제1 오브젝트와 다른 제2 오브젝트에 대응하는 기능을 적용하여 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다.
상기 제어부는, 상기 제1 오브젝트 상에 상기 손가락 터치가 해제되는 경우, 상기 시각적으로 변형하여 표시된 상기 이동된 궤적에 대응하는 영역을 상기 변형 전의 형태로 되돌릴 수 있다.
상기 이동된 궤적에 대응하는 영역은, 상기 메인 영역 상에 상기 이동된 궤적이 위치하는 영역, 상기 이동된 궤적이 폐곡선을 생성함에 따른 상기 폐곡선 내의 영역, 또는 상기 이동된 궤적의 근처 영역일 수 있다.
상기 벤디드 터치 스크린은, 상기 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트 및 제2 오브젝트를 선택하는 멀티 손가락 제스처를 입력받고, 상기 제어부는, 상기 멀티 손가락 제스처에 응답하여, 상기 펜 제스처의 이동된 궤적에 대응하는 영역에 상기 제1 오브젝트 및 상기 제2 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다.
상기 제어부는, 상기 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 표시된 이미지를 처리할 수 있는 어플리케이션을 실행하여 상기 메인 영역 상에 표시할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면, 메인 영역 및 상기 메인 영역의 면적보다 작은 면적을 가지는 서브 영역으로 구분되고, 상기 메인 영역을 포함하는 면과 상기 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린을 가지는 사용자 단말 장치의 사용자 인터랙션을 수행하는 프로그램이 기록되어 있는 기록 매체는, 상기 메인 영역을 포함하는 면과 상기 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린의 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받는 단계, 상기 메인 영역 상에서 이동하는 펜 제스처를 입력받는 단계, 및 상기 손가락 제스처 및 상기 펜 제스처에 응답하여 상기 펜 제스처의 이동된 궤적에 대응하는 영역에 상기 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서, 상기 사용자 단말 장치의 외부에 위치한 외부 장치와 상기 사용자 단말 장치가 서로 통신 가능하도록 연결되면, 상기 외부 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하는 단계, 　상기 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받는 단계, 및 상기 입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 단계를 포함할 수 있다.
상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는, 상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 단계를 포함할 수 있다.
상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는, 상기 서브 영역에 상기 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시하는 단계를 포함할 수 있다.
상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는, 상기 외부 장치의 기능을 제어하는 단계를 포함할 수 있다.　
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서, 상기 사용자 단말 장치로부터 상기 사용자 단말 장치와 관련된 액세서리 장치가 분리되면, 상기 액세서리 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하는 단계, 상기 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받는 단계, 및 상기 입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 단계를 포함할 수 있다.
상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는, 상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 단계를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서, 상기 사용자 단말 장치와 통신 가능한 외부 장치를 나타내는 UI 엘리먼트를 상기 서브 영역에 표시하는 단계, 상기 서브 영역에 상기 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받는 단계, 및　상기 입력 받은 사용자 제스처에 응답하여, 상기 사용자 단말 장치와 상기 외부 장치 간에 통신 연결을 수행하는 단계를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치는, 사용자 제스처를 입력 받는 상기 벤디드 터치 스크린, 및 상기 사용자 단말 장치의 외부에 위치한 외부 장치와 상기 사용자 단말 장치가 서로 통신 가능하도록 연결되면, 상기 외부 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하고,
상기 UI 엘리먼트를 선택하는 상기 벤디드 터치 스크린을 통하여　입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 서브 영역에 상기 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시하는 것을 특징으로 할 수 있다.
상기 제어부는, 상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 외부 장치의 기능을 제어하는 것을 특징으로 할 수 있다.
상술한 목적을 달성하기 위한 본 개시의 예시적인 또 다른 일 실시 예에 따르면,　사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치에 있어서, 사용자 제스처를 입력 받는 상기 벤디드 터치 스크린, 및 상기 사용자 단말 장치로부터 상기 사용자 단말 장치와 관련된 액세서리 장치가 분리되면, 상기 액세서리 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하고, 상기 UI 엘리먼트를 선택하는 상기 벤디드 터치 스크린을 통하여　입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 것을 특징으로 할 수 있다.
사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치에 있어서, 사용자 제스처를 입력 받는 상기 벤디드 터치 스크린, 및 상기 사용자 단말 장치와 통신 가능한 외부 장치를 나타내는 UI 엘리먼트를 상기 서브 영역에 표시하고, 상기 UI 엘리먼트를 선택하는 상기 벤디드 터치 스크린을 통하여　입력 받은 사용자 제스처에 응답하여, 상기 사용자 단말 장치와 상기 외부 장치 간에 통신 연결을 수행하는 제어부를 포함할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 사용자는 벤디드 터치 스크린을 이용하여 사용자 단말 장치의 기능을 제어할 수 있다. 이에 따라, 사용자 편의성 및 만족도가 향상될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 2 내지 도 10은 벤디드 터치 스크린의 다양한 구성 예를 나타내는 도면,
도 11은 본 개시의 다양한 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 12는 사용자 단말 장치의 소프트웨어 구성의 일 예를 나타내는 도면,
도 13 내지 도 23은 본 개시의 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면,
도 24 내지 도 26은 본 개시의 일 실시 예에 따른 이북 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면,
도 27 및 도 28은 본 개시의 일 실시 예에 따른 웹 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면,
도 29 및 도 30은 본 개시의 일 실시 예에 따른 메모 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면,
도 31 및 도 32는 본 개시의 일 실시 예에 따른 메모 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면, 그리고,
도 33 및 도 34는 본 개시의 다양한 실시 예에 따른 사용자 단말 장치의 인터랙션 방법을 설명하기 위한 흐름도,
도 35 내지 도 44는 본 개시의 일 실시 예에 따른 외부 장치와 연결되어 사용자 인터렉션을 수행하는 도면,
도 45 및 도 46은 본 개시의 일 실시 예에 따른 서브 영역에 표시되는 패널을 대상으로 사용자 인터렉션을 수행하는 도면,
도 47 및 도 48은 본 개시의 일 실시 예에 따른 메인 영역과 서브 영역 의 경계를 기준으로 사용자 인터렉션을 수행하는 도면,
도 49는 커버를 가지는 벤디드 터치 스크린의 다양한 구성 예를 나타내는 도면,
도 50 내지 도 52는 본 개시의 다양한 실시 예에 따른 사용자 단말 장치의 인터랙션 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 개시에 대하여 구체적으로 설명한다.
도 1은 본 개시의 다양한 실시 예를 설명하기 위한 사용자 단말 장치의 기본 구성의 일 예를 나타내는 블록도이다. 도 1의 사용자 단말 장치(1000)는 구체적으로는, TV, PC, 랩탑 PC, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 테이블 디스플레이 장치 등과 같이 다양한 유형의 장치로 구현될 수 있다. 휴대폰이나 태블릿 PC, PDA, MP3 플레이어, 랩탑 PC 등과 같이 휴대 가능한 유형의 장치로 구현되는 경우에는 모바일 디바이스로 명명할 수도 있으나, 본 명세서에서는 사용자 단말 장치로 통칭하여 설명한다.
도 1에 따르면, 사용자 단말 장치(1000)는 벤디드 터치 스크린(100) 및 제어부(200)를 포함한다.
벤디드 터치 스크린(100)은 메인 영역과 적어도 하나의 서브 영역으로 구분된다. 여기서 메인 영역과 서브 영역은 다양한 의미로 정의될 수 있다. 일 예로, 두 영역 중 상대적으로 크기가 큰 영역을 메인 영역이라고 하고, 크기가 작은 영역을 서브 영역이라고 정의할 수 있다. 또는, 홈 화면으로 복귀하기 위한 홈 버튼이나 전면 스피커 등이 배치된 면과 동일한 면에 위치한 영역을 메인 영역이라고 하고, 사이드 면이나 후면에 위치한 영역을 서브 영역이라고 정의할 수도 있다. 또는, 메인 영역은 영역 내의UI 엘리먼트를 직접 컨트롤할 수 있는 영역을 의미하고, 서브 영역은 메인 영역의 UI 엘리먼트를 컨트롤할 수 있는 영역을 의미하는 것으로 정의할 수도 있다.
서브 영역의 면적은 메인 영역보다는 작을 수 있다. 또한, 적어도 하나의 서브 영역은 메인 영역과 상이한 면을 형성할 수 있다. 가령, 메인 영역이 사용자 단말 장치(1000)의 전면(front surface)에 배치되었다면, 적어도 하나의 서브 영역은 사용자 단말 장치(1000)의 외관을 이루는 면(surface)들 중에서 우측면(right side surface), 좌측면(left side surface), 후면(back surface)과 같이 서로 다른 면에 배치될 수 있다. 메인 영역을 포함하는 면과, 적어도 하나의 서브 영역을 포함하는 면은 둔각을 이루도록 고정될 수 있다. 서브 영역의 형태, 위치, 개수는 실시 예에 따라 다양하게 구현될 수 있다. 이에 대해서는 후술하는 부분에서 도면과 함께 구체적으로 설명한다.
제어부(200)는 벤디드 터치 스크린(100)의 메인 영역 및 적어도 하나의 서브 영역을 개별적으로 제어할 수 있다. 가령, 메인 영역 및 적어도 하나의 서브 영역에서는, 서로 다른 컨텐츠를 디스플레이할 수 있다. 메인 영역 및 적어도 하나의 서브 영역에 표시되는 컨텐츠의 종류, 표시 방법, 레이아웃 등은 실시 예에 따라 다양하게 변경될 수 있다. 이에 대해서는, 후술하는 부분에서 구체적으로 설명한다.
도 2는 하나의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 외관 구성의 예를 나타내는 도면이다.
도 2에 따르면, 벤디드 터치 스크린(100)은 사용자 단말 장치(1000)의 전면(front surface)에 배치된 메인 영역(1010) 및 사용자 단말 장치(1000)의 우측면에 배치된 서브 영역(1020)으로 구분될 수 있다. 도 2에서는, 메인 영역(1010)과 서브 영역(1020)은 경계 영역(1050)을 기준으로 구분된다. 벤디드 터치 스크린(100)이 벤딩된 상태라는 점을 고려하여, 경계 영역(1050)은 다르게는 벤딩 라인이라고 표현할 수도 있다.
도 3은 도2의 사용자 단말 장치의 단면 구성을 나타내는 도면이다. 도 3에 따르면, 벤디드 터치 스크린(100)의 메인 영역(1010)과 서브 영역(1020)은 사용자 단말 장치(1000)의 전면 및 측면에 각각 배치된다.
도 4 및 도 5는 두 개의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 외관 구성 예 및 그 단면 구성 예를 나타내는 도면이다.
도 4에 따르면, 메인 영역(1010)은 전면에 배치되고, 우측면 및 좌측면에 각각 서브 영역(1020, 1030)이 배치된다. 메인 영역(1010)과 각 서브 영역(1020, 1030)은 경계 영역(1050-1, 1050-2)에 의해 구분된다.
도 5는 도4의 사용자 단말 장치(1000)의 단면 구성을 나타낸다. 도 5에 따르면, 각 서브 영역(1020, 1030)은 전면 방향에서 시청 가능하도록 메인 영역(1010)과 둔각을 이루면서 배치될 수 있다.
도 6 및 도 7은 두 개의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 또 다른 예를 나타내는 도면이다. 도 6에 따르면, 두 개의 서브 영역(1020, 1030)은 메인 영역(1010)을 기준으로 양 측면에 배치되며, 전면 방향이 아닌 우측 및 좌측 방향에서 시청 가능한 각도로 고정될 수 있다. 즉, 도 7에 따르면, 각 서브 영역(1020, 1030)은 메인 영역(1010)을 포함하는 면과, 90도에 가깝게 벤딩될 수 있다.
한편, 본 개시의 또 다른 실시 예에 따르면, 서브 영역은 메인 영역(1010)의 반대 방향 측에 배치될 수도 있다.
도 8 및 도 9는 두 개의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 또 다른 예를 나타낸다. 도 8 및 도 9에 따르면, 벤디드 터치 스크린(100)은 전면에 형성된 메인 영역(1010), 측면에 형성된 제1 서브 영역(1020), 후면에 형성된 제2 서브 영역(1040)으로 구분된다. 도 9에서는, 제2 서브 영역(1030)은 후면 전체를 덮지 않고, 후면의 일부 영역에만 형성될 수 있다. 제어부(200)는 제1 경계 영역(1050-1) 및 제3 경계 영역(1050-3)을 기준으로, 메인 영역(1010), 제1 서브 영역(1020), 제2 서브 영역(1040)을 구분하여, 영역별로 상이한 컨텐츠를 디스플레이할 수 있다.
한편, 도3 내지 도 9에서는, 서브 영역(1020, 1030)이 라운드 형태인 곡면 형태로 구성되어 메인 영역(1010)을 포함하는 면과 서브 영역(1020, 1030)을 포함하는 곡면이 둔각(θ)을 이루도록 서로 연결된 것을 도시하였으나, 서브 영역(1020, 1030, 1040)도 평면 형태로 구성될 수 있다. 이 경우, 메인 영역(1010)을 포함하는 평면과, 서브 영역(1020, 1030, 1040)을 포함하는 평면은, 경계 라인을 따라 접할 수 있다. 즉, 경계 영역(1050-1, 1050-2, 1050-3)은 라인 형상이 될 수도 있다.
한편, 사용자 단말 장치(1000)는 삼각형 형태의 단면을 가질 수 있다. 이 경우, 메인 영역(1010)을 포함하는 면과 서브 영역(1020)을 포함하는 면은 경계 영역(1050)에서 둔각(θ)을 이루도록 서로 연결된다. 이 밖에도, 단면 구성은 사다리꼴, 5각형 등과 같은 다양한 형태로 구성될 수 있다.
또한, 이상에서는 벤디드 터치 스크린(100)이 사용자 단말 장치의 전면을 기준으로 가로 방향으로 벤딩된 상태를 도시하였으나, 반드시 이에 한정되는 것은 아니다. 즉, 벤디드 터치 스크린(100)은 사용자 단말 장치(1000)의 전면을 기준으로 세로 방향으로 벤딩될 수도 있다.
도 10은 벤디드 터치 스크린(100)이 세로 방향으로 벤딩된 상태를 나타낸다. 구체적으로는, 벤디드 터치 스크린(100)은 사용자 단말 장치(1000)의 전면에 배치된 메인 영역(1010) 및 하측 면에 배치된 서브 영역(1020)으로 구분될 수 있다. 메인 영역(1010)의 상측에는 스피커부(390)가 배치될 수 있다.
한편, 도1에서는, 벤디드 터치 스크린(100) 및 제어부(200)를 포함하는 사용자 단말 장치의 구성을 도시하였으나, 실시 예에 따라서, 사용자 단말 장치(1000)는 다양한 구성요소를 더 포함할 수 있다. 가령, 사용자 단말 장치(1000)는 각종 어플리케이션이 저장된 메모리를 더 포함할 수 있다. 제어부(200)는 사용자 제스처에 따라 메모리에 저장된 어플리케이션을 실행시켜, 그 어플리케이션이 제공하는 컨텐츠를 메인 영역 또는 서브 영역 중 적어도 하나에 표시할 수 있다. 다시 말하자면, 제어부(200)는 그 어플리케이션이 제공하는 컨텐츠가 메인 영역 또는 서브 영역 중 적어도 하나에 표시되도록 벤디드 터치 스크린(100)을 제어할 수 있다.
컨텐츠에는 UI(User Interaction) 엘리먼트가 포함될 수 있다. UI 엘리먼트는 사용자와 인터렉션이 가능하여 사용자 입력에 따라 시각적, 청각적, 후각적 등 피드백이 가능한 엘리먼트를 의미한다. UI 엘리먼트는 이미지, 텍스트 및 동영상 중 적어도 하나의 형태로 표현될 수 있으며, 또는, 상술한 정보가 디스플레이되지 않더라도 사용자 입력에 따라 피드백이 가능한 일 영역이 있으면, 이 영역을 UI 엘리먼트라 할 수 있다. UI 엘리먼트, 예로, 특정 기능을 수행하는 오브젝트 또는 어플리케이션 식별 정보로서 어플리케이션에 대응하는 아이콘이 될 수 있다.
또한, 본 개시에서는 메인 영역에 표시되는 컨텐츠는 메인 컨텐츠, 서브 영역에 표시되는 컨텐츠는 서브 컨텐츠로 명명하여 설명한다. 제어부(200)는 메인 컨텐츠와 서브 컨텐츠를 다른 레이아웃으로 표시할 수 있다. 제어부(200)는 어플리케이션이 변경되면, 변경된 어플리케이션에 따른 메인 컨텐츠 및 서브 컨텐츠를 메인 영역 및 서브 영역에 각각 디스플레이할 수 있다.
그 밖에도 사용자 단말 장치(1000)는 다양한 형태로 구성될 수 있다.
도 11은 휴대폰으로 구현된 사용자 단말 장치(1000)의 세부 구성의 일 예를 나타내는 블럭도이다. 도 11에 따르면, 사용자 단말 장치(1000)는 벤디드 터치 스크린(100), 제어부(200), 저장부(310), GPS 칩(320), 통신부(330), 비디오 프로세서(340), 오디오 프로세서(350), 버튼(360), 마이크부(370), 촬상부(380), 스피커부(390), 움직임 감지부(400)를 포함한다.
벤디드 터치 스크린(100)은 상술한 바와 같이 메인 영역 및 적어도 하나의 서브 영역으로 구분될 수 있다. 벤디드 터치 스크린(100)은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 벤디드 터치 스크린(100) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 또한, 벤디드 터치 스크린(100)은 플렉서블 디스플레이로 구현될 수도 있다. 또는, 플렉서블 하지 않은 일반 디스플레이로 구현될 수도 있다. 일반 디스플레이로 구현되는 경우, 복수의 디스플레이를 서로 연결하여 벤디드 터치 스크린(100)을 구성할 수 있다.
한편, 벤디드 터치 스크린(100)은 터치 패널(미도시) 및 펜 인식 패널(미도시)을 포함할 수 있다.
터치 패널은 사용자의 손가락 제스처 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널은 벤디드 터치 스크린(100)의 메인 영역 및 서브 영역 아래에 모두 실장될 수 있으며, 또는 벤디드 터치 스크린(100)의 서브 영역 아래에만 실장될 수 있다. 터치 패널이 사용자의 손가락 제스처 입력을 감지하는 방식에는 정전식 방식과 감압식 방식이 있을 수 있다. 정전식은 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 패널에 내장된 두 개의 전극 판을 포함하여, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다.
펜 인식 패널은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 사용자의 펜 제스처 입력을 감지하고, 펜 근접 이벤트 값 또는 펜 터치 이벤트 값을 출력할 수 있다. 펜 인식 패널은 벤디드 터치 스크린(100)의 메인 영역 아래에 실장될 수 있다. 펜 인식 패널은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다.
저장부(310)는 사용자 단말 장치(1000)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로는, 저장부(310)에는 메인 영역 및 서브 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다. 제어부(200)는 저장부(310)에 저장된 프로그램 및 데이터를 이용하여 벤디드 터치 스크린(100)의 메인 영역 및 서브 영역 각각에 컨텐츠를 표시한다. 다시 말해, 제어부(200)는 벤디드 터치 스크린(100)이 컨텐츠를 표시하도록 제어할 수 있다. 또한, 제어부(200)는 메인 영역, 서브 영역 및 그 사이의 경계에 해당하는 경계 영역에 대하여 사용자 터치가 이루어지면, 그 터치에 대응되는 제어 동작을 수행한다.
제어부(200)는 RAM(210), ROM(220), CPU(230), GPU(Graphic Processing Unit)(240), 버스(250)를 포함한다. RAM(210), ROM(220), CPU(230), GPU(Graphic Processing Unit)(240) 등은 버스(250)를 통해 서로 연결될 수 있다.
CPU(230)는 저장부(310)에 액세스하여, 저장부(310)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 저장부(310)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(220)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(230)는 ROM(220)에 저장된 명령어에 따라 저장부(310)에 저장된 O/S를RAM(210)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(230)는 저장부(310)에 저장된 각종 프로그램을 RAM(210)에 복사하고, RAM(210)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(240)는 사용자 단말 장치(1000)의 부팅이 완료되면, 메인 영역 및 서브 영역 중에서 활성화된 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(240)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 벤디드 터치 스크린(100)으로 제공되어, 메인 영역 및 서브 영역에 각각 표시된다.
GPS 칩(320)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 사용자 단말 장치(1000)의 현재 위치를 산출하기 위한 구성요소이다. 제어부(200)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(320)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(330)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신부(330)는 와이파이 칩(331), 블루투스 칩(332), 무선 통신 칩(333), NFC 칩(334) 등을 포함한다. 제어부(200)는 통신부(330)를 이용하여 각종 외부 장치와 통신을 수행한다.
와이파이 칩(331), 블루투스 칩(332)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(331)이나 블루투스 칩(332)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(333)은IEEE, 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(334)은135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(340)는 통신부(330)를 통해 수신된 컨텐츠 또는, 저장부(310)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서(340)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(350)는 통신부(330)를 통해 수신된 컨텐츠 또는, 저장부(310)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(350)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
제어부(200)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(340) 및 오디오 프로세서(350)를 구동시켜, 해당 컨텐츠를 재생할 수 있다.
벤디드 터치 스크린(100)은 비디오 프로세서(340)에서 생성한 이미지 프레임을 메인 영역, 서브 영역 중 적어도 하나의 영역에 디스플레이할 수 있다.
또한, 스피커부(390)는 오디오 프로세서(350)에서 생성한 오디오 데이터를 출력한다.
버튼(360)은 사용자 단말 장치(1000)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
마이크 부(370)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 제어부(200)는 마이크 부(370)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(310)에 저장할 수 있다.
촬상부(380)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 촬상부(380)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다. 상술한 바와 같이, 촬상부(380)는 사용자의 시선 추적을 위한 실시 예에서 사용자의 이미지를 획득하기 위한 수단으로 사용될 수 있다.
촬상부(380) 및 마이크 부(370)가 마련된 경우, 제어부(200)는 마이크 부(370)를 통해 입력되는 사용자 음성이나 촬상부(380)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 사용자 단말 장치(1000)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(200)는 촬상부(380)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 제어부(200)는 마이크 부(370)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다.
모션 제어 모드나 음성 제어 모드가 지원되는 사용자 단말 장치(1000)에서는, 음성 인식 기술 또는 모션 인식 기술이 상술한 다양한 실시 예에 사용될 수 있다. 가령, 사용자가 홈 화면에 표시된 오브젝트를 선택하는 듯한 모션을 취하거나, 그 오브젝트에 대응되는 음성 명령어를 발음하는 경우, 해당 오브젝트가 선택된 것으로 판단하고, 그 오브젝트에 매칭된 제어 동작을 수행할 수 있다.
움직임 감지부(400)는 사용자 단말 장치(1000)의 본체 움직임을 감지하기 위한 구성요소이다. 즉, 사용자 단말 장치(1000)는 다양한 방향으로 회전되거나 기울어질 수 있다. 움직임 감지부(400)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 11에 도시하지는 않았으나, 실시 예에 따라서는, 사용자 단말 장치(1000) 내에USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.
한편, 상술한 바와 같이, 저장부(310)에는 다양한 프로그램이 저장될 수 있다. 도 12는 사용자 단말 장치(1000)에 저장된 소프트웨어의 구조를 설명하기 위한 도면이다. 도 12에 따르면, 저장부(310)에는 OS(1210), 커널(1220), 미들웨어(1230), 어플리케이션(1240) 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System: OS, 1210)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(1210)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(1220)은 벤디드 터치 스크린(100)에서 감지되는 터치 신호 등을 비롯한 각종 신호들을 미들웨어(1220)로 전달하는 통로 역할을 한다.
미들웨어(1220)는 사용자 단말 장치(1000)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 12에 따르면, 미들웨어(1230)는 X11 모듈(1230-1), APP 매니저(1230-2), 연결 매니저(1230-3), 보안 모듈(1230-4), 시스템 매니저(1230-5), 멀티미디어 프레임워크(1230-6), UI 프레임워크(1230-7), 윈도우 매니저(1230-8), 필기 인식 모듈(1230-9)을 포함한다.
X11 모듈(1230-1)은 사용자 단말 장치(1000)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 제스처가 감지되는 이벤트, 시스템 알람(alarm)이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(1230-2)는 저장부(310)에 설치(install)된 각종 어플리케이션(1240)의 실행 상태를 관리하는 모듈이다. APP 매니저(1230-2)는 X11 모듈(1230-1)로부터 어플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다.
연결 매니저(1230-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(1230-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
보안 모듈(1230-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(1230-5)는 사용자 단말 장치(1000) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(1230-5)는 그 모니터링 결과를 메인 UI 프레임워크(1230-7)나 서브UI 프레임워크(1230-9)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(1230-6)는 사용자 단말 장치(1000)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(1230-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
메인 UI 프레임워크(1230-7)는 벤디드 터치 스크린(100)의 메인 영역에 표시할 각종 UI를 제공하기 위한 모듈이고, 서브 UI 프레임워크(1230-9)는 서브 영역에 표시할 각종 UI를 제공하기 위한 모듈이다. 메인 UI 프레임워크(1230-7) 및 서브 UI 프레임워크(1230-9)는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
윈도우 매니저(1230-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(1230-8)는 이러한 이벤트가 감지되면 메인 UI 프레임워크(1230-7) 또는 서브 UI 프레임워크(1230-9)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
그 밖에도, 사용자가 화면을 터치 및 드래그하는 경우, 그 드래그 궤적에 따라 라인을 드로잉하기 위한 필기 모듈이나, 움직임 감지부(400)에서 감지된 센서 값에 기초하여 피치각, 롤각, 요우각 등을 산출하기 위한 각도 산출 모듈 등과 같은 다양한 프로그램 모듈이 저장될 수도 있다.
어플리케이션 모듈(1240)은 다양한 기능을 지원하기 위한 어플리케이션들(1240-1 ~ 1240-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 어플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다. CPU(230)는 오브젝트가 선택되면, 어플리케이션 모듈(1240)을 이용하여 선택된 오브젝트에 대응되는 어플리케이션을 실행시킬 수 있다.
도 12에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(310)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
한편, 상술한 바와 같이 사용자 단말 장치(1000)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 따라서, 도 11 및 도 12에서 설명한 구성은, 사용자 단말 장치(1000)의 종류에 따라 다양하게 변형될 수 있다.
이상에서 설명한 바와 같이, 사용자 단말 장치(1000)는 다양한 형태 및 구성으로 구현될 수 있다. 사용자 단말 장치(1000)의 제어부(200)는 실시 예에 따라 다양한 사용자 인터렉션을 지원할 수 있다.
이하에서는, 본 개시의 다양한 실시 예에 따른 사용자 인터렉션 방법에 대하여 구체적으로 설명한다.
도 13은 본 개시의 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 13의1310을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(1311) 또는 빈 화면을 표시하고, 서브 영역(1020)에는 이미지를 편집하거나 또는 빈 화면에 이미지를 그리기 위한 메뉴(1312)가 표시할 수 있다. 메뉴(1312)는 펜 종류로서 연필을 선택하는 연필 오브젝트(1312-1), 펜의 굵기를 선택하는 펜 굵기 오브젝트(1312-2), 펜 종류로서 브러시를 선택하는 브러시 오브젝트(1312-3), 메인 영역(1010) 상에 이미지를 삭제하는 지우개 오브젝트(1312-4) 중 적어도 하나를 포함할 수 있다. 이때, 서브 영역(1020)에 연필 오브젝트(1312-1)은 선택된 상태일 수 있다. 예를 들어, 연필 오브젝트(1312-1)은 이미지 편집 어플리케이션이 실행될 때 디폴트로 선택될 수 있다.
도 13의1320을 참조하면, 연필 오브젝트(1312-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1322)를 입력받을 수 있다. 예를 들어, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 일 지점을 터치 후, 이동하고, 상기 일 지점과 다른 지점에서 상기 터치를 해제하는 펜 제스처(1322)를 입력받을 수 있다.
제어부(200)는 입력받은 펜 제스처(1322)에 응답하여, 이동된 궤적에 대응하는 영역(1321)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 연필 오브젝트(1312-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1321)에 연필로 그려진 형태가 나타나도록 표시할 수 있다.
도 14는 본 개시의 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 14의1410을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(1311)를 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1312)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1312)에 포함된 브러시 오브젝트(1312-3)을 선택하는 사용자의 손가락 제스처(1411)(예로, 손가락 터치 제스처)를 입력받을 수 있다. 이때, 사용자의 손바닥은 사용자 단말 장치(1000)의 뒷면에 접촉될 수 있으며, 사용자 단말 장치(1000)는 손가락 제스처를 수행하는 사용자의 손바닥을 사용자 단말 장치(1000)의 뒷면에서 감지할 수 있다.
도 14의1420을 참조하면, 브러시 오브젝트(1312-3)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(1422)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1422)에 응답하여, 이동된 궤적에 대응하는 영역(1421)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 브러시 오브젝트(1312-3)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1421)에 브러시로 그려진 형태가 나타나도록 표시할 수 있다.
도 15a 및 도 15b는 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 15a의1510을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(1311)를 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1312)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1312)에 포함된 브러시 오브젝트(1312-3)을 선택하는 사용자의 손가락 제스처(1511)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 15a의1520을 참조하면, 브러시 오브젝트(1312-3)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1522)를 입력받을 수 있다. 이때, 사용자는 서브 영역(1020)에 포함된 브러시 오브젝트(1312-3) 상에 계속하여 손가락 제스처(1511)(예로, 손가락 터치 제스처)를 유지할 수 있다. 제어부(200)는 손가락 터치 제스처가 유지된 상태에서 입력받은 펜 제스처(1522)에 응답하여, 이동된 궤적에 대응하는 영역(1521)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 브러시 오브젝트(1312-3)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1521)에 브러시로 그려진 형태가 나타나도록 표시할 수 있다.
도 15b의1530을 참조하면, 벤디드 터치 스크린(100)은 서브 영역(1020)에 포함된 브러시 오브젝트(1312-3) 상에 손가락 제스처(1511) (예로, 손가락 터치 제스처)를 해제하는 손가락 제스처(1531)(예로, 터치 해제 제스처)를 입력받을 수 있다.
도 15b의1540을 참조하면, 손가락 터치 제스처가 해제된 경우, 제어부(200)는 메뉴(1312)에 포함된 연필 오브젝트(1312-1)을 자동적으로 선택할 수 있다. 손가락 터치 제스처가 해제된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1542)를 계속하여 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1542)에 응답하여, 연필 오브젝트(1312-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1541)에 연필로 그려진 형태가 나타나도록 표시할 수 있다.
도 16은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 16의1610을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(1311)를 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1312)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1312)에 포함된 지우개 오브젝트(1312-4)을 선택하는 사용자의 손가락 제스처(1611)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 16의1620을 참조하면, 지우개 오브젝트(1312-4)이 선택된 상태에서, 메인 영역(1010) 상에 이동하는 펜 제스처(1622)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1322)에 응답하여, 이동된 궤적에 대응하는 영역(1621)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 지우개 오브젝트(1312-4)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1621)에 표시된 이미지를 지우거나, 상기 이미지를 바탕화면의 색과 동일하게 변형하여 표시할 수 있다.
도 17은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 17의1710을 참조하면, 제어부(200)는 메인 영역(100)에는 이미지가 없는 빈 화면(1711)을 표시하고, 서브 영역(1020)에는 이미지를 그리기 위한 메뉴(1712)를 표시할 수 있다. 메뉴(1712)는 가상의 이미지를 그리는 연습 오브젝트(1712-1), 직선을 그리는 직선 오브젝트(1712-2), 사각형을 그리는 사각형 오브젝트(1712-3), 곡선을 그리는 곡선 오브젝트(1713-4) 또는 원을 그리는 원 오브젝트(1713-5) 중 적어도 하나를 포함할 수 있다. 사용자 단말 장치(1000)는 메뉴(1712)에 포함된 연습 오브젝트(1712-1)을 선택하는 사용자의 손가락 제스처(1713)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 17의1720을 참조하면, 연습 오브젝트(1712-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1722)를 입력받을 수 있다. 이때, 사용자는 서브 영역(1020)에 포함된 연습 오브젝트(1712-1) 상에 계속하여 손가락 제스처(1713)(예로, 손가락 터치 제스처)를 유지할 수 있다. 사용자의 손가락 제스처(1713)가 유지된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 제스처(1722)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1722)에 응답하여, 이동된 궤적에 대응하는 영역(1721)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 연습 오브젝트(1712-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1721)에 점선 또는 명암이 낮은 선을 표시할 수 있다.
연습 오브젝트(1712-1)을 해제하는 사용자의 손가락 제스처(예로, 터치 해제 제스처)가 입력되는 경우, 제어부(200)는 시각적으로 변형하여 표시된 이동된 궤적에 대응하는 영역(1721)을 변형 전의 형태로 되돌릴 수 있다. 예를 들어, 이동된 궤적에 대응하는 영역(1721)에 적용된 점선 또는 명암이 낮은 색으로 표시된 선(1721)이 메인 영역(1010) 상에서 삭제될 수 있다.
도 18은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 18의 1810을 참조하면, 제어부(200)는 메인 영역(1010)에는 이미지가 없는 빈 화면(1711)을 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1712)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1712)에 포함된 직선 오브젝트(1712-2)을 선택하는 사용자의 손가락 제스처(1811)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 18의 1820을 참조하면, 직선 오브젝트(1712-2)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(1822)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(1822)에 응답하여, 이동된 궤적에 대응하는 영역(1821)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 직선 오브젝트(1712-2)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(1821)이 직선으로 나타나도록 표시할 수 있다. 다시 말해, 제어부(200)는 펜 제스처(1822)에 의하여 이동된 궤적에 대응하는유사한 방식으로, 서브 영역(1020)에 사각형 오브젝트(1712-3) 또는 원 오브젝트(1712-5)이 손가락 제스처를 이용하여 선택된 경우, 제어부(200)는 메인 영역(1010) 상에서 펜 제스처(미도시)에 의하여 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 사각형 오브젝트(1712-3)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)의 시작점 및 종료점을 인식하고, 시작점 및 종료점 각각이 꼭짓점이 되는 사각형이 나타나도록 표시할 수 있다. 또한, 원 오브젝트(1712-5)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)의 시작점 및 종료점을 인식하고, 시작점을 원점으로 갖고 시작점과 종료점 간에 거리를 반지름으로 갖는 원이 메인 영역(1010) 상에 나타나도록 표시할 수 있다.
도 19는 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 19의1910을 참조하면, 제어부(200)는 메인 영역(1010)에는 이미지가 없는 빈 화면(1711)을 표시하고, 서브 영역(1020)에는 이미지를 편집하기 위한 메뉴(1712)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(1712)에 포함된 곡선 오브젝트(1712-4)을 선택하는 사용자의 손가락 제스처(1911)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 19의1920을 참조하면, 곡선 오브젝트(1712-4)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에 이동하는 펜 제스처(1922)를 입력받을 수 있다. 또한, 벤디드 터치 스크린(100)은 서브 영역(1020) 상에 두 지점(1923-1,1923-2)을 터치하는 멀티 손가락 제스처(1923)를 입력받을 수 있다. 제어부(200)는 펜 제스처(1922) 및 멀티 손가락 제스처(1923)에 응답하여, 두 지점(1923-1,1923-2)의 위치와 관련된 이동된 궤적에 대응하는 영역(1921)에 곡선 오브젝트(1712-4)에 대응하는 기능을 적용할 수 있다. 예를 들어, 제어부(200)는 곡선 오브젝트(1712-4)에 대응하는 기능이 적용된 결과로서, 멀티 지점에 대응하는 메인 영역(1010)에 수평선들을 기준으로 수평선들의 바깥쪽에 해당하는 영역들(1711-1,1711-3)에 포함된 이동된 궤적에 대응하는 영역(1921-1,1921-3)에는 표시를 하지 않고, 수평선들의 안쪽에 해당하는 영역(1711-2)에 포함된 이동된 궤적에 대응하는 영역(1921-2,1921-4)에는 곡선이 나타나도록 표시할 수 있다. 도 19의 1920을 참조하면, 서브 영역(1020)에는 곡선 오브젝트(1712-4)에 대응하는 기능이 실행 중인 것을 나타내는 아이콘(1924)이 표시될 수 있다.
도 20은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 20의2010을 참조하면, 제어부(200)는 메인 영역(110)에는 카메라 어플리케이션을 이용하여 촬영된 이미지(2011)를 표시하고, 서브 영역(1020)에는 이미지(2011)를 편집하기 위한 메뉴(2012)를 표시할 수 있다. 메뉴(2012)는 말 풍선을 삽입하기 위한 말풍선 오브젝트(2012-1), 선택된 영역에 효과를 적용하는 효과 오브젝트(2012-2) 또는 선택된 영역을 잘라내어 사진으로 저장하는 잘라내기 오브젝트(2012-3) 중 적어도 하나를 포함할 수 있다. 벤디드 터치 스크린(100)은 말풍선 오브젝트(2012-1)을 선택하는 사용자의 손가락 제스처(2013)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 20의2020을 참조하면, 말풍선 오브젝트(2012-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 일 지점을 선택하는 펜 제스처(2022)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2022)에 응답하여, 일 지점에 대응하는 영역(2021)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 말풍선 오브젝트(2021)에 대응하는 기능이 적용된 결과로서, 일 지점에 대응하는 영역(2021)에 말풍선이 나타나도록 표시할 수 있다.
도 21은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 21의2110을 참조하면, 제어부(200)는 메인 영역(1010) 상에는 카메라 어플리케이션을 이용하여 촬영된 이미지(2011)를 표시하고, 서브 영역(1020)에는 이미지(2011)를 편집하기 위한 메뉴(2012)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2012)에 포함된 효과 오브젝트(2012-2)을 선택하는 사용자의 손가락 제스처(2111)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 21의2120을 참조하면, 효과 오브젝트(2012-2)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2122)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2122)에 응답하여, 이동된 궤적에 대응하는 영역(2121)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 효과 오브젝트(2012-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2121)에 기 설정되어 있는 효과를 적용할 수 있다. 예를 들어, 제어부(200)는 이동된 궤적에 대응하는 영역(2121)에 뽀샤시 효과, 세피아 효과, 흑백 효과 또는 만화 효과 중 하나를 적용할 수 있다.
도 22는 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 22의2210을 참조하면, 제어부(200)는 메인 영역(1010)에는 카메라 어플리케이션을 이용하여 촬영된 이미지(2011)를 표시하고, 서브 영역(1020)에는 이미지(2011)를 편집하기 위한 메뉴(2012)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2012)에 포함된 잘라내기 오브젝트(2012-3)을 선택하는 사용자의 손가락 제스처(2211)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 22의2220을 참조하면, 잘라내기 오브젝트(2012-3)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2222)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2222)에 응답하여, 이동된 궤적에 대응하는 영역(2221)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 잘라내기 오브젝트(2012-3)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2221)에 점선 또는 하이라이트된 선이 나타나도록 표시할 수 있다. 그리고 제어부(200)는 상기 표시된 선의 안쪽 영역을 잘라낼 수 있다. 제어부(200)에 의하여 잘라진 영역은 클립보드에 저장되거나, 저장부(310)에 별도 파일로 저장될 수 있다.
도 23은 본 개시의 또 다른 일 실시 예에 따른 이미지 편집 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 23의2310을 참조하면, 제어부(200)는 메인 영역(1010)에는 편집 대상이 되는 이미지(2311)를 표시하고, 서브 영역(1020)에는 이미지(2011)를 편집하기 위한 메뉴(2312)를 표시할 수 있다. 메뉴(2312)는 이미지(2311)에 필터 효과를 적용하기 위한 오브젝트로서, 뽀샤시 필터를 적용하는 뽀샤시 오브젝트(2312-1), 세피아 필터를 적용하는 세피아 오브젝트(2312-2), 흑백 필터를 적용하는 흑백 오브젝트(2312-3) 또는 만화 필터를 적용하는 만화 오브젝트(2312-4) 중 적어도 하나를 포함할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2312)에 포함된 뽀샤시 오브젝트(2312-1)을 선택하는 사용자의 손가락 제스처(2313)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 23의2320을 참조하면, 뽀샤시 오브젝트(2312-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2322)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2322)에 응답하여, 이동된 궤적에 대응하는 영역(2321)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 뽀샤시 오브젝트(2312-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2321)이 다른 영역과 비교하여 대비(contrast)가 높아지고, 이미지가 밝아지며 부드럽게 표시되는 뽀샤시 효과가 적용되도록 표시할 수 있다.
유사한 방식으로, 서브 영역(1020)에 세피아 오브젝트(2312-2), 흑백 오브젝트(2312-3) 또는 만화 오브젝트(2312-4)이 손가락 제스처를 이용하여 선택된 경우, 제어부(200)는 메인 영역(1010) 상에서 펜 제스처(미도시)에 의하여 이동된 궤적에 대응하는 영역(미도시)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 세피아 오브젝트(2312-2)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)에 세피아 효과가 적용되도록 표시할 수 있다. 또한, 흑백 오브젝트(2312-3)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)이 흑색 및 백색의 명암으로 표시되는 흑백 효과가 적용되도록 표시할 수 있다. 또한, 제어부(200)는 만화 오브젝트(2312-4)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)이 만화 이미지와 같은 만화 효과가 적용되도록 표시할 수 있다.
도 24는 본 개시의 일 실시 예에 따른 이북 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 24의2410을 참조하면, 제어부(200)는 메인 영역(1010)은 텍스트를 포함하는 페이지(2411)가 표시되고, 서브 영역(1020)에는 페이지(2411)를 관리하기 위한 메뉴(2412)를 표시할 수 있다. 메뉴(1312)는 페이지(2411) 내의 특정 텍스트를 하이라이트 하는 하이라이트 오브젝트(2412-1), 페이지(2411) 내의 단어를 뜻을 검색하여 표시하는 검색 오브젝트(2412-2) 또는 페이지(2411) 내의 특정 영역을 확대하는 돋보기 오브젝트(2412-3) 중 적어도 하나를 포함할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2412)에 포함된 하이라이트 오브젝트(2412-1)을 선택하는 사용자의 손가락 제스처(2413)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 24의2420을 참조하면, 하이라이트 오브젝트(2412-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2422)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2422)에 응답하여, 이동된 궤적에 대응하는 영역(2421)을 시각적으로 변형하여 표시할 수 있다. 이때, 이동된 궤적에 대응하는 영역(2421)은 이동된 궤적 바로 위에 위치하는 텍스트 또는 텍스트 근처에 영역이 될 수 있다. 제어부(200)는 밑줄 오브젝트(2412-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2421)이 다른 영역과 시각적으로 구별되도록 하이라이트하여 표시할 수 있다. 예를 들어, 제어부(200)는 텍스트 또는 텍스트 근처의 색을, 다른 텍스트 또는 다른 텍스트 근처의 색들과 다르게 표시하거나 또는 동적으로 점멸하는 애니메이션 효과 등을 적용하여 표시할 수 있다.
도 25는 본 개시의 다른 일 실시 예에 따른 이북 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 25의2510을 참조하면, 제어부(200)는 메인 영역(1010)에는 텍스트를 포함하는 페이지(2411)를 표시하고, 서브 영역(1020)에는 페이지(2411)를 관리하기 위한 메뉴(2412)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2412)에 포함된 검색 오브젝트(2412-2)을 선택하는 사용자의 손가락 제스처(2511)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 25의2520을 참조하면, 검색 오브젝트(2412-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2522)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2522)에 응답하여, 이동된 궤적에 대응하는 영역(2521)을 시각적으로 변형하여 표시할 수 있다. 그리고 이동된 궤적에 대응하는 영역(2521)에 포함된 텍스트들로 구성된 단어의 뜻을 검색하여 화면상에 표시할 수 있다. 예를 들어, 제어부(200)는 검색 오브젝트(2412-1)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2521)이 다른 영역과 시각적으로 구별되도록 하이라이트하여 표시할 수 있다. 그리고 제어부(200)는 검색된 단어의 뜻이 이동된 궤적에 대응하는 영역(2521) 근처에 메모장(2523) 상에 포함되도록 표시할 수 있다.
유사한 방식으로, 서브 영역(1020)에 돋보기 오브젝트(2412-3)이 손가락 제스처를 이용하여 선택된 경우, 제어부(200)는 메인 영역(1010) 상에서 펜 제스처(미도시)에 의하여 이동된 궤적에 대응하는 영역(미도시)으로서 이동된 궤적의 안쪽 영역을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)을 확대하여 표시할 수 있다.
도 26은 본 개시의 또 다른 일 실시 예에 따른 이북 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 26의2610을 참조하면, 제어부(200)는 메인 영역(1010)에는 텍스트를 포함하는 페이지(2611)를 표시하고, 서브 영역(1020)에는 페이지(2611)를 관리하기 위한 메뉴(2612)를 표시할 수 있다. 메뉴(2612)는 페이지(2611) 내의 텍스트의 서체를 굵게 표시하는 볼드(bold) 오브젝트(2612-1), 텍스트의 서체를 기울림꼴로 표시하는 이탤릭체 오브젝트(2612-2), 텍스트의 서체에 밑줄을 긋는 언더바 오브젝트(2612-3), 텍스트의 서체에 취소선을 긋는 취소선 오브젝트(2612-4), 텍스트의 서체의 크기를 변경하는 서체 크기 변경 오브젝트(2624-5) 중 적어도 하나를 포함할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2612)에 포함된 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2)을 선택하는 사용자의 손가락 제스처(2613)를 입력받을 수 있다. 이때, 사용자의 손가락 제스처(2613)는 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2)을 거의 동시에 선택하는 멀티 손가락 제스처가 될 수도 있다. 멀티 손가락 제스처는 사용자의 손가락 제스처(2613)는 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2) 중 하나를 먼저 선택하고, 이후 다른 하나를 선택하는 순차적인 손가락 터치 제스처들의 조합이 될 수도 있다.
도 26의2620을 참조하면, 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2622)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2422)에 응답하여, 이동된 궤적에 대응하는 영역(2621)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 볼드 오브젝트(2612-1) 및 이탤릭체 오브젝트(2612-2)에 대응하는 기능이 적용된 결과로서, 이동된 궤적에 대응하는 영역(2621)에 포함된 텍스트의 서체를 기울임 꼴로 굵게 표시할 수 있다.
유사한 방식으로, 서브 영역(1020)에 언더바 오브젝트(2612-3), 취소선 오브젝트(2612-4) 또는 서체 크기 변경 오브젝트(2614-5)이 손가락 제스처를 이용하여 선택된 경우, 제어부(200)는 메인 영역(1010) 상에서 펜 제스처(미도시)에 의하여 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 언더바 오브젝트(2612-3)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)에 포함된 텍스트의 서체에 밑줄이 그어지도록 표시할 수 있다. 또한, 취소선 오브젝트(2612-4)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역(미도시)에 포함된 텍스트의 서체에 취소선이 그어지도록 표시할 수 있다. 또한, 서체 크기 변경 오브젝트(2612-5)이 선택된 경우, 제어부(200)는 이동된 궤적에 대응하는 영역에(미도시) 포함된 텍스트의 크기를 또는 축소하여 표시할 수 있다.
도 27은 본 개시의 다른 일 실시 예에 따른 웹 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 27의2710을 참조하면, 제어부(200)는 메인 영역(1010)에는 컨텐츠를 포함하는 웹 페이지(2711)를 표시하고, 서브 영역(1020)에는 웹 페이지(2711)를 대상으로 웹 페이지 관리 기능을 수행하기 위한 메뉴(2712)를 표시할 수 있다. 메뉴(2712)는 다른 웹 페이지 또는 홈 웹 페이지로 이동하기 위한 인터넷 오브젝트(2712-1), 즐겨찾기로 등록한 웹 페이지 목록을 표시하기 위한 즐겨찾기 오브젝트(2712-2), 웹 페이지(2711)에 선 또는 도형을 그리기 위한 그리기 오브젝트(2712-3), 웹 페이지의 일부를 잘라내기 위한 자르기 오브젝트(2712-4), 편집 전의 화면으로 복귀하기 위한 취소 오브젝트(2712-5) 중 적어도 하나를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2712)에 포함된 자르기 오브젝트(2712-4)을 선택하는 사용자의 손가락 제스처(2713)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 27의2720을 참조하면, 자르기 오브젝트(2712-4)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2722)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2722)에 응답하여, 이동된 궤적에 대응하는 영역(2721)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 이동된 궤적에 대응하는 영역(2721)에 점선 또는 하이라이트된 선이 나타나도록 표시할 수 있다. 그리고 이동하는 펜 제스처(2722)가 위치하는 지점 또는 상기 지점의 근처에는 자르기 오브젝트(2712-4)이 선택 중인 것을 나타내는 아이콘(예로, 가위 아이콘)(2723)이 함께 표시될 수 있다. 제어부(200)는 상기 표시된 선의 안쪽 영역을 잘라낼 수 있다. 제어부(200)에 의하여 잘라진 영역을 원래의 위치에서 변형, 이동 또는 각도를 기울여서 화면 상에 표시할 수 있다. 잘라진 영역은 클립보드에 저장되거나, 저장부(310)에 별도 파일로 저장될 수 있다.
도 28은 본 개시의 다른 일 실시 예에 따른 웹 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 28의2810을 참조하면, 제어부(200)는 메인 영역(1010)에는 컨텐츠를 포함하는 웹 페이지(2711)가 표시되고, 서브 영역(1020)에는 웹 페이지(2711)를 대상으로 웹 페이지 관리 기능을 수행하기 위한 메뉴(2712)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2712)에 포함된 그리기 오브젝트(2712-3)을 선택하는 사용자의 손가락 제스처(2811)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 28의2820을 참조하면, 그리기 오브젝트(2712-3)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2822)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2822)에 응답하여, 이동된 궤적에 대응하는 영역(2821)을 시각적으로 변형하여 표시할 수 있다. 예를 들어, 제어부(200)는 이동된 궤적에 대응하는 영역(2721)에 특정 색을 표시할 수 있다. 특정 색은 사전에 디폴트로 결정되어 있거나, 또는 사용자에 의하여 복수 개의 색들 중에서 선택될 수 있다.
도 29a 및 도 29b는 본 개시의 일 실시 예에 따른 메모 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 29a의2910을 참조하면, 제어부(200)는 메인 영역(1010)에는 빈 화면(2911)을 표시하고, 서브 영역(1020)에는 빈 화면에 표시될 이미지를 처리하기 위한 메뉴(2912)를 표시할 수 있다. 메뉴(2912)는 표시된 이미지를 숫자로 변환하여 전화를 걸기 위한 전화 오브젝트(2912-1), 표시된 이미지를 숫자로 변환하여 계산을 하기 위한 계산기 오브젝트(2912-2), 표시된 이미지를 저장하기 위한 메모 오브젝트(2912-3)을 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2912)에 포함된 계산기 오브젝트(2912-2)을 선택하는 사용자의 손가락 제스처(2913)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 29a의2920을 참조하면, 계산기 오브젝트(2912-2)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(2922)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(2922)에 응답하여, 이동된 궤적에 대응하는 영역(2921)을 시각적으로 변형하여 표시할 수 있다. 그리고 제어부(200)는 계산기 오브젝트(2712-2)에 대응하는 기능이 적용된 결과로서, 표시된 이미지를 숫자 및 연산자로 인식하고 계산을 수행할 수 있다.
도 29b의2930을 참조하면, 제어부(200)는 계산기 오브젝트(2712-2)에 대응하는 기능이 적용된 결과로서, 상기 표시된 이미지를 처리할 수 있는 어플리케이션(2931)을 실행하여 메인 영역(1010) 상에 표시할 수 있다. 예를 들어, 제어부(200)는 계산기 오브젝트(2912-2)에 대응하는 기능을 수행하는 계산기 어플리케이션(2931)을 실행하여 메인 영역(100) 상에 표시할 수 있다. 계산기 어플리케이션(2931)의 실행에 따른 계산 결과(2932)는 메인 영역(100) 상에 표시될 수 있다.
도 30a 및 도 30b는 본 개시의 다른 일 실시 예에 따른 메모 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 30a의3010을 참조하면, 제어부(200)는 메인 영역(1010)에는 빈 화면(2911)을 표시하고, 서브 영역(1020)에는 빈 화면에 표시된 이미지를 처리하기 위한 메뉴(2912)를 표시할 수 있다. 벤디드 터치 스크린(100)은 메뉴(2912)에 포함된 전화 오브젝트(2912-1)을 선택하는 사용자의 손가락 제스처(3011)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 30a의3020을 참조하면, 전화 오브젝트(2912-1)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(3022)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(3022)에 응답하여, 이동된 궤적에 대응하는 영역(3021)을 시각적으로 변형하여 표시할 수 있다. 그리고 제어부(200)는 전화 오브젝트(2912-1)에 대응하는 기능이 적용된 결과로서, 표시된 이미지를 전화번호로 인식하고 전화 걸기를 수행할 수 있다.
도 30b의3030을 참조하면, 제어부(200)는 전화 오브젝트(2912-1)에 대응하는 기능을 수행하는 전화 어플리케이션(3031)이 실행하여 메인 영역(1010) 상에 표시할 수 있다. 제어부(200)는 전화 어플리케이션(3031)을 이용하여 인식된 전화번호로 전화 걸기를 수행하는 화면을 표시할 수 있다.
도 31a 및 도 31b는 본 개시의 일 실시 예에 따른 홈 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 31a의3110을 참조하면, 제어부(200)는 메인 영역(1010)에는 홈 화면(3111)을 표시하고, 서브 영역(1020)에는 홈 화면에 표시된 이미지를 빠르게 처리하기 위한 퀵 오브젝트(3112)을 표시할 수 있다. 벤디드 터치 스크린(100)은 퀵 오브젝트(3112)을 선택하는 사용자의 손가락 제스처(3113)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 31a의3120을 참조하면, 퀵 오브젝트(3112)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(3122)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(3122)에 응답하여, 이동된 궤적에 대응하는 영역(3121)을 시각적으로 변형하여 표시할 수 있다. 그리고 제어부(200)는 퀵 오브젝트(3112)에 대응하는 기능이 적용된 결과로서, 표시된 이미지에 대한 형식을 판단할 수 있다. 판단 결과, 표시된 이미지가 전화번호 형식을 갖는 경우, 제어부(200)는 표시된 이미지를 전화번호로 인식하고 전화 걸기를 수행할 수 있다.
도 31b의3030을 참조하면, 제어부(200)는 퀵 오브젝트(3112)에 대응하는 기능을 수행하는 전화 어플리케이션(3131)을 실행하여 메인 영역(1010) 상에 표시할 수 있다. 제어부(200)는 전화 어플리케이션(3131)을 이용하여 인식된 전화번호로 전화 걸기를 수행하는 화면을 표시할 수 있다.
도 32a 및 도 32b는 본 개시의 일 실시 예에 따른 홈 어플리케이션에서 사용자 인터랙션을 수행하는 과정을 나타내는 도면이다.
도 32a의3210을 참조하면, 제어부(200)는 메인 영역(1010)에는 홈 화면(3111)을 표시하고, 서브 영역(1020)에는 홈 화면에 표시된 이미지를 빠르게 처리하기 위한 퀵 오브젝트(3112)을 표시할 수 있다. 벤디드 터치 스크린(100)은 퀵 오브젝트(3112)을 선택하는 사용자의 손가락 제스처(3213)(예로, 손가락 터치 제스처)를 입력받을 수 있다.
도 32a의3220을 참조하면, 퀵 오브젝트(3112)이 선택된 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010) 상에서 이동하는 펜 제스처(3222)를 입력받을 수 있다. 제어부(200)는 입력받은 펜 제스처(3222)에 응답하여, 이동된 궤적에 대응하는 영역(3221)을 시각적으로 변형하여 표시할 수 있다. 그리고 제어부(200)는 퀵 오브젝트(3112)에 대응하는 기능이 적용된 결과로서, 표시된 이미지에 대한 형식을 판단할 수 있다. 판단 결과, 표시된 이미지가 이메일 형식을 갖는 경우, 제어부(200)는 표시된 이미지를 이메일로 인식하고 이메일 보내기를 수행할 수 있다.
도 32b의3230을 참조하면, 퀵 오브젝트(3112)에 대응하는 기능을 수행하는 이메일 어플리케이션(3231)이 실행되어 화면에 표시될 수 있다. 제어부(200)는 이메일 어플리케이션(3231)을 이용하여 인식된 이메일로 메일을 보내기 위한 이메일 작성 화면을 표시할 수 있다.
도 33은 본 개시의 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 33을 참조하면, 사용자 단말 장치(1000)는 서브 영역(1010) 상에서 손가락 제스처를 입력받을 수 있다(S3301). 또한, 사용자 단말 장치(1000)는 메인 영역 상에서 이동하는 펜 제스처를 입력받을 수 있다(S3303).
사용자 단말 장치(1000)는 입력받은 손가락 제스처가 서브 영역(1010) 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는지 판단할 수 있다(S3305). 만약, 제1 오브젝트를 선택하지 않는 경우, 사용자 단말 장치(1000)는 펜 제스처의 이동된 궤적에 대응하는 영역에 디폴트 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다(S3307).
사용자 단말 장치(1000)는 입력받은 손가락 제스처가 제1 오브젝트 및 제2 오브젝트를 선택하는지 판단할 수 있다(S3309). 예를 들어, 사용자 단말 장치(1000)는 손가락 제스처가 제1 오브젝트 및 제2 오브젝트를 모두 선택하는 멀티 손가락 제스처인지를 판단할 수 있다. 손가락 제스처가 제1 오브젝트만 선택하고 제2 오브젝트를 선택하지 않은 경우, 사용자 단말 장치(1000)는 펜 제스처의 이동된 궤적에 대응하는 영역에 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다(S3311). 반면, 손가락 제스처가 제1 오브젝트 및 제2 오브젝트를 모두 선택하는 멀티 손가락 제스처인 경우, 사용자 단말 장치(1000)는 펜 제스처의 이동된 궤적에 대응하는 영역에 제1 오브젝트와는 다른 제2 오브젝트를 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다(S3313)
도 34는 본 개시의 다른 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 34를 참조하면, 사용자 단말 장치(1000)는 서브 영역(1010) 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받을 수 있다(S3401). 또한, 사용자 단말 장치(1000)는 메인 영역 상에서 이동하는 펜 제스처를 입력받을 수 있다(S3403).
사용자 단말 장치(1000)는 손가락 제스처 및 펜 제스처에 응답하여, 펜 제스처의 이동된 궤적에 대응하는 영역에 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시할 수 있다(S3405).
사용자 단말 장치(1000)는 서브 영역 상에 손가락 제스처의 입력이 유지되는지 판단할 수 있다(S3407). 손가락 제스처의 입력이 유지되는 경우, 사용자 단말 장치(1000)는 펜 제스처의 이동된 궤적에 대응하는 영역에 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 계속하여 시각적으로 변형하여 표시할 수 있다(S3409). 반면, 손가락 제스처가 더 이상 입력되지 않는 경우, 사용자 단말 장치(1000)는 시각적으로 변형하여 표시된 이동된 궤적에 대응하는 영역을 변형 전의 형태로 되돌릴 수 있다(S3411).
이 밖에도, 상술한 다양한 실시 예들에서 설명한 인터랙션들이 수행될 수 있으나, 각 실시 예들에 대한 구체적인 흐름도는 그 도시 및 설명을 생략한다.
도 35 내지 도 44는 본 개시의 일 실시 예에 따른 외부 장치와 연결되어 사용자 인터렉션을 수행하는 도면이다.
일 실시 예에서, 사용자 단말 장치(1000)의 외부에 위치한 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결될 수 있다
여기에서, 사용자 단말 장치(1000)의 외부에 위치한 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되는 것은 유선 또는 무선으로 연결되는 것을 모두 포함할 수 있다. 예를 들어, 사용자 단말 장치(1000)와 외부 장치가 일정 거리에 이내에 위치하거나, 서로 접촉하는 경우, 사용자 단말 장치(1000)와 외부 장치 간에 통신 가능하도록 연결될 수 있다. 예로, 사용자 단말 장치(1000)와 외부 장치 간에 통신 방식으로 블루투스 방식을 이용하는 경우, 사용자 단말 장치(1000)의 블루투스 기능이 온이 되면 통신부(330)는 파워 비콘(Power Beacon) 신호를 외부 장치로 전송할 수 있다. 파워 비콘 신호에 대한 응답으로, 외부 장치는 자신의 연결될 수 있음을 알리는 광고(Advertisement) 신호를 전송할 수 있다. 광고 신호에 대한 응답으로, 사용자 단말 장치(1000)는 연결 요청(Connection request) 신호를 외부 장치로 전송하고, 이에 따라 사용자 단말 장치(1000)와 외부 장치(3511) 간에 통신 세션(Session)이 형성될 수 있다. 이러한 상황에서, 사용자 단말 장치(1000)가 외부 장치와 통신 가능하도록 연결되는 것은 사용자 단말 장치(1000)와 외부 장치(3511) 간에 통신 세션(Session)이 형성된 상태를 의미할 수 있다.
외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되면, 벤디드 터치 스크린(100)은 상기 외부 장치와 관련된 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다. 상기 외부 장치와 관련된 UI 엘리먼트는, 예로, 외부 장치를 식별하기 위한 오브젝트, 외부 장치를 제어하기 위한 오브젝트, 외부 장치와 관련된 어플리케이션에 대응하는 아이콘 중 하나가 될 수 있다.
다음으로, UI 엘리먼트가 서브 영역(1020)에 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처는, 예로, 사용자의 손가락 제스처 또는 사용자의 펜 제스처가 될 수 있다.
사용자 제스처에 응답하여, 제어부(200)는 외부 장치와 관련된 적어도 하나의 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다. 그리고, 복수 개의 또 다른 UI 엘리먼트들 중 일 UI 엘리먼트를 선택하는 사용자 제스처에 응답하여, 제어부(200)는 일 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 서브 영역(1020) 또는 메인 영역(1010)에 표시할 수 있다. 또는, 사용자 제스처에 응답하여, 제어부(200)는 선택된 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 서브 영역(1020) 또는 메인 영역(1010)에 표시할 수 있다.
또 다른 실시 예로, 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되면, 벤디드 터치 스크린(100)은 기 설정된 어플리케이션의 실행 화면을 서브 영역(1020) 또는 메인 영역(1010)에 표시할 수 있다
이와 같이, 외부 장치와 관련된 UI 엘리먼트가 서브 영역을 통하여 표시되는 경우, 메인 영역(1010)에서 표시되는 것과 비교하여 상대적으로 적은 전력이 소모될 수 있다. 또한, 도 49와 같이, 사용자 단말 장치(1000)가 커버를 가지는 상황이라면, 사용자는 커버를 여는 불편함이 없이 서브 영역(1020)을 통하여 신속하고 용이하게 확인할 수 있다.
도 35a의3510을 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 웨어러블 장치(Wearable device)(예로, 손목에 장착할 수 있는 갤럭시 기어 등)(3511)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 웨어러블 장치(3511)와 서로 통신 가능하도록 연결되면, 제어부(200)는 웨어러블 장치(3511)와 관련된 UI 엘리먼트(3512)를 서브 영역(1020)에 표시할 수 있다. UI 엘리먼트(3512)는, 예로, 웨어러블 장치(3511)를 식별하기 위한 오브젝트 또는 웨어러블 장치(3511)와 관련된 어플리케이션에 대응하는 아이콘이 될 수 있다. UI 엘리먼트(3521)가 서브 영역(1020)에 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트(3512)를 선택하는 사용자 제스처를 입력 받을 수 있다.
사용자 제스처 입력에 응답하여, 도 35a의 3520과 같이, 제어부(200)는 웨어러블 장치(3511)와 관련된 복수 개의 UI 엘리먼트들을 서브 영역(1020)에 표시할 수 있다. 그리고, 복수 개의 또 다른 UI 엘리먼트들 중 일 UI 엘리먼트(3521)를 선택하는 사용자 제스처에 응답하여, 제어부(200)는 도 35b의 3530과 같이 일 UI 엘리먼트(3521)에 대응하는 어플리케이션의 실행 화면(3531)을 메인 영역(1010)에 표시할 수 있다. 다른 예로, 제어부(200)는 도 35b의 3540과 같이 일 UI 엘리먼트(3521)에 대응하는 어플리케이션의 실행 화면(3541)을 서브 영역(1020)에 표시할 수 있다.
다음으로, 어플리케이션의 실행 화면(3531,3541)을 통한 사용자 입력에 응답하여, 제어부(200)는 웨어러블 장치(3511)를 제어할 수 있다. 예를 들어, 제어부(200)는, 사용자 입력에 응답하여, 웨어러블 장치(3511)의 홈 화면의 종류를 결정하거나, 웨어러블 장치(3511)에 표시될 알림 어플리케이션의 종류를 결정하거나, 웨어러블 장치(3511)에서 재생될 영상 또는 오디오 컨텐츠를 결정하거나, 웨어러블 장치(3511)가 감지할 사용자 생체 정보를 결정하거나, 또는 웨어러블 장치(3511)에 표시될 시간 정보를 결정할 수 있으나 이에 제한되지는 않는다.
도 36a의 3610을 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 웨어러블 장치(3611)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 웨어러블 장치(3611)와 서로 통신 가능하도록 연결되면, 제어부(200)는 웨어러블 장치(3611)와 관련된 UI 엘리먼트(3612)를 서브 영역(1020)에 표시할 수 있다. UI 엘리먼트(3612)는, 예로, 웨어러블 장치(3611)를 식별하기 위한 오브젝트 또는 웨어러블 장치(3611)와 관련된 어플리케이션에 대응하는 아이콘이 될 수 있다. UI 엘리먼트(3612)가 서브 영역(1020)에 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트(3612)를 선택하는 사용자 제스처를 입력 받을 수 있다.
사용자 제스처 입력에 응답하여, 도 36a의 3620과 같이, 제어부(200)는 UI 엘리먼트(3612)에 대응하는 어플리케이션의 실행 화면(3621)을 메인 영역(1010)에 표시할 수 있다. 다른 예로, 제어부(200)는 도 36b의 3630과 같이 UI 엘리먼트(3612)에 대응하는 어플리케이션의 실행 화면(3631)을 서브 영역(1020)에 표시할 수 있다. 다음으로, 어플리케이션의 실행 화면(3621,3631)을 통한 사용자 입력에 응답하여, 제어부(200)는 웨어러블 장치(3611)를 제어할 수 있다.
도 37a의 3710을 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 웨어러블 장치(3711)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 웨어러블 장치(3711)와 서로 통신 가능하도록 연결되면, 제어부(200)는 웨어러블 장치(3711)와 관련하여 기 설정된 어플리케이션의 실행 화면(3712)을 서브 영역(1020)에 표시할 수 있다. 다른 예로, 제어부(200)는 도 37b의 3720과 같이, 웨어러블 장치(3711)와 관련하여 기 설정된 어플리케이션의 실행 화면(3721)을 메인 영역(1010)에 표시할 수 있다. 다음으로, 어플리케이션의 실행 화면(3712,3721)을 통한 사용자 입력에 응답하여, 제어부(200)는 웨어러블 장치(3711)를 제어할 수 있다.
도 38의 3810을 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 오디오 장치(예로, 스피커, 이어폰, 헤드셋, 마이크, 홈 씨어터(Theater) 등)(3811)와 통신 가능하도록 연결될 수 있다. 예를 들어, 사용자 단말 장치(1000)와 오디오 장치(3811)가 일정 거리에 이내에 위치하거나, 또는 서로 접촉하는 경우, 사용자 단말 장치(1000)와 오디오 장치(3811)는 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 오디오 장치(3811)와 서로 통신 가능하도록 연결되면, 제어부(200)는 오디오 장치(3811)와 관련된 UI 엘리먼트(3812)를 서브 영역(1020)에 표시할 수 있다. UI 엘리먼트(3812)는, 예로, 오디오 장치(3811)를 식별하기 위한 오브젝트 또는 오디오 장치(3811)와 관련된 어플리케이션에 대응하는 아이콘이 될 수 있다. UI 엘리먼트(3812)가 서브 영역(1020)에 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트(3812)를 선택하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처는, 예로, UI 엘리먼트(3812)를 탭하는 사용자의 손가락 제스처 또는 사용자의 펜 제스처가 될 수 있다.
사용자 제스처 입력에 응답하여, 도 38의 3820과 같이, 제어부(200)는 UI 엘리먼트(3812)에 대응하는 어플리케이션의 실행 화면(3821)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션 실행 화면(3821)은, 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 오디오 장치(3811)의 식별 정보(3821-1), 오디오 장치의 상태 정보(예로, 이퀄라이저 정보 또는 재생 중인 볼륨 정보 등)(3821-2,3821-3) 및 오디오 장치(3811)를 제어할 수 있는 UI 엘리먼트(3821-4) 중 적어도 하나를 포함할 수 있다. 오디오 장치(3811)를 제어할 수 있는 UI 엘리먼트(3821-4)는, 예로, 오디오 장치(3811)의 볼륨을 조절할 수 있는 UI 엘리먼트 또는 오디오 장치(3811)의 음향 효과(예로, 힙합, 재즈, 클래식 등)을 선택할 수 있는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 그리고, 어플리케이션의 실행 화면(3821)을 통한 사용자 입력에 응답하여, 제어부(200)는 오디오 장치(3811)의 기능을 제어할 수 있다. 예로, 제어부(200)는 오디오 장치(3811)의 볼륨을 조절할 수 있다.
도 39를 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 디스플레이 장치(3911)(예로, 모니터, 디지털 TV, 타플렛 PC 등)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 디스플레이 장치(3911)와 서로 통신 가능하도록 연결되면, 제어부(200)는 외부에 위치한 디스플레이 장치(3911)와 관련하여 기 설정된 어플리케이션의 실행 화면(3912)을 메인 영역(1010)에 표시할 수 있다. 어플리케이션 실행 화면(3921)은 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 디스플레이 장치(3911)의 식별 정보(3912-1), 디스플레이 장치(3911)를 제어할 수 있는 UI 엘리먼트(3912-2) 또는 디스플레이 장치(3911)의 상태 정보 중 적어도 하나를 포함할 수 있다.
디스플레이 장치(3911)를 제어할 수 있는 UI 엘리먼트(3912-2)는, 예로, 디스플레이 장치(3911)에서 재생할 컨텐츠를 검색하는 UI 엘리먼트, 디스플레이 장치(3911)에서 컨텐츠의 재생을 시작하는 UI 엘리먼트 또는 디스플레이 장치(3911)에서 컨텐츠의 재생을 중지하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 디스플레이 장치(3911)의 상태 정보는, 예로, 디스플레이 장치(3911)에서 재생 중인 영상 컨텐츠의 제목, 영상 컨텐츠가 재생한 시간, 영상 컨텐츠의 출처 또는 영상 컨텐츠의 남은 재생 시간 중 적어도 하나를 포함할 수 있다.
도 40를 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 저장 장치(4011)(예로, 컴퓨터, 서버 등)와 통신 가능하도록 연결될 수 있다. 사용자 단말 장치(1000)가 저장 장치(4011)와 서로 통신 가능하도록 연결되면, 제어부(200)는 저장 장치(4011)와 관련하여 기 설정된 어플리케이션의 실행 화면(4012)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션 실행 화면(4012)은 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 저장 장치(4011)의 식별 정보(4012-1), 사용자 단말 장치(1000)에서 재생할 컨텐츠를 검색하는 UI 엘리먼트(4012-2), 사용자 단말 장치(1000)에서 재생 중인 컨텐츠와 관련된 상태 정보, 사용자 단말 장치(1000)에서 컨텐츠의 재생을 시작하는 UI 엘리먼트 또는 사용자 단말 장치(1000)에서 컨텐츠의 재생을 중지하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 또한, 사용자 단말 장치(1000)에서 재생 중인 컨텐츠와 관련된 정보는 예로, 재생 중인 컨텐츠의 제목, 컨텐츠의 재생 시간, 컨텐츠의 출처 또는 컨텐츠의 남은 재생 시간 중 적어도 하나를 포함할 수 있다.
도 41를 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 입력 장치(4111)(예로, 게임 컨트롤러)가 입력 가능하도록 연결될 수 있다. 예로, 사용자 단말 장치(1000)가 게임 컨트롤러(4111)와 서로 통신 가능하도록 연결되면, 제어부(200)는 게임 컨트롤러(4111)와 관련하여 기 설정된 어플리케이션의 실행 화면(4112)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션 실행 화면(4112)은 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 게임 컨트롤러(4111)의 식별 정보(4112-1), 게임 컨트롤러(4111)를 제어할 수 있는 UI 엘리먼트(4112-3) 또는 게임 컨트롤러(4111)의 상태 정보(4112-2) 중 적어도 하나를 포함할 수 있다. 게임 컨트롤러(4111)를 제어할 수 있는 UI 엘리먼트(4112-3)는, 예로, 게임 컨트롤러(4111)를 통하여 제어할 영상 컨텐츠를 검색하는 UI 엘리먼트, 게임 컨트롤러(4111)를 통하여 제어되는 영상 컨텐츠의 재생을 시작하는 UI 엘리먼트 또는 게임 컨트롤러(4111)를 통하여 재생 중인 영상 컨텐츠의 재생을 중지하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 또한, 게임 컨트롤러(4111)의 상태 정보(4112-2)는, 예로, 게임 컨트롤러(4111)의 바테리 잔량, 또는 게임 컨트롤러(4111) 와의 네트워크 접속 상태 등이 될 수 있다.
도 42를 참조하면, 사용자 단말 장치(1000)는 외부에 위치한 입력 장치(4211)(예로, 키보드, 마우스)와 통신 가능하도록 연결될 수 있다. 예로, 사용자 단말 장치(1000)가 키보드(4211)와 서로 통신 가능하도록 연결되면, 제어부(200)는 외부에 위치한 입력 장치(4211)와 관련하여 기 설정된 어플리케이션의 실행 화면(4212)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션 실행 화면(4212)은 예로, 사용자 단말 장치(1000)와 연결 중임을 나타내는 키보드(4211)의 식별 정보(4212-1), 키보드(4211)를 제어할 수 있는 UI 엘리먼트(4212-3) 또는 키보드(4211)의 상태 정보(4212-2) 중 적어도 하나를 포함할 수 있다. 키보드(4211)를 제어할 수 있는 UI 엘리먼트(4212-3)는, 예로, 키보드(4211)의 자판의 종류를 변경할 수 있는 UI 엘리먼트가 될 수 있다. 또한, 키보드(4211)의 상태 정보는, 예로, 키보드(4211)의 바테리 잔량이 될 수 있다.
다른 일 실시 예에서, 사용자 단말 장치(1000)의 주변에 외부 장치가 존재하는 경우, 제어부(200)는 사용자 단말 장치(1000)와 통신 가능한 외부 장치를 나타내는 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다. UI 엘리먼트가 표시되는 동안에, 벤디드 터치 스크린(100)은 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받을 수 있다. 그리고, 제어부(200)는 입력 받은 사용자 제스처에 응답하여, 사용자 단말 장치(1000)와 외부 장치 간에 통신 연결을 수행할 수 있다.
예를 들어, 도 43의 4310을 참조하면, 사용자 단말 장치(1000)의 주변에 복수의 외부 장치(4311 내지 4314)가 존재하는 경우, 제어부(200)은 사용자 단말 장치(1000)와 통신 가능한 외부 장치들을 나타내는 복수의 UI 엘리먼트들(4315 내지4318)을 서브 영역에 표시할 수 있다. 복수의 UI 엘리먼트들 각각은, 예로, 외부 장치들(4311 내지 4314)을 식별하는 오브젝트 또는 외부 장치들(4311 내지 4314) 각각을 대표하는 어플리케이션에 대응하는 아이콘들이 될 수 있다. 복수의 UI 엘리먼트들(4315 내지4318)이 표시된 상태에서, 벤디드 터치 스크린(100)은 통신 연결을 위하여 일 UI 엘리먼트(4317)를 선택하는 사용자 제스처를 입력 받을 수 있다.
사용자 제스처에 응답하여, 제어부(200)는 일 UI 엘리먼트(4317)에 대응하는 외부 장치(4313)와 통신 연결을 수행하고, 도 4320과 같이, 제어부(200)는 일 UI 엘리먼트(4317)에 대응하는 어플리케이션의 실행 화면(4321)을 서브 영역(1020)에 표시할 수 있다. 어플리케이션의 실행 화면(4321)에는 일 UI 엘리먼트(4317)에 대응하는 외부 장치(4313)를 제어할 수 있는 적어도 하나의 UI 엘리먼트들이 포함될 수 있다. 다음으로, 어플리케이션의 실행 화면(4321)을 통한 사용자 입력에 응답하여, 제어부(200)는 외부 장치(4313)를 제어할 수 있다.
도 45 및 도 46은 본 개시의 일 실시 예에 따른 서브 영역에 표시되는 패널을 대상으로 사용자 인터렉션을 수행하는 도면이다.
일 실시 예에서, 사용자 단말 장치(1000)와 서로 통신 가능하거나 또는 사용자 단말 장치(1000)로 입력 가능한 외부 장치가 복수 개인 경우, 벤디드 터치 스크린(100)은 복수 개의 외부 장치 중 일 외부 장치와 관련된 패널을 서브 영역(1020)에 표시할 수 있다. 이 때, 패널은 일 외부 장치와 관련된 적어도 하나의 UI 엘리먼트를 포함할 수 있다. 여기에서, 하나의 패널이 하나의 외부 장치에 대응한다고 가정한다면, 하나의 패널은 하나의 어플리케이션을 통하여 제공될 수도 있고, 복수의 패널이 하나의 어플리케이션을 통하여 제공될 수도 있다. 한편, 사용자 단말 장치(1000)로 입력 가능하다는 것은, 사용자 단말 장치(1000)와 통신 가능하도록 연결되거나 또는 사용자 단말 장치(1000)의 액세서리 형태의 장치로 사용자 단말 장치(1000)와 결합되어 있다가 분리되는 상태를 포함할 수 있다. 예를 들어, 액세서리 형태로 존재하는 외부 장치는 펜이 될 수 있다.
패널이 표시되는 동안에, 벤디드 터치 스크린(100)은 서브 영역(1020)에서 일 방향으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 제어부(200)는 패널에 포함된 UI 엘리먼트를 변경 또는 삭제하거나, 패널에 새로운 UI 엘리먼트를 표시할 수 있다.
예를 들어, 도 44의 4410을 참조하면, 사용자 단말 장치(1000)와 통신 가능하거나 또는 사용자 단말 장치(1000)로 입력 가능한 외부 장치(예로, 오디오 장치, 웨어러블 장치, 펜 등)(4411,4412,4413)가 복수 개인 경우, 벤디드 터치 스크린(100)은 복수 개의 외부 장치 중 일 외부 장치(예로, 웨어러블 장치)와 관련된 적어도 하나의 UI 엘리먼트(4414-1 내지4414-4)를 포함하는 패널(4414)을 서브 영역(1020)에 표시할 수 있다. 이 때, UI 엘리먼트는, 예로, 일 외부 장치(예로, 웨어러블 장치)와 관련된 어플리케이션에 대응하는 UI 엘리먼트(예로, 아이콘) 또는 일 외부 장치를 제어할 수 있는 UI 엘리먼트가 될 수 있다. 외부 장치와 관련된 어플리케이션은, 예로, 사용자 단말 장치(1000)가 추천하는 외부 장치와 관련된 기 설정된 어플리케이션 또는 외부 장치 이용 시에 사용자가 일정 횟수 이상 빈번하게 사용한 어플리케이션 또는 제3자가 외부 장치와 관련하여 추천한 어플리케이션 등이 될 수 있다.
패널(4414)이 표시되는 동안에, 벤디드 터치 스크린(100)은 서브 영역(1020)의 긴 변을 따라 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도 44의 4420 같이 제어부(200)는 상기 일 외부 장치(예로, 웨어러블 장치)와 관련된 다른 UI 엘리먼트들(4414-5,4414-6)을 더 포함하는 패널(4414)을 서브 영역(1020)에 표시할 수 있다.
또는, 패널(4414)이 표시되는 동안에, 벤디드 터치 스크린(100)은 서브 영역(1020)의 짧은 변을 따라 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도 44의 4430과 같이 제어부(200)는 복수 개의 외부 장치 중 다른 일 외부 장치(예로, 펜)와 관련된 UI 엘리먼트들(4415-1,4415-2,4415-3)을 포함하는 패널(4415)을 서브 영역(1020)에 표시할 수 있다.
도 45은, 본 개시의 실시 예에 따라 벤디드 터치 스크린(100)의 서브 영역(120)에 표시될 수 있는 패널들의 예이나, 패널들의 종류는 이에 한정되지 않는다. 도45의 4510은, 사용자 단말 장치(100)와 통신 가능한 외부 장치가 오디오 장치인 경우, 오디오 장치와 관련된 UI 엘리먼트를 포함하는 패널이다. 또한, 도45의 4520은, 사용자 단말 장치(100)와 통신 가능한 외부 장치가 입력 장치인 경우, 입력 장치와 관련된 UI 엘리먼트를 포함하는 패널이다. 또한, 도45의 4530은, 사용자 단말 장치(100)와 통신 가능한 외부 장치가 웨어러블 장치인 경우, 웨어러블 장치와 관련된 UI 엘리먼트를 포함하는 패널이다. 또한, 도45의 4540은, 사용자 단말 장치(100)에서 실행 중인 어플리케이션이 음악 어플리케이션인 경우, 음악 어플리케이션과 관련된 UI 엘리먼트를 포함하는 패널이다. 음악 어플리케이션과 관련된 UI 엘리먼트는, 예로, 음악 검색 UI 엘리먼트, 음악 시작 UI 엘리먼트, 음악 종료 UI 엘리먼트, 볼륨 조절 UI 엘리먼트, 음악 어플리케이션과 관련된 다른 어플리케이션에 대응하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다. 도45의 4550은, 사용자 단말 장치(100)에서 실행 중인 어플리케이션이 갤러리 어플리케이션인 경우, 갤러리 어플리케이션과 관련된 UI 엘리먼트를 포함하는 패널이다. 갤러리 어플리케이션과 관련된 UI 엘리먼트는, 예로, 이미지 검색 UI 엘리먼트, 이미지 편집 UI 엘리먼트, 이미지 삭제 UI 엘리먼트, 이미지 공유 UI 엘리먼트, 이미지 어플리케이션과 관련된 다른 어플리케이션에 대응하는 UI 엘리먼트 중 적어도 하나를 포함할 수 있다.
복수의 패널들이 저장부(310)에 저장되어 있고, 벤디드 터치 스크린(100)의 서브 영역(1020)에 복수의 패널들 중 일 패널이 표시되는 경우, 사용자의 제스처에 따라 서브 영역(1020)에 표시 중인 일 패널이 복수의 패널들 중 다른 일 패널로 전환될 수 있다. 그리고, 사용자의 제스처가 연속되는 경우, 제어부(200)는 복수의 패널들의 전환이 끝나면, 최초 표시되었던 일 패널을 다시 표시할 수 있다. 즉, 사용자의 제스처에 따라, 제어부(200)는 복수의 패널들을 순환 또는 리볼빙(revolving)되는 방식으로 표시할 수 있다.
다른 실시 예로, 복수의 패널들이 저장부(310)에 저장되어 있는 경우, 사용자는 복수의 패널들이 순환되는 순서를 변경할 수 있다. 또는, 복수의 패널들 중 적어도 일 패널을 삭제할 수 있다. 또는, 사용자는 특정 어플리케이션 또는 기능을 일 외부 장치에 대응하는 패널로 등록할 수도 있다.
도 46a의 4610을 참조하면, 제어부(200)는 메인 영역 또는 서브 영역에 패널 관리 어플리케이션(4601)을 표시할 수 있다. 패널 관리 어플리케이션(4601)에는 일 패널과 관련된 오브젝트들(4611 내지 4615)이 포함될 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 복수의 오브젝트들 중 일 오브젝트를 선택하고 서브 영역(1020)의 긴 변을 따라서 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도 46a의 4620과 같이 제어부(200)는 위치가 변경된 오브젝트들(4611,4612,4613,4616,4617)을 포함하는 패널 관리 어플리케이션(4601)을 표시할 수 있다. 또한, 도 46b의 4630을 참조하면, 복수의 패널들 각각을 대표하는 오브젝트들(4611 내지 4615)를 포함하는 패널 관리 어플리케이션(4601)이 표시되는 동안, 벤디드 터치 스크린(100)은 오브젝트들 중 일 오브젝트를 선택하고 서브 영역(1020)의 바깥 방향으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도 46b의 4640과 같이 제어부(200)는 오브젝트들(4611 내지 4615) 중에 일 오브젝트(4614)를 삭제하고, 일 오브젝트(4614)가 제거된 패널 관리 어플리케이션(4601)을 표시할 수 있다.
도 47 및 도 48은 본 개시의 일 실시 예에 따른 메인 영역과 서브 영역 의 경계를 기준으로 사용자 인터렉션을 수행하는 도면이다.
일 실시 예로, 제어부(200)는 메인 영역(101)에 컨텐츠 및 컨텐츠를 제어할 수 있는 UI 엘리먼트를 표시할 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010)과 서브 영역(1020)의 경계 영역을 기준으로 하는 사용자 제스처를 입력 받을 수 있다. 예를 들어, 벤디드 터치 스크린(100)은 메인 영역(1010)에서 사용자 단말 장치(1000)의 적어도 하나의 측면(예컨대, 좌측, 우측, 상측, 하측 중 적어도 하나의 면)까지 연장되어, 벤디드 터치 스크린(100)이 동작 가능한 곡률 반경(radius of curvature)(예컨대, 곡률 반경 5cm, 1cm, 7.5mm, 5mm, 4mm 등) 이하로 접혀 사용자 단말 장치(1000)의 측면에 체결될 수 있다. 이 경우, 벤디드 터치 스크린(100)은 상기 접히는 영역을 기준으로 하는 사용자 제스처를 입력 받을 수 있다. 구체적으로, 벤디드 터치 스크린(100)은 상기 경계 영역을 따라서 수직 방향으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 또는, 벤디드 터치 스크린(100)은 상기 경계 영역을 기준으로 메인 영역(1010)에서 서브 영역(1020)으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 제어부(200)는 컨텐츠를 제어할 수 있는 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다. 또한, 제어부(200)는 메인 영역(1010)에는 컨텐츠를 확장하여 표시할 수 있다. 이 때, 컨텐츠는 UI 엘리먼트가 표시되던 영역의 적어도 일부를 포함하도록 확장하여 표시될 수 있다.
도 47의4710을 참조하면, 제어부(200)는 메인 영역(1010)에 웹 페이지(4711) 및 웹 페이지를 제어할 수 있는 UI 엘리먼트(4712)를 표시할 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010)과 서브 영역(1020)의 경계를 따라서 아래로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도47의 4720과 같이, 제어부(200)는 UI 엘리먼트(4712)를 서브 영역(1020)에 표시할 수 있다. 또한, 제어부(200)는 메인 영역(1010)에는 웹 페이지(4711)를 표시할 수 있다. 여기에서, 웹 페이지(4711)는, 도 47의 4710에서 UI 엘리먼트(4712)가 표시되던 영역의 적어도 일부를 포함하도록 확장하여 표시될 수 있다. 다음으로, UI 엘리먼트(4712)를 선택하는 사용자 제스처에 응답하여, 제어부(200)는 웹 페이지(4711)를 제어할 수 있다. 예로, 제어부(200)는 웹 페이지를 복사, 웹 페이지를 등록, 웹 페이지의 이전 또는 이후의 웹 페이지를 표시할 수 있다.
다른 일 실시 예로, 제어부(200)는 서브 영역(1020)에 UI 엘리먼트를 표시할 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010)과 서브 영역(1020)의 경계 영역을 기준으로 하는 사용자 제스처를 입력 받을 수 있다. 예로, 벤디드 터치 스크린(100)은 상기 경계 영역을 따라서 수직 방향으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 또는, 벤디드 터치 스크린(100)은 상기 경계 영역을 기준으로 서브 영역(1020)에서 메인 영역(1010)으로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 제어부(200)는 UI 엘리먼트에 대응하는 컨텐츠 또는 어플리케이션의 실행 화면을 메인 영역(1010)에 표시할 수 있다. 또한, 제어부(200)는 메인 영역(1010)에 표시된 컨텐츠 또는 어플리케이션의 실행 화면을 제어할 수 있는 또 다른 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다.
예를 들어, 도 48의 4810을 참조하면, 제어부(200)는 서브 영역(1020)에 날씨 오브젝트(4811)를 표시할 수 있다. 이러한 상태에서, 벤디드 터치 스크린(100)은 메인 영역(1010)과 서브 영역(1020)의 경계를 따라서 위로 드래그하는 사용자 제스처를 입력 받을 수 있다. 사용자 제스처에 응답하여, 도48의 4820과 같이, 제어부(200)는 날씨 오브젝트(4811)에 대응하는 날씨 어플리케이션 실행 화면(4812)을 메인 영역(1010)에 표시할 수 있다. 또한, 제어부(200)는 날씨 어플리케이션 실행 화면(4812)을 제어할 수 있는 UI 엘리먼트들(4813)을 서브 영역(1020)에 표시할 수 있다.
도 50은 본 개시의 또 다른 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 50을 참조하면, 사용자 단말 장치(1000)는 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되는지 판단할 수 있다(S5001).
판단 결과, 외부 장치와 사용자 단말 장치(1000)가 서로 통신 가능하도록 연결되면(S5001-Y), 사용자 단말 장치(1000)는 외부 장치와 관련된 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다(S5003).
다음으로, 사용자 단말 장치(1000)는 서브 영역(1020)에 UI 엘리먼트를 선택하는 사용자 제스처가 입력 되는지를 판단할 수 있다(S5005).
판단 결과, 사용자 제스처가 입력 되면(S5005-Y), 사용자 단말 장치(1000)는 UI 엘리먼트와 관련된 기능을 실행할 수 있다(S5007). 예를 들어, 사용자 단말 장치(1000)는 메인 영역(1010) 또는 서브 영역(1020)에 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시할 수 있다. 또는, 사용자 단말 장치(1000)는 서브 영역(1020)에 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시할 수 있다. 또는, 사용자 단말 장치(1000)는 외부 장치의 기능을 제어할 수 있다.
도 51은 본 개시의 또 다른 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 51을 참조하면, 사용자 단말 장치(1000)는 사용자 단말 장치(1000)로부터 사용자 단말 장치(1000)와 관련된 액세서리 장치가 분리되었는지를 판단할 수 있다(S5101). 액세서리 장치는, 예로, 펜이 될 수 있다.
판단 결과, 사용자 단말 장치(1000)로부터 액세서리 장치가 분리되면(S5101-Y), 사용자 단말 장치(1000)는 외부 장치와 관련된 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다(S5103).
다음으로, 사용자 단말 장치(1000)는 서브 영역(1020)에 UI 엘리먼트를 선택하는 사용자 제스처가 입력 되는지를 판단할 수 있다(S5105).
판단 결과, 사용자 제스처가 입력 되면(S5105-Y), 사용자 단말 장치(1000)는 UI 엘리먼트와 관련된 기능을 실행할 수 있다(S5107). 예를 들어, 사용자 단말 장치(1000)는 메인 영역(1010) 또는 서브 영역(1020)에 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시할 수 있다. 또는, 사용자 단말 장치(1000)는 서브 영역(1020)에 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시할 수 있다. 또는, 사용자 단말 장치(1000)는 외부 장치의 기능을 제어할 수 있다.
도 52는 본 개시의 또 다른 일 실시 예에 따른 인터랙션 방법을 설명하기 위한 흐름도이다.
도 52를 참조하면, 사용자 단말 장치(1000)는 사용자 단말 장치(1000)와 통신 가능한 외부 장치가 존재하는지를 판단할 수 있다(S5201).
판단 결과, 사용자 단말 장치(1000)와 통신 가능한 외부 장치가 존재하면(S5201-Y), 사용자 단말 장치(1000)는 상기 외부 장치를 나타내는 UI 엘리먼트를 서브 영역(1020)에 표시할 수 있다(S5203).
다음으로, 사용자 단말 장치(1000)는 서브 영역(1020)에 UI 엘리먼트를 선택하는 사용자 제스처가 입력 되는지를 판단할 수 있다(S5205).
판단 결과, 사용자 제스처가 입력 되면(S5205-Y), 사용자 단말 장치(1000)는 사용자 단말 장치(1000)와 외부 장치 간에 통신 연결을 수행할 수 있다(S5207).
이 밖에도, 상술한 다양한 실시 예들에서 설명한 인터랙션들이 수행될 수 있으나, 각 실시 예들에 대한 구체적인 흐름도는 그 도시 및 설명을 생략한다.
이상과 같이 사용자 단말 장치는 다양한 인터랙션을 지원할 수 있다. 상술한 각 실시 예들은 실시 예 별로 별도로 구현될 수도 있으나, 필요에 따라 서로 조합되어 구현될 수 있음은 물론이다.
상술한 다양한 실시 예들에 따른 사용자 단말 장치의 인터랙션 방법 또는 화면 디스플레이 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 장치에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
일 예로, 메인 영역 및 상기 메인 영역의 면적보다 작은 면적을 가지는 서브 영역으로 구분되고, 메인 영역을 포함하는 면과 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린의 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력받는 단계, 메인 영역 상에서 이동하는 펜 제스처를 입력받는 단계, 손가락 제스처 및 펜 제스처에 응답하여 상기 펜 제스처의 이동된 궤적에 대응하는 영역에 상기 제1 오브젝트에 대응하는 기능을 적용한 결과로서, 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계를 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체(non-transitory readable medium)에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서,
    상기 사용자 단말 장치의 외부에 위치한 외부 장치와 상기 사용자 단말 장치가 서로 통신 가능하도록 연결되면, 상기 외부 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하는 단계;
    상기 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받는 단계; 및
    상기 입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 단계;를 포함하는 사용자 인터렉션 방법.
  2. 제1항에 있어서,
    상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는,
    상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 단계;를 포함하는 사용자 인터렉션 방법.
  3. 제1항에 있어서,
    상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는,
    상기 서브 영역에 상기 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시하는 단계;를 포함하는 사용자 인터렉션 방법.
  4. 제1항에 있어서,
    상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는,
    상기 외부 장치의 기능을 제어하는 단계;를 포함하는 사용자 인터렉션 방법.
  5. 사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서,
    상기 사용자 단말 장치로부터 상기 사용자 단말 장치와 관련된 액세서리 장치가 분리되면, 상기 액세서리 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하는 단계;
    상기 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받는 단계; 및
    상기 입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 단계;를 포함하는 사용자 인터렉션 방법.
  6. 제5항에 있어서,
    상기 UI 엘리먼트와 관련된 기능을 실행하는 단계는,
    상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 단계;를 포함하는 사용자 인터렉션 방법.
  7. 사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서,
    상기 사용자 단말 장치와 통신 가능한 외부 장치를 나타내는 UI 엘리먼트를 상기 서브 영역에 표시하는 단계;
    상기 서브 영역에 상기 UI 엘리먼트를 선택하는 사용자 제스처를 입력 받는 단계; 및
    상기 입력 받은 사용자 제스처에 응답하여, 상기 사용자 단말 장치와 상기 외부 장치 간에 통신 연결을 수행하는 단계;를 포함하는 사용자 인터렉션 방법.
  8. 사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치의 사용자 인터렉션 방법에 있어서,
    상기 서브 영역 상에 표시된 메뉴에 포함된 제1 오브젝트를 선택하는 손가락 제스처를 입력 받는 단계;
    상기 메인 영역 상에서 이동하는 펜 제스처를 입력받는 단계; 및
    상기 펜 제스처에 의하여 이동된 궤적에 대응하는 영역을 상기 손가락 제스처에 의하여 선택된 상기 제1 오브젝트에 대응하는 기능을 적용하여 시각적으로 변형하여 표시하는 단계;를 포함하는 사용자 인터렉션 방법.
  9. 제8항에 있어서,
    상기 손가락 제스처를 입력 받는 단계는,
    상기 벤디드 터치 스크린의 서브 영역 아래에 실장된 터치 패널을 통하여 입력 받는 단계;를 포함하고,
    상기 펜 제스처를 입력 받는 단계는,
    상기 벤디드 터치 스크린의 메인 영역 아래에 실장된 펜 인식 패널을 통하여 입력 받는 단계;를 포함하는 사용자 인터렉션 방법.
  10. 제8항에 있어서,
    상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계는,
    상기 손가락 제스처로서 상기 제1 오브젝트 상에 손가락 터치가 유지되는 경우, 상기 이동된 궤적에 대응하는 영역을 시각적으로 변형하여 표시하는 단계;를 포함하는 사용자 인터렉션 방법.
  11. 사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치에 있어서,
    사용자 제스처를 입력 받는 상기 벤디드 터치 스크린; 및
    상기 사용자 단말 장치의 외부에 위치한 외부 장치와 상기 사용자 단말 장치가 서로 통신 가능하도록 연결되면, 상기 외부 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하고,
    상기 UI 엘리먼트를 선택하는 상기 벤디드 터치 스크린을 통하여　입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 제어부;
    를 포함하는 사용자 단말 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 메인 영역 또는 서브 영역에 상기 UI 엘리먼트에 대응하는 어플리케이션의 실행 화면을 표시하는 것을 특징으로 하는 사용자 단말 장치.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 서브 영역에 상기 외부 장치를 제어 가능한 적어도 하나의 UI 엘리먼트를 표시하는 것을 특징으로 하는 사용자 단말 장치.
  14. 제11항에 있어서,
    상기 제어부는,
    상기 UI 엘리먼트와 관련된 기능을 실행하는 경우, 상기 외부 장치의 기능을 제어하는 것을 특징으로 하는 사용자 단말 장치.
  15. 사용자 단말 장치의 전면 및 측면에 각각 대응하는 메인 영역 및 서브 영역을 포함하는 벤디드 터치 스크린을 구비한 상기 사용자 단말 장치에 있어서,
    사용자 제스처를 입력 받는 상기 벤디드 터치 스크린; 및
    상기 사용자 단말 장치로부터 상기 사용자 단말 장치와 관련된 액세서리 장치가 분리되면, 상기 액세서리 장치와 관련된 UI 엘리먼트를 상기 서브 영역에 표시하고,
    상기 UI 엘리먼트를 선택하는 상기 벤디드 터치 스크린을 통하여　입력 받은 사용자 제스처에 응답하여, 상기 UI 엘리먼트와 관련된 기능을 실행하는 제어부;
    를 포함하는 사용자 단말 장치.
PCT/KR2014/012785 2013-12-30 2014-12-24 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 WO2015102293A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201480059965.6A CN105683895B (zh) 2013-12-30 2014-12-24 提供用户交互的用户终端设备及其方法
CN202010185534.1A CN111580706B (zh) 2013-12-30 2014-12-24 提供用户交互的电子设备及其方法
EP20162969.8A EP3686723B1 (en) 2013-12-30 2014-12-24 User terminal device providing user interaction and method therefor
EP14876874.0A EP3091426B1 (en) 2013-12-30 2014-12-24 User terminal device providing user interaction and method therefor
US15/199,044 US10452333B2 (en) 2013-12-30 2016-06-30 User terminal device providing user interaction and method therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2013-0167120 2013-12-30
KR20130167120 2013-12-30
KR10-2014-0116506 2014-09-02
KR1020140116506A KR101588294B1 (ko) 2013-12-30 2014-09-02 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/199,044 Continuation US10452333B2 (en) 2013-12-30 2016-06-30 User terminal device providing user interaction and method therefor

Publications (1)

Publication Number Publication Date
WO2015102293A1 true WO2015102293A1 (ko) 2015-07-09

Family

ID=53493590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/012785 WO2015102293A1 (ko) 2013-12-30 2014-12-24 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법

Country Status (2)

Country Link
CN (1) CN111580706B (ko)
WO (1) WO2015102293A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100003585A (ko) * 2008-07-01 2010-01-11 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
KR20110083386A (ko) * 2010-01-14 2011-07-20 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20130127050A (ko) * 2012-05-14 2013-11-22 삼성전자주식회사 벤디드 디스플레이를 갖는 휴대단말의 기능 운용 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7567239B2 (en) * 2003-06-26 2009-07-28 Motorola, Inc. Method and system for message and note composition on small screen devices
US7912508B2 (en) * 2006-12-15 2011-03-22 Motorola Mobility, Inc. Wireless communication device with additional input or output device
CN101581992A (zh) * 2008-05-16 2009-11-18 鸿富锦精密工业（深圳）有限公司 触摸屏装置及其输入方法
US8072437B2 (en) * 2009-08-26 2011-12-06 Global Oled Technology Llc Flexible multitouch electroluminescent display
EP3734404A1 (en) * 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
KR102148717B1 (ko) * 2011-12-05 2020-08-28 삼성전자주식회사 휴대용 단말기의 디스플레이 제어 방법 및 장치
US9250768B2 (en) * 2012-02-13 2016-02-02 Samsung Electronics Co., Ltd. Tablet having user interface
KR101496512B1 (ko) * 2012-03-08 2015-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100003585A (ko) * 2008-07-01 2010-01-11 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
KR20110083386A (ko) * 2010-01-14 2011-07-20 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20130127050A (ko) * 2012-05-14 2013-11-22 삼성전자주식회사 벤디드 디스플레이를 갖는 휴대단말의 기능 운용 방법 및 장치

Also Published As

Publication number Publication date
CN111580706A (zh) 2020-08-25
CN111580706B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
WO2017095040A1 (en) User terminal device and displaying method thereof
WO2016111555A2 (en) Bendable user terminal device and method for displaying thereof
WO2014175688A1 (en) User terminal device and controlling method thereof
WO2016208945A1 (en) Portable apparatus and method for changing screen of the same
WO2016129784A1 (en) Image display apparatus and method
WO2017065494A1 (en) Portable device and screen display method of portable device
WO2015005734A1 (en) User terminal device for supporting user interaction and methods thereof
WO2018030594A1 (en) Mobile terminal and method for controlling the same
WO2015053445A1 (en) Foldable mobile device and method of controlling the same
WO2015083969A1 (en) Mobile terminal and method for controlling the same
WO2016018039A1 (en) Apparatus and method for providing information
WO2015119484A1 (en) User terminal device and displaying method thereof
WO2014157885A1 (en) Method and device for providing menu interface
WO2017105018A1 (en) Electronic apparatus and notification displaying method for electronic apparatus
WO2014175683A1 (en) User terminal device and display method thereof
WO2014171705A1 (en) Method for adjusting display area and electronic device thereof
WO2014035147A1 (en) User terminal apparatus and controlling method thereof
WO2015199280A1 (en) Mobile terminal and method of controlling the same
WO2013169070A1 (en) Multiple window providing apparatus and method
WO2015102250A1 (en) User terminal apparatus and control method thereof
WO2015088166A1 (ko) 이동 단말기 및 그의 후면 입력부 운용방법
EP3243125A2 (en) Bendable user terminal device and method for displaying thereof
WO2017086559A1 (en) Image display device and operating method of the same
WO2016167610A1 (ko) 밝기를 조절하는 휴대 단말기 및 이의 밝기 조절 방법
WO2019143189A1 (en) Electronic device and method of operating electronic device in virtual reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14876874

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014876874

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014876874

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE