KR101841599B1 - 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 - Google Patents

사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 Download PDF

Info

Publication number
KR101841599B1
KR101841599B1 KR1020160107825A KR20160107825A KR101841599B1 KR 101841599 B1 KR101841599 B1 KR 101841599B1 KR 1020160107825 A KR1020160107825 A KR 1020160107825A KR 20160107825 A KR20160107825 A KR 20160107825A KR 101841599 B1 KR101841599 B1 KR 101841599B1
Authority
KR
South Korea
Prior art keywords
area
sub
user
displayed
gesture
Prior art date
Application number
KR1020160107825A
Other languages
English (en)
Other versions
KR20160105735A (ko
Inventor
윤여준
곽지연
김현진
이용연
김윤경
니푼 쿠마르
서준규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201361845023P priority Critical
Priority to US201361845036P priority
Priority to US61/845,036 priority
Priority to US61/845,023 priority
Priority to KR1020130143297A priority patent/KR20150007910A/ko
Priority to KR1020130143297 priority
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20160105735A publication Critical patent/KR20160105735A/ko
Application granted granted Critical
Publication of KR101841599B1 publication Critical patent/KR101841599B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for entering handwritten data, e.g. gestures, text
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the screen or tablet into independently controllable areas, e.g. virtual keyboards, menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/04842Selection of a displayed object
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders, dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72519
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04103Manufacturing, i.e. details related to manufacturing processes specially suited for touch sensitive devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • G09G2330/022Power management, e.g. power saving in absence of operation, e.g. no data being entered during a predetermined time
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

벤디드 터치 스크린을 포함하는 사용자 단말 장치의 사용자 인터렉션 방법이 개시된다. 본 방법은, 사용자 단말 장치가 락(rock)된 상태에서 적어도 하나의 서브 영역에서 제1 핀치 제스쳐가 입력되면, 사용자 단말 장치를 활성화시키는 언락 동작을 수행하는 단계, 사용자 단말 장치가 언락(un rock)된 상태에서 적어도 하나의 서브 영역에서 제2 핀치 제스쳐가 입력되면, 사용자 단말 장치를 비활성화시키는 락 동작을 수행하는 단계를 포함한다. 이에 따라, 다양한 방식으로 인터랙션이 이루어질 수 있다.

Description

사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법 { USER TERMINAL DEVICE FOR SUPPORTING USER INTERACTION AND METHODS THEREOF }
본 발명은 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법에 대한 것으로, 보다 상세하게는 메인 영역과 적어도 하나의 서브 영역으로 구분되는 벤디드 터치 스크린을 이용하여 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 사용자 단말 장치들이 개발 및 보급되고 있다. 최근에는 사용자 단말 장치의 크기도 최소화되면서 그 기능은 더욱 다양해져, 그 수요가 점점 더 늘어나고 있다.
사용자 단말 장치는 사용자의 요청에 따라 멀티미디어 컨텐츠나, 어플리케이션 화면 등과 같이 다양한 컨텐츠를 제공할 수 있다. 사용자는 사용자 단말 장치에 구비된 버튼이나 터치 스크린 등을 이용하여, 자신이 사용하고자 하는 기능을 선택할 수 있다. 사용자 단말 장치는 사용자와의 인터렉션에 따라 선택적으로 프로그램을 실행시켜, 그 실행 결과를 디스플레이할 수 있다.
한편, 사용자 단말 장치에서 제공할 수 있는 기능이 점차 다양해짐에 따라, 컨텐츠를 디스플레이하는 방식이나 사용자 인터렉션 방식에 대해서도 다양한 니즈(needs)가 발생하고 있다. 즉, 컨텐츠의 종류 및 기능이 크게 증대함에 따라, 단순히 버튼을 선택하거나, 터치 스크린을 터치하는 종래의 인터렉션 방식으로는 부족한 경우가 발생할 수 있다.
이에 따라, 사용자가 좀 더 편리한 방식으로 사용자 단말 장치를 이용할 수 있도록 하는 사용자 인터렉션 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 메인 영역 및 적어도 하나의 서브 영역으로 구분되는 벤디드 터치 스크린을 이용하여, 다양한 사용자 인터렉션을 지원할 수 있는 사용자 단말 장치 및 그 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 사용자 언메인 영역 및 상기 메인 영역의 면적보다 작은 면적을 가지는 적어도 하나의 서브 영역으로 구분되고, 상기 메인 영역을 포함하는 면과 상기 적어도 하나의 서브 영역을 포함하는 면이 둔각을 이루도록 고정되어 있는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 사용자 인터렉션 방법은, 상기 사용자 단말 장치가 락(rock)된 상태에서 상기 적어도 하나의 서브 영역에서 제1 핀치 제스쳐가 입력되면, 상기 사용자 단말 장치를 활성화시키는 언락 동작을 수행하는 단계, 상기 사용자 단말 장치가 언락(un rock)된 상태에서 상기 적어도 하나의 서브 영역에서 제2 핀치 제스쳐가 입력되면, 상기 사용자 단말 장치를 비활성화시키는 락 동작을 수행하는 단계를 포함한다.
여기서, 상기 제1 핀치 제스쳐는 복수의 지점을 터치하여, 터치 지점들 사이의 간격을 넓히는 핀치 아웃 제스쳐이고, 상기 제2 핀치 제스쳐는 상기 터치 지점들 사이의 간격을 좁히는 핀치 인 제스쳐일 수 있다.
또한, 상기 언락 동작을 수행하는 단계는, 상기 메인 영역 중에서 상기 제1 핀치 제스쳐가 입력된 서브 영역 부분에 대응되는 크기의 영역에 한해 국부적으로 활성화시킬 수 있다.
또한, 상기 메인 영역이 국부적으로 활성화되면, 상기 메인 영역 내에서 활성화된 국부 영역에 적어도 하나의 오브젝트를 디스플레이하는 단계를 더 포함할 수도 있다.
또한, 상기 메인 영역이 국부적으로 활성화되면, 상기 국부적으로 활성화된 부분의 면적의 크기에 따라 상이한 어플리케이션을 실행하는 단계를 더 포함할 수도 있다.
또한, 상기 락 동작을 수행하는 단계는, 상기 메인 영역 중에서 상기 제2 핀치 제스쳐가 입력된 서브 영역 부분에 대응되는 크기의 영역에 한해 국부적으로 비활성화시킬 수 있다.
상기 메인 영역이 국부적으로 비활성화되면, 상기 메인 영역 내에서 비활성화된 국부 영역을 제외한 나머지 영역에 적어도 하나의 오브젝트를 디스플레이하는 단계를 더 포함할 수 있다.
또한, 상기 메인 영역 및 상기 적어도 하나의 서브 영역 사이를 구분하는 적어도 하나의 에지 영역에 대한 사용자 제스쳐가 입력되면, 상기 사용자 제스쳐에 대응되는 제어 동작을 수행하는 단계를 더 포함할 수도 있다.
그리고, 상기 적어도 하나의 서브 영역 중 하나의 서브 영역과 상기 메인 영역을 구분하는 에지 영역을 스크롤하는 제1 사용자 제스쳐, 상기 에지 영역을 터치하여 상기 메인 영역 방향으로 터치 지점을 이동시키는 제2 사용자 제스쳐, 상기 에지 영역을 터치하여 상기 하나의 서브 영역 방향으로 터치 지점을 이동시키는 제3 사용자 제스쳐 중 하나가 감지되면, 감지된 사용자 제스쳐에 따라 상이한 제어 동작을 수행하는 단계를 더 포함할 수도 있다.
또한, 본 발명의 일 실시 예에 따른 사용자 단말 장치는, 메인 영역 및 상기 메인 영역과 상이한 면(surface)을 형성하는 적어도 하나의 서브 영역으로 구분되는 벤디드 터치 스크린 및 상기 사용자 단말 장치가 락(rock)된 상태에서 상기 적어도 하나의 서브 영역에서 제1 핀치 제스쳐가 감지되면, 상기 사용자 단말 장치를 활성화시키는 언 락 동작을 수행하고, 상기 사용자 단말 장치가 언락(un rock)된 상태에서 상기 적어도 하나의 서브 영역에서 제2 핀치 제스쳐가 감지되면, 상기 사용자 단말 장치를 비활성화시키는 락 동작을 수행하는 제어부를 포함한다.
여기서, 상기 제1 핀치 제스쳐는 복수의 지점을 터치하여, 터치 지점들 사이의 간격을 넓히는 핀치 아웃 제스쳐고, 상기 제2 핀치 제스쳐는 상기 터치 지점들 사이의 간격을 좁히는 핀치 인 제스쳐가 될 수 있다.
또한, 상기 제어부는, 상기 메인 영역 중에서 상기 제1 핀치 제스쳐가 입력된 서브 영역 부분에 대응되는 크기의 영역에 한해 국부적으로 활성화시킬 수 있다.
또한, 상기 제어부는, 상기 메인 영역이 국부적으로 활성화되면, 상기 메인 영역 내에서 활성화된 국부 영역에 적어도 하나의 오브젝트를 디스플레이할 수 있다.
또한, 상기 제어부는, 상기 메인 영역이 국부적으로 활성화되면, 상기 국부적으로 활성화된 부분의 면적의 크기에 따라 상이한 어플리케이션을 실행할 수도 있다.
또한, 상기 제어부는, 상기 메인 영역 중에서 상기 제2 핀치 제스쳐가 입력된 서브 영역 부분에 대응되는 크기의 영역에 한해 국부적으로 비활성화시킬 수 있다.
또한, 상기 제어부는, 상기 메인 영역이 국부적으로 비활성화되면, 상기 메인 영역 내에서 비활성화된 국부 영역을 제외한 나머지 영역에 적어도 하나의 오브젝트를 디스플레이할 수 있다.
또한, 상기 제어부는, 상기 메인 영역 및 상기 적어도 하나의 서브 영역 사이를 구분하는 적어도 하나의 에지 영역에 대한 사용자 제스쳐가 감지되면, 감지된 상기 사용자 제스쳐에 대응되는 제어 동작을 수행할 수도 있다.
또는, 상기 제어부는, 상기 적어도 하나의 서브 영역 중 하나의 서브 영역과 상기 메인 영역을 구분하는 에지 영역을 스크롤하는 제1 사용자 제스쳐, 상기 에지 영역을 터치하여 상기 메인 영역 방향으로 터치 지점을 이동시키는 제2 사용자 제스쳐, 상기 에지 영역을 터치하여 상기 하나의 서브 영역 방향으로 터치 지점을 이동시키는 제3 사용자 제스쳐 중 하나가 감지되면, 감지된 사용자 제스쳐의 타입에 따라 상이한 제어 동작을 수행할 수도 있다.
그리고, 상기 벤디드 터치 스크린은, 상기 메인 영역이 형성된 제1면과, 상기 적어도 하나의 서브 영역이 각각 형성된 적어도 하나의 제2 면이 둔각(obtuse angle)으로 교차되도록 형성될 수 있다.
또한, 상기 벤디드 터치 스크린의 상기 메인 영역은 상기 사용자 단말 장치의 전면(front surface)에 배치되고, 상기 적어도 하나의 서브 영역은, 상기 사용자 단말 장치의 제1 측면, 제2 측면 및 상기 사용자 단말 장치의 후면(back surface) 중 적어도 하나의 평면에 배치될 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자는 벤디드 터치 스크린을 이용하여 사용자 단말 장치의 기능을 제어할 수 있다. 이에 따라, 사용자 편의성 및 만족도가 향상될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 2 내지 도 10은 벤디드 터치 스크린의 다양한 구성 예를 나타내는 도면,
도 11은 본 발명의 다양한 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 12는 사용자 단말 장치의 소프트웨어 구성의 일 예를 나타내는 도면,
도 13 및 도 14는 메인 영역 및 서브 영역의 레이아웃의 다양한 예를 나타내는 도면,
도 15 내지 도 115는 본 발명의 다양한 실시 예에 따른 사용자 단말 장치에서 표시하는 인터랙션 화면의 예를 나타내는 도면, 그리고,
도 116 내지 도 120은 본 발명의 다양한 실시 예에 따른 사용자 단말 장치의 인터랙션 화면 표시 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 다양한 실시 예를 설명하기 위한 사용자 단말 장치의 기본 구성의 일 예를 나타내는 블록도이다. 도 1의 사용자 단말 장치(100)는 구체적으로는, TV, PC, 랩탑 PC, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 테이블 디스플레이 장치 등과 같이 다양한 유형의 장치로 구현될 수 있다. 휴대폰이나 태블릿 PC, PDA, MP3 플레이어, 랩탑 PC 등과 같이 휴대 가능한 유형의 장치로 구현되는 경우에는 모바일 디바이스로 명명할 수도 있으나, 본 명세서에서는 사용자 단말 장치로 통칭하여 설명한다.
도 1에 따르면, 사용자 단말 장치(1000)는 벤디드 터치 스크린(100) 및 제어부(200)를 포함한다.
벤디드 터치 스크린(100)은 메인 영역과 적어도 하나의 서브 영역으로 구분된다. 여기서 메인 영역과 서브 영역은 다양한 의미로 정의될 수 있다. 일 예로, 두 영역 중 상대적으로 크기가 큰 영역을 메인 영역이라고 하고, 크기가 작은 영역을 서브 영역이라고 정의할 수 있다. 또는, 홈 화면으로 복귀하기 위한 홈 버튼이나 전면 스피커 등이 배치된 면과 동일한 면에 위치한 영역을 메인 영역이라고 하고, 사이드 면이나 후면에 위치한 영역을 서브 영역이라고 정의할 수도 있다. 또는, 메인 영역은 영역 내의 UI 엘리먼트를 직접 컨트롤할 수 있는 영역을 의미하고, 서브 영역은 메인 영역의 UI 엘리먼트를 컨트롤할 수 있는 영역을 의미하는 것으로 정의할 수도 있다.
서브 영역의 면적은 메인 영역보다는 작을 수 있다. 또한, 적어도 하나의 서브 영역은 메인 영역과 상이한 면을 형성할 수 있다. 가령, 메인 영역이 사용자 단말 장치(100)의 전면(front surface)에 배치되었다면, 적어도 하나의 서브 영역은 사용자 단말 장치(100)의 외관을 이루는 면(surface)들 중에서 우측면(right side surface), 좌측면(left side surface), 후면(back surface)과 같이 서로 다른 면에 배치될 수 있다. 메인 영역을 포함하는 면과, 적어도 하나의 서브 영역을 포함하는 면은 둔각을 이루도록 고정될 수 있다. 메인 영역을 포함하는 면과, 적어도 하나의 서브 영역을 포함하는 면은 각각 평면이 될 수도 있고, 곡면이 될 수도 있다. 또한, 서브 영역의 형태, 위치, 개수는 실시 예에 따라 다양하게 구현될 수 있다. 이에 대해서는 후술하는 부분에서 도면과 함께 구체적으로 설명한다.
제어부(200)는 벤디드 터치 스크린(100)의 메인 영역 및 적어도 하나의 서브 영역을 개별적으로 제어할 수 있다. 가령, 메인 영역 및 적어도 하나의 서브 영역에서는, 서로 다른 컨텐츠를 디스플레이할 수 있다. 메인 영역 및 적어도 하나의 서브 영역에 표시되는 컨텐츠의 종류, 표시 방법, 레이아웃 등은 실시 예에 따라 다양하게 변경될 수 있다. 이에 대해서는, 후술하는 부분에서 구체적으로 설명한다.
도 2는 하나의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 외관 구성의 예를 나타내는 도면이다.
도 2에 따르면, 벤디드 터치 스크린(100)은 사용자 단말 장치(1000)의 전면(front surface)에 배치된 메인 영역(1010) 및 사용자 단말 장치(1000)의 우측면에 배치된 서브 영역(1020)으로 구분될 수 있다. 도 2에서는, 메인 영역(1010)과 서브 영역(1020)은 경계 영역(1050)을 기준으로 구분된다. 벤디드 터치 스크린(100)이 벤딩된 상태라는 점을 고려하여, 경계 영역(1050)은 다르게는 벤딩 라인이라고 표현할 수도 있다.
도 3은 도 2의 사용자 단말 장치의 단면 구성을 나타내는 도면이다. 도 3에 따르면, 벤디드 터치 스크린(100)의 메인 영역(1010)과 서브 영역(1020)은 사용자 단말 장치(1000)의 전면 및 측면에 각각 배치된다.
도 4 및 도 5는 두 개의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 외관 구성 예 및 그 단면 구성 예를 나타내는 도면이다.
도 4에 따르면, 메인 영역(1010)은 전면에 배치되고, 우측면 및 좌측면에 각각 서브 영역(1020, 1030)이 배치된다. 메인 영역(1010)과 각 서브 영역(1020, 1030)은 경계 영역(1050-1, 1050-2)에 의해 구분된다.
도 5는 도 4의 사용자 단말 장치(1000)의 단면 구성을 나타낸다. 도 5에 따르면, 각 서브 영역(1020, 1030)은 전면 방향에서 시청 가능하도록 메인 영역(1010)과 둔각을 이루면서 배치될 수 있다.
도 6 및 도 7은 두 개의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 또 다른 예를 나타내는 도면이다. 도 6에 따르면, 두 개의 서브 영역(1020, 1030)은 메인 영역(1010)을 기준으로 양 측면에 배치되며, 전면 방향이 아닌 우측 및 좌측 방향에서 시청 가능한 각도로 고정될 수 있다. 즉, 도 7에 따르면, 각 서브 영역(1020, 1030)은 메인 영역(1010)을 포함하는 면과, 90도에 가깝게 벤딩될 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 서브 영역은 메인 영역(1010)의 반대 방향 측에 배치될 수도 있다.
도 8 및 도 9는 두 개의 서브 영역 및 메인 영역으로 구분되는 벤디드 터치 스크린을 포함하는 사용자 단말 장치의 또 다른 예를 나타낸다. 도 8 및 도 9에 따르면, 벤디드 터치 스크린(100)은 전면에 형성된 메인 영역(1010), 측면에 형성된 제1 서브 영역(1020), 후면에 형성된 제2 서브 영역(1040)으로 구분된다. 도 9에서는, 제2 서브 영역(1030)은 후면 전체를 덮지 않고, 후면의 일부 영역에만 형성될 수 있다. 제어부(200)는 제1 경계 영역(1050-1) 및 제3 경계 영역(1050-3)을 기준으로, 메인 영역(1010), 제1 서브 영역(1020), 제2 서브 영역(1040)을 구분하여, 영역 별로 상이한 컨텐츠를 디스플레이할 수 있다.
한편, 도 3 내지 도 9에서는, 서브 영역(1020, 1030)이 라운드 형태로 벤딩된 형태를 도시하였으나, 서브 영역(1020, 1030, 1040)도 평면 형태로 구성될 수 있다. 이 경우, 메인 영역(1010)을 포함하는 평면과, 서브 영역(1020, 1030, 1040)을 포함하는 평면은, 경계 라인을 따라 접할 수 있다. 즉, 경계 영역(1050-1, 1050-2, 1050-3)은 라인 형상이 될 수도 있다.
한편, 사용자 단말 장치(1000)는 삼각형 형태의 단면을 가질 수 있다. 이 경우, 메인 영역(1010)을 포함하는 면과 서브 영역(1020)을 포함하는 면은 경계 영역(1050)에서 둔각(θ)을 이루도록 서로 연결된다. 이 밖에도, 단면 구성은 사다리꼴, 5각형 등과 같은 다양한 형태로 구성될 수 있다.
또한, 이상에서는 벤디드 터치 스크린(100)이 사용자 단말 장치의 전면을 기준으로 가로 방향으로 벤딩된 상태를 도시하였으나, 반드시 이에 한정되는 것은 아니다. 즉, 벤디드 터치 스크린(100)은 사용자 단말 장치(1000)의 전면을 기준으로 세로 방향으로 벤딩될 수도 있다.
도 10은 벤디드 터치 스크린(100)이 세로 방향으로 벤딩된 상태를 나타낸다. 구체적으로는, 벤디드 터치 스크린(100)은 사용자 단말 장치(1000)의 전면에 배치된 메인 영역(1010) 및 하측 면에 배치된 서브 영역(1020)으로 구분될 수 있다. 메인 영역(1010)의 상측에는 스피커부(390)가 배치될 수 있다. 한편, 도 1에서는, 벤디드 터치 스크린(100) 및 제어부(200)를 포함하는 사용자 단말 장치의 구성을 도시하였으나, 실시 예에 따라서, 사용자 단말 장치(1000)는 다양한 구성요소를 더 포함할 수 있다. 가령, 사용자 단말 장치(1000)는 각종 어플리케이션이 저장된 메모리를 더 포함할 수 있다. 제어부(200)는 사용자 제스쳐에 따라 메모리에 저장된 어플리케이션을 실행시켜, 그 어플리케이션이 제공하는 컨텐츠를 메인 영역 및 서브 영역에 표시할 수 있다. 본 명세서에서는 메인 영역에 표시되는 컨텐츠는 메인 컨텐츠, 서브 영역에 표시되는 컨텐츠는 서브 컨텐츠로 명명하여 설명한다. 또한, 설명의 편의를 위하여, 제1 어플리케이션이 제공하는 메인 컨텐츠는 제1 메인 컨텐츠, 제1 어플리케이션이 제공하는 서브 컨텐츠는 제1 서브 컨텐츠, 제2 어플리케이션이 제공하는 메인 컨텐츠는 제2 메인 컨텐츠, 제2 어플리케이션이 제공하는 서브 컨텐츠는 제2 서브 컨텐츠로 기재한다.
제어부(200)는 메인 컨텐츠와 서브 컨텐츠를 다른 레이아웃으로 표시할 수 있다. 제어부(200)는 어플리케이션이 변경되면, 변경된 어플리케이션에 따른 메인 컨텐츠 및 서브 컨텐츠를 메인 영역 및 서브 영역에 각각 디스플레이할 수 있다.
그 밖에도 사용자 단말 장치(1000)는 다양한 형태로 구성될 수 있다.
도 11은 휴대폰으로 구현된 사용자 단말 장치(1000)의 세부 구성의 일 예를 나타내는 블럭도이다. 도 11에 따르면, 사용자 단말 장치(1000)는 벤디드 터치 스크린(100), 제어부(200), 저장부(310), GPS 칩(320), 통신부(330), 비디오 프로세서(340), 오디오 프로세서(350), 버튼(360), 마이크부(370), 촬상부(380), 스피커부(390), 움직임 감지부(400)를 포함한다.
벤디드 터치 스크린(100)은 상술한 바와 같이 메인 영역 및 적어도 하나의 서브 영역으로 구분될 수 있다. 벤디드 터치 스크린(100)은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 벤디드 터치 스크린(100) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 또한, 벤디드 터치 스크린(100)은 플렉서블 디스플레이로 구현될 수도 있다. 또는, 플렉서블 하지 않은 일반 디스플레이로 구현될 수도 있다. 일반 디스플레이로 구현되는 경우, 복수의 디스플레이를 서로 연결하여 벤디드 터치 스크린(100)을 구성할 수 있다.
한편, 벤디드 터치 스크린(100)은 사용자의 터치 제스쳐를 감지하기 위한 터치 센서를 포함할 수 있다. 터치 센서는 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 이 밖에도, 사용자 단말 장치(1000)가 펜 입력 기능도 지원하는 경우, 벤디드 터치 스크린(100)은 사용자의 손가락 이외에도 펜과 같은 입력 수단을 이용한 사용자 제스쳐도 감지할 수 있다. 입력 수단이 내부에 코일을 포함하는 스타일러스 펜일 경우, 사용자 단말 장치(1000)는 스타일러스 펜 내부의 코일에 의해 변화되는 자기장을 감지할 수 있는 자기장 감지 센서를 포함할 수도 있다. 이에 따라, 터치 제스쳐 뿐만 아니라 근접 제스쳐, 즉, 호버링(hovering)도 감지할 수 있게 된다.
저장부(310)는 사용자 단말 장치(1000)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로는, 저장부(310)에는 메인 영역 및 서브 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.
제어부(200)는 저장부(310)에 저장된 프로그램 및 데이터를 이용하여 벤디드 터치 스크린(100)의 메인 영역 및 서브 영역 각각에 컨텐츠를 디스플레이한다. 또한, 제어부(200)는 메인 영역, 서브 영역 및 그 사이의 경계에 해당하는 경계 영역에 대하여 사용자 터치가 이루어지면, 그 터치에 대응되는 제어 동작을 수행한다.
제어부(200)는 RAM(210), ROM(220), CPU(230), GPU(Graphic Processing Unit)(240), 버스(250)를 포함한다. RAM(210), ROM(220), CPU(230), GPU(Graphic Processing Unit)(240) 등은 버스(250)를 통해 서로 연결될 수 있다.
CPU(230)는 저장부(310)에 액세스하여, 저장부(310)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(310)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(220)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(230)는 ROM(220)에 저장된 명령어에 따라 저장부(310)에 저장된 O/S를 RAM(210)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(230)는 저장부(310)에 저장된 각종 프로그램을 RAM(210)에 복사하고, RAM(210)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(240)는 사용자 단말 장치(1000)의 부팅이 완료되면, 메인 영역 및 서브 영역 중에서 활성화된 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(240)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 벤디드 터치 스크린(100)으로 제공되어, 메인 영역 및 서브 영역에 각각 표시된다.
GPS 칩(320)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 사용자 단말 장치(1000)의 현재 위치를 산출하기 위한 구성요소이다. 제어부(200)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(320)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(330)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(330)는 와이파이칩(331), 블루투스 칩(332), 무선 통신 칩(333), NFC 칩(334)을 포함한다. 제어부(200)는 통신부(330)를 이용하여 각종 외부 기기와 통신을 수행한다.
와이파이 칩(331), 블루투스 칩(332)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(331)이나 블루투스 칩(332)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(333)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(334)은135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(340)는 통신부(330)를 통해 수신된 컨텐츠 또는, 저장부(310)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서(340)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(350)는 통신부(330)를 통해 수신된 컨텐츠 또는, 저장부(310)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(350)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
제어부(200)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(340) 및 오디오 프로세서(350)를 구동시켜, 해당 컨텐츠를 재생할 수 있다.
벤디드 터치 스크린(100)은 비디오 프로세서(340)에서 생성한 이미지 프레임을 메인 영역, 서브 영역 중 적어도 하나의 영역에 디스플레이할 수 있다.
또한, 스피커부(390)는 오디오 프로세서(350)에서 생성한 오디오 데이터를 출력한다.
버튼(360)은 사용자 단말 장치(1000)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
마이크 부(370)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 제어부(200)는 마이크 부(370)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(310)에 저장할 수 있다.
촬상부(380)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 촬상부(380)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다. 상술한 바와 같이, 촬상부(380)는 사용자의 시선 추적을 위한 실시 예에서 사용자의 이미지를 획득하기 위한 수단으로 사용될 수 있다.
촬상부(380) 및 마이크 부(370)가 마련된 경우, 제어부(200)는 마이크 부(370)를 통해 입력되는 사용자 음성이나 촬상부(380)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 사용자 단말 장치(1000)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(200)는 촬상부(380)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 제어부(200)는 마이크 부(370)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다.
모션 제어 모드나 음성 제어 모드가 지원되는 사용자 단말 장치(1000)에서는, 음성 인식 기술 또는 모션 인식 기술이 상술한 다양한 실시 예에 사용될 수 있다. 가령, 사용자가 홈 화면에 표시된 오브젝트를 선택하는 듯한 모션을 취하거나, 그 오브젝트에 대응되는 음성 명령어를 발음하는 경우, 해당 오브젝트가 선택된 것으로 판단하고, 그 오브젝트에 매칭된 제어 동작을 수행할 수 있다.
움직임 감지부(400)는 사용자 단말 장치(1000)의 본체 움직임을 감지하기 위한 구성요소이다. 즉, 사용자 단말 장치(1000)는 다양한 방향으로 회전되거나 기울어질 수 있다. 움직임 감지부(400)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 11에 도시하지는 않았으나, 실시 예에 따라서는, 사용자 단말 장치(1000) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.
한편, 상술한 바와 같이, 저장부(310)에는 다양한 프로그램이 저장될 수 있다. 도 12는 사용자 단말 장치(1000)에 저장된 소프트웨어의 구조를 설명하기 위한 도면이다. 도 12에 따르면, 저장부(310)에는 OS(1210), 커널(1220), 미들웨어(1230), 어플리케이션(1240) 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System: OS, 1210)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(1210)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(1220)은 벤디드 터치 스크린(100)에서 감지되는 터치 신호 등을 비롯한 각종 신호들을 미들웨어(1220)로 전달하는 통로 역할을 한다.
미들웨어(1220)는 사용자 단말 장치(1000)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 12에 따르면, 미들웨어(1230)는 X11 모듈(1230-1), APP 매니저(1230-2), 연결 매니저(1230-3), 보안 모듈(1230-4), 시스템 매니저(1230-5), 멀티미디어 프레임워크(1230-6), UI 프레임워크(1230-7), 윈도우 매니저(1230-8), 필기 인식 모듈(1230-9)을 포함한다.
X11 모듈(1230-1)은 사용자 단말 장치(1000)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 제스쳐가 감지되는 이벤트, 시스템 알람(alarm)이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(1230-2)는 저장부(310)에 설치(install)된 각종 어플리케이션(1240)의 실행 상태를 관리하는 모듈이다. APP 매니저(1230-2)는 X11 모듈(1230-1)로부터 어플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다.
연결 매니저(1230-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(1230-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
보안 모듈(1230-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(1230-5)는 사용자 단말 장치(1000) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(1230-5)는 그 모니터링 결과를 메인 UI 프레임워크(1230-7)나 서브UI 프레임워크(1230-9)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(1230-6)는 사용자 단말 장치(1000)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(1230-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
메인 UI 프레임워크(1230-7)는 벤디드 터치 스크린(100)의 메인 영역에 표시할 각종 UI를 제공하기 위한 모듈이고, 서브 UI 프레임워크(1230-9)는 서브 영역에 표시할 각종 UI를 제공하기 위한 모듈이다. 메인 UI 프레임워크(1230-7) 및 서브 UI 프레임워크(1230-9)는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
윈도우 매니저(1230-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(1230-8)는 이러한 이벤트가 감지되면 메인 UI 프레임워크(1230-7) 또는 서브 UI 프레임워크(1230-9)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
그 밖에도, 사용자가 화면을 터치 및 드래그하는 경우, 그 드래그 궤적에 따라 라인을 드로잉하기 위한 필기 모듈이나, 움직임 감지부(400)에서 감지된 센서 값에 기초하여 피치각, 롤각, 요우각 등을 산출하기 위한 각도 산출 모듈 등과 같은 다양한 프로그램 모듈이 저장될 수도 있다.
어플리케이션 모듈(1240)은 다양한 기능을 지원하기 위한 어플리케이션들(1240-1 ~ 1240-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 어플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다. CPU(230)는 오브젝트가 선택되면, 어플리케이션 모듈(1240)을 이용하여 선택된 오브젝트에 대응되는 어플리케이션을 실행시킬 수 있다.
도 12에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(310)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
한편, 상술한 바와 같이 사용자 단말 장치(1000)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 따라서, 도 11 및 도 12에서 설명한 구성은, 사용자 단말 장치(1000)의 종류에 따라 다양하게 변형될 수 있다.
이상에서 설명한 바와 같이, 사용자 단말 장치(1000)는 다양한 형태 및 구성으로 구현될 수 있다. 사용자 단말 장치(1000)의 제어부(200)는 실시 예에 따라 다양한 사용자 인터렉션을 지원할 수 있다.
이하에서는, 본 발명의 다양한 실시 예에 따른 사용자 인터렉션 방법에 대하여 구체적으로 설명한다.
본 발명의 일 실시 예에 따르면, 제어부(200)는 사용자 단말 장치(1000)에 설치된 어플리케이션의 실행을 요청하는 신호를 수신할 수 있다. 예를 들어, 사용자 단말 장치(1000)의 외부 기기로부터 데이터를 수신하거나, 사용자 단말 장치(1000) 본체에 구비된 버튼 또는 벤디드 터치 스크린(100)을 이용하여 사용자가 어플리케이션의 실행을 요청하거나, 또는 어플리케이션을 일정 시각에 자동으로 실행시키는 사전 설정이 있는 경우, 제어부(200)는 어플리케이션의 실행을 요청하는 신호를 수신할 수 있다.
제어부(200)는 요청 신호에 응답하여, 어플리케이션을 제1 레이아웃 또는 제2 레이아웃 중 하나로 선택적으로 표시할 수 있다. 이 때, 제1 레이아웃은 벤디드 터치 스크린(100)의 서브 영역의 디스플레이 레이아웃을 의미하고, 제2 레이아웃은 상기 벤디드 터치 스크린(100)의 메인 영역의 디스플레이 레이아웃을 의미할 수 있다. 제어부(200)는 사용자 단말 장치(1000) 의 현재 상태가 제1 레이아웃 표시 상태인 경우, 어플리케이션을 벤디드 터치 스크린(100)의 서브 영역에 제1 레이아웃으로 표시할 수 있다. 이 때, 어플리케이션은 서브 영역의 전체에 표시될 수도 있고, 또는 서브 영역의 일부에만 표시될 수도 있다. 또는, 어플리케이션은 메인 영역 및 서브 영역 모두에서 표시될 수도 있고, 또는, 실행된 어플리케이션의 일부가 서브 영역 상에만 표시될 수도 있다.
도 13 및 도 14는 다양한 레이아웃의 예를 나타내는 도면이다. 도 13 및 도 14는 벤디드 터치 스크린(100)이 메인 영역(1010) 및 하나의 서브 영역(1020)으로 구분되고, 서브 영역(1020)이 완만하게 구부러진 형태인 사용자 단말 장치(1000)에 대하여 도시하고 있지만, 벤디드 터치 스크린(100)은 도 2 내지 도 10에서 설명한 바와 같이 다양한 형태로 구현될 수 있으며, 도 13 및 도 14는 이러한 다양한 형태의 사용자 단말 장치(1000)에 대해서도 동일하게 적용될 수 있다. 또한, 설명의 편의를 위해서, 이하의 다양한 실시 예들에서는 메인 영역은 1010, 서브 영역에 대해서는 1020, 1030과 같은 참조부호를 통일시켜 사용한다.
도 13을 참조하면, 벤디드 터치 스크린(100)의 서브 영역(1020)에는 제1 레이아웃(1340)으로 화면이 디스플레이되고, 메인 영역(1010)에는 제2 레이아웃(1330)으로 화면이 디스플레이된다. 여기서, 레이아웃이란 각종 정보를 표시하기 위한 영역의 크기, 형태, 배치 위치, 배치 순서 등을 정해 둔 정보를 의미한다.
도 13에 따르면, 제1 레이아웃(1340)은 복수의 영역(1341, 1342, 1343)으로 구분된다. 또한, 제2 레이아웃(1330)도 복수의 영역(1331, 1332, 1333, 1334)로 구분된다. 각 영역(1341, 1342, 1343, 1331, 1332, 1333, 1334)에는, 예로, 아이콘, 버튼, 메뉴, 가상 키보드, 오브젝트 또는 컨텐츠 중 적어도 하나 이상의 정보가 포함될 수 있다.
또한, 제1 레이아웃(1340) 화면의 면적은 제2 레이아웃(1330) 화면의 면적보다 작을 수 있다. 제1 레이아웃(1340) 화면의 가로 길이(1345)는 제2 레이아웃(1330) 화면의 가로 길이(1335)보다 작을 수 있으며, 제1 레이아웃(1340) 화면의 세로 길이(1346)는 제2 레이아웃(1330) 화면의 세로 길이(1336)와 같거나 또는 비슷한 길이를 가질 수 있다. 또한, 제1 레이아웃(1340) 화면의 가로 길이(1345) 및 세로 길이(1346)의 비율은 제2 레이아웃(1330) 화면의 가로 길이(1335) 및 세로 길이(1336)에 대한 비율보다 작다. 예를 들어, 제1 레이아웃(1340) 화면의 가로 길이(1345) 및 세로 길이(1346)의 비율은 제2 레이아웃(1330) 화면의 가로 길이(1335) 및 세로 길이(1336)에 대한 비율보다 두 배 또는 그 이상으로 작은 값을 가질 수 있다.
도 14는 제3 레이아웃의 일 예를 나타낸다. 상술한 바와 같이 제3 레이아웃이란 메인 영역(1010) 및 서브 영역(1020) 모두에 대응되는 레이아웃을 의미한다.
도 14를  참조하면, 벤디드 터치 스크린(100)의 제3 레이아웃(1400)은 메인 영역(1010) 및 서브 영역(1020)을 합친 전체 디스플레이 영역에 대응될 수 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 제3 레이아웃(1400)은 메인 영역(1010)의 일부 및 서브 영역(1020)의 일부를 합친 디스플레이 영역에 대응될 수도 있다. 제3 레이아웃(1400)은 복수의 영역 (1401~1407)을 포함할 수 있다. 이 중 일부 영역(1403, 1407)은 메인 영역(1010) 및 서브 영역(1020)에 걸쳐서 표시될 수 있다. 또한, 제3 레이아웃(1400)의 면적은 제1 레이아웃(1340)의 면적 및 제2 레이아웃(1330)의 면적보다 클 수 있다.
제어부(200)는 사용자의 상태나 행위, 주변 상황 등과 같은 다양한 조건에 기초하여, 레이아웃을 선택적으로 적용하여, 정보를 표시할 수 있다. 또한, 표시되는 정보도 이러한 조건에 따라 다르게 결정될 수 있다. 제어부(200)는 사용자 단말 장치에 설치된 어플리케이션의 표시를 요청하는 신호가 수신되면, 제어부(200)는 그 신호에 응답하여 어플리케이션을 제1 레이아웃 또는 제2 레이아웃으로 선택적으로 표시할 수 있다. 가령, 메인 영역에 표시하여야 할 어플리케이션이라면 제2 레이아웃으로 메인 영역에 표시하고, 서브 영역에 표시하여야 하는 어플리케이션이라면 제1 레이아웃으로 서브 영역에 표시한다.
또는, 제어부(200)는, 어플리케이션의 특성 상, 메인 영역 및 서브 영역 전체를 이용하여 표시하여야 하는 경우 또는 벤디드 터치 스크린(100)의 메인 영역 및 서브 영역 모두에 대응하는 제3 레이아웃이 선택되는 경우에는, 그 어플리케이션을 제3 레이아웃에 따라 메인 영역 및 서브 영역에 표시한다.
일 실시 예에 따르면, 제어부(200)는 현재 사용자의 위치, 현재 사용자의 주변 환경, 현재 시각 등을 고려하여 서브 영역 상에 다양한 정보를 표시할 수 있다.사용자 단말 장치(1000)가 도 11과 같은 구성을 가지는 경우, 제어부(200)는  GPS 칩(320)으로부터 현재 위치를 확인하고, 기 저장된 지도 정보와 비교하여 사용자 단말 장치(1000)의 주변 환경 등을 판단할 수 있다. 구체적으로는, 사용자 단말 장치(1000)가 쇼핑 센터나 백화점 내에 위치하고 있는 경우, 제어부(200)는 사용자가 쇼핑 중이라고 판단할 수 있고, 유원지나 영화관 내에 위치하고 있다면, 제어부(200)는 사용자가 놀이 기구를 탑승할 예정이라거나 영화 관람 예정이라고 판단할 수 있다. 제어부(200)는 판단 결과에 따라 사용자에게 유용한 정보를 제공할 수 있다.
*일 예로, 사용자가 쇼핑 중인 경우, 제어부(200)는 쇼핑과 관련된 알림 정보를 서브 영역을 통해서 실시간으로 제공할 수 있다. 쇼핑과 관련된 알림 정보는, 예로, ‘5분 후에 시간 한정 판매가 시작됩니다’ 등의 메시지를 포함할 수 있다.
다른 일 예로, 사용자가 유원지에 있는 경우, 제어부(200)는 유원지와 관련된 알림 정보를 서브 영역을 통해서 실시간으로 제공할 수 있다. 유원지 관련 알림 정보는, 예로, ‘예약하신 롤러코스터의 탑승이 5분 남았습니다’ 등의 메시지를 포함할 수 있다.
또 다른 일 예로, 사용자가 영화 관람 예정인 경우, 영화 정보와 관련된 알림 정보가 서브 영역 상에 실시간으로 제공될 수 있다. 영화 정보와 관련된 알림 정보는, 예로, ‘예매 내역이 있습니다. AAAA 영화 13관 24:30"등의 메시지를 포함할 수 있다.
이러한 예들에서 제어부(200)는 각종 알림 정보를 제공하기 위해서, 해당 위치나 건물에서 운영하는 서버 장치와 통신을 수행할 수도 있다. 가령, 사용자 단말 장치(1000)가 쇼핑 센터 내로 진입하는 경우, 제어부(200)는 통신부(330)를 통해서 해당 쇼핑 센터의 서버 장치에 액세스한다. 이에 따라, 서버 장치로부터 쇼핑과 관련된 각종 정보들을 수신할 수 있다. 제어부(200)는 수신된 정보들 중에서 적어도 일부 정보를 상술한 바와 같이 메시지 형태로 출력할 수 있다. 또는, 상술한 예에서와 같이 사용자가 유원지나 극장 내에 위치하는 경우에도, 제어부(200)는 해당 지역의 서버 장치와 통신을 수행하여, 사용자에게 유용한 각종 정보들을 제공받고, 그 정보들을 서버 영역으로 통해 제공하여 줄 수 있다.
한편, 또 다른 일 예로, 사용자 단말 장치(1000) 가 주변 기기와 연결되어 데이터를 전송 또는 수신하는 경우, 제어부(200)는 해당 통신과 관련된 각종 정보를 서브 영역을 통해 디스플레이할 수도 있다. 구체적으로는, 서브 영역에는 연결 정보, 연결 상태, 전송 결과 또는 수신 결과 중 적어도 하나가 표시될 수 있다.
연결 정보는, 예로, 사용자 단말 장치(1000) 와 연결될 수 있는 주변 기기 목록들을 포함할 수 있다. 연결 상태는, 애니메이션 형태로 표시될 수도 있다. 예를 들어, 사용자 단말 장치(1000)가 주변 기기와 연결 중인 것을 나타내는 애니메이션이나, 데이터를 전송하는 기기로부터 데이터를 수신받는 기기로 오브젝트가 이동되는 애니매이션이 서브 영역 상에 표시될 수 있다. 또한, 전송이 성공적으로 완료되거나 실패하는 경우, 또는 수신이 정상적으로 이루어졌거나 수신 실패한 경우에는, 제어부(200)는 그 결과 메시지를 서브 영역에 표시할 수도 있다.
또 다른 실시 예에 따르면, 제어부(200)는 현재 사용자의 행위를 고려하여 서브 영역 상에 다양한 정보를 표시할 수도 있다.
일 예로, 사용자 단말 장치(1000) 가 테이블 상에 놓여진 상태에서 사용자가 테이블 위를 두드리거나 또는 특정 소리를 내는 경우, 제어부(200)는 미리 결정된 어플리케이션을 실행시켜, 그 실행 화면을 서브 영역 상에 표시할 수 있다.
다른 예로, 사용자가 가방을 여는 경우, 제어부(200)는 사용자 단말 장치(1000) 또는 가방 안의 다른 물품을 발견하기 용이하도록 서브 영역을 활성화시켜, 임의의 메시지나 이미지, 화면 등을 표시하거나, 또는 미리 결정된 어플리케이션을 표시할 수 있다. 또 다른 예로, 사용자가 운동 중인 경우, 제어부(200)는 운동 결과(예로, 운동 시간, 운동 거리, 소모 칼로리) 또는 운동 보상에 대한 정보를 서브 영역 상에 표시할 수도 있다.
또한, 메인 영역에 이미 실행 중인 어플리케이션이 있는 경우, 제어부(200)는 사용자가 현재 메인 영역에서 작업 중인 것으로 판단하고, 추가적으로 실행되는 어플리케이션을 제1 레이아웃으로 서브 영역 상에 표시할 수 있다.
이로 인하여, 사용자는 사용자의 행위에 대한 피드백을 서브 영역을 이용하여 간단하고 편리하게 제공 받을 수 있다. 또한, 무분별한 푸쉬(push) 서비스에 의한 알림 정보들을 서브 영역에 일괄적으로 표시할 수 있게 됨으로써, 사용자는 메인 영역 상에서 수행 중인 작업을 중단 없이 계속할 수 있다.
제어부(200)는 사용자 단말 장치(1000) 가 구비한 적어도 하나의 센서(미도시)나 도 11의 움직임 감지부(4000), 마이크부(370), 촬상부(380) 등을 이용하여 사용자 단말 장치(1000)의 현재 상태 또는 사용자의 행위를 판단할 수 있다.
가령, 상술한 예에서, 제어부(200)는 도 11의 마이크부(370)를 이용하여 사용자가 테이블을 두드리거나 특정 소리를 내고 있는지 여부를 판단할 수 있다.
또한, 제어부(200)는 촬상부(380)에서 촬상된 이미지의 휘도 값이 기 설정된 휘도 값 미만이거나, 별도로 마련된 조도 센서(미도시)에서 기 설정된 값 미만의 조도가 감지되고 있는 상태에서, 지퍼 여는 소리 또는 단추를 여는 소리 등과 같은 기 설정된 특성의 음향 신호가 마이크부(370)를 통해 입력되면, 사용자 단말 장치(1000)가 들어 있는 가방이 열리고 있는 상태인 것으로 판단할 수 있다. 또한, 움직임 감지부(400)에 의해 사용자 단말 장치(1000)가 일정한 패턴으로 움직이고 있는 것이 감지된다면, 제어부(200)는 사용자가 운동 중이라고 판단하고, 그 운동 시간, 이동 거리 등을 이용하여 운동 결과 또는 보상 결과 등을 산출할 수 있다.
그 밖에도, 제어부(200)는 움직임 감지부(400), 촬상부(380), 터치 센서(미도시) 등의 감지 결과에 기초하여, 사용자의 시선이 메인 영역을 향하는지 서브 영역을 향하는지도 판단할 수 있다. 가령, 움직임 감지부(400)에 포함된 가속도 센서에 의해 사용자 단말 장치(1000)의 서브 영역이 사용자 측을 향하도록 기울어진 상태가 감지되는 경우, 촬상부(380)에 의해 사용자의 눈이 서브 영역을 향하는 것이 촬영되는 경우, 벤디드 터치 스크린(100)에서 감지된 터치 위치에 기초하여 판단된 사용자의 파지 자세가 서브 영역을 볼 때의 파지 자세에 매칭되는 경우, 제어부(200)는 사용자가 서브 영역을 보고 있다고 판단할 수 있다.
또한, 제어부(200)는 조도 센서 또는 거리 센서를 이용하여, 메인 영역의 적어도 일부가 사용자 단말 장치(1000)의 커버 또는 다른 물체로 덮여 있는지를 판단할 수도 있다. 또는, 제어부(200)는 GPS 칩(320), 조도 센서(미도시) 또는 촬상부(380) 등을 이용하여 사용자가 공공 장소에 있는지를 판단할 수도 있다. 또한, 제어부(200)는 배터리의 측정 센서(미도시)를 이용하여 사용자 단말 장치(1000)의 전력 소모를 줄일 필요가 있는지를 판단할 수도 있다. 이하, 사용자 단말 장치(1000)의 현재 상태를 판단하는 다양한 예들은 후술하는 실시 예에서 상세히 언급될 예정이다.
제어부(200)는 사용자 단말 장치(1000) 의 현재 상태를 고려하여 실행된 어플리케이션을 벤디드 터치 스크린(100)의 서브 영역 또는 메인 영역 상에 표시할 수 있다. 사용자 단말 장치(1000)의 현재 상태가 제1 레이아웃 표시 상태인 경우, 제어부(200)는 어플리케이션을 벤디드 터치 스크린(100)의 서브 영역 상에 표시할 수 있다. 사용자 단말 장치(1000)의 현재 상태가 제2 레이아웃 표시 상태인 경우, 제어부(200)는 어플리케이션을 벤디드 터치 스크린(100)의 메인 영역 상에 제2 레이아웃으로 표시할 수 있다. 사용자 단말 장치(1000)의 현재 상태가 제3 레이아웃 표시 상태인 경우, 제어부(200)는 어플리케이션을 벤디드 터치 스크린(100)의 메인 영역 및 서브 영역 모두에 제3 레이아웃으로 표시할 수 있다.
제어부(200)는 사용자의 사전 설정, 어플리케이션의 특성, 사용자 단말 장치(1000)의 현재 사용 환경, 사용자의 행위 등과 같은 다양한 조건에 따라 제1 내지 제3 레이아웃을 선택적으로 결정할 수 있다.
도 15 내지 도 19는 사용자 시선에 기초하여 정보를 표시하는 실시 예를 설명하기 위한 도면이다.
도 15 내지 도 19에서 제어부(200)는 사용자 단말 장치(1000)가 구비한 적어도 하나의 센서 또는 촬상부(380)를 이용하여 사용자의 시선이 벤디드 터치 스크린(100)의 메인 영역(1010)을 향하는지, 서브 영역(1020)을 향하는지, 또는 메인 영역 및 서브 영역 모두를 향하는지를 분석할 수 있다. 제어부(200)는 사용자의 시선 분석 결과에 따라 사용자의 주 시선 영역에 어플리케이션을 표시할 수 있다.
예를 들어, 사용자가 수직 또는 수평 축을 기준으로 사용자 단말 장치(1000)를 틸팅(tilting)하는 경우, 제어부(200)는 가속도 센서(미도시)를 이용하여 사용자 단말 장치(1000)가 틸팅되는 각도의 크기를 판단하고, 사용자의 시선이 메인 영역을 향하는지 또는 서브 영역을 향하는지를 결정할 수 있다.
또는, 제어부(200)는 촬상부(380)를 이용하여 사용자 얼굴, 사용자 얼굴의 일부분(예로, 양 눈과 코 간에 ‘T’로 형성되는 영역) 또는 사용자의 눈의 위치 등을 감지하고, 사용자의 시선이 메인 영역을 향하는지 또는 서브 영역을 향하는지를 판단할 수 있다.
또는, 제어부(200)는 사용자가 사용자 단말 장치(1000) 의 파지를 위하여 메인 영역 또는 서브 영역에 터치한 손가락의 면적 또는 압력의 변화를 측정하고, 그 측정 결과에 따라 사용자의 시선이 메인 영역을 향하는지 또는 서브 영역을 향하는지를 판단할 수 있다.즉, 사용자가 메인 영역을 보고 있을 때의 일반적인 파지 자세와, 서브 영역을 보고 있을 때의 일반적인 파지 자세는 서로 다를 수 밖에 없다. 따라서, 각 파지 자세에서 측정되는 터치 위치, 터치 면적, 압력 등에 대한 정보를 각 파지 자세 별로 매칭시켜 저장부(310)에 저장해 둘 수 있다. 제어부(200)는 터치 센서 또는 압력 센서에서 측정되는 정보에 매칭되는 파지 자세를 저장부(310)로부터 확인하여, 사용자의 시선이 메인 영역을 향하는지 서브 영역을 향하는지 여부를 판단할 수 있다. 그 밖에, 사용자의 시선 영역을 판단하는 방법은 본 기술 분야의 통상의 지식을 가진 자라면 본 개시의 기술적 사상의 범위 내에서 다양한 실시 예가 가능할 것이다.
도 15의 1510을 참조하면, 벤디드 터치 스크린(100)의 메인 영역에는 컨텐츠(예로, 비디오 컨텐츠)가 재생 중일 수 있다. 도 11의 1510에서, 사용자는 사용자 단말 장치(1000) 를 일정 각도(θ1)만큼 사용자 방향으로 기울일 수 있다. 예를 들어, θ1은 0˚~30˚가 될 수 있다. 이러한 사용자의 동작에 따라, 도 15의 1520에서와 같이, 사용자의 시선은 메인 영역(1010) 및 서브 영역(1020) 모두에 향할 수 있다. 제어부(200)는 메인 영역(1010)에는 컨텐츠를 표시하고 있는 상태에서, 서브 영역(1020)에는 해당 컨텐츠를 제어할 수 있는 어플리케이션(1521)을 표시할 수 있다. 어플리케이션(1521)은 컨텐츠를 제어할 수 있는 메뉴를 제공할 수 있다.일 예로, 사용자는 메뉴를 이용하여, 실행 중인 컨텐츠의 정지, 일시 정지, 스킵, 빠른 재생, 느린 재생 등의 기능을 수행할 수 있다.
한편, 사용자는 사용자 단말 장치를 일정 각도(θ2)만큼 사용자 방향으로 기울일 수도 있다. 예를 들어, θ2는 80˚~100˚가 될 수 있다. 도 15의 1530은 θ2 만큼 기울어진 상태를 나타낸다.
이러한 사용자의 동작에 따라, 도 15의 1530에서, 사용자의 시선은 서브 영역을 향할 수 있다.이와 같이, 사용자 시선이 서브 영역(1020)을 향하게 되면, 제어부(200)는 메인 영역(1010)에서 재생 가능한 컨텐츠들의 목록을 제공하는 어플리케이션(1531)를 서브 영역(1020)에 표시할 수 있다.사용자는, 컨텐츠들의 목록에서 하나의 컨텐츠를 선택하여, 메인 영역에 재생 중인 컨텐츠를 다른 컨텐츠로 전환할 수 있다.
한편, 또 다른 실시 예에 따르면, 제어부(200)는 사용자의 시선에 따라 정보 표시 위치를 상이하게 결정할 수도 있다. 도 16은 이러한 실시 예를 설명하기 위한 도면이다.
도 16의 1610을 참조하면, 벤디드 터치 스크린(100)의 메인 영역(1610)에는 컨텐츠(1611)(예로, 비디오 컨텐츠)가 재생 중일 수 있다.도 16의 1610과 같은 상태에서는, 사용자 시선은 메인 영역(1010)을 향하게 된다. 이러한 상태에서 신규 메시지가 수신되거나, 프로그램 업데이트 이벤트 등이 발생하면, 제어부(200)는 그 사실을 알리기 위한 알림 정보를 서브 영역(1020)에 표시할 수 있다. 도 16의 1610에서는 신규 메시지가 수신되었음을 나타내는 알림 정보(1612)를 서브 영역(1020)에 표시한 상태를 나타낸다.
도 16에 도시된 바와 같이 메인 영역(1010)과 서브 영역(1020)이 둔 각을 이루면서 서로 연결된 경우라면, 사용자가 메인 영역(1010)을 보고 있다고 하더라도 서브 영역(1020)에 표시되는 알림 정보를 용이하게 인지할 수 있다. 사용자는 알림 정보(1612)를 인지하고 사용자 단말 장치(1000)를  사용자 방향으로 일정 각도(θ3) 만큼 기울일 수 있다. 예로, θ3는  0˚~ 30˚ 등과 같이 다양한 각도로 정해질 수 있다.
이와 같이 사용자 단말 장치(1000)가 앞으로 기울어지면, 도 16의 1620에 도시된 바와 같이, 사용자의 시선은 메인 영역 및 서브 영역 모두에 향할 수 있다. 이 때, 제어부(200)는 서브 영역(1020) 및 메인 영역(1010)의 일부에 알림 정보(1612)의 상세 정보들(1621, 1622)을 표시할 수 있다.
도 16의 1620에서는 서브 영역(1020)에는 메시지를 발신한 제3자에 대한 정보(1621)가 표시되고, 메인 영역(1010)의 일부에는 제3자로부터 수신한 메시지의 내용(1622)이 표시될 수 있다.메시지의 내용에는 첨부된 컨텐츠(1623)가 함께 표시될 수 있다. 사용자가 사용자 단말 장치(1000)를 앞으로 더 많이 기울이거나, 기울임 상태를 지속적으로 유지한다면, 상세 정보들(1621, 1622)은 메인 영역(1010)의 아래 쪽을 향하여 점차 확대되면서 표시될 수 있다.
도 16에서는 메인 영역(1010)과 서브 영역(1020)이 둔각을 이루면서 서로 만나는 상태를 도시하였으나, 이러한 실시예에 따른 동작은, 메인 영역(1010)과 서브 영역(1020)이 서로 직각을 이루면서 만나는 형태로 구현된 벤디드 터치 스크린(100)을 포함하는 사용자 단말 장치(1000)에서도 동일하게 수행될 수 있음은 물론이다. 도 17은 도 16에 비해 사용자 단말 장치(1000)를 더 많이 기울인 상태를 나타낸다. 도 17의 1710을 참조하면, 벤디드 터치 스크린(100)의 메인 영역(1010)에는 재생 중인 컨텐츠(1711)가 디스플레이될 수 있다. 이 때, 외부 기기로부터 메시지가 수신되면, 벤디드 터치 스크린(100)의 서브 영역(1020)에는 메시지가 수신되었음을 나타내는 알림 정보(1712)가 표시될 수 있다. 사용자는 알림 정보(1712)를 인지하고 사용자 단말 장치(1000)를 일정 각도(θ4) 앞으로 기울일 수 있다. 일 예로, θ4는 80˚~ 100˚정도가 될 수 있다. 도 17의 1720에서, 사용자의 동작에 따라 사용자의 시선은 서브 영역(1020)에 향할 수 있다. 이때, 제어부(200)는 알림 정보(1712)의 상세 정보들(1721, 1722, 1723)을 서브 영역(1020) 상에 표시할 수 있다. 예를 들어, 서브 영역에는 발신자(1721)에 대한 정보, 메시지의 내용(1722) 또는 메시지에 첨부된 컨텐츠(1723) 중 적어도 하나가 티커(ticker)의 형태로 표시될 수 있다.
그 밖에도, 사용자는 다양한 자세로 사용자 단말 장치(1000)를 파지하여, 다양한 방향으로 기울일 수 있다. 사용자 단말 장치(1000)는 사용자의 파지 자세, 기울임 방향, 기울임 정도 등을 고려하여, 메인 영역 및 서브 영역 중 적어도 하나에서 다양한 방식으로 화면을 디스플레이할 수 있다. 또한, 화면 디스플레이 이외에도, 메인 영역 및 서브 영역 각각의 해상도나 밝기, 콘트라스트, 컬러 등을 변경할 수도 있다.
도 18의 1810을 참조하면, 벤디드 터치 스크린(100)의 메인 영역 및 서브 영역 상에는 각각 제1 및 제2 어플리케이션들이 각각 표시 중일 수 있다. 도 18의 1810은 사용자가 사용자 단말 장치(1000)를 오른손으로 파지하고, 메인 영역(1010)을 바라보고 있는 상태를 나타낸다. 이러한 상태에서 도 18의 1810에 도시된 바와 같이, 사용자는 Z 축을 기준으로 사용자 단말 장치(1000)를 θ5만큼 회전시킬 수 있다. 예로, θ5는 0˚~ 50˚가 될 수 있다.
도 18의 1820에 도시된 바와 같이 사용자 단말 장치(1000)가 회전되면, 사용자의 시선은 메인 영역(1010) 및 서브 영역(1020) 모두에 향할 수 있다. 이 경우, 제어부(200)는 사용자의 시선이 메인 영역으로부터 서브 영역으로 옮겨가는 것으로 판단하고, 메인 영역(1010)의 표시 속성을 변경할 수 있다. 예를 들어, 제어부(200)는 메인 영역의 화면의 밝기를 어둡게 하거나, 화면의 해상도를 낮게 조정할 수 있다.
이러한 상태에서 사용자는 사용자 단말 장치를 θ6만큼 더 회전시킬 수 있다. 일 예로, θ6은 50˚~ 100˚가 될 수 있다. 도 18의 1830은 θ6만큼 더 회전된 상태를 나타낸다. 도 18의 1830에서, 사용자의 시선은 서브 영역(1020)을 주로 향할 수 있다. 이 경우, 제어부(200)는 사용자의 시선이 서브 영역을 향하고 있는 것으로 판단하고 메인 영역(1010)의 화면의 밝기를 계속하여 조정할 수 있다. 예를 들어, 제어부(200)는 메인 영역의 화면 밝기를 더 어둡게 하거나, 메인 영역의 화면을 완전히 오프 상태로 전환할 수 있다.
또 다른 실시 예에 따르면, 사용자 단말 장치(1000)의 회전에 따라 서브 영역 및 메인 영역이 서로 연동할 수도 있다. 가령, 도 19의 1910을 참조하면, 벤디드 터치 스크린(100)의 메인 영역(1010) 상에는 제1 어플리케이션이 표시 중일 수 있다. 도 19의 1920에서, 사용자 단말 장치(1000)가 메시지를 수신한 경우, 제어부(200)는 벤디드 터치 스크린(100)의 서브 영역에 메시지가 수신되었음을 나타내는 알림 정보(1921)를 표시할 수 있다. 사용자는 알림 정보(1921)의 수신을 인지하고, 사용자 단말 장치(1000)를 Z 축을 기준으로 어느 정도(θ7) 회전시킬 수 있다. 일 예로, θ7은 0˚~ 30˚ 정도가 될 수 있다.
사용자의 회전 동작에 따라, 도 19의 1530에 도시된 바와 같이, 제어부(200)는 알림 정보(1921) 및 추가적인 알림 정보들(1931, 1932)을 더 제공할 수 있다. 각각의 알림 정보들(1921, 1931, 1932)은 알림 정보의 속성 또는 수신자에 따라 시각적으로 구별되어 표시될 수 있다.
사용자는 사용자 단말 장치(1000)을 일정 각도(θ8)만큼 더 회전시킬 수 있다. 일 예로, θ8은 80˚~100˚ 정도가 될 수 있다. 이와 같이 회전이 되면, 도 19의 1940에 도시된 바와 같이, 제어부(200)는 알림 정보들(1921, 1931, 1932)의 상세 정보들(1941, 1942, 1943)을 메인 영역(1010)까지 확장하여 표시할 수 있다. 예를 들어, 알림 정보들(1921, 1931, 1932)이 메시지들의 일부 내용을 포함하면, 상세 정보들(1941, 1942, 1943)은 메시지들의 전체 내용을 포함할 수 있다. 상세 정보들(1941, 1942, 1943)은 서로 다른 색으로 표시되어 시각적으로 구분되어 표시될 수 있다. 한편, 사용자의 회전 각도가 점차 증가할수록 메인 영역 상에 표시되는 상세 정보들(1941, 1942, 1943)의 내용은 점차 증가할 수 있다.
한편, 사용자 단말 장치(1000)는 이 밖에 다양한 실시 예에 따라, 메인 영역 및 서브 영역에 어플리케이션을 표시할 수 있다. 도 20은 또 다른 실시 예에 따른 사용자 단말 장치에서, 사용자의 제스처를 고려하여 서브 영역 상에 어플리케이션을 표시하는 도면이다.
도 20의 2010을 참조하면, 벤디드 터치 스크린(100)의 메인 영역(1010) 상에는 알림 정보(예로, 메시지)(2011)가 표시 중일 수 있다. 도 20의 2020에서, 사용자는 제스처(예로, 드래그 제스처 또는 플릭 제스처)(2021)를 수행하여 메인 영역 상에 표시되어 있던 알림 정보(2011)를 서브 영역(1020) 상으로 이동시킬 수 있다. 도 20의 2030에서, 제어부(200)는 사용자의 제스처(2021)에 대한 응답으로써 서브 영역 상에 알림 정보(2011)와 관련된 어플리케이션을 표시할 수 있다. 제어부(200)는 서브 영역(1020) 상에 표시된 어플리케이션을 이용하여 알림 정보(2011)와 관련된 기능을 수행할 수 있다. 예를 들어, 제어부(200)는 서브 영역 상에 표시된 어플리케이션을 이용하여 알림 정보(2011)의 상세 내용을 표시하거나, 알림 정보(2011)를 보관하거나 또는 알림 정보(2011)를 재전송할 수 있다.
도 21 내지 도 23은 주변 환경을 고려하여 서브 영역 상에 어플리케이션을 표시하는 실시 예를 설명하기 위한 도면이다.
도 21 내지 도 23에서 제어부(200)는 사용자 단말 장치(1000)가 구비한 적어도 하나의 센서(미도시)를 이용하여 사용자 단말 장치(1000)의 주변 환경을 판단할 수 있다. 예를 들어, 제어부(200)는 조도 센서를 이용하여 사용자 단말 장치(1000)의 주변의 조도를 판단할 수 있다. 또는, 제어부(200)는 GPS 칩(320)이나 기타 위치 감지 센서를 이용하여 사용자 단말 장치(1000)가 위치한 장소를 판단할 수 있다. 또는, 제어부(200)는 거리 센서를 이용하여 사용자 단말 장치(1000)의 일정 거리 이내에 적어도 하나의 물체가 존재하는지 판단할 수 있다. 또는, 제어부(200)는 촬상부(380) 를 이용하여 사용자 단말 장치(1000)의 주변의 조도, 사용자 단말 장치(1000)가 위치한 장소, 또는 사용자 단말 장치(1000)의 일정 거리 이내에 적어도 하나의 물체가 존재하는지 여부 등을 판단할 수 있다. 제어부(200)는 사용자의 주변 환경을 판단하고, 사용자 단말 장치(1000)의 현재 상태가 사용자 단말 장치(1000)의 커버 또는 다른 물체로 덮여 있는 상태인지, 가방 안에 있는 상태인지, 또는 공공 장소(예로, 극장 내부, 회의실 등)에 있는 상태인지 등을 판단할 수 있다. 그 밖에, 사용자의 주변 환경을 판단하는 방법은 전술한 예들에 한정되지 않으며, 본 기술 분야의 통상의 지식을 가진 자라면 본 개시의 기술적 사상의 범위 내에서 다양한 실시 예가 가능할 것이다.
도 21의 2110을 참조하면, 제어부(200)는 어플리케이션을 표시하여야 하는 이벤트가 발생하면, 벤디드 터치 스크린(100)의 메인 영역이 사용자 단말 장치(1000)의 커버(10) 또는 다른 물체로 덮인 상태인지를 판단할 수 있다.여기서, 어플리케이션을 표시하여야 하는 이벤트란, 외부 장치로부터 메시지나 메일 등이 수신되는 이벤트, 외부 장치로부터 특정 어플리케이션을 표시할 것을 요청하는 신호가 수신되는 이벤트, 특정 어플리케이션을 실행시켜 그 화면을 표시할 것을 요청하는 사용자 제스쳐가 입력되는 이벤트, 기 설정된 시간 주기가 도래하는 이벤트, 사용자 단말 장치(1000)에 저장된 어플리케이션에 대한 업데이트 버전이 발생하는 이벤트 등과 같이 다양한 이벤트가 될 수 있다. 도 21의 2110은 커버(10)가 덮혀진 상태에서 이벤트가 발생한 경우를 도시하였다.
벤디드 터치 스크린(100)의 메인 영역이 사용자 단말 장치(1000)의 커버 또는 다른 물체로 덮여 있는 경우, 도 21의 2120에 도시된 바와 같이, 제어부(200)는 서브 영역(1020) 상에 제1 레이아웃으로 어플리케이션을 표시할 수 있다.도 17의 2120에서는 신규 메시지를 표시하기 위한 어플리케이션이 서브 영역(1020)에 대응되는 레이아웃으로 표시되고 있는 상태를 나타낸다.
또는, 벤디드 터치 스크린(100)의 메인 영역의 일부가 사용자 단말 장치(1000)의 커버(10) 또는 물체로 덮여 있는 경우, 사용자 단말 장치(1000)는 덮여 있는 영역을 제외한 메인 영역의 나머지 영역 중 일부 및 서브 영역 중 적어도 하나에 어플리케이션을 표시할 수 있다.
도 22는 사용자 단말 장치(1000)가 가방 안에 들어 있는 경우를 나타낸다.도 22의 2210을 참조하면,  제어부(200)는 상술한 이벤트가 발생하면, 메인 영역의 일부나 서브 영역 등을 이용하여 어플리케이션을 표시할 수 있다. 예를 들어, 제어부(200)는 알림 정보를 제공하는 어플리케이션의 표시를 요청하는 알림 정보를 외부 기기로부터 수신할 수 있다.이 경우, 제어부(200)는 사용자 단말 장치(1000)의 주변 상태를 확인하여, 사용자가 알림 정보를 확인할 의사가 있는지 없는지 여부를 판단하고, 그 판단 결과에 따라, 어플리케이션을 표시할 수 있다. 도 22의 2210에서, 사용자가 가방을 열어보지 않고 있으면, 제어부(200)는 사용자가 알림 정보를 확인하려는 의도가 없는 것으로 판단하고, 메인 영역 및 서브 영역의 화면을 오프 상태로 유지할 수 있다. 반면, 도 22의 2220에 도시된 바와 같이, 사용자가 가방을 열어 보는 경우에는, 제어부(200)는 사용자가 알림 정보를 확인하려는 의도가 있는 것으로 판단하고, 서브 영역(1020) 상에 제1 레이아웃으로 알림 정보를 제공하는 어플리케이션을 표시할 수 있다. 이 때, 제어부(200)는 사용자에 의한 가방의 개폐 여부를 판단하기 위하여 사용자 단말 장치(1000)에 구비된 조도 센서, 거리 센서 또는 촬상부(380) 등을 이용할 수 있다. 구체적인 판단 방법에 대해서는 상술한 부분에서 이미 설명한 바 있으므로, 중복 설명은 생략한다.
도 23은 주변 환경에 따라 상이한 디스플레이를 제공하는 또 다른 동작 예를 설명하기 위한 도면이다. 도 23의 2310을 참조하면, 사용자 단말 장치(1000)가 공공 장소(예를 들어, 극장 내부)에 있는 상태에서, 제어부(200)가 어플리케이션의 표시를 요청하는 신호를 수신한 경우가 발생 할 수 있다. 예를 들어, 제어부(200)는 알림 정보를 제공하는 어플리케이션의 표시를 요청하는 알림 정보(예로, 전화 착신 정보)를 수신할 수 있다. 제어부(200)는 사용자 단말 장치(1000)가 구비한 조도 센서 또는 촬상부(380) 등을 이용하여 사용자 단말 장치(1000)가 위치하는 장소가 공공 장소인지를 판단할 수 있다.구체적으로는, 조도 센서가 감지한 조도가 일정 레벨 이하이고, 촬상부(380)에서 촬상된 이미지 내에 극장 로고, 영화 제목, 다수의 사람들이 포함되는 경우에, 제어부(200)는 현재 위치가 공공 장소임을 인식할 수 있다. 또는, 사용자가 사용자 단말 장치(1000)의 착신 모드를 벨소리 모드에서 무음 또는 진동 모드로 전환하는 경우, 제어부(200)는 사용자 단말 장치(1000)가 위치하는 장소가 공공 장소인 것으로 판단할 수 있다.그 밖에도, GPS 칩(320)에서 감지되는 위치 정보에 기초하여 공공 장소인지 여부를 판단할 수도 있다.
도 23의 2320에서, 사용자 단말 장치(1000)가 위치하고 있는 장소가 공공 장소인 것으로 판단되는 경우, 제어부(200)는 서브 영역 상에 제1 레이아웃으로 알림 정보(2321)를 제공하는 어플리케이션을 표시할 수 있다. 이 때, 주변 환경의 조도에 따라 서브 영역의 밝기는 조정될 수 있다. 예를 들어, 주변 환경의 조도가 낮다면 서브 영역의 밝기는 낮게 표시될 수 있다.한편, 제어부(200)는 메인 영역(1010)은 비활성화시킬 수 있다.
이러한 상태에서, 제어부(200)는 서브 영역(1020)에서 수행되는 사용자 제스쳐에 대응되는 제어 동작을 수행할 수 있다. 
가령, 도 23의 2330에서, 서브 영역 상에 어플리케이션이 표시된 경우, 사용자는 제1 방향으로 사용자 제스처(예로, 드래그 제스처 또는 플릭 제스처)(1931)를 수행하여 알림 정보(1921)와 관련된 전화의 수신을 거절할 수 있다. 또는, 사용자는 서브 영역(1020) 상에서 제1 방향과 다른 제2 방향으로 사용자 제스처(예로, 드래그 제스처 또는 플릭 제스처)를 수행하여 전화를 수신할 수 있다. 도 23의 2340은  제어부(200)가 수신을 거절한 상태를 나타낸다. 도 23의 2340에 따르면, 제어부(200)는 전화의 수신을 거절하는 사용자의 제스처(2331)에 응답하여, 전화의 수신이 거절되었음을 나타내는 오브젝트(2341)을 서브 영역(1020) 상에 표시할 수 있다.
이로 인하여, 사용자는 공공 장소에서 사용자 단말 장치(1000)의 화면의 조명으로 인하여 타인에게 주는 피해를 줄일 수 있다. 즉, 서브 영역의 화면의 크기가 메인 영역의 크기보다 작기 때문에 화면의 조명으로 인하여 타인에게 주는 피해 및 화면에 표시되는 정보가 타인에게 유출되는 피해를 최소화할 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자 단말 장치(1000)의 전력 상태를 고려하여 디스플레이를 수행할 수도 있다.
도 24는 이러한 실시 예에 따른 사용자 단말 장치(1000)의 동작을 설명하기 위한 도면이다. 구체적으로는, 도 24는 전력 상태를 고려하여 벤디드 터치 스크린의 서브 영역 상에 어플리케이션을 표시하는 사용자 단말 장치(1000)의 동작을 나타낸다.도 24의 2410을 참조하면, 제어부(200)는 어플리케이션을 표시하여야 하는 이벤트가 발생하면, 배터리의 잔량 값을 측정할 수 있다. 이벤트의 종류에 대해서는 상술한 부분에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다. 제어부(200)는 배터리의 잔량이 일정 값(예를 들어, 베터리 전체 전력의 20%) 이하인지를 판단할 수 있다. 배터리의 잔량이 일정 값 이하이면, 제어부(200)는 서브 영역을 이용하여 어플리케이션을 표시할 수 있다.
 도 24의 2420 내지 도 24의 2450에서, 배터리의 잔량이 일정 값 이하인 경우, 서브 영역 상에 제1 레이아웃으로 표시되는 어플리케이션의 다양한 예들을 나타낸다. 도 24의 2420에서, 사용자로부터 음성 인식 어플리케이션의 표시를 요청하는 신호를 수신하는 경우, 제어부(200)는 서브 영역 상에 제1 레이아웃으로 음성 인식 어플리케이션(2421)을 표시할 수 있다. 또한, 도 24의 2430에서, 사용자로부터 라디오 어플리케이션의 표시를 요청하는 신호를 수신하는 경우, 제어부(200)는 서브 영역 상에 제1 레이아웃으로 라디오 어플리케이션(2431)을 표시할 수 있다. 또한, 도 24의 2440에서, 사용자로부터 녹음 어플리케이션의 표시를 요청하는 신호를 수신하는 경우, 제어부(200)는 서브 영역 상에 제1 레이아웃으로 녹음 어플리케이션(2441)을 표시할 수 있다. 또한, 도 24의 2450에서, 사용자로부터 결재 어플리케이션의 표시를 요청하는 신호를 수신하는 경우, 제어부(200)는 서브 영역 상에 제1 레이아웃으로 결재 어플리케이션(2051)을 표시할 수 있다.
또한, 제어부(200)는 배터리의 잔량 값이 일정 값 이하로 판단되는 경우, 메인 영역에 표시되던 알림 정보들(예로, 전화 착신 정보, 메시지 착신 정보)을 서브 영역에 표시할 수도 있다. 또는, 제어부(200)는 배터리의 잔량 값이 일정 값 이하로 판단되는 경우, 어플리케이션의 축약된 화면을 서브 영역(1020)에 표시할 수도 있다.
이상에서 설명한 바와 같이,제어부(200)가 배터리의 잔량을 고려하여 서브 영역 상에 어플리케이션을 표시하는 경우, 사용자 단말 장치(1000)의 배터리 전력의 소모는 줄어들 수 있다.
그 밖에, 배터리 잔량 이외에도 사용자 단말 장치(1000)는 다양한 현재 상태를 고려하여 서브 영역에 어플리케이션을 표시할 수도 있다. 가령, 사용자가 여행 중 이여서 배터리의 충전이 어려운 경우, 제어부(200)는 서브 영역에 검색 또는 길 찾기를 수행하는 어플리케이션을 표시할 수 있다. 이 경우, 사용자 단말 장치(1000)가 음성 인식이 가능하다면, 음성 인식으로 검색 또는 길 찾기를 수행한 결과가 서브 영역 상에 표시될 수 있다.
또한, 제어부(200)는 실행되는 어플리케이션의 종류를 고려하여 서브 영역 상에 어플리케이션을 표시할 수도 있다. 가령, 어플리케이션이 간단한 정보만 제공하는 어플리케이션, 예로, 알림 정보, 시간 정보, 배터리 정보, 네트워크 연결 유무 정보, 사용자 단말 장치의 모드 상태 등의 정보를 제공하는 어플리케이션인 경우, 제어부(200)는 실행되는 어플리케이션을 서브 영역 상에 어플리케이션을 표시할 수 있다. 반면에, 일정 크기 이상의 화면을 요구하는 웹 브라우저 화면이나, 맵 화면, 동영상 화면 등의 경우에는, 제어부(200)는 메인 영역에 표시할 수 있다.
도 25 내지 도 27은 사용자 단말 장치(1000)의 보안 상태를 고려하여 서브 영역(1020) 상에 어플리케이션을 표시하는 실시 예를 설명하기 위한 도면이다.
도 25 내지 도 26에서 제어부(200)는 사용자 단말 장치(1000)가 보안 기능이 필요한 상태인지를 판단할 수 있다. 예를 들어, 사용자가 결제 어플리케이션을 실행하거나, NFC(Near Field Communication) 또는 바코드(Barcode)를 이용하여 모바일 결제 기능을 수행하는 경우, 제어부(200)는 현재 사용자 단말 장치(1000)의 상태를 보안이 필요한 상태로 결정할 수 있다.
도 25의 2510을 참조하면, 사용자가 대중 교통의 운임 비용을 지불하기 위하여 모바일 결제를 수행하는 경우, 제어부(200)는 현재 사용자 단말 장치(1000)의 상태를 보안이 필요한 상태로 결정할 수 있다. 도 25의 2520에서, 대중 교통의 운임 비용이 지불되는 경우, 제어부(200)는 서브 영역(1020) 상에 결제 어플리케이션이 제공하는 승인 금액 및 잔금을 나타내는 메시지(2521)를 표시할 수 있다. 이 때, 메인 영역(1010)의 화면은 오프 상태이거나 또는 결제 어플리케이션과 상관이 없는 정보가 표시될 수 있다. 가령, 사용자가 멀티미디어 컨텐츠를 시청 중인 상태에서 모바일 결제를 하였다면, 멀티미디어 컨텐츠는 메인 영역(1010)에 표시되고, 상술한 메시지(2521)는 서브 영역(1020)에 표시될 수 있다.
도 26 은 사용자가 마켓 등에서 전자 지갑 어플리케이션을 이용하여 물건을 구매하는 경우를 도시하였다. 도 26의 2610을 참조하면, 사용자가 마켓 등에서 전자 지갑 어플리케이션을 실행하는 경우, 제어부(200)는 현재 사용자 단말 장치(1000)의 상태를 보안이 필요한 상태로 결정할 수 있다. 도 26의 2620에서, 전자 지갑 어플리케이션이 실행되는 경우, 제어부(200)는 서브 영역(1020) 상에 전자 지갑 어플리케이션이 제공하는 카드 관련 정보(2621) 등을 표시할 수 있다.
다른 실시 예로, 모바일 결제를 실행 시에 사용자가 사용 가능한 쿠폰이 있는 경우, 제어부(200)는 쿠폰에 대한 정보를 서브 영역(1020)에 표시할 수도 있다. 도 27은 쿠폰의 바코드(2231)가 서브 영역(1020)에 표시된 상태를 나타낸다. 이 때, 메인 영역(1010) 상에는 쿠폰의 이미지 또는 사용 가능한 다른 쿠폰들의 리스트가 표시될 수 있다. 이와 같이, 사용자는 서브 영역을 활용하여 결제 관련 정보 등을 표시함으로써 제 3자에 의하여 결제 관련 정보가 유출되는 것을 최소화할 수 있다.
이 밖에도, 서브 영역(1020)에는 음성 신호를 인식하여 그 음성 신호에 대응되는 피드백을 제공하는 음성 대화 UI, 볼륨 조정이나 기타 다양한 기능을 수행하기 위한 제어 UI, 게임 컨트롤 UI, 스케쥴 정보나 달력 정보 등을 나타내는 어플리케이션 UI 등과 같은 다양한 인터랙션 UI가 표시될 수 있다.
또는, 서브 영역(1020)에는 주요 연락처에 대한 전화 통화를 바로 연결할 수 있는 메뉴나, 최근 통화자에게 다시 통화 연결할 수 있는 메뉴 등이 표시될 수도 있다.
서브 영역(1020)에서 표시되는 오브젝트는 상황에 따라 변경될 수 있다. 가령, 메인 영역(1010)에 홈 UI가 표시된 상태에서는 제어부(200)는 현재 배터리 상태, 현재 시간, 미확인 알림 정보, 주요 설정 기능 정보 등을 나타내는 인터랙션 UI를 서브 영역(1020)에 표시할 수 있다.
이러한 상태에서 특정 어플리케이션이 실행되면, 제어부(200)는 그 어플리케이션에 대응되는 인터랙션 UI를 서브 영역(1020)에 표시할 수도 있다. 가령, 메인 영역(1010)에서 전화번호 리스트가 표시된 경우에는, 제어부(200)는 서브 영역(1020)에는 등록된 각 전화 번호들에 대한 전화 연결 횟수나, 최근 전화 일시, 전화 시간 등을 나타내는 오브젝트를 표시할 수도 있다. 또는, 메인 영역(1010)에 웹 브라우저 화면이 디스플레이되고 있는 경우에는, 제어부(200)는 웹을 통해 다운로드한 파일에 대한 정보를 서브 영역(1020)에 표시할 수도 있다.
한편, 이상에서는 사용자의 상태나 사용자 단말 장치(1000)의 주변 환경 등에 기초하여 메인 영역(1010) 및 서브 영역(1020) 중 적어도 하나에 다양한 화면을 디스플레이하는 실시 예들에 대해서 설명하였으나, 이 밖에 사용자 의도에 기초하여 화면을 디스플레이하는 실시 예로도 구현될 수 있다.
도 28 및 도 29는 사용자 의도를 고려하여 서브 영역상에 어플리케이션을 표시하는 실시 예를 설명하기 위한 도면이다.
도 28 및 도 29에서, 제어부(200)는 사용자 의도를 고려하여 서브 영역 상에 어플리케이션을 표시할 수 있다. 예를 들어, 사용자는 사용자 단말 장치(1000)의 배터리의 소모를 줄이기를 원할 수 있다. 또는, 서브 영역을 항상 온 상태로 유지하여 사용자 단말 장치(1000)를 테이블 용 디스플레이 기기로 이용하기를 원할 수 있다. 또는, 현재 사용자의 환경이 메인 영역을 이용하기 어려운 환경일 수 있다. 이 경우, 사용자는 실행되는 어플리케이션이 서브 영역 상에만 표시되도록 수동적으로 설정할 수 있다.
예를 들어, 사용자에 의하여 실행될 어플리케이션이 선택될 때, 제어부(200)는 어플리케이션을 메인 영역에 표시할지 또는 서브 영역에 표시할지 선택받기 위한 팝업 창을 벤디드 터치 스크린(100)의 메인 영역 또는 서브 영역에 표시할 수 있다. 사용자는 팝업 창에서 서브 영역 표시를 위한 버튼을 선택할 수 있다. 버튼이 선택되면, 제어부(200)는 실행되는 어플리케이션을 서브 영역 상에 표시한다. 또는, 사용자는 어플리케이션을 실행할 때 특정 제스처를 함께 수행하는 것이 감지되면, 제어부(200)는 실행되는 어플리케이션을 서브 영역 상에 표시할 수도 있다.
예를 들어, 어플리케이션의 실행을 위하여 사용자가 해당 어플리케이션에 대응하는 바로 가기 아이콘을 터치하면서, 다른 손가락으로 서브 영역을 동시에 터치하는 경우, 제어부(200)는 어플리케이션을 실행하고, 그 실행된 어플리케이션을 서브 영역(1020)에 표시할 수 있다. 또는, 사용자는 환경 설정 메뉴 또는 별도 메뉴를 이용하여 어플리케이션 목록으로부터 서브 영역에 표시될 어플리케이션을 지정할 수도 있다.
그 밖에, 사용자의 의도에 따라 서브 영역에 어플리케이션을 표시하는 방법은 전술한 예들에 한정되지 않으며, 본 기술 분야의 통상의 지식을 가진 자라면 본 개시의 기술적 사상의 범위 내에서 다양한 실시 예가 가능할 것이다.
도 28은 사용자가 서브 영역에 표시할 어플리케이션을 설정하는 방법을 설명하기 위한 도면이다. 사용자가 환경 설정을 위한 메뉴를 선택하면, 도 28의 2810에 도시된 바와 같이 제어부(200)는 설정 가능한 각종 메뉴들을 포함하는 환경 설정 메뉴(2811)를 표시할 수 있다. 사용자는 사용자 단말 장치(1000)의 환경 설정 메뉴(2811)에서 서브 영역 표시 설정 메뉴(2812)를 선택할 수 있다. 도 28에서는 서브 영역 표시 설정 메뉴(2811)가 환경 설정 메뉴(2811)에 포함된 상태를 도시하였으나, 반드시 이에 한정되는 것은 아니다. 즉, 이와 다른 실시 예에서는, 서브 영역 표시 설정 메뉴(2812)는 환경 설정 메뉴(2811)가 아닌 별도의 어플리케이션 등을 이용하여 진입할 수도 있다.
사용자가 서브 영역 표시 설정 메뉴(2812)를 선택하면, 제어부(200)는 도 28의 2820에 도시된 바와 같이 서브 영역에 표시 가능한 각종 어플리케이션을 선택할 수 있는 화면을 디스플레이한다. 도 28의 2820에서, 사용자는 실행 시에 서브 영역에 표시될 적어도 하나의 어플리케이션(2821, 2822, 2823)을 선택할 수 있다. 도 28에서는 번역, 뉴스, 검색 어플리케이션이 선택된 상태를 나타낸다.
이후, 사용자는 도 28의 2830과 같이 메인 영역(1010)에 표시된 화면에서 아이콘이나 텍스트 등과 같은 각종 오브젝트를 선택하여, 특정 어플리케이션(2831)을 실행시킬 수 있다. 이 때, 제어부(200)는 어플리케이션(2831)이 서브 영역에 표시되도록 미리 지정된 어플리케이션인지 여부를 판단할 수 있다. 판단 결과, 어플리케이션(2831)이 서브 영역(1020)에 표시되도록 미리 지정된 어플리케이션인 경우, 도 28의 2840에 도시된 바와 같이, 제어부(200)는 어플리케이션(2831)을 실행하여 서브 영역(1020)에 표시할 수 있다. 예를 들어, 서브 영역에는 뉴스 정보, 알림 정보 또는 날씨 정보 등이 일정 방향으로 스크롤 되면서 표시될 수 있다.
또한, 사용자 단말 장치(1000)가 테이블 용 디스플레이 기기로 동작하는 경우, 어플리케이션이 표시되고 있는 서브 영역은 사용자의 별도의 입력이 있기 전까지는 화면 오프 상태로 진입하지 않고 계속하여 어플리케이션을 표시할 수 있다.
예를 들어, 미리 지정된 어플리케이션이 번역 어플리케이션인 경우, 서브 영역에는 외국인과의 대화 내용이 번역되어 자동으로 표시될 수 있다. 이로 인하여, 사용자는 테이블 위에 사용자 단말 장치(1000)가 놓인 상태에서 자연스럽게 다른 언어를 사용하는 외국인과 대화가 가능할 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자 단말 장치(1000)는 알림 정보의 우선 순위를 고려하여 서브 영역에 디스플레이할 수도 있다. 도 29는 알림 정보의 우선 순위를 고려하여 서브 영역에 어플리케이션을 표시하는 실시 예를 설명하기 위한 도면이다. 제어부(200)는 외부 기기로부터 각종 알림 정보를 수신할 수 있다. 알림 정보는 사용자의 설정 또는 기 결정된 기준에 따라 소정의 우선 순위를 가질 수 있다. 예를 들어, 전화 또는 문자 메시지 등과 같이 중요도가 높은 정보는 높은 우선 순위를 가지며, 광고, 지역 정보 또는 SNS 정보 등과 같이 중요도가 낮은 정보는 낮은 우선 순위를 가질 수 있다.이 경우, 우선 순위가 높은 알림 정보들은 메인 영역(1010)에 표시되고, 우선 순위가 낮은 알림 정보들은 서브 영역(1020)에 표시될 수 있다. 도 29의 2910를 참조하면, 제어부(200)는 수신한 알림 정보(2911)를 서브 영역(1020) 상에 표시할 수 있다. 이 때, 메인 영역(1010)에는 표시 중인 어플리케이션(2912)이 계속하여 표시될 수 있다.
도 29의 2920에서는 두 개의 알림 정보(2911, 2921)가 서브 영역(1020)에 표시된 상태를 나타낸다. 사용자는 서브 영역(1020)에 표시 중인 알림 정보들(2911, 2921) 중에서 하나를 선택할 수 있다. 예를 들어, 사용자는 알림 정보(2911)를 서브 영역으로부터 메인 영역으로 터치 드래그하여 선택할 수 있다.이 경우, 제어부(200)는 선택된 알림 정보(2911)의 세부 정보를 메인 영역에 표시할 수 있다. 도 29의 2930은 선택된 알림 정보(2911)의 세부 정보(2931)가 메인 영역(1010)에 표시된 상태를 나타낸다.
예를 들어, 알림 정보(2911)가 쿠폰이 수신되었음을 알리는 정보라면, 메인 영역(1010) 상에 표시되는 세부 정보(2931)는 쿠폰을 이용할 수 있는 장소, 시간 및 쿠폰 이미지를 볼 수 있는 버튼(2932) 중 적어도 하나를 포함할 수 있다. 사용자는 쿠폰 이미지를 보기 위하여 버튼(2932)을 선택할 수 있다. 도 29의 2940은 사용자가 버튼(2432)를 선택한 상태를 나타낸다. 이 경우, 제어부(200)는 메인 영역(1010) 상에 쿠폰 이미지(2941)를 제공할 수 있다. 쿠폰 이미지(2941)에는 해당 쿠폰에 대한 상세한 정보들 뿐만 아니라, 수령 버튼(2942) 및 취소 버튼(2943) 등이 포함될 수 있다. 사용자는 쿠폰을 수령하기를 원하는 경우, 수령 버튼(2942)을 선택할 수 있다. 이 경우, 제어부(200)는 해당 쿠폰에 대응되는 혜택을 사용자에게 제공할 수 있다. 가령, 무료 사은품 증정 쿠폰이라면, 무료 사은품을 받을 수 있는 유효 번호나 바코드 등을 확대 표시하여, 제3자가 POS(Point of Sales) 기기로 쿠폰을 인식하도록 할 수 있다. 또는, 할인 쿠폰이라면, 제어부(200)는 그 할인 쿠폰에 대응되는 할인 율을 적용하여 결제 금액을 산정하고, 그에 따라 전자 결제 프로세스를 진행할 수도 있다. 그 밖에도, 쿠폰의 종류에 따라, 제어부(200)는 다양한 서비스를 제공할 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면, 사용자 단말 장치(1000)는 메인 영역(1010) 및 서브 영역(1020)을 적절히 이용하면서 다양한 화면을 디스플레이할 수 있다. 특히, 서브 영역(1020)에는 다양한 어플리케이션이나 알림 정보 들이 표시될 수 있다. 한편, 상술한 바와 같이 서브 영역(1020)은 적어도 하나 이상으로 구현되며, 메인 영역(1010)과 다양한 각도로 연결될 수 있다. 따라서, 이러한 서브 영역(1020)을 이용하여 3차원적인 인터렉션 화면을 표시하여 줄 수도 있다.
이하에서는, 3차원적인 인터렉션 화면을 표시할 수 있는 실시 예들에 대하여 구체적으로 설명한다.
본 발명의 또 다른 실시 예에 따르면, 사용자 단말 장치(1000)의 제어부(200)는 복수 개의 페이지 또는 복수 개의 레이어로 구성된 화면의 표시를 요청하는 신호를 수신할 수 있다. 여기서, 복수의 레이어란 순차적으로 적층된 가상의 디스플레이 화면들을 의미하고, 복수의 페이지란 하나의 레이어에서 수평적으로 연결된 화면 단위들을 의미한다. 가령, 하나의 레이어는 복수 개의 페이지를 포함할 수 있다. 복수 개의 페이지 또는 복수 개의 레이어로 구성된 화면의 표시를 요청하는 신호는, 예를 들어, 사용자가 홈 버튼을 누르거나 또는 화면 잠금 상태에서 화면의 잠금을 해제하는 신호가 될 수 있다. 제어부(200)는 상기 요청 신호에 응답하여, 메인 영역(1010) 상에는 어플리케이션이 제공하는 컨텐츠의 메인 컨텐츠를 표시하고, 서브 영역(1020) 상에는 상기 컨텐츠의 서브 컨텐츠를 표시할 수 있다. 이 때, 서브 컨텐츠는 메인 컨텐츠와 관련된 컨텐츠로서, 메인 컨텐츠가 입체적으로 표시되도록 메인 컨텐츠의 측 면을 나타내는 오브젝트가 될 수 있다. 즉, 메인 컨텐츠와 서브 컨텐츠가 조합되어 하나의 3차원 인터렉션 화면을 생성할 수 있다.
도 30은 본 발명의 일 실시 예에 따라 복수 개의 레이어로 구성된 화면을 나타내는 도면이다.
복수 개의 레이어로 구성된 화면은 벤디드 터치 스크린의 메인 영역(1010) 및 서브 영역들(1020, 1030)에 표시될 수 있다.도 30에 따르면, 복수 개의 레이어로 구성된 화면의 메인 영역(1010)에는 위젯이 제공하는 컨텐츠 및 바로 가기 아이콘들이 제공될 수 있다. 설명의 편의를 위해서, 본 실시 예에서는, 상술한 다른 실시 예들에서 도시한 참조부호와 동일한 참조 부호를 사용한다.
서브 영역들(1020, 1030)은 복수 개의 레이어 중 제1 레이어에 포함된 컨텐츠가 쌓여있는 것을 형상화한 오브젝트를 표시하는 제1 서브 영역(1020), 복수 개의 레이어가 쌓여있는 것을 형상화한 오브젝트를 표시하는 제2 서브 영역(1030)을 포함할 수 있다.도 30은 메인 영역(1010)의 양 측에 두 개의 서브 영역(1020, 1030)에 각각 연결된 형태를 나타내고 있지만, 상술한 바와 같이 서브 영역의 개수 및 위치는 사용자 단말 장치(1000)의 크기, 종류, 특성에 따라 다양하게 변형될 수 있다. 가령, 또 다른 실시 예에 따르면, 제1 서브 영역(1020) 및 제2 서브 영역(1030) 중 하나의 서브 영역만 제공될 수도 있다.
도 30을 참조하면, 메인 영역(1010)에는 복수 개의 레이어 중 제1 레이어에 포함된 컨텐츠들의 메인 컨텐츠(3015 ~ 3019) 및 바로 가기 아이콘들(3011 ~ 3014) 중 적어도 하나가 표시될 수 있다.
복수 개의 레이어는 복수 개의 레이어 각각이 제공하는 컨텐츠의 종류에 따라 카테고리 별로 구분될 수 있다. 복수 개의 레이어는, 예를 들어, 컨텍추얼(contextual) 카테고리, 미디어 컨텐츠 카테고리, SNS 카테고리, 선호(my favorite) 카테고리로 구분될 수 있다. 컨텍추얼 카테고리는 이미지 중심의 이벤트 프리뷰 이미지를 제공할 수 있다. 미디어 컨텐츠 카테고리는 사용자의 직접 제어가 가능한 동적인 이미지를 제공할 수 있다. SNS 카테고리는 정보 제공을 단계화하여 정보 영역에 최적화하여 제공할 수 있다. 선호(my favorite) 카테고리는 전화 기능은 기본적으로 포함된 상태에서 사용자가 원하는 위젯이나 자주 사용하는 어플리케이션 등을 제공할 수 있다.
메인 컨텐츠들(3015 ~ 3019)은 제1 레이어에 포함된 위젯들에 의하여 제공될 수 있다. 메인 컨텐츠는 실시간 업데이트 될 수 있으며, 예를 들어, 날씨, 메시지, SNS, 메모 또는 사진 등이 정보가 될 수 있다. 메인 컨텐츠가 복수 개인 경우, 메인 영역(1010) 상에는 복수 개의 메인 컨텐츠들(3015 ~ 3019)이 쌓여진 형태가 표시될 수 있다. 예를 들어, 메인 영역(1010) 상에는 복수 개의 메인 컨텐츠들(3015 ~ 3019) 각각의 적어도 일부가 동시에 표시될 수 있다. 메인 컨텐츠들(3015 ~ 3019) 중 중요한 컨텐츠(3015)는 사용자에 의하여 다른 컨텐츠(3016 ~ 3019)와 구별되게 표시될 수 있다. 사용자가 중요한 컨텐츠(3015)를 선택하여 비트는 제스처를 수행하는 경우, 중요한 컨텐츠(3015)는 다른 컨텐츠(3016 ~ 3019)와 시각적으로 구별되게 변형될 수 있다. 예를 들어, 도 30에 도시된 바와 같이, 제어부(200)는 중요한 컨텐츠(3015)를 일정 각도만큼 회전시켜 표시할 수 있다.
바로 가기 아이콘들(3011 ~ 3014)은 메인 화면(1010) 일부에 정렬되어 표시될 수 있다. 이 경우, 사용자가 바로 가기 아이콘들(3011 ~ 3014) 중 하나의 아이콘을 선택하고 아이콘의 크기를 키우는 제스처(예로, 핀치 제스처 또는 스프레드 제스처)를 수행하는 경우, 상기 크기에 따른 위젯이 자동으로 생성될 수 있다. 그리고, 생성된 위젯이 제공하는 메인 컨텐츠가 메인 영역(1010) 전체에 표시될 수 있다.
또한, 도 31의 3110을 참조하면, 제2 서브 영역(1030)은 상태 영역(status area)(3021), 카테고리 인덱스 영역(category index area)(3022), 실행 앱 영역(running app area)(3023) 중 적어도 하나를 포함할 수 있다. 상태 영역(3021)은 사용자 단말 장치(1000)의 현재 상태를 알려주는 영역으로서, 예로, 배터리의 잔량, 현재 시각 등의 정보를 포함할 수 있다. 카테고리 인덱스 영역(3022)은 복수 개의 레이어들이 쌓여진 것을 형상화한 오브젝트(3022-1 ~ 3022-5)들을 표시할 수 있다.
도 30의 카테고리 인덱스 영역(3022)을 참고하면, 메인 영역(1010)에는 총 5개의 레이어가 순차적으로 적층된 상태임을 자명하게 알 수 있다. 이 때, 복수 개의 레이어들 각각에 대응하는 오브젝트들(3022-1 ~ 3022-5)은 서로 다른 색으로 표시될 수 있다. 복수 개의 레이어들에 각각에 대응하는 오브젝트들(3022-1 ~ 3022-5) 중 현재 메인 영역(1010)에 표시 중인 제1 레이어에 대응하는 오브젝트(3022-5)는 하이라이트 되어 표현될 수 있다. 실행 앱 영역(3023)은 현재 실행 중인 어플리케이션들이 쌓여있는 것을 형상화하는 오브젝트(3023-1, 3023-2, 3023-3)들을 표시할 수 있다. 이 때, 메인 영역(1010)에 표시 중인 어플리케이션은 하이라이트 되어 표현될 수 있다. 실행 앱 영역(3023)은 실행 중인 어플리케이션이 있는 경우에만 제공될 수 있으며, 백그라운드에서 실행 중인 어플리케이션에 대응하는 오브젝트들은 실행 앱 영역(3023) 상에 표시되지 않을 수 있다.
도 30을 참조하면, 제1 서브 영역(1020)에는 메인 영역에 표시 중인 메인 컨텐츠들(3015 ~ 3019)과 관련된 서브 컨텐츠들(3031 ~ 3037)이 표시될 수 있다. 예를 들어, 메인 컨텐츠(3017)가 제1 레이아웃에 포함된 위젯을 통하여 제공되는 경우, 제1 서브 영역(1020)에는 상기 위젯이 제공 가능한 컨텐츠들이 쌓여있는 것을 형상화한 오브젝트들(3035 ~ 3037)이 표시될 수 있다. 한편, 제1 서브 영역(1020) 상에는 복수 개의 위젯들 중 제1 위젯이 제공하는 제1 오브젝트들(3031 ~ 3034) 및 복수 개의 위젯들 중 제2 위젯이 제공하는 제2 오브젝트들(3035 ~ 3037)은 각각 표시될 수 있다. 이 때, 제1 오브젝트들(3031 ~ 3034) 및 제2 오브젝트들(3035 ~ 3037)은 서로 이웃하여 표시될 수 있다.
가령, 도 30에 도시된 바와 같이, 제1 오브젝트들(3031 ~ 3034)과 제2 오브젝트들(3035 ~ 3037) 간에 거리가 일정 간격만큼 떨어져 있을 수 있다. 또는, 도 30에서 도시하지는 않았으나, 제1 오브젝트들(3031 ~ 3034)과 제2 오브젝트(3035 ~ 3037) 사이에 구분자가 표시된 것을 포함할 수 있다.
도 31은 사용자의 시선에 따라 보여지는 인터렉션 화면을 입체적으로 표현한 도면이다. 도 31의 3110에서는 5개의 레이어(3061 ~ 3065)로 이루어진 인터렉션 화면의 일 예를 나타낸다.  사용자 단말 장치(1000)을 향하는 사용자의 시선에 따라 메인 영역(1010) 및 서브 영역들(1020, 1030)에는 복수 개의 레이어들(3061 ~ 3065)의 측 면을 나타내는 오브젝트들, 복수 개의 레이어들(3061 ~ 3065)에 포함된 컨텐츠들(3071 ~ 3078), 상기 컨텐츠들의 측 면을 나타내는 오브젝트들 중 하나가 선택적으로 보여질 수 있다.
도 31의 3110에서, 사용자의 시선은 사용자 단말 장치(1000)의 좌측 면을 향할 수 있다. 사용자는 제2 서브 영역(1030)을 통하여 복수 개의 레이어들(3061 ~ 3065) 각각의 측 면을 나타내는 복수 개의 오브젝트들을 볼 수 있다. 구체적으로는, 도 30에 도시한 바와 같이 다수의 영역(3021, 3022, 3023)으로 구성된 화면이 제2 서브 영역(1030)에 표시될 수 있다. 또한, 사용자는 메인 영역(1010)을 통해서는 복수 개의 레이어들(3061 ~ 3065) 중 사용자에 의하여 선택된 레이어에 포함된 컨텐츠들을 볼 수가 있다. 도 31의 3110에 따르면, 사용자가 선택한 레이어는 최상위에 표시되어 사용자가 볼 수 있는 상태가 됨을 알 수 있다.
도 31의 3120은, 사용자의 시선이 사용자 단말 장치(1000)의 우측 면을 향한 상태를 나타낸다. 이 경우, 사용자는 제1 서브 영역(1020)을 통하여 메인 영역(1010)에 표시 중인 레이어에 포함된 위젯이 제공 가능한 컨텐츠들의 측 면을 나타내는 복수 개의 오브젝트들을 볼 수 있다. 사용자는 제1 서브 영역(1020)에 표시 중인 복수 개의 레이어들(3061 ~ 3065) 각각의 측면을 나타내는 복수 개의 오브젝트들 중 하나를 선택할 수 있다. 이 경우, 선택된 오브젝트에 대응하는 레이어를 중심으로 Z축이 펼쳐지면서, 도 31의 3120에 표시된 바와 같이, 해당 레이어에 포함된 위젯이 제공할 수 있는 컨텐츠들(3071 ~ 3078) 의 측면을 나타내는 오브젝트들이 표시될 수 있다. 이러한 오브젝트는 도 30에 도시된 바와 같이 다양한 형태(3031 ~ 3037)로 표시될 수 있다.
한편, 상술한 바와 같이, 복수의 레이어 각각은 적어도 하나의 페이지로 구성될 수 있다. 현재 선택된 레이어에 복수의 페이지가 포함되는 경우, 사용자는 복수의 페이지를 자유로이 네비게이션할 수도 있다.
도 32는 본 발명의 일 실시 예에 따른 사용자 단말 장치(1000)에서 사용자가 복수 개의 페이지 또는 복수 개의 레이어로 구성된 화면을 네비게이션 하는 과정을 설명하기 위한 도면이다.
도 32의 3210을 참조하면, 제어부(200)는 메인 영역(1010) 상에 복수 개의 레이어들을 순차적으로 적층하여 표시한다. 그 중 제1 레이어가 최상위에 위치하게 되면, 제어부(200)는 제1 레이어에 포함된 복수 개의 페이지들 중 제1 페이지(3201)에 포함된 메인 컨텐츠들을 표시할 수 있다. 사용자 단말 장치(1000)는 메인 영역(1010) 상에서 일 방향(예를 들어, d1 또는 d2)으로의 사용자의 제스처(예로, 드래그 제스처 또는 플릭 제스쳐)(3211)를 수신할 수 있다.
도 32의 3220을 참조하면, 제어부(200)는 사용자의 제스처(3211)에 응답하여, 메인 영역(1010) 상에 복수 개의 페이지들 중 제2 페이지(3202)에 포함된 메인 컨텐츠들을 표시할 수 있다. 도 32의 3220에서, 사용자 단말 장치(1000)는 제2 서브 영역(1030)에 표시된 복수 개의 레이어 각각에 대응하는 오브젝트들 중 하나의 오브젝트(3221)를 선택하는 사용자의 제스처(3222)를 입력받을 수 있다. 도 32의 3220에서는 사용자가 하나의 오브젝트(3221)를 터치한 후 d3 방향으로 드래그하는 드래그 제스쳐(3222)를 입력하는 상태를 도시하였다.
드래그 제스처(3222)가 입력되는 경우, 선택된 오브젝트(3221)는 다른 오브젝트들과 시각적으로 구별되도록 하이라이트 되어 표시될 수 있다. 제어부(200)는 드래그 방향에 따라 오브젝트(3221) 및 오브젝트(3221)에 표시되는 하이라이트를 메인 영역(1010)의 방향으로 이동시킬 수 있다. 오브젝트(3221)가 메인 영역(1010)에 표시된 상태에서 드래그 제스처(3222)의 터치가 해제되면, 메인 영역(1010)에는 선택된 오브젝트(3221)에 대응하는 제2 레이어의 메인 컨텐츠들이 표시될 수 있다.제어부(200)는 사용자의 제스처(2622)에 따라 선택된 오브젝트(3221)에 대응하는 제2 레이어를 복수 개의 레이어들 중 최상단으로 이동시킬 수 있다. 도 32의 3230을 참조하면, 제어부(200)는 사용자의 제스처(3222)에 응답하여, 메인 영역(1010) 상에 제2 레이어에 포함된 메인 컨텐츠들을 표시할 수 있다.
사용자 단말 장치(1000)는 메인 영역(1010) 상에서 임의의 방향으로의 사용자의 제스처(예로, 드래그 제스쳐 또는 플릭 제스처)(3231)를 입력받을 수 있다. 제어부(200)는 사용자의 제스처(3231)의 방향에 따라 복수 개의 레이어들 중 최상위에 표시 중인 제2 레이어의 이전 또는 이후 레이어에 포함된 컨텐츠들을 메인 영역(1010) 상에 표시할 수 있다. 예를 들어, 사용자의 제스처(3231)의 방향이 도 32의 3230과 같이 우측 방향으로 수행되는 경우, 제2 레이어의 이후 레이어, 즉, 쌓여있는 복수 개의 레이어들 중 제2 레이어의 아래에 위치한 제3 레이어가 메인 영역(1010) 에 표시될 수 있다.반면에, 사용자의 제스처(3231)의 방향이 좌측 방향으로 수행되는 경우, 제2 레이어의 이전 레이어, 즉, 쌓여있는 복수 개의 레이어들 중 표시 중인 제2 레이어의 위에 위치한 레이어가 메인 영역(1010) 상에 표시될 수 있다. 제2 레이어의 위에 위치한 레이어가 없는 경우, 복수 개의 레이어들 중 가장 아래에 위치한 레이어가 표시될 수 있다. 다시 말해, 복수 개의 레이어들은 사용자의 제스처(3231)에 따라 순환하는 형태로 순차적으로 표시된다고 볼 수 있다.
도 32의 3240에서, 사용자의 제스처(3231)에 응답하여, 복수 개의 레이어들 중 제3 레이어가 메인 영역(1010) 상에 표시될 수 있다. 사용자 단말 장치(1000)는 메인 영역(1010) 상에 표시된 위젯 또는 바로 가기 아이콘 중 하나를 선택하는 사용자의 제스처(3241)(예로, 탭(tap) 제스처)를 입력받을 수 있다.
도 32의 3250에서, 사용자의 제스처(3241)에 응답하여, 메인 영역(1010) 상에는 선택된 위젯 또는 아이콘에 대응하는 어플리케이션이 실행되어 표시될 수 있다. 이때, 제2 서브영역(1030) 상에는 현재 실행 중인 어플리케이션들에 대응하는 오브젝트(3251)가 표시될 수 있다. 제1 서브 영역(1020)에는 표시 중인 어플리케이션을 제어하기 위한 사용자 인터페이스 등이 표시될 수 있다.
도 33은 본 발명의 일 실시 예에 따른 사용자가 서브 영역에 표시된 정보를 변경하는 도면이다.
도 33의 3310을 참조하면, 제2 서브 영역(1030)은 복수 개의 영역들을 포함할 수 있다. 예를 들어, 제1 서브 영역(1020)은 상태 영역(3314), 카테고리 인덱스 영역(3315) 및 실행 앱 영역(3316)을 포함할 수 있다. 사용자 단말 장치(1000)는 상태 영역(3314), 또는 상태 영역(3314)과 카테고리 인덱스 영역(3315) 사이의 경계를 터치하고 드래그하는 사용자의 제스처(3317)를 입력 받을 수 있다.
도 33의 3320을 참조하면, 사용자의 제스처(3317)에 응답하여, 제2 서브 영역(1030)의 상태 영역(3314)은 확장될 수 있다.예를 들어, 제어부(200)는 사용자가 드래그한 후 터치 상태를 해제하는 위치까지 상태 영역(3314)을 확장시킬 수 있다. 상태 영역(3314)이 확장됨에 따라 제2 서브 영역(1030)의 카테고리 인텍스 영역(3315) 및 실행 앱 영역(3316)의 크기는 상대적으로 작아질 수 있다.
확장된 상태 영역(3321)에는 기존 정보보다 더 많은 정보들이 포함될 수 있다. 예를 들어, 확장 전의 상태 영역(3314)에 표시되었던 현재 시각 정보(3322) 및 배터리 잔량 정보(3323) 외에 네트워크 접속 정보(3324), 근거리 네트워크 접속 정보(3325), 음량 정보(3326) 또는 밝기 정보(3327) 중 적어도 하나가 확장된 상태 영역(3321) 상에 더 표시될 수 있다. 각 정보들(3322 ~ 3327)들은 상태 영역(3314)이 확장됨에 따라 순차적으로 표시될 수 있다. 사용자 단말 장치(1000)는 제2 서브 영역(1030)의 축소된 카테고리 인덱스 영역(3315)에 표시된 복수 개의 레이어에 대응하는 오브젝트들 중 하나를 선택하는 사용자의 제스처(예로, 탭 제스처)(3329)를 입력 받을 수 있다.
도 33의 3330을 참조하면, 제어부(200)는 사용자의 제스처(3329)에 응답하여, 선택된 오브젝트에 대응하는 제2 레이어에 포함된 메인 컨텐츠들을 메인 영역(1010)에 표시할 수 있다. 이 때, 제2 서브 영역(1030) 상에는 상태 영역(3331), 카테고리 인덱스 영역(3332) 및 실행 앱 영역(3333)이 상태 영역(3331)이 확장되기 전의 상태로 되돌아가서 표시될 수 있다. 즉, 메인 영역(1010)에 표시되는 레이어가 바뀜에 따라 제2 서브 영역(1030) 상에 상태 영역(3331), 카테고리 인덱스 영역(3332) 및 실행 앱 영역(3333) 각각은 미리 결정되어 있는 크기로 표시될 수 있다.
이 밖에도, 사용자는 서브 영역을 이용하여 다양한 인터렉션을 수행할 수 있다.도 34 및 도 35는 본 발명의 또 다른 실시 예에 따라, 레이어 또는 컨텐츠를 프리뷰 하는 방법을 설명하기 위한 도면이다.
도 34의 3410을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 메인 영역(1010)에는 복수의 레이어들이 디스플레이되고, 제2 서브영역(1030)에는 각 레이어에 대응되는 복수의 오브젝트들이 디스플레이된다. 사용자 단말 장치(1000)는 제2 서브 영역(1030)에 디스플레이된  복수 개의 오브젝트들 중 적어도 하나를 소정 시간 이상 터치하는 사용자의 제스처(예로, 롱 탭 제스처)(3414)를 입력 받을 수 있다. 소정 시간은, 예로, 1초 이상이 될 수 있다.
도 34의 3420은 사용자 제스쳐(3414)에 따른 사용자 단말 장치(1000)의 동작을 나타내는 도면이다. 도 34의 3420에 따르면, 사용자의 제스처(3414)에 응답하여, 제어부(200)는 메인 영역(1010) 상에 표시 중인 레이어외에 적어도 하나의 레이어에 대한 프리뷰(preview) 이미지(3421)를 디스플레이할 수 있다. 프리뷰 이미지(3421)는, 예를 들어, 메인 영역(1010) 상에 표시되고 있는 레이어의 하측에 있는 적어도 하나의 레이어의 일부를 나타낼 수 있다.
*한편, 사용자 단말 장치(1000)는 제2 서브 영역(1030)에 표시된 복수 개의 레이어들에 대응하는 오브젝트들 중 적어도 하나를 터치한 후 일 방향으로 드래그하는 사용자의 제스처(예로, 드래그 제스처)(3422)를 입력 받을 수도 있다. 도 34의 3430은 드래그 제스쳐(3422)가 입력되었을 때의 사용자 단말 장치(1000)의 동작을 나타내는 도면이다. 도 34의 3430에 따르면, 사용자의 드래그 제스처(3422)에 응답하여, 제어부(200)는 메인 영역(1010) 상에서 적어도 하나의 레이어를 플립북(flipbook)처럼 넘기면서, 하위 레이어들에 대한 프리뷰 이미지(3431)를 표시할 수 있다. 이 때, 플립북처럼 넘어가는 레이어들의 개수 및 속도는 사용자의 제스처(3422)의 드래그 거리 및 속도에 따라 결정될 수 있다. 즉, 상대적으로 긴 거리를 빠르게 드래깅하게 되면, 더 많은 개수의 레이어들이 빠르게 플립(flip) 될 수 있다.
한편, 도 35는 제1 서브 영역(1020)에 사용자 제스쳐가 입력되는 경우의 동작을 설명하기 위한 도면이다. 구체적으로는, 도 35의 3510은 메인 영역(1010)에서 제1 어플리케이션이 제공하는 각종 컨텐츠가 디스플레이되고, 제1 서브 영역(1020)에는 메인 영역(1010)에 표시되고 있는 제1 어플리케이션의 컨텐츠들에 대응되는 오브젝트들이 디스플레이되고 있는 상태를 나타낸다.
도 35의 3510을 참조하면, 사용자 단말 장치(1000)는 제1 서브 영역(1020)에서 복수 개의 컨텐츠들 중 적어도 하나의 컨텐츠를 소정 시간 이상 터치하는 사용자의 제스처(예로, 롱 탭 제스처)(3511)를 입력 받을 수 있다. 도 35의 3510을 참조하면, 사용자의 제스처(3511)에 응답하여, 제어부(200)는 메인 영역(1010) 상에 제1 어플리케이션이 제공하는 컨텐츠 외의 다른 컨텐츠에 대한 프리뷰 이미지(3521)를 디스플레이한다. 프리뷰 이미지(3521)는 예를 들어,  메인 영역(1010) 상에 표시되고 있는 컨텐츠 이외의 다른 컨텐츠의 일부가 될 수 있다. 한편, 사용자 단말 장치(1000)는 제1 서브 영역(1020)에 표시된 복수 개의 오브젝트들 중 적어도 하나를 소정 시간 이상 터치 후 일 방향으로 드래그하는 사용자의 제스처(예로, 드래그 제스처)(3522)를 입력 받을 수도 있다. 도 35의 3530을 참조하면, 사용자의 제스처(3522)에 응답하여, 제어부(200)는 메인 영역(1010) 상에 표시되어 있던 컨텐츠를 플립북처럼 넘기면서, 다른 컨텐츠 또는 다른 컨텐츠의 프리뷰 이미지(3533)를 디스플레이할 수 있다. 이 때, 플립북처럼 넘어가는 컨텐츠들의 개수 및 속도는 사용자의 제스처(3522)의 드래그 거리 및 속도에 따라 결정될 수 있다.
이 밖에도, 본 발명의 또 다른 실시 예에 따르면, 사용자는 서브 영역을 이용하여 메인 영역의 컨텐츠를 마킹할 수도 있다.
도 36은 이러한 실시 예에 따른 사용자 단말 장치의 동작을 설명하기 위한 도면이다. 도 36의 3610을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 메인 영역(1010)에는 어플리케이션이 제공하는 적어도 하나의 메인 컨텐츠(3611)가 표시될 수 있다. 제1 서브 영역(1020)에는 어플리케이션이 제공할 수 있는 서브 컨텐츠들(3612 ~ 3615)이 표시될 수 있다. 이 때, 사용자는 특정 컨텐츠를 마킹하기 위하여 메인 영역(1010)에 표시 중인 메인 컨텐츠(3611)를 비트는 동작을 수행할 수 있다. 예를 들어, 사용자는 메인 컨텐츠(3611)를 터치한 상태로 d 방향과 같이 일정 각도만큼 회전하는 제스처(예로, 트위스트(twist) 제스처)(3616)를 수행할 수 있다.
도 36의 3620을 참조하면, 사용자의 제스처(3616)에 응답하여, 제어부(200)는 메인 컨텐츠(3611)를 다른 컨텐츠들과 시각적으로 구별되도록 표시할 수 있다.도 36의 3620에 따르면, 마킹된 메인 컨텐츠(3611)는 일정 각도만큼 회전된 상태로 메인 영역(1010) 상에 표시될 수 있다. 회전 각도는 사용자가 제스쳐의 회전 각도와 일치할 수 있으나, 반드시 이렇게 구현될 필요는 없다. 가령, 사용자가 일정 각도 이상 회전시키기만 하면, 제어부(200)는 정해진 각도만큼 메인 컨텐츠(3611)를 회전시킬 수도 있다.
또한, 제어부(200)는 마킹된 메인 컨텐츠(3611)와 연관된 서브 컨텐츠(3612) 또한 다른 서브 컨텐츠들(3614, 3615, 3616)과 시각적으로 구별되도록 표시할 수 있다. 가령, 서브 컨텐츠(3612)도 비틀린 형태 또는 튀어 나온 형태, 또는 하이라이트 표시된 형태로 표시하여, 사용자가 마킹된 서브 컨텐츠임을 직관적으로 알도록 할 수 있다. 도 36의 3620에서는 마킹된 서브 컨텐츠(3612)를 다른 서브 컨텐츠(3614, 3615, 3616)와 상이한 컬러로 표시한 상태를 나타낸다.
한편, 사용자 단말 장치(1000)는 새로운 컨텐츠를 생성 또는 수신할 수 있다. 예를 들어, 사용자가 사용자 단말 장치(1000)를 이용하여 사진을 찍거나, 또는 외부 기기로부터 새로운 컨텐츠를 수신하는 경우, 사용자 단말 장치(1000)는 새로운 컨텐츠를 생성 또는 수신할 수 있다. 도 36의 3630은 새로운 컨텐츠를 수신한 상태를 나타낸다. 도 36의 3630에 따르면, 제어부(200)는 새로운 컨텐츠(3621)를 메인 영역(1010) 상에 표시 중인 마킹된 메인 컨텐츠(3611) 위에 겹쳐서 표시할 수 있다. 이 경우, 새로운 컨텐츠와 연관된 서브 컨텐츠(3632)가 제1 서브 영역(1020) 상에 표시될 수 있다. 다음으로, 사용자 단말 장치(1000)는 제1 서브 영역(1020)에 표시된 복수 개의 서브 컨텐츠들 중 마킹된 메인 컨텐츠(3611)와 관련된 서브 컨텐츠(3632)를 선택하는 사용자의 제스처(예로, 탭 제스처)(3634)를 수신할 수 있다.
도 36의 3640을 참조하면, 마킹된 서브 컨텐츠(3612)를 선택하는 사용자의 제스처(3634)에 응답하여, 제어부(200)는 메인 영역(1010) 상에 마킹된 서브 컨텐츠(3612)와 연관된 마킹된 메인 컨텐츠(3611)를 다시 표시할 수 있다. 즉, 마킹된 서브 컨텐츠(3612)가 제1 서브 영역(1020)에서 다른 서브 컨텐츠들과 구별되도록 표시되는 경우, 사용자는 마킹된 서브 컨텐츠(3612)를 선택하여 마킹된 메인 컨텐츠(3611)를 메인 영역(1010)에 신속하게 표시할 수 있다.
도 37은 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 알림 정보 표시 방법을 설명하기 위한 도면이다. 도 37의 3710을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 제2 서브 영역(1030)은 상태 영역(3711), 카테고리 인덱스 영역(3712) 및 실행 앱 영역(3713)을 포함할 수 있다. 사용자 단말 장치(1000)는 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030) 상에 정보를 표시하는 중에, 알림(notification) 정보 또는 경고(alert) 정보 등을 수신할 수 있다.
도 37의 3720을 참조하면, 알림 정보 또는 경고 정보에 응답하여, 제어부(200)는 벤디드 터치 스크린(100)의 제2 서브 영역(1030) 상에 알림 정보 또는 경고 정보를 표시할 수 있다. 예를 들어, 상태 영역(3711)에는 사용자 단말 장치(1000)의 OS 관련 알림 정보 또는 경고 정보 등이 표시될 수 있다. 실행 앱 영역(3713)에는 실행 중인 어플리케이션 관련 알림 정보 또는 경고 정보 등이 표시될 수 있다. 또한, 카테고리 인덱스 영역(3712)에는 복수 개의 레이어들에 대응하는 오브젝트들 중 알림 정보 또는 경고 정보와 관련있는 오브젝트는 하이라이트되어 표시될 수 있다. 도 37의 3720에서는, 알림 정보 또는 경고 정보와 관련된 어플리케이션을 포함하고 있는 레이어에 대응하는 오브젝트(3721)가 하이라이트 되어 표시되고 있음을 나타내고 있다. 예를 들어, 오브젝트(3721)는 천천히 깜빡이면서 표시될 수 있다. 이 때, 카테고리 인덱스 영역(3712)에는 알림 정보 또는 경고 정보와 관련된 미리보기(preview) 정보(3722)가 표시될 수 있다. 예를 들어, 알림 정보 또는 경고 정보의 적어도 일부가 일 방향으로 자동으로 스크롤되면서 제2 서브 영역(1030) 상에 표시될 수 있다.
한편, 알림 정보 또는 경고 정보와 관련된 어플리케이션을 포함하고 있는 레이어가 현재 메인 영역(1010) 상에 표시 중인 레이어인 경우, 제어부(200)는 메인 영역(1010)상에서 해당 어플리케이션과 관련된 메인 컨텐츠 또는 위젯 등을 하이라이트로 표시할 수도 있다.
또한, 제1 서브 영역(1020) 상에는 해당 어플리케이션과 관련된 컨텐츠의 서브 컨텐츠가 하이라이트 되어 표시될 수 있다. 하이라이트 되는 메인 컨텐츠 또는 서브 컨텐츠는 천천히 깜빡이면서 표시될 수 있다.
한편, 사용자는 제2 서브 영역(1030)에서 임의의 오브젝트를 선택할 수 있다. 가령, 도 37의 3720에서,사용자 단말 장치(1000)는 카테고리 인덱스 영역(3712)에서 하나의 오브젝트(3721)를 선택하는 사용자의 제스처(예로, 탭 제스처)(3723)를 입력 받을 수 있다. 사용자의 제스처(3723)는 오브젝트(3721)가 하이라이트 표시되고 있는 동안에 수행될 수 있다. 오브젝트(3721)의 하이라이트는 소정 시간 이후에 자동적으로 제거될 수 있다.
제어부(200)는 사용자의 제스처(3023)에 응답하여, 선택된 오브젝트(3021)에 대응하는 레이어에 도시된 바와 같이, 선택된 오브젝트(3021)에 대응하는 레이어를 메인 영역(1010) 상에 표시할 수 있다. 만약, 알림 정보 또는 경고 정보와 관련된 어플리케이션을 포함하고 있는 레이어에 대응하는 오브젝트가 제2 서브 영역(1030)에 없는 경우, 알림 정보 또는 경고 정보가 표시 중에 사용자가 제2 서브 영역(1030)을 선택하면, 상기 알림 정보 또는 경고 정보를 제어할 수 있는 새로운 어플리케이션(3731)이 실행되어 메인 영역(1010)에 표시될 수 있다. 이 때, 새롭게 실행된 어플리케이션에 대응하는 레이어가 생성되고, 상기 생성된 레이어에 대응되는 새로운 오브젝트(3732)가 제2 서브 영역(1030) 상에 표시될 수 있다.
 한편, 알림 정보 또는 경고 정보는 사용자 단말 장치(1000)의 메인 화면(1010) 및 제2 서브 화면(1030)이 오프된 상태에서도 생성 또는 수신될 수 있다. 이 경우, 제어부(200)는 알림 정보 또는 경고 정보와 관련된 어플리케이션의 위치를 제2 서브 영역(1030) 상에 표시할 수 있다.
도 38은 이러한 실시 예에 따른 사용자 단말 장치(1000)의 동작을 설명하기 위한 도면이다. 예를 들어, 상기 어플리케이션이 현재 실행 중인 경우, 제어부(200)는 실행 앱 영역(3813)에서 해당 어플리케이션에 대응하는 오브젝트(3841)가 하이라이트 되도록 표시할 수 있다. 또는, 제어부(200)는 카테고리 인덱스 영역(3812)에서 상기 어플리케이션을 포함하고 있는 레이어에 대응하는 오브젝트(3842)가 하이라이트 되도록 표시할 수 있다. 여기에서, 오브젝트들(3841,3842)이 하이라이트 되는 것은, 예를 들어, 오브젝트가 천천히 페이드 인(fade in) 또는 페이드 아웃(fade out)하면서 깜빡이는 것이 될 수 있다. 사용자 단말 장치(1000)가 알림 정보 또는 경고 정보를 생성 또는 수신하는 경우, 제2 서브 영역(1030) 상에는 알림 정보 또는 경고 정보의 적어도 일부(3843)가 표시될 수 있다. 예를 들어, 알림 정보 또는 경고 정보의 적어도 일부(3843)는 제2 서브 영역(1030)의 상태 영역(3811), 카테고리 인덱스 영역(3812) 및 실행 앱 영역(3813) 상에서 일 방향으로 스크롤 되면서 표시될 수 있다.
도 39는 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치에서 컨텐츠 또는 어플리케이션을 다른 레이어로 이동하는 것을 설명하기 위한 도면이다. 도 39의 3910을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 메인 영역(1010)에는 어플리케이션이 제공하는 메인 컨텐츠(3911)가 표시될 수 있다. 제1 서브 영역(1020)에는 어플리케이션이 제공할 수 있는 서브 컨텐츠들(3913)이 표시될 수 있다. 메인 영역(1010)에 메인 컨텐츠(3911)가 표시 중인 경우, 사용자 단말 장치(1000)는 메인 컨텐츠(3911)를 터치 후 일정 시간 동안 터치를 유지하는 사용자의 제스처(예로, 롱 탭 제스처)(3912)를 입력 받을 수 있다.
도 39의 3920을 참조하면, 사용자의 제스처(3912)에 응답하여, 제어부(200)는 메인 컨텐츠(3911)를 메인 영역(1010) 상에 고정시킬 수 있다. 예를 들어, 제어부(200)는 선택된 메인 컨텐츠(3911)를 메인 영역(1010) 상에 떠올려져 있는 것처럼 보이도록 표시할 수 있다. 즉, 메인 컨텐츠(3911) 및 메인 컨텐츠(3911) 주변의 그래픽의 명암, 색상 또는 위치를 변경할 수 있다.
다음으로, 사용자 단말 장치(1000)는 터치를 유지한 채로 제2 서브 영역(1030) 상에 복수 개의 레이어들에 대응하는 오브젝트들을 플릭하는 사용자의 제스처(예로, 플릭 제스처)(3921)를 입력 받을 수 있다. 이러한 사용자 제스쳐(3921)가 입력되면, 제어부(200)는 도 39의 3930에 도시된 바와 같이, 메인 영역(1010) 상에 메인 컨텐츠(3911)가 고정된 상태로 메인 영역(1010) 상에 다른 레이어들의 컨텐츠를 표시할 수 있다. 즉, 메인 컨텐츠(3911)가 메인 영역(1010) 상에 고정된 상태로 다른 레이어들을 뚫고 지나가는 효과가 제공될 수 있다.
사용자가 메인 컨텐츠(3911)를 위치할 레이어를 찾은 경우, 사용자 단말 장치(1000)는 메인 컨텐츠(3911) 상에 터치를 해제하는 사용자의 제스처(예로, 해제(release) 제스처)(3931)를 입력 받을 수 있다.
도 39의 3940을 참조하면, 사용자의 제스처(3931)에 응답하여, 메인 컨텐츠(3911)는 현재 메인 영역(1010) 상에 표시 중인 레이어 상에 안착될 수 있다. 이 때, 제1 서브 영역(1020) 상에는 메인 컨텐츠(3911)와 연관된 서브 컨텐츠(3941)가 함께 표시될 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자 단말 장치(1000)는 메인 영역 및 적어도 하나의 서브 영역들을 이용하여 날씨 컨텐츠도 디스플레이할 수 있다. 도 40 내지 도 43은 날씨 컨텐츠를 표시하는 다양한 실시 예들을 나타내는 도면이다.
도 40 을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 메인 영역(1010)에는 날씨 어플리케이션이 제공하는 메인 컨텐츠인 날씨 컨텐츠 (4011)가 표시될 수 있다. 예를 들어, 날씨 컨텐츠 (4011)는 구름, 해, 달, 비 또는 눈 등과 같은 기상 아이콘 및 현재 시각을 나타내는 아이콘들 중 적어도 하나를 포함할 수 있다.
제1 서브 영역(1020)에는 날씨 어플리케이션의 서브 컨텐츠들(4012 ~ 4014)이 표시될 수 있다. 예를 들어, 서브 컨텐츠들(4012 ~ 4014)은 각 지역 별 날씨 컨텐츠에 대응하는 서브 컨텐츠일 수 있다. 예를 들어, 제1 서브 컨텐츠(4012)는 현재 메인 영역(1010)에 표시 중인 런던(London) 지역의 날씨 컨텐츠에 대응하고, 제2 서브 컨텐츠(4013)는 서울 지역의 날씨 컨텐츠에 대응하고, 제3 서브 컨텐츠(4014)은 부산 지역의 날씨 컨텐츠에 대응할 수 있다.
도 41은 다른 실시 예에 따른 날씨 컨텐츠를 표시하는 도면이다. 도 41을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 메인 영역(1010) 및 제2 서브 영역(1030)에는 날씨 어플리케이션이 제공하는 날씨 컨텐츠가 표시될 수 있다. 여기에서, 날씨 컨텐츠는 시간의 흐름에 따라 구분되어 표시될 수 있다. 예를 들어, 제어부(200)는 메인 영역(1010)으로부터 제1 서브 영역(1020)으로 갈수록 날씨가 시간에 따라 바뀌는 것을 표시할 수 있다. 구체적으로, 제어부(200)는 메인 영역(1010)의 좌측 또는 중앙 부분에서 현재 시각의 날씨를 나타내는 오브젝트(4021)를 표시하고, 이 후 시간의 날씨 변화를 나타내는 오브젝트 들을 제1 서브 영역(1020) 방향으로 순차적으로 표시할 수 있다. 도 41에 따르면, 제어부(200)는 메인 영역(1010)의 좌측 편에서 맑은 상태를 나타내는 오브젝트(4021)를 표시하고, 제1 서브 영역(1020)으로 갈수록 점점 흐려지는 상태를 나타내는 오브젝트(4022)를 표시하며, 제1 서브 영역(1020) 상에는 비가 오는 상태를 나타내는 오브젝트(4023)를 표시한다. 사용자는 이러한 UI를 보고, 날씨가 점차 흐려질 것이라는 점을 직관적으로 이해할 수 있게 된다.
도 42는 또 다른 실시 예에 따른 날씨 컨텐츠를 나타내는 도면이다. 도 42를 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 메인 영역(1010) 및 제1 서브 영역(1020)에는 날씨 어플리케이션이 제공하는 날씨 컨텐츠가 표시될 수 있다. 메인 영역(1010)에 표시되는 날씨 컨텐츠의 메인 컨텐츠(4031)는 하늘에서 지상을 향해서 바라보거나 반대로 지상에서 하늘을 올려다보는 이미지 또는 동영상이 될 수 있다. 또한, 제1 서브 영역(1020)에 표시되는 날씨 컨텐츠의 서브 컨텐츠(4032)는 지상에서 수평선을 향해서 바라보는 이미지 또는 동영상이 될 수 있다. 예를 들어, 현재 시각의 날씨가 비가 오는 중인 경우, 메인 영역(1010)에는 구름 및 구름 사이로 보이는 지상의 풍경 또는 하늘에서 떨어지는 빗방울이 맺히는 유리 천장 등을 나타내는 이미지나 동영상이 표시될 수 있다. 그리고, 제1 서브 영역(1020)에는 지상에 비가 내리는 풍경 및 지상에서 비를 맞고 있는 생물 또는 무생물 등이 표시될 수 있다.
도 43은 또 다른 실시 예에 따른 날씨 컨텐츠를 나타내는 도면이다. 도 43을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 메인 영역(1010)에 표시되는 날씨 컨텐츠의 메인 컨텐츠(4041)는 현재 시각의 날씨와 관련된 이미지, 동영상, 위젯 등이 될 수 있다. 제1 서브 영역(1020)에는 현재 시각 이후의 날씨와 관련된 오브젝트들(4042 ~ 4044)이 표시될 수 있다. 오브젝트들(4042 ~ 4044)는 현재 시각 이후 날씨의 종류에 따라 서로 다른 색 코드의 형태로 쌓여서 표시될 수 있다. 예를 들어, 맑은 날씨는 노란색의 색 코드로 표시되고, 흐린 날씨는 회색의 색 코드로 표시될 수 있다. 그리고, 메인 영역(1010)에 가까운 색 코드(4042)가 현재 시각에 가까운 날씨를 나타낼 수 있다.
도 40 내지 도 43에서는 메인 영역(1010)과 우측의 제1 서브 영역(1020)이 조합되어 날씨 컨텐츠들을 디스플레이하는 것으로 도시 및 설명하였으나, 변형된 실시 예에 따르면, 좌측의 제2 서브 영역(1030)도 메인 영역(1010)과 함께 날씨 컨텐츠를 디스플레이할 수도 있다. 이러한 변형 실시 예들에 대한 중복 도시 및 설명은 생략한다.
이 밖에도, 다양한 어플리케이션의 실행에 의해 다양한 컨텐츠들이 메인 영역 및 적어도 하나의 서브 영역을 통해 제공될 수 있다.도 44 및 도 45는  갤러리 어플리케이션의 실행에 따라 다양한 컨텐츠를 제공하는 실시 예를 설명하기 위한 도면이다.도 44의 4410을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다.
사용자 단말 장치(1000)는 갤러리 어플리케이션의 실행을 요청 받을 수 있다. 갤러리 어플리케이션이란 사용자가 촬영하였거나, 외부 기기로부터 수신한 이미지, 동영상, 텍스트 등과 같은 다양한 컨텐츠를 제공하는 프로그램이다. 사용자가 화면 상에 표시된 아이콘 중 갤러리 어플리케이션에 대응되는 아이콘을 선택하면, 제어부(200)는 갤러리 어플리케이션을 실행시킨다. 갤러리 어플리케이션이 실행되면, 제1 서브 영역(1020) 에는 갤러리 어플리케이션이 제공하는 폴더들 중 특정 폴더를 나타내는 필름 통을 형상화한 오브젝트가 표시될 수 있다.폴더들은 인물, 저장 또는 촬영 시간, 위치 및 사용자 설정 중 적어도 하나의 기준에 따라 분류된 컨텐츠들이 저장될 수 있다.
도 44의 4410에서, 제1 서브 영역(1020) 상에는 ’Lisa’라는 인물의 폴더를 나타내는 필름통을 형상화한 오브젝트(4412)가 표시될 수 있다. 메인 영역(1010) 상에는 특정 폴더에 포함된 컨텐츠들이 표시될 수 있다. 이 때, 컨텐츠들은 필름을 형상화한 오브젝트(4412)의 프레임 영역 내에 표시될 수 있다. 즉, 각 컨텐츠들(4411)은 마치 필름통에서 뽑혀져 나오는 필름 형태로 메인 영역(1010)에 표시될 수 있다. 사용자 단말 장치(1000)는 메인 영역(1010) 상에서 일 방향으로의 사용자 제스처(예로, 드래깅 또는 플릭 제스처)(4413)을 입력받을 수 있다. 또는, 사용자 단말 장치(1000)는 제1 서브 영역(1020) 상에서 일 방향으로의 사용자의 제스처(예로, 드래깅 또는 플릭 제스처)(4414)를 입력 받을 수 있다.
도 44의 4420은 사용자가 메인 영역(1010)를 터치하여 좌 또는 우측 방향으로 움직이는 제스쳐(4413)를 하였을 때의 동작을 나타낸다. 도 44의 4420을 참조하면, 메인 영역(1010) 상에서 입력되는 사용자의 제스처(4413)에 응답하여, 제어부(200)는 메인 영역(1010) 상에 표시 중인 컨텐츠들이 포함된 폴더 내의 다른 컨텐츠들(3321)을 메인 영역(1010)에 표시할 수 있다. 이 때, 사용자의 제스처(4413)의 방향 또는 속도에 따라 다른 컨텐츠들(4421)이 표시되는 방향 또는 속도 등이 결정될 수 있다.사용자가 좌측으로 드래깅 또는 플릭 제스쳐(4413)를 입력하였다면, 제어부(200)는 메인 영역(1010)에 표시되어 있던 이미지를 좌측으로 이동시키면서, 필름통 모양의 오브젝트(4412)로부터 새로운 이미지들(4421)이 나오는 것처럼 표시할 수 있다.
 도 44의 4430은 사용자가 제1 서브 영역(1020)에서 사용자 제스쳐(4414)를 입력하였을 때의 동작을 설명하기 위한 도면이다. 도 44의 4430 을 참조하면, 제어부(200)는 사용자 제스쳐(4414)에 응답하여, 제1 서브 영역(1020) 상에 표시 중인 폴더를 나타내는 오브젝트(4412) 대신 다른 폴더를 나타내는 오브젝트(4431)를 표시할 수 있다. 이 때, 사용자의 제스처(4414)의 방향 및 속도에 따라 상이한 폴더가 선택될 수 있다. 가령, 좌측 방향으로 빠르게 플릭하였다면, 현재 폴더의 이전 폴더들 중에서 그 속도에 대응되는 위치의 폴더가 선택될 수 있다. 반면, 우측 방향으로 천천히 플릭되었다면, 현재 폴더의 바로 다음 폴더가 선택될 수 있다.
도 44의 4430에서는 ‘Lisa’ 폴더 대신에 ‘David’ 폴더가 선택된 상태를 도시하였다. 이에 따라, 메인 영역(1010)에는 새로운 David 폴더에 포함된 컨텐츠들이 새로이 디스플레이될 수 있다. 도 45는 갤러리 어플리케이션의 표시 방법의 다른 예를 나타내는 도면이다. 도 45의 4510을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 사용자 단말 장치(1000)는 컨텐츠들을 제공하는 갤러리 어플리케이션의 실행을 요청 받을 수 있다. 어플리케이션의 실행 요청에 응답하여, 메인 영역(1010) 상에는 특정 폴더에 포함된 컨텐츠들이 표시될 수 있다. 이 때, 상기 컨텐츠들은 플립 시계 또는 색 입체를 형상화한 오브젝트(4511) 내에 표시될 수 있다. 제1 서브 영역(1020) 상에는 갤러리 어플리케이션이 제공하는 폴더들 중 ‘Lisa’라는 인물의 폴더를 나타내는 오브젝트(4514)가 표시될 수 있다. 이 때, 오브젝트(4514)는 회전 축 또는 원통을 형상화한 형태로 표시될 수 있다. 사용자 단말 장치(1000)는 메인 영역(1010) 상에서 일 방향으로의 사용자 제스처(예로, 드래깅 또는 플릭 제스처)(4512)을 입력 받을 수 있다. 또는, 사용자 단말 장치(1000)는 제1 서브 영역(1020) 상에서 일 방향으로의 사용자의 제스쳐(예로, 드래깅 또는 플릭 제스처)(4513)를 입력 받을 수 있다.
도 45의 4520은 메인 영역(1010)에서 사용자 제스쳐(4512)가 입력되었을 때의 동작을 나타낸다. 도 45의 4520을 참조하면, 메인 영역(1010)에 사용자의 제스처(4512)가 입력되면, 제어부(200)는 메인 영역(1010) 상에 표시 중인 컨텐츠들이 포함된 폴더와 동일한 폴더 내의 다른 컨텐츠(4521)들을 표시할 수 있다. 이 때, 사용자의 제스처(4512)의 방향 또는 속도에 따라 다른 컨텐츠들(4521)이 표시되는 방향 또는 속도 등이 결정될 수 있다.가령, 우측 방향으로 빠르게 플릭하였다면, 현재 표시된 컨텐츠를 기준으로 한참 이후에 배치된 컨텐츠(4521)가 표시될 수 있다.
도 45의 4530은 제1 서브 영역(1020)에서 사용자 제스쳐(4513)가 입력되었을 때의 동작을 설명하기 위한 도면이다. 도 45의 4530을 참조하면, 제1 서브 영역(1020) 상에서 사용자의 제스처(4513)가 입력되면, 제어부(200)는 제1 서브 영역(1020) 상에 표시 중인 폴더를 나타내는 오브젝트(4514) 대신 다른 폴더()를 나타내는 오브젝트(4531)를 표시할 수 있다. 또한, 제어부(200)는 메인 영역(1010)에는 다른 폴더, 즉, David 폴더에 포함된 컨텐츠들(4541)들을 표시할 수 있다.이 때, 사용자의 제스처(4513)의 방향 또는 속도에 따라 다른 폴더들이 표시되는 방향 또는 속도 등이 결정되어, 상이한 폴더가 선택될 수 있다.
도 46은 음악 어플리케이션을 표시하는 실시 예를 설명하기 위한 도면이다.도 46의 4610을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 사용자 단말 장치(1000)는 음악 컨텐츠를 제공하는 음악 어플리케이션의 실행을 요청 받을 수 있다.가령, 사용자가 음악 어플리케이션에 대응되는 아이콘을 선택하면, 제어부(200)는 음악 어플리케이션의 실행을 요청받은 것으로 판단할 수 있다. 어플리케이션 실행 요청에 응답하여, 제어부(200)는 메인 영역(1010) 상에 현재 재생 중인 음악 컨텐츠 및 음악 컨텐츠를 조작할 수 있는 메뉴를 포함하는 오브젝트(4611)를 표시할 수 있다. 이 때, 오브젝트(4611)에 포함된 음악 컨텐츠는 시간이 경과함에 따라 자동적으로 다른 음악 컨텐츠로 전환될 수 있다.
제1 서브 영역(1020) 상에는 현재 재생 중인 음악의 이퀄라이저 정보를 포함하는 오브젝트(4614)가 표시될 수 있다. 사용자 단말 장치(1000)는 메인 영역(1010) 상에서 일 방향으로의 사용자 제스처(예로, 드래깅 또는 플릭 제스처)(4612)을 입력 받을 수 있다. 또는, 사용자 단말 장치(1000)는 제1 서브 영역(1020) 상에서 일 방향으로의 사용자의 제스처(예로, 드래깅 또는 플릭 제스처)(4613)를 입력 받을 수도 있다.
도 46의 4620은 메인 영역(1010)에서 사용자 제스쳐(4612)가 입력되었을 때의 동작을 설명하기 위한 도면이다. 도 46의 4620을 참조하면, 메인 영역(1010) 상에서 사용자의 제스처(4612)가 입력되면, 제어부(200)는 메인 영역(1010) 상에 표시 중인 음악 컨텐츠의 이전 또는 이후의 음악 컨텐츠에 대한 오브젝트(4621)를 표시할 수 있다. 예를 들어, 사용자의 제스처(4612)가 오른쪽 방향으로 수행되는 경우, 현재 표시 중인 음악 컨텐츠가 포함된 음악 목록에서 음악 컨텐츠의 이전 또는 아래에 위치한 음악 컨텐츠를 표시할 수 있다. 반면에, 사용자의 제스처()가 왼쪽 방향으로 진행되는 경우, 현재 표시 중인 음악 컨텐츠가 포함된 음악 목록에서 음악 컨텐츠의 이후 또는 위에 위치한 음악 컨텐츠를 표시할 수 있다.
도 46의 4630은 제1 서브 영역(1020)에서 사용자의 제스쳐(4613)가 입력되었을 때의 동작을 나타낸다. 도 46의 4630을 참조하면, 제1 서브 영역(1020) 상에서 사용자의 제스처(4613)가 입력되면, 제어부(200)는 현재 재생 중인 음악의 이퀄라이저를 변경할 수 있다. 도 46의 4630에서는, 일 예로, 제어부(200)는 현재 재생 중인 음악의 이퀄라이저를 ‘Jazz’ 이퀄라이저(4631)로 변경한 상태를 나타낸다.도 47은 시계 어플리케이션을 표시하는 실시 예를 설명하기 위한 도면이다.도 47의 4710을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020) 및 제2 서브 영역(1030)을 포함할 수 있다. 사용자 단말 장치(1000)는 시계 컨텐츠를 제공하는 시계 어플리케이션의 실행을 요청 받을 수 있다.
가령, 사용자는 시계 어플리케이션에 대응되는 아이콘을 선택하여 시계 어플리케이션의 실행을 요청할 수 있다. 제어부(200)는 실행 요청에 따라 시계 어플리케이션을 실행시킬 수 있다. 또는, 사용자 단말 장치(1000)는 대기 상태에서 디폴트로 시계 어플리케이션을 실행시킬 수 있다. 제어부(200)는 시계 어플리케이션을 실행시켜, 메인 영역(1010) 상에 시계 형상의 메인 컨텐츠(4711)를  표시할 수 있다. 시계 컨텐츠(4711)는 아날로그 또는 디지털 시계의 형태로 현재 시각을 나타낼 수 있다.
제1 서브 영역(1020)에는 시계 어플리케이션의 서브 컨텐츠(4712)가 표시될 수 있다. 메인 컨텐츠(4711)가 아날로그 시계인 경우, 서브 컨텐츠(4712)는 아날로그 시계의 내부의 동작 상태를 나타낼 수 있다. 시간의 경과에 따라, 제어부(200)는 시계 컨텐츠(4711)의 시간도 변경하면서, 서브 컨텐츠(4712)의 내부의 동작 상태도 함께 변경하여 표시할 수 있다.
사용자 단말 장치(1000)는 메인 영역(1010) 상에서 일 방향으로의 사용자 제스처(예로, 드래깅 또는 플릭 제스처)(4713)을 입력 받을 수 있다. 도 47의 4720을 참조하면, 메인 영역(1010) 상에서 사용자의 제스처(4713)가 입력되면, 제어부(200)는 메인 영역(1010) 상에 표시 중인 시계 컨텐츠(4713)를 다른 지역의 현재 시각을 나타내는 시계 컨텐츠(4721)로 변경할 수 있다.
예를 들어, 변경 전의 메인 컨텐츠(4711)가 한국에서의 표준 시각을 나타냈다면, 변경 후의 메인 컨텐츠(4721)는 한국이 아닌 중국 또는 일본의 표준 시각을 나타낼 수 있다. 드래깅이나 플릭과 같은 사용자 제스쳐가 이루어지는 거리 또는 속도에 따라, 다음에 표시될 지역은 상이하게 선택될 수 있다. 가령, 빠르게 플릭하였다면, 한국과 상대적으로 먼 거리에 있는 미국이나 캐나다 등의 시간을 나타내는 시계 컨텐츠가 표시될 수 있고 천천히 플릭하였다면 한국과 가까운 일본이나 중국의 시간을 나타내는 시계 컨텐츠가 표시될 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 홈 화면도 메인 영역 및 서브 영역을 통해 다양한 형태로 디스플레이될 수 있다. 도 48은 본 발명의 또 다른 실시 예에 따른 홈 화면 디스플레이 방법을 설명하기 위한 도면이다. 홈 화면이란 사용자 단말 장치(1000)가 턴 온 되어 시스템 준비가 완료된 이후에, 표시되는 화면으로, 다른 어플리케이션을 시작하거나 위젯을 제공하는 기능을 가진 화면을 의미한다. 홈 화면은 다르게는 메인 화면, 기본 화면, 초기 화면 등과 같이 다양한 명칭으로 불릴 수 있으나, 본 명세서에서는 홈 화면으로 통칭하여 설명한다.
도 48의 4810을 참조하면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(5020)을 포함할 수 있다.메인 영역(1010)에 표시되는 홈 화면에는 사용자 단말 장치(1000)에 설치된 어플리케이션에 대응하는 위젯이 제공하는 메인 컨텐츠들이 각각 표시될 수 있다. 예를 들어, 메인 영역(1010)에는 날씨 위젯이 제공하는 날씨 컨텐츠(4811) 또는 갤러리 위젯이 제공하는 갤러리 컨텐츠(4812) 등이 표시될 수 있다.
 제1 서브 영역(1020)에는 위젯이 제공하는 적어도 하나의 서브 컨텐츠(4813, 4814)가 표시될 수 있다. 예를 들어, 제1 서브 영역(1020)에는 날씨 위젯이 제공하는 서브 컨텐츠(4813) 또는 갤러리 위젯이 제공하는 서브 컨텐츠들(4814)이 표시될 수 있다. 메인 영역(1010)의 하단에는 어플리케이션 목록을 볼 수 있는 앱 독(App Dock)(4815)이 제공될 수 있다. 사용자 단말 장치(1000)는 앱 독(4815)을 일 방향으로 끌어 올리는 사용자 제스처(예로, 드래그 제스처)(4816)를 입력 받을 수 있다.
도 48의 4820은 사용자 제스쳐(4816)가 입력되었을 때의 동작을 설명하기 위한 도면이다. 도 48의 4820에 따르면, 제어부(200)는 사용자의 제스처(4816)에 응답하여, 앱 독(4815)를 확장시켜, 메인 영역(1010)의 일부를 덮을 수 있다. 앱 독(4815)에는 사용자가 자주 사용하는 어플리케이션들의 단축 아이콘들(4821 ~ 4824)이 표시될 수 있다.
또는, 사용자 단말 장치(1000)는 앱 독(4815)을 일 방향으로 펼치는 사용자의 제스처(예로, 플릭 제스처)(4817)를 입력받을 수도 있다. 도 48의 4830은 플릭 제스쳐(4817)가 입력되었을 때의 동작을 나타낸다. 도 48의 4830에 따르면, 제어부(200)는 사용자의 제스처(4817)에 응답하여, 앱 독(4815)을 메인 영역(1010)의 전체로 확장시켜 표시할 수 있다. 이에 따라, 메인 영역(1010) 상에는 어플리케이션 홈(4831)이 표시될 수 있다. 어플리케이션 홈(4831)에는 사용자가 실행 가능한 어플리케이션들에 대응하는 복수 개의 아이콘들이 표시될 수 있다. 사용자 단말 장치(1000)는 복수 개의 아이콘들 중 하나의 아이콘을 선택하여 일정 시간 이상 터치를 유지하는 사용자의 제스처(예로, 롱 탭 제스처)(4832)를 입력 받을 수 있다.
도 48의 4840을 참조하면, 제어부(200)는 사용자의 제스처(4832)에 응답하여, 선택된 아이콘에 대응하는 어플리케이션을 실행할 수 있다. 제어부(200)는 하나의 어플리케이션이 선택되어 실행되면, 메인 영역(1010)에 표시되고 있던 어플리케이션 홈(4831)을 닫으면서, 선택된 어플리케이션이 제공하는 위젯(4842)이 표시 가능한 빈 영역을 가지는 새로운 홈 화면(4849)을 표시할 수 있다. 표시된 홈 화면(4849) 상에서 사용자가 터치 유지 중인 위치에는 선택된 어플리케이션이 제공하는 위젯(4842)이 생성될 수 있다. 만약, 사용자가 터치 중인 위치에 다른 위젯이 존재한다면, 제어부(200)는 위젯(4842)을 다른 위젯이 존재하지 않는 빈 영역으로 자동으로 이동시켜 표시할 수 있다. 또는, 사용자는 터치를 유지한 채로 드래그하여, 위젯(4842)을 홈 화면(4811) 상의 다른 위치로 이동할 수 있다.
다음으로, 사용자 단말 장치(1000)는 터치를 해제하는 사용자의 제스처(예로, 해제 제스처)(4843)을 입력 받을 수 있다. 도 48의 4850을 참조하면, 사용자의 해제 제스처(4843)에 응답하여, 메인 영역(1010)에 표시된 홈 화면(4811) 상에는 선택된 어플리케이션이 제공하는 위젯(4842)이 추가될 수 있다.이 때, 제1 서브 영역(1020) 상에는 위젯(4842)이 제공 가능한 서브 컨텐츠들(4851)이 표시될 수 있다.이러한 상태에서, 사용자는 다시 앱 독(4815)을 펼칠 수 있다. 사용자 단말 장치(1000)는 앱 독(4815)을 다시 일 방향으로 펼치는 사용자의 제스처(4816)가 다시 입력되면, 제어부(200)는 도 48의 4830에 도시된 바와 같이 다시 어플리케이션 홈(4831)을 표시할 수 있다.
 사용자는 어플리케이션 홈(4831)에 대해 기 설정된 제스쳐를 입력하여 다시 홈 화면으로 돌아갈 수 있다.
도 49는 어플리케이션 홈을 닫고 홈 화면을 표시하는 방법의 일 예를 나타내는 도면이다. 도 49의 4910에 따르면, 사용자 단말 장치(1000)는 어플리케이션 홈(4831)을 닫는 사용자의 제스처(예로, 플릭 제스처)(4911)를 입력 받을 수 있다.
이러한 제스쳐(4911)가 입력되면, 도 49의 4920에 도시된 바와 같이, 제어부(200)는 메인 영역(1010) 상에 홈 화면(4811)을 다시 표시할 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자는 서브 영역을 이용하여 인터렉션을 수행하여, 메인 영역에 표시되는 메인 컨텐츠의 표시 상태를 변경할 수 있다. 이하에서는 서브 영역을 이용하여 인터렉션을 수행하는 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 50은 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치에서 주소록을 디스플레이하는 방법을 설명하기 위한 도면이다.
사용자가 사용자 단말 장치(1000)에 표시된 아이콘이나 메뉴 등을 선택하여 주소록 어플리케이션을 실행시키면, 제어부(200)는 저장부(310)에 저장된 주소록 정보를 이용하여 메인 영역(1010)에 주소록(5011)을 디스플레이한다. 이러한 상태에서, 사용자는 서브 영역(1020)을 이용하여 주소록(5011)을 스크롤할 수 있다. 가령, 서브 영역(1020)을 터치한 상태에서 일 방향으로 드래깅 또는 플릭하는 제스쳐(5012)를 입력하면, 제어부(200)는 그 제스쳐 방향 및 속도에 따라 메인 영역(1010)의 주소록(5011)을 스크롤하여 표시한다. 제어부(200)는 메인 영역(1010)의 주소록 정보 중 하나가 터치되면, 해당 주소록 정보를 이용하여 전화 통화를 연결하거나, 그 주소록 정보로 전송할 메일 또는 메시지 작성 화면을 메인 영역(1010)에 디스플레이할 수 있다. 이에 따르면, 사용자는 서브 영역을 이용하여 메인영역에 표시되는 정보들의 뷰 포인트를 변경하는 변경 인터랙션을 수행할 수 있게 된다.
도 51은 서브 영역을 이용하여 주소록 정보를 스크롤하는 또 다른 방법을 설명하기 위한 도면이다.
도 51의 5110에 따르면, 메인 영역(1010)에 표시되는 주소록 정보는 인덱스(5111) 및그 인덱스에 포함되는 정보(5112)로 구성될 수 있다. 서브 영역(1020)에는 각 인덱스들(5113)이 표시될 수 있다. 사용자는 서브 영역(1020)을 터치한 후 일 방향으로 드래깅 또는 플릭하는 제스쳐(5114)를 입력할 수 있다.
도 51의 5120에서는 D 인덱스를 터치하여 위쪽 방향으로 드래깅하는 제스쳐(5114)가 입력되었을 때의 동작을 도시하였다. 도 51의 5220에 따르면, 제어부(200)는 현재 메인 영역(1010)에 표시된 A 인덱스와 터치된 D 인덱스 사이에 존재하는 A, B, C 인덱스에 각각 포함되는 정보들(5121)을 순차적으로 접히는 것처럼 표시하면서 화살표 방향으로 스크롤시킨다. 이에 따라, 도 51의 5130에 도시된 바와 같이, 메인 영역(1010)에는 D 인덱스에 포함되는 주소록 정보(5131)가 표시되고, 서브 영역(1020)에는 사용자가 터치한 D 인덱스가 최상위에 위치하게 되며, 그 아래 쪽에는 다음 인덱스들이 표시된다. 이상과 같이, 사용자는 서브 영역(1020)을 이용하여 다수의 주소록 정보들을 점핑하는 퀵 점프 인터랙션을 수행할 수 있게 된다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자는 메인 영역만을 활성화시키거나, 서브 영역만을 활성화시켜서 최소한의 정보만을 확인하면서, 필요에 따라 다른 영역까지 활성화시켜 사용할 수도 있다. 도 52는 이러한 실시 예에 따른 사용자 단말 장치의 동작을 설명하기 위한 도면이다.
도 52에 따르면, 사용자 단말 장치(1000)는 메인 영역(1010) 및 서브 영역(1020)으로 구분되는 벤디드 터치 스크린(100)을 포함한다. 사용자가 사용자 단말 장치(1000)를 일정시간 동안 사용하지 않거나, 비활성화 버튼을 누른 경우, 제어부(200)는 메인 영역(1010) 및 서브 영역(1020)을 비활성화시킬 수 있다. 도 52의 5210에서는 사용자 단말 장치(1000)가 비활성화되어, 메인 영역(1010) 및 서브 영역(1020)이 모두 턴오프된 상태를 나타낸다. 이러한 상태에서 사용자가 활성화 버튼을 누르거나, 기타 기 설정된 활성화 제스쳐를 입력하면, 제어부(200)는 메인 영역(1010) 및 서브 영역(1020)을 동시에 턴온시켜 활성화 상태로 전환할 수 있다. 또는, 사용자가 서브 영역(1020)을 문지르는 제스쳐(5211)를 입력하면, 제어부(200)는 서브 영역(1020)만을 턴온시켜 활성화 상태로 전환할 수 있다. 도 52의 5220은 서브 영역(1020)이 활성화된 상태를 나타낸다.
제어부(200)는 특정 어플리케이션이 실행 중인 경우에는 그 어플리케이션에서 제공하는 컨텐츠를 서브 영역(1020)에 디스플레이한다. 도 52의 5220에서는, 뮤직 어플리케이션이 실행되었을 때, 뮤직 어플리케이션에 의해 재생되는 컨텐츠에 대한 정보 및 그 제어 메뉴 등을 포함하는 컨텐츠(5221)가 서브 영역(1020)에 표시되고 있는 상태를 나타낸다. 서브 영역(1020) 내에는 뮤직 어플리케이션의 컨텐츠 (5221)이외에, 현재 시간 정보(5222)도 함께 표시될 수 있다. 제어부(200)는 실행 중인 어플리케이션이 없을 때에는 현재 시간 정보(5222)만을 서브 영역(1020)에 표시하거나, 날짜 정보, 날씨 정보, 배터리 정보 등과 같은 다양한 정보들을 서브 영역(1020)에 표시할 수 있다.
도 52의 5220에 도시된 바와 같이, 사용자는 서브 영역(1020)을 드래깅 또는 플릭하는 제스쳐(5223)를 다시 입력하여, 서브 영역(1020)에 표시되는 서브 컨텐츠를 변경할 수 있다.
제어부(200)는 제스쳐(5223)가 입력되면, 도 52의 5230에 도시된 바와 같이, 사용자가 터치한 시간 정보(5222)를 제스쳐(5223) 방향에 따라 아래쪽으로 이동시키면서 날씨 서브 컨텐츠(5232), 배터리 서브 컨텐츠(5233)를 추가한다. 또한, 뮤직 어플리케이션의 컨텐츠(5221)를 축소된 앨범 이미지 형태의 서브 컨텐츠(5234)로 변경하거나, 메일이나 기타 메신저 등에 대한 서브 컨텐츠(5231)를 표시할 수도 있다. 이러한 상태에서 사용자가 서브 영역(1020)에서 하나의 서브 컨텐츠를 터치(5235)하고 그 터치 상태를 일정 시간 이상 유지하면, 제어부(200)는 터치된 서브 컨텐츠에 대한 정보를 메인 영역(1010)에 표시할 수 있다.
도 52의 5240은 날씨 서브 컨텐츠(5232)가 터치되고 있는 동안, 메인 영역(1010)에 그 서브 컨텐츠(5232)와 관련된 날씨 정보(5241)가 표시되는 동작을 나타낸다. 제어부(200)는 메인 영역(1010)을 전체적으로 활성화시키지 않고, 날씨 서브 컨텐츠(5232)가 표시된 서브 영역(1020)의 위치에 대응되는 국부적인 영역만을 활성화시켜, 날씨 정보(5241)를 표시할 수 있다. 이러한 상태에서 사용자가 터치를 해제(5242)하면, 도 52의 5250에 도시된 바와 같이, 제어부(200)는 메인 영역(1010)에서 국부적으로 표시되고 있던 날씨 정보(5241)를 삭제한다.
한편, 사용자는 서브 영역(1020) 내의 다른 서브 컨텐츠를 선택할 수도 있다. 도 52의 5250 및 5260에 도시된 바와 같이, 사용자가 메일 서브 컨텐츠(5231)를 터치(5251)하면 메일 어플리케이션에 의해 수신된 신규 메일 정보(5261)가 메인 영역(1010)에서 국부적으로 표시된다. 이러한 상태에서 사용자가 터치(5251)를 유지한 상태로 메인 영역(1010) 방향으로 드래깅 또는 플릭하는 제스쳐(5262)를 입력하면, 제어부(200)는 도 52의 5270에 도시된 바와 같이, 메인 영역(1010)을 전체적으로 활성화시키고, 메일 어플리케이션 화면(5271)을 디스플레이한다. 제어부(200)는 서브 영역(1020)에 메일 어플리케이션 화면(5271)에 대응되는 서브 컨텐츠(5272)를 디스플레이한다.
한편, 서브 영역(1020)에 대한 사용자 제스쳐에는 이 밖에도 다양한 동작이 매핑될 수 있다. 도 53은 서브 영역(1020)을 따라서 드래깅 또는 플릭하는 제스쳐에 대해 백(back) 기능이 매핑된 실시 예를 나타낸다.
*도 53의 5310에 도시된 바와 같이, 사용자 단말 장치(1000)는 제1 웹 페이지(5311)를 메인 영역(1010)에 디스플레이할 수 있다. 서브 영역(1020)에는 제1 웹 페이지(5311)에 대응되는 서브 컨텐츠가 디스플레이될 수도 있고, 사용자 단말 장치(1000)의 상태를 알리기 위한 각종 정보들이 디스플레이될 수도 있다.
이러한 상태에서 서브 영역(1020)에서 일 방향으로 드래깅 또는 플릭하는 사용자 제스쳐(5312)가 입력되면, 도 53의 5320에 도시된 바와 같이, 제어부(200)는 제1 페이지의 상위 페이지인 제2 페이지(5321)를 디스플레이하는 백 기능을 수행한다. 제2 페이지(5321)에 표시된 오브젝트들 중 하나의 오브젝트(5322)가 선택되면, 제어부(200)는 다시 도 53의 5310에 도시된 바와 같이 제1 페이지(5311)를 디스플레이한다. 또는, 제어부(200)는 제2 페이지(5321)가 디스플레이되고 있는 상태에서 서브 영역(1020)에서 다시 사용자 제스쳐(5323)가 입력되면, 도 53의 5330에 도시된 바와 같이, 제2 페이지의 상위 페이지인 제3 페이지(5331)를 디스플레이한다. 제3 페이지(5331)에는 제2 페이지(5321)로 링크될 수 있는 오브젝트(5332)를 비롯한 다양한 오브젝트들이 표시될 수 있다. 도 53에서는 제3 페이지(5311)가 포털 웹 사이트의 메인 화면을 의미하고, 제2 페이지(5321)는 메인 화면 내에서 하나의 오브젝트가 선택되었을 때 그 오브젝트와 관련된 다양한 정보들을 포함하는 화면을 의미하며, 제1 페이지(5331)는 제2 페이지(5321) 내에서 하나의 정보가 선택되었을 때에 링크되는 세부 정보 화면을 의미한다.
제3 페이지(5331)가 포털 웹 사이트의 최상위 페이지, 즉, 메인 화면인 경우, 제어부(200)는 다시 사용자 제스쳐(5333)가 입력되면, 제3 페이지(5331)가 아래로 밀리는 것 같은 어포던스 이미지(5341)를 제3 페이지의 일 측에 표시하고, 서브 영역(1020)에는 홈 화면으로 갈수 있음을 나타내는 가이드(5342)를 표시한다. 이러한 상태에서 사용자가 서브 영역(1020)에서 다시 사용자 제스쳐(5343)를 입력하면, 제어부(200)는 웹 브라우저를 종료하고 홈 화면(5351)을 디스플레이한다.
도 53의 5350은 사용자 제스쳐(5343)에 응답하여 홈 화면(5351)이 디스플레이된 상태를 나타낸다. 도 53의 5340에 도시된 바와 같이 사용자 제스쳐(5343)가 아래 쪽 방향으로 이루어지면, 홈 화면(5351)이 위에서 밀려 내려오는 것처럼 표시되며, 완전히 밀려 내려오고 나면 아래쪽에서 앱 독(5352)이 밀려 올라오는 것처럼 표시된다. 앱 독(5352)에 대해서는 도 48에서 구체적으로 설명한 바 있으므로, 중복 설명 및 도시는 생략한다.
한편, 도 53의 서브 영역(1020)에서 위쪽 방향으로 이동하는 사용자 제스쳐에 대해서는 포워드 기능이 매핑될 수도 있다. 가령, 제3 페이지(5331)가 디스플레이된 상태에서 위쪽 방향으로 이동하는 사용자 제스쳐가 입력되면, 제2 페이지(5321)가 디스플레이되고, 다시 사용자 제스쳐가 입력되면 제1 페이지(5311)가 디스플레이될 수 있다.
또한, 도 53에서는 웹 브라우저의 실행에 따라 웹 페이지가 디스플레이된 상태를 기준으로 설명하였으나, 이 밖의 다른 프로그램의 실행 화면에서도 동일한 실시 예가 구현될 수 있음은 물론이다.
도 54는 서브 영역(1020)에 표시될 수 있는 오브젝트의 또 다른 예를 나타내는 도면이다. 도 54에 따르면, 서브 영역(1020)에는 태스크 스위칭 오브젝트(5400)가 표시될 수 있다. 태스크 스위칭 오브젝트(5400)는 단색 오브젝트(monochrome object)(5420) 및 컬러 오브젝트(technicolor object)(5410)를 포함할 수 있다.
*단색 오브젝트(5420)는 현재 실행 중인 어플리케이션 또는 최근에 사용된 어플리케이션을 나타내는 사용 앱 영역으로 사용되고, 컬러 오브젝트(5410)는 사용자가 선호하는 선호 기능을 나타내는 선호 기능 영역으로 사용된다.
도 55는 도 54의 오브젝트를 제공하는 실시 예에 따른 사용자 단말 장치의 동작을 설명하기 위한 도면이다.
도 55의 5510에 따르면, 메인 영역(1010)에 임의의 화면(5511)이 디스플레이되고 있는 상태에서 제어부(200)는 서브 영역(1020)에 태스크 스위칭 오브젝트(5400)를 표시할 수 있다. 사용자는 태스크 스위칭 오브젝트(5400) 중에서 단색 오브젝트(5420) 또는 컬러 오브젝트(5410)를 터치할 수 있다. 사용자가 단색 오브젝트(5420)를 터치(5512)하면, 제어부(200)는 도 55의 5520에 도시된 바와 같이 단색 오브젝트(5420)가 표시되는 영역을 확장한다. 또한, 제어부(200)는 터치된 단색 오브젝트(5420)에 대응되는 어플리케이션 정보(5521)를 터치 지점 일 측의 메인 영역(1010)에 표시할 수 있다. 도 55의 5520에서는 카메라 어플리케이션에 대한 정보(5521)가 표시된 상태를 나타낸다.
이러한 상태에서 사용자가 터치 지점을 이동시키는 제스쳐(5522)를 입력하면, 도 55의 5530에 도시된 바와 같이, 제어부(200)는 변경된 터치 지점에 대응되는 어플리케이션 정보(5531)를 디스플레이한다. 도 55의 5530에서는, 카메라 어플리케이션에 대한 정보(5521)가 갤러리 어플리케이션에 대한 정보(5531)로 변경된 상태를 나타낸다.
이러한 상태에서 사용자가 터치 지점을 메인 영역(1010) 방향으로 이동시키는 제스쳐(5532)를 입력하면, 제어부(200)는 도 55의 5540에 도시된 바와 같이, 갤러리 어플리케이션의 실행 화면(5541)을 메인 영역(1010)에 디스플레이하고, 갤러리 어플리케이션에 대응되는 서브 컨텐츠를 서브 영역(1020)에 디스플레이한다. 도 55의 5540에서는 도 44에서 설명한 바와 같이, 서브 컨텐츠가 필름 통 형태의 오브젝트(5561, 5562, 5563)로 표현된 상태를 나타낸다. 제어부(200)는 사진, 동영상, 텍스트 등과 같은 다양한 컨텐츠를 그룹핑하고 있는 폴더들 각각을 나타내는 오브젝트(5561, 5562, 5563)를 서브 영역(1020)에 표시하고, 각 폴더에 포함된 컨텐츠들(5551, 5552, 5553)을 마치 필름 통에서 뽑아져 나온 것처럼 메인 영역(1010)에 표시할 수 있다.
도 56은 서브 영역을 이용하여 인터랙션을 수행하는 또 다른 실시 예를 설명하기 위한 도면이다. 도 56의 5610에 따르면, 제어부(200)는 메인 영역(1010)에 임의의 화면(5611)을 표시하는 한편, 서브 영역(1020)에는 단색 오브젝트(5420) 및 컬러 오브젝트(5410)를 표시할 수 있다. 이러한 상태에서 사용자가 단색 오브젝트(5420)를 터치한 후 일정 길이 또는 일정 속도 이상의 플릭 제스쳐(5612)를 입력하면, 도 56의 5620에 도시된 바와 같이, 제어부(200)는 메인 영역(1010)에 현재 표시되고 있던 화면(5611)을 뒤쪽 방향으로 누워진 형태의 오브젝트(5621)으로 변경하면서, 그 오브젝트(5621) 하측으로 다양한 태스크들에 대응되는 오브젝트(5622)들이 밀려 올라오는 것처럼 표시한다.
또한, 제어부(200)는 서브 영역(1020)에는 각 오브젝트(5621, 5622)에 대응되는 복수의 서브 오브젝트(5623, 5624)를 표시한다. 최상위에 표시되는 오브젝트 및 서브 오브젝트(5621, 5623)는 사용자 제스쳐(5612)가 입력되기 전까지 표시되고 있던 화면(5611)에 대한 것이다. 사용자는 각 오브젝트 또는 서브 오브젝트를 선택하여, 다른 화면으로 전환할 수 있다.
도 56의 5620에 도시된 바와 같이 사용자가 App 05를 터치(5625)를 터치하였다면, 제어부(200)는 App 05에 대응되는 서브 오브젝트(5626)의 컬러를 변경한 후, 바로 App 05에 대응되는 어플리케이션을 실행시킨다. 이에 따라, 제어부(200)는 App 05 화면(5631)을 메인 영역(1010)에 디스플레이하고, 서브 영역(1020)에는 다시 태스크 스위칭 오브젝트(5400)를 원래의 크기로 표시한다. 태스크 스위칭 오브젝트(5400)의 크기는 디폴트로 정해질 수도 있으나, 반드시 이에 한정되는 것은 아니며, 본 발명의 또 다른 실시 예에 따르면, 태스크 스위칭 오브젝트(5400)의 크기는 사용자 선호 기능이나 최근 실행된 어플리케이션 개수 등에 따라 상이하게 결정될 수도 있다.
한편, 도 56에서는 태스크 스위칭 오브젝트(5400) 내에서 단색 오브젝트(5420)가 선택되었을 때의 동작을 설명하였으나, 사용자는 컬러 오브젝트(5410)를 선택할 수도 있다. 이 경우에는, 사용자가 미리 선택한 선호 기능들이 실행되어 메인 영역(1010)을 통해 제공될 수 있다. 도 57은 사용자가 선호 기능을 선택하여 태스크 스위칭 오브젝트(5400)에 등록시키는 과정을 설명하기 위한 도면이다.
도 57의 5710은 임의의 화면이 메인 영역(1010)에 표시되고, 태스크 스위칭 오브젝트(5400)가 서브 영역(1020)에 표시되고 있는 상태를 나타낸다. 일 예로, 도 57의 5710에서는 특정 인물에게 전화를 거는 송신 화면이 메인 영역(1010)에 표시되고 있는 상태를 나타낸다. 송신 화면 내에는 상대방 이미지(5711), 상대방에게 전화를 걸고 있음을 나타내는 메시지(5712), 관련 메뉴(5713) 등이 포함될 수 있다. 이러한 상태에서 사용자는 기 설정된 제스쳐(5714)를 입력하여, 해당 인물에게 전화를 거는 기능 그 자체를 태스크 스위칭 오브젝트(5400)에 등록시킬 수 있다. 도 57의 5710에서는 두 손가락으로 메인 영역(1010)을 터치한 후, 서브 영역(1020) 방향으로 드래깅 또는 플릭하는 제스쳐(5714)가 이루어지는 것을 도시하였다.
제어부(200)는 이러한 제스쳐(5714)가 입력되면, 현재 실행 중인 기능, 즉, James에게 전화를 거는 기능 그 자체를 태스크 스위칭 오브젝트(5400) 내의 가 그 기능을 태스크 스위칭 오브젝트(5400) 내의 선호 기능 영역에 추가한다. 제어부(200)는 해당 기능을 나타내는 오브젝트(5721)를 생성한 후, 그 오브젝트(5721)를 선호 기능 영역 방향으로 이동시키면서, 선호 기능 영역에 해당하는 컬러 오브젝트(5410)의 크기를 확대시켜, 해당 기능이 선호 기능 영역에 추가된다는 사실을 사용자에게 직관적으로 알릴 수 있다. 컬러 오브젝트(5410)는 어플리케이션 별로 컬러를 다르게 하며, 같은 어플리케이션에서 제공하는 다른 기능의 경우에는 명도를 다르게 표시할 수 있다.
가령, James에게 전화거는 기능은 진한 빨강색으로 표시하고, Andy에게 전화거는 기능은 옅은 빨강색으로 표시할 수 있다. 반면, James에게 문자를 보내는 기능은 파란색으로 표시할 수 있다. 제어부(200)는 등록이 완료되면, 도 57의 5730에 도시된 바와 같이, 서브 영역(1020)에 표시되는 태스크 스위칭 오브젝트(5400)를 다시 원래의 크기로 표시한다. 제어부(200)는 새로이 추가된 기능에 대응되는 오브젝트(5731)를 컬러 오브젝트들(5410) 중에서 최상위에 표시할 수 있다.
또한, 제어부(200)는 해당 오브젝트(5731)를 일정 시간 동안 하이라이트 표시하거나, 점멸 표시하여, 해당 오브젝트(5731)가 신규 추가된 기능에 대응된다는 점을 사용자가 직관적으로 인식하도록 할 수도 있다. 한편, 제어부(200)는 서브 영역(1020)에서의 태스크 스위칭 오브젝트(5400)의 표시와는 별도로, 메인 영역(1010)에서 수행되고 있던 기능은 그대로 수행할 수 있다. 따라서, 메인 영역(1010)에는 전화 발신 화면(5700)이 표시될 수 있다.
도 59는 태스크 스위칭 오브젝트 내의 선호 기능 영역을 이용하여 태스크를 스위칭하는 방법을 설명하기 위한 도면이다. 도 59에서는 도 54 내지 도 58에서 설명한 태스크 스위칭 영역(5400)과 상이한 형태의 태스크 스위칭 영역(5917)을 도시하였다. 도 59의 5910에 따르면, 제어부(200)는 서브 영역(1020) 내에 태스크 스위칭 영역(5917)을 표시한다. 태스크 스위칭 영역(5917)은 세로 라인 형태로 표시될 수 있다. 세로 라인들 중에서 일부 라인은 선호 기능 영역에 대응되는 컬러 라인이고, 일부 라인은 실행 앱 영역에 대응되는 모노 컬러 라인으로 구성될 수 있으나, 반드시 이에 한정되는 것은 아니다.
제어부(200)는 사용자가 선택한 어플리케이션의 실행 화면(5900)을 메인 영역(1010)에 표시하고, 그 실행 화면(5900) 내의 컨텐츠(5911, 5912, 5913)들과 관련된 서브 컨텐츠(5914, 5915, 5916)들을 서브 영역(1020)에 표시하고 있는 상태에서, 서브 컨텐츠들이 크게 가려지지 않도록 태스크 스위칭 영역(5917)을 축소된 형태로 표시할 수 있다. 이러한 상태에서 사용자가 태스크 스위칭 영역(5917)를 터치(5918)하여 위쪽 방향으로 드래깅 또는 플릭하면, 제어부(200)는 태스크 스위칭 영역(5917)을 확장시킨다. 제어부(200)는 터치 상태가 유지되는 동안에는, 도 59의 5920에 도시된 바와 같이, 터치된 세로 라인에 대응되는 어플리케이션의 아이콘이나 이름 등을 나타내는 프리뷰 오브젝트(5921)를 표시한다. 이러한 상태에서 사용자가 터치(5918)를 해제하거나, 터치 지점을 메인 영역(1010) 방향으로 이동시키는 드래깅 또는 플릭 제스쳐를 입력하면, 제어부(200)는 프리뷰 오브젝트(5921)에 대응되는 어플리케이션을 실행시키고, 그 실행 화면(5931)을 메인 영역(1010)에 디스플레이한다.
도 59의 5930은, SNS(Social Network Service) 프로그램이 실행되어, 그 서비스 화면(5931)이 메인 영역(1010)에 표시되고, 그 서비스 화면(5931)과 관련된 각종 서브 컨텐츠들(5932)이 서브 영역(1020)에 표시되고 있는 상태를 나타낸다. 제어부(200)는 태스크 스위칭이 완료되면, 태스크 스위칭 영역(5917)을 다시 원래의 크기로 및 형태로 서브 영역(1020)에 표시할 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자 단말 장치(1000)는 사용자의 파지 자세를 고려하여 각종 메뉴의 표시 위치 및 메뉴 종류 등을 변경하여 줄 수도 있다. 즉, 휴대형으로 제작된 사용자 단말 장치(1000)는 사용자가 왼손으로 파지할 수도 있고, 오른손으로 파지할 수도 있으며, 양손으로 파지할 수도 있다. 또한, 가로 방향으로 회전시키거나, 세로 방향으로 세워서 사용할 수도 있으며, 필요에 따라서는 눕혀서 사용할 수도 있다. 이러한 점을 고려하여, 이하에서는 사용자의 자세를 고려하여 인터렉션 화면을 재구성하는 다양한 실시 예들에 대해 설명한다.
도 60은 사용자 단말 장치(1000)에서 카메라 어플리케이션이 실행 중인 상태에서 사용자가 사용자 단말 장치(1000)를 가로 방향으로 회전시키고 양손(50-1, 50-2)으로 파지한 상태를 나타낸다. 도 60에 따르면, 제어부(200)는 촬상부(380)로부터 입력되는 라이브 뷰(6011)를 메인 영역(1010)에 표시하고, 촬영 동작을 제어하기 위한 각종 메뉴(6012, 6013, 6014)를 서브 영역(1020)에 표시할 수 있다.
사용자 단말 장치(1000)는 메인 영역(1010) 및 서브 영역(1020)에 대한 사용자의 터치 여부 또는 근접 여부에 기초하여, 사용자가 양손 파지 상태임을 판단할 수 있다. 제어부(200)는 양손 파지 상태라고 판단되면, 양손가락의 위치에 따라 메뉴(6012, 6013, 6014)들의 표시 위치를 변경할 수 있다. 가령, 도 60의 6010에 도시된 바와 같이 사용자의 오른 손(50-2) 집게 손가락이 (a) 위치에 있다면, 촬영 명령을 입력하기 위한 촬영 메뉴(6014)를 (a) 위치에 표시할 수 있다. 이러한 상태에서 도 60의 6020에 도시된 바와 같이, 사용자가 오른 손(50-2)을 왼쪽으로 좀 더 이동시켜 집게 손가락이 (b) 위치로 이동하였다면, 제어부(200)는 촬영 메뉴(6014)를 (b) 위치로 이동시킬 수 있다. 이 경우, 다른 메뉴들(6012, 6013)들의 표시 위치는 촬영 메뉴(6014)의 표시위치에 따라 변경될 수 있다. 가령, 촬영 메뉴(6014)가 카메라 턴 오프 메뉴(6013) 위치까지 이동하였다면, 제어부(200)는 카메라 턴 오프 메뉴(6013)가 촬영 메뉴(6014)에 의해 밀려나는 것처럼 좌측으로 이동시켜 표시할 수 있다.
또는, (b) 위치에 다른 메뉴(예를 들어, 6013)이 위치하였다면, 제어부(200)는 다른 메뉴(6013)와 겹치지 않는 위치까지만, 촬영 메뉴(6014)를 이동시킬 수도 있다.
이에 따라, 사용자는 어떠한 자세로 사용자 단말 장치(1000)를 파지하더라도, 용이하게 메뉴 선택을 할 수 있다.
도 61은 카메라 어플리케이션이 실행 중인 상태에서 사용자가 사용자 단말 장치(1000)를 세로 방향으로 회전시키고, 오른 손(50-2)으로 파지한 상태를 나타낸다. 세로 방향으로 회전됨에 따라, 메인 영역(1010)에는 세로 방향으로 세워진 라이브 뷰(6011)가 표시될 수 있다.
도 61에 따르면, 서브 영역(1020) 방향에 오른 손(50-2) 엄지 손가락이 위치하게 된다. 제어부(200)는 터치 센서, 근접 감지 센서 등을 이용하여 엄지 손가락의 위치를 판단한다. 이에 따라, 제어부(200)는 엄지 손가락의 위치(c)에 촬영 메뉴(6014)를 배치하고, 나머지 메뉴(6012)는 촬영 메뉴(6014)의 위치에 따라 변경된 위치에 표시한다.
도 61의 6110은 사용자 단말 장치(1000)의 하측 부분을 파지한 상태를 나타내고, 도 61의 6120은 사용자 단말 장치(1000)의 상측 부분을 파지한 상태를 나타낸다. 도 61의 6120에 따르면, 엄지 손가락의 위치가 (c) 지점에서 (d) 지점으로 이동하였으므로, 제어부(200)는 서브 영역(1020)의 (d) 지점에 촬영 메뉴(6014)를 표시한다. 또한, 제어부(200)는 촬영 메뉴(6014)가 상측으로 이동 표시됨에 따라, 다른 메뉴(6012)도 상측으로 이동시켜 표시한다.
이러한 실시 예들에 따르면, 사용자가 편하게 잡고 서브 영역(1020)의 아무 위치나 터치하게 되면, 촬영이 수행될 수 있다. 이에 따라, 촬영 시에 육안으로 촬영 버튼의 위치를 확인하여야 하는 불편함을 방지할 수 있다. 한편, 사용자 제스쳐와의 혼동 가능성을 배제하기 위하여, 제어부(200)는 사용자 그립에 의해 표면과 터치하는 부분에는 메뉴를 표시하지 않을 수도 있다.
도 62는 사용자 단말 장치(1000)가 세로 방향으로 세워지고 오른 손으로 파지된 상태에서, 사진 컨텐츠가 메인 영역(1010)에 표시되고 있는 경우를 나타낸다. 도 62의 6210에 따르면, 제어부(200)는 사진 컨텐츠(6211)에 대한 메뉴(6212)를 서브 영역(1020)에 표시한다. 제어부(200)는 오른 손(50-2)의 엄지 손가락 위치에 따라 메뉴(6212) 표시 위치를 변경할 수 있다. 도 62의 6210에서는 (a) 지점에 메뉴(6212)가 표시된 상태를 나타낸다. 이러한 상태에서 사용자가 엄지 손가락으로 메뉴(6212)를 탭(6213)하면, 제어부(200)는 도 62의 6220에 도시된 바와 같이 엄지 손가락 위치(a)를 기준으로 복수의 메뉴(6221 ~ 6224)를 동그랗게 배치하여 표시한다. 이러한 상태에서 사용자가 다시 하나의 메뉴(6221)를 탭(6225)하면, 제어부(200)는 그 메뉴(6221)에 대응되는 제어 동작을 수행한다. 도 62의 6220에서는 사용자가 확대 메뉴(6221)를 탭(6225)한 상태를 나타낸다. 사용자가 확대 메뉴(6221)를 탭하면, 도 62의 6230에 도시된 바와 같이, 제어부(200)는 메인 영역(1010)의 사진 컨텐츠를 확대(6231)시켜 표시한다.
도 63은 사용자가 사용자 단말 장치(1000)를 왼손으로 파지한 상태를 나타낸다. 도 63에 따르면, 엄지 손가락을 제외한 나머지 4개의 손가락이 서브 영역(1020) 방향에 위치함을 할 수 있다. 제어부(200)는 각 손가락의 위치(a, b, c, d)에 따라 복수의 메뉴를 서브 영역(1020)에 표시할 수 있다.
도 64는 사진 컨텐츠가 표시되고 있는 상태를 나타낸다. 도 64의 6410에 따르면, 제어부(200)는 사진 컨텐츠(6411)를 메인 영역(1010)에 표시하는 한편, 사진 컨텐츠(6411)를 제어할 수 있는 각종 메뉴(6412 ~ 6415)를 각 손가락 위치(a, b, c, d)에 대응되도록 표시할 수 있다. 도 64에서는 확대 메뉴(6412), 축소 메뉴(6413), 재생 메뉴(6414), 공유 메뉴(6415)가 표시된 상태를 나타낸다. 이러한 메뉴들은 오른 손으로 파지한 상태에서, 최초 메뉴(6212)가 선택되었을 때 표시되는 메뉴들(6221 ~ 6224)과 동일할 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 64의 6410에 도시된 바와 같이, 사용자가 확대 메뉴(6412)를 탭(6416)하면, 제어부(200)는 도 64의 6420에 도시된 바와 같이 확대된 사진 컨텐츠(6421)를 메인 영역(1010)에 표시한다. 이러한 상태에서 다시 축소 메뉴(6413)를 탭(6422)하게 되면, 제어부(200)는 도 64의 6430에 도시된 바와 같이 축소된 사진 컨텐츠(6331)를 표시할 수 있다. 제어부(200)는 4 손가락의 위치가 변경하면, 변경된 위치에 따라 각 메뉴(6412 ~ 6415)들의 표시 위치를 변경할 수 있다.
한편, 2개의 서브 영역이 메인 영역의 양 측에 배치된 형태의 사용자 단말 장치에서도 사용자 파지 자세에 따라 다양한 위치에 메뉴가 제공될 수 있다.
도 65는 이러한 실시 예에 따른 사용자 단말 장치(1000)의 동작을 설명하기 위한 도면이다. 도 66에 따르면, 벤디드 터치 스크린(100)은 메인 영역(1010), 제1 서브 영역(1020), 제2 서브 영역(1030)을 포함한다.
도 65는 사용자가 사용자 단말 장치(1000)를 세로 방향으로 세워서 왼손으로 파지한 상태를 나타낸다. 이 경우, 엄지 손가락은 제2 서브 영역(1030) 방향에 위치하고, 나머지 손가락은 제1 서브 영역(1020) 방향으로 위치한다. 제어부(200)는 제2 서브 영역(1030) 내에서 엄지 손가락 위치에 대응되는 위치, 제1 서브 영역(1020) 내에서 적어도 하나의 손가락 위치에 대응되는 위치에 각각 메뉴(6511) 또는 인터랙션 가이드(6513, 6514)를 표시한다. 도 65의 6513에서는 메인 영역(1010)에는 웹 페이지 화면(6512)를 표시하고, 제2 서브 영역(1030)에서는 엄지 손가락 위치에 백 메뉴(6511)를 표시하며, 제1 서브 영역(1020)에서는 집게 손가락 및 중간 손가락 위치에 각각 스크롤 기능을 나타내는 인터랙션 가이드(6513), 멀티 윈도우 기능을 나타내는 인터랙션 가이드(6514)를 표시한 상태를 나타낸다. 인터랙션 가이드란 해당 영역에서 사용자 제스쳐가 입력되었을 때 수행되는 제어 동작을 안내하기 위한 텍스트 또는 이미지가 될 수 있다. 도 65의 6510에서는 인터랙션 가이드 형태로 표시하였으나, 메뉴로 표시될 수 있음은 물론이다. 다양한 실시 예에 따르면, 각 메뉴 또는 인터렉션 가이드(6511, 6513, 6514)는 제1 및 제2 서브 영역(1020, 1030)에서 지속적으로 표시될 수도 있고, 일정 시간 표시되었다가 사라질 수도 있다. 사라진 경우, 손가락이 각 서브 영역(1020, 1030)에 근접하거나, 터치하게 되면, 다시 표시될 수도 있다.
도 65의 6520은 사용자가 메인 영역(1010)에 표시된 웹 페이지 화면(6512) 내에서 하나의 아이템을 탭(6515)하였을 때의 동작을 나타낸다. 이 경우, 제어부(200)는 해당 아이템에 대응되는 화면(6521)을 메인 영역(1020)에 디스플레이한다. 이러한 상태에서, 사용자가 집게 손가락을 제1 서브 영역(1020)의 제1 인터렉션 가이드(6513) 위치에 터치한 후, 일 방향으로 드래깅 또는 플릭하는 제스쳐를 입력하면, 제어부(200)는 도 65의 6530에 도시된 바와 같이, 화면(6521)을 스크롤하여, 이전까지 보여지지 않던 새로운 화면 영역(6531)을 메인 영역(1010)에 표시한다.
한편, 사용자가 엄지 손가락으로 제2 서브 영역(1030)의 백 메뉴(6511)를 터치(6532)하면, 제어부(200)는 도 65의 6540에 도시된 바와 같이, 백 기능을 실행하여, 이전 화면(6512)을 다시 디스플레이한다.
또는, 도 65의 6540에 도시된 바와 같이, 사용자가 중간 손가락으로 제1 서브 영역(1020) 내의 제2 인터렉션 가이드(6514) 부분을 터치(6541)하면, 제어부(200)는 메인 영역(1010)에 표시된 화면을 복수 개로 분할하는 멀티 윈도우 기능을 수행한다. 도 65의 6550은 멀티 윈도우 기능이 수행되었을 때의 화면 표시 상태를 나타낸다. 도 65의 6550에 도시된 바와 같이, 제어부(200)는 사용자가 터치(6541) 후 해제한 지점에 대응되는 위치에 경계라인(6553)을 표시하고, 경계 라인(6553)의 양 측에 두 개의 서로 다른 화면(6551, 6552)을 표시한다. 사용자는 경계 라인(6553)을 다시 터치하여 그 위치를 변경할 수도 있다.
한편, 서브 영역에 대한 사용자의 터치 또는 근접 인터랙션은 사용자 단말 장치(1000)의 언 락 기능에 대해서도 사용될 수 있다. 즉, 기존의 사용자 단말 장치들에서, 락 상태를 해제하는 언락 기능은, 사용자가 디스플레이 상에서 일정 패턴을 드로잉하거나, 패스워드를 입력하였을 때에만 수행되었다. 이 경우, 주위 사람이 패턴이나 패스워드를 보게 되면, 손쉽게 유출될 수 있다. 이에 따라, 언 락을 수행함에 있어서도 서브 영역에 대한 파지 위치를 함께 고려하면, 보안성을 좀 더 향상시킬 수 있다.
도 66은 메인 영역 및 서브 영역을 함께 이용하여 언락을 수행하는 방법의 일 예를 설명하기 위한 도면이다.
도 66에 따르면, 사용자가 사용자 단말 장치(1000)를 파지한 상태에서, 서브 영역(1020)의 일정 부분에 손가락을 터치하고, 메인 영역(1010)에서 임의의 패턴을 드로잉하고 있는 상태를 나타낸다. 제어부(200)는 기 저장된 서브 영역(1020) 위치에서 터치가 이루어지고 있는 상태에서 기 설정된 패턴과 동일한 패턴이 드로잉되면, 정당한 사용자라고 판단하고 언락 동작을 수행할 수 있다. 구체적으로는, 제어부(200)는 메인 영역(1010) 에서 감지되는 드로잉 궤적과, 저장부(310)에 기 저장된 잠금 해제 패턴을 비교하여 일치 여부를 판단한다. 이와 함께 제어부(200)는 서브 영역(1020)에서 감지되는 터치 지점의 위치 또는 터치 지점 개수와, 저장부(310)에 기 저장된 잠금 해제 지점 정보를 비교하여 일치 여부를 판단한다. 드로잉 패턴 및 터치 상태가 모두 기 저장된 정보와 일치하면, 제어부(200)는 메인 영역(1010)을 활성화시키고, 홈 화면을 표시할 수 있다.
도 67은 메인 영역 및 서브 영역을 함께 이용하여 언락을 수행하는 방법의 다른 예를 설명하기 위한 도면이다. 도 67에 따르면, 사용자는 패턴 드로잉을 하는 중에 서브 영역(1020) 내에서의 터치 위치를 변경할 수도 있다. 구체적으로는, 도 67의 6710 및 6720에 도시된 바와 같이, 사용자가 메인 영역(1010) 내에서 1, 2, 3번 오브젝트를 연속적으로 지나는 드로잉을 수행하는 동안에는, 서브 영역(1020)에서 세 손가락으로 세 지점(6711, 6712, 6713)을 터치하고 있다가, 4, 5번 오브젝트를 지나는 드로잉을 수행할 때는 두 지점(6712, 6713)만을 터치하도록 한 손가락을 뗄 수 있다. 제어부(200)는 드로잉 패턴을 구간 별로 구분하여, 각 패턴 구간마다 서브 영역(1020)에서 터치되는 지점 또는 터치 개수를 판단하여, 정당 사용자 인지 여부를 결정할 수 있다. 사용자는 잠금 해제 패턴을 등록하는 과정에서 메인 영역(1010)에는 드로잉을 입력하면서, 서브 영역(1020)에는 손가락으로 터치를 수행하여, 복합적인 잠금 해제 패턴 정보를 저장부(310)에 저장할 수 있다.
이상과 같은 실시 예들에서, 제어부(200)는 터치 센서 또는 근접 센서를 이용하여 사용자의 터치 여부, 근접 여부를 감지할 수 있으며, 그 감지 결과에 기초하여 손가락 위치 등을 판단할 수 있다.
도 68은 손가락 위치를 감지하기 위한 근접 센서의 동작을 설명하기 위한 도면이다. 도 68은 벤디드 터치 스크린(100)의 메인 영역(1010) 및 서브 영역들(1020, 1030)의 단면 구조의 일 예를 나타낸다.
도 68에 따르면, 벤디드 터치 스크린(100)은 적외선 소스부(111), 디스플레이 패널(112) 및 적외선 센싱부(113)를 포함할 수 있다.
디스플레이 패널(112)은 다수의 게이트 라인과 데이터 라인이 서로 교차하여 화소 영역을 형성하는 형태로 구현된다. 디스플레이 패널(112)이 OLED 방식인 경우, 각 화소 영역에는 OLED와 같은 R, G, B의 발광소자가 형성되는 형태로 구현될 수 있다. 또한, 각 화소 영역에는 스위칭소자 즉 TFT가 형성된다. 또한, 각 화소 영역의 하측에는 사용자 신체 또는 펜을 이용한 사용자의 제스쳐를 감지하기 위한 감지 센서들이 배치될 수 있다. 즉, 각종 감지 센서들이 디스플레이 패널(112)과 함께 배치되어, 픽셀 단위로 사용자 제스쳐를 감지할 수 있다.
적외선 소스부(111)는 디스플레이 패널(112)의 일 표면에 배치되고, 적외선 센싱부(113)는 디스플레이 패널(112)의 타 표면에 배치된다. 적외선 소스부(111)는 디스플레이 패널(112)의 표면방향으로 적외선을 조사한다. 이에 따라, 디스플레이 패널(115)의 표면 위로 사용자의 손가락(50)의 접근을 인식할 수 있는 일정한 영역이 형성된다. 이 영역이 근접 여부를 인식할 수 있는 유효 인식 영역(6805)이 된다.
적외선 센싱부(113)는 어레이 형태로 배치되는 복수의 적외선 센싱 소자를 포함할 수 있다. 따라서, 손가락(50)이 유효 인식 영역(6805) 안으로 근접하면 적외선 센싱부(113)는 손가락(50)에 의하여 반사되는 적외선을 감지하여 적외선 스캔 이미지를 생성할 수 있다. 제어부(200)는 생성된 적외선 스캔 이미지를 이용하여 근접 입력을 감지할 수 있다. 제어부(200)는 근접 입력이 감지되면, 해당 영역 내에서 근접 입력을 감지한 적외선 센싱 소자의 좌표 값을 확인하여, 사용자의 손가락(50)이 접근한 위치를 판단할 수 있다.
도 68에 도시된 구성 이외에도, 벤디드 터치 스크린(100)에는 다양한 구성요소들이 더 포함될 수도 있으며, 생략될 수도 있다.
한편, 상술한 바와 같이, 벤디드 터치 스크린은, 메인 영역을 포함하는 면과 적어도 하나의 서브 영역을 포함하는 면이 둔각을 이루도록 서로 연결되어 고정되어 있는 형태로 구성될 수 있다. 이에 따라, 메인 영역과 서브 영역 사이에는 경계 영역이 형성된다. 이하에서는, 이러한 경계 영역을 이용하여 인터랙션을 수행하는 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 69는 메인 영역(1010), 서브 영역(1020) 및 그 사이의 경계 영역(1050)을 포함하는 사용자 단말 장치의 구성을 나타낸다. 도 69에서는 경계 영역(1050)이 라인 형태로 도시되었으나, 메인 영역(1010)과 서브 영역(1020)이 완만한 각도로 연결된 경우에는 경계 영역(1050)은 일정 크기 이상의 면적을 가지는 영역이 될 수도 있다. 사용자는 메인 영역(1010) 및 서브 영역(1020) 중 하나를 터치한 후, 다른 영역 방향(d1 또는 d2)으로 드래깅 또는 플릭하는 제스쳐(6911)를 입력할 수 있다. 즉, 사용자는 메인 영역(1010) 및 서브 영역(1020) 사이의 경계 영역(1040)을 지나가는 제스쳐(6911)를 입력할 수 있다. 이러한 제스쳐(6911)에 대해서는 메인 영역(1010) 상에서만 이루어지는 제스쳐 또는 서브 영역(1020)에서만 이루어지는 제스쳐와는 상이한 기능이 매핑될 수 있다.
제어부(200)는 메인 영역(1010)에서 먼저 터치가 이루어지고 터치 상태가 해제되지 않은 상태에서, 그 주변의 서브 영역(1020)에서 연속적으로 터치가 감지되면, d2 방향으로 드래깅 또는 플릭이 이루어진 것으로 판단할 수 있다. 반면, 제어부(200)는 서브 영역(1020)에서 먼저 터치가 이루어지고 터치 상태가 해제되지 않은 상태에서 그 주변의 메인 영역(1010)에서 연속적으로 터치가 감지되면, d1 방향으로 사용자 제스쳐가 이루어진 것으로 판단할 수 있다. 제어부(200)는 메인 영역(1010)이나 서브 영역(1020)에서 표시되고 있는 컨텐츠의 종류 및 사용자 제스쳐 방향에 따라 상이한 제어 동작을 수행할 수 있다.
도 70은 전자 책 컨텐츠(7011)가 메인 영역(1010)에 디스플레이되고 있는 상태를 나타낸다. 도 70의 7010에 따르면, 사용자는 서브 영역(1020) 내의 임의의 지점(T1)을 터치한 후, 메인 영역(1010) 방향, 즉, d1방향으로 드래깅 또는 플릭하여 경계 영역(1050)을 지나치는 제스쳐(7012)를 입력할 수 있다. 제어부(200)는 이러한 제스쳐(7012)가 입력되면, 도 70의 7020에 도시된 바와 같이, 책장이 넘어가는 듯한 그래픽 효과를 표시하면서, 전자 책 컨텐츠의 다음 페이지(7012)를 표시할 수 있다. 반대로, d2 방향으로 제스쳐가 입력되었다면, 제어부(200)는 현재 페이지(7011)의 이전 페이지를 표시할 수도 있다.
반면, 제어부(200)는 메인 영역(1010) 내에서 드래깅 또는 플릭이 이루어지면, 현재 표시되고 있는 페이지를 그 제스쳐 방향에 따라 스크롤하는 동작을 수행하거나, 다른 전자 책 컨텐츠로 변경하는 동작을 수행할 수 있다.
도 71은 경계 영역을 이용한 인터랙션의 다른 예를 설명하기 위한 도면이다. 도 71에 따르면, 사용자는 경계 영역(1050)을 터치한 다음, d1 방향 또는 d2 방향으로 이동시키는 제스쳐를 입력할 수 있다. 이러한 제스쳐는 다른 제스쳐들과 구분되어 상이한 기능이 매핑될 수 있다.
도 72는 경계 영역을 이용하는 인터랙션의 또 다른 예를 설명하기 위한 도면이다. 도 72에 따르면, 사용자는 경계 영역(1050)을 터치한 후, 경계 영역(1050)을 따라 d3 방향 또는 d4 방향으로 터치 지점을 이동시키는 제스쳐(7210)를 입력할 수 있다. 이러한 제스쳐 역시 다른 제스쳐들과 구분되어 상이한 기능이 매핑될 수 있다.
도 73은 도 72의 제스쳐를 이용하는 게임 어플리케이션의 화면의 일 예를 나타내는 도면이다. 도 73에 따르면, 게임 화면(7310)이 메인 영역(1010)에 디스플레이되고, 서브 영역(1020)에는 게임과 관련된 오브젝트(7321)가 표시될 수 있다. 일 예로, 도 73에서는 플래시 형태의 오브젝트(7321)가 서브 영역(1020)에 표시된 상태를 나타낸다. 게임 화면(7310)에서는 플래시 오브젝트(7321)가 비추는 부분만 밝게 표시되고, 나머지 부분은 어둡게 표시될 수 있다. 사용자는 경계 영역(1050)을 터치한 후 d3 방향 또는 d4 방향으로 드래깅하여 플래시 오브젝트(7321)가 비추는 영역을 변경하면서 게임을 즐길 수 있다.
도 74는 도 72의 제스쳐를 이용하는 다른 실시 예를 설명하기 위한 도면이다.
도 74에 따르면, 사용자 단말 장치(1000)는 뮤직 어플리케이션이 실행되면, 메인 영역(1010)에 음악 재생 화면(7411)을 디스플레이하고, 서브 영역(1020)에 그 음악 컨텐츠를 포함하는 앨범 쟈켓 사진(7412)이나, 음악 컨텐츠에 대한 기타 정보들을 표시할 수 있다. 이러한 상태에서 도 74의 7410에 도시된 바와 같이 사용자가 경계 영역(1050)을 터치(7413)하면, 제어부(200)는 터치 지점(7413) 근처의 메인 영역(1010) 및 서브 영역(1020)에 홈 화면에 대한 미리 보기 이미지(7421)를 표시한다.
도 74의 7420에서는 미리 보기 이미지(7412)가 우측 대각선 위쪽 방향에서 좌측 대각선 아래 방향으로 비스듬하게 내려온 상태를 도시하였다. 이러한 상태에서, 도 74의 7430에 도시된 바와 같이, 사용자가 메인 영역(1010) 방향으로 드래깅 또는 플릭하는 제스쳐(7431)를 입력하면, 제어부(200)는 도 74의 7440에 도시된 바와 같이, 미리 보기 이미지(7421)를 메인 영역(1010) 방향으로 회전시켜, 메인 영역(1010) 전체에 홈 화면(7441)을 표시한다. 또한, 제어부(200)는 홈 화면(7441)에 대응되는 오브젝트를 서브 영역(1020)에 표시한다.
도 75는 도 72의 제스쳐를 이용하는 또 다른 실시 예를 설명하기 위한 도면이다. 도 75의 7510에 따르면, 사용자가 경계 영역(1050)을 터치(7511)하고 있으면, 홈 화면에 대한 미리 보기 이미지(7421)가 터치 지점 근처에 표시될 수 있다. 이러한 상태에서, 도 75의 7520, 7530에 도시된 바와 같이, 사용자가 경계 영역(1050)을 따라서 아래 쪽으로 드래깅(7521, 7532)를 수행하면, 드래깅에 따라 복수의 화면 이미지들(7522, 7531)이 순차적으로 표시된다.
가령, 초기에는 홈 화면에 대한 미리보기 이미지(7421)가 표시되고 있다가 드래깅에 따라 APP1, APP2, APP3 등과 같이 다양한 어플리케이션 화면에 대한 미리보기 이미지들이 표시될 수 있다. 이러한 도중에 사용자가 메인 영역(1010) 방향으로 드래깅 또는 플릭하는 제스쳐(7533)를 입력하면, 제어부(200)는 도 75의 7540에 도시된 바와 같이, 최종 표시되고 있던 미리보기 이미지(7531)에 대응되는 화면(7541)을 메인 영역(1010)에 표시하고, 그 화면(7541)에 대응되는 오브젝트(7542)를 서브 영역(1020)에 표시한다. 도 75에서는 주소록 정보가 메인 영역(1010)에 표시되고, 서브 영역(1020)에는 인덱스를 나타내는 오브젝트(7542)가 표시된 상태를 나타낸다.
도 76은 도 72의 제스쳐를 이용하는 또 다른 실시 예를 설명하기 위한 도면이다. 도 76의 7610에 따르면, 메인 영역(1010)에 APP01 화면이 디스플레이되고 있는 상태에서 사용자가 경계 영역(1050)의 끝 부분부터 아래 방향으로 드래깅하는 제스쳐(7611)를 입력하면, 제어부(200)는 그 드래깅에 따라 다른 어플리케이션 화면(App02)에 대한 미리 보기 이미지(7621)를 표시한다. 도 76의 7620에 따르면, 제어부(200)는 마치 App01 화면을 드래깅에 의해 벗기면서, 하위의 App02 화면이 드러나는 것처럼 표시할 수 있다. 이러한 상태에서 사용자가 아래 방향으로 좀 더 드래깅(7612)하면, 제어부(200)는 도 76의 7630에 도시된 바와 같이, 여러 개의 화면에 대한 미리 보기 이미지들(7621, 7622, 7623, 7624)을 순차적으로 표시할 수 있다. 사용자가 드래깅을 종료하고 나면, 이러한 미리 보기 이미지들(7621, 7622, 7623, 7624)은 소정 시간 동안 표시되다가 사라질 수 있다. 미리 보기 이미지들(7621, 7622, 7623, 7624)이 사라지기 이전에 사용자가 하나의 미리보기 이미지를 선택하면, 선택된 미리보기 이미지에 대응되는 화면이 메인 영역(1010)에 디스플레이된다. 도 76의 7630, 7640에서는 App 03이 선택된 상태를 나타낸다. 제어부(200)는 선택된 App 03의 화면(7641)을 메인 영역(1010)에 표시하고, App 03 과 관련된 서브 컨텐츠는 서브 영역(1020)에 표시한다.
또 다른 실시 예에 따르면, 제어부(200)는 경계 영역(1050)을 따라 이동하는 제스쳐가 입력되면, 메인 영역(1010)에 현재 표시되고 있던 화면을 도 56에 도시된 바와 같이 뒤로 눕히면서 복수의 오브젝트를 표시할 수도 있다.
한편, 사용자는 핀치 제스쳐를 이용하여 인터랙션을 수행할 수도 있다. 도 77에서는, 사용자가 복수의 손가락으로 메인 영역(1010) 및 서브 영역(1020)을 각각 터치(T1, T2)한 후, 경계 영역(1050) 방향으로 터치 지점을 모으는 핀치 인 제스쳐를 나타낸다. 반대로, 사용자는 복수의 손가락으로 메인 영역(1010) 및 서브 영역(1020)을 각각 터치한 후 터치 지점들 사이의 간격을 넓히는 핀치 아웃 제스쳐를 입력할 수도 있다. 제어부(200)는 핀치 인 제스쳐 및 핀치 아웃 제스쳐가 입력되면, 그 제스쳐에 매핑된 제어 동작을 수행한다.
도 78은 핀치 아웃 제스쳐가 입력되었을 때의 제어 동작의 일 예를 설명하기 위한 도면이다. 도 78의 7810은, 사용자 단말 장치(1000)가 락(rock)된 상태를 나타낸다. 제어부(200)는 사용자 단말 장치(1000)가 락되면, 메인 영역(1010) 및 서브 영역(1020)을 각각 턴오프시켜 둘 수 있다. 이러한 상태에서, 제어부(200)는 제1 핀치 제스쳐가 입력되면, 사용자 단말 장치를 활성화시키는 언 락 동작을 수행할 수 있다. 제1 핀치 제스쳐는 핀치 아웃 제스쳐가 될 수 있다.
도 78의 7810에서는, 사용자가 메인 영역(1010) 및 서브 영역(1020)을 사이의 경계 영역(1050)을 복수의 손가락으로 각각 터치(T1, T2)하고, 그 터치 지점들 사이의 간격을 넓히는 핀치 아웃 제스쳐가 이루어지고 있는 상태를 나타낸다. 핀치 아웃 제스쳐는, 반드시 경계 영역(1050)으로부터 시작될 필요는 없으며, 메인 영역(1010) 및서브 영역(1020)을 각각 터치한 후, 그 터치 지점들 사이의 간격을 넓히는 것이 감지될 때에도, 제어부(200)는 핀치 아웃 제스쳐가 입력된 것으로 판단할 수도 있다.
도 78의 7820에 따르면, 제어부(200)는 핀치 아웃 제스쳐가 입력됨에 따라, 언 락 동작을 수행하고, 홈 화면(7821)을 메인 영역(1010)에 표시한다. 또한, 제어부(200)는 홈 화면(7821)에 대응되는 오브젝트는 서브 영역(1020)에 표시할 수 있다.
한편, 제어부(200)는 사용자 단말 장치(1000)가 언 락되어 있는 상태에서 제2 핀치 제스쳐가 입력되면, 사용자 단말 장치를 비활성화시키는 락 동작을 수행할 수 있다. 제2 핀치 제스쳐는 핀치 인 제스쳐가 될 수 있다.
도 79는 락 동작을 수행하는 방법을 설명하기 위한 도면이다. 도 79의 7910에 따르면, 제어부(200)는 임의의 화면(7911)이 메인 영역(1010)에 표시되고, 그 화면(7911)에 대응되는 오브젝트(7912)가 서브 영역(1020)에 표시되고 있는 상태에서, 핀치 인 제스쳐가 입력되는지 여부를 감지할 수 있다. 사용자가 메인 영역(1010)내의 일 지점(T1) 및 서브 영역(1020)내의 일 지점(T2)을 각각 터치한 후, 터치 지점들 사이의 간격을 좁히는 핀치 인 제스쳐를 입력하면, 제어부(200)는 도 79의 7920에 도시된 바와 같이, 메인 영역(1010) 및 서브 영역(1020)을 각각 턴-오프시키는 락 동작을 수행할 수 있다.
한편, 핀치 인 제스쳐 및 핀치 아웃 제스쳐는 경계 영역(1050)을 따라서 입력될 수도 있다.
도 80은 경계 영역을 따라 핀치 아웃 제스쳐가 입력되었을 때의 동작의 일 예를 나타낸다. 도 80의 8010에 따르면, 사용자는 사용자 단말 장치(1000)가 비활성화된 상태에서 경계 영역(1050) 상의 두 지점(T1, T2)을 복수의 손가락으로 각각 터치한 후, 터치 지점을 넓히는 핀치 아웃 제스쳐를 입력할 수 있다. 도 80의 8010에서는, L1 크기만큼 핀치 아웃 제스쳐가 이루어진 상태를 나타낸다.
제어부(200)는 경계 영역(1050)을 따라 핀치 아웃 제스쳐가 이루어지면, 도 80의 8020에 도시된 바와 같이, 그 핀치 아웃 제스쳐가 이루어진 거리, 즉, L1 만큼 메인 영역(1010) 및 서브 영역(1020) 각각을 국부적으로 활성화시킨다. 제어부(200)는 국부적으로 활성화된 메인 영역 및 서브 영역(1010, 1020) 내에 화면(8021, 8022)을 디스플레이한다. 제어부(200)는 국부적으로 디스플레이된 화면(8021, 8022) 내에서 하나의 오브젝트가 선택되면, 선택된 오브젝트에 대응되는 동작을 수행하고, 그 수행 결과를 국부적으로 활성화된 영역에 각각 표시한다. 가령, 하나의 어플리케이션이 매칭된 아이콘이 선택된 경우, 해당 어플리케이션의 실행 화면을 메인 영역(1010) 내의 활성화 영역에 디스플레이한다.
본 발명의 또 다른 실시 예에 따르면, 제어부(200)는 국부적으로 활성화된 부분의 면적의 크기에 따라 상이한 어플리케이션을 실행할 수도 있다. 가령, 메인 영역(1010)의 세로 길이가 L이라고 가정한 경우, L/2 길이만큼만 핀치 아웃 제스쳐가 이루어지면, 제어부(200)는 메인 영역(1010)을 L/2 길이만큼만 국부적으로 활성화시키고, 그 면적의 크기에 대응되는 제1 어플리케이션을 실행한다. 반면, L/4 길이만큼만 핀치 아웃 제스쳐가 이루어지면, 제어부(200)는 메인 영역(1010)을 L/4 길이만큼만 국부적으로 활성화시키고, 그 면적의 크기에 대응되는 제2 어플리케이션을 실행한다. 예를 들어, 제1 어플리케이션은 날씨 위젯이고, 제2 어플리케이션은 시간 위젯이 될 수 있다. 시간 위젯의 크기가 날씨 위젯의 크기보다 큰 경우에는, 반대로 설정될 수도 있다.
도 81은 사용자 단말 장치가 언락된 상태에서 국부적으로 비활성화시키는 동작을 설명하기 위한 도면이다. 도 81의 8110에서는, 메인 영역(1010)에 임의의 화면(8111)이 표시되고, 서브 영역(1020)에는 해당 화면(8111)에 대응되는 오브젝트(8112)가 표시된 상태에서, 사용자가 경계 영역(1050)을 따라 핀치 인 제스쳐를 수행하는 경우를 도시하였다. 사용자는 두 손가락을 이용하여 경계 영역(1050) 상의 두 지점(T1, T2)을 터치한 후, 터치 지점을 각각 d3, d4 방향으로 이동시켜, 그 간격을 좁히는 핀치 인 제스쳐를 수행할 수 있다.
제어부(200)는 이러한 핀치 인 제스쳐가 입력되면, 도 81의 8120에 도시된 바와 같이, 메인 영역 및 서브 영역을 국부적으로 비활성화시킨다. 구체적으로는, 핀치 인 제스쳐가 이루어진 거리 L2에 대응되는 메인 영역 부분 및 서브 영역 부분을 국부적으로 턴오프시킨다. 이에 따라, 메인 영역(1010)에는 턴오프된 영역(8121)을 제외한 나머지 영역에만 화면(8111)이 디스플레이되고, 서브 영역(1020)에서도 턴오프된 영역(8122)을 제외한 나머지 영역에서만 오브젝트(8112)가 디스플레이된다.
도 82는 서브 영역에서 핀치 제스쳐가 이루어졌을 때의 동작을 설명하기 위한 도면이다. 도 82의 8210에 따르면, 홈 화면(8211)이 메인 영역(1010)에 디스플레이되고, 홈 화면(8211)에 대응되는 오브젝트(8212)가 서브 영역(1020)에 디스플레이될 수 있다. 이러한 상태에서 사용자가 서브 영역(1020)을 복수의 손가락으로 터치한 후 터치 지점들 사이의 간격을 좁히는 핀치 인 제스쳐(8213)을 입력하면, 제어부(200)는 메인 영역(1010) 및 서브 영역(1020)을 각각 양 끝단 부분부터 점차 어두워지는 어포던스를 제공하면서, 국부적으로 비활성화시킬 수 있다. 이에 따라, 도 82의 8220에 도시된 바와 같이, 상단 끝부분부터 사용자의 제1 터치 지점(T1)까지의 거리 L3, 하단 끝부분부터 사용자의 제2 터치 지점(T2)까지의 거리L4만큼의 메인 영역 및 서브 영역이 턴오프되고, 그 사이 영역에서만 화면(8211)이 표시된다.
이러한 상태에서, 도 82의 8220에 도시된 바와 같이, 사용자가 제1 및 제2 터치 지점이 서로 맞닿을 때까지 핀치 인 제스쳐(8213)를 수행하면, 제어부(200)는 언 락 동작을 수행하여, 메인 영역(1010) 및 서브 영역(1020)을 전부 턴오프시킨다.
또 다른 실시 예에 따르면, 복수의 어플리케이션이 실행되고 있는 상태에서, 핀치 인 제스쳐(8213)가 입력된 경우, 제어부(200)는 핀치 인 제스쳐(8213)가 이루어진 길이에 따라, 복수의 어플리케이션 중 일부 어플리케이션의 실행을 종료시킬 수 있다. 예를 들어, 날씨 위젯과, 시간 위젯, 메일 화면이 메인 영역(1010) 및 서브 영역(1020, 1030)에 디스플레이되고 있고, 메일 화면, 날씨 위젯, 시간 위젯의 순서로 면적이 크며, 메인 영역(1010)의 세로 길이가 L이라고 가정하면, 제어부(200)는 핀치 인 제스쳐(8213)가 인식된 지점의 길이가 L/4이면 가장 작은 시간 위젯을 삭제한다. 반면, 길이가 L/3이면 두번째 작은 날씨 위젯을 삭제한다. 반면, 길이가 L/2이면 가장 큰 메일 화면을 삭제한다. 일정 길이 이상의 핀치 인 제스쳐가 입력되는 경우에는, 제어부(200)는 전체 어플리케이션들을 모두 종료하고, 화면을 삭제할 수도 있다.
도 82의 8230에서는 핀치 인 제스쳐에 의해 사용자 단말 장치(1000)가 언 락된 상태를 나타낸다.
한편, 도 82에서는 하나의 서브 영역(1020)에서 입력되는 핀치 인 제스쳐 및 핀치 아웃 제스쳐에 의해 제어되는 실시 예를 도시하였으나, 도 6 및 도 7에서 설명한 바와 같은 구조를 가지는 벤디드 터치 스크린(100)을 포함하는 경우, 오른 손 두 손가락으로 제1 및 제2 서브 영역(1020, 1030)의 제1 측을 동시에 잡고, 왼손 두 손가락으로 제1 및 제2 서브 영역(1020, 1030)의 제2 측을 동시에 잡은 상태에서 중간 부분으로 드래깅하는 제스쳐 또는 중간 부분부터 제1 측 및 제2 측으로 벌리는 제스쳐 등을 입력할 수도 있다. 이러한 사용자 제스쳐에 따라 제어부(200)는 락 또는 언락 동작을 수행할 수도 있다.  
도 83은 메인 영역 및 서브 영역을 통해 입력되는 다양한 사용자 제스쳐에 따라 인터랙션을 수행하는 실시 에를 설명하기 위한 도면이다. 도 83의 8310에 따르면, 사용자 단말 장치(1000)가 비활성화된 상태에서 사용자는 서브 영역(1020)을 드래깅하는 제스쳐(8311)를 입력할 수 있다. 사용자 제스쳐(8311)가 입력되면, 제어부(200)는 도 83의 8320에 도시된 바와 같이, 서브 영역(1020)을 활성화시킨다. 제어부(200)는 사용자 제스쳐(8311)가 이루어지는 방향에 따라, 서브 영역(1020)을 점진적으로 활성화시킬 수 있다. 도 83의 8320에서는, 서브 영역(1020)의 위쪽 끝 단부터 아래 방향으로 활성화되면서, 현재 시간을 나타내는 시간 오브젝트(8321)가 표시되는 상태를 나타낸다. 일정 거리 이상의 사용자 제스쳐(8322)가 입력되면, 도 83의 8330에 도시된 바와 같이 서브 영역(1020) 전체가 활성화된다. 이러한 상태에서 사용자가 하나의 오브젝트를 선택하여 메인 영역(1010) 방향으로 드래깅 또는 플릭하는 제스쳐(8332)를 입력하면, 제어부(200)는 메인 영역(1010)까지 활성화시킨다. 그리고, 제어부(200)는 도 83의 8340에 도시된 바와 같이, 해당 오브젝트(8321)를 홈 아이콘(8341)으로 변경하여 표시하다가, 터치 상태가 해제(8342)되면, 도 83의 8350에 도시된 바와 같이, 홈 화면(8351)을 디스플레이한다. 서브 영역(1020)에는 홈 화면(8351)에 대응되는 오브젝트(8352)를 디스플레이한다. 홈 화면(8351)에는 위젯이나 아이콘, 텍스트 등이 표시될 수 있다.
이러한 상태에서 사용자가 홈 화면(8351) 상에서 핀치 인 제스쳐(8353)를 입력하면, 제어부(200)는 도 83의 8360에 도시된 바와 같이, 홈 화면(8351)을 축소시키면서 어플리케이션 리스트(8361)를 디스플레이한다. 또한, 제어부(200)는 서브 영역(1020)에 표시되어 있던 오브젝트(8352)를 축약시켜 하나의 레이어 패널(8362)을 표시한다. 이러한 상태에서 사용자가 핀치 아웃 제스쳐 (8363)를 입력하면, 도 83의 8370에 도시된 바와 같이, 제어부(200)는 홈 화면(8351) 및 오브젝트(8352)를 다시 메인 영역(1010) 및 서브 영역(1020)에 표시한다.
도 84는 경계 영역을 이용하여 백 기능을 수행하는 방법을 설명하기 위한 도면이다. 도 84의 8410에서는 사진 컨텐츠(8411)가 메인 영역(1010) 및 서브 영역(1020)을 걸쳐서 표시되고 있는 상태를 나타낸다. 사진 컨텐츠는 갤러리 프로그램의 실행 화면 내에서 하나의 썸네일 이미지가 선택되었을 때 표시되는 사진 이미지를 의미한다.
이러한 상태에서 사용자가 경계 영역(1050)을 터치한 후, 서브 영역(1020) 방향으로 드래깅 또는 플릭하는 제스쳐(8412)가 입력되면, 제어부(200)는 사진 컨텐츠의 이전 화면인 갤러리 화면(8421)을 메인 영역(1010)에 표시하고, 갤러리 화면(8421)에 대응되는 복수의 오브젝트(8422)를 서브 영역(1020)에 표시한다. 도 84의 8420은, 갤러리 화면(8421) 및 오브젝트(8422)가 메인 영역(1010) 및서브 영역(1020)에 각각 표시된 상태를 나타낸다. 이러한 상태에서, 사용자가 경계 영역(1050)을 터치한 후 일 방향으로 드래깅 또는 플릭하는 제스쳐(8423)를 입력하면, 제어부(200)는 도 84의 8430에 도시된 바와 같이, 사용자 제스쳐(8423)에 따라 현재 표시되고 있던 갤러리 화면(8421)의 일부를 삭제하면서, 그 하부에 홈 화면(8351) 및 그 오브젝트(8352)를 노출시킨다. 이러한 상태에서, 사용자가 노출 영역을 확대시키기 위한 사용자 제스쳐(8431)를 입력하면, 제어부(200)는 갤러리 화면(8421)을 제거하고, 홈 화면(8351) 및 오브젝트(8352)를 각각 메인 영역(1010) 및 서브 영역(1020)에 디스플레이한다.
 도 85는 경계 영역을 이용하여 백 기능을 수행하는 또 다른 방법을 설명하기 위한 도면이다. 도 85의 8510에 따르면, 사진 컨텐츠(8511)가 메인 영역(1010) 및 서브 영역(1020)에 걸쳐서 표시되고 있는 상태에서, 사용자는 경계 영역(1050)을 따라 드래깅 또는 플릭하는 제스쳐(8512)를 입력할 수 있다.
제어부(200)는 사용자 제스쳐(8512)에 응답하여, 도 85의 8520에 도시된 바와 같이, 갤러리 화면(8521) 및 오브젝트(8522)를 표시한다. 이러한 상태에서 사용자가 경계 영역을 터치한 후 그 경계 영역을 따라 일정 길이 이상 드래깅 하는 제스쳐(8523, 8531)를 입력하면, 도 85의 8530에 도시된 바와 같이, 제어부(200)는 드래깅 지점에 따라, 사용 히스토리를 나타내는 복수의 오브젝트(8532 ~ 8536)를 순차적으로 표시한다. 오브젝트(8536) 중 마지막은 홈 화면에 대응되는 오브젝트가 될 수 있다. 드래깅이 종료되면, 종료된 시점에 표시된 오브젝트에 대응되는 화면을 메인 영역(1010)에 표시한다. 가령, 사용자가 마지막 부분까지 드래깅을 수행하면, 제어부(200)는 도 85의 8540에 도시된 바와 같이, 홈 화면(8351)을 메인 영역(1010)에 표시하고, 홈 화면(8531)에 표시된 오브젝트(8352)를 서브 영역(1020)에 표시한다.
이상과 같은 다양한 실시 예에 따르면, 사용자 단말 장치(1000)는 메인 영역이나 서브 영역 뿐만 아니라, 그 영역들 사이를 구분하는 경계 영역에 대한 사용자 제스쳐가 입력되면, 입력된 사용자 제스쳐에 따라 다양한 제어 동작을 수행할 수 있다. 경계 영역에서 입력되는 사용자 제스쳐에는, 경계 영역을 따라 스크롤하는 제1 사용자 제스쳐, 경계 영역을 터치하여 메인 영역 방향으로 터치 지점을 이동시키는 제2 사용자 제스쳐, 경계 영역을 터치하여 서브 영역 방향으로 터치 지점을 이동시키는 제3 사용자 제스쳐, 경계 영역 상에서 이루어지는 핀치 인 제스쳐, 핀치 아웃 제스쳐, 경계 영역으로 수렴되는 핀치 인 제스쳐, 경계 영역부터 시작되는 핀치 아웃 제스쳐들과 같이 다양한 제스쳐가 있을 수 있다. 사용자 단말 장치는 이들 제스쳐 중 하나가 감지되면, 감지된 사용자 제스쳐에 따라 상이한 제어 동작을 수행할 수 있다.
이 밖에도, 사용자 단말 장치(1000)는 메인 영역 및 서브 영역을 함께 조합하여 다양한 인터랙션을 제공할 수 있다.
도 86은 서브 영역을 클립 보드로 사용하는 실시 예를 설명하기 위한 도면이다. 도 86에 도시된 바와 같이, 사용자 단말 장치(1000)는 메인 영역(1010)에 웹 페이지 화면(8610)이나 기타 어플리케이션 화면을 디스플레이하고, 서브 영역(1020)은 클립 보드(8620)를 디스플레이할 수 있다. 이러한 상태에서 사용자가 화면(8610) 내의 특정 이미지나 텍스트 등과 같은 오브젝트(8611)를 선택한 후, 서브 영역(1020) 방향으로 드래깅하는 제스쳐(8612)를 입력하면, 제어부(200)는 사용자가 선택한 오브젝트(8611)를 별도로 저장하는 한편, 서브 영역(1020) 내의 클립 보드(8620)에 사용자가 선택한 오브젝트(8611)에 대응되는 서브 오브젝트(8621)를 표시한다.
도 87은 키보드 타이핑이 가능한 사용자 단말 장치의 동작의 일 예를 설명하기 위한 도면이다. 도 87에 따르면, 사용자 단말 장치(1000)는 메인 영역(1010)에 키보드 및 키보드를 통해 입력되는 문자를 표시하는 문자 표시 영역을 포함하는 키보드 화면(8710)을 표시할 수 있다. 이러한 상태에서 사용자가 사용자 단말 장치(1000)를 메인 영역(1010) 방향으로 기울이거나, 서브 영역(1020)을 터치한 후 메인 영역(1010) 방향으로 드래깅하는 제스쳐(8711)를 입력하면, 제어부(200)는 키보드 화면(8710) 내의 키보드를 특수키 창(8721)으로 변경한다. 사용자는 특수 키 창(8721) 내에서 임의의 키를 선택하여, 특수 문자나 기호, 숫자 등을 입력할 수 있다. 특수 키 창이 복수 개인 경우, 제어부(200)는 사용자 단말 장치(1000)의 틸팅 또는 제스쳐(8711)의 반복 입력이 이루어질 때마다 다른 특수 키 창으로 순차적으로 변경하여 표시할 수 있다.
도 88은 멀티미디어 컨텐츠를 재생하는 사용자 단말 장치의 동작의 일 예를 나타내는 도면이다. 도 88에 따르면, 제어부(200)는 멀티미디어 컨텐츠를 재생하기 위한 사용자 제스쳐가 입력되면, 재생 프로그램을 실행시켜 사용자가 선택한 멀티미디어 컨텐츠를 재생하고, 그 재생 화면(8810)을 메인 영역(1010)에 표시한다. 또한, 제어부(200)는 멀티미디어 컨텐츠에 대한 재생 정도를 나타내는 플레이바(8820)를 서브 영역(1020)에 표시한다. 이러한 상태에서 사용자가 서브 영역(1020) 방향으로 손가락을 접근시키면, 제어부(200)는 서브 영역(1020)에 멀티미디어 컨텐츠의 재생 동작을 제어하기 위한 각종 제어 메뉴들을 표시할 수도 있다. 접근 감지 방법에 대해서는 상술한 실시 예들에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
도 89는 멀티미디어 컨텐츠를 재생하는 사용자 단말 장치의 동작의 다른 예를 나타내는 도면이다. 도 89에 따르면, 제어부(200)는 사용자가 선택한 멀티미디어 컨텐츠의 재생 화면(8910)을 마치 카세트 테이프 형태로 생성하여 메인 영역(1010)에 표시하고, 카세트 테이프의 윗면 또는 아랫면 이미지를 서브 영역(1020)에 표시할 수 있다. 즉, 본 실시 예에 따르면, 사용자 단말 장치(1000)는 메인 영역(1010)과 적어도 하나의 서브 영역(1020, 1030)을 이용하여, 실제 사물과 유사한 형태의 3D 그래픽 인터랙션 화면을 제공할 수 있다. 도 89에서는 뮤직 컨텐츠를 재생하는 경우를 도시하였으나, 이 밖에 전자 책을 재생하거나, 동영상 재생 시에도 각 컨텐츠에 대응되는 형태의 3D 그래픽 인터랙션 화면을 제공할 수 있다.
도 90은 사용자 단말 장치를 이용하여 결제를 수행할 때 표시되는 인터랙션 화면의 일 예를 나타내는 도면이다. 도 90에 따르면, 사용자 단말 장치(1000)의 메인 영역(1010)에는 쿠폰 정보, 결제 수단 정보, 개인 정보, 물품 정보 등과 같은 각종 정보를 포함하는 결제 화면(9010)이 표시될 수 있다. 또한, 서브 영역(1020)에는 결제 화면(8910)에서 선택된 아이템에 대응되는 바코드(9020)나 기타 그래픽 오브젝트가 표시될 수 있다. 제어부(200)는 아이템이 변경되면, 변경된 아이템에 맞게 서브 영역(1020)에 표시되는 오브젝트도 변경할 수 있다. 예를 들어, 제어부(200)는 결제 화면(9010)에서 결제할 신용 카드가 변경되면, 변경된 신용 카드에 대응되는 바코드(9020)를 서브 영역(1020)에 표시할 수 있다.
이 밖에, 사용자가 별도의 어플리케이션을 실행하지 않더라도, 사용자 단말 장치(1000)의 상태를 감성적인 인터랙션 화면을 이용하여 표현할 수도 있다.
도 91은 배터링 충전 시에 표시되는 인터랙션 화면의 일 예를 나타낸다. 도 91의 9110은, 사용자 단말 장치(1000)가 바닥에 눕혀진 상태로 충전 중인 경우를 나타낸다. 이러한 상태에서는 제어부(200)는 메인 영역(1010)은 비활성화시키고, 서브 영역(1020)을 이용하여 충전 상태를 표시한다. 도 91의 9110에 따르면, 제어부(200)는 충전이 개시되면, 서브 영역(1020) 내에서 입체 파티클(9112)이 내려와서 점차 쌓이는 것(9111)을 표시한다. 서브 영역(1020)의 바닥면에 쌓인 파티클 층(9111)의 두께는 충전 정도에 따라 상이하게 표시된다. 백퍼센트 충전이 완료되면, 서브 영역(1020)은 파티클(9112)로 완전히 채워지게 된다.
도 91의 9120은 사용자 단말 장치(1000)가 세로로 세워진 상태로 충전 중인 경우를 나타낸다. 이러한 경우에도, 제어부(200)는 메인 영역(1010)은 비활성화시키고, 서브 영역(1020)을 이용하여 충전 상태를 표시한다. 서브 영역(1020)내에서는 입체 파티클(9122)은 중력의 영향을 받아 아래쪽으로 쌓여서, 파티클 층(9121)을 형성한다. 상술한 바와 같이 파티클 층(9121)의 두께는 충전 정도에 따라 상이하게 표시된다. 백퍼센트 충전이 완료되면, 서브 영역(1020)은 파티클(9122)로 완전히 채워지게 된다. 이러한 입체 파티클(9122)은 눈이나 모래, 비, 물방울, 밀가루 등과 같은 다양한 형태로 표현될 수 있다. 도 91에서는 중력의 작용에 의해 파티클(9122)이 아래 쪽으로 쌓이는 것을 도시하였으나, 사용자 단말 장치(1000)는 사용자의 모션을 인식하여 마치 파티클(9122)이 바람에 날리는 것처럼 표현하거나, 사용자 단말 장치(1000)의 움직임에 의해 발생하는 관성의 작용을 받아 파티클(9122)이 움직이는 것처럼 표현할 수도 있다. 또는, 물과 같은 액체가 투명한 케이스에 담겨진 상태에서의 물리적인 변화를 서브 영역(1020, 1030)에 표시할 수도 있다.
이 밖에도, 사용자 단말 장치(1000)는 메인 영역(1010) 및 서브 영역(1020)을 이용하여 다양한 형태의 인터랙션을 지원할 수 있다. 도 92 내지 도 96은 이러한 인터랙션에 대한 다양한 예들을 설명하기 위한 도면이다.
먼저, 도 92에 따르면, 제어부(200)는 메인 영역(1010) 및 서브 영역(1020)을 이용하여 입체적인 건반 화면(9210)을 표시할 수 있다. 이러한 상태에서 사용자가 서브 영역(1020)에 표시된 건반을 터치(9212)하면, 제어부(200)는 메인 영역(1010)에 표시된 건반이 위로 솟아 오르는 것과 같은 그래픽 효과를 표시하면서, 스피커부(390)를 통해서, 해당 건반에 대응되는 음향 신호를 출력할 수 있다. 이러한 실시 예는 각종 게임이나 음악 연주 프로그램 등에 활용될 수 있다.
또는, 메인 영역에서 사용자가 하나의 버튼을 선택하였을 경우, 제어부(200)는 서브 영역에서 그 버튼의 측면을 표시하면서, 해당 버튼이 눌러진 것과 같이 표시할 수도 있다. 또는, 2개의 서브 영역(1020, 1030)이 메인 영역(1010)의 양측에 배치되는 형태의 사용자 단말 장치(1000)에서는, 사용자가 한 쪽 서브 영역(예를 들어, 1020)에서 일 지점을 터치한 경우, 반대 쪽 서브 영역(1030)에서 터치 지점에 대응되는 객체가 솟아오르는 것과 같은 그래픽 효과가 표시될 수도 있다. 일 예로, 메인 영역(1010)에 리스트가 표시된 경우, 제1 서브 영역(1020)에서 리스트 상의 아이템들 중 하나의 아이템에 대응되는 지점이 터치되었다면, 제어부(200)는 터치 지점에 대응되는 아이템을 반대 쪽 서브 영역, 즉, 제2 서브 영역(1030)으로 이동시키는 것과 같은 인터랙션을 수행할 수도 있다. 도 93은 서브 영역을 이용하여 메인 영역의 일부 화면을 하이라이트 표시하는 실시 예이다. 도 93에 따르면, 메인 영역(1010)에 복수의 아이템을 포함하는 화면(9310)이 표시된 상태에서, 사용자가 서브 영역(1020) 내의 일 지점을 터치(9321)하면, 터치된 지점에 대응되는 아이템(9311)이 하이라이트 표시될 수 있다. 사용자는 터치 지점을 d1 또는 d2 방향으로 드래깅하면서, 하이라이트 표시되는 아이템을 변경할 수도 있다. 이러한 실시 예는 각종 게임이나, 프레젠테이션 프로그램에서 활용될 수 있다.
도 94는 서브 영역을 이용하여 메인 영역의 일부 화면을 확대 표시하는 실시 예이다. 도 94에 따르면, 메인 영역(1010)에 복수의 아이템을 포함하는 화면(9410)이 표시된 상태에서, 사용자가 서브 영역(1020) 내의 일 지점을 터치(9421)하면, 터치된 지점에 대응되는 아이템(9411)이 확대 표시될 수 있다. 사용자는 터치 지점을 d1 또는 d2 방향으로 드래깅하면서, 확대 표시되는 변경할 수도 있다. 또한, 제어부(200)는 터치 시간이 길어지면, 그 터치 시간에 비례하여 확대 비율을 조정할 수 있다. 즉, 제어부(200)는 사용자가 길게 터치하고 있으면, 점점 더 크게 아이템(9411)을 확대할 수 있으며, 임계 시간을 초과하면, 해당 아이템(9411)에 대응되는 링크 화면을 메인 영역(1010)에 표시할 수도 있다. 이러한 실시 예 역시 각종 게임이나, 프레젠테이션 프로그램에서 활용될 수 있다.
도 95는 서브 영역을 이용하여 메인 영역의 일부 아이템을 변경하는 실시 예이다. 도 95에 따르면, 메인 영역(1010)에 복수의 아이템을 포함하는 화면(9510)이 표시된 상태에서, 사용자가 서브 영역(1020) 내의 일 지점을 터치(9521)하면, 터치된 지점에 대응되는 아이템(9511)이 변경될 수 있다. 도 95에서는, 메인 영역(1010) 및 서브 영역(1020) 사이의 경계 라인 중에서 해당 아이템(9511)에 대한 라인(9512)이 메인 영역(1010) 방향으로 밀려 들어가는 형태로 변경되었음을 나타낸다. 이러한 실시 예는 사용자가 화면(9510) 내의 특정 아이템을 강조하고 싶거나, 숨기고 싶을 때 유용하게 사용될 수 있다. 구체적으로는, 본 실시 예 역시 각종 게임이나 프레젠테이션 프로그램에서 활용될 수 있다.
도 96은 메인 영역 및 서브 영역을 이용하여 스티커형 메모지를 표시하는 실시 예를 나타낸다. 도 96에 따르면, 사용자 단말 장치(1000)의 메인 영역(1010)에는 복수의 서로 다른 컬러의 스티커형 메모지(9611 ~ 9615)가 표시되고, 서브 영역(1020)에는 각 메모리(9611 ~ 9615)가 순차적으로 쌓여 있는 모습을 나타내는 오브젝트(9621 ~ 9625)가 표시될 수 있다. 이러한 상태에서, 사용자는 서브 영역(1020)의 오브젝트 중 하나(9623)를 선택하여, 메인 영역(1010) 방향으로 드래깅하는 제스쳐(9631)를 입력할 수 있다. 제어부(200)는 이러한 제스쳐(9631)에 따라, 해당 메모지(9613)가 벗겨지는 필오프(peel off) 효과를 표현할 수 있다. 제어부(200)는 벗겨진 메모지(9613)는 사용자의 후속 제스쳐에 따라 다른 어플리케이션 화면으로 이동시켜, 해당 화면에 표시할 수 있다.
한편, 두 개의 서브 영역이 마련된 사용자 단말 장치(1000)의 경우, 사용자는 하나의 서브 영역을 터치하여, 다른 하나의 서브 영역의 동작을 제어할 수도 있다.
도 97은 하나의 서브 영역을 이용하여 타 서브 영역의 동작을 제어하는 실시 예에 따른 사용자 단말 장치(1000)의 동작을 나타내는 도면이다. 도 97에 따르면, 사용자 단말 장치(1000)는 메인 영역(1010), 제1 서브 영역(1020), 제2 서브 영역(1030)로 구성된 벤디드 터치 스크린(100)을 포함한다. 제어부(200)는 락 상태 또는 절전 모드일 때는, 메인 영역(1010), 제1 서브 영역(1020), 제2 서브 영역(1030)를 각각 턴-오프시키거나, 휘도를 일정 수준 이하로 떨어뜨려 어둡게 표시할 수 있다. 이러한 상태에서, 제1 서브 영역(1020)의 일 지점을 터치(9721)하면, 반대측의 제2 서브 영역(1020) 내에서 터치 지점의 반대측 지점(9722)만을 국부적으로 밝게 표시할 수 있다. 도 97에서는, 사용자 터치(9721)에 의해, 제2 서브 영역(1020) 내에서 현재 시간을 나타내는 부분(9722)만이 밝게 표시되고, 나머지 부분(9723)은 어둡게 표시된 상태를 나타낸다. 제어부(200)는 사용자 터치 지점이 이동하면, 이동되는 위치에 따라 제2 서브 영역(1020) 내의 다른 지점을 밝게 표시할 수 있다.
도 98은 메인 영역을 이용하여 서브 영역의 표시 상태를 제어하는 실시 예에 따른 사용자 단말 장치(1000)의 동작을 나타내는 도면이다. 도 98에 따르면, 사용자 단말 장치(1000)가 바닥에 눕혀진 상태에서 제어부(200)는 임의의 컨텐츠(9810)를 제1 서브 영역(1020)에 표시할 수 있다. 제1 서브 영역(1020)에 표시되는 컨텐츠는 입체감있는 3D 컨텐츠가 될 수 있다. 이러한 상태에서 사용자는 메인 영역(1010)을 터치(9811)할 수 있다. 제어부(200)는 사용자의 터치(9811) 지점에 따라, 제1 서브 영역(1020) 내에 빛이나 파티클이 내려오는 것 같은 효과(9812)를 표시할 수 있다.
가령, 제1 서브 영역(1020)에 숲 속을 나타내는 컨텐츠 화면이 표시되고 있는 상태에서, 사용자가 메인 영역(1010)을 터치하면, 그 터치 지점에 대응되는 지점에만 햇빛이 비치는 것 같은 비쥬얼 효과(9812)를 표시할 수 있다. 사용자는 메인 영역(1010) 내에서 터치 지점을 자유롭게 변경할 수 있으며, 제어부(200)는 터치 지점 변경에 따라 햇빛이 비치는 영역을 자유롭게 변경할 수 있다. 이에 따라, 컨텐츠(9810) 내의 각 사물을 원근감 있게 시청할 수 있게 된다. 한편, 본 발명의 또 다른 실시 예들에 따르면, 사용자는 편집 기능을 실행시켜, 이러한 인터랙션 효과가 컨텐츠(9810)에 추가되도록 컨텐츠(9810)를 편집할 수도 있다. 또한, 사용자는 편집한 컨텐츠를 타인과 공유할 수도 있다.
도 99는 복수의 서브 영역을 이용하여 동일한 컨텐츠를 디스플레이하는 실시 예에 따른 사용자 단말 장치(1000)의 동작을 나타내는 도면이다. 도 99에 따르면, 사용자 단말 장치(1000)는 메인 영역(1010), 제1 서브 영역(1020), 제2 서브 영역(1030)로 구성된 벤디드 터치 스크린(100)을 포함한다. 도 99에 도시된 바와 같이 사용자 단말 장치(1000)가 바닥에 눕혀진 상태에서, 컨텐츠가 재생되면, 제어부(200)는 제1 서브 영역(1020) 및 제2 서브 영역(1030)에 각각 컨텐츠 화면을 디스플레이할 수 있다. 도 99의 9910에서는 제1 서브 영역(1020)에서 제1 컨텐츠 화면(9930)이 표시되고, 도 99의 9920에서는 제2 서브 영역(1030)에서 제2 컨텐츠 화면(9940)이 표시된 상태를 나타낸다.
제1 컨텐츠 화면(9930) 및 제2 컨텐츠 화면(9940)은 동일한 컨텐츠를 서로 반대 방향에서 바라본 화면이 될 수 있다. 가령, 제1 컨텐츠 화면(9930)에서는 등장 인물 1(9911)보다 등장 인물 2(9912)가 더 멀리 있는 것처럼 표시되는 반면, 제2 컨텐츠 화면(9940)에서는 등장 인물 2(9912)보다 등장 인물 1(9911)가 더 멀리 있는 것처럼 표시될 수 있다. 이에 따라, 본 실시 예에 따르면, 하나의 컨텐츠를 다른 시각에서 시청할 수 있게 된다. 이러한 실시 예에 따른 화면은 2인용 게임이나 프리젠테이션 등에 활용될 수 있다. 도 100은 메인 영역을 이용하여 서브 영역에 표시된 정보를 확인하는 실시 예를 설명하기 위한 도면이다. 도 100의 10010에 따르면, 사용자 단말 장치(1000)는 메인 영역(1010), 제1 서브 영역(1020), 제2 서브 영역(1030)을 포함한다.
제어부(200)는 메인 영역(1010), 제1 서브 영역(1020), 제2 서브 영역(1030)에 각각 화면(10010, 10012, 10013)을 디스플레이한다. 이러한 상태에서 사용자가 메인 영역(1010)을 터치하고 터치 상태를 기 설정된 시간 이상 유지하면, 제어부(200)는 도 100의 10020 및 10030에 도시된 바와 같이, 제1 및 제2 서브 영역(1020, 1030)에 표시된 화면(10012, 10013)이 메인 영역(1010) 방향으로 올라오는 것처럼 표시할 수 있다. 본 실시 예에 따르면, 사용자는 굳이 측면을 보지 않더라도, 서브 영역(1020, 1030)의 화면까지 메인 영역(1010)에서 확인할 수 있다.
그 밖에도, 서브 영역에서 입력되는 사용자 제스쳐에 대응하여, 사용자 단말 장치(1000)에서는 실행 중인 프로그램의 종류에 따라 다양한 동작을 수행할 수 있다. 가령, 캘린더 프로그램이 실행 중인 상태에서는 서브 영역에서 사용자 터치가 입력되면, 터치 지점에 대응되는 일정 정보에 대한 메뉴가 메인 영역에 표시될 수 있다. 사용자는 메뉴 중에서 공유