WO2017026655A1 - 사용자 단말 장치 및 이의 제어 방법 - Google Patents

사용자 단말 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2017026655A1
WO2017026655A1 PCT/KR2016/007210 KR2016007210W WO2017026655A1 WO 2017026655 A1 WO2017026655 A1 WO 2017026655A1 KR 2016007210 W KR2016007210 W KR 2016007210W WO 2017026655 A1 WO2017026655 A1 WO 2017026655A1
Authority
WO
WIPO (PCT)
Prior art keywords
function
terminal device
user terminal
content
touch gesture
Prior art date
Application number
PCT/KR2016/007210
Other languages
English (en)
French (fr)
Inventor
이승현
김영현
김원용
박정이
현보라
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/744,311 priority Critical patent/US20180203597A1/en
Publication of WO2017026655A1 publication Critical patent/WO2017026655A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4494—Execution paradigms, e.g. implementations of programming paradigms data driven
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Definitions

  • the user terminal device may detect a touch of the stylus pen.
  • the stylus pen gives the user finer, more accurate and more versatile touch operations.
  • the present invention has been made in view of the above-described disadvantages, and an object of the present invention is to provide a user terminal device for automatically executing a function of an application according to a gesture of a user input to the user terminal device and a control method thereof.
  • a user terminal device for achieving the above object, if a touch gesture displaying a screen and a touch gesture of a predetermined pattern is received in a state in which a partial region on the screen is selected, the selected region And a controller configured to execute a function of an application corresponding to the touch gesture by using content included in the content.
  • the selection of the partial region and the touch gesture may be performed by a stylus pen.
  • the type of the content may include at least one of an image and a text included in the selected area.
  • the controller may be configured to determine a type of content available for executing a function of the application, extract content of the determined type from the selected area, and correspond to the touch gesture using the extracted content. Run the application's functions.
  • the controller may extract content required to execute a function of the application from contents included in the selected area, and execute a function of an application corresponding to the touch gesture by using the extracted content.
  • the controller may analyze an image included in the selected area, extract an object included in the image, and execute a function of an application corresponding to the touch gesture by using the extracted object.
  • the user terminal device may further include a storage unit that stores information about a plurality of patterns and function of an application corresponding to each of the plurality of patterns, wherein the controller is matched to the received touch gesture among the plurality of patterns.
  • the pattern may be determined, and the function of the application corresponding to the matched pattern may be executed using the content.
  • control method of a user terminal device having a touch display for displaying a screen the step of receiving a touch gesture of a predetermined pattern in a state in which a portion of the screen is selected and the selected area And executing a function of an application corresponding to the touch gesture by using content included in the content.
  • Selection of the partial region and the touch gesture may be performed by a stylus pen.
  • the type of the content may include at least one of an image and a text included in the selected area.
  • the executing may include determining a type of content available for executing a function of the application, extracting the determined type of content from the selected area, and using the extracted content. And executing a function of an application corresponding to the touch gesture.
  • the executing may include extracting a content required to execute a function of the application from among contents included in the selected area, and executing a function of an application corresponding to the touch gesture by using the extracted content. It may include the step.
  • control method of the user terminal device further comprises the step of pre-store a plurality of patterns and information on the function of the application corresponding to each of the plurality of patterns, the step of executing, the receiving of the plurality of patterns And determining a pattern matching the matched touch gesture and executing a function of an application corresponding to the matched pattern using the content.
  • the pre-storing includes displaying a UI screen for registering a pattern and matching and storing a pattern input on the UI screen with a function of an application selected by a user. can do.
  • FIG. 1 is a block diagram showing a simple configuration of a user terminal device according to an embodiment of the present invention
  • 3A to 3E are diagrams for explaining an operation of posting content to an SNS according to an embodiment of the present invention.
  • 4A to 4C are diagrams for describing an operation of searching for content according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a control method of a user terminal device according to an exemplary embodiment.
  • the touch display 110 displays a screen.
  • the touch display 110 is a visual output device of the user terminal device 100 and may display a screen on which information is visually expressed.
  • the touch display 110 may be a device in which a display unit for displaying a screen and a sensor unit for detecting a touch are combined.
  • the touch display 110 includes a liquid crystal display panel (LCD panel), a plasma display panel (PDP), an organic light emitting diode (OLED), and a vacuum fluorescent display (VFD). ), Various display units such as FED (Field Emission Display), ELD (Electro Luminescence Display), and the like.
  • the touch display 110 may include a capacitive or pressure sensitive touch sensor.
  • the controller 120 controls each component of the user terminal device 100.
  • the controller 120 may control each component of the user terminal device 100 to perform an operation and a function of the user terminal device 100.
  • the controller 120 may perform image processing for outputting a screen to the touch display 110.
  • the controller 120 may receive a signal of detecting a touch on the touch display 110.
  • the controller 120 may recognize the touch point by using the coordinates transmitted through the touch signal. Accordingly, the controller 120 may receive a user's manipulation input through the touch display 110.
  • the controller 120 may receive an input for selecting a partial region on the screen.
  • the controller 120 may receive an input for selecting an area of the displayed screen according to a user's manipulation of touching the screen.
  • the user can select some areas of the screen in various ways. For example, when a touch for dragging a screen is input, the controller 120 may determine a rectangular area having a diagonal line as a selection area, from the start point at which the touch of the drag starts to the end point at which the touch is released. Alternatively, the controller 120 may determine the closed area as the selection area by the curve drawn by the user on the screen.
  • the controller 120 may determine whether the received touch gesture signal is a gesture according to a preset pattern. When a touch gesture of a preset pattern is received, the controller 120 executes a function of an application corresponding to the touch gesture by using contents included in the selected area.
  • the content refers to all information displayed on the screen.
  • the content includes text and images that are visually output on the screen.
  • the content may be a screenshot image captured as a screenshot of the output of the screen.
  • the content may also include invisible information such as a sound, an address, and a path related to the page displayed on the screen.
  • the controller 120 determines the type of content available for executing the function of the application, extracts the content of the determined type from the selected area, and uses the extracted content to correspond to the touch gesture. You can run the function of. In other words, the controller 120 may extract only the text from the image and the text mixed in the selected area if the content type available for the function of the corresponding application is only the text type content.
  • the function of the application means a function of software installed in the user terminal device 100.
  • the user terminal device 100 is installed with software that performs an operating system role, and the installed operating system may include various functions for expressing the capabilities of the hardware of the user terminal device 100.
  • the user terminal device 100 may additionally install an application program, which is software for performing a special purpose function, and the installed application program has various functions for realizing the purpose.
  • the function of the operating system may include a function of copying to a clipboard for temporarily storing data to be copied to a storage area of the main memory.
  • Application functionality may include the ability to post on social media (or SNS).
  • the user terminal device 100 has a convenience of inputting information and executing a desired application function at a time by only inputting a user's gesture from information on a screen being searched.
  • FIG. 2 is a block diagram illustrating a detailed configuration of the user terminal device of FIG. 1.
  • the user terminal device 100 includes a touch display 110, a controller 120, a stylus pen 130, a storage 140, and a communicator 150.
  • the operation and configuration of the touch display 110 is the same as that of the touch display 110 of FIG. 1, and thus a detailed description thereof will be omitted.
  • the stylus pen 130 is a tool for performing a touch input by touching the touch display 110.
  • the user may perform a user operation of touching the touch display 110 by holding the stylus pen 130 in place of a part of the body.
  • the stylus pen 130 may be configured in a passive manner and an active manner according to the touch sensor method of the touch display 110.
  • the stylus pen 130 may include an electric circuit configuration for transmitting information of the pen pressure for writing the pen.
  • the stylus pen 130 may include a configuration for transmitting a signal for distinguishing the pens to be touched when a plurality of stylus pens are touched.
  • the storage 140 stores a plurality of patterns and information on functions of an application corresponding to each of the plurality of patterns.
  • the storage 140 may store a plurality of patterns for recognizing a received touch gesture.
  • the storage unit 140 may store information about a function of an application corresponding to each of the registered plurality of patterns.
  • the storage 140 may store information corresponding to the pattern and the function of the application in the form of a lookup table.
  • the storage unit 140 may be implemented as a storage medium and an external storage medium in the user terminal device 100, for example, a removable disk including a USB memory, a web server through a network, and the like.
  • the RAM and ROM used for storing and performing the control program have been described with one configuration of the controller 120, but may be implemented with one configuration of the storage 140.
  • the storage unit 140 may include a memory card (eg, an SD card or a memory stick) that can be attached / removed to or from the ROM, RAM, or the user terminal device 100.
  • the storage 140 may include a nonvolatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the communication unit 150 performs communication.
  • the communication unit 150 may perform communication with external devices according to various communication methods.
  • the communication unit 150 may be connected to the Internet network to communicate with at least one external server.
  • the communicator 150 may perform direct communication with another device at an adjacent distance.
  • the communicator 150 may perform various wired and wireless communication.
  • the communication unit 150 may perform communication according to a wireless communication standard such as NFC, Bluetooth, WiFi, and CDMA.
  • the controller 120 may control necessary communication while executing a function of an application. For example, the controller 120 may control a connection to a server that supports a search function for executing a search function. The controller 120 may control a connection to a server that supports a messenger service for executing a content delivery function.
  • the user terminal device 100 displays a screen 310 on the touch display.
  • the screen 310 is composed of a fixed area 320 at the top and the remaining body areas 330 and 340.
  • the fixed area 320 displays various states and information of the user terminal device 100.
  • the fixed area 320 may display at least one of a thumbnail of an application being executed, an activated communication type, a sensed communication signal strength, a battery remaining amount, and a current time.
  • the fixed area 320 may display the real time state of the user terminal device 100 on the top of the fixed area 320 unless the display has a special authority such as a full screen display.
  • the remaining body area 330 displays an article about the Galaxy s6 TM , a smartphone of Samsung Electronics TM .
  • the user can view the article contents by performing a touch input to scroll the article up and down.
  • the area is selected using a rectangle having the dragged start point and the end point as two vertices in diagonal directions, but is not limited thereto.
  • the selection area expands according to the displacement of dragging the circle rather than the rectangle, and may be an area included in the extended circle. In another embodiment, the selection area may be an area included in the closed curve drawn freely by the user.
  • the user terminal device 100 displays a screen 310 in which a part is selected in the body region 330 in which an article is displayed.
  • the user terminal device 100 sets the rectangular area 360 surrounded by the coordinates at which the touch is started and the coordinates at which the touch is released as the selection area during the drag operation in the diagonal direction.
  • the user terminal device 100 darkly displays the remainder of the body areas 330 and 340 so as to visually distinguish the selected area.
  • the user terminal device 100 receives a touch gesture.
  • the user terminal device 100 visually displays the touch point 430 of the input touch gesture.
  • the user terminal device 100 indicates '?' Receive a touch gesture of the form.
  • the user terminal device 100 has a pattern of input touch gestures '?' Determine the pattern.
  • the user terminal device 100 executes a function of an application corresponding to the touch gesture.
  • the user terminal device 100 executes an application for performing a search function.
  • the user terminal device 100 may execute a dedicated application having a search function or a web browser for connecting to a server providing a search.
  • the user terminal device 100 inputs content included in the selected area 420 into the application.
  • the user terminal device 100 may input an image and text of an article included in the selection area 420 into the search window 450 for searching.
  • the user terminal device 100 displays a result 460 of performing an image search using the image of the article.
  • 5A and 5B are diagrams for describing an operation of transmitting content to a messenger according to an embodiment of the present invention.
  • the user terminal device 100 displays a screen 510 on which a content transmission function is performed through a messenger.
  • the user terminal device 100 executes a messenger application corresponding to the input touch gesture 530 and inputs the content 550 included in the selected area 520 into the input field 540 for transmitting a message. do.
  • the user terminal device 100 inputs the content 550 into the input field 540 and shows a form in which the transmission is completed.
  • the user terminal device 100 may transmit the address of the web page in which the article to be distributed to the other party in a message along with the headline of the article.
  • a plurality of preset touch gestures 610-1, 610-2, and 610-3 are input to a user terminal device in which a partial region is selected by the stylus pen 130.
  • Application 1 670-1 which requires the account holder's name and account number, receives a token 650-1 representing the account holder and a token 650-2 representing the account number.
  • the token 650-4 containing the picture and the token 650-3 indicating the place of the picture are input to the album application 2 670-2.
  • Token 650-5 represents an image obtained by recognizing a face of a person and separating a face of the person through image processing from a screenshot image of the output screen. Token 650-5 may be input to application 3 670-3 that synthesizes the photo.
  • the above-described process of parsing the content may select and input information required or suitable for performing an application function.
  • FIG. 7A and 7B illustrate an example of inputting a part of content to an application according to an exemplary embodiment.
  • the user terminal device 100 displays a screen 710 on which a messenger application is executed.
  • the messenger application provides a graphical interface that includes symbols representing specific functions, input fields for entering messages, and the like.
  • the user terminal device 100 receives a touch gesture 740 having a ' ⁇ ' pattern.
  • the touch point of the input touch gesture 740 is displayed on the screen 710. Meanwhile, in the embodiment of FIG. 7, a partial area is not selected on the screen 710 of the user terminal device 100. In this state, if a preset pattern 740 is received on the screen of the user terminal device 100, the user terminal device 100 may designate the entire screen 710 as a selection area.
  • the user terminal device 100 fills in each input field of the bank application.
  • the user terminal device 100 may input a withdrawal account number from a pre-stored user's frequently used account.
  • the user terminal device 100 extracts a deposit bank, a deposit account number, and a deposit amount required for the remittance function from the message 760 of the selection area 710.
  • the message 760 may be parsed into a bank name token, an account number token, and a deposit amount token.
  • the parsed token information may be input in an input field for inputting a deposit bank, a deposit account number, and a deposit amount.
  • OO bank 760-1
  • 3234-3111551-53 760-2)
  • 17,500 (760-3) included in the received message are entered.
  • the touch gesture to be newly registered should have a higher upper limit of the previously registered gestures and patterns.
  • the user terminal device 100 displays the screen 810 of FIG. 8C.
  • the user terminal device 100 displays a screen 810 for receiving a touch gesture 850 having a new pattern.
  • the user terminal device 100 displays a guide 860 for registration on a background where a gesture can be drawn.
  • the new touch gesture 850 has a ' ⁇ ' pattern.
  • the user terminal device 100 displays the screen 810 of FIG. 8D.
  • the user terminal device 100 displays a screen 810 for receiving a second touch gesture.
  • the user terminal device 100 displays a previous gesture 850 'in which the color and brightness of the first input gesture 850 are darkened, and a guide 860' for the second gesture input.
  • 8E illustrates a user terminal device 100 displaying a screen 810 on which a second gesture 870 of a ' ⁇ ' pattern is input. If it is determined that the second input touch gesture 870 is the same as the pattern of the first input gesture 850, the user terminal device 100 displays the screen 810 of FIG. 8F.
  • the user terminal device 100 displays a screen 810 including a list listing the functions of an application.
  • the user terminal device 100 may search for a web item indicating a web search function 880-1, a copy to clipboard item 880-2 indicating a function of copying data to a temporary storage area, and a messenger.
  • Mark with The user terminal device 100 may display only functions without a corresponding touch gesture among functions supported by the user terminal device 100.
  • the user terminal device 100 displays the screen 810 of FIG. 8G.
  • the user terminal device 100 displays a screen 810 including a list of registered touch gestures and application functions corresponding thereto.
  • the user terminal device 100 may determine a first item 890-1 that matches a touch gesture of a ' ⁇ ' pattern and a copy function to a clipboard.
  • the second item 890-2 that matches the touch gesture of the pattern and the search by web function and the third item 890-3 that matches the touch gesture of the pattern and the send to K function are displayed.
  • a touch gesture for automatically executing an application function may be registered in the user terminal device through the user interface as described above.
  • FIG. 9 is a flowchart illustrating a control method of a user terminal device according to an exemplary embodiment.
  • a touch gesture of a predetermined pattern is received in a state where a portion of the screen is selected (S910).
  • the user terminal device receives an input for selecting a portion of the screen before receiving the touch gesture. can do.
  • the user terminal device enters a state in which some areas are selected by the user.
  • the user terminal device may receive a touch gesture according to a previously registered pattern.
  • Input for selecting an area of step S910 and input of a touch gesture may be performed by a stylus pen.
  • the method may further include pre-stored information about the touch gesture and the function of the application corresponding to the touch gesture.
  • the user terminal device may determine a pattern matching the received touch gesture based on the previously stored information, and execute a function of an application corresponding to the matched pattern.
  • the pre-stored touch gesture may be a touch gesture registered by the user according to the interface of FIG. 8.
  • a method of controlling a user terminal device includes displaying a user interface (UI) screen for registering a pattern and matching and storing a pattern input on the UI screen with a function of an application selected by the user. It may be further included before S910.
  • UI user interface
  • step S930 may include extracting content required to execute a function of the application from contents included in the selected area.
  • the user terminal device may extract only required content and execute a function of an application corresponding to a touch gesture with the extracted content.
  • step S930 may include extracting an object included in the image by analyzing an image included in the selected area.
  • the user terminal device may extract a specific object constituting the image and input it as content for executing a function of an application.
  • the control method of the user terminal device as described above may provide convenience of inputting information at once and executing a function of a desired application by only inputting a user's gesture from information on a screen being searched.
  • the gesture input by the stylus pen 130 may extend the usefulness of the stylus pen while giving the user a feeling of drawing with a pen.
  • Codes and code segments constituting the computer program may be easily inferred by those skilled in the art.
  • Such a computer program may be stored in a computer-readable non-transitory computer readable media and read and executed by a computer, thereby implementing an embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 단말 장치가 개시된다. 본 발명의 일 실시예의 사용자 단말 장치는 화면을 표시하는 터치 디스플레이 및 화면상의 일부 영역이 선택된 상태에서 기설정된 패턴의 터치 제스처가 수신되면, 선택된 영역에 포함된 컨텐츠를 이용하여 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 제어부를 포함한다.

Description

사용자 단말 장치 및 이의 제어 방법
본 발명은 사용자 단말 장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 사용자 단말 장치에 입력되는 사용자의 제스처에 따라 어플리케이션의 기능을 자동 실행하는 사용자 단말 장치 및 이의 제어 방법에 관한 것이다.
스마트 폰 등, 현대의 대다수의 모바일 기기는 디스플레이되는 화면을 터치하는 사용자의 조작을 감지하는 터치 인터페이스를 제공한다.
종래 사용자 단말 장치는, 한 화면에 표시되는 정보를 다른 기능에 입력하기 위해서 수회에 걸친 조작 및 메뉴의 선택을 요하였다.
예를 들어, 사용자 단말 장치의 화면에 표시된 기사의 내용 중 궁금한 내용을 검색하고자 하는 경우, 사용자는 기사의 내용 중 원하는 내용을 선택하고, 화면에 부가 기능 메뉴를 표시하기 위한 조작을 수행하고, 메뉴의 복사 항목을 선택한 후, 웹 브라우저를 실행시켜 검색 서비스를 제공하는 사이트로 이동하고, 복사한 내용을 검색창에 붙여 넣는 입력을 수행하여야 한다.
이상과 같은 절차는 터치 조작만이 가능한 사용자 단말 장치를 사용하는 사용자 입장에서는 매우 번거로운 일이다.
한편, 사용자 단말 장치는 스타일러스 펜의 터치를 감지할 수 있다. 스타일러스 펜은 사용자에게 미세하고 정확하며 보다 다양한 터치 조작을 할 수 있게 한다.
하지만, 종래 스타일러스 펜은 손으로 필기하거나 그림을 그리기 위한 용도 이외에는 손가락을 이용한 터치 조작 - 가령 스크린 키보드의 터치 - 을 수행하는데 사용될 뿐, 스타일러스 펜을 이용한 기능의 확장은 제한적이었다.
본 발명은 상술한 단점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 사용자 단말 장치에 입력되는 사용자의 제스처에 따라 어플리케이션의 기능을 자동 실행하는 사용자 단말 장치 및 이의 제어 방법을 제공하는데 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자 단말 장치는, 화면을 표시하는 터치 디스플레이 및 상기 화면상의 일부 영역이 선택된 상태에서 기설정된 패턴의 터치 제스처가 수신되면, 상기 선택된 영역에 포함된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 제어부를 포함한다.
이 경우, 상기 일부 영역에 대한 선택 및 상기 터치 제스처는, 스타일러스 펜(stylus pen)에 의해 이루어질 수 있다.
한편, 상기 컨텐츠의 타입은, 상기 선택된 영역에 포함된 이미지 및 텍스트 중 적어도 하나를 포함할 수 있다.
한편, 상기 제어부는, 상기 어플리케이션의 기능을 실행하기 위해 이용 가능한 컨텐츠의 타입을 판단하고, 상기 선택된 영역으로부터 상기 판단된 타입의 컨텐츠를 추출하고, 상기 추출된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행할 수 있다.
한편, 상기 제어부는, 상기 선택된 영역에 포함된 컨텐츠 중에서 상기 어플리케이션의 기능을 실행하기 위해 요구되는 컨텐츠를 추출하고, 상기 추출된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행할 수 있다.
한편, 상기 제어부는, 상기 선택된 영역에 포함된 이미지를 분석하여 상기 이미지에 포함된 오브젝트를 추출하고, 상기 추출된 오브젝트를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행할 수 있다.
한편, 사용자 단말 장치는 복수의 패턴 및 상기 복수의 패턴 각각에 대응되는 어플리케이션의 기능에 대한 정보를 저장한 저장부를 더 포함하며, 상기 제어부는, 상기 복수의 패턴 중 상기 수신된 터치 제스처에 매칭되는 패턴을 판단하고, 상기 컨텐츠를 이용하여 상기 매칭된 패턴에 대응되는 어플리케이션의 기능을 실행할 수 있다.
이 경우, 상기 제어부는, 패턴을 등록하기 위한 UI(User Interface) 화면을 디스플레이하고, 상기 UI 화면 상에 입력된 패턴을 사용자에 의해 선택된 어플리케이션의 기능에 매칭시켜 상기 저장부에 저장할 수 있다.
한편, 본 발명의 일 실시예에 따른 화면을 표시하는 터치 디스플레이를 구비한 사용자 단말 장치의 제어 방법은, 상기 화면상의 일부 영역이 선택된 상태에서 기설정된 패턴의 터치 제스처를 수신하는 단계 및 상기 선택된 영역에 포함된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 단계를 포함한다.
이 경우. 상기 일부 영역에 대한 선택 및 상기 터치 제스처는, 스타일러스 펜(stylus pen)에 의해 이루어질 수 있다.
한편, 상기 컨텐츠의 타입은, 상기 선택된 영역에 포함된 이미지 및 텍스트 중 적어도 하나를 포함할 수 있다.
한편, 상기 실행하는 단계는, 상기 어플리케이션의 기능을 실행하기 위해 이용 가능한 컨텐츠의 타입을 판단하는 단계, 상기 선택된 영역으로부터 상기 판단된 타입의 컨텐츠를 추출하는 단계, 및 상기 추출된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 단계를 포함할 수 있다.
한편, 상기 실행하는 단계는, 상기 선택된 영역에 포함된 컨텐츠 중에서 상기 어플리케이션의 기능을 실행하기 위해 요구되는 컨텐츠를 추출하는 단계 및 상기 추출된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 단계를 포함할 수 있다.
*한편, 상기 실행하는 단계는, 상기 선택된 영역에 포함된 이미지를 분석하여 상기 이미지에 포함된 오브젝트를 추출하는 단계 및 상기 추출된 오브젝트를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 단계를 포함할 수 있다.
한편, 사용자 단말 장치의 제어 방법은 복수의 패턴 및 상기 복수의 패턴 각각에 대응되는 어플리케이션의 기능에 대한 정보를 기저장하는 단계를 더 포함하고, 상기 실행하는 단계는, 상기 복수의 패턴 중 상기 수신된 터치 제스처에 매칭되는 패턴을 판단하는 단계 및 상기 컨텐츠를 이용하여 상기 매칭된 패턴에 대응되는 어플리케이션의 기능을 실행하는 단계를 포함할 수 있다.
이 경우, 상기 기저장하는 단계는, 패턴을 등록하기 위한 UI(User Interface) 화면을 디스플레이하는 단계 및 상기 UI 화면 상에 입력된 패턴을 사용자에 의해 선택된 어플리케이션의 기능에 매칭시켜 저장하는 단계를 포함할 수 있다.
이상의 다양한 실시예에 따르면, 사용자는 사용자 단말 장치에 대응되는 제스처의 입력만으로 자주 사용하는 기능을 쉽게 실행할 수 있다.
또한, 사용자는 화면에 표시된 필요한 정보를 특정 어플리케이션에 쉽게 입력할 수 있다.
또한, 사용자 단말 장치는, 스타일러스 펜을 단순히 터치하기 위한 도구가 아닌, 제스처를 드로잉하는 고전적인 펜의 기능이 접목하는 디지로그의 기술을 실현함으로써, 사용자에게 친숙한 아날로그의 감성을 전달할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말 장치의 간단한 구성을 도시한 블록도,
도 2는 도 1의 사용자 단말 장치의 세부적인 구성을 도시한 블록도,
도 3a 내지 도 3e는 본 발명의 일 실시예에 따른 컨텐츠를 SNS에 게재하는 동작을 설명하기 위한 도면,
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 컨텐츠를 검색하는 동작을 설명하기 위한 도면,
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 컨텐츠를 메신저로 전송하는 동작을 설명하기 위한 도면,
도 6은 본 발명의 일 실시에에 따른 컨텐츠의 선별 방법을 설명하기 위한 도면,
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 컨텐츠의 일부를 어플리케이션에 입력하는 일 예를 설명하기 위한 도면,
도 8a 내지 도 8g는 본 발명의 일 실시예에 따른 설정 화면을 도시하는 도면, 그리고,
도 9는 본 발명의 일 실시예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
-
이하 첨부된 도면들을 참조하여 본 발명의 일 실시 예를 더욱 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말 장치의 간단한 구성을 도시한 블록도이다.
도 1을 참조하면, 사용자 단말 장치(100)는 터치 디스플레이(110) 및 제어부(120)를 포함한다.
터치 디스플레이(110)는 화면을 표시한다. 구체적으로, 터치 디스플레이(110)는 사용자 단말 장치(100)의 시각적 출력 장치로서, 정보를 시각적으로 표현한 화면을 표시할 수 있다.
또한, 터치 디스플레이(110)는 접촉을 감지한다. 구체적으로, 터치 디스플레이(110)는 화면상의 접촉을 감지할 수 있다. 터치 디스플레이(110)는 사용자의 터치를 감지할 수 있다. 터치는 터치 디스플레이(110)의 표면을 접촉시키는 사용자의 조작을 말한다. 터치는 사용자의 신체 일부, 가령 손가락에 의해 수행될 수 있다. 또한, 터치는 스타일러스 팬(stylus pen)과 같이 터치 디스플레이(110)가 접촉을 감지할 수 있는 도구에 의해 수행될 수 있다.
구체적으로 도시하진 않았으나, 터치 디스플레이(110)는 화면을 디스플레이하기 위한 디스플레이 유닛과 터치를 감지하기 위한 센서 유닛이 결합된 장치일 수 있다. 구체적으로, 터치 디스플레이(110)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛을 포함할 수 있다. 또한, 터치 디스플레이(110)는 정전식 또는 감압식의 터치 센서를 포함할 수 있다. 정전식은 터치 디스플레이(110)의 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부 또는 터치 도구가 터치 디스플레이(110) 표면에 접촉할 때 접촉부위로 여기(exite)되는 미세 전기를 감지하여 터치된 지점의 좌표를 산출하는 방식이다. 감압식은 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치된 지점의 좌표를 산출하는 방식이다.
추가적으로, 터치 디스플레이(110)는 근접 센서를 더 포함할 수 있다. 근접 센서는 터치 디스플레이(110) 표면에 직접 접촉되지 않고 접근하는 모션을 감지하기 위한 센서이다. 근접 센서는 고주파 자계를 형성하여, 물체 접근 시에 변화되는 자계특성에 의해 유도되는 전류를 감지하는 고주파 발진 형, 자석을 이용하는 자기 형, 대상체의 접근으로 인해 변화되는 정전 용량을 감지하는 정전 용량 형과 같은 다양한 형태의 센서로 구현될 수 있다.
제어부(120)는 사용자 단말 장치(100)의 각 구성을 제어한다. 구체적으로, 제어부(120)는 사용자 단말 장치(100)의 동작 및 기능을 수행하기 위하여, 사용자 단말 장치(100)를 구성하는 각 구성들을 제어할 수 있다.
제어부(120)는 터치 디스플레이(110)에 화면을 출력시키기 위한 영상 처리를 수행할 수 있다. 그리고, 제어부(120)는 터치 디스플레이(110)에 터치를 감지한 신호를 수신할 수 있다. 여기서, 제어부(120)는 터치 신호를 통해 전달된 좌표를 이용하여, 터치 지점을 인식할 수 있다. 이에 따라 제어부(120)는 터치 디스플레이(110)를 통해 입력되는 사용자의 조작을 수신할 수 있다.
제어부(120)는 화면상의 일부 영역을 선택하는 입력을 수신할 수 있다. 구체적으로, 제어부(120)는 화면에 터치되는 사용자의 조작에 따라 표시된 화면의 일 영역을 선택하는 입력을 수신할 수 있다. 사용자는 다양한 방식으로 화면의 일부 영역을 선택할 수 있다. 예를 들어, 화면을 드래그하는 터치가 입력되면, 제어부(120)는 드래그의 터치가 시작되는 시작점부터 터치가 릴리즈되는 종점까지의 변위를 대각선으로 하는 사각형의 영역을 선택 영역으로 판단할 수 있다. 또는, 제어부(120)는 사용자가 화면상에 그리는 곡선에 의해 닫힌(closed) 영역을 선택 영역으로 판단할 수 있다.
제어부(120)는 사용자의 선택 입력에 응답하여 선택 상태로 진입한다. 선택 상태는 출력되는 화면상의 일부 영역이 선택된 상태이다. 제어부(120)는 선택 상태에서 선택된 영역을 다양한 방식으로 표현할 수 있다. 예를 들어 제어부(120)는 선택 영역의 경계를 따라 점선을 표시할 수 있다. 또는 제어부(120)는 선택되지 않은 나머지 영역을 음영 처리하여 어둡게 표시할 수 있다.
제어부(120)는 기설정된 패턴의 터치 제스처를 수신한다. 구체적으로, 제어부(120)는 기설정된 패턴을 따라 터치하는 터치 제스처를 수신할 수 있다. 여기서, 패턴이란 등록된 특정 도형, 심볼, 글자 등을 사용자가 재차 입력하였을 때 동일성을 인식할 수 있는 특징을 말하는 것이다. 패턴을 이용하여 제어부(120)는 사용자가 화면상에 터치하는 필기를 인식할 수 있다. 예를 들어, 패턴은 추세선, 획수, 추상화한 형상 중 적어도 하나가 될 수 있다.
제어부(120)는 수신된 터치 제스처의 신호가 기설정된 패턴에 따른 제스처인지 판단할 수 있다. 제어부(120)는 기설정된 패턴의 터치 제스처가 수신되면, 선택된 영역에 포함된 컨텐츠를 이용하여 터치 제스처에 대응되는 어플리케이션의 기능을 실행한다.
여기서, 컨텐츠는 화면에 표시된 모든 정보들을 말한다. 예를 들어, 컨텐츠는 화면에 시각적으로 출력되는 텍스트, 이미지를 포함한다. 또한, 컨텐츠는 화면의 출력을 그대로 스크린 샷으로 캡쳐한 스크린 샷 이미지일 수 있다. 컨텐츠는 화면에 표시되는 페이지와 관련된 소리, 주소, 경로 등의 보이지 않는 정보도 포함될 수 있다.
구체적으로, 제어부(120)는 터치 제스처가 기설정된 패턴의 것으로 판단되면, 선택된 영역에 포함된 컨텐츠를 추출할 수 있다. 여기서, 제어부(120)는 영역안에 컨텐츠를 선별적으로 추출할 수 있다. 컨텐츠를 추출하는 선별 기준은 수행하고자 하는 어플리케이션의 기능에 따라 다를 수 있다.
일 실시예에서, 제어부(120)는 어플리케이션의 기능을 실행하기 위해 이용 가능한 컨텐츠의 타입을 판단하고, 선택된 영역으로부터 판단된 타입의 컨텐츠를 추출하고, 추출된 컨텐츠를 이용하여 터치 제스처에 대응되는 어플리케이션의 기능을 실행할 수 있다. 다시 말하면, 제어부(120)는 대응하는 어플리케이션의 기능에 이용할 수 있는 컨텐츠의 종류가 텍스트 타입의 컨텐츠만이 가능하면, 선택된 영역에 혼재된 이미지 및 텍스트 중에서 텍스트만을 추출할 수 있다.
다른 일 실시예에서, 제어부(120)는 선택된 영역에 포함된 컨텐츠 중에서 어플리케이션의 기능을 실행하기 위해 요구되는 컨텐츠를 추출하고, 추출된 컨텐츠를 이용하여 터치 제스처에 대응되는 어플리케이션의 기능을 실행할 수 있다. 일 예로서, 제어부(120)는 대응하는 어플리케이션의 기능에 요구되는 정보가 전화번호라는 분류인 경우, 선택 영역으로부터 숫자가 일정한 형식으로 나열된 컨텐츠를 전화번호로서 추출하여, 전화걸기 기능의 번호 입력란에 추출된 숫자를 입력할 수 있다.
다른 일 실시예에서, 제어부(120)는 선택된 영역에 포함된 이미지를 분석하여 이미지에 포함된 오브젝트를 추출하고, 추출된 오브젝트를 이용하여 터치 제스처에 대응되는 어플리케이션의 기능을 실행할 수 있다. 일 예로서, 제어부(120)는 선택 영역에 포함된 이미지의 신호처리를 통해 이미지를 구성하는 하나 또는 복수의 오브젝트를 식별할 수 있다. 가령, 사진이 선택영역에 포함된 경우, 제어부(120)는 인물과 배경, 주위의 소품들을 구별할 수 있다. 그리고, 제어부(120)는 인물 검색 기능을 갖는 어플리케이션에 추출된 사진속 인물을 입력할 수 있다.
제어부(120)는 선택된 영역에 포함된 컨텐츠 중에서 어플리케이션의 기능을 실행하기 위해 요구되는 컨텐츠를 추출하고, 추출된 컨텐츠를 이용하여 터치 제스처에 대응되는 어플리케이션의 기능을 실행한다. 구체적으로, 제어부(120)는 터치 제스처에 대응하는 어플리케이션의 기능을 판단할 수 있다. 제어부(120)는 수신된 터치 제스처가 어떠한 패턴의 제스처인지 판단할 수 있으며, 판단된 패턴의 제스처가 어떤 어플리케이션의 기능과 대응되는지 판단할 수 있다.
여기서, 어플리케이션의 기능은 사용자 단말 장치(100)에 설치된 소프트웨어들의 기능을 의미한다. 사용자 단말 장치(100)에는 운영체제 역할을 수행하는 소프트웨어가 설치되어 있으며, 설치된 운영체제는 사용자 단말 장치(100)의 하드웨어의 능력을 발현시키기 위한 여러 함수들을 포함할 수 있다. 또한, 사용자 단말 장치(100)에는 특수 목적의 기능을 수행하기 위한 소프트웨어인 응용 프로그램이 부가적으로 설치될 수 있으며, 설치된 응용 프로그램은 그 목적을 실현하기 위한 여러 기능을 가지고 있다. 예를 들면, 운영체제의 기능에는 주기억장치의 저장 영역에 복사하고자 하는 데이터를 일시적으로 저장시키는 클립보드로 복사하기 기능이 포함될 수 있다. 응용 프로그램의 기능에는 소셜 미디어(또는 SNS)에 글을 게재하는 기능이 포함될 수 있다.
제어부(120)는 CPU와, 사용자 단말장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(Read-Only Memory: ROM) 및 사용자 단말장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 사용자 단말장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(Random Access Memory: RAM)을 포함할 수 있다. CPU는 싱글 코어 프로세서, 듀얼 코어 프로세서, 트리플 코어 프로세서 및 쿼드 코어 프로세서 중 적어도 하나를 포함할 수 있다. CPU, 롬 및 램은 내부버스(bus)를 통해 상호 연결된다.
이상과 같은 사용자 단말 장치(100)는 탐색 중인 화면상의 정보에서 사용자의 제스처 입력만으로 한번에 정보의 입력 및 원하는 어플리케이션의 기능을 실행할 수 있는 편의성이 존재한다.
도 2는 도 1의 사용자 단말 장치의 세부적인 구성을 도시한 블록도이다.
도 2를 참조하면, 사용자 단말 장치(100)는 터치 디스플레이(110), 제어부(120), 스타일러스 펜(130), 저장부(140) 및 통신부(150)를 포함한다. 여기서, 터치 디스플레이(110)의 동작 및 구성은 도 1의 터치 디스플레이(110)의 그것과 동일한바 구체적인 설명은 생략한다.
스타일러스 펜(130)은 터치 디스플레이(110)에 접촉하여 터치 입력을 수행하기 위한 도구이다. 사용자는 신체의 일부를 대신하여 스타일러스 펜(130)을 잡고 터치 디스플레이(110)를 터치하는 사용자 조작을 수행할 수 있다.
스타일러스 펜(130)은 터치 디스플레이(110)의 터치 센서의 방식에 따라 패시브 방식 및 액티브 방식의 터치 방식으로 구성될 수 있다. 또한, 스타일러스 펜(130)은 펜을 쓰는 필압의 정보를 전달하기 위한 전기 회로 구성을 포함할 수 있다. 또한, 스타일러스 펜(130)은 복수의 스타일러스 펜이 터치될 경우, 터치하는 펜들을 구별할 수 있는 신호를 발송하는 구성을 포함할 수 있다.
저장부(140)는 복수의 패턴 및 복수의 패턴 각각에 대응되는 어플리케이션의 기능에 대한 정보를 저장한다. 구체적으로, 저장부(140)는 수신되는 터치 제스처를 인식하기 위한 복수의 패턴들을 저장할 수 있다. 저장부(140)는 등록된 복수의 패턴들 각각에 대응하는 어플리케이션의 기능에 대한 정보를 저장할 수 있다. 저장부(140)는 패턴과 어플리케이션의 기능을 대응시킨 정보를 룩업 테이블 형태로 저장할 수 있다.
저장부(140)는 사용자 단말장치(100) 내의 저장매체 및 외부 저장 매체, 예를 들어, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다. 본 발명에서는 제어프로그램의 저장 및 수행 등에 이용되는 RAM, ROM에 대해 제어부(120)의 일 구성으로 설명하였지만, 저장부(140)의 일 구성으로 구현될 수 있다.
저장부(140)는 롬, 램 또는 사용자 단말장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱)를 포함할 수 있다. 또한 저장부(140)는 비휘발성 메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
통신부(150)는 통신을 수행한다. 구체적으로 통신부(150)는 다양한 통신 방식에 따라 외부 기기와 통신을 수행할 수 있다. 통신부(150)는 인터넷망에 연결되어 외부의 적어도 하나의 서버와 통신할 수 있다. 통신부(150)는 인접한 거리의 다른 장치와의 직접 통신을 수행할 수 있다. 통신부(150)는 다양한 유무선 통신을 수행할 수 있다. 통신부(150)는 NFC, 블루투스, WiFi, CDMA와 같은 무선 통신 규격에 따른 통신을 수행할 수 있다.
제어부(120)는 각 구성을 제어한다. 제어부(120)의 터치 디스플레이(110)를 제어하는 동작에 대한 설명은 도 1의 그것과 동일한바 중복 설명은 생략한다.
제어부(120)는 스타일러스 펜(130)에 의한 접촉을 식별할 수 있다. 구체적으로, 제어부(120)는 인체 등의 접촉과 다른 스타일러스 펜(130)에 의한 터치 입력을 식별할 수 있다.
제어부(120)는 저장부(140)에 저장된 복수의 패턴 중 수신된 터치 제스처에 매칭되는 패턴을 판단하고, 선택 영역에 포함된 컨텐츠를 이용하여 매칭된 패턴에 대응되는 어플리케이션의 기능을 실행할 수 있다.
제어부(120)는 어플리케이션의 기능을 실행하면서 필요한 통신을 제어할 수 있다. 예를 들어, 제어부(120)는 검색 기능을 실행하기 위한 검색 기능을 지원하는 서버로의 접속을 제어할 수 있다. 제어부(120)는 컨텐츠 전달 기능을 실행하기 위한 메신저 서비스를 지원하는 서버로의 접속을 제어할 수 있다.
이상과 같은 사용자 단말 장치(100)는 탐색 중인 화면상의 정보에서 사용자의 제스처 입력만으로 한번에 정보의 입력 및 원하는 어플리케이션의 기능을 실행할 수 있는 편의성이 존재한다. 또한, 스타일러스 펜(130)에 의한 제스처 입력은 사용자에게 펜으로 그리는 듯한 느낌을 주면서, 스타일러스 펜의 유용성을 확장할 수 있다.
도 3a 내지 도 3e는 본 발명의 일 실시예에 따른 컨텐츠를 SNS에 게재하는 동작을 설명하기 위한 도면이다.
도 3a를 참조하면, 사용자 단말 장치(100)는 터치 디스플레이에 화면(310)을 표시한다. 화면(310)은 상단의 고정 영역(320)과 나머지 본문 영역(330, 340)으로 구성된다.
고정 영역(320)은 사용자 단말 장치(100)의 여러 상태 및 정보들을 표시한다. 예를 들어 고정 영역(320)에는 실행중인 어플리케이션의 썸네일, 활성화된 통신 종류, 감지된 통신 신호 세기, 배터리 잔량 및 현재 시간 중 적어도 하나가 표시될 수 있다. 고정 영역(320)은 전체화면표시와 같은 특별한 권한을 가진 표시가 아니면 고정적으로 상단에 사용자 단말 장치(100)의 실시간 상태를 표시할 수 있다.
본문 영역(330, 340)에는 사용자 단말 장치(100)에서 실행된 어플리케이션의 화면이 표시된다. 현재 사용자 단말 장치(100)는 포털 서비스를 제공하는 어플리케이션(N)을 실행하고 있다. 어플리케이션(N)은 현재 표시된 포털 사이트의 페이지의 전 페이지, 후 페이지로 이동하는 버튼, 새로고침 버튼, 즐겨찾기 버튼, 공유하기 버튼 등을 포함하는 UI(340)를 화면의 하단에 제공할 수 있다.
나머지 본문 영역(330)에는 삼성전자TM의 스마트폰인 갤럭시 s6TM에 대한 기사가 표시된다. 사용자는 기사를 위아래로 스크롤하는 터치 입력을 수행하여, 기사 내용을 볼 수 있다.
사용자는 스타일러스 펜(130)을 이용하여 터치 입력을 수행함으로써 포털 사이트의 웹 페이지들을 브라우징할 수 있다.
도 3b를 참조하면, 사용자는 기사가 표시된 본문 영역(330) 중 일부 영역을 선택한다. 일부 영역을 선택하기 위하여 사용자는 스타일러스 펜(130)을 잡고 대각 방향으로 드래그하는 조작을 수행한다.
도 3의 실시예에서는 드래그된 시작점과 종점을 대각방향의 두 꼭지점으로 하는 직사각형을 이용하여 영역을 선택하였지만 이에 한정되지 아니한다. 선택 영역은 사각형이 아닌 원형을 드래그한 변위에 따라 확장하고, 확장된 원형에 포함된 영역이 될 수 있다. 다른 실시예로서, 선택 영역은 사용자가 자유자재로 그린 폐곡선에 포함된 영역이 될 수 있다.
도 3c를 참조하면, 사용자 단말 장치(100)는 기사가 표시된 본문 영역(330)에 일부가 선택된 화면(310)을 표시한다. 구체적으로, 사용자 단말 장치(100)는 대각 방향으로 드래그 조작시 터치가 개시된 좌표와 터치가 릴리즈된 좌표로 둘러싸인 직사각형의 영역(360)을 선택 영역으로 설정한다. 그리고, 사용자 단말 장치(100)는 선택된 영역을 시각적으로 구별할 수 있도록 본문 영역(330, 340)의 나머지를 어둡게 표시한다.
도 3의 실시예에서는 음영 처리를 통해 화면에 선택 영역과 선택되지 않은 영역을 구분하였으나, 이에 한정되지 아니한다. 선택 영역은 점선 또는 실선의 경계로서 표시될 수 있다. 또는 선택 영역은 선택된 영역 위에 색상을 갖는 투명 레이어가 겹쳐서 표시될 수 있다.
도 3d를 참조하면, 사용자 단말 장치(100)는 화면(310)의 일부 영역(360)이 선택된 상태에서 터치 제스처를 입력받는다. 사용자 단말 장치(100)는 스타일러스 펜(130)이 터치되는 위치를 본문 영역(330, 340)에 오버랩하여 표시한다. 도 3d에서 사용자 단말 장치(100)는 알파벳 'f'형태의 터치 제스처(370)를 화면(310)에 표시한다. 사용자 단말 장치(100)는 터치 제스처(370)의 패턴을 인식하여 인식된 패턴과 대응하는 어플리케이션의 기능을 실행한다. 그리고, 사용자 단말 장치(100)는 선택된 영역(360)으로부터 컨텐츠를 추출한다.
도 3e를 참조하면, 사용자 단말 장치(100)는 어플리케이션에 컨텐츠가 삽입된 화면(310)을 표시한다. 구체적으로, 사용자 단말 장치(100)는 소셜 미디어인 'f' 어플리케이션을 실행한 화면(310)을 표시한다. 화면(310)에는 고정 영역(320), 'f' 어플리케이션이 제공하는 기능의 버튼들이 나열된 UI 영역(380)과 게재할 내용을 입력할 수 있는 영역이 포함된다.
사용자 단말 장치(100)는 선택 영역(360)을 캡쳐한 스크린 샷 이미지(390)를 게재할 내용을 입력하는 영역에 삽입한다. 도 3의 실시예에서는 스크린 샷 이미지(390)가 삽입되었으나, 기사에 인용된 이미지 및 기사의 텍스트 중 적어도 하나가 삽입될 수 있다. 만약, 'f'어플리케이션이 텍스트만 게시할 수 있는 경우, 사용자 단말 장치(100)는 기사의 텍스트만 추출하여 게시글로 삽입할 수 있다. 또한, 사용자 단말 장치(100)는 기사의 출처를 게시글로 삽입할 수 있다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 컨텐츠를 검색하는 동작을 설명하기 위한 도면이다.
도 4a를 참조하면, 사용자 단말 장치(100)는 기사가 표시된 영역에 일부 영역(420)이 선택된 화면(410)을 표시한다. 일부 영역을 선택하는 방법 및 일부 영역이 선택된 화면(410)은 도 3의 화면(310)과 유사한바 중복 설명은 생략한다.
도 4b를 참조하면, 사용자 단말 장치(100)는 터치 제스처를 입력받는다. 사용자 단말 장치(100)는 입력되는 터치 제스처의 터치 지점(430)을 시각적으로 표시한다. 도 4b에서 사용자 단말 장치(100)는 '?' 형태의 터치 제스처를 입력받는다. 사용자 단말 장치(100)는 입력된 터치 제스처의 패턴이 '?' 패턴임을 판단한다. 그리고, 사용자 단말 장치(100)는 터치 제스처에 대응하는 어플리케이션의 기능을 실행한다. 도 4의 실시예에서, 사용자 단말 장치(100)는 검색 기능을 수행하는 어플리케이션을 실행한다. 구체적으로, 사용자 단말 장치(100)는 검색 기능을 갖는 전용 어플리케이션을 실행하거나, 검색을 제공하는 서버로 접속하기 위한 웹 브라우저를 실행할 수 있다.
도 4c를 참조하면, 사용자 단말 장치(100)는 선택 영역(420)의 컨텐츠를 이용하여 검색 기능을 수행한 결과 화면(410)을 표시한다. 화면(410)은 고정 영역, 검색 인터페이스 영역(440), 검색창(450) 및 검색 결과 영역(460)을 포함한다.
사용자 단말 장치(100)는 선택된 영역(420)에 포함된 컨텐츠를 어플리케이션에 입력한다. 구체적으로, 사용자 단말 장치(100)는 선택 영역(420)에 포함된 기사의 이미지와 텍스트를 검색을 위한 검색창(450)에 입력할 수 있다. 도 4c에서 사용자 단말 장치(100)는 기사의 이미지를 이용하여 이미지 검색을 수행한 결과(460)를 표시한다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 컨텐츠를 메신저로 전송하는 동작을 설명하기 위한 도면이다.
도 5a를 참조하면, 사용자 단말 장치(100)는 삼성전자TM의 갤럭시 s6TM 제품에 대한 기사를 표시한다. 그리고, 사용자 단말 장치(100)는 기사가 표시된 화면(510)의 일부 영역(520)이 선택된 상태에서 'K' 패턴의 터치 제스처(530)를 입력받았다. 사용자 단말 장치(100)는 기설정된 'K'패턴을 판단하고, 판단된 패턴과 대응하는 어플리케이션의 기능을 실행한다. 도 5의 실시예에서 사용자 단말 장치(100)는 메신저 어플리케이션을 실행한다.
*도 5b를 참조하면, 사용자 단말 장치(100)는 메신저를 통해 컨텐츠 전송 기능을 수행한 화면(510)을 표시한다. 구체적으로, 사용자 단말 장치(100)는 입력된 터치 제스처(530)에 대응하는 메신저 어플리케이션을 실행하고, 선택된 영역(520)에 포함된 컨텐츠(550)를 메시지를 전송하기 위한 입력란(540)에 입력한다. 도 5b에서는 사용자 단말 장치(100)가 입력란(540)에 컨텐츠(550)를 입력하고, 전송까지 완료한 형태를 도시한다. 다른 실시예에 있어서, 사용자 단말 장치(100)는 메시지로 상대방에게 알려주고자 한 기사가 배포된 웹 페이지의 주소를 기사의 헤드라인과 함께 전송할 수 있다.
도 6은 본 발명의 일 실시에에 따른 컨텐츠의 선별 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 다수의 기설정된 패턴의 터치 제스처(610-1, 610-2, 610-3)가 스타일러스 펜(130)에 의해 일부 영역이 선택된 사용자 단말 장치로 입력된다.
컨텐츠 도메인(620)은 선택된 영역에 포함될 수 있는 컨텐츠의 집합이다. 컨텐츠 도메인(620)은 텍스트만 있는 컨텐츠(630-1), 이미지만 있는 컨텐츠(630-3) 및 텍스트와 이미지가 같이 있는 컨텐츠(630-2)를 포함한다.
컨텐츠(630-1, 630-2, 630-3)는 파싱 엔진(640)으로 입력된다. 파싱 엔진(640)은 컨텐츠(630-1, 630-2, 630-3)를 파싱한다. 파싱 엔진(640)은 컨텐츠의 타입을 기준으로 파싱할 수 있다. 파싱 엔진(640)은 텍스트 및 이미지를 포함하는 컨텐츠(630-2)의 경우 텍스트 타입의 컨텐츠와 이미지 타입의 컨텐츠로 분리할 수 있다. 파싱 엔진(640)은 텍스트 타입의 컨텐츠에서 단어의 의미, 기재 방식, 문장의 구조 등에 기초하여 컨텐츠를 분리할 수 있다. 예를 들어, 파싱 엔진(640)은 사전적 의미에 기초하여 시간을 나타내는 컨텐츠를 분리할 수 있다. 파싱 엔진(640)은 숫자의 개수와 하이픈이 삽입되는 기재 방식에 기초하여 계좌번호를 나타내는 컨텐츠를 분리할 수 있다. 파싱 엔진(640)은 주어, 목적어, 술어의 문장의 관계 및 배열 순서에 기초한 corpus들을 분리할 수 있다. 이 경우, 파싱 엔진은 분리된 정보를 식별할 수 있도록 태그를 삽입할 수 있다. 이렇게 파싱된 각 정보들(650-1, 650-2, 650-3, 650-4, 650-5)을 토큰이라 칭한다. 토큰(650-1, 650-2, 650-3, 650-4, 650-5)은 어플리케이션 도메인(660)으로 전달된다. 어플리케이션 도메인(660)에는 기설정된 패턴의 제스처(610-1, 610-2, 610-3)와 매칭된 어플리케이션(670-1, 670-2, 670-3)이 포함된다. 예금주의 이름과 계좌번호가 요구되는 어플리케이션 1(670-1)에는 예금주를 나타내는 토큰(650-1)과 계좌번호를 나타내는 토큰(650-2)이 입력된다. 사진을 담은 토큰(650-4)과 사진의 장소를 나타내는 토큰(650-3)은 앨범 어플리케이션 2(670-2)에 입력된다. 토큰(650-5)은 출력되는 화면을 캡쳐한 스크린 샷 이미지로부터 영상 처리를 통해 사람의 얼굴을 인식하고 사람의 얼굴을 분리한 이미지를 나타낸다. 토큰(650-5)은 사진을 합성하는 어플리케이션 3(670-3)에 입력될 수 있다.
이상과 같은 컨텐츠를 파싱하는 처리는 어플리케이션의 기능을 수행하는데 요구되거나 적합한 정보를 선별하여 입력할 수 있다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 컨텐츠의 일부를 어플리케이션에 입력하는 일 예를 설명하기 위한 도면이다.
도 7a를 참조하면, 사용자 단말 장치(100)는 메신저 어플리케이션을 실행한 화면(710)을 표시한다. 메신저 어플리케이션은 특정 기능을 나타내는 심볼들, 메시지를 입력할 수 있는 입력란 등을 포함하는 그래픽 인터페이스를 제공한다.
화면(710)에는 상대방으로부터 수신한 메시지(730)가 표시된다. 메시지(730)는 회식비의 입금을 요청하는 내용과 함께 입금처를 나타내는 은행명, 예금주 및 계좌번호에 대한 정보가 텍스트 타입으로 기재되어 있다.
사용자 단말 장치(100)는 '\' 패턴의 터치 제스처(740)를 입력받는다. 입력된 터치 제스처(740)의 터치 지점이 화면(710)에 표시된다. 한편, 도 7의 실시예에서는 사용자 단말 장치(100)의 화면(710)에 일부 영역이 선택되지 않은 상태이다. 이 상태에서 바로 사용자 단말 장치(100)의 화면상에 기설정된 패턴(740)이 수신되면, 사용자 단말 장치(100)는 화면(710) 전체를 선택 영역으로 지정할 수 있다.
사용자 단말 장치(100)는 '\' 패턴에 대응하는 은행 어플리케이션의 예금 이체 기능을 실행한다.
도 7b를 참조하면, 사용자 단말 장치(100)는 대응하는 은행 어플리케이션을 실행한 화면(710)을 표시한다. 화면(710)은 실행된 은행 어플리케이션의 송금 기능을 위한 인터페이스(750) 및 각종 입력란에 입력된 컨텐츠들(760-1, 760-2, 760-1)을 포함한다.
사용자 단말 장치(100)는 은행 어플리케이션의 각 입력란을 채운다. 구체적으로, 사용자 단말 장치(100)는 기저장된 사용자의 자주 사용하는 계좌로부터 출금계좌번호를 입력할 수 있다. 사용자 단말 장치(100)는 선택 영역(710)의 메시지(760)로부터 송금 기능에 요구되는 입금은행, 입금계좌번호 및 입금금액을 추출한다. 도 6의 실시예에 따르면, 메시지(760)는 은행명 토큰, 계좌번호 토큰 및 입금액 토큰으로 파싱될 수 있다. 그리고, 파싱된 토큰의 정보는 입금은행, 입금계좌번호 및 입금금액을 입력하는 입력란에 입력될 수 있다. 입금은행, 임금계좌번호, 입금금액을 입력하는 입력란에는 수신된 메시지에 포함된 OO은행(760-1), 3234-3111551-53(760-2), 17,500(760-3)이 입력된다.
도 8a 내지 도 8g는 본 발명의 일 실시예에 따른 설정 화면을 도시하는 도면이다.
도 8a를 참조하면, 사용자 단말 장치(100)는 터치 제스처를 설정할 수 있는 화면(810)을 표시한다. 터치 제스처를 설정하는 인터페이스(815)는 터치 제스처 기능을 활성화하거나 비활성화하는 버튼 및 상세 설정을 위한 버튼(820)을 포함할 수 있다. 설정 버튼(820)을 선택하면 사용자 단말 장치(100)는 도 8b의 화면(810)을 표시한다.
도 8b를 참조하면, 제스처 등록 인터페이스는 신규 터치 제스처를 등록시킬 수 있는 제스처 설정 항목(825), 화면에 표시되는 터치 제스처의 획의 굵기를 설정할 수 있는 제스처 굵기 항목(830), 화면에 표시되는 터치 제스처의 색상을 설정할 수 있는 제스처 색 항목(835), 신규 터치 제스처 등록시 첫 번째 입력 제스처와 두 번째 입력 제스처의 유사도를 높게 설정하는 High Threshold 항목(840) 및 신규 등록되는 제스처의 다른 제스처와의 유사도를 설정하는 Low Threshold 항목(845)을 포함한다. 여기서, High Threshold 항목(840)의 유사도는 높게 설정될수록 첫 번째 제스처 입력 후 두 번째 입력되는 제스처를 정밀하게 입력해야 한다. 그리고, Low Threshold 항목(845)의 유사도는 낮게 설정될수록 새롭게 등록하고자 하는 터치 제스처가 기존에 등록된 제스처들과 패턴의 상한 정도가 커야한다. 신규 터치 제스처를 등록하기 위한 제스처 설정 항목(825)이 선택되면, 사용자 단말 장치(100)는 도 8c의 화면(810)을 표시한다.
도 8c를 참조하면, 사용자 단말 장치(100)는 새로운 패턴의 터치 제스처(850)를 입력받기 위한 화면(810)을 표시한다. 구체적으로, 사용자 단말 장치(100)는 제스처를 그릴 수 있는 바탕에 등록을 위한 안내문(860)을 표시한다. 도 8의 실시예에서, 신규 터치 제스처(850)는 '∨'패턴을 갖는다. 신규 제스처(850) 입력 후 기설정된 시간이 지나면, 사용자 단말 장치(100)는 도 8d의 화면(810)을 표시한다.
도 8d를 참조하면, 사용자 단말 장치(100)는 두 번째 터치 제스처를 입력받기 위한 화면(810)을 표시한다. 구체적으로, 사용자 단말 장치(100)는 첫 번째 입력된 제스처(850)의 색상 및 밝기를 어둡게 변경한 이전 제스처(850') 및 두 번째 제스처 입력을 위한 안내문(860')을 표시한다. '∨'패턴의 두 번째 제스처(870)가 입력된 화면(810)을 표시하는 사용자 단말 장치(100)가 도 8e에 도시된다. 사용자 단말 장치(100)는 두 번째 입력된 터치 제스처(870)가 첫 번째 입력된 제스처(850)의 패턴과 동일하다고 판단되면, 도 8f의 화면(810)을 표시한다.
도 8f를 참조하면, 사용자 단말 장치(100)는 어플리케이션의 기능을 나열한 리스트를 포함하는 화면(810)을 표시한다. 구체적으로, 사용자 단말 장치(100)는 웹 검색 기능을 나타내는 웹으로 검색하기 항목(880-1), 임시 저장 영역에 데이터를 복사하는 기능을 나타내는 클립보드로 복사하기 항목(880-2), 메신저로 선택 영역의 컨텐츠를 전송하는 기능을 나타내는 K로 보내기 항목(880-3) 및 소셜 미디어에 선택 영역의 컨텐츠를 게재하는 f로 공유하기 항목(880-4)를, 각 기능을 지원하는 어플리케이션 아이콘과 함께 표시한다. 사용자 단말 장치(100)는 사용자 단말 장치(100)에서 지원되는 기능들 중 대응되는 터치 제스처가 없는 기능만 표시할 수 있다. 클립보드로 복사하기 항목(880-2)이 선택되면, 사용자 단말 장치(100)는 도 8g의 화면(810)을 표시한다.
도 8g를 참조하면, 사용자 단말 장치(100)는 등록된 터치 제스처들과 이들에 대응하는 어플리케이션 기능들을 나열한 리스트를 포함하는 화면(810)을 표시한다. 구체적으로, 사용자 단말 장치(100)는 '∨' 패턴의 터치 제스처 및 클립보드로 복사하기 기능을 매칭한 첫 번째 항목(890-1), '?' 패턴의 터치 제스처 및 웹으로 검색하기 기능을 매칭한 두 번째 항목(890-2) 및 'K' 패턴의 터치 제스처 및 K로 보내기 기능을 매칭한 세 번째 항목(890-3)을 표시한다.
이상 설시한 바와 같은 사용자 인터페이스를 통해 어플리케이션 기능을 자동 실행하기 위한 터치 제스처를 사용자 단말 장치에 등록할 수 있다.
도 9는 본 발명의 일 실시예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 화면의 일부 영역이 선택된 상태에서 기설정된 패턴의 터치 제스처를 수신한다(S910) 구체적으로, 사용자 단말 장치는 터치 제스처를 수신하기에 앞서 화면의 일부 영역을 선택하는 입력을 수신할 수 있다. 그리고, 사용자 단말 장치는 일부 영역이 사용자에 의해 선택된 상태로 진입한다. 이후 사용자 단말 장치는 기존에 등록된 패턴에 따른 터치 제스처를 수신할 수 있다. 단계 S910의 영역을 선택하기 위한 입력 및 터치 제스처의 입력은 스타일러스 펜에 의해 이루어질 수 있다. 그리고, 단계 S910 이전에. 터치 제스처 및 터치 제스처에 대응되는 어플리케이션의 기능에 대한 정보가 기저장되는 단계가 더 포함될 수 있다. 사용자 단말 장치는 기저장된 정보에 기초하여 수신된 터치 제스처에 매칭되는 패턴을 판단하고, 매칭된 패턴에 대응하는 어플리케이션의 기능을 실행할 수 있다.
기저장된 터치 제스처는 도 8의 인터페이스에 따라 사용자가 등록한 터치 제스처일 수 있다. 일 실시예에서 사용자 단말 장치의 제어 방법은 패턴을 등록하기 위한 UI(User Interface) 화면을 디스플레이하는 단계 및 UI 화면 상에 입력된 패턴을 사용자에 의해 선택된 어플리케이션의 기능에 매칭시켜 저장하는 단계가 단계 S910 이전에 더 포함될 수 있다.
다음으로, 선택 영역에 포함된 컨텐츠를 이용하여 터치 제스처에 대응되는 어플리케이션의 기능을 수행한다(S920). 구체적으로, 사용자 단말 장치는 입력된 터치 제스처와 대응하는 어플리케이션의 기능을 판단하고, 어플리케이션에 선택된 영역으로부터 추출된 컨텐츠를 입력하여 어플리케이션의 기능을 실행할 수 있다. 사용자 단말 장치는 어플리케이션 기능에 따라 컨텐츠를 추출할 수 있다. 일 실시예에서 단계 S930은 어플리케이션의 기능을 실행하기 위해 이용 가능한 컨텐츠의 타입을 판단하는 단계를 포함할 수 있다. 사용자 단말 장치는 판단된 컨텐츠 타입에 기초한 선택 영역의 컨텐츠를 추출하고, 추출된 컨텐츠를 이용하여 어플리케이션의 기능을 실행할 수 있다.
다른 실시예에서 단계 S930은 선택된 영역에 포함된 컨텐츠 중에서 상기 어플리케이션의 기능을 실행하기 위해 요구되는 컨텐츠를 추출하는 단계를 포함할 수 있다. 사용자 단말 장치는 요구되는 컨텐츠만을 추출하여 추출된 컨텐츠로 터치 제스처에 대응되는 어플리케이션의 기능을 실행할 수 있다.
다른 실시예에서 단계 S930은 선택된 영역에 포함된 이미지를 분석하여 이미지에 포함된 오브젝트를 추출하는 단계를 포함할 수 있다. 사용자 단말 장치는 이미지를 구성하는 특정 대상을 추출하여 어플리케이션의 기능을 실행하기 위한 컨텐츠로 입력할 수 있다.
이상과 같은 사용자 단말 장치의 제어 방법은 탐색 중인 화면상의 정보에서 사용자의 제스처 입력만으로 한번에 정보의 입력 및 원하는 어플리케이션의 기능을 실행할 수 있는 편의성을 제공할 수 있다. 또한, 스타일러스 펜(130)에 의한 제스처 입력은 사용자에게 펜으로 그리는 듯한 느낌을 주면서, 스타일러스 펜의 유용성을 확장할 수 있다.
이상과 같은 일 실시예에 따른 제어 방법은 도 1 또는 도 2의 사용자 단말 장치에서 구현될 수 있다. 또한, 제어 방법은 다양한 유형의 기록매체에 저장되어 CPU 등에 의해 실행되는 프로그램 코드에 의해 구현될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.
그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
-
-

Claims (15)

  1. 사용자 단말 장치에 있어서,
    화면을 표시하는 터치 디스플레이; 및
    상기 화면상의 일부 영역이 선택된 상태에서 기설정된 패턴의 터치 제스처가 수신되면, 상기 선택된 영역에 포함된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 제어부;를 포함하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 일부 영역에 대한 선택 및 상기 터치 제스처는, 스타일러스 펜(stylus pen)에 의해 이루어지는 것을 특징으로 하는 사용자 단말 장치.
  3. 제1항에 있어서,
    상기 컨텐츠의 타입은,
    상기 선택된 영역에 포함된 이미지 및 텍스트 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 어플리케이션의 기능을 실행하기 위해 이용 가능한 컨텐츠의 타입을 판단하고, 상기 선택된 영역으로부터 상기 판단된 타입의 컨텐츠를 추출하고, 상기 추출된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 것을 특징으로 하는 사용자 단말 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 선택된 영역에 포함된 컨텐츠 중에서 상기 어플리케이션의 기능을 실행하기 위해 요구되는 컨텐츠를 추출하고, 상기 추출된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 것을 특징으로 하는 사용자 단말 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 선택된 영역에 포함된 이미지를 분석하여 상기 이미지에 포함된 오브젝트를 추출하고, 상기 추출된 오브젝트를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 것을 특징으로 하는 사용자 단말 장치.
  7. 제1항에 있어서,
    복수의 패턴 및 상기 복수의 패턴 각각에 대응되는 어플리케이션의 기능에 대한 정보를 저장한 저장부;를 더 포함하며,
    상기 제어부는,
    상기 복수의 패턴 중 상기 수신된 터치 제스처에 매칭되는 패턴을 판단하고, 상기 컨텐츠를 이용하여 상기 매칭된 패턴에 대응되는 어플리케이션의 기능을 실행하는 것을 특징으로 하는 사용자 단말 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    패턴을 등록하기 위한 UI(User Interface) 화면을 디스플레이하고, 상기 UI 화면 상에 입력된 패턴을 사용자에 의해 선택된 어플리케이션의 기능에 매칭시켜 상기 저장부에 저장하는 것을 특징으로 하는 사용자 단말 장치.
  9. 화면을 표시하는 터치 디스플레이를 구비한 사용자 단말 장치의 제어 방법에 있어서,
    상기 화면상의 일부 영역이 선택된 상태에서 기설정된 패턴의 터치 제스처를 수신하는 단계; 및
    상기 선택된 영역에 포함된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 단계;를 포함하는 제어 방법.
  10. 제9항에 있어서,
    상기 일부 영역에 대한 선택 및 상기 터치 제스처는, 스타일러스 펜(stylus pen)에 의해 이루어지는 것을 특징으로 하는 제어 방법.
  11. 제9항에 있어서,
    상기 컨텐츠의 타입은,
    상기 선택된 영역에 포함된 이미지 및 텍스트 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  12. 제9항에 있어서,
    상기 실행하는 단계는,
    상기 어플리케이션의 기능을 실행하기 위해 이용 가능한 컨텐츠의 타입을 판단하는 단계;
    상기 선택된 영역으로부터 상기 판단된 타입의 컨텐츠를 추출하는 단계; 및
    상기 추출된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  13. 제9항에 있어서,
    상기 실행하는 단계는,
    상기 선택된 영역에 포함된 컨텐츠 중에서 상기 어플리케이션의 기능을 실행하기 위해 요구되는 컨텐츠를 추출하는 단계; 및
    상기 추출된 컨텐츠를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  14. 제9항에 있어서,
    상기 실행하는 단계는,
    상기 선택된 영역에 포함된 이미지를 분석하여 상기 이미지에 포함된 오브젝트를 추출하는 단계; 및
    상기 추출된 오브젝트를 이용하여 상기 터치 제스처에 대응되는 어플리케이션의 기능을 실행하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  15. 제9항에 있어서,
    복수의 패턴 및 상기 복수의 패턴 각각에 대응되는 어플리케이션의 기능에 대한 정보를 기저장하는 단계;를 더 포함하고,
    상기 실행하는 단계는,
    상기 복수의 패턴 중 상기 수신된 터치 제스처에 매칭되는 패턴을 판단하는 단계; 및
    상기 컨텐츠를 이용하여 상기 매칭된 패턴에 대응되는 어플리케이션의 기능을 실행하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
PCT/KR2016/007210 2015-08-07 2016-07-05 사용자 단말 장치 및 이의 제어 방법 WO2017026655A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/744,311 US20180203597A1 (en) 2015-08-07 2016-07-05 User terminal device and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150111707A KR20170017572A (ko) 2015-08-07 2015-08-07 사용자 단말 장치 및 이의 제어 방법
KR10-2015-0111707 2015-08-07

Publications (1)

Publication Number Publication Date
WO2017026655A1 true WO2017026655A1 (ko) 2017-02-16

Family

ID=57984374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/007210 WO2017026655A1 (ko) 2015-08-07 2016-07-05 사용자 단말 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US20180203597A1 (ko)
KR (1) KR20170017572A (ko)
WO (1) WO2017026655A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600521A (zh) * 2018-03-30 2018-09-28 联想(北京)有限公司 一种信息处理方法、装置及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054699A (ko) * 2018-11-12 2020-05-20 삼성전자주식회사 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법
KR20200113522A (ko) * 2019-03-25 2020-10-07 삼성전자주식회사 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
KR20210017098A (ko) * 2019-08-06 2021-02-17 삼성전자주식회사 전자 장치 및 전자 장치의 어플리케이션 서비스 제공 방법
JP2021117766A (ja) * 2020-01-27 2021-08-10 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050118A1 (en) * 2011-08-29 2013-02-28 Ebay Inc. Gesture-driven feedback mechanism
KR20140026966A (ko) * 2012-08-24 2014-03-06 삼성전자주식회사 펜 기능 운용 방법 및 시스템
KR20150009488A (ko) * 2014-09-18 2015-01-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20150052431A1 (en) * 2013-02-01 2015-02-19 Junmin Zhu Techniques for image-based search using touch controls
KR20150059517A (ko) * 2013-11-22 2015-06-01 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5523775A (en) * 1992-05-26 1996-06-04 Apple Computer, Inc. Method for selecting objects on a computer display
US6979087B2 (en) * 2002-10-31 2005-12-27 Hewlett-Packard Development Company, L.P. Display system with interpretable pattern detection
US8638363B2 (en) * 2009-02-18 2014-01-28 Google Inc. Automatically capturing information, such as capturing information using a document-aware device
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
US20100185949A1 (en) * 2008-12-09 2010-07-22 Denny Jaeger Method for using gesture objects for computer control
CN101810468B (zh) * 2009-02-20 2012-11-14 西门子公司 减少磁共振温度测量误差的方法
WO2010138568A2 (en) * 2009-05-28 2010-12-02 Kent Displays Incorporated Writing tablet information recording device
US8520983B2 (en) * 2009-10-07 2013-08-27 Google Inc. Gesture-based selective text recognition
US20110231796A1 (en) * 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
EP2375316B1 (en) * 2010-04-06 2019-11-27 Lg Electronics Inc. Mobile terminal and controlling method thereof
EP2641145A4 (en) * 2010-11-20 2017-05-03 Nuance Communications, Inc. Systems and methods for using entered text to access and process contextual information
US10013152B2 (en) * 2011-10-05 2018-07-03 Google Llc Content selection disambiguation
JP5942477B2 (ja) * 2012-02-29 2016-06-29 富士ゼロックス株式会社 設定装置及びプログラム
US9916396B2 (en) * 2012-05-11 2018-03-13 Google Llc Methods and systems for content-based search
CN102739873B (zh) * 2012-07-13 2017-01-18 上海触乐信息科技有限公司 便携式终端设备滑行操作辅助信息输入控制功能的系统及方法
KR20140008985A (ko) * 2012-07-13 2014-01-22 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 방법
US9645717B2 (en) * 2012-09-05 2017-05-09 Sap Portals Israel Ltd. Managing a selection mode for presented content
US20140218343A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Stylus sensitive device with hover over stylus gesture functionality
US20140223382A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Z-shaped gesture for touch sensitive ui undo, delete, and clear functions
US9367161B2 (en) * 2013-03-11 2016-06-14 Barnes & Noble College Booksellers, Llc Touch sensitive device with stylus-based grab and paste functionality
US9785240B2 (en) * 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US10360297B2 (en) * 2013-06-14 2019-07-23 Microsoft Technology Licensing, Llc Simplified data input in electronic documents
TW201501016A (zh) * 2013-06-18 2015-01-01 Acer Inc 資料搜尋方法與其電子裝置
KR101474467B1 (ko) * 2013-07-09 2014-12-19 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6403368B2 (ja) * 2013-09-13 2018-10-10 京セラ株式会社 携帯端末、画像検索プログラムおよび画像検索方法
US10990267B2 (en) * 2013-11-08 2021-04-27 Microsoft Technology Licensing, Llc Two step content selection
US9841881B2 (en) * 2013-11-08 2017-12-12 Microsoft Technology Licensing, Llc Two step content selection with auto content categorization
US20150169214A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Graphical input-friendly function selection
US9916328B1 (en) * 2014-07-11 2018-03-13 Google Llc Providing user assistance from interaction understanding
KR20160021524A (ko) * 2014-08-18 2016-02-26 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101724143B1 (ko) * 2014-09-05 2017-04-06 네이버 주식회사 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
KR20160047273A (ko) * 2014-10-22 2016-05-02 엘지전자 주식회사 와치 타입 단말기
JP6393230B2 (ja) * 2015-04-20 2018-09-19 株式会社日立製作所 オブジェクト検出方法及び画像検索システム
EP3610391A1 (en) * 2017-04-11 2020-02-19 Engage by Hide Park, LLC System and graphical interface for diamond selection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050118A1 (en) * 2011-08-29 2013-02-28 Ebay Inc. Gesture-driven feedback mechanism
KR20140026966A (ko) * 2012-08-24 2014-03-06 삼성전자주식회사 펜 기능 운용 방법 및 시스템
US20150052431A1 (en) * 2013-02-01 2015-02-19 Junmin Zhu Techniques for image-based search using touch controls
KR20150059517A (ko) * 2013-11-22 2015-06-01 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20150009488A (ko) * 2014-09-18 2015-01-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600521A (zh) * 2018-03-30 2018-09-28 联想(北京)有限公司 一种信息处理方法、装置及电子设备

Also Published As

Publication number Publication date
US20180203597A1 (en) 2018-07-19
KR20170017572A (ko) 2017-02-15

Similar Documents

Publication Publication Date Title
WO2017026655A1 (ko) 사용자 단말 장치 및 이의 제어 방법
WO2015088263A1 (ko) 터치 입력의 압력 상태에 따라 동작하는 전자 장치 및 그 방법
WO2014011009A1 (en) Portable terminal using touch pen and handwriting input method using the same
WO2014073825A1 (en) Portable device and control method thereof
WO2014163330A1 (en) Apparatus and method for providing additional information by using caller phone number
WO2015105271A1 (en) Apparatus and method of copying and pasting content in a computing device
WO2013191450A1 (en) Information display apparatus and method of user device
WO2014030934A1 (en) Method for operation of pen function and electronic device supporting the same
WO2015030461A1 (en) User device and method for creating handwriting content
WO2013133478A1 (en) Portable device and control method thereof
WO2012036327A1 (ko) 이동 통신 단말기에서의 스케쥴 표시 방법 및 장치
WO2012153914A1 (en) Method and apparatus for providing graphic user interface having item deleting function
WO2013094896A1 (en) Method and apparatus for managing message
EP2442214A1 (en) Electronic device, gesture processing method, and gesture processing program
CN102981748A (zh) 信息处理终端和方法、程序以及记录介质
WO2017209568A1 (ko) 전자 장치 및 그의 동작 방법
WO2018004200A1 (en) Electronic device and information providing method thereof
WO2016085186A1 (en) Electronic apparatus and method for displaying graphical object thereof
WO2014054861A1 (en) Terminal and method for processing multi-point input
EP3133479A1 (en) Element deleting method and apparatus based on touch screen
WO2015072803A1 (ko) 단말기 및 단말기의 제어 방법
WO2013005901A1 (en) Apparatus and method for inputting character on touch screen
JP2017200119A (ja) 画像処理装置及び画像処理システム
CN102346625A (zh) 一种移动终端及其搜索方法
WO2019107799A1 (ko) 입력 필드의 이동 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16835296

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15744311

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16835296

Country of ref document: EP

Kind code of ref document: A1