WO2020101215A1 - 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법 - Google Patents

전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법 Download PDF

Info

Publication number
WO2020101215A1
WO2020101215A1 PCT/KR2019/014158 KR2019014158W WO2020101215A1 WO 2020101215 A1 WO2020101215 A1 WO 2020101215A1 KR 2019014158 W KR2019014158 W KR 2019014158W WO 2020101215 A1 WO2020101215 A1 WO 2020101215A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
electronic pen
mode
touch screen
area
Prior art date
Application number
PCT/KR2019/014158
Other languages
English (en)
French (fr)
Inventor
권호범
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2020101215A1 publication Critical patent/WO2020101215A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Definitions

  • the present invention relates to a device including a touch screen for receiving a touch input by an electronic pen, and a method of operation thereof.
  • the present invention relates to a device and a method of operating the electronic pen, which can easily and repeatedly process a specific operation by extending and setting a function of the electronic pen provided by the device.
  • the user terminal may be configured to perform various functions. Examples of such various functions include a data and voice communication function, a function for taking a picture or video through a camera, a voice storage function, a music file playback function through a speaker system, and an image or video display function.
  • various functions include a data and voice communication function, a function for taking a picture or video through a camera, a voice storage function, a music file playback function through a speaker system, and an image or video display function.
  • Some user terminals include additional functions to play the game, and some other user terminals are implemented as multimedia devices.
  • Some user terminals are implemented as multimedia devices.
  • the development and use of various applications are increasing. Accordingly, there is a need for a system that allows a user to easily and easily operate an application.
  • the user terminal may include a touch screen capable of receiving a touch input by a touch tool (eg, electronic pen, finger, etc.).
  • the touch screen can function as an output device and an input device by forming a layer structure between the touch panel and the display.
  • a user terminal it is required to simply and repeatedly process an operation desired by a user for a displayed image.
  • a method of operating a device including a touch screen includes: selecting a first mode among a plurality of operation modes of an electronic pen; Selecting a first area of a screen displayed on the touch screen based on a first touch input of the electronic pen to the touch screen; Obtaining a first image included in the first region; And outputting a result of processing the first image based on the first mode.
  • the at least one processor is a first among a plurality of operating modes of the electronic pen. Select a mode, select a first area of the screen displayed on the touch screen based on the first touch input of the electronic pen to the touch screen, and obtain a first image included in the first area And, based on the first mode, a result of processing the first image may be output.
  • a computer program product comprising one or more computer-readable recording media storing a program for performing a method of operating a device including a touch screen according to an embodiment of the present disclosure, wherein the method of operating the device comprises: , Selecting a first mode among a plurality of operation modes of the electronic pen; Selecting a first area of a screen displayed on the touch screen based on a first touch input of the electronic pen to the touch screen; Obtaining a first image included in the first region; And outputting a result of processing the first image based on the first mode.
  • 1 is a view for explaining a method of selecting a partial area on a touch screen of a device using an electronic pen.
  • FIGS. 2A and 2B show a block diagram of a device according to an embodiment.
  • FIG. 3 is a block diagram of a processor according to an embodiment.
  • FIG. 4 shows an example of a system including an electronic pen and a device, according to one embodiment.
  • FIG. 5 is a flowchart of a method of operating a device according to an embodiment.
  • GUI graphical user interface
  • FIG. 7 illustrates an example of a GUI for adding an operation mode of an electronic pen according to an embodiment.
  • 8A and 8B illustrate a specific example in which a device outputs an image processing result according to an embodiment.
  • FIG. 9 illustrates an example of a GUI for selecting a method in which a device outputs an image processing result for a fixed selection area according to an embodiment.
  • 10A and 10B illustrate a specific example in which a device outputs a translation result of text extracted from an image according to an embodiment.
  • 11A to 11C illustrate examples of a GUI for setting an application that a device can execute based on an application execution mode according to an embodiment.
  • FIG. 12 is a flowchart of a method of operating a device according to an embodiment.
  • a method of operating a device including a touch screen includes: selecting a first mode among a plurality of operation modes of an electronic pen; Selecting a first area of a screen displayed on the touch screen based on a first touch input of the electronic pen to the touch screen; Obtaining a first image included in the first region; And outputting a result of processing the first image based on the first mode.
  • Some embodiments may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented with various numbers of hardware and / or software configurations that perform particular functions.
  • the functional blocks of the present disclosure can be implemented by one or more microprocessors, or by circuit configurations for a given function.
  • functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks can be implemented with algorithms running on one or more processors.
  • the present disclosure may employ conventional techniques for electronic environment setting, signal processing, and / or data processing. Terms such as “module” and “configuration” can be used widely, and are not limited to mechanical and physical configurations.
  • connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • 1 is a view for explaining a method of selecting a partial area on a touch screen of a device using an electronic pen.
  • the electronic device 10 having the touch screen 11 may be operated by a touch input by a touch tool such as an electronic pen 20 or a finger.
  • a touch tool such as an electronic pen 20 or a finger.
  • the electronic device 10 recognizes the touch input by the electronic pen 20 and the touch input by a finger in the same manner.
  • the device 10 may execute an application corresponding to the icon.
  • the device 10 may execute an application corresponding to the icon.
  • the device 10 may perform a predetermined operation in the corresponding application.
  • the device 10 can provide the translation result to the user through the following various steps.
  • the device executes an application that provides a translation function based on user input.
  • the device provides an interface for selecting some area in the screen based on user input.
  • the provided interface may be provided in the execution screen of the application being executed.
  • the device selects some area in the screen based on the user input.
  • the device extracts text from the image included in the selected area based on the user input and outputs a result of translating the extracted text.
  • the user must operate the device to execute an application that performs the corresponding action each time in order to cause the device to perform a desired action. For example, if a user wants to use a specific function for a screen while using various applications of the device, the user needs to cause an application providing the corresponding function to be additionally executed. In addition, the user has the inconvenience of selecting a portion of the screen within the execution screen of the additionally executed application and manipulating the device to perform a specific function on the image included in the selected region.
  • the device and the method of operating the device enable the user to set an extended function of the electronic pen, so that the user can more conveniently manipulate the device to repeatedly perform a specific operation. do.
  • FIGS. 2A and 2B show a block diagram of a device according to an embodiment.
  • the device according to an embodiment may be a user terminal device.
  • the device according to an embodiment includes a TV, a refrigerator, a household appliance such as a washing machine, a smartphone, a PC, a wearable device, a personal digital assistant (PDA), a media player, a micro server, and a global positioning system (GPS) device.
  • PDA personal digital assistant
  • E-book terminal digital broadcasting terminal, navigation, kiosk, MP3 player, digital camera and other mobile or non-mobile computing devices, but is not limited thereto.
  • the device 200 may include a touch screen 210 and a processor 220.
  • the device 200 may be implemented by more than all of the components shown in FIG. 2A.
  • the device 200 according to an embodiment may include at least one of the communication unit 230, the memory 240, the A / V input unit 250, and the input / output unit 270. It may further include.
  • the device is illustrated as including one processor, but the embodiment is not limited thereto, and the device may include a plurality of processors.
  • the operation of the processor described below may be divided and performed by the plurality of processors.
  • the touch screen 210 may display information processed by the device 200 and detect a touch on the touch screen 210.
  • the touch screen 210 may include a display module and a touch pad in a layer structure, and may be used as output devices and input devices.
  • the touch screen 210 may receive a touch input by a finger or a touch tool (for example, an electronic pen, etc.).
  • the touch screen 210 may be configured to detect a touch pressure as well as a location on the screen on which the touch input is received, a touched area. Further, the touch screen 210 may be configured to detect not only a real-touch but also a proximity touch.
  • touch real-touch
  • proximity-touch means that a pointer is actually touched on the screen. It does not mean that it is approached at a certain distance from the screen.
  • a pointer refers to a tool for touching or proximity touching a specific portion of the displayed screen. Examples include stylus fans and fingers.
  • the display module includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a 3D display.
  • Electrophoretic display may include at least one.
  • the device 200 may include two or more touch screens 210.
  • the processor 220 may control the overall operation of the device 200.
  • the processor 220 may select a partial area on the screen based on the touch input of the electronic pen, and perform an operation corresponding to a preset operation mode for the image included in the selected area.
  • the process in which the processor 220 operates will be described in detail.
  • the processor 220 may select an operation mode of the electronic pen.
  • the operation mode of the electronic pen may mean an operation mode of the device 200 that causes the device 200 to perform a specific operation based on the touch input of the electronic pen.
  • the operation mode of the electronic pen may include at least one of a translation mode, an image recognition mode, an application execution mode, and a floating image mode for a selected image based on the touch input of the electronic pen.
  • the translation mode may mean a state in which the device 200 extracts text from an image included in an area selected by the electronic pen and translates the extracted text.
  • the image recognition mode may mean a state in which the device 200 extracts a keyword related to an object represented by the image and outputs information related to the extracted keyword by analyzing the image.
  • the application execution mode may mean a state in which the device 200 can extract an icon or text included in an image, and execute an application corresponding to the extracted icon or text.
  • the floating image mode may mean a state in which the device 200 can display the selected image on the top of the screen. In the floating image mode, the device 200 may display the selected image on the top of the screen even when the screen displayed on the touch screen 210 is changed.
  • the processor 220 may select a first mode among a plurality of operation modes of the electronic pen.
  • the processor 220 may select the first mode based on a user input for selecting the first mode among a plurality of operation modes of the electronic pen.
  • the touch screen 210 may display a list in which a plurality of operation modes of the electronic pen are listed.
  • the processor 220 may select the first mode based on a user input selecting one of a plurality of operation modes listed on the list.
  • the touch screen 210 may display a GUI for selecting a method of displaying a result of processing an image by the processor 220.
  • the device 200 may select a method in which the result of processing the image is always displayed on the top of the screen, or a method in which the result of processing the image is displayed through a separate external device.
  • the processor 220 may select a method of displaying a result of processing an image based on user input to the GUI.
  • the processor 220 may select at least a part of a screen displayed on the touch screen 210 based on the touch input of the electronic pen to the touch screen 210.
  • the processor 220 may select a first area of the screen displayed on the touch screen 210 based on the first touch input of the electronic pen to the touch screen 210.
  • the processor 220 may acquire an image included in the selected region.
  • the processor 220 may acquire a first image included in the first area of the screen.
  • the processor 220 may output a result of processing the first image based on an operation mode selected from a plurality of operation modes of the electronic pen. For example, when the processor 220 selects the first mode, the processor 220 may output a result of processing the first image based on the first mode. For example, the processor 220 extracts the text extracted from the first image, translates the extracted text, or analyzes the first image to extract keywords related to the object represented by the first image, and extracts the extracted keywords and Related information can be output.
  • the processor 220 may maintain a selected area on the screen.
  • the processor 220 may maintain the selected area on the screen for a predetermined time or until a user input for canceling the selection is received. Maintaining the selected region may mean that the processor 220 repeatedly performs an operation of acquiring an image and processing the acquired image for one selected region.
  • the processor 220 may acquire a second image included in the selected first area when the screen displayed on the touch screen is changed.
  • the processor 220 may output a result of processing the second image based on the selected first mode.
  • the processor 220 when the processor 220 selects a translation mode as an operation mode of the electronic pen, the processor 220 repeatedly performs a translation operation on a region selected by a user for a location on a screen on which a subtitle of a movie is displayed. Can be.
  • the processor 220 when the subtitle content of the movie changes, the processor 220 according to an embodiment additionally acquires an image included in the selected region, extracts text from the additionally acquired image, translates the extracted text, and translates the result Can output Therefore, the device 200 according to an embodiment automatically repeats a user-desired operation even if a user selects a corresponding area and inputs a text-extracting command whenever the content of the subtitle of the movie changes. It can be done.
  • the processor 220 may maintain a selected operation mode.
  • the processor 220 may maintain the selected operation mode for a predetermined time or until a user input for canceling the selection is received. Maintaining the selected operation mode may mean that the processor 220 performs an operation of processing an image included in the newly selected region based on the previously selected operation mode.
  • the processor 220 may select a first mode among a plurality of operation modes of the electronic pen and maintain the selected first mode.
  • the processor 220 may obtain a first image included in a first area selected based on the first touch input of the electronic pen.
  • the processor 220 may output a result of processing the first image based on the first mode.
  • the processor 220 may acquire an additional image included in the selected area based on the additional touch input of the electronic pen.
  • the processor 220 may output a result of processing the additional image based on the first mode. That is, while the selected first mode is maintained, the processor 220 may acquire a third image included in the second area selected based on the second touch input of the electronic pen.
  • the processor 220 may output a result of processing the third image based on the first mode.
  • the processor 220 when the processor 220 selects an image recognition mode as an operation mode of the electronic pen, the processor 220 repeatedly performs an operation of processing an image included in the newly selected region based on the image recognition mode.
  • the processor 220 analyzes a partial image of a selected region based on a touch input of an electronic pen that selects a region including one object among a plurality of objects represented by an image displayed on the screen A keyword indicating what the selected object is can be displayed. Then, while the selected image recognition mode is maintained, the processor 220 analyzes the partial image of the selected region based on the touch input of the electronic pen that selects the region including the other object to determine what the selected object is.
  • the keywords to be displayed can be additionally output. Accordingly, if image recognition for several objects is required, the device 200 according to an embodiment may be a user even if a command for selecting an image recognition mode for each object, selecting an area, and performing image recognition is not input. Can automatically and repeatedly perform the desired action.
  • the device 200 further includes at least one of the communication unit 230, the memory 240, the A / V input unit 250, and the input / output unit 270. can do.
  • the device 200 may include the communication unit 230.
  • the communication unit 230 may communicate with an external device, an electronic pen, or a server through wired communication or wireless communication.
  • the communication unit 230 may receive a signal for a user input input to the electronic pen from the electronic pen.
  • the communication unit 230 may transmit the result of processing the image by the processor 220 to an external device.
  • the communication unit 230 may include a short-range communication module, a wired communication module, a mobile communication module, a broadcast receiving module, and the like.
  • the communication unit 230 may communicate with an electronic pen through a short-range wireless communication method such as Bluetooth.
  • the processor 220 may select an operation mode of the electronic pen based on a user input signal received from the electronic pen. For example, the processor 220 may select a first mode among a plurality of operation modes based on a signal received from the electronic pen.
  • the device 200 may include a memory 240.
  • the memory 240 may store a program for processing and control of the processor 220, and may store input / output data (eg, an application, UI description of an application, content, etc.).
  • input / output data eg, an application, UI description of an application, content, etc.
  • the memory 240 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , It may include at least one type of storage medium of the optical disk. Further, the device 200 may operate a web storage that performs a storage function of the memory 240 on the Internet.
  • the memory 240 may store an image included in an area of a screen selected by the processor 220.
  • the memory 240 may store the first image included in the first area of the screen displayed on the selected touch screen 210 based on the first touch input of the electronic pen.
  • the processor 220 may store information on the source of the image together in storing the image included in the selected screen area in the memory 240.
  • the processor 220 may acquire information about which application of the stored image is based on at least one application executed by the device 200.
  • the processor 220 may match the acquired information with the first image and store it in the memory 240.
  • the processor 220 may display an execution screen on which a plurality of applications are being executed on the touch screen 210.
  • the processor 220 may select a first area of the screen displayed on the touch screen based on the touch input of the electronic pen. At this time, the first area may be included in the execution screen of the first application among the plurality of applications.
  • the processor 220 may obtain information that the first image included in the first area is based on the first application.
  • the processor 220 may match the acquired information with the first image and store it in the memory 240.
  • the processor 220 generally controls the overall operation of the device 200.
  • the processor 220 may overall control the components of the device 200 by executing programs stored in the memory 240.
  • the A / V (Audio / Video) input unit 250 is for inputting a video signal or an audio signal, and may include a microphone 251 and a camera 252.
  • the camera 252 may obtain an image frame such as a still image or a video.
  • the microphone 251 receives external sound signals and processes them as electrical voice data.
  • the microphone 251 may receive an acoustic signal from an external device or speaker.
  • the input / output unit 270 may include a user input unit through which a user inputs data for controlling the device 200 and an output unit outputting a signal processed by the device 200 to the user.
  • the user input includes a button 271, a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive film type, infrared sensing type, surface ultrasonic conduction type, Integral tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the output unit is for outputting an audio signal, a video signal, or a vibration signal, and may include a display unit, a speaker 273, and the like.
  • the input / output unit 270 may include a touch screen 210, and the display unit and the touch pad may be configured as a touch screen 210 by forming a layer structure.
  • the touch screen 210 may include both functions of an input device and an output device.
  • the device 200 may process an image included in a selected area based on a touch input of an electronic pen based on a predetermined operation mode.
  • FIG. 3 is a block diagram of a processor 220 included in a device 200 according to an embodiment. Some or all of the blocks shown in FIG. 3 may be implemented in hardware and / or software configurations that perform specific functions. The functions performed by the blocks shown in FIG. 3 may be implemented by one or more microprocessors, or may be implemented by circuit configurations for the corresponding functions. Some or all of the blocks illustrated in FIG. 3 may be software modules configured in various programming languages or script languages executed in the processor 220.
  • the selection controller 302 may acquire an image included in the selected area.
  • the region selection controller 302 may store the acquired image in the buffer of the region selection controller 302 or in the memory 240.
  • the action handler 303 may check a preset operation mode, and perform an operation corresponding to the preset operation mode.
  • the action handler 303 may set an operation mode based on a user input to a GUI menu provided by the device 200.
  • the GUI menu for setting the operation mode may include at least one of a translation mode, an image recognition mode, an application execution mode, and a floating image mode.
  • the action handler 303 may extract text from an image included in the selected region and translate the extracted text into a specific language.
  • the processor 220 may include a language translator 306 that translates the extracted text.
  • the embodiment is not limited thereto, and the processor 220 may transmit the extracted text to the external device or the external server, and receive the translated text result from the external device or the external server.
  • the action handler 303 may perform translation on the selected area using artificial intelligence.
  • the action handler 303 analyzes an image included in the selected region and recognizes an object representing the image. Can print The action handler 303 may extract a keyword related to an object represented by the image by analyzing the image included in the selected region. The action handler 303 may output information related to the extracted keyword. For example, the action handler 303 may perform image recognition using artificial intelligence on the selected area.
  • the processor 220 may include an object detector 307 for recognizing which object the image represents. However, embodiments are not limited thereto, and the processor 220 may transmit an image to an external device or an external server, and receive a result of the image recognition from the external device or an external server.
  • the action handler 303 may display the image included in the selected area on the screen for a predetermined time.
  • the action handler 303 may process an image included in the selected region as a floating image.
  • the floating image may mean an image displayed on the top of the device 200 for a predetermined time (or until a specific user input instructing to cancel the floating image is received) even when the screen of the device 200 is changed or a user input is received.
  • the processor 220 may include a selected image shower 308 that processes an image included in the selected region as a floating image.
  • the action handler 303 may execute an application matching the image or perform a function matching the image based on the image included in the selected region.
  • the processor 220 may include at least one application 310.
  • the action handler 303 may execute a specific application or a specific function based on an image included in the selected area. For example, when an image representing a battery displayed on the top of the screen is selected by the electronic pen, the action handler 303 may execute an application or menu associated with the selected image. For example, the action handler 303 may display a menu displaying a battery state and / or a power saving menu (or a power saving application).
  • the processor 220 may include an image based app launcher 309 that executes an application associated with the selected image.
  • the application information query management unit (App Info Query Manager) 305 the processing result for the action performed by the action handler (Action handler) 303 based on the selected image (for example, JSON or XML format results) Can receive.
  • the application information query manager 305 may obtain information on an application that provides a processing result received from the action handler 303 and a selected image.
  • the application information query management unit (App Info Query Manager) 305 when an area is selected by a touch of an electronic pen, queries which application is in a running state, so that an application including an image included in the selected area is displayed. It is possible to obtain information on whether it is based on.
  • the operation result handler 304 may select an object to output a result of performing an operation corresponding to the set operation mode by the action handler 303. For example, a result of processing an image included in the selected area is displayed within a selected area of the touch screen 210, displayed around a selected area of the touch screen 210, or displayed on another display of the device 200. It may be displayed on, or output to an external device connected to the device 200.
  • the action result handler 304 may output a result of processing the image to another device (eg, a smart watch, smart glasses, etc.) linked with the device 200.
  • the output result can be visually displayed or stored in a database or memory.
  • the processor 220 may include an operating system 300 that controls the device 200 and provides a basic environment for execution of an application.
  • FIG. 4 shows an example of a system including an electronic pen and a device, according to one embodiment.
  • the user of the device 200 can set the operation mode of the electronic pen. For example, the user may select at least one operation mode among a plurality of operation modes based on the GUI provided by the device 200.
  • the device 200 and the electronic pen 400 may be connected through a wireless communication method such as Bluetooth.
  • the device 200 may determine an operation mode of the electronic pen based on a user input to the electronic pen 201 or a user input to a setting menu provided by the device 200.
  • the operation mode of the electronic pen 400 is a general mode in which the touch by the electronic pen is recognized as the touch by another touch tool, and a specific area is selected based on the touch by the electronic pen and preset for the selected area It may include an extended mode to perform the operation.
  • the extended mode may include at least one of a translation mode, an image recognition mode, an application execution mode, and a floating image mode, and overlapping descriptions are omitted.
  • the device 200 may disable a function of recognizing the touch by the electronic pen as the touch by other touch tools. Can be.
  • the device 200 determines the operation mode of the electronic pen 400 as an extended mode, the device 200 selects a touch by the electronic pen to select an area on the screen and process a specific operation for the selected area As can be recognized. Even if the device 200 determines an operation mode of the electronic pen 400 as an extended mode, touch by a touch tool (eg, a finger) other than the electronic pen 400 is still recognized as a simple touch input. have.
  • a touch tool other than the electronic pen 400 may be used as an auxiliary tool to assist in a specific operation performed by the touch of the electronic pen 400.
  • the device 200 may select an operation mode of the electronic pen based on a user input input to the electronic pen 400.
  • the device 200 may receive a signal for a user input from the electronic pen 400 and select an operation mode of the electronic pen based on the received signal.
  • the device 200 may change the operation mode of the electronic pen 400 from a previously set operation mode to another operation mode.
  • the device 200 may select an operation mode based on the number of times or the time the user presses the button 430.
  • the color, brightness, number of flashes, or flashing interval of the LED 410 may be changed. Therefore, the user can confirm the selected operation mode through the LED 410.
  • the device 200 may display which operation mode is selected on the touch screen 210.
  • user input may be input to the electronic pen 400 by various methods.
  • a portion of the electronic pen 400 may be configured to be rotated by the user.
  • the user may select an operation mode of the electronic pen 400 by rotating a portion of the electronic pen 400.
  • the device 200 may receive a signal for a user input from the electronic pen 400 and select an operation mode of the electronic pen based on the received signal.
  • the operation mode of the electronic pen 400 when the operation mode of the electronic pen 400 is selected as the normal mode, handwritten content or the like may be input by a touch by the electronic pen 400.
  • the operation mode of the electronic pen 400 when the operation mode of the electronic pen 400 is selected as an extended mode, the device 200 selects an area on the screen by a touch by the electronic pen 400 and performs a preset operation on the selected area can do.
  • the device 200 may select an area on the touch screen 210 based on various touch gestures of the electronic pen 400. For example, the device 200 may select the rectangular area 403 based on the drag touch from the point 401 to the point 402. Alternatively, an area may be selected based on a predetermined touch gesture (for example, "," in FIG. 4) that designates both corners 404 and 405 of the rectangular area. Alternatively, various types of regions 407 may be selected based on a user's drag touch.
  • FIG. 5 is a flowchart of an operation method of a device 200 including a touch screen 210 according to an embodiment.
  • the device 200 may select an operation mode of the electronic pen.
  • the device 200 may select a first mode among a plurality of operation modes of the electronic pen.
  • the device 200 selects the first mode based on a user input that displays a list in which a plurality of operation modes are listed and selects one of a plurality of operation modes listed on the list. Can be.
  • the device 200 displays a GUI for selecting a method of displaying a result of processing an image, and a method of displaying a result of processing an image based on a user input to the GUI. You can choose.
  • the device 200 may select an operation mode based on a user input input to a wirelessly connected electronic pen. For example, the device 200 may receive a user input from an electronic pen and select a first mode among a plurality of operation modes based on the received signal.
  • FIG. 6 illustrates an example of a GUI for selecting an operation mode of the electronic pen according to an embodiment.
  • the device 200 may display a menu 601 for receiving a user input for selecting an operation mode of the electronic pen through the touch screen 210.
  • the device 200 may operate in conjunction with at least one service selected by a user among services listed on the menu 601 and an image selected by the electronic pen.
  • the “Translation” item included in the menu 601 may be an item for selecting a translation mode that performs translation based on an image selected by the touch of an electronic pen.
  • the “Object Recognition” item included in the menu 601 may be an item for selecting an image recognition mode for recognizing an object represented by the image selected by the touch of the electronic pen.
  • the “Sticky Image Memo” item included in the menu 601 may be an item for selecting a floating image mode in which the image selected by the touch of the electronic pen is fixedly displayed on the screen.
  • the “People Recognition” and “Animal Recognition” items included in the menu 601 are items for selecting a person recognition mode for recognizing a person represented by an image selected by a touch of an electronic pen and an animal recognition mode for recognizing animals, respectively.
  • Can be The “Image to App Launch” item included in the menu 601 may be an item for selecting an application execution mode for executing an application based on an image selected by a touch of an electronic pen.
  • the device 200 may recognize the image selected by the touch of the electronic pen and execute a related application based on the recognition result.
  • the device 200 may be set to interlock image recognition and application launching.
  • the device 200 may select two or more operating modes. For example, as illustrated in FIG. 6, when both the “Translation” item and the “Object Recognition” item are selected, the device 200 outputs a translation result of the text when text is recognized in the selected image, When an object is recognized within the selected image, an object recognition result may be output.
  • a service that the device 200 can perform in conjunction with an image selected by the electronic pen may be added by a user or may be preset in manufacture.
  • the device 200 may add a service that the device 200 can perform in conjunction with an image selected by the electronic pen based on a user input touching the virtual button 602 of FIG. 6. Can be.
  • FIG. 7 illustrates an example of a GUI for adding an operation mode of an electronic pen according to an embodiment.
  • the device 200 may add a service that operates in conjunction with an electronic pen.
  • the service that the device 200 can provide includes a service that analyzes an image selected by the electronic pen and provides at least one of shopping information, place information, food information, wine information, and book information related to the image. Can be.
  • FIG. 7 shows an example of a GUI for adding a vehicle recognition mode for recognizing a vehicle represented by an image selected by a touch of an electronic pen.
  • the device 200 may receive a name 701 of a service and a URL 703 in which the service is provided.
  • the device 200 according to an embodiment may provide a corresponding service to a user by accessing an AI-based web service through a URL 703.
  • the device 200 may provide a menu 705 for setting a method of displaying an image processed result according to the added service.
  • the “On top of selected area” item included in the menu 705 may be an item for setting an image processing result to be output on or around the selected area by the touch of the electronic pen.
  • the “Other Connected devices” item included in the menu 705 may be an item for setting an image processing result to be output through an external device connected to the device 200.
  • the “To Pen Display” item included in the menu 705 may be an item for setting an image processing result to be output through a display included in the electronic pen.
  • the device 200 may select an area of a screen displayed on the touch screen based on the touch input of the electronic pen to the touch screen 210 in S520.
  • the device 200 may select a first area of the screen displayed on the touch screen based on the first touch input of the electronic pen to the touch screen 210.
  • the device 200 may acquire an image included in a selected area on the screen.
  • the device 200 may acquire a first image included in the first area.
  • the device 200 may store the acquired first image.
  • the device 200 may obtain information on whether the first image is obtained based on which application among at least one application in which the first image is executed by the device.
  • the device 200 may match and store information related to the application with the first image.
  • the device 200 may output a result of processing an image included in the selected area on the screen, based on the operation mode selected in step S510.
  • the device 200 may output a result of processing the first image based on the first mode.
  • the device 200 may operate in at least one operation mode among a translation mode, an image recognition mode, an application execution mode, and a protracting image mode, based on the operation mode selected in step S510.
  • the device 200 may transmit an image processing result to an external device or a server based on the selected operation mode, or output the result through the touch screen 210.
  • the device 200 may select whether to maintain the selected area.
  • the device 200 may maintain the selected area on the screen for a predetermined time or until a user input for canceling the selection is received. Maintaining the selected region means that the processor 220 repeatedly performs operations for acquiring images included in the selected region for one selected region and processing the acquired images based on the selected operation mode. Can be.
  • the device 200 may select a first area and obtain a first image included in the first area. Then, the device 200 may output a result of processing the first image based on the first mode. While the selected first area is maintained, when the screen displayed on the touch screen 210 is changed, the device 200 may acquire a second image included in the first area. The device 200 may further output a result of processing the second image based on the first mode.
  • the device 200 may not maintain the selected area on the screen. Not maintaining the selected area may mean acquiring an image included in the selected area for one selected area and canceling the selected area after processing the acquired image based on the selected operation mode.
  • the device 200 may select a first area and obtain a first image included in the first area. Then, the device 200 may output a result of processing the first image based on the first mode. The selected first region may be canceled. The device 200 may select a second area of the screen displayed on the touch screen based on the second touch input of the electronic pen. The device 200 may acquire a third image included in the selected second region. The device 200 may output a result of processing the third image based on the first mode.
  • 8A and 8B illustrate a specific example in which a device outputs an image processing result according to an embodiment.
  • 8A and 8B illustrate an example in which the device 200 according to an embodiment selects a translation mode as an operation mode of the electronic pen.
  • the user of the device 200 may select an area on the screen on which the subtitle of the video is displayed with an electronic pen.
  • the device 200 may acquire an image 802 included in the selected area 801 based on the touch input of the electronic pen.
  • the device 200 may extract the text “Good job, Willy.” From the image 802 based on the translation mode, and translate the extracted text into Korean, a predetermined language.
  • the device 200 may output the acquired image 802 or text extracted from the image 802 to an external device or server.
  • the device 200 may receive a text translation result from an external device or server.
  • the device 200 may output “Good job, Willie.”, Which is the result of the extracted text “Good job, Willy.” Translated, on the selected area 801 or in the vicinity of the selected area 801. Alternatively, as illustrated in FIG. 8A, the device 200 may output the translation result to the external device 800.
  • the external device 800 may display the received text in a predetermined area 805 through the display 810.
  • FIGS. 8A and 8B illustrate that the device 200 outputs an image processing result through the external device 800 as an example, but embodiments of the present disclosure are not limited to FIGS. 8A and 8B.
  • the device 200 may directly output image processing results.
  • the device 200 may display an operation result performed on a selected area other than the touch screen 210 (eg, a display other than the touch screen 210 of the device 200, an external device By displaying through a display, an electronic pen display, a wearable device, etc.), a result can be output without disturbing the user's use of the touch screen 210.
  • a selected area other than the touch screen 210 eg, a display other than the touch screen 210 of the device 200, an external device
  • a result can be output without disturbing the user's use of the touch screen 210.
  • the user may input a user command to maintain the selected area 801 so that the device 200 repeatedly performs a translation operation for the selected area 801 whenever the content of the subtitles is changed.
  • the user may allow the device 200 to maintain the selected region 801 by using a 'touch and hold' gesture that touches the region with an electronic pen for a predetermined time.
  • the device 200 displays the outline of the selection area with a solid line or a dotted line, or a pin image 804 near the selection area. Can be displayed.
  • the user may cancel the selection area by selecting the selection area cancellation UI 803.
  • the device 200 may output information on the source of the image together in outputting a result of processing the obtained image.
  • the device 200 may output information on which of the at least one application executed by the device 200 is based on an obtained image. Based on the user input for selecting the source information UI 807, the device 200 may provide information about the source of the acquired image.
  • the device 200 may transmit information 809 about the source of the image together with the result of the image processing to the external device 800.
  • the information on the source may include information on a device that receives an image processing result, a date on which the image was acquired, information on which application the acquired image is based on on which screen the application is running, and the like.
  • FIG. 8B shows, as an example, a case in which the device 200 selects the region 801 in the screen playing the movie 'Free Willy' through an application called 'Video Player'.
  • the device 200 may obtain application information and content information played by the application as image source information.
  • the external device 800 may display information 809 about the source received from the device 200.
  • the device 200 does not repeatedly input a command for a user to select an area and perform a predetermined operation on the selected area through a selection area maintaining function. Even if not, it is possible to automatically and repeatedly perform a predetermined operation.
  • the device 200 according to an embodiment may perform processing for a selected area only once, and may be repeatedly performed for a desired time, thereby reducing user intervention and promoting user convenience.
  • the device 200 may acquire information on whether an acquired image is obtained based on a certain situation of an application or an application in acquiring an image included in a selected region.
  • the device 200 provides the obtained information together with the processing result for the acquired image, so that the user can easily grasp the source of the acquired image and the image processing result.
  • the device 200 may repeat an operation of acquiring an image from a fixed selection area and performing predetermined processing on the acquired image through a selection area maintenance function.
  • the device 200 according to an embodiment may variously set a method of outputting an image processing result for a fixed selection area.
  • FIG. 9 illustrates an example of a GUI for selecting a method in which a device outputs an image processing result for a fixed selection area according to an embodiment.
  • the device 200 may display a menu 905 for receiving a user input for selecting a method of outputting an image processing result for a fixed selection area through the touch screen 210. have.
  • an item 901 included in the menu 905 may be an item for selecting a mode of storing image processing results repeatedly performed for one fixed area as one file. If the user does not select the item 901, the device 200 may store image processing results repeatedly performed for one fixed area as separate files.
  • the item 903 included in the menu 905 stores image processing results repeatedly performed for one fixed area as one file, and the duplicate processing result may be an item for selecting a mode to be deleted. .
  • the device 200 when the device 200 selects a translation mode and selects an area in which a subtitle of a video is displayed based on a touch input of an electronic pen, the device 200 extracts and translates text for the selected area Can be repeated. Whenever the screen is changed, or when it is set to acquire an image, extract text, and perform translation at a predetermined time interval, the device 200 may obtain a processing result including overlapping contents as follows.
  • the device 200 stores the image processing results repeatedly performed for one fixed area as one file, thereby deleting duplicate content to finally obtain the following processing results. can do.
  • the device 200 automatically extracts subtitles from the video while minimizing user intervention even when a separate subtitle file is not provided and the subtitles are included in each frame of the video. Translation results can be obtained.
  • the device 200 may automatically generate a complete subtitle file by deleting duplicate content from the result of the translation, thereby enhancing user convenience.
  • 10A and 10B illustrate a specific example in which a device outputs a translation result of text extracted from an image according to an embodiment.
  • 10A and 10B illustrate an example in which the device 200 according to an embodiment selects a translation mode as an operation mode of the electronic pen.
  • the user of the device 200 may select an area on the screen on which the subtitle of the video is displayed with an electronic pen.
  • the device 200 may acquire images included in the selected region 801 based on the touch input of the electronic pen.
  • the device 200 may extract text from images included in the region 801 based on the translation mode, and output a result of the extracted text translated into Korean, which is a predetermined language.
  • the device 200 When the subtitle content of the movie changes, the device 200 according to an embodiment additionally acquires an image included in the selected region, extracts text from the additionally acquired image, translates the extracted text, and translates the result Can output Therefore, the device 200 according to an embodiment automatically repeats a user-desired operation even if a user selects a corresponding area and inputs a text-extracting command whenever the content of the subtitle of the movie changes. It can be done.
  • the device 200 may output the translation result on the selected area 801 or in the vicinity of the selected area 801. Alternatively, as illustrated in FIGS. 10A and 10B, the device 200 may output the translation result to the external device 1000.
  • the external device 1000 may display the received text in a predetermined area through the display 1010.
  • the device 200 may store image processing results repeatedly performed for one fixed area 801 on the touch screen 210 as separate files. .
  • the device 200 according to an embodiment may output the image processing results 1001, 1003, and 1005 repeatedly performed on one fixed area 801 through the external device 1000.
  • the device 200 may be set to operate in a mode of storing image processing results repeatedly performed for one fixed area as a single file.
  • the device 200 may store image processing results repeatedly performed on one fixed area 801 on the touch screen 210 as a single file.
  • the device 200 according to an embodiment may output an image processing result 1007 repeatedly performed for one fixed area 801 through the external device 1000.
  • the device 200 when the device 200 according to an embodiment selects the application execution mode as the operation mode of the electronic pen, the device 200 may recognize an image included in a region selected by the user and execute a related application.
  • a user wants to execute a predetermined application, it is required to input a command to return to the home screen, a command to call the start menu from the home screen, and a command to select a predetermined application from the start menu.
  • a predetermined application can be executed only by selecting an image related to a predetermined application using an electronic pen, thereby maximizing user convenience.
  • the device 200 may execute a predetermined application related to a predetermined image when a predetermined image is included in an area selected by the electronic pen.
  • the predetermined image may be an image of a specific object or an image of a specific person.
  • the device 200 may recognize an image of a specific object or an image of a specific person through an AI service.
  • a UI for selecting an application that can be executed based on a user's image selection may be provided.
  • a list of applications mapped with the image is displayed.
  • the images 1111, 1121, and 1131 may be mapped to a gallery, a calculator, and a weather application, respectively.
  • the device 200 may select an application that can be executed based on a user's image selection, based on user input to the selection UIs 1113, 1123, and 1133.
  • the device 200 may execute only the calculator application among gallery applications, calculator applications, and weather applications in the list based on a user's image selection.
  • the device 200 For example, if the device 200 according to an embodiment recognizes an image determined to be the same as or similar to the image 1121 within an area selected by the electronic pen in the application execution mode, the device 200 is mapped to the image 1121. You can run the application, the calculator application. However, in the application execution mode, the device 200 may not execute the gallery application even if the image 1111 is included in the area selected by the electronic pen.
  • the gallery application may be an application that can browse photos stored in the device 200.
  • the device 200 may activate a function in which the gallery application is executed based on the user's image selection.
  • the device may add an application that can be executed based on the user's image selection. 11A, the device 200 may provide a UI 1140 for adding an application that can be executed based on a user's image selection.
  • the device 200 may output the screen shown in FIG. 11B.
  • the device 200 includes a UI 1150 for inputting an image related to execution of an application, a UI 1161 for inputting an application name, and a UI 1150 ) Can provide a UI 1163 for adding an application to be mapped with the input image.
  • the device 200 may determine an image related to execution of an application based on a user input to the UI 1150 of FIG. 11B.
  • the determined image may be an image stored in the device 200, a newly captured image, or a newly received image through a network.
  • the device 200 may store a name indicating at least one application mapped to an image based on a user input to the UI 1161 of FIG. 11B.
  • the device 200 may add an application to be mapped to an image input through the UI 1150 based on a user input to the UI 1163 of FIG. 11B.
  • the device 200 may display a list of pre-stored applications and select at least one application based on the user's input to the list.
  • the device 200 may add an application selected from the list as an application to be mapped with the input image.
  • the device 200 may display an image 1171 determined as an image related to execution of an application on a screen.
  • the device 200 may set a video playback application to be executed when an image determined to be the same as or similar to the image 1171 is recognized in an area selected by the electronic pen.
  • the device 200 may map and store one image with a plurality of applications.
  • the device 200 may assign a priority order executed for a plurality of applications.
  • the AAA player application 1193 or the BBB player Application 1197 can be executed.
  • the device 200 may display applications mapped to the image 1171 according to priority. For example, if the device 200 recognizes an image judged to be the same or similar to the image 1171 within the region selected by the electronic pen, the device 200 may preferentially execute the AAA player application 1193. If the device 200 cannot execute the AAA player application 1193, the device 200 may execute the BBB player application 1197.
  • the images 1191 and 1195 may be images that the device 200 determines to be the same as or similar to the image 1171.
  • the images 1191 and 1195 may be icons representing the AAA player application 1193 and the BBB player application 1197, respectively.
  • the device 200 may store “Video Player” as a name 1173 that refers to applications 1193 and 1197 mapped to the image 1171.
  • FIG. 12 is a flowchart of a method of operating a device according to an embodiment.
  • the device 200 may omit an operation of selecting an operation mode of the electronic pen.
  • the device 200 may store a predetermined operation mode as the previously selected operation mode or a default value, and operate based on the stored operation mode.
  • Steps S1210 and S1220 of FIG. 12 correspond to steps S520 and S530 of FIG. 5, and steps S1230 to S1260 of FIG. 12 may correspond to steps S540 of FIG. 5. Redundant explanation is omitted.
  • the device 200 may select at least a partial area on the touch screen 210 by an electronic pen.
  • the device 200 may acquire an image included in the region selected in operation S1210.
  • the device 200 according to an embodiment may match and store information on an application related to the image obtained in step S1220 with the image.
  • the device 200 according to an embodiment may perform a predetermined operation based on a stored operation mode for the acquired image.
  • the predetermined operation based on the operation mode may include an operation of processing an image obtained based on the operation mode, and may include, for example, at least one of translation, image recognition, and application execution.
  • the device 200 according to an embodiment may output an operation execution result.
  • step S1260 the device 200 according to an embodiment may determine whether to maintain the area selected in step S1210.
  • whether to maintain the selected area is determined based on user input before performing step S1210, or user input to the selected area after step S1210 (eg, touching the selected area for a predetermined time or longer) And hold).
  • whether to maintain the selected area may be determined based on a user input to a pop-up window displayed after performing an image processing result in step S1250.
  • step S1260 If it is determined in step S1260 that the device 200 according to an embodiment does not maintain the selection area, the device 200 may cancel the selection area and end the process.
  • the device 200 determines to maintain the selected area in step S1260, the device 200 returns to step S1220 to acquire an image included in the selected area, and based on the selected operation mode Can be repeatedly performed.
  • the device 200 may obtain an image included in the selected region by returning to step S1220 after a preset time or when a change in the image in the selected region is detected.
  • the device 200 may repeatedly perform steps S1220 to S1250 for a predetermined time or until a user input for canceling the selected area is received.
  • the device 200 may stop maintaining the selected area based on a user input pressing a specific button of the electronic pen or a user input for a menu provided by the device 200.
  • the device 200 interprets the touch input by the electronic pen as a command to select an area on the screen, not a simple touch, and to process a specific operation for the selected area, Allows the user to operate the device 200 to perform a specific operation more conveniently.
  • the disclosed embodiments may be implemented as an S / W program including instructions stored on a computer-readable storage media.
  • the computer is an apparatus capable of invoking stored instructions from a storage medium and operating according to the disclosed embodiments according to the invoked instructions, and may include a user terminal, a device, a server, and an image processing apparatus according to the disclosed embodiments.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not contain a signal and is tangible, but does not distinguish between data being stored semi-permanently or temporarily on the storage medium.
  • an electronic device or method according to the disclosed embodiments may be provided in a computer program product.
  • Computer program products are products that can be traded between sellers and buyers.
  • the computer program product may include an S / W program and a computer-readable storage medium on which the S / W program is stored.
  • a computer program product may include a product (eg, downloadable app) in the form of an S / W program that is electronically distributed through the manufacturer of an electronic device or an electronic market (eg, Google Play Store, App Store). have.
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a SW program.
  • the computer program product may include a storage medium of a server or a storage medium of a terminal in a system composed of a server and a terminal (eg, a video transmission device or a video reception device).
  • a third device eg, a smart phone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include an S / W program itself transmitted from a server to a terminal or a third device, or transmitted from a third device to a terminal.
  • one of the server, the terminal, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the terminal, and the third device may execute the computer program product in a distributed manner according to the disclosed embodiments.
  • a server eg, a cloud server or an artificial intelligence server, etc.
  • a server may execute a computer program product stored in the server, and control the terminal connected to the server to perform the method according to the disclosed embodiments.
  • the third device may execute a computer program product to control a terminal in communication with the third device to perform the method according to the disclosed embodiment.
  • the third device may control to transmit or receive the packing image by remotely controlling the image transmission device or the image reception device.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third device may execute the method according to the disclosed embodiments by executing a computer program product provided in a preloaded state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시 예에 따란 터치 스크린을 포함하는 디바이스가 동작하는 방법은, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계; 상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계; 상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및 상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함할 수 있다.

Description

전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법
전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법에 관한 것이다. 구체적으로, 디바이스에서 제공되는 전자 펜의 기능을 확장하고 설정 가능하게 함으로써, 특정 동작을 손쉽게 반복적으로 처리할 수 있도록 하는 디바이스 및 그 동작 방법에 관한 것이다.
사용자 단말은 다양한 기능을 수행할 수 있도록 구성될 수 있다. 그러한 다양한 기능들의 예로 데이터 및 음성 통신 기능, 카메라를 통해 사진이나 동영상을 촬영하는 기능, 음성 저장 기능, 스피커 시스템을 통한 음악 파일의 재생 기능, 이미지나 비디오의 디스플레이 기능 등이 있다.
일부 사용자 단말은 게임을 실행할 수 있는 추가적 기능을 포함하고, 다른 일부 사용자 단말은 멀티미디어 기기로서 구현되기도 한다. 더욱이 스마트 폰의 개발이 가속화되면서 다양한 애플리케이션들의 개발 및 사용이 증가하고 있다. 따라서, 사용자가 애플리케이션을 쉽고 간편하게 조작할 수 있도록 하는 시스템이 필요하다.
사용자가 쉽게 사용자 단말을 조작할 수 있도록, 사용자 단말은 터치 도구(예를 들어, 전자 펜, 손가락 등)에 의한 터치 입력을 수신할 수 있는 터치 스크린을 포함할 수 있다. 터치 스크린은, 터치 패널과 디스플레이가 레이어 구조를 이룸으로써 출력 장치 및 입력 장치로서 기능할 수 있다.
사용자 단말에 있어서, 디스플레이 되는 영상에 대해서 사용자가 원하는 동작을 간단하게 반복적으로 처리하는 것이 요구된다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시 예에 따른 터치 스크린을 포함하는 디바이스가 동작하는 방법은, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계; 상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계; 상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및 상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 펜에 의한 터치 입력을 수신하는 터치 스크린과 적어도 하나의 프로세서를 포함하는 디바이스에 있어서, 상기 적어도 하나의 프로세서는, 상기 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하고, 상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하고, 상기 제1 영역에 포함되는 제1 영상을 획득하고, 상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력할 수 있다.
본 개시의 일 실시 예에 따라 터치 스크린을 포함하는 디바이스가 동작하는 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 디바이스가 동작하는 방법은, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계; 상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계; 상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및 상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함할 수 있다.
도 1은 일반적으로 전자 펜을 이용하여 디바이스의 터치 스크린 상의 일부 영역을 선택하는 방법을 설명하기 위한 도면이다.
도 2a 및 2b는 일 실시 예에 따른 디바이스의 블록도를 도시한다.
도 3은 일 실시 예에 따른 프로세서의 블록도를 도시한다.
도 4는 일 실시 예에 따라 전자 펜과 디바이스를 포함하는 시스템의 예를 도시한다.
도 5는 일 실시 예에 따른 디바이스의 동작 방법의 흐름도이다.
도 6은 일 실시 예에 따라 전자 펜의 동작 모드를 선택하기 위한 GUI(graphical user interface)의 예를 도시한다.
도 7은 일 실시 예에 따라 전자 펜의 동작 모드를 추가하기 위한 GUI의 예를 도시한다.
도 8a 및 8b는 일 실시 예에 따른 디바이스가 영상 처리 결과를 출력하는 구체적인 예를 도시한다.
도 9는 일 실시 예에 따른 디바이스가 고정된 선택 영역에 대한 영상 처리 결과를 출력하는 방식을 선택하기 위한 GUI의 예를 도시한다.
도 10a 및 10b는 일 실시 예에 따른 디바이스가 영상으로부터 추출된 텍스트의 번역 결과를 출력하는 구체적인 예를 도시한다.
도 11a 내지 11c는 일 실시 예에 따른 디바이스가 애플리케이션 실행 모드에 기초하여 실행할 수 있는 애플리케이션을 설정하기 위한 GUI의 예를 도시한다.
도 12는 일 실시 예에 따른 디바이스의 동작 방법의 흐름도이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시 예에 따른 터치 스크린을 포함하는 디바이스가 동작하는 방법은, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계; 상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계; 상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및 상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “모듈” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일반적으로 전자 펜을 이용하여 디바이스의 터치 스크린 상의 일부 영역을 선택하는 방법을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 터치 스크린(11)을 구비하는 전자 디바이스(10)는, 전자 펜(20), 또는 손가락 등과 같은 터치 도구에 의한 터치 입력에 의해 조작될 수 있다. 일반적으로 전자 디바이스(10)는, 전자 펜(20)에 의한 터치 입력과 손가락에 의한 터치 입력을 구별하지 않고 동일하게 인식한다.
예를 들어, 사용자가 손가락을 이용하여 화면 상의 아이콘을 터치하면, 디바이스(10)는 아이콘에 대응하는 애플리케이션을 실행할 수 있다. 동일하게, 사용자가 전자 펜을 이용하여 화면 상의 아이콘을 터치하면, 디바이스(10)는 아이콘에 대응하는 애플리케이션을 실행할 수 있다. 또는, 사용자가 손가락 또는 전자 펜을 이용하여 애플리케이션이 실행되고 있는 화면 상의 GUI 버튼을 터치하면, 디바이스(10)는 해당 애플리케이션에서 미리 결정된 동작을 수행할 수 있다.
디바이스(10)의 조작성을 향상시키기 위하여, 단순한 터치 제스처를 입력하는 기능을 넘어서 영상 캡쳐, 메모 작성 등으로 전자 펜의 기능을 확장할 필요가 있다. 따라서, 이러한 필요에 의해, 종래에는 사용자가 소정 동작(예를 들어, 전자 펜을 화면에 가까이 가져가거나, 전자 펜 상의 버튼을 누르는 동작 등)을 수행하면 전자 펜의 확장 기능을 선택할 수 있는 GUI 메뉴가 자동으로 디스플레이되는 사용자 인터페이스가 이용되었다. 이 사용자 인터페이스에 따르면, 사용자가 GUI 메뉴 상에 표시되는 확장된 기능들 중에서 하나의 기능을 선택하면, 전자 펜이 선택된 기능을 수행하도록 임시적으로 설정될 수 있다. 그러나 전자 펜의 확장된 기능을 반복적으로 이용하기 위해서 사용자는, 매번 터치 제스처를 입력할 때마다 GUI 메뉴가 디스플레이 되도록 소정 동작을 수행하고, 원하는 기능을 선택하는 동작을 반복해야 한다는 번거로움이 있었다.
또한, 종래에는 디바이스가 특정 동작을 수행하도록 하기 위해서는 여러 단계에 걸쳐 사용자의 개입이 요구되었다. 예를 들어, 브라우저를 실행하고 있는 디바이스(10)의 화면 상의 텍스트에 대해서 사용자가 번역 결과를 제공 받고자 하는 경우, 디바이스(10)는 다음의 여러 단계들을 거쳐 번역 결과를 사용자에게 제공할 수 있다.
먼저, 디바이스가, 사용자 입력에 기초하여 번역 기능을 제공하는 애플리케이션을 실행한다.
다음으로, 디바이스가, 사용자 입력에 기초하여 화면 내의 일부 영역을 선택하기 위한 인터페이스를 제공한다. 이 때, 제공되는 인터페이스는, 실행되고 있는 애플리케이션의 실행 화면 내에서 제공될 수 있다.
그리고 디바이스가, 사용자 입력에 기초하여 화면 내의 일부 영역을 선택한다.
최종적으로, 디바이스가, 사용자 입력에 기초하여 선택된 영역 내에 포함되는 영상으로부터 텍스트를 추출하고 추출된 텍스트를 번역한 결과를 출력한다.
종래 기술에 따르면, 사용자는 디바이스가 원하는 동작을 수행하도록 하기 위해서 매번 해당 동작을 수행하는 애플리케이션을 실행하도록 디바이스를 조작해야 한다. 예를 들어, 사용자가 디바이스의 다양한 애플리케이션을 사용하는 중에 화면에 대해 특정 기능을 사용하고자 하면, 사용자는 해당 기능을 제공하는 애플리케이션이 추가로 실행되도록 해야 한다. 그리고 사용자는 추가로 실행된 애플리케이션의 실행 화면 내에서 화면의 일부 영역을 선택하고 선택된 영역 내에 포함되는 영상에 대해 특정 기능을 수행하도록 디바이스를 조작해야 하는 불편함이 있었다.
따라서, 본 개시의 다양한 실시 예에 따른 디바이스 및 디바이스의 동작 방법은, 전자 펜의 확장된 기능을 사용자가 설정 가능하도록 함으로써, 사용자가 보다 편리하게 디바이스가 특정 동작을 반복적으로 수행하도록 조작할 수 있도록 한다.
도 2a 및 2b는 일 실시 예에 따른 디바이스의 블록도를 도시한다.
일 실시 예에 따른 디바이스는, 사용자 단말 장치일 수 있다. 예를 들어, 일 실시 예에 따른 디바이스는, TV, 냉장고, 세탁기 등의 가전 제품, 스마트폰, PC, 웨어러블 디바이스, PDA(personal digital assistant), 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.
도 2a에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 터치 스크린(210) 및 프로세서(220)를 포함할 수 있다. 그러나, 도 2a에 도시된 구성 요소 모두보다 많은 구성 요소에 의해 디바이스(200)가 구현될 수도 있다. 예를 들어, 도 2b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 통신부(230), 메모리(240), A/V 입력부(250) 및 입출력부(270) 중 적어도 하나를 더 포함할 수 있다.
또한, 도 2a 및 2b에서는 편의상 디바이스가 하나의 프로세서를 포함하는 것으로 도시하였으나, 실시 예는 이에 제한되지 않으며 디바이스는 복수의 프로세서들을 포함할 수 있다. 디바이스가 복수의 프로세서들을 포함하는 경우 이하에서 서술하는 프로세서의 동작은 복수의 프로세서들에 의해 나누어 수행될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
터치 스크린(210)은, 디바이스(200)에서 처리되는 정보를 표시하고, 터치 스크린(210)에 대한 터치를 검출할 수 있다. 예를 들어, 터치 스크린(210)은, 디스플레이 모듈과 터치 패드가 레이어 구조를 이루어 구성되고 출력 장치 및 입력 장치로 이용될 수 있다.
터치 스크린(210)은 손가락이나 터치 도구(예를 들어, 전자 펜 등)에 의한 터치 입력을 수신할 수 있다. 터치 스크린(210)은, 터치 입력이 수신된 화면 상의 위치, 터치된 면적뿐만 아니라 터치 압력까지도 검출할 수 있도록 구성될 수 있다. 또한, 터치 스크린(210)은 직접 터치(real-touch) 뿐만 아니라 근접 터치(proximity touch)도 검출될 수 있도록 구성될 수 있다.
본 명세서에서 "터치(real-touch)"라 함은 화면에 실제로 포인터(pointer)가 터치된 경우를 말하고, "근접 터치(proximity-touch)" 라 함은 포인터(pointer)가 화면에 실제로 터치는 되지 않고, 화면으로부터 소정 거리 떨어져 접근된 경우를 말한다. 본 명세서에서 포인터(pointer)는 디스플레이된 화면의 특정 부분을 터치하거나 근접 터치하기 위한 도구를 말한다. 그 일례로 스타일러스 팬, 손가락 등이 있다.
디스플레이 모듈은 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(200)의 구현 형태에 따라 디바이스(200)는 터치 스크린(210)을 2개 이상 포함할 수도 있다.
한편, 프로세서(220)는, 디바이스(200)의 전반적인 동작을 제어할 수 있다. 프로세서(220)는, 전자 펜의 터치 입력에 기초하여 화면 상의 일부 영역을 선택하고, 선택된 영역에 포함되는 영상에 대해 미리 설정된 동작 모드에 대응하는 동작을 수행할 수 있다. 이하, 프로세서(220)가 동작하는 과정을 구체적으로 살펴 본다.
먼저, 일 실시 예에 따른 프로세서(220)는, 전자 펜의 동작 모드를 선택할 수 있다. 전자 펜의 동작 모드란, 전자 펜의 터치 입력에 기초하여 디바이스(200)가 특정 동작을 수행하도록 하는 디바이스(200)의 동작 모드를 의미할 수 있다.
예를 들어, 전자 펜의 동작 모드는, 전자 펜의 터치 입력에 기초하여 선택된 영상에 대한 번역 모드, 영상 인식 모드, 애플리케이션 실행 모드, 및 플로팅 영상 모드 중 적어도 하나를 포함할 수 있다.
번역 모드는, 디바이스(200)가 전자 펜에 의해 선택된 영역에 포함되는 영상으로부터 텍스트를 추출하고, 추출된 텍스트를 번역할 수 있는 상태를 의미할 수 있다. 영상 인식 모드는, 디바이스(200)가 영상을 분석함으로써 영상이 나타내는 물체와 관련된 키워드를 추출하고, 추출된 키워드와 관련된 정보를 출력할 수 있는 상태를 의미할 수 있다. 애플리케이션 실행 모드는, 디바이스(200)가 영상에 포함되는 아이콘 또는 텍스트를 추출하고, 추출된 아이콘 또는 텍스트에 대응하는 애플리케이션을 실행할 수 있는 상태를 의미할 수 있다. 플로팅 영상 모드는, 디바이스(200)가 선택된 영상을 화면의 최상위에 디스플레이 할 수 있는 상태를 의미할 수 있다. 플로팅 영상 모드에서 디바이스(200)는, 터치 스크린(210) 상에 디스플레이 되는 화면이 변경되는 경우에도 선택된 영상을 화면의 최상위에 디스플레이 할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택할 수 있다. 프로세서(220)는, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 사용자 입력에 기초하여, 제1 모드를 선택할 수 있다.
터치 스크린(210)은, 전자 펜의 복수의 동작 모드들이 나열된 리스트를 디스플레이 할 수 있다. 프로세서(220)는, 리스트 상에 나열된 복수의 동작 모드들 중 하나의 동작 모드를 선택하는 사용자 입력에 기초하여, 제1 모드를 선택할 수 있다.
또한, 터치 스크린(210)은, 프로세서(220)에서 영상을 처리한 결과를 디스플레이 하는 방식을 선택하기 위한 GUI를 디스플레이 할 수 있다. 예를 들어, 디바이스(200)는, 영상을 처리한 결과가 항상 화면의 최상위에 표시 되는 방식을 선택하거나, 영상을 처리한 결과가 별도의 외부 디바이스를 통해 디스플레이 되는 방식을 선택할 수 있다. 프로세서(220)는, GUI에 대한 사용자 입력에 기초하여, 영상을 처리한 결과를 디스플레이 하는 방식을 선택할 수 있다.
프로세서(220)는, 터치 스크린(210)에 대한 전자 펜의 터치 입력에 기초하여, 터치 스크린(210) 상에 디스플레이 되는 화면의 적어도 일부 영역을 선택할 수 있다. 프로세서(220)는, 터치 스크린(210)에 대한 전자 펜의 제1 터치 입력에 기초하여, 터치 스크린(210) 상에 디스플레이 되는 화면의 제1 영역을 선택할 수 있다.
프로세서(220)는, 선택된 영역에 포함되는 영상을 획득할 수 있다. 프로세서(220)는, 화면의 제1 영역에 포함되는 제1 영상을 획득할 수 있다.
프로세서(220)는, 전자 펜의 복수의 동작 모드들 중에서 선택된 동작 모드에 기초하여 제1 영상을 처리한 결과를 출력할 수 있다. 예를 들어, 프로세서(220)가 제1 모드를 선택하면, 프로세서(220)는, 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력할 수 있다. 예를 들어, 프로세서(220)는 제1 영상으로부터 추출된 텍스트를 추출하고, 추출된 텍스트를 번역하거나, 제1 영상을 분석함으로써 제1 영상이 나타내는 물체와 관련된 키워드를 추출하고, 추출된 키워드와 관련된 정보를 출력할 수 있다.
일 실시 예에 따른 프로세서(220)는, 화면 상에 선택된 영역을 유지할 수 있다. 프로세서(220)는, 화면 상에 선택된 영역을 소정 시간동안 유지하거나, 선택을 해지하는 사용자의 입력이 수신될 때까지 유지할 수 있다. 선택된 영역을 유지한다는 것은, 프로세서(220)가, 하나의 선택된 영역에 대해서 영상을 획득하고 획득된 영상을 처리하는 동작을 반복하여 수행한다는 것을 의미할 수 있다.
일 실시예에 따른 프로세서(220)는, 터치 스크린 상에 디스플레이 되는 화면이 변경되면, 선택된 제1 영역에 포함되는 제2 영상을 획득할 수 있다. 프로세서(220)는, 선택된 제1 모드에 기초하여 제2 영상을 처리한 결과를 출력할 수 있다.
예를 들어, 프로세서(220)가 전자 펜의 동작 모드로서 번역 모드를 선택한 경우, 프로세서(220)는 영화의 자막이 표시되는 화면 상의 위치에 대해서 사용자가 선택한 영역에 대해 번역 동작을 반복해서 수행할 수 있다. 일 실시예에 따른 프로세서(220)는, 영화의 자막 내용이 바뀌면, 선택된 영역에 포함되는 영상을 추가로 획득하고, 추가로 획득된 영상으로부터 텍스트를 추출하고, 추출된 텍스트를 번역하고, 번역 결과를 출력할 수 있다. 따라서, 영화의 자막의 내용이 바뀔 때마다 사용자가 해당 영역을 선택하고 텍스트를 추출하고 번역하도록 하는 명령을 입력하지 않더라도, 일 실시예에 따른 디바이스(200)는 사용자가 원하는 동작을 자동으로 반복해서 수행할 수 있다.
일 실시 예에 따른 프로세서(220)는, 선택된 동작 모드를 유지할 수 있다. 프로세서(220)는, 선택된 동작 모드를 소정 시간 동안 유지하거나, 선택을 해지하는 사용자의 입력이 수신될 때까지 유지할 수 있다. 선택된 동작 모드를 유지한다는 것은, 프로세서(220)가, 새롭게 선택된 영역에 포함되는 영상에 대해서 이 전에 선택된 동작 모드에 기초하여 처리하는 동작을 수행한다는 것을 의미할 수 있다.
예를 들어, 일 실시 예에 따른 프로세서(220)는, 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하고, 선택된 제1 모드를 유지할 수 있다. 프로세서(220)는, 전자 펜의 제1 터치 입력에 기초하여 선택되는 제1 영역에 포함되는 제1 영상을 획득할 수 있다. 프로세서(220)는, 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력할 수 있다. 선택된 제1 모드가 유지되는 동안, 프로세서(220)는, 전자 펜의 추가적인 터치 입력에 기초하여 선택되는 영역에 포함되는 추가 영상을 획득할 수 있다. 프로세서(220)는, 제1 모드에 기초하여 추가 영상을 처리한 결과를 출력할 수 있다. 즉, 선택된 제1 모드가 유지되는 동안, 프로세서(220)는, 전자 펜의 제2 터치 입력에 기초하여 선택되는 제2 영역에 포함되는 제3 영상을 획득할 수 있다. 프로세서(220)는, 제1 모드에 기초하여 제3 영상을 처리한 결과를 출력할 수 있다.
예를 들어, 프로세서(220)가 전자 펜의 동작 모드로서 영상 인식 모드를 선택한 경우, 프로세서(220)는 새롭게 선택된 영역에 포함되는 영상에 대해서도 영상 인식 모드에 기초하여 처리하는 동작을 반복하여 수행할 수 있다. 일 실시예에 따른 프로세서(220)는, 화면에 디스플레이 되는 영상이 나타내는 복수의 오브젝트들 중에서 하나의 오브젝트를 포함하는 영역을 선택하는 전자 펜의 터치 입력에 기초하여, 선택된 영역의 부분 영상을 분석함으로써 선택된 오브젝트가 무엇인지를 나타내는 키워드를 출력할 수 있다. 그리고 프로세서(220)는, 선택된 영상 인식 모드가 유지되는 동안, 다른 하나의 오브젝트를 포함하는 영역을 선택하는 전자 펜의 터치 입력에 기초하여, 선택된 영역의 부분 영상을 분석함으로써 선택된 오브젝트가 무엇인지를 나타내는 키워드를 추가로 출력할 수 있다. 따라서, 여러 오브젝트들에 대한 영상 인식이 필요한 경우, 각 오브젝트에 대해서 영상 인식 모드를 선택하고 영역을 선택하고 영상 인식을 수행하도록 하는 명령을 입력하지 않더라도, 일 실시예에 따른 디바이스(200)는 사용자가 원하는 동작을 자동으로 반복해서 수행할 수 있다.
또한, 도 2b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 통신부(230), 메모리(240), A/V 입력부(250) 및 입출력부(270) 중 적어도 하나를 더 포함할 수 있다.
일 실시 예에 따른 디바이스(200)는, 통신부(230)를 포함할 수 있다. 통신부(230)는, 유선 통신 또는 무선 통신을 통해 외부 디바이스, 전자 펜 또는 서버와 통신할 수 있다. 통신부(230)는, 전자 펜에 대해 입력되는 사용자 입력에 대한 신호를 전자 펜으로부터 수신할 수 있다. 또는, 통신부(230)는, 프로세서(220)에서 영상을 처리한 결과를 외부 디바이스에게 전송할 수 있다. 일 실시 예에 따른 통신부(230)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등을 포함할 수 있다. 예를 들어, 통신부(230)는, 블루투스와 같은 근거리 무선 통신 방식을 통해, 전자 펜과 통신할 수 있다.
프로세서(220)는, 전자 펜으로부터 수신되는 사용자 입력 신호에 기초하여, 전자 펜의 동작 모드를 선택할 수 있다. 예를 들어, 프로세서(220)는, 전자 펜으로부터 수신되는 신호에 기초하여, 복수의 동작 모드들 중에서 제1 모드를 선택할 수 있다.
일 실시 예에 따른 디바이스(200)는, 메모리(240)를 포함할 수 있다.
메모리(240)는, 프로세서(220)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 애플리케이션, 애플리케이션의 UI 디스크립션, 컨텐츠 등)을 저장할 수도 있다.
메모리(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(200)는 인터넷(internet)상에서 메모리(240)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
일 실시 예에 따른 메모리(240)는, 프로세서(220)가 선택한 화면의 영역에 포함되는 영상을 저장할 수 있다. 예를 들어, 메모리(240)는, 전자 펜의 제1 터치 입력에 기초하여 선택된 터치 스크린(210) 상에 디스플레이 되는 화면의 제1 영역에 포함되는 제1 영상을 저장할 수 있다.
일 실시 예에 따른 프로세서(220)는, 선택한 화면의 영역에 포함되는 영상을 메모리(240)에 저장함에 있어서, 영상의 출처에 대한 정보를 함께 저장할 수 있다. 일 실시예에 따른 프로세서(220)는, 저장된 영상이, 디바이스(200)가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 획득할 수 있다. 프로세서(220)는, 획득된 정보를 제1 영상과 매칭하여 메모리(240)에 저장할 수 있다.
예를 들어, 프로세서(220)는 복수의 애플리케이션들이 실행되고 있는 실행 화면을 터치 스크린(210) 상에 디스플레이 할 수 있다. 프로세서(220)는, 전자 펜의 터치 입력에 기초하여 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택할 수 있다. 이 때, 제1 영역은 복수의 애플리케이션들 중 제1 애플리케이션의 실행 화면 내에 포함될 수 있다. 일 실시예 에 따른 프로세서(220)는, 제1 영역에 포함되는 제1 영상이 제1 애플리케이션에 기초한 것이라는 정보를 획득할 수 있다. 프로세서(220)는, 획득된 정보를 제1 영상과 매칭하여 메모리(240)에 저장할 수 있다.
한편, 프로세서(220)는, 통상적으로 디바이스(200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(220)는, 메모리(240)에 저장된 프로그램들을 실행함으로써, 디바이스(200)의 구성들을 전반적으로 제어할 수 있다.
A/V(Audio/Video) 입력부(250)는 비디오 신호 또는 오디오 신호 입력을 위한 것으로, 마이크(251)와 카메라(252) 등을 포함할 수 있다. 카메라(252)는 정지 영상 또는 동영상 등의 영상 프레임을 얻을 수 있다. 마이크(251)는, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(251)는 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다.
입출력부(270)는, 사용자가 디바이스(200)를 제어하기 위한 데이터를 입력하는 사용자 입력부와 사용자에게 디바이스(200)에서 처리된 신호를 출력하는 출력부를 포함할 수 있다.
예를 들어, 사용자 입력부에는 버튼(271), 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
출력부는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 디스플레이부, 스피커(273) 등을 포함 할 수 있다.
입출력부(270)는 터치 스크린(210)을 포함할 수 있고, 디스플레이부와 터치 패드가 레이어 구조를 이루어 터치 스크린(210)으로 구성될 수 있다. 터치 스크린(210)은 입력 장치와 출력 장치의 기능을 모두 포함할 수 있다.
상술한 바와 같이, 일 실시 예에 따른 디바이스(200)는, 전자 펜의 터치 입력에 기초하여 선택된 영역에 포함되는 영상을 미리 결정된 동작 모드에 기초하여 처리할 수 있다.
도 3은 일 실시 예에 따른 디바이스(200)에 포함되는 프로세서(220)의 블록도를 도시한다. 도 3에 도시된 블록들의 일부 또는 전부는, 특정 기능을 실행하는 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 도 3에 도시된 블록들이 수행하는 기능들은, 하나 이상의 마이크로프로세서에 의해 구현되거나, 해당 기능을 위한 회로 구성들에 의해 구현될 수 있다. 도 3에 도시된 블록들의 일부 또는 전부는 프로세서(220)에서 실행되는 다양한 프로그래밍 언어 또는 스크립트 언어로 구성된 소프트웨어 모듈일 수 있다.
터치 스크린(210) 상의 특정 영역을 선택하는 전자 펜의 터치 입력이 수신되면, 영역 선택 제어부(selection controller)(302)는 선택된 영역에 포함되는 영상을 획득할 수 있다. 영역 선택 제어부(selection controller)(302)는 획득된 영상을 영역 선택 제어부(selection controller)(302)의 버퍼에 저장하거나 메모리(240)에 저장할 수 있다.
동작 수행부(Action handler)(303)는 미리 설정된 동작 모드를 확인하여, 미리 설정된 동작 모드에 대응하는 동작을 수행할 수 있다. 동작 수행부(Action handler)(303)는 디바이스(200)가 제공하는 GUI 메뉴에 대한 사용자 입력에 기초하여, 동작 모드를 설정할 수 있다. 동작 모드를 설정하기 위한 GUI 메뉴는, 번역 모드, 영상 인식 모드, 애플리케이션 실행 모드, 및 플로팅 영상 모드 중 적어도 하나를 포함할 수 있다.
설정된 동작 모드가 번역 모드인 경우, 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상으로부터 텍스트를 추출하고, 추출된 텍스트를 특정 언어로 번역할 수 있다. 일 실시 예에 따른 프로세서(220)는, 추출된 텍스트를 번역하는 언어 번역부(Language translator)(306)를 포함할 수 있다. 그러나 실시 예는 이에 제한되지 않으며, 프로세서(220)는 외부 디바이스 또는 외부 서버에게 추출된 텍스트를 전송하고, 텍스트가 번역된 결과를 외부 디바이스 또는 외부 서버로부터 수신할 수 있다. 예를 들어, 동작 수행부(Action handler)(303)는 선택된 영역에 대해서 인공 지능을 이용하여 번역을 수행할 수 있다.
미리 설정된 동작 모드가 물체 인식 모드(또는, 영상 인식 모드)인 경우, 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상을 분석함으로써 영상이 어떠한 물체를 나타내는지 인식한 결과를 출력할 수 있다. 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상을 분석함으로써 영상이 나타내는 물체와 관련된 키워드를 추출할 수 있다. 동작 수행부(Action handler)(303)는, 추출된 키워드와 관련된 정보를 출력할 수 있다. 예를 들어, 동작 수행부(Action handler)(303)는 선택된 영역에 대해서 인공 지능을 이용하여 영상 인식을 수행할 수 있다.
일 실시 예에 따른 프로세서(220)는, 영상이 어떠한 물체를 나타내는지 인식하는 물체 검출부(Object Detector)(307)를 포함할 수 있다. 그러나 실시 예는 이에 제한되지 않으며, 프로세서(220)는 외부 디바이스 또는 외부 서버에게 영상을 전송하고, 영상이 인식된 결과를 외부 디바이스 또는 외부 서버로부터 수신할 수 있다.
설정된 동작 모드가 플로팅 영상(floating image) 모드인 경우, 동작 수행부(Action handler)(303)는, 선택 영역에 포함되는 영상을 소정 시간 동안 화면 상에 디스플레이 할 수 있다. 동작 수행부(Action handler)(303)는, 선택 영역에 포함되는 영상을 플로팅 영상으로서 처리할 수 있다. 플로팅 영상이란, 디바이스(200)의 화면이 변경되거나 사용자 입력이 수신되어도 소정 시간 동안(또는, 플로팅 영상의 해지를 명령하는 특정 사용자 입력이 수신되기 전 까지) 최상위에 디스플레이되는 영상을 의미할 수 있다. 일 실시 예에 따른 프로세서(220)는, 선택 영역에 포함되는 영상을 플로팅 영상으로서 처리하는 선택 영상 표시부(Selected Image Shower)(308)를 포함할 수 있다.
설정된 동작 모드가 애플리케이션 실행 모드인 경우, 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상에 기초하여 영상과 매칭되는 애플리케이션을 실행하거나 영상과 매칭되는 기능을 수행할 수 있다. 일 실시 예에 따른 프로세서(220)는, 적어도 하나의 애플리케이션(310)을 포함할 수 있다.
예를 들어, 동작 수행부(Action handler)(303)는, 선택된 영역에 포함되는 영상에 기초하여 특정 애플리케이션을 실행하거나 특정 기능을 실행할 수 있다. 예를 들어, 동작 수행부(Action handler)(303)는, 화면의 상단에 디스플레이 되는 배터리를 나타내는 영상이 전자 펜에 의해 선택되면, 선택된 영상과 연관된 애플리케이션이나 메뉴가 실행될 수 있다. 예를 들어, 동작 수행부(Action handler)(303)는 배터리의 상태를 표시하는 메뉴 및/또는 절전 메뉴(또는, 절전 애플리케이션) 등을 디스플레이할 수 있다. 일 실시 예에 따른 프로세서(220)는, 선택된 영상과 연관된 애플리케이션을 실행하는 영상 기반 애플리케이션 실행부(Image based App launcher)(309)를 포함할 수 있다.
애플리케이션 정보 조회 관리부(App Info Query Manager)(305)는, 동작 수행부(Action handler)(303)가 선택된 영상에 기초하여 수행한 동작에 대한 처리 결과(예를 들어, JSON 또는 XML 형식의 결과)를 수신할 수 있다. 애플리케이션 정보 조회 관리부(App Info Query Manager)(305)는, 동작 수행부(Action handler)(303)로부터 수신한 처리 결과와 선택된 영상을 제공한 애플리케이션의 정보를 획득할 수 있다. 애플리케이션 정보 조회 관리부(App Info Query Manager)(305)는, 전자 펜의 터치에 의해 영역이 선택될 때, 어떠한 애플리케이션이 실행되고 있는 상태였는지 조회(query)함으로써, 선택된 영역에 포함되는 영상이 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 획득할 수 있다.
동작 결과 관리부(Action Result Handler)(304)는, 동작 수행부(Action handler)(303)가 설정된 동작 모드에 대응하는 동작을 수행한 결과를 출력할 대상을 선택할 수 있다. 예를 들어, 선택된 영역에 포함되는 영상이 처리된 결과는, 터치 스크린(210)의 선택된 영역 내에 디스플레이되거나, 터치 스크린(210)의 선택된 영역의 주변에 디스플레이되거나, 디바이스(200)의 다른 디스플레이 상에 디스플레이 되거나, 또는 디바이스(200)와 연결된 외부 디바이스에게 출력될 수 있다. 예를 들어, 동작 결과 관리부(Action Result Handler)(304)는 디바이스(200)와 연동된 다른 디바이스(예를 들어, 스마트 워치, 스마트 글래스 등)에게 영상이 처리된 결과를 출력할 수 있다. 출력된 결과는, 시각적으로 디스플레이 되거나, 데이터 베이스 또는 메모리 등에 저장될 수 있다.
한편, 프로세서(220)는, 디바이스(200)를 제어하고, 애플리케이션의 실행을 위한 기초 환경을 제공하는 운영 체계(Operating System)(300)을 포함할 수 있다.
이하에서는 도 4를 참조하여, 전자 펜과 연동하여 동작하는 디바이스를 포함하는 일 실시 예에 따른 시스템을 설명한다. 도 4는 일 실시 예에 따라 전자 펜과 디바이스를 포함하는 시스템의 예를 도시한다.
디바이스(200)의 사용자는 전자 펜의 동작 모드를 설정할 수 있다. 예를 들어, 사용자는 디바이스(200)가 제공하는 GUI에 기초하여, 복수의 동작 모드들 중에서 적어도 하나의 동작 모드를 선택할 수 있다.
디바이스(200)와 전자 펜(400)은 블루투스 등의 무선 통신 방식을 통하여 연결될 수 있다. 디바이스(200)는, 전자 펜(201)에 대한 사용자의 입력 또는 디바이스(200)가 제공하는 설정 메뉴에 대한 사용자의 입력에 기초하여, 전자 펜의 동작 모드를 결정할 수 있다.
전자 펜(400)의 동작 모드는, 전자 펜에 의한 터치를 다른 터치 도구에 의한 터치와 동일하게 인식하는 일반 모드와, 전자 펜에 의한 터치에 기초하여 특정 영역을 선택하고 선택된 영역에 대해 미리 설정된 동작을 수행하는 확장 모드를 포함할 수 있다. 확장 모드는, 번역 모드, 영상 인식 모드, 애플리케이션 실행 모드, 및 플로팅 영상 모드 중 적어도 하나를 포함할 수 있으며, 중복되는 설명은 생략한다.
디바이스(200)가 전자 펜(400)의 동작 모드를 확장 모드로 결정한 경우, 디바이스(200)는, 전자 펜에 의한 터치를 다른 터치 도구에 의한 터치와 동일하게 인식하는 기능을 금지(disable)할 수 있다. 디바이스(200)가 전자 펜(400)의 동작 모드를 확장 모드로 결정한 경우, 디바이스(200)는, 전자 펜에 의한 터치를, 화면 상의 영역을 선택하고 선택된 영역에 대한 특정 동작을 처리하도록 하는 명령으로서 인식할 수 있다. 디바이스(200)가 전자 펜(400)의 동작 모드를 확장 모드로 결정한 경우에도, 전자 펜(400) 이외의 터치 도구(예를 들어, 손 가락)에 의한 터치는 여전히 단순한 터치 입력으로서 인식할 수 있다. 또는, 전자 펜(400) 이외의 터치 도구는, 전자 펜(400)의 터치에 의해 수행되는 특정 동작을 보조하는 보조 도구로써 이용될 수 있다.
일 실시 예에 따른 디바이스(200)는, 전자 펜(400)에 대해 입력되는 사용자 입력에 기초하여 전자 펜의 동작 모드를 선택할 수 있다. 디바이스(200)는, 사용자 입력에 대한 신호를 전자 펜(400)으로부터 수신하고, 수신된 신호에 기초하여 전자 펜의 동작 모드를 선택할 수 있다.
예를 들어, 사용자가 전자 펜(400)의 버튼(430)을 누르면, 디바이스(200)는 전자 펜(400)의 동작 모드를 이 전에 설정된 동작 모드에서 다른 동작 모드로 변경할 수 있다. 디바이스(200)는, 사용자가 버튼(430)을 누르는 횟수 또는 시간에 기초하여, 동작 모드를 선택할 수 있다. 전자 펜(400)의 동작 모드에 따라 LED(410)의 색, 밝기, 점멸 횟수, 또는 점멸 간격 등이 변경될 수 있다. 따라서, 사용자는 LED(410)를 통해, 선택된 동작 모드를 확인할 수 있다. 또는, 사용자가 버튼(430)을 누르면, 디바이스(200)는 터치 스크린(210) 상에 어떠한 동작 모드가 선택되었는지 디스플레이 할 수 있다.
그 밖에 다양한 방식에 의해 전자 펜(400)에 대해 사용자 입력이 입력될 수 있다. 예를 들어, 전자 펜(400)의 일부분이 사용자에 의해 회전되도록 구성될 수 있다. 사용자는 전자 펜(400)의 일부분을 회전시킴으로써 전자 펜(400)의 동작 모드를 선택할 수 있다. 디바이스(200)는, 사용자 입력에 대한 신호를 전자 펜(400)으로부터 수신하고, 수신된 신호에 기초하여 전자 펜의 동작 모드를 선택할 수 있다.
예를 들어, 전자 펜(400)의 동작 모드가 일반 모드로 선택되면, 전자 펜(400)에 의한 터치에 의해 필기 컨텐츠 등이 입력될 수 있다. 반면에, 전자 펜(400)의 동작 모드가 확장 모드로 선택되면, 디바이스(200)는, 전자 펜(400)에 의한 터치에 의해 화면 상의 영역을 선택하고, 선택된 영역에 대해 미리 설정된 동작을 수행할 수 있다.
디바이스(200)는, 전자 펜(400)의 다양한 터치 제스처에 기초하여, 터치 스크린(210) 상의 영역을 선택할 수 있다. 예를 들어, 디바이스(200)는, 포인트(401)로부터 포인트(402)로의 드래그 터치에 기초하여, 사각형 영역(403)을 선택할 수 있다. 또는, 사각형 영역의 양쪽 모서리(404, 405)를 지정하는 미리 결정된 터치 제스처(예를 들어, 도 4의 『, 』)에 기초하여, 영역을 선택할 수 있다. 또는, 사용자의 드래그 터치에 기초하여, 다양한 형태의 영역(407)이 선택될 수 있다.
이하에서는, 일 실시 예에 따른 디바이스(200)의 구체적인 동작 방법을 설명한다. 이하에서 서술하는 방법의 각 단계는, 상술한 디바이스(200)의 각 구성들에 의해 수행될 수 있다.
도 5는 일 실시 예에 따른 터치 스크린(210)을 포함하는 디바이스(200)의 동작 방법의 흐름도이다.
S510에서 일 실시 예에 따른 디바이스(200)는 전자 펜의 동작 모드를 선택 할 수 있다. 디바이스(200)는 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택할 수 있다.
일 실시 예에 따른 디바이스(200)는, 복수의 동작 모드들이 나열된 리스트를 디스플레이 하고, 리스트 상에 나열된 복수의 동작 모드들 중 하나의 동작 모드를 선택하는 사용자 입력에 기초하여, 제1 모드를 선택할 수 있다.
또한, 일 실시 예에 따른 디바이스(200)는, 영상을 처리한 결과를 디스플레이 하는 방식을 선택하기 위한 GUI를 디스플레이 하고, GUI에 대한 사용자 입력에 기초하여, 영상을 처리한 결과를 디스플레이 하는 방식을 선택할 수 있다.
또한, 일 실시 예에 따른 디바이스(200)는, 무선으로 연결된 전자 펜에 대해 입력되는 사용자 입력에 기초하여 동작 모드를 선택할 수 있다. 에를 들어, 디바이스(200)는, 전자 펜으로부터 사용자 입력을 수신하고, 수신된 신호에 기초하여, 복수의 동작 모드들 중에서 제1 모드를 선택할 수 있다.
도 6은 일 실시 예에 따라 전자 펜의 동작 모드를 선택하기 위한 GUI의 예를 도시한다.
도 6에도시된 바와 같이, 디바이스(200)는 터치 스크린(210)을 통해 전자 펜의 동작 모드를 선택하는 사용자 입력을 수신하기 위한 메뉴(601)를 디스플레이 할 수 있다. 디바이스(200)는, 메뉴(601) 상에 나열되는 서비스들 중 사용자에 의해 선택된 적어도 하나의 서비스와 전자 펜에 의해 선택되는 영상을 연동하여 동작 할 수 있다.
예를 들어, 메뉴(601)에 포함되는 "Translation" 항목은 전자 펜의 터치에 의해 선택된 영상에 기초하여 번역을 수행하는 번역 모드를 선택하기 위한 항목일 수 있다. 메뉴(601)에 포함되는 "Object Recognition" 항목은 전자 펜의 터치에 의해 선택된 영상이 나타내는 물체를 인식하는 영상 인식 모드를 선택하기 위한 항목일 수 있다. 메뉴(601)에 포함되는 "Sticky Image Memo" 항목은 전자 펜의 터치에 의해 선택된 영상을 화면에 고정적으로 디스플레이 하는 플로팅 영상 모드를 선택하기 위한 항목일 수 있다. 메뉴(601)에 포함되는 "People Recognition" 항목 및 "Animal Recognition" 항목은 각각 전자 펜의 터치에 의해 선택된 영상이 나타내는 사람을 인식하는 사람 인식 모드 및 동물을 인식하는 동물 인식 모드를 선택하기 위한 항목일 수 있다. 메뉴(601)에 포함되는 "Image to App Launch" 항목은 전자 펜의 터치에 의해 선택된 영상에 기초하여 애플리케이션을 실행하는 애플리케이션 실행 모드를 선택하기 위한 항목일 수 있다. 디바이스(200)는, "Image to App Launch" 항목이 선택되는 경우, 전자 펜의 터치에 의해 선택된 영상을 인식하고 인식 결과에 기초하여 관련된 애플리케이션을 실행 할 수 있다. 디바이스(200)는, "Image to App Launch" 항목이 선택되는 경우, 영상 인식과 애플리케이션 런칭이 연동하도록 설정될 수 있다.
디바이스(200)는, 둘 이상의 동작 모드들을 선택할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, "Translation" 항목과 “Object Recognition” 항목이 모두 선택된 경우, 디바이스(200)는, 선택된 영상 내에서 텍스트가 인식되는 경우 텍스트의 번역 결과를 출력하고, 선택된 영상 내에서 물체가 인식되는 경우 물체 인식 결과를 출력할 수 있다.
전자 펜에 의해 선택되는 영상과 연동하여 디바이스(200)가 수행할 수 있는 서비스는, 사용자에 의해 추가되거나 제조 시에 미리 설정되어 있을 수 있다. 예를 들어, 디바이스(200)는, 도 6의 가상 버튼(602)을 터치하는 사용자 입력에 기초하여, 전자 펜에 의해 선택되는 영상과 연동하여 디바이스(200)가 수행할 수 있는 서비스를 추가할 수 있다.
도 7은 일 실시 예에 따라 전자 펜의 동작 모드를 추가하기 위한 GUI의 예를 도시한다.
도 7에도시된 바와 같이, 디바이스(200)는 전자 펜에 의해 연동하여 동작하는 서비스를 추가할 수 있다. 디바이스(200)가 제공할 수 있는 서비스는, 전자 펜에 의해 선택된 영상을 분석하여, 영상과 관련된 쇼핑 정보, 장소 정보, 음식 정보, 와인 정보, 및 책 정보 중 적어도 하나를 제공하는 서비스를 포함할 수 있다.
예를 들어, 도 7에는, 전자 펜의 터치에 의해 선택된 영상이 나타내는 자동차를 인식하는 자동차 인식 모드를 추가하기 위한 GUI의 예가 도시된다. 디바이스(200)는 서비스의 이름(701), 서비스가 제공되는 URL(703)을 입력받을 수 있다. 일 실시 예에 따른 디바이스(200)는, URL(703)을 통해 AI 기반 웹 서비스에 접속함으로써, 사용자에게 해당 서비스를 제공할 수 있다.
또한, 디바이스(200)는, 서비스를 추가함에 있어서, 추가되는 서비스에 따라 영상이 처리된 결과를 디스플레이 되는 방식을 설정하기 위한 메뉴(705)를 제공할 수 있다.
예를 들어, 메뉴(705)에 포함되는 "On top of selected area" 항목은 전자 펜의 터치에 의해 선택된 영역 상에 또는 선택된 영역 주위에 영상 처리 결과를 출력하도록 설정하기 위한 항목일 수 있다. 메뉴(705)에 포함되는 "Other Connected devices" 항목은 디바이스(200)와 연결된 외부 디바이스를 통해 영상 처리 결과를 출력하도록 설정하기 위한 항목일 수 있다. 메뉴(705)에 포함되는 "To Pen Display" 항목은 전자 펜에 포함되는 디스플레이를 통해 영상 처리 결과를 출력하도록 설정하기 위한 항목일 수 있다.
다시 도 5로 되돌아와서, S520에서 일 실시 예에 따른 디바이스(200)는 터치 스크린(210)에 대한 전자 펜의 터치 입력에 기초하여, 터치 스크린 상에 디스플레이 되는 화면의 영역을 선택할 수 있다. 디바이스(200)는 터치 스크린(210)에 대한 전자 펜의 제1 터치 입력에 기초하여, 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택할 수 있다.
S530에서 일 실시 예에 따른 디바이스(200)는 화면 상의 선택된 영역에 포함되는 영상을 획득할 수 있다. 디바이스(200)는 제1 영역에 포함되는 제1 영상을 획득할 수 있다.
일 실시 예에 따른 디바이스(200)는 획득된 제1 영상을 저장할 수 있다. 디바이스(200)는, 제1 영상이 디바이스가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초하여 제1 영상이 획득되었는 지에 대한 정보를 획득할 수 있다. 디바이스(200)는, 애플리케이션과 관련된 정보를 제1 영상과 매칭하여 저장할 수 있다.
S540에서 일 실시 예에 따른 디바이스(200)는 단계 S510에서 선택된 동작 모드에 기초하여, 화면 상의 선택된 영역에 포함되는 영상을 처리한 결과를 출력할 수 있다. 디바이스(200)는 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력할 수 있다.
예를 들어, 디바이스(200)는, 단계 S510에서 선택된 동작 모드에 기초하여, 번역 모드, 영상 인식 모드, 애플리케이션 실행 모드 및 프롤팅 영상 모드 중 적어도 하나의 동작 모드에서 동작할 수 있다.
일 실시 예에 따른 디바이스(200)는, 선택된 동작 모드에 기초하여 영상을 처리한 결과를 외부 디바이스 또는 서버에게 전송하거나, 터치 스크린(210)을 통해 출력할 수 있다.
일 실시 예에 따른 디바이스(200)는, 선택된 영역을 유지할지 여부를 선택할 수 있다.
일 예로서, 디바이스(200)는, 화면 상에 선택된 영역을 소정 시간동안 유지하거나, 선택을 해지하는 사용자의 입력이 수신될 때까지 유지할 수 있다. 선택된 영역을 유지한다는 것은, 프로세서(220)가, 하나의 선택 영역에 대해서 선택된 영역에 포함되는 영상들을 획득하고, 획득된 영상들을 선택된 동작 모드에 기초하여 처리하는 동작들을 반복하여 수행한다는 것을 의미할 수 있다.
예를 들어, 디바이스(200)는, 제1 영역을 선택하고 제1 영역에 포함되는 제1 영상을 획득할 수 있다. 그리고, 디바이스(200)는, 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력 할 수 있다. 선택된 제1 영역이 유지되는 동안, 디바이스(200)는, 터치 스크린(210) 상에 디스플레이 되는 화면이 변경되면, 제1 영역에 포함되는 제2 영상을 획득할 수 있다. 디바이스(200)는, 제1 모드에 기초하여 제2 영상을 처리한 결과를 더 출력 할 수 있다.
다른 예로서, 디바이스(200)는, 화면 상에 선택된 영역을 유지하지 않을 수 있다. 선택 영역을 유지하지 않는다는 것은, 하나의 선택 영역에 대해서 선택된 영역에 포함되는 영상을 획득하고, 선택된 동작 모드에 기초하여 획득된 영상을 처리한 후에는 선택 영역을 해지하는 것을 의미할 수 있다.
예를 들어, 디바이스(200)는, 제1 영역을 선택하고 제1 영역에 포함되는 제1 영상을 획득할 수 있다. 그리고, 디바이스(200)는, 제1 모드에 기초하여 제1 영상을 처리한 결과를 출력 할 수 있다. 선택된 제1 영역은 해지될 수 있다. 디바이스(200)는, 전자 펜의 제2 터치 입력에 기초하여, 터치 스크린 상에 디스플레이 되는 화면의 제2 영역을 선택할 수 있다. 디바이스(200)는, 선택된 제2 영역에 포함되는 제3 영상을 획득할 수 있다. 디바이스(200)는, 제1 모드에 기초하여 제3 영상을 처리한 결과를 출력 할 수 있다.
도 8a 및 8b는 일 실시 예에 따른 디바이스가 영상 처리 결과를 출력하는 구체적인 예를 도시한다. 도 8a 및 8b는 일 실시 예에 따른 디바이스(200)가 전자 펜의 동작 모드로서 번역 모드를 선택한 경우를 예로 들어 도시한다.
디바이스(200)의 사용자는 동영상의 자막이 표시되는 화면 상의 영역을 전자 펜으로 선택할 수 있다. 디바이스(200)는, 전자 펜의 터치 입력에 기초하여 선택된 영역(801)에 포함되는 영상(802)을 획득할 수 있다. 디바이스(200)는, 번역 모드에 기초하여, 영상(802)으로부터 "Good job, Willy."라는 텍스트를 추출하고, 추출된 텍스트를 미리 결정된 언어인 한국어로 번역할 수 있다. 또는, 디바이스(200)는 획득된 영상(802) 또는 영상(802)으로부터 추출된 텍스트를 외부 디바이스 또는 서버에게 출력할 수 있다. 디바이스(200)는, 외부 디바이스 또는 서버로부터 텍스트가 번역된 결과를 수신할 수 있다.
디바이스(200)는, 추출된 텍스트 "Good job, Willy."가 번역된 결과인 "잘했어, 윌리."를 선택된 영역(801) 상에 또는 선택된 영역(801) 근방에 출력할 수 있다. 또는, 도 8a에 도시된 바와 같이, 디바이스(200)는, 번역 결과를 외부 디바이스(800)에게 출력 할 수 있다. 외부 디바이스(800)는, 수신된 텍스트를 디스플레이(810)를 통해 소정 영역(805) 내에 디스플레이 할 수 있다.
도 8a 및 8b는 디바이스(200)가 영상 처리 결과를 외부 디바이스(800)를 통해 출력하는 것을 예로 들어 도시하였지만, 본 개시의 실시 예는 도 8a 및 8b에 제한되지 않는다. 디바이스(200)는, 영상 처리 결과를 직접 출력할 수 있다.
일 실시 예에 따른 디바이스(200)는, 선택된 영역에 대해서 수행된 동작 결과를 터치 스크린(210) 이외의 디스플레이(예를 들어, 디바이스(200)의 터치 스크린(210) 이외의 디스플레이, 외부 디바이스의 디스플레이, 전자 펜의 디스플레이, 웨어러블 디바이스 등)를 통해 디스플레이 함으로써, 사용자의 터치 스크린(210) 사용을 방해하지 않고도 결과를 출력할 수 있다.
한편, 자막의 내용이 변경될 때마다 선택된 영역(801)에 대한 번역 동작을 디바이스(200)가 반복해서 수행하도록, 사용자는 선택된 영역(801)을 유지하라는 사용자 명령을 입력할 수 있다. 예를 들어, 사용자는 전자 펜으로 영역을 소정 시간 동안 터치 하는 '터치 앤 홀드' 제스처를 이용하여, 디바이스(200)가 선택된 영역(801)을 유지하도록 할 수 있다. 디바이스(200)가 선택 영역을 유지하는 경우(즉, 선택 영역을 고정하는 경우), 디바이스(200)는, 선택 영역의 윤곽선을 실선 또는 점선으로 표시하거나, 선택 영역의 근방에 핀 이미지(804)를 표시할 수 있다. 사용자는 선택 영역 해지 UI(803)를 선택함으로써 선택 영역을 해지할 수 있다.
또한, 일 실시 예에 따른 디바이스(200)는, 획득된 영상이 처리된 결과를 출력 함에 있어서 영상의 출처에 대한 정보를 함께 출력할 수 있다. 일 실시예에 따른 디바이스(200)는, 획득된 영상이, 디바이스(200)가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 출력할 수 있다. 출처 정보 UI(807)를 선택하는 사용자 입력에 기초하여, 디바이스(200)는, 획득된 영상의 출처에 대한 정보를 제공할 수 있다.
도 8b에 도시된 바와 같이, 디바이스(200)는, 영상 처리 결과와 함께 영상의 출처에 대한 정보(809)를 외부 디바이스(800)에게 전송할 수 있다. 예를 들어, 출처에 대한 정보는, 영상 처리 결과를 전달받은 디바이스에 대한 정보, 영상이 획득된 날짜, 획득된 영상이 어떠한 애플리케이션이 실행되고 있는 화면에 기초한 것인지에 대한 정보 등을 포함할 수 있다. 예를 들어, 도 8b는, 디바이스(200)가 'Video Player'라는 애플리케이션을 통해 영화 'Free Willy'를 재생하고 있는 화면 내의 영역(801)을 선택한 경우를 예로 들어 도시한다. 디바이스(200)는, 애플리케이션 정보 및 애플리케이션이 재생하고 있는 컨텐츠 정보를 영상 출처 정보로서 획득할 수 있다. 외부 디바이스(800)는, 디바이스(200)로부터 수신된 출처에 대한 정보(809)를 디스플레이 할 수 있다.
도 8a 및 8b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 선택 영역 유지 기능을 통해, 사용자가 영역을 선택하고 선택된 영역에 대한 소정 동작을 수행하도록 하는 명령을 반복적으로 입력하지 않더라도, 소정 동작을 자동으로 반복해서 수행할 수 있다. 일 실시 예에 따른 디바이스(200)는, 선택된 영역에 대한 처리를 한번만 수행하는 것이 아니라, 사용자가 원하는 시간 동안 반복하여 수행할 수 있으므로, 사용자의 개입을 줄이고 사용자의 편의를 도모할 수 있다.
또한, 일 실시 예에 따른 디바이스(200)는, 선택된 영역에 포함되는 영상을 획득함에 있어서, 획득된 영상이 어떠한 애플리케이션의 어떠한 상황에 기초하여 획득된 것인지에 대한 정보를 함께 획득할 수 있다. 디바이스(200)는, 획득된 영상에 대한 처리 결과와 함께 획득된 정보를 제공함으로써, 사용자가 획득된 영상 및 영상 처리 결과의 출처를 쉽게 파악할 수 있도록 한다.
앞서 설명한 바와 같이, 일 실시 예에 따른 디바이스(200)는, 선택 영역 유지 기능을 통해, 고정된 선택 영역으로부터 영상을 획득하고 획득된 영상에 대한 소정 처리를 수행하는 동작을 반복할 수 있다. 이 때, 일 실시 예에 따른 디바이스(200)는, 고정된 선택 영역에 대한 영상 처리 결과를 출력하는 방식을 다양하게 설정할 수 있다.
도 9는 일 실시 예에 따른 디바이스가 고정된 선택 영역에 대한 영상 처리 결과를 출력하는 방식을 선택하기 위한 GUI의 예를 도시한다. 도 9에 도시된 바와 같이, 디바이스(200)는 터치 스크린(210)을 통해 고정된 선택 영역에 대한 영상 처리 결과를 출력하는 방식을 선택하는 사용자 입력을 수신하기 위한 메뉴(905)를 디스플레이 할 수 있다.
도 9를 참조하면, 메뉴(905)에 포함되는 항목(901)은 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장하는 모드를 선택하기 위한 항목일 수 있다. 사용자가 항목(901)을 선택하지 않으면, 디바이스(200)는, 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 각각 별개의 파일들로 저장할 수 있다.
메뉴(905)에 포함되는 항목(903)은 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장함에 있어서, 중복되는 처리 결과는 삭제하는 모드를 선택하기 위한 항목일 수 있다.
예를 들어, 디바이스(200)가 번역 모드를 선택하고, 전자 펜의 터치 입력에 기초하여 동영상의 자막이 디스플레이 되는 영역을 선택한 경우, 디바이스(200)는 선택된 영역에 대해서 텍스트를 추출하고 번역하는 동작을 반복해서 수행할 수 있다. 화면이 바뀔 때마다, 또는 소정 시간 간격으로 영상을 획득하고 텍스트를 추출하고 번역을 수행하도록 설정된 경우, 디바이스(200)는 다음과 같이 중복되는 내용들을 포함하는 처리 결과를 획득할 수 있다.
만나서 반가워.
만나서 반가워.
만나서 반가워.
너도 잘 지내지?
너도 잘 지내지?
따라서, 일 실시 예에 따른 디바이스(200)는, 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장함에 있어서, 중복되는 내용을 삭제하여 다음과 같은 처리 결과를 최종적으로 획득할 수 있다.
만나서 반가워.
너도 잘 지내지?
따라서, 일 실시 예에 따른 디바이스(200)는, 별도의 자막 파일이 제공되지 않고 자막이 동영상의 각 프레임에 포함되어 있는 경우에도 사용자의 개입을 최소화하면서 자동으로 동영상으로부터 자막을 추출하고 자막에 대한 번역 결과를 획득할 수 있다. 또한, 디바이스(200)는, 번역이 수행된 결과에서 중복되는 내용은 삭제함으로써 완성도 높은 자막 파일을 자동으로 생성하여 사용자의 편의를 도모할 수 있다.
도 10a 및 10b는 일 실시 예에 따른 디바이스가 영상으로부터 추출된 텍스트의 번역 결과를 출력하는 구체적인 예를 도시한다. 도 10a 및 10b는 일 실시 예에 따른 디바이스(200)가 전자 펜의 동작 모드로서 번역 모드를 선택한 경우를 예로 들어 도시한다.
디바이스(200)의 사용자는 동영상의 자막이 표시되는 화면 상의 영역을 전자 펜으로 선택할 수 있다. 디바이스(200)는, 전자 펜의 터치 입력에 기초하여 선택된 영역(801)에 포함되는 영상들을 획득할 수 있다. 디바이스(200)는, 번역 모드에 기초하여, 영역(801)에 포함되는 영상들로부터 텍스트를 추출하고, 추출된 텍스트가 미리 결정된 언어인 한국어로 번역된 결과를 출력 할 수 있다.
일 실시 예에 따른 디바이스(200)는, 영화의 자막 내용이 바뀌면, 선택된 영역에 포함되는 영상을 추가로 획득하고, 추가로 획득된 영상으로부터 텍스트를 추출하고, 추출된 텍스트를 번역하고, 번역 결과를 출력할 수 있다. 따라서, 영화의 자막의 내용이 바뀔 때마다 사용자가 해당 영역을 선택하고 텍스트를 추출하고 번역하도록 하는 명령을 입력하지 않더라도, 일 실시예에 따른 디바이스(200)는 사용자가 원하는 동작을 자동으로 반복해서 수행할 수 있다.
디바이스(200)는, 번역 결과를 선택된 영역(801) 상에 또는 선택된 영역(801) 근방에 출력할 수 있다. 또는, 도 10a 및 10b에 도시된 바와 같이, 디바이스(200)는, 번역 결과를 외부 디바이스(1000)에게 출력 할 수 있다. 외부 디바이스(1000)는, 수신된 텍스트를 디스플레이(1010)를 통해 소정 영역 내에 디스플레이 할 수 있다.
도 10a에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는 터치 스크린(210) 상의 하나의 고정 영역(801)에 대해서 반복해서 수행된 영상 처리 결과들을 각각 별개의 파일들로 저장할 수 있다. 일 실시 예에 따른 디바이스(200)는 하나의 고정 영역(801)에 대해서 반복해서 수행된 영상 처리 결과들(1001, 1003, 1005)을 외부 디바이스(1000)를 통해 출력할 수 있다.
한편, 도 9를 참조하여 설명한 바와 같이, 디바이스(200)는, 하나의 고정 영역에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장하는 모드에서 동작하도록 설정될 수 있다. 도 10b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는 터치 스크린(210) 상의 하나의 고정 영역(801)에 대해서 반복해서 수행된 영상 처리 결과들을 하나의 파일로 저장할 수 있다. 일 실시 예에 따른 디바이스(200)는 하나의 고정 영역(801)에 대해서 반복해서 수행된 영상 처리 결과(1007)를 외부 디바이스(1000)를 통해 출력할 수 있다.
한편, 일 실시 예에 따른 디바이스(200)가 전자 펜의 동작 모드로서 애플리케이션 실행 모드를 선택한 경우, 디바이스(200)는 사용자가 선택한 영역에 포함되는 영상을 인식하여, 관련된 애플리케이션을 실행할 수 있다. 종래에는, 사용자가 소정 애플리케이션을 실행하고자 할 때, 홈 화면으로 되돌아가는 명령, 홈 화면으로부터 시작 메뉴를 불러오는 명령 및 시작 메뉴에서 소정 애플리케이션을 선택하는 명령을 입력할 것이 요구되었다. 그러나, 일 실시 예에 따른 디바이스(200)에 의하면, 소정 애플리케이션과 관련된 영상을 전자 펜으로 선택하는 동작만으로도 소정 애플리케이션을 실행할 수 있어 사용자의 편의를 극대화 할 수 있다.
일 실시 예에 따른 디바이스(200)는, 전자 펜에 의해 선택된는 영역 내에 소정의 영상이 포함되는 경우, 소정 영상과 관련된 소정 애플리케이션을 실행할 수 있다. 소정의 영상은, 특정 물체에 대한 영상, 특정 사람에 대한 영상일 수 있다. 디바이스(200)는, AI 서비스를 통해서 특정 물체에 대한 영상 또는 특정 사람에 대한 영상을 인식할 수 있다.
도 11a에 도시된 바와 같이, 사용자의 영상 선택에 기초하여 실행될 수 있는 애플리케이션을 선택하기 위한 UI를 제공할 수 있다. 도 11a의 터치 스크린(210) 상에는 영상과 매핑되어 있는 애플리케이션 리스트가 디스플레이 된다. 영상들(1111, 1121, 1131)은 각각 갤러리(Gallery), 계산기(Calculator), 날씨(Weather) 애플리케이션과 매핑되어 있을 수 있다.
일 실시 예에 따른 디바이스(200)는, 선택 UI들(1113, 1123, 1133)에 대한 사용자 입력에 기초하여, 사용자의 영상 선택에 기초하여 실행될 수 있는 애플리케이션을 선택할 수 있다. 도 11a를 참조하면, 디바이스(200)는, 리스트 내의 갤러리 애플리케이션, 계산기 애플리케이션, 날씨 애플리케이션 중에서, 계산기 애플리케이션만을 사용자의 영상 선택에 기초하여 실행할 수 있다.
예를 들어, 일 실시 예에 따른 디바이스(200)는, 애플리케이션 실행 모드에서, 전자 펜에 의해 선택된 영역 내에 영상(1121)과 동일하거나 유사하다고 판단되는 영상을 인식하면, 영상(1121)에 매핑된 애플리케이션인 계산기 애플리케이션을 실행할 수 있다. 그러나, 디바이스(200)는, 애플리케이션 실행 모드에서, 전자 펜에 의해 선택된 영역 내에 영상(1111)이 포함되어 있더라도, 갤러리 애플리케이션을 실행하지 않을 수 있다. 갤러리 애플리케이션은 디바이스(200) 내에 저장된 사진을 둘러볼 수 있는 애플리케이션일 수 있다. 디바이스(200)는, 선택 UI(1113)에 대한 사용자 입력이 수신되어 설정이 변경되면, 사용자의 영상 선택에 기초하여 갤러리 애플리케이션이 실행되는 기능을 활성화시킬 수 있다.또한, 일 실시 예에 따른 디바이스(200)는, 사용자의 영상 선택에 기초하여 실행될 수 있는 애플리케이션을 추가할 수 있다. 도 11a에 도시된 바와 같이, 디바이스(200)는 사용자의 영상 선택에 기초하여 실행될 수 있는 애플리케이션을 추가하기 위한 UI(1140) 를 제공할 수 있다.
도 11a의 UI(1140)에 대한 사용자 입력이 수신되면, 디바이스(200)는 도 11b에 도시된 화면을 출력할 수 있다.
도 11b에 도시된 바와 같이, 일 실시 예에 따른 디바이스(200)는, 애플리케이션의 실행과 관련된 영상을 입력하기 위한 UI(1150), 애플리케이션의 이름을 입력하기 위한 UI(1161), 및 UI(1150)를 통해 입력된 영상과 매핑할 애플리케이션을 추가하기 위한 UI(1163)를 제공할 수 있다
디바이스(200)는, 도 11b의 UI(1150)에 대한 사용자의 입력에 기초하여, 애플리케이션의 실행과 관련된 영상을 결정할 수 있다. 결정되는 영상은, 디바이스(200) 내에 저장된 영상, 새롭게 촬영된 영상, 또는 네트워크를 통해 새롭게 수신된 영상일 수 있다. 디바이스(200)는, 도 11b의 UI(1161)에 대한 사용자의 입력에 기초하여, 영상과 매핑되는 적어도 하나의 애플리케이션을 지칭하는 이름을 저장할 수 있다.
디바이스(200)는, 도 11b의 UI(1163)에 대한 사용자의 입력에 기초하여, UI(1150)를 통해 입력된 영상과 매핑할 애플리케이션을 추가할 수 있다. 디바이스(200)는, 도 11b의 UI(1163)에 대한 사용자의 입력이 수신되면, 미리 저장된 애플리케이션들의 리스트를 디스플레이 하고, 리스트에 대한 사용자의 입력에 기초하여 적어도 하나의 애플리케이션을 선택할 수 있다. 디바이스(200)는, 리스트 내에서 선택된 애플리케이션을 입력된 영상과 매핑할 애플리케이션으로 추가할 수 있다.
도 11c에 도시된 바와 같이, 디바이스(200)는 애플리케이션의 실행과 관련된 영상으로서 결정된 영상(1171)을 화면 상에 디스플레이 할 수 있다. 디바이스(200)는, 애플리케이션 실행 모드에서, 전자 펜에 의해 선택된 영역 내에 영상(1171)과 동일하거나 유사하다고 판단되는 영상을 인식하면, 비디오 재생 애플리케이션을 실행하도록 설정할 수 있다. 디바이스(200)는, 하나의 영상을 복수 개의 애플리케이션들과 매핑하여 저장할 수 있다. 디바이스(200)는, 복수 개의 애플리케이션들에 대해서 실행되는 우선 순위를 할당할 수 있다.
예를 들어, 도 11c에 도시된 바와 같이, 디바이스(200)는, 전자 펜에 의해 선택된 영역 내에 영상(1171)과 동일하거나 유사하다고 판단되는 영상을 인식하면, AAA player 애플리케이션(1193) 또는 BBB player 애플리케이션(1197)을 실행할 수 있다. 디바이스(200)는, 영상(1171)과 매핑된 애플리케이션들을 우선 순위에 따라서 디스플레이 할 수 있다. 예를 들어, 디바이스(200)는, 전자 펜에 의해 선택된 영역 내에 영상(1171)과 동일하거나 유사하다고 판단되는 영상을 인식하면, AAA player 애플리케이션(1193)을 우선적으로 실행할 수 있다. 만약, 디바이스(200)가 AAA player 애플리케이션(1193)을 실행할 수 없는 경우, 디바이스(200)는, BBB player 애플리케이션(1197)을 실행할 수 있다.
영상(1191, 1195)는, 디바이스(200)가 영상(1171)과 동일하거나 유사하다고 판단하는 영상들일 수 있다. 또는, 영상(1191, 1195)는, 각각 AAA player 애플리케이션(1193) 및 BBB player 애플리케이션(1197)을 대표하는 아이콘일 수 있다. 디바이스(200)는, 영상(1171)과 매핑되는 애플리케이션들(1193, 1197)을 지칭하는 이름(1173)으로서 "Video Player"를 저장할 수 있다.
도 12는 일 실시 예에 따른 디바이스의 동작 방법의 흐름도이다.
도 12에 도시된 바와 같이 일 실시 예에 따른 디바이스(200)는, 전자 펜의 동작 모드를 선택하는 동작을 생략할 수 있다. 디바이스(200)는, 이 전에 선택된 동작 모드 또는 디폴트 값으로서 미리 결정된 동작 모드를 저장하고, 저장된 동작 모드에 기초하여 동작 할 수 있다.
도 12의 단계 S1210 및 단계 S1220은 도 5의 단계 S520 및 단계 S530에 각각 대응되고, 도 12의 단계 S1230 내지 S1260은 도 5의 단계 S540에 대응될 수 있다. 중복되는 설명은 생략한다.
단계 S1210에서 일 실시 예에 따른 디바이스(200)는, 전자 펜에 의해 터치 스크린(210) 상의 적어도 일부 영역을 선택할 수 있다. 단계 S1220에서 일 실시 예에 따른 디바이스(200)는, 단계 S1210에서 선택된 영역에 포함되는 영상을 획득할 수 있다. 단계 S1230에서 일 실시 예에 따른 디바이스(200)는, 단계 S1220에서 획득된 영상과 관련된 애플리케이션에 대한 정보를 영상과 매칭하여 저장할 수 있다. 단계 S1240에서 일 실시 예에 따른 디바이스(200)는, 획득된 영상에 대해서 저장된 동작 모드에 기초하여 미리 결정된 동작을 수행할 수 있다. 동작 모드에 기초하여 미리 결정된 동작이란 동작 모드에 기초하여 획득된 영상을 처리하는 동작을 포함할 수 있고, 예를 들어, 번역, 영상 인식, 및 애플리케이션 실행 중 적어도 하나를 포함할 수 있다. 단계 S1250에서 일 실시 예에 따른 디바이스(200)는, 동작 수행 결과를 출력할 수 있다.
단계 S1260에서 일 실시 예에 따른 디바이스(200)는, 단계 S1210에서 선택된 영역을 유지할 지 여부를 판단할 수 있다.
예를 들어, 선택 영역을 유지할 지 여부는, 단계 S1210을 수행하기 이 전에 사용자 입력에 기초하여 결정되거나, 단계 S1210 이후에 선택된 영역에 대한 사용자 입력(예를 들어, 선택 영역을 소정 시간 이상 동안 터치 앤 홀드)에 기초하여 결정될 수 있다. 또는, 선택 영역을 유지할 지 여부는, 단계 S1250에서 영상 처리 결과를 수행한 이후에 표시되는 팝업창에 대한 사용자 입력에 기초하여 결정될 수 있다.
단계 S1260에서 일 실시 예에 따른 디바이스(200)가 선택 영역을 유지하지 않기로 결정한 경우, 디바이스(200)는 선택 영역을 해지하고 프로세스를 종료할 수 있다.
단계 S1260에서 일 실시 예에 따른 디바이스(200)가 선택 영역을 유지하기로 결정한 경우, 디바이스(200)는 단계 S1220으로 돌아가 선택된 영역에 포함되는 영상을 획득하고, 획득된 영상을 선택된 동작 모드에 기초하여 처리하는 동작들을 반복하여 수행할 수 있다. 디바이스(200)는 미리 설정된 시간 이후에 또는 선택 영역 내의 영상의 변화가 감지될 때, 단계 S1220으로 돌아가 선택된 영역에 포함되는 영상을 획득할 수 있다. 디바이스(200)는, 소정 시간동안 또는 선택 영역을 해지하는 사용자의 입력이 수신될 때까지, 단계 S1220 내지 S1250을 반복하여 수행할 수 있다. 전자 펜의 특정 버튼을 누르는 사용자 입력이나 디바이스(200)가 제공하는 메뉴에 대한 사용자 입력에 기초하여, 디바이스(200)는 선택 영역의 유지를 중단할 수 있다.
상술한 바와 같이, 일 실시 예에 따른 디바이스(200)는, 전자 펜에 의한 터치 입력을, 단순한 터치가 아닌, 화면 상의 영역을 선택하고 선택된 영역에 대한 특정 동작을 처리하도록 하는 명령으로 해석함으로써, 사용자가 보다 편리하게 디바이스(200)가 특정 동작을 수행하도록 조작할 수 있게 한다.
개시된 실시 예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시 예에 따른 동작이 가능한 장치로서, 개시된 실시 예들에 따른 사용자 단말, 디바이스, 서버, 영상 처리 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시 예들에 따른 전자 장치 또는 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예로, 영상 전송 장치 또는 영상 수신 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시 예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시 예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시 예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시 예에 따른 방법을 수행하도록 제어할 수 있다. 구체적인 예로, 제3 장치는 영상 전송 장치 또는 영상 수신 장치를 원격 제어하여, 패킹 영상을 전송 하거나 수신하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시 예들에 따른 방법을 수행할 수도 있다.

Claims (15)

  1. 터치 스크린을 포함하는 디바이스가 동작하는 방법에 있어서,
    전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계;
    상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계;
    상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및
    상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함하는, 디바이스 동작 방법.
  2. 제1 항에 있어서,
    상기 제1 모드를 선택하는 단계는,
    상기 복수의 동작 모드들이 나열된 리스트를 디스플레이 하는 단계; 및
    상기 리스트 상에 나열된 복수의 동작 모드들 중 하나의 동작 모드를 선택하는 사용자 입력에 기초하여, 상기 제1 모드를 선택하는 단계를 포함하는, 디바이스 동작 방법.
  3. 제1 항에 있어서,
    상기 제1 영상을 처리한 결과를 디스플레이 하는 방식을 선택하기 위한 GUI를 디스플레이 하는 단계; 및
    상기 GUI에 대한 사용자 입력에 기초하여, 상기 제1 영상을 처리한 결과를 디스플레이 하는 방식을 선택하는 단계를 더 포함하는, 디바이스 동작 방법.
  4. 제1 항에 있어서,
    상기 전자 펜과 상기 디바이스는 무선으로 연결되고,
    상기 제1 모드를 선택하는 단계는,
    상기 전자 펜에 대해 입력되는 사용자 입력에 대한 신호를 상기 전자 펜으로부터 수신하는 단계; 및
    상기 수신된 신호에 기초하여, 상기 복수의 동작 모드들 중에서 상기 제1 모드를 선택하는 단계를 포함하는, 디바이스 동작 방법.
  5. 제1 항에 있어서,
    상기 제1 영상을 저장하는 단계를 더 포함하는, 디바이스 동작 방법.
  6. 제5 항에 있어서,
    상기 획득된 영상을 저장하는 단계는,
    상기 제1 영상이 상기 디바이스가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 획득하는 단계; 및
    상기 획득된 정보를 상기 제1 영상과 매칭하여 저장하는 단계를 포함하는, 디바이스 동작 방법.
  7. 제1 항에 있어서,
    상기 복수의 동작 모드들은,
    상기 전자 펜에 의해 선택된 영역에 포함되는 영상으로부터 텍스트를 추출하고, 상기 추출된 텍스트를 번역한 결과를 출력하는 번역 모드,
    상기 영상을 분석함으로써 상기 영상이 나타내는 물체와 관련된 키워드를 추출하고, 상기 추출된 키워드와 관련된 정보를 출력하는 영상 인식 모드,
    상기 영상에 포함되는 아이콘 또는 텍스트를 추출하고, 상기 추출된 아이콘 또는 텍스트에 대응하는 애플리케이션을 실행하는 애플리케이션 실행 모드, 및
    상기 영상을 상기 터치 스크린 상의 소정 영역에 디스플레이 하고, 상기 터치 스크린 상에 디스플레이 되는 화면이 변경되는 경우에도 상기 영상을 상기 화면의 최상위에 항상 디스플레이 하는 플로팅 영상 모드 중 적어도 하나를 포함하는, 디바이스 동작 방법.
  8. 제1 항에 있어서,
    상기 제1 영상을 처리한 결과를 출력하는 단계는,
    상기 제1 영상을 처리한 결과를 외부 디바이스에게 전송하는 단계를 포함하는, 디바이스 동작 방법.
  9. 제1 항에 있어서,
    상기 터치 스크린 상에 디스플레이 되는 화면이 변경되면, 상기 선택된 제1 영역에 포함되는 제2 영상을 획득하는 단계; 및
    상기 제1 모드에 기초하여 상기 제2 영상을 처리한 결과를 출력 하는 단계를 더 포함하는, 디바이스 동작 방법.
  10. 제1 항에 있어서,
    상기 전자 펜의 제2 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제2 영역을 선택하는 단계;
    상기 선택된 제2 영역에 포함되는 제3 영상을 획득하는 단계; 및
    상기 제1 모드에 기초하여 상기 획득된 제3 영상을 처리한 결과를 출력 하는 단계를 더 포함하는, 디바이스 동작 방법.
  11. 전자 펜에 의한 터치 입력을 수신하는 터치 스크린과 적어도 하나의 프로세서를 포함하는 디바이스에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하고,
    상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하고,
    상기 제1 영역에 포함되는 제1 영상을 획득하고,
    상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력하는, 디바이스.
  12. 제11 항에 있어서,
    상기 제1 영상을 저장하는 메모리를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 영상이 상기 디바이스가 실행하고 있는 적어도 하나의 애플리케이션 중 어떠한 애플리케이션에 기초한 것인지에 대한 정보를 획득하고, 상기 획득된 정보를 상기 제1 영상과 매칭하여 상기 메모리에 저장하는, 디바이스.
  13. 제11 항에 있어서,
    상기 복수의 동작 모드들은,
    상기 전자 펜에 의해 선택된 영역에 포함되는 영상으로부터 텍스트를 추출하고, 상기 추출된 텍스트를 번역하는 번역 모드,
    상기 영상을 분석함으로써 상기 영상이 나타내는 물체와 관련된 키워드를 추출하고, 상기 추출된 키워드와 관련된 정보를 출력하는 영상 인식 모드,
    상기 영상에 포함되는 아이콘 또는 텍스트를 추출하고, 상기 추출된 아이콘 또는 텍스트에 대응하는 애플리케이션을 실행하는 애플리케이션 실행 모드, 및
    상기 영상을 상기 터치 스크린 상의 소정 영역에 디스플레이 하고, 상기 터치 스크린 상에 디스플레이 되는 화면이 변경되는 경우에도 상기 영상을 상기 화면의 최상위에 항상 디스플레이 하는 플로팅 영상 모드 중 적어도 하나를 포함하는, 디바이스.
  14. 제11 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전자 펜의 제2 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제2 영역을 선택하고, 상기 선택된 제2 영역에 포함되는 제3 영상을 획득하고, 상기 제1 모드에 기초하여 상기 획득된 제3 영상을 처리한 결과를 출력 하는, 디바이스.
  15. 터치 스크린을 포함하는 디바이스가 동작하는 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 디바이스가 동작하는 방법은,
    전자 펜의 복수의 동작 모드들 중에서 제1 모드를 선택하는 단계;
    상기 터치 스크린에 대한 상기 전자 펜의 제1 터치 입력에 기초하여, 상기 터치 스크린 상에 디스플레이 되는 화면의 제1 영역을 선택하는 단계;
    상기 제1 영역에 포함되는 제1 영상을 획득하는 단계; 및
    상기 제1 모드에 기초하여 상기 제1 영상을 처리한 결과를 출력 하는 단계를 포함하는, 컴퓨터 프로그램 제품.
PCT/KR2019/014158 2018-11-12 2019-10-25 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법 WO2020101215A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0138306 2018-11-12
KR1020180138306A KR20200054699A (ko) 2018-11-12 2018-11-12 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2020101215A1 true WO2020101215A1 (ko) 2020-05-22

Family

ID=70731532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/014158 WO2020101215A1 (ko) 2018-11-12 2019-10-25 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20200054699A (ko)
WO (1) WO2020101215A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340666B1 (ko) * 2020-12-16 2021-12-17 주식회사 큐에스 사용자 단말의 카메라 모듈을 활용한 비-접촉식 장치 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100024205A (ko) * 2008-08-25 2010-03-05 (주)디코인 스타일러스 펜을 구비한 휴대용 전자노트
US20150135103A1 (en) * 2013-11-08 2015-05-14 Microsoft Corporation Two step content selection with auto content categorization
KR20170017572A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
US20180024708A1 (en) * 2016-07-25 2018-01-25 Samsung Electronics Co., Ltd. Method for providing user interface related to note and electronic device for the same
KR20180060972A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 전자 장치 및 이의 컨텐츠 요약 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100024205A (ko) * 2008-08-25 2010-03-05 (주)디코인 스타일러스 펜을 구비한 휴대용 전자노트
US20150135103A1 (en) * 2013-11-08 2015-05-14 Microsoft Corporation Two step content selection with auto content categorization
KR20170017572A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
US20180024708A1 (en) * 2016-07-25 2018-01-25 Samsung Electronics Co., Ltd. Method for providing user interface related to note and electronic device for the same
KR20180060972A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 전자 장치 및 이의 컨텐츠 요약 방법

Also Published As

Publication number Publication date
KR20200054699A (ko) 2020-05-20

Similar Documents

Publication Publication Date Title
EP3821330A1 (en) Electronic device and method for generating short cut of quick command
WO2014010974A1 (en) User interface apparatus and method for user terminal
WO2016137272A1 (ko) 복수의 운영체제가 설치된 디바이스를 제어하는 방법 및 디바이스
WO2014088253A1 (en) Method and system for providing information based on context, and computer-readable recording medium thereof
WO2014092451A1 (en) Information search method and device and computer readable recording medium thereof
WO2014035195A2 (en) User interface apparatus in a user terminal and method for supporting the same
WO2016064132A1 (en) Wearable device and method of transmitting content
WO2014035209A1 (en) Method and apparatus for providing intelligent service using inputted character in a user device
WO2020180034A1 (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
WO2014035199A1 (en) User interface apparatus in a user terminal and method for supporting the same
WO2020197263A1 (en) Electronic device and multitasking supporting method thereof
WO2019160238A1 (en) Electronic apparatus and operating method of the same
WO2019235793A1 (en) Electronic device and method for providing information related to image to application through input unit
WO2016159654A1 (ko) 위젯 제공 시스템 및 방법
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2014042474A2 (en) Method and system for executing application, and device and recording medium thereof
WO2016089074A1 (en) Device and method for receiving character input through the same
WO2015046899A1 (en) Display apparatus and method of controlling display apparatus
WO2020149689A1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
WO2019059642A1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
WO2019190062A1 (en) Electronic device for processing user voice input
WO2016043530A1 (en) System and method for providing service via application
WO2018124823A1 (en) Display apparatus and controlling method thereof
EP3087752A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19883581

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19883581

Country of ref document: EP

Kind code of ref document: A1