WO2016204428A1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2016204428A1
WO2016204428A1 PCT/KR2016/005788 KR2016005788W WO2016204428A1 WO 2016204428 A1 WO2016204428 A1 WO 2016204428A1 KR 2016005788 W KR2016005788 W KR 2016005788W WO 2016204428 A1 WO2016204428 A1 WO 2016204428A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
information
electronic device
location
type
Prior art date
Application number
PCT/KR2016/005788
Other languages
English (en)
French (fr)
Inventor
임수민
권오훈
이무웅
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/572,383 priority Critical patent/US20180137097A1/en
Publication of WO2016204428A1 publication Critical patent/WO2016204428A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/222—Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area

Definitions

  • the present invention relates to an electronic device and a control method thereof, and more particularly, to an electronic device and a control method thereof, which automatically provide a recommendation image in response to a message received from the outside.
  • Such mobile devices i.e. wearable devices
  • an easy input device such as a smart phone.
  • text input is difficult (for example, a driving situation) even in a smart phone such as a text input easy.
  • the present invention has been made to solve the above-described problem, and an object of the present invention is to provide an electronic device for providing a recommendation image as a response message by analyzing a message type and context information when a message is received, and a control method thereof. Is in.
  • a method of controlling an electronic device including: receiving a message including text; Analyzing the text included in the message, determining the type of the message, and obtaining context information related to the type of the message; And determining and providing a recommendation image for responding to the message based on the context information.
  • a guide UI for inquiring whether to register the location information is displayed. step; And when the registration command for the location information is input through the guide UI, registering the location information.
  • the acquiring may include acquiring the registered location information as context information when the type of the message is a message for a location query, and providing the at least one message based on the registered location information.
  • the recommended image for responding may be determined and provided.
  • the acquiring step may include, when the type of the message is a message for location inquiry, the location information obtained based on at least one of location information, schedule information, and wireless network connection information detected by GPS as context information. Can be obtained.
  • the acquiring may include: when the type of the message is an inquiry message about a current activity of a user who uses the electronic device, activity information acquired based on at least one of currently executed application information and previously stored schedule information. Can be obtained as the context information.
  • the acquiring may include, when the message type is an inquiry message about a current activity of a user who uses the electronic device, using the at least one sensor, motion information of the electronic device detected as the context information. Can be obtained.
  • the acquiring may include: when the type of the message is an inquiry message about a current activity of a user who uses the electronic device, and if an external device connected to the electronic device exists, the external device received from the connected external device.
  • Information of the device may be obtained as the context information.
  • the providing may include displaying a recommendation image list including the plurality of recommendation images when there are a plurality of recommendation images determined by the context information.
  • the method may further include automatically transmitting current location information in response to the message when it is detected that the location of the electronic device exists at a preset time in a location not previously registered.
  • an electronic device for achieving the above object, the communication unit for receiving a message including a text; A controller which analyzes the text included in the message to determine the type of the message, obtains context information related to the type of the message, and determines a recommendation image for responding to the message based on the context information; And a display unit for providing the determined recommendation image.
  • the control unit is a guide that inquires whether to register the location information.
  • the display unit may be controlled to display a UI, and when the registration command for the location information is input through the guide UI, the location information may be registered.
  • the controller may obtain the registered location information as context information when the type of the message is a message for location inquiry, and determine a recommendation image for responding to the message based on the registered location information. Can be.
  • the controller may acquire location information acquired based on at least one of location information, schedule information, and wireless network connection information detected by GPS as context information. Can be.
  • the controller may include the activity information obtained based on at least one of currently executed application information and previously stored schedule information. Can be acquired with context information.
  • the controller may acquire motion information of the electronic device detected using at least one sensor as the context information. Can be.
  • Information may be obtained as the context information.
  • the controller may control the display unit to display a list of recommended images including the plurality of recommended images when there are a plurality of recommended images determined by the context information.
  • the controller may control the communication unit to automatically transmit current location information in response to the message when it is detected that the location of the electronic device exists at a preset time in a location not previously registered.
  • the user may more easily and simply respond to the message through the recommendation image.
  • FIG. 1 is a block diagram schematically illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram illustrating in detail a configuration of an electronic device according to an embodiment of the present disclosure
  • 3A to 11 are diagrams for describing various embodiments of providing a recommendation image generated according to context information according to various embodiments of the present disclosure.
  • FIG. 12 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • first and second terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • the terms “comprise” or “have” are intended to designate that there exists a feature, number, step, operation, component, part, or a combination thereof described in the specification. Or other features or numbers, steps, operations, components, parts or combinations thereof in any way should not be excluded in advance.
  • the module or unit performs at least one function or operation, and may be implemented in hardware or software, or in a combination of hardware and software.
  • the plurality of modules or the units may be integrated into at least one module except for the modules or units that need to be implemented with specific hardware, and may be implemented as at least one processor.
  • the user input may include at least one of a touch input, a bending input, a voice input, a button input, and a multimodal input, but is not limited thereto.
  • an "application” refers to a set of computer programs designed to perform a specific task.
  • the application may vary. For example, there may be a game application, a video playback application, a map application, a memo application, a calendar application, a phone book application, a broadcast application, an exercise support application, a payment application, a photo folder application, but is not limited thereto.
  • concise information is information indicating a surrounding situation of the electronic device or a situation of a user using the electronic device, and includes GPS information, wireless communication connection information, schedule information, application usage information, and connected external information. It may be obtained by the information about the device.
  • the electronic device 100 includes a communication unit 110, a display unit 120, and a controller 130. Meanwhile, according to an embodiment of the present disclosure, the electronic device 100 may be implemented as various electronic devices such as a smart phone, a smart watch, a smart glass, a tablet PC, a nocturne PC, and the like.
  • the communication unit 110 performs communication with an external device.
  • the communication unit 110 may transmit and receive a message including a text or an image with an external device.
  • the display unit 120 outputs image data.
  • the display 120 may display a message window including a message transmitted and received with an external device, and include a recommendation image in the message window.
  • the controller 130 controls the overall operation of the electronic device 100.
  • the controller 130 analyzes the text included in the message received through the communication unit 110 to determine the type of the message, obtain context information related to the message type, and respond to the message based on the context information. Can determine the recommended image.
  • the controller 130 may control the display 120 to provide the determined recommendation image.
  • controller 130 may control the communicator 110 to receive a message including text from an external device.
  • the controller 130 may determine the type of the message by analyzing the text included in the received message. In detail, the controller 130 may perform lexical-analysis by performing natural language processing on the received message and determine the type of the message based on whether a specific character exists based on the analysis result. . For example, as a result of the analysis, when the message includes the word "where", the controller 130 may determine the type of the message as the message for the location inquiry. As another example, as a result of the analysis, when the message includes the words "what" and "doing", the controller 130 may determine the type of the message as a message for inquiring the user's activity.
  • the controller 130 may obtain context information based on the determined message type.
  • the controller 130 may obtain location information as context information. For example, if a message about a location query is received before the message is received, if the location information is input in response to the message about the location query, the display is displayed to display a guide UI for asking whether to register the location information.
  • the unit 120 may be controlled.
  • the controller 130 may register the location information as the context information.
  • the controller 130 may obtain, as context information, location information obtained based on at least one of location information, schedule information, and wireless network connection information detected by GPS.
  • the controller 130 may display activity information obtained based on at least one of application information to be executed and previously stored schedule information. Can be acquired with context information.
  • the controller 130 may obtain movement information of the electronic device 100 detected using at least one sensor as context information.
  • the controller 130 may obtain information on the external device received from the connected external device as context information.
  • the controller 130 may determine the recommended image based on the obtained context information. For example, when the type of the message is a message about the location query, and when it is determined that the current location is the home based on the location information which is the context information, the controller 130 may include a recommendation image corresponding to the home (for example, a recommendation). Emotimon) can be determined. In addition, the controller 130 may control the display 110 to provide the determined recommended image. In particular, when there are a plurality of recommended images determined by the context information, the controller 130 may control the display 120 to display a list of recommended images including a plurality of recommended images.
  • the controller 130 controls the communication unit 110 to automatically transmit current location information in response to the message. Can be. That is, when it is determined that the user exists in the dangerous area, the controller 130 may automatically transmit the current location information of the current user to the counterpart, thereby informing the counterpart of the dangerous situation.
  • the user can transmit a response message for the current situation with minimal user input.
  • 2 is a block diagram illustrating in detail a configuration of an electronic device 200 according to an embodiment of the present invention.
  • the electronic device 200 includes a display unit 210, an audio output unit 220, a communication unit 230, a storage unit 240, a detector 250, an input unit 260, and a controller. 270.
  • FIG. 2 is a diagram schematically illustrating various components, for example, when the electronic device 100 is a device having various functions such as a text input function, a message transmission / reception function, a display function, and the like. Therefore, according to an embodiment, some of the components shown in FIG. 2 may be omitted or changed, and other components may be further added.
  • the display 210 displays at least one of a video frame processed by the image processor (not shown) and the various screens generated by the graphic processor 273.
  • the display 210 may display a message window including a message transmitted and received with an external device.
  • the display 210 may display at least one of a recommendation image and a keyboard UI in the message window.
  • the audio output unit 220 outputs various notification sounds or voice messages as well as various audio data on which various processing operations such as decoding, amplification, and noise filtering are performed by the audio processor (not shown).
  • the audio output unit 220 may be implemented as a speaker, but this is only an example and may be implemented as an output terminal capable of outputting audio data.
  • the communication unit 230 is a component that performs communication with various types of external devices according to various types of communication methods.
  • the communication unit 230 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, an NFC chip, a wireless communication chip, and the like.
  • the WiFi chip, the Bluetooth chip, and the NFC chip communicate with each other via WiFi, Bluetooth, and NFC.
  • the NFC chip refers to a chip that operates in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, and 2.45 GHz.
  • NFC near field communication
  • the wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like.
  • the communication unit 230 may transmit and receive a message with the external device.
  • the communication unit 230 may receive information (for example, information on the currently displayed content) of the external device through short-range communication with the external external device.
  • the storage unit 240 stores various modules for driving the electronic device 200.
  • the storage unit 240 may store software including a base module, a sensing module, a communication module, a presentation module, a web browser module, and a service module.
  • the base module is a basic module that processes a signal transmitted from each hardware included in the electronic device 200 and transmits the signal to an upper layer module.
  • the sensing module collects information from various sensors and analyzes and manages the collected information.
  • the sensing module may include a face recognition module, a voice recognition module, a motion recognition module, an NFC recognition module, and the like.
  • the presentation module is a module for constructing a display screen, and may include a multimedia module for reproducing and outputting multimedia content, and a UI rendering module for performing UI and graphic processing.
  • the communication module is a module for performing communication with the outside.
  • the web browser module refers to a module that performs web browsing to access a web server.
  • the service module is a module including various applications for providing various services.
  • the storage unit 240 may include various program modules, but various program modules may be partially omitted, modified, or added according to the type and characteristics of the electronic device 200.
  • the base module further includes a position determination module for determining a GPS-based position
  • the sensing module further includes a sensing module for detecting a user's motion. can do.
  • the storage unit 240 may include a Natural Language Processing (NLP) module to lexically analyze text included in the received message.
  • NLP Natural Language Processing
  • the storage unit 240 may include a context information obtaining module for obtaining various context information.
  • the storage unit 240 may store a recommendation image (eg, an emoticon).
  • the storage unit 240 is a memory card (not shown) mounted in the ROM 272, the RAM 271, or the electronic device 200 in the controller 270 (for example, micro SD card, memory stick).
  • the detector 250 detects a surrounding environment of the electronic device 200.
  • the detector 250 may include a GPS sensor capable of detecting location information, a motion sensor capable of detecting movement of the electronic device 200 (eg, a gyro sensor, an acceleration sensor, etc.), a pressure sensor, and noise. And various sensors such as sensors.
  • the input unit 260 receives a user command for controlling the electronic device 200.
  • the input unit 260 may include various input devices such as a touch input unit, a button, a voice input unit, a motion input unit, a keyboard, and a mouse to receive a user command.
  • the controller 270 controls the overall operation of the electronic device 200 using various programs stored in the storage 240.
  • the controller 270 includes a RAM 271, a ROM 272, a graphics processor 273, a main CPU 274, first to n-interfaces 275-1 to 275-n, Bus 276.
  • the RAM 271, the ROM 272, the graphic processor 273, the main CPU 274, and the first to n-th interfaces 275-1 to 275-n may be connected to each other through the bus 276. .
  • the ROM 272 stores a command set for system booting.
  • the main CPU 274 copies the O / S stored in the storage unit 240 to the RAM 271 according to the command stored in the ROM 272 and executes O / S. Boot the system.
  • the main CPU 274 copies various application programs stored in the storage unit 240 to the RAM 271, and executes the application programs copied to the RAM 271 to perform various operations.
  • the graphic processor 273 generates a screen including various objects such as a pointer, an icon, an image, and a text by using a calculator (not shown) and a renderer (not shown).
  • the calculator calculates attribute values such as coordinates, shapes, sizes, colors, and the like in which each object is to be displayed according to the layout of the screen using the control command received from the input unit.
  • the renderer generates screens of various layouts including objects based on the attribute values calculated by the calculator. The screen generated by the renderer is displayed in the display area of the display 210.
  • the main CPU 274 accesses the storage 240 and performs booting using the operating system stored in the storage 240.
  • the main CPU 274 performs various operations using various programs, contents, data, and the like stored in the storage 240.
  • the first to n interfaces 275-1 to 275-n are connected to the various components described above.
  • One of the interfaces may be a network interface connected to an external device via a network.
  • the controller 270 analyzes the text included in the message received from the external device through the communication unit 230 to determine the type of the received message.
  • the controller 270 obtains context information related to the type of message, and determines a recommendation image for responding to the message based on the context information.
  • the controller 270 controls the display 210 to provide the determined recommended image.
  • control unit 270 receives a message from an external device through the communication unit 230.
  • the message received from the external device may be directly received from the external device, but this is only an example and may be received through a relay device such as a server or a base station.
  • the message received from the external device may include one of a text, an image, and an audio file.
  • controller 270 may determine the type of the received message by analyzing the text included in the message received from the external device.
  • the controller 270 may perform lexical analysis on the text included in the message through the NLP module.
  • the controller 270 may perform morphological analysis, syntax analysis, and speech act analysis of the text included in the message through the NLP module.
  • the controller 270 may determine whether the text included in the message includes a specific word based on the analysis result. For example, the control unit 270 may question the text included in the message through lexical analysis (eg, “where”, “when”, “what”), a specific noun (eg, “you”, “U”), it may be determined whether a particular verb (eg, "are", "go", "do", etc.) is included.
  • the controller 270 may determine the type of the received message by analyzing the specific word. For example, when “where", “U”, and “are” are included in the text included in the received message, the controller 270 may determine that the type of the message is a message for the location query. As another example, when the text included in the received message includes “what", “are", “U”, and “doing", the controller 270 may be a user whose type of message is the electronic device 200. It can be determined that the message is about the current activity of.
  • the controller 270 may obtain context information based on the determined message type. According to an embodiment of the present invention, when the type of the message is a message for location query, the controller 270 may obtain location information as context information. In this case, the location information may be obtained in various ways.
  • control unit 270 may obtain the location information registered as the current location before the message is received as the context information. A method of registering a current location will be described with reference to FIGS. 3A to 3C.
  • the controller 270 may be a Lexi.
  • the curl analysis may determine that the word "home” exists in the reply message.
  • the controller 270 may control the display unit 210 to display the guide UI 310 inquiring registration of the current location, as shown in FIG. 3B.
  • the controller 270 may register information about the current location as location information.
  • the controller 270 may register not only the registered location information but also a recommendation image (for example, an emoticon, a picture, a picture, etc.) related to the location information.
  • the controller 270 may store the previously stored recommendation image related to the location information together, and store the recommendation image together through a registration UI for registering the recommended emoticon as illustrated in FIG. 3C. That is, the controller 270 may match and store the recommended emoticon with the registered location information.
  • the controller 270 may obtain location information acquired based on at least one of location information, schedule information, and wireless network connection information detected by GPS as context information. In detail, when information about latitude and longitude of the current location is received by the GPS sensor, the controller 270 may obtain current location information based on the received latitude and longitude. As another example, when the schedule "exercise in the park from 3:00 pm to 4:00 pm" is stored in the storage unit 240, the controller 270 calls the location information between 3:00 pm and 4:00 pm. You can judge. As another example, when the ID of the currently connected AP is "XX department store", the controller 270 may determine the current location information as "XX department store”.
  • the controller 270 may determine the recommended image based on the determined location information. In detail, as described above, the controller 270 may determine an emoticon matched with the predetermined location information as the recommendation image. As another example, the controller 270 may search for an image related to the determined location information and determine the searched image as the recommended image. For example, if the current location is a coffee shop of a specific brand, the controller 270 may determine the searched image as a recommended image by searching the Internet for an image related to the determined current location (ie, a coffee shop brand image). have.
  • the controller 270 may provide the determined recommended image to the user.
  • the controller 270 determines the recommended image based on the location information determined by the above-described method, and is illustrated in FIG. 4A.
  • the display 210 may be controlled to provide a recommendation image to one area 410 of the message window.
  • the controller 270 controls the communication unit 230 to transmit the selected recommendation image to an external device, as shown in FIG. 4B.
  • the display unit 210 may be controlled to display the recommendation image 420 as a reply message in the message window.
  • the controller 270 has been described as determining the recommendation image based on the context information. However, this is only an example, and the control unit 270 determines and provides the recommendation phrase based on the context information. can do. Recommendation text may also be obtained in the same manner as the recommendation image. That is, the recommendation phrase may be pre-registered to match the context information by the user or may be searched from the outside.
  • the controller 270 includes both the recommendation image and the recommendation phrase in one area 510 of the message window.
  • the display unit 210 may be controlled to display the recommendation list.
  • the controller 270 controls the communication unit 230 to transmit the selected recommendation image to the external device, as shown in FIG. 5B.
  • the display unit 210 may be controlled to display the recommendation image 520 as a reply message in the message window.
  • the controller 270 may include at least one of currently executed application information and previously stored schedule information. Activity information obtained on the basis of the context information may be obtained.
  • the controller 270 determines that the type of the message received through the lexical analysis uses the electronic device 200. It may be determined that the inquiry message is about the current activity of the user. In addition, the controller 270 may analyze application information or pre-stored schedule information that is currently running in the electronic device 200 in order to obtain information about a current activity of the user. For example, when the application currently executed by the electronic device 200 is a game application, the controller 270 may determine that a user who is currently using the electronic device 200 as context information is playing a game. In addition, the controller 270 may determine a recommendation image related to the game.
  • the recommendation image related to the game may be stored in advance, but this is only an example and may be searched from the outside.
  • the recommendation image related to the game may be an image related to a general game (for example, a joystick emoticon, etc.), but this is only an example, and an image related to the currently executed game (for example, a currently executed game). logo, etc.).
  • the controller 270 may control the display 210 to display a recommendation image in one area 610 of the message window.
  • the controller 270 controls the communication unit 230 to transmit the selected recommendation image to an external device, as shown in FIG. 6B.
  • the display unit 210 may be controlled to display the recommendation image 620 as a reply message in the message window.
  • the controller 270 may determine that the type of the message received through the lexical analysis is the user who uses the electronic device 200. It can be determined that the inquiry message about the current activity of the.
  • the controller 270 acquires movement information of the electronic device 200 using at least one sensor (for example, a gyro sensor, an acceleration sensor, an inclination sensor, etc.) to obtain information on a user's current activity. can do.
  • the controller 270 may provide context information.
  • the controller 270 may determine a recommendation image related to the exercise.
  • the recommendation image related to the exercise may be stored in advance, but this is only an example and may be searched from the outside.
  • the controller 270 may control the display 210 to display the recommendation image in one area 710 of the message window.
  • the controller 270 controls the communication unit 230 to transmit the selected recommendation image to an external device, as shown in FIG. 7B.
  • the display unit 210 may be controlled to display the recommendation image 720 as a reply message in the message window.
  • the context information is obtained by using the motion information of the electronic device 200.
  • the biometric information of the user obtained through at least one sensor for example, the pulse information may be used to obtain context information.
  • the controller 270 determines that the type of the message received through the lexical analysis is the user who uses the electronic device 200. It can be determined that the inquiry message about the current activity of the.
  • the controller 270 may request the information of the external device from the currently connected external device in order to obtain information on the current activity of the user. For example, when the electronic device 200 is a smart phone and the connected external device is a TV, the controller 270 may control the communication unit 230 to request information about image content currently displayed from the TV.
  • the controller 270 may request the communication unit 230 to request information about an application currently running on the smart phone.
  • the controller 270 may determine the image content currently being viewed by the user based on the received information of the external device (for example, metadata about the currently displayed image content).
  • the controller 270 may identify that the video content is currently being viewed as context information.
  • the controller 270 may determine a recommendation image related to a program currently being viewed. In this case, the recommendation image related to the program currently being viewed may be stored in advance, but this is only an example and may be searched from the outside. In addition, as illustrated in FIG.
  • the controller 270 may control the display 210 to display a recommendation image in one area 810 of the message window.
  • the recommendation image may include a verb representing a user's behavior.
  • the controller 270 controls the communication unit 230 to transmit the selected recommendation image to an external device, as shown in FIG. 8B.
  • the display unit 210 may be controlled to display the recommendation image 820 as a reply message in the message window.
  • the message type includes, but is not limited to, a message regarding a location query, a message for querying a user's current activity, and the like.
  • various types of messages such as a message asking for an appointment time and a message asking a passenger, may also be included in the technical spirit of the present invention.
  • the determined recommendation image is described as one person, but this is only an example, and a plurality of recommendation images may be determined based on various context information.
  • the controller 270 displays one region 910 of the message window as illustrated in FIG. 9.
  • the display unit 210 may be controlled to display a list of recommended images including an image related to a game and an image related to a video program as the recommended image.
  • the controller 270 may automatically transmit the recommendation image even if there is no separate user command in response to the message. For example, after the message is received, when it is detected that the location of the electronic device 200 exists at a preset time (for example, 6 hours) at a location (for example, wild mountain) that is not pre-registered, the controller. 270 may control the communicator 230 to automatically transmit current location information in response to the received message. That is, the controller 270 controls the communication unit 230 to automatically transmit the map image indicating the current location information, and as shown in FIG. 10, the control unit 210 to display the map image in the message window. Can be. Therefore, the dangerous situation of the user who uses the electronic device 200 can be more actively guided. However, since the risk guidance function is also associated with a privacy problem, it may be turned on / off by user setting.
  • the controller 270 may not be able to reply to the current user based on various information. Can be determined. For example, when the connected external device is a navigation or the speed of the electronic device 200 is 60 to 100 km / h, the controller 270 may determine that the current user is driving as context information. In addition, the controller 270 may determine that the current user is taking a shower based on the schedule information. If it is determined that the current user cannot reply, the controller 270 may control the communicator 230 to automatically transmit a recommendation image related to the current activity of the current user. For example, when it is determined that the vehicle is currently driving, the controller 270 may control the communicator 230 to automatically transmit a recommendation image related to driving. In this case, the recommendation image related to driving may be displayed in the message window.
  • a query message eg, “What are U doing” about the user's current activity
  • the controller 270 may not be able to reply to the current user based on various information. Can be determined. For example, when the connected external device is a navigation or
  • the controller 270 may control the communicator 230 to automatically transmit a reply message "contact me later" in response to receiving the message. .
  • the controller 270 may control the communication unit 230 to automatically transmit a reply message based on an intimacy (eg, frequency of message transmission and reception) in order to prevent a reply to an unnecessary counterpart (eg, spam). have.
  • the electronic device 200 may provide a setting UI for setting context information that the electronic device 200 may collect. For example, when the user does not want to track the location, the user may set to turn off acquisition of context information related to the location tracking included in the setting UI.
  • the above-described embodiment has been described as providing a recommendation image by performing lexical analysis on the text included in the other party's message.
  • this is only an example, and the recommendation message using the text included in the user input message Can be provided.
  • the controller 270 may determine that a next word is a word related to a place. Accordingly, the controller 270 may control the display 210 to obtain context information related to the current location and provide a recommendation image related to the current location based on the context information.
  • the electronic device 100 receives a message from an external device (S1210).
  • the electronic device 100 determines the message type by analyzing the text included in the message.
  • the electronic device 100 may perform lexical analysis on the text included in the message through the NLP module, and may determine the message type based on whether a specific word is included in the text.
  • the electronic device 100 obtains context information related to the message type.
  • the electronic device 100 obtains location information as context information, and when the message is a inquiry message about the activity of the user, the electronic device 100 is the context information of the user. Activity information can be obtained.
  • the electronic device 100 determines a recommendation image based on the context information.
  • the recommendation image may be stored in advance and may be searched from the outside (for example, the Internet).
  • the electronic device 100 provides a recommendation image.
  • the controller 100 may provide a recommendation image to one area of the message window so that the user can select the recommendation image.
  • the electronic device 100 may transmit the recommendation image to the external device and display the recommendation image as a reply message in the message window.
  • the user may more easily transmit a response message including the recommendation image suitable for the current situation to the counterpart with minimal input.
  • the above-described method can be written as a program that can be executed in a computer, it can be implemented in a general-purpose digital computer to operate the program using a computer-readable recording medium.
  • the structure of the data used in the above-described method can be recorded on the computer-readable recording medium through various means.
  • the computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).

Abstract

전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치의 제어 방법은 텍스트를 포함하는 메시지를 수신하고, 메시지에 포함된 텍스트를 분석하여 메시지의 유형을 판단하며, 메시지의 유형과 관련된 컨텍스트 정보를 획득하고, 컨텍스트 정보를 바탕으로 메시지에 응답하기 위한 추천 이미지를 판단하여 제공한다.

Description

전자 장치 및 이의 제어 방법
본 발명은 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 외부로부터 수신된 메시지에 응답하여 자동으로 추천 이미지를 제공하는 전자 장치 및 이의 제어 방법에 관한 것이다.
최근에는 스마트 폰뿐만 아니라 스마트 워치 및 스마트 글래스 등과 같은 모바일 장치가 증가하고 있다. 또한, 사물 인터넷(IoT:Internet of Things) 기술이 발전함에 따라 다양한 기기들의 연결이 자유로워지면서, 모바일 장치를 이용한 사용자의 편의를 위한 기능들을 제공하고자 하는 필요성이 증가하고 있다.
그러나, 이러한 모바일 장치들(즉, 웨어러블 장치)은 물리적으로 텍스트를 입력하기 위한 구성이 존재하지 않거나, 텍스트를 입력하기 매우 어렵다. 또한, 스마트 폰과 같이 입력이 손쉬운 기기와 연동하여 사용해야 하는 불편함이 존재한다. 뿐만 아니라, 텍스트 입력이 쉬운 스마트 폰과 같은 경우에도 텍스트 입력이 어려운 상황(예를 들어, 운전하는 상황 등)이 존재할 수 있다.
따라서, 수신된 메시지에 대해 더욱 간편하고 직관적으로 응답 메시지를 전송해야 할 필요성이 대두되고 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 메시지가 수신된 경우, 메시지의 유형 및 컨텍스트 정보를 분석하여 응답 메시지로서 추천 이미지를 제공하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 텍스트를 포함하는 메시지를 수신하는 단계; 상기 메시지에 포함된 텍스트를 분석하여 상기 메시지의 유형을 판단하고, 상기 메시지의 유형과 관련된 컨텍스트 정보를 획득하는 단계; 및 상기 컨텍스트 정보를 바탕으로 상기 메시지에 응답하기 위한 추천 이미지를 판단하여 제공하는 단계;를 포함한다.
그리고, 상기 메시지가 수신되기 이전에 위치 문의에 대한 메시지가 수신된 경우, 상기 위치 문의에 대한 메시지에 대한 응답으로 위치 정보가 입력되면, 상기 위치 정보에 대한 등록 여부를 문의하는 가이드 UI를 디스플레이하는 단계; 및 상기 가이드 UI를 통해 상기 위치 정보에 대한 등록 명령이 입력되면, 상기 위치 정보를 등록하는 단계;를 포함할 수 있다.
또한, 상기 획득하는 단계는, 상기 메시지의 유형이 위치 문의에 대한 메시지인 경우, 상기 등록된 위치 정보를 컨텍스트 정보로 획득하며, 상기 제공하는 단계는, 상기 등록된 위치 정보를 바탕으로 상기 메시지에 응답하기 위한 추천 이미지를 판단하여 제공할 수 있다.
그리고, 상기 획득하는 단계는, 상기 메시지의 유형이 위치 문의에 대한 메시지인 경우, GPS에 의해 감지된 위치 정보, 스케줄 정보 및 무선 네트워크 연결 정보 중 적어도 하나를 바탕으로 획득된 위치 정보를 컨텍스트 정보로 획득할 수 있다.
또한, 상기 획득하는 단계는, 상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 현재 실행되는 어플리케이션 정보 및 기 저장된 스케줄 정보 중 적어도 하나를 바탕으로 획득된 활동 정보를 상기 컨텍스트 정보로 획득할 수 있다.
그리고, 상기 획득하는 단계는, 상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 적어도 하나의 센서를 이용하여 감지된 상기 전자 장치의 움직임 정보를 상기 컨텍스트 정보로 획득할 수 있다.
또한, 상기 획득하는 단계는, 상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 상기 전자 장치와 연결된 외부 기기가 존재하면, 상기 연결된 외부 기기로부터 수신된 상기 외부 기기의 정보를 상기 컨텍스트 정보로 획득할 수 있다.
그리고, 상기 제공하는 단계는, 상기 컨텍스트 정보에 의해 판단된 추천 이미지가 복수 개인 경우, 상기 복수 개의 추천 이미지를 포함하는 추천 이미지 리스트를 디스플레이할 수 있다.
또한, 상기 전자 장치의 위치가 기 등록되지 않은 위치에 기설정된 시간 존재하는 것으로 감지된 경우, 상기 메시지에 대한 응답으로 현재 위치 정보를 자동 전송하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 텍스트를 포함하는 메시지를 수신하는 통신부; 상기 메시지에 포함된 텍스트를 분석하여 상기 메시지의 유형을 판단하고, 상기 메시지의 유형과 관련된 컨텍스트 정보를 획득하며, 상기 컨텍스트 정보를 바탕으로 상기 메시지에 응답하기 위한 추천 이미지를 판단하는 제어부; 및 상기 판단된 추천 이미지를 제공하는 디스플레이부;를 포함한다.
그리고, 상기 제어부는, 상기 메시지가 수신되기 이전에 위치 문의에 대한 메시지가 수신된 경우, 상기 위치 문의에 대한 메시지에 대한 응답으로 위치 정보가 입력되면, 상기 위치 정보에 대한 등록 여부를 문의하는 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 가이드 UI를 통해 상기 위치 정보에 대한 등록 명령이 입력되면, 상기 위치 정보를 등록할 수 있다.
또한, 상기 제어부는, 상기 메시지의 유형이 위치 문의에 대한 메시지인 경우, 상기 등록된 위치 정보를 컨텍스트 정보로 획득하며, 상기 등록된 위치 정보를 바탕으로 상기 메시지에 응답하기 위한 추천 이미지를 판단할 수 있다.
그리고, 상기 제어부는, 상기 메시지의 유형이 위치 문의에 대한 메시지인 경우, GPS에 의해 감지된 위치 정보, 스케줄 정보 및 무선 네트워크 연결 정보 중 적어도 하나를 바탕으로 획득된 위치 정보를 컨텍스트 정보로 획득할 수 있다.
또한, 상기 제어부는, 상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 현재 실행되는 어플리케이션 정보 및 기 저장된 스케줄 정보 중 적어도 하나를 바탕으로 획득된 활동 정보를 상기 컨텍스트 정보로 획득할 수 있다.
그리고, 상기 제어부는, 상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 적어도 하나의 센서를 이용하여 감지된 상기 전자 장치의 움직임 정보를 상기 컨텍스트 정보로 획득할 수 있다.
또한, 상기 제어부는, 상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 상기 전자 장치와 연결된 외부 기기가 존재하면, 상기 연결된 외부 기기로부터 수신된 상기 외부 기기의 정보를 상기 컨텍스트 정보로 획득할 수 있다.
그리고, 상기 제어부는, 상기 컨텍스트 정보에 의해 판단된 추천 이미지가 복수 개인 경우, 상기 복수 개의 추천 이미지를 포함하는 추천 이미지 리스트를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 전자 장치의 위치가 기 등록되지 않은 위치에 기설정된 시간 존재하는 것으로 감지된 경우, 상기 메시지에 대한 응답으로 현재 위치 정보를 자동 전송하도록 상기 통신부를 제어할 수 있다.
상술한 바와 같이, 본 발명의 다양한 실시예에 따라, 사용자는 추천 이미지를 통해 더욱 쉽고 간편하게 메시지에 응답할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 전자 장치의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 전자 장치의 구성을 상세히 도시한 블럭도,
도 3a 내지 도 11은 본 발명의 다양한 실시예에 따른, 컨텍스트 정보에 따라 생성된 추천 이미지를 제공하는 다양한 실시예들을 설명하기 위한 도면들, 그리고,
도 12는 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 발명의 실시 예에서 사용되는 용어에 대해 간략히 설명하고, 본 실시예들에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 본 발명의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
또한, 본 발명의 실시 예에서, 사용자 입력은, 터치 입력, 벤딩 입력, 음성 입력, 버튼 입력 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 발명의 실시 예에서, “어플리케이션”은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 발명의 실시 예에서, 어플리케이션은 다양할 수 있다. 예를 들어, 게임 어플리케이션, 동영상 재생 어플리케이션, 지도 어플리케이션, 메모 어플리케이션, 캘린더 어플리케이션, 폰 북 어플리케이션, 방송 어플리케이션, 운동 지원 어플리케이션, 결제 어플리케이션, 사진 폴더 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 발명의 실시 예에서, “컨텍스트 정보”는 전자 장치의 주변 상황 또는 전자 장치를 사용하는 사용자의 상황을 나타내는 정보로서, GPS 정보, 무선 통신 연결 정보, 스케줄 정보, 어플리케이션 사용 정보, 연결된 외부 기기에 대한 정보 등에 의해 획득될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 도면을 참조하여 본 발명에 대해 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 전자 장치의 구성을 나타내는 도면이다. 도 1에 도시된 바와 같이, 전자 장치(100)는 통신부(110), 디스플레이부(120) 및 제어부(130)를 포함한다. 한편, 본 발명의 일 실시예에 따른, 전자 장치(100)는 스마트 폰, 스마트 워치, 스마트 글라스, 태블릿 PC, 노브툭 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.
통신부(110)는 외부 장치와 통신을 수행한다. 특히, 통신부(110)는 외부 장치와 텍스트 또는 이미지를 포함하는 메시지를 송수신할 수 있다.
디스플레이부(120)는 영상 데이터를 출력한다. 특히, 디스플레이부(120)는 외부 장치와 송수신된 메시지를 포함하는 메시지 창을 디스플레이할 수 있으며, 메시지 창에 추천 이미지를 포함할 수 있다.
제어부(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(130)는 통신부(110)를 통해 수신된 메시지에 포함된 텍스트를 분석하여 메시지의 유형을 판단하고, 메시지의 유형과 관련된 컨텍스트 정보를 획득하며, 컨텍스트 정보를 바탕으로 메시지에 응답하기 위한 추천 이미지를 판단할 수 있다. 그리고, 제어부(130)는 판단된 추천 이미지를 제공하도록 디스플레이부(120)를 제어할 수 있다.
구체적으로, 제어부(130)는 외부 장치로부터 텍스트를 포함하는 메시지를 수신하도록 통신부(110)를 제어할 수 있다.
그리고, 제어부(130)는 수신된 메시지에 포함된 텍스트를 분석하여 메시지의 유형을 판단할 수 있다. 구체적으로, 제어부(130)는 수신된 메시지를 자연어 처리를 수행하여 렉시컬(lexical)-분석을 수행하고, 분석 결과를 바탕으로 특정 문자가 존재하는지 여부를 바탕으로 메시지의 유형을 판단할 수 있다. 예를 들어, 분석 결과, 메시지에 "where"이라는 단어가 포함된 경우, 제어부(130)는 메시지의 유형을 위치 문의에 대한 메시지로 판단할 수 있다. 또 다른 예로, 분석 결과, 메시지에 "what","doing"이라는 단어가 포함된 경우, 제어부(130)는 메시지의 유형을 사용자의 활동을 문의하는 메시지로 판단할 수 있다.
그리고, 제어부(130)는 판단된 메시지의 유형을 바탕으로 컨텍스트 정보를 획득할 수 있다. 특히, 메시지의 유형이 위치 문의에 대한 메시지라고 판단된 경우, 제어부(130)는 컨텍스트 정보로서 위치 정보를 획득할 수 있다. 예를 들어, 메시지가 수신되기 이전에 위치 문의에 대한 메시지가 수신된 경우, 위치 문의에 대한 메시지에 대한 응답으로 위치 정보가 입력되면, 위치 정보에 대한 등록 여부를 문의하는 가이드 UI를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 그리고, 가이드 UI를 통해 위치 정보에 대한 등록 명령이 입력되면, 제어부(130)는 위치 정보를 컨텍스트 정보로 등록할 수 있다. 또 다른 예로, 제어부(130)는 GPS에 의해 감지된 위치 정보, 스케줄 정보 및 무선 네트워크 연결 정보 중 적어도 하나를 바탕으로 획득된 위치 정보를 컨텍스트 정보로 획득할 수 있다.
또한, 메시지의 유형이 전자 장치(100)를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 제어부(130)는 실행되는 어플리케이션 정보 및 기 저장된 스케줄 정보 중 적어도 하나를 바탕으로 획득된 활동 정보를 컨텍스트 정보로 획득할 수 있다. 또한, 제어부(130)는 적어도 하나의 센서를 이용하여 감지된 전자 장치(100)의 움직임 정보를 컨텍스트 정보로 획득할 수 있다. 또한, 제어부(130)는 연결된 외부 기기로부터 수신된 외부 기기의 정보를 컨텍스트 정보로 획득할 수 있다.
그리고, 제어부(130)는 획득된 컨텍스트 정보를 바탕으로 추천 이미지를 판단할 수 있다. 예를 들어, 메시지의 유형이 위치 문의에 대한 메시지인 경우, 컨텍스트 정보인 위치 정보를 바탕으로 현재 위치가 집이라고 판단된 경우, 제어부(130)는 집에 대응되는 추천 이미지(예를 들어, 추천 이모티몬)을 판단할 수 있다. 그리고, 제어부(130)는 판단된 추천 이미지를 제공하도록 디스플레이부(110)를 제어할 수 있다. 특히, 컨텍스트 정보에 의해 판단된 추천 이미지가 복수 개인 경우, 제어부(130)는 복수 개의 추천 이미지를 포함하는 추천 이미지 리스트를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
또한, 전자 장치(100)의 위치가 기 등록되지 않은 위치에 기설정된 시간 존재하는 것으로 감지된 경우, 제어부(130)는 메시지에 대한 응답으로 현재 위치 정보를 자동 전송하도록 통신부(110)를 제어할 수 있다. 즉, 사용자가 위험 지역에 존재하는 것으로 판단된 경우, 제어부(130)가 현재 사용자의 위치 정보를 상대방에게 자동으로 전송함으로써, 위험 상황을 상대방에게 안내할 수 있다.
상술한 바와 같은 전자 장치(100)에 의해, 사용자는 최소한의 사용자 입력으로 현재 상황에 맞는 응답 메시지를 전송할 수 있게 된다.
이하에서는 도 2 내지 도 11을 참조하여 본 발명의 다양한 실시예에 대해 설명하기로 한다. 도 2는 본 발명의 일 실시예에 따른, 전자 장치(200)의 구성을 상세히 도시한 블럭도이다. 도 2에 도시된 바와 같이, 전자 장치(200)는 디스플레이부(210), 오디오 출력부(220), 통신부(230), 저장부(240), 감지부(250), 입력부(260) 및 제어부(270)를 포함한다.
한편, 도 2는 전자 장치(100)가 문자 입력 기능, 메시지 송수신 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
디스플레이부(210)는 영상 수신부(미도시)로부터 수신한 영상 데이터를 영상 처리부(미도시)에서 처리한 비디오 프레임 및 그래픽 처리부(273)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다. 특히, 디스플레이부(210)는 외부 기기와 송수신된 메시지를 포함하는 메시지창을 디스플레이할 수 있다. 또한, 디스플레이부(210)는 메시지창 안에 추천 이미지 및 키보드 UI 중 적어도 하나를 포함시켜 디스플레이할 수 있다.
오디오 출력부(220)는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 오디오 출력부(220)는 스피커로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다.
통신부(230)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(230)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신부(230)는 외부 장치와 메시지를 송수신할 수 있다. 또한, 통신부(230)는 주변의 외부기기와 근거리 통신을 통해 외부 기기의 정보(예를 들어, 현재 디스플레이되는 컨텐츠에 대한 정보 등)를 수신할 수 있다.
저장부(240)는 전자 장치(200)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(240)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 전자 장치(200)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(240)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 전자 장치(200)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 전자 장치(200)가 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
특히, 저장부(240)는 수신된 메시지에 포함된 텍스트를 렉시컬 분석하기 위하여 NLP(Natural Language Processing) 모듈을 포함할 수 있다. 또한, 저장부(240)는 다양한 컨텍스트 정보를 획득하기 위한 컨텍스트 정보 획득 모듈을 포함할 수 있다. 또한, 저장부(240)는 추천 이미지(예를 들어, 이모티콘 등)를 저장할 수 있다.
한편, 본 발명의 일 실시예에서, 저장부(240)는 제어부(270) 내 롬(272), 램(271) 또는 전자 장치(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하여 정의될 수 있다.
감지부(250)는 전자 장치(200)의 주변 환경을 감지한다. 특히, 감지부(250)는 위치 정보를 감지할 수 있는 GPS 센서, 전자 장치(200)의 움직임을 감지할 수 있는 움직임 감지 센서(예를 들어, 자이로 센서, 가속도 센서 등), 압력 센서, 노이즈 센서 등과 같은 다양한 센서를 포함할 수 있다.
입력부(260)는 전자 장치(200)를 제어하기 위한 사용자 명령을 입력받는다. 특히, 입력부(260)는 사용자 명령을 입력받기 위해 터치 입력부, 버튼, 음성 입력부, 모션 입력부, 키보드, 마우스 등과 같은 다양한 입력 장치를 포함할 수 있다.
제어부(270)는 저장부(240)에 저장된 각종 프로그램을 이용하여 전자 장치(200)의 전반적인 동작을 제어한다.
제어부(270)는 도 2에 도시된 바와 같이, RAM(271), ROM(272), 그래픽 처리부(273), 메인 CPU(274), 제1 내지 n 인터페이스(275-1 ~ 275-n), 버스(276)를 포함한다. 이때, RAM(271), ROM(272), 그래픽 처리부(273), 메인 CPU(274), 제1 내지 n 인터페이스(275-1 ~ 275-n) 등은 버스(276)를 통해 서로 연결될 수 있다.
ROM(272)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(274)는 ROM(272)에 저장된 명령어에 따라 저장부(240)에 저장된 O/S를 RAM(271)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(274)는 저장부(240)에 저장된 각종 어플리케이션 프로그램을 RAM(271)에 복사하고, RAM(271)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(273)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 포인터, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(210)의 디스플레이 영역 내에 표시된다.
메인 CPU(274)는 저장부(240)에 액세스하여, 저장부(240)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(274)는 저장부(240)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(275-1 내지 275-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(270)는 통신부(230)를 통해 외부 장치로부터 수신된 메시지에 포함된 텍스트를 분석하여 수신된 메시지의 유형을 판단한다. 그리고, 제어부(270)는 메시지의 유형과 관련된 컨텍스트 정보를 획득하며, 컨텍스트 정보를 바탕으로 메시지에 응답하기 위한 추천 이미지를 판단한다. 그리고, 제어부(270)는 판단된 추천 이미지를 제공하도록 디스플레이부(210)를 제어한다.
구체적으로, 제어부(270)는 통신부(230)를 통해 외부 장치로부터 메시지를 수신한다. 이때, 외부 장치로부터 수신된 메시지는 외부 장치로부터 직접 수신될 수 있으나, 이는 일 실시예에 불과할 뿐, 서버, 기지국과 같은 중계 장치를 통해 수신될 수 있다. 또한, 외부 장치로부터 수신된 메시지에는 텍스트, 이미지 및 오디오 파일 중 하나가 포함될 수 있다.
그리고, 제어부(270)는 외부 장치로부터 수신된 메시지에 포함된 텍스트를 분석하여 수신된 메시지의 유형을 판단할 수 있다.
구체적으로, 제어부(270)는 메시지에 포함된 텍스트를 NLP 모듈을 통해 렉시컬 분석을 수행할 수 있다. 이때, 제어부(270)는 NLP 모듈을 통해 메시지에 포함된 텍스트의 형태소 분석, 구문 분석, 화행 분석을 수행할 수 있다. 그리고, 제어부(270)는 분석 결과를 바탕으로 메시지에 포함된 텍스트가 특정 단어를 포함하는지 여부를 판단할 수 있다. 예를 들어, 제어부(270)는 렉시컬 분석을 통해 메시지에 포함된 텍스트에 의문사(예를 들어, "where","when","what"), 특정 명사(예를 들어, "you","U"), 특정 동사(예를 들어, "are", "go", "do" 등)가 포함되었는지 여부를 판단할 수 있다. 저장부(240)에 저장된 특정 단어가 포함된 경우, 제어부(270)는 특정 단어를 분석하여 수신된 메시지의 유형을 판단할 수 있다. 예를 들어, 수신된 메시지에 포함된 텍스트에 "where","U","are"가 포함된 경우, 제어부(270)는 메시지의 유형이 위치 문의에 대한 메시지임을 판단할 수 있다. 또 다른 예로, 수신된 메시지에 포함된 텍스트에 "what","are","U", "doing"가 포함된 경우, 제어부(270)는 메시지의 유형이 전자 장치(200)를 사용하는 사용자의 현재 활동을 문의하는 메시지임을 판단할 수 있다.
그리고, 제어부(270)는 판단된 메시지의 유형을 바탕으로 컨텍스트 정보를 획득할 수 있다. 본 발명의 일 실시예로, 메시지의 유형이 위치 문의에 대한 메시지인 경우, 제어부(270)는 위치 정보를 컨텍스트 정보로 획득할 수 있다. 이때, 위치 정보는 다양한 방법으로 획득될 수 있다.
우선, 제어부(270)는 메시지가 수신되기 이전에 현재 위치로 등록된 위치 정보를 컨텍스트 정보로 획득할 수 있다. 현재 위치를 등록하는 방법에 대해서는 도 3a 내지 도 3c를 참조하여 설명하기로 한다.
구체적으로, 도 3a에 도시된 바와 같이, "Where are U"라는 메시지가 수신된 경우, 수신된 메시지의 응답으로 "I'm at home"이라는 답문 메시지가 입력된 경우, 제어부(270)는 렉시컬 분석을 통해 답문 메시지에 위치와 관련된 단어인 "home"이라는 단어가 존재하는 것으로 판단할 수 있다. 위치와 관련된 단어가 포함된 것으로 판단된 경우, 제어부(270)는 도 3b에 도시된 바와 같이, 현재 위치의 등록을 문의하는 가이드 UI(310)를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다. 가이드 UI(310)를 통해 현재 위치에 대한 등록 명령이 입력된 경우, 제어부(270)는 현재 위치에 대한 정보를 위치 정보로 등록할 수 있다. 이때, 제어부(270)는 등록된 위치 정보뿐만 아니라, 위치 정보와 관련된 추천 이미지(예를 들어, 이모티콘, 사진, 그림 등)을 함께 등록할 수 있다. 구체적으로, 제어부(270)는 위치 정보와 관련된 기 저장된 추천 이미지를 함께 저장할 수 있으며, 도 3c에 도시된 바와 같이 추천 이모티콘을 등록하기 위한 등록 UI를 통해 추천 이미지를 함께 저장할 수 있다. 즉, 제어부(270)는 등록된 위치 정보와 함께 추천 이모티콘을 매칭하여 저장할 수 있다.
또 다른 예로, 제어부(270)는 GPS에 의해 감지된 위치 정보, 스케줄 정보 및 무선 네트워크 연결 정보 중 적어도 하나를 바탕으로 획득된 위치 정보를 컨텍스트 정보로 획득할 수 있다. 구체적으로, GPS 센서에 의해 현재 위치의 위도 및 경도에 대한 정보가 수신되면, 제어부(270)는 수신된 위도 및 경도를 바탕으로 현재 위치 정보를 획득할 수 있다. 또 다른 예로, 저장부(240)에 "오후 3:00~ 4:00까지 공원에서 운동"이라는 스케줄이 저장된 경우, 제어부(270)는 오후3:00~4:00 사이에 위치 정보를 공원이라고 판단할 수 있다. 또 다른 예로, 현재 연결된 AP의 ID가 "XX 백화점"인 경우, 제어부(270)는 현재 위치 정보를 "XX 백화점"이라고 판단할 수 있다.
그리고, 제어부(270)는 판단된 위치 정보를 바탕으로 추천 이미지를 판단할 수 있다. 구체적으로, 제어부(270)는 상술한 바와 같이, 기저정된 위치 정보와 매칭된 이모티콘을 추천 이미지로 판단할 수 있다. 또 다른 예로, 제어부(270)는 판단된 위치 정보와 관련된 이미지를 검색하여 검색된 이미지를 추천 이미지로 판단할 수 있다. 예를 들어, 현재 위치가 특정 상표의 커피숍인 경우, 제어부(270)는 판단된 현재 위치와 관련된 이미지(즉, 커피숍 상표 이미지)를 인터넷을 통해 검색하여 검색된 이미지를 추천 이미지로 판단할 수 있다.
그리고, 제어부(270)는 판단된 추천 이미지를 사용자에게 제공할 수 있다. 구체적으로, 외부 장치로부터 "Where are U"라는 텍스트가 포함된 메시지가 수신된 경우, 제어부(270)는 상술한 바와 같은 방법으로 판단된 위치 정보를 바탕으로 추천 이미지를 판단하고, 도 4a에 도시된 바와 같이, 메시지 창의 일 영역(410)에 추천 이미지를 제공하도록 디스플레이부(210)를 제어할 수 있다. 그리고, 입력부(260)를 통해 추천 이미지를 선택하는 사용자 명령이 입력된 경우, 제어부(270)는 선택된 추천 이미지를 외부 장치로 전송하도록 통신부(230)를 제어하고, 도 4b에 도시된 바와 같이, 메시지 창에 답문 메시지로 추천 이미지(420)를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다.
한편, 상술한 실시예에서는 제어부(270)는 컨텍스트 정보를 바탕으로 추천 이미지를 판단하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 제어부(270)는 컨텍스트 정보를 바탕으로 추천 문구를 판단하여 제공할 수 있다. 추천 문구 역시 추천 이미지와 마찬가지 방법으로 획득될 수 있다. 즉, 추천 문구는 사용자에 의해 컨텍스트 정보와 매칭되도록 기 등록될 수 있으며, 외부로부터 검색될 수 도 있다.
또한, 판단된 컨텍스트 정보에 대응하여 추천 이미지 및 추천 문구가 동시에 존재하는 경우, 제어부(270)는 도 5a에 도시된 바와 같이, 메시지 창의 일 영역(510)에 추천 이미지 및 추천 문구를 모두 포함하는 추천 리스트를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다. 이때, 메시지 창의 일 영역(510)에 디스플레이된 추천 이미지 및 추천 문구 중 추천 이미지가 선택되면, 제어부(270)는 선택된 추천 이미지를 외부 장치로 전송하도록 통신부(230)를 제어하고, 도 5b에 도시된 바와 같이, 메시지 창에 답문 메시지로 추천 이미지(520)를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다.
본 발명의 또 다른 실시예로, 메시지의 유형이 전자 장치(200)를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 제어부(270)는 현재 실행되는 어플리케이션 정보 및 기 저장된 스케줄 정보 중 적어도 하나를 바탕으로 획득된 활동 정보를 컨텍스트 정보로 획득할 수 있다.
구체적으로, 도 6a에 도시된 바와 같이, 외부로부터 수신된 메시지가 "What are U doing"인 경우, 제어부(270)는 렉시컬 분석을 통해 수신된 메시지의 유형이 전자 장치(200)를 사용하는 사용자의 현재 활동에 대한 문의 메시지임을 판단할 수 있다. 그리고, 제어부(270)는 사용자의 현재 활동에 대한 정보를 획득하기 위해 전자 장치(200)에서 현재 실행 중이 어플리케이션 정보 또는 기 저장된 스케줄 정보를 분석할 수 있다. 예를 들어, 현재 전자 장치(200)가 실행하는 어플리케이션이 게임 어플리케이션인 경우, 제어부(270)는 컨텍스트 정보로서 현재 전자 장치(200)를 사용하는 사용자가 게임 중임을 판단할 수 있다. 그리고, 제어부(270)는 게임과 관련된 추천 이미지를 판단할 수 있다. 이때, 게임과 관련된 추천 이미지는 기 저장될 수 있으나, 이는 일 실시예에 불과할 뿐, 외부로부터 검색될 수 있다. 특히, 게임과 관련된 추천 이미지는 일반적인 게임과 관련된 이미지(예를 들어, 조이스틱 이모티콘 등)일 수 있으나, 이는 일 실시예에 불과할 뿐, 현재 실행되는 게임과 관련된 이미지(예를 들어, 현재 실행되는 게임의 로고 등)일 수 있다. 그리고, 제어부(270)는 도 6a에 도시된 바와 같이, 메시지 창의 일 영역(610)에 추천 이미지를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다. 그리고, 입력부(260)를 통해 추천 이미지를 선택하는 사용자 명령이 입력된 경우, 제어부(270)는 선택된 추천 이미지를 외부 장치로 전송하도록 통신부(230)를 제어하고, 도 6b에 도시된 바와 같이, 메시지 창에 답문 메시지로 추천 이미지(620)를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다.
또한, 도 7a에 도시된 바와 같이, 외부로부터 수신된 메시지가 "What are U doing"인 경우, 제어부(270)는 렉시컬 분석을 통해 수신된 메시지의 유형이 전자 장치(200)를 사용하는 사용자의 현재 활동에 대한 문의 메시지임을 판단할 수 있다. 그리고, 제어부(270)는 사용자의 현재 활동에 대한 정보를 획득하기 위해 적어도 하나의 센서(예를 들어, 자이로 센서, 가속도 센서, 기울기 센서 등)를 이용하여 전자 장치(200)의 움직임 정보를 획득할 수 있다. 이때, 적어도 하나의 센서를 통해 감지된 전자 장치(200)의 움직임이 기 저장된 움직임 패턴(예를 들어, 사용자가 운동하는 움직임 패턴)의 움직임과 일치하거나 유사할 경우, 제어부(270)는 컨텍스트 정보로서 현재 전자 장치(200)를 사용하는 사용자가 운동 중임을 확인할 수 있다. 그리고, 제어부(270)는 운동과 관련된 추천 이미지를 판단할 수 있다. 이때, 운동과 관련된 추천 이미지는 기 저장될 수 있으나, 이는 일 실시예에 불과할 뿐, 외부로부터 검색될 수 있다. 그리고, 제어부(270)는 도 7a에 도시된 바와 같이, 메시지 창의 일 영역(710)에 추천 이미지를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다. 그리고, 입력부(260)를 통해 추천 이미지를 선택하는 사용자 명령이 입력된 경우, 제어부(270)는 선택된 추천 이미지를 외부 장치로 전송하도록 통신부(230)를 제어하고, 도 7b에 도시된 바와 같이, 메시지 창에 답문 메시지로 추천 이미지(720)를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다. 한편, 상술한 실시예에서는 전자 장치(200)의 움직임 정보를 이용하여 컨텍스트 정보를 획득하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 적어도 하나의 센서를 통해 획득된 사용자의 생체 정보(예를 들어, 맥박 정보 등)를 이용하여 컨텍스트 정보를 획득할 수 있다.
또한, 도 8a에 도시된 바와 같이, 외부로부터 수신된 메시지가 "What are U doing"인 경우, 제어부(270)는 렉시컬 분석을 통해 수신된 메시지의 유형이 전자 장치(200)를 사용하는 사용자의 현재 활동에 대한 문의 메시지임을 판단할 수 있다. 그리고, 제어부(270)는 사용자의 현재 활동에 대한 정보를 획득하기 위해 현재 연결된 외부 기기로부터 외부 기기의 정보를 요청할 수 있다. 예를 들어, 전자 장치(200)가 스마트 폰이고, 연결된 외부 기기가 TV인 경우, 제어부(270)는 TV로부터 현재 디스플레이되는 영상 컨텐츠에 대한 정보를 요청하도록 통신부(230)를 제어할 수 있다. 또한, 전자 장치(200)가 스마트 왓치이고, 연결된 외부 기기가 스마트 폰인 경우, 제어부(270)는 스마트 폰에서 현재 실행되는 어플리케이션에 대한 정보를 요청하도록 통신부(230)를 요청할 수 있다. 그리고, 제어부(270)는 수신된 외부 기기의 정보(예를 들어, 현재 디스플레이되고 있는 영상 컨텐츠에 대한 메타 데이터)를 바탕으로 현재 사용자가 시청하고 있는 영상 컨텐츠를 판단할 수 있다. 그리고, 제어부(270)는 컨텍스트 정보로서 현재 영상 컨텐츠를 시청 중임을 확인할 수 있다. 그리고, 제어부(270)는 현재 시청 중인 프로그램과 관련된 추천 이미지를 판단할 수 있다. 이때, 현재 시청 중인 프로그램과 관련된 추천 이미지는 기 저장될 수 있으나, 이는 일 실시예에 불과할 뿐, 외부로부터 검색될 수 있다. 그리고, 제어부(270)는 도 8a에 도시된 바와 같이, 메시지 창의 일 영역(810)에 추천 이미지를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다. 이때, 추천 이미지에는 사용자의 행동을 나타내는 동사(watching)가 포함될 수 있다. 그리고, 입력부(260)를 통해 추천 이미지를 선택하는 사용자 명령이 입력된 경우, 제어부(270)는 선택된 추천 이미지를 외부 장치로 전송하도록 통신부(230)를 제어하고, 도 8b에 도시된 바와 같이, 메시지 창에 답문 메시지로 추천 이미지(820)를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다.
한편, 상술한 실시예에서는 메시지의 유형이 위치 문의에 대한 메시지, 사용자의 현재 활동을 문의하는 메시지 등을 예로 들었으나, 이에 한정되는 것은 아니다. 예를 들어, 메시지의 유형으로, 약속 시간을 문의하는 메시지, 동승자를 문의하는 메시지 등과 같은 다양한 메시지 유형 역시 본 발명의 기술적 사상에 포함될 수 있다.
한편, 상술한 실시예에서는 판단된 추천 이미지가 한 개인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 다양한 컨텍스트 정보를 바탕으로 복수 개의 추천 이미지가 판단될 수 있다. 예를 들어, 현재 실행되는 어플리케이션이 게임 어플리케이션이고, 연결된 외부기기로부터 "A 영상 컨텐츠"에 대한 정보가 수신된 경우, 제어부(270)는 도 9에 도시된 바와 같이, 메시지 창의 일 영역(910)에 추천 이미지로 게임과 관련된 이미지, A 영상 프로그램과 관련된 이미지를 포함하는 추천 이미지 리스트를 디스플레이하도록 디스플레이부(210)를 제어할 수 있다.
본 발명의 다른 실시예에서, 제어부(270)는 메시지에 응답하여 별도의 사용자 명령이 없더라도 추천 이미지를 자동으로 전송할 수 있다. 예를 들어, 메시지가 수신된 후, 전자 장치(200)의 위치가 기 등록되지 않은 위치(예를 들어, 야산)에 기설정된 시간(예를 들어, 6시간) 존재하는 것으로 감지된 경우, 제어부(270)는 수신된 메시지에 대한 응답으로 현재 위치 정보를 자동 전송하도록 통신부(230)를 제어할 수 있다. 즉, 제어부(270)는 현재 위치 정보를 나타내는 지도 이미지를 자동 전송하도록 통신부(230)를 제어하고, 도 10에 도시된 바와 같이, 지도 이미지를 메시지 창에 디스플레이하도록 디스플레이부(210)를 제어할 수 있다. 따라서, 전자 장치(200)를 사용하는 사용자의 위험 상황을 더욱 능동적으로 안내할 수 있게 된다. 다만, 이러한 위험 안내 기능은 프라이버시 문제와도 연관되므로, 사용자 설정에 의해 온/오프될 수 있다.
또 다른 예로, 수신된 메시지가 사용자의 현재 활동에 대한 문의 메시지(예를 들어, "What are U doing")인 경우, 제어부(270)는 다양한 정보를 바탕으로 현재 사용자가 답문을 할 수 없는 상황임을 판단할 수 있다. 예를 들어, 연결된 외부 기기가 네비게이션이거나, 전자 장치(200)의 속도가 시속 60~100km인 경우, 제어부(270)는 컨텍스트 정보로서 현재 사용자가 운전 중임을 판단할 수 있다. 또한, 제어부(270)는 스케줄 정보를 바탕으로 현재 사용자가 샤워 중임을 판단할 수 있다. 현재 사용자가 답문을 할 수 없는 상황이라고 판단된 경우, 제어부(270)는 현재 사용자의 현재 활동과 관련된 추천 이미지를 자동으로 전송하도록 통신부(230)를 제어할 수 있다. 예를 들어, 현재 운전 중이라고 판단된 경우, 제어부(270)는 운전과 관련된 추천 이미지를 자동 전송하도록 통신부(230)를 제어할 수 있다. 이때, 메시지 창에는 운전과 관련된 추천 이미지가 디스플레이될 수 있다.
또한, 현재 배터리가 기설정된 값(예를 들어, 5%) 미만인 경우, 제어부(270)는 메시지 수신에 응답하여 "나중에 연락함"이라는 답문 메시지를 자동 전송하도록 통신부(230)를 제어할 수 있다. 이때, 제어부(270)는 불필요한 상대방(예를 들어, 스팸 등)에게까지 답문하는 것을 방지하기 위해, 친밀도(메시지 송수신 빈도 등)에 근거하여 답문 메시지를 자동 전송하도록 통신부(230)를 제어할 수 있다.
한편, 컨텍스트 정보를 획득할 경우, 사용자의 프라이버시가 침해될 가능성이 존재한다. 따라서, 전자 장치(200)는 도 11에 도시된 바와 같이, 전자 장치(200)가 수집해도 될 컨텍스트 정보를 설정할 수 있는 설정 UI를 제공할 수 있다. 예를 들어, 사용자가 위치 추적을 원하지 않는 경우, 사용자는 설정 UI에 포함된 위치 추적과 관련된 컨텍스트 정보 획득을 오프하도록 설정할 수 있다.
한편, 상술한 실시예에서는 상대방의 메시지에 포함된 텍스트를 렉시컬 분석하여 추천 이미지를 제공하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 사용자가 입력하는 메시지에 포함된 텍스트를 이용하여 추천 메시지를 제공할 수 있다. 예를 들어, 사용자가 입력한 메시지가 "I'm at"인 경우, 제어부(270)는 다음으로 올 수 있는 단어가 장소와 관련된 단어임을 판단할 수 있다. 따라서, 제어부(270)는 현재 위치와 관련된 컨텍스트 정보를 획득하고, 컨텍스트 정보를 바탕으로 현재 위치와 관련된 추천 이미지를 제공하도록 디스플레이부(210)를 제어할 수 있다.
이하에서는 도 12를 참조하여 본 발명의 일 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기로 한다.
우선, 전자 장치(100)는 외부 장치로부터 메시지를 수신한다(S1210).
그리고, 전자 장치(100)는 메시지에 포함된 텍스트를 분석하여 메시지 유형을 판단한다(S1220). 구체적으로, 전자 장치(100)는 메시지에 포함된 텍스트를 NLP 모듈을 통해 렉시컬 분석을 수행하고, 텍스트에 특정 단어가 포함되어 있는지 여부를 바탕으로 메시지 유형을 판단할 수 있다.
그리고, 전자 장치(100)는 메시지 유형과 관련된 컨텍스트 정보를 획득한다(S1230). 구체적으로, 메시지가 위치 문의에 대한 메시지인 경우, 전자 장치(100)는 컨텍스트 정보로서 위치 정보를 획득하고, 사용자의 활동에 대한 문의 메시지인 경우, 전자 장치(100)는 컨텍스트 정보로서 사용자의 현재 활동 정보를 획득할 수 있다.
그리고, 전자 장치(100)는 컨텍스트 정보를 바탕으로 추천 이미지를 판단한다(S1240). 이때, 추천 이미지는 기 저장될 수 있으며, 외부(예를 들어, 인터넷)로부터 검색될 수도 있다.
그리고, 전자 장치(100)는 추천 이미지를 제공한다(S1250). 구체적으로, 제어부(100)는 사용자가 추천 이미지를 선택할 수 있도록 메시지 창의 일 영역에 추천 이미지를 제공할 수 있다. 그리고, 사용자 명령에 따라 추천 이미지가 선택되면, 전자 장치(100)는 추천 이미지를 외부 장치에 전송하고, 메시지 창에 답문 메시지로 추천 이미지를 디스플레이할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 최소한의 입력으로 더욱 간편하게 현재 상황에 맞는 추천 이미지가 포함된 응답 메시지를 상대방에게 전송할 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 전자 장치의 제어 방법에 있어서,
    텍스트를 포함하는 메시지를 수신하는 단계;
    상기 메시지에 포함된 텍스트를 분석하여 상기 메시지의 유형을 판단하고, 상기 메시지의 유형과 관련된 컨텍스트 정보를 획득하는 단계; 및
    상기 컨텍스트 정보를 바탕으로 상기 메시지에 응답하기 위한 추천 이미지를 판단하여 제공하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 메시지가 수신되기 이전에 위치 문의에 대한 메시지가 수신된 경우, 상기 위치 문의에 대한 메시지에 대한 응답으로 위치 정보가 입력되면, 상기 위치 정보에 대한 등록 여부를 문의하는 가이드 UI를 디스플레이하는 단계; alc
    상기 가이드 UI를 통해 상기 위치 정보에 대한 등록 명령이 입력되면, 상기 위치 정보를 등록하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  3. 제2항에 있어서,
    상기 획득하는 단계는,
    상기 메시지의 유형이 위치 문의에 대한 메시지인 경우, 상기 등록된 위치 정보를 컨텍스트 정보로 획득하며,
    상기 제공하는 단계는,
    상기 등록된 위치 정보를 바탕으로 상기 메시지에 응답하기 위한 추천 이미지를 판단하여 제공하는 것을 특징으로 하는 제어 방법.
  4. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 메시지의 유형이 위치 문의에 대한 메시지인 경우, GPS에 의해 감지된 위치 정보, 스케줄 정보 및 무선 네트워크 연결 정보 중 적어도 하나를 바탕으로 획득된 위치 정보를 컨텍스트 정보로 획득하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 현재 실행되는 어플리케이션 정보 및 기 저장된 스케줄 정보 중 적어도 하나를 바탕으로 획득된 활동 정보를 상기 컨텍스트 정보로 획득하는 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 적어도 하나의 센서를 이용하여 감지된 상기 전자 장치의 움직임 정보를 상기 컨텍스트 정보로 획득하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 상기 전자 장치와 연결된 외부 기기가 존재하면, 상기 연결된 외부 기기로부터 수신된 상기 외부 기기의 정보를 상기 컨텍스트 정보로 획득하는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 컨텍스트 정보에 의해 판단된 추천 이미지가 복수 개인 경우, 상기 복수 개의 추천 이미지를 포함하는 추천 이미지 리스트를 디스플레이하는 것을 특징으로 하는 제어 방법.
  9. 제1항에 있어서,
    상기 전자 장치의 위치가 기 등록되지 않은 위치에 기설정된 시간 존재하는 것으로 감지된 경우, 상기 메시지에 대한 응답으로 현재 위치 정보를 자동 전송하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  10. 전자 장치에 있어서,
    텍스트를 포함하는 메시지를 수신하는 통신부;
    상기 메시지에 포함된 텍스트를 분석하여 상기 메시지의 유형을 판단하고, 상기 메시지의 유형과 관련된 컨텍스트 정보를 획득하며, 상기 컨텍스트 정보를 바탕으로 상기 메시지에 응답하기 위한 추천 이미지를 판단하는 제어부; 및
    상기 판단된 추천 이미지를 제공하는 디스플레이부;를 포함하는 전자 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 메시지가 수신되기 이전에 위치 문의에 대한 메시지가 수신된 경우, 상기 위치 문의에 대한 메시지에 대한 응답으로 위치 정보가 입력되면, 상기 위치 정보에 대한 등록 여부를 문의하는 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 가이드 UI를 통해 상기 위치 정보에 대한 등록 명령이 입력되면, 상기 위치 정보를 등록하는 것을 특징으로 하는 전자 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 메시지의 유형이 위치 문의에 대한 메시지인 경우, 상기 등록된 위치 정보를 컨텍스트 정보로 획득하며, 상기 등록된 위치 정보를 바탕으로 상기 메시지에 응답하기 위한 추천 이미지를 판단하는 것을 특징으로 하는 전자 장치.
  13. 제10항에 있어서,
    상기 제어부는,
    상기 메시지의 유형이 위치 문의에 대한 메시지인 경우, GPS에 의해 감지된 위치 정보, 스케줄 정보 및 무선 네트워크 연결 정보 중 적어도 하나를 바탕으로 획득된 위치 정보를 컨텍스트 정보로 획득하는 것을 특징으로 하는 전자 장치.
  14. 제10항에 있어서,
    상기 제어부는,
    상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 현재 실행되는 어플리케이션 정보 및 기 저장된 스케줄 정보 중 적어도 하나를 바탕으로 획득된 활동 정보를 상기 컨텍스트 정보로 획득하는 것을 특징으로 하는 전자 장치.
  15. 제10항에 있어서,
    상기 제어부는,
    상기 메시지의 유형이 상기 전자 장치를 사용하는 사용자의 현재 활동에 대한 문의 메시지인 경우, 적어도 하나의 센서를 이용하여 감지된 상기 전자 장치의 움직임 정보를 상기 컨텍스트 정보로 획득하는 것을 특징으로 하는 전자 장치.
PCT/KR2016/005788 2015-06-16 2016-06-01 전자 장치 및 이의 제어 방법 WO2016204428A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/572,383 US20180137097A1 (en) 2015-06-16 2016-06-01 Electronic device and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150085018A KR20160148260A (ko) 2015-06-16 2015-06-16 전자 장치 및 이의 제어 방법
KR10-2015-0085018 2015-06-16

Publications (1)

Publication Number Publication Date
WO2016204428A1 true WO2016204428A1 (ko) 2016-12-22

Family

ID=57545945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/005788 WO2016204428A1 (ko) 2015-06-16 2016-06-01 전자 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US20180137097A1 (ko)
KR (1) KR20160148260A (ko)
WO (1) WO2016204428A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10530723B2 (en) 2015-12-21 2020-01-07 Google Llc Automatic suggestions for message exchange threads
US10547574B2 (en) * 2016-09-20 2020-01-28 Google Llc Suggested responses based on message stickers
US10757043B2 (en) 2015-12-21 2020-08-25 Google Llc Automatic suggestions and other content for messaging applications
US10862836B2 (en) 2016-09-20 2020-12-08 Google Llc Automatic response suggestions based on images received in messaging applications
US10860854B2 (en) 2017-05-16 2020-12-08 Google Llc Suggested actions for images
US10880243B2 (en) 2017-06-15 2020-12-29 Google Llc Embedded programs and interfaces for chat conversations
US11050694B2 (en) 2017-06-15 2021-06-29 Google Llc Suggested items for use with embedded applications in chat conversations
US11336467B2 (en) 2016-09-20 2022-05-17 Google Llc Bot permissions
US11829404B2 (en) 2017-12-22 2023-11-28 Google Llc Functional image archiving

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10353542B2 (en) * 2015-04-02 2019-07-16 Facebook, Inc. Techniques for context sensitive illustrated graphical user interface elements
CN105763431B (zh) * 2016-05-06 2019-03-26 腾讯科技（深圳）有限公司 一种信息推送方法、装置及系统
US10387461B2 (en) 2016-08-16 2019-08-20 Google Llc Techniques for suggesting electronic messages based on user activity and other context
US20180081500A1 (en) * 2016-09-19 2018-03-22 Facebook, Inc. Systems and methods for content engagement
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
CN108075959B (zh) * 2016-11-14 2021-03-12 腾讯科技（深圳）有限公司 一种会话消息处理方法和装置
US10423304B2 (en) * 2016-12-02 2019-09-24 International Business Machines Corporation Dynamic web actions palette
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
CN110809749A (zh) * 2017-06-16 2020-02-18 本田技研工业株式会社 互动装置、互动方法及程序
US10970900B2 (en) 2018-03-12 2021-04-06 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11140099B2 (en) * 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11252274B2 (en) * 2019-09-30 2022-02-15 Snap Inc. Messaging application sticker extensions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003540A1 (en) * 2007-06-29 2009-01-01 Verizon Data Services, Inc. Automatic analysis of voice mail content
KR20100060926A (ko) * 2008-11-28 2010-06-07 연세대학교 산학협력단 상황 인지 서비스를 제공하는 시스템 및 그 방법
US20120315880A1 (en) * 2009-11-06 2012-12-13 Apple Inc. Dynamic context-based auto-response generation
US20140052681A1 (en) * 2012-08-14 2014-02-20 Kenneth C. Nitz Method, System and Device for Inferring a Mobile User's Current Context and Proactively Providing Assistance
US20140171135A1 (en) * 2010-09-24 2014-06-19 At&T Intellectual Property I, L.P. Conditional message forwarding functions

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014062030A1 (ko) * 2012-10-19 2014-04-24 경북대학교 산학협력단 무설정 사용자 인지 기능을 포함하는 건강관리시스템, 사용자 신체정보 이력관리 방법 및 사용자 활동 패턴 관리 방법
KR102225031B1 (ko) * 2014-01-14 2021-03-09 엘지전자 주식회사 단말기 및 그 동작 방법
US10097973B2 (en) * 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003540A1 (en) * 2007-06-29 2009-01-01 Verizon Data Services, Inc. Automatic analysis of voice mail content
KR20100060926A (ko) * 2008-11-28 2010-06-07 연세대학교 산학협력단 상황 인지 서비스를 제공하는 시스템 및 그 방법
US20120315880A1 (en) * 2009-11-06 2012-12-13 Apple Inc. Dynamic context-based auto-response generation
US20140171135A1 (en) * 2010-09-24 2014-06-19 At&T Intellectual Property I, L.P. Conditional message forwarding functions
US20140052681A1 (en) * 2012-08-14 2014-02-20 Kenneth C. Nitz Method, System and Device for Inferring a Mobile User's Current Context and Proactively Providing Assistance

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10530723B2 (en) 2015-12-21 2020-01-07 Google Llc Automatic suggestions for message exchange threads
US11418471B2 (en) 2015-12-21 2022-08-16 Google Llc Automatic suggestions for message exchange threads
US10757043B2 (en) 2015-12-21 2020-08-25 Google Llc Automatic suggestions and other content for messaging applications
US11502975B2 (en) 2015-12-21 2022-11-15 Google Llc Automatic suggestions and other content for messaging applications
US11303590B2 (en) 2016-09-20 2022-04-12 Google Llc Suggested responses based on message stickers
US11700134B2 (en) 2016-09-20 2023-07-11 Google Llc Bot permissions
US10979373B2 (en) 2016-09-20 2021-04-13 Google Llc Suggested responses based on message stickers
US10862836B2 (en) 2016-09-20 2020-12-08 Google Llc Automatic response suggestions based on images received in messaging applications
US11336467B2 (en) 2016-09-20 2022-05-17 Google Llc Bot permissions
US10547574B2 (en) * 2016-09-20 2020-01-28 Google Llc Suggested responses based on message stickers
US10891485B2 (en) 2017-05-16 2021-01-12 Google Llc Image archival based on image categories
US10860854B2 (en) 2017-05-16 2020-12-08 Google Llc Suggested actions for images
US11574470B2 (en) 2017-05-16 2023-02-07 Google Llc Suggested actions for images
US11050694B2 (en) 2017-06-15 2021-06-29 Google Llc Suggested items for use with embedded applications in chat conversations
US11451499B2 (en) 2017-06-15 2022-09-20 Google Llc Embedded programs and interfaces for chat conversations
US10880243B2 (en) 2017-06-15 2020-12-29 Google Llc Embedded programs and interfaces for chat conversations
US11829404B2 (en) 2017-12-22 2023-11-28 Google Llc Functional image archiving

Also Published As

Publication number Publication date
KR20160148260A (ko) 2016-12-26
US20180137097A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
WO2016204428A1 (ko) 전자 장치 및 이의 제어 방법
US20110275358A1 (en) Application state and activity transfer between devices
WO2015005732A1 (en) Method of sharing electronic document and devices for the same
WO2014119975A1 (en) Method and system for sharing part of web page
WO2014069943A1 (en) Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof
WO2015041404A1 (en) Apparatus and method for displaying images
WO2011059224A2 (en) Method for providing position information using time period
US20180341501A1 (en) Method and device for distributing application
CN114466102B (zh) 显示应用界面的方法、相关装置以及交通信息显示系统
CN110381204B (zh) 一种信息显示方法、移动终端及计算机可读存储介质
CN109032491B (zh) 数据处理方法、装置以及移动终端
KR20150136312A (ko) 디스플레이 장치 및 이의 정보 제공 방법
WO2017146482A1 (ko) 음성 인식 제어를 제공하는 전자 장치 및 그 동작 방법
CN111818499B (zh) 快速配对方法、装置、设备及计算机可读存储介质
US20220382788A1 (en) Electronic device and method for operating content using same
CN105933502B (zh) 标记消息已读状态的方法和装置
WO2013125785A1 (en) Task performing method, system and computer-readable recording medium
CN109669710B (zh) 便签处理方法及终端
US20190026265A1 (en) Information processing apparatus and information processing method
WO2019203494A1 (ko) 문자를 입력하기 위한 전자 장치 및 그의 동작 방법
WO2015009023A1 (ko) 휴대 단말기의 사용 로그를 활용하는 방법 및 이를 이용한 장치
WO2017065394A1 (ko) 디스플레이 장치 및 이의 제어 방법
WO2020045909A1 (en) Apparatus and method for user interface framework for multi-selection and operation of non-consecutive segmented information
KR20140099167A (ko) 객체 표시 방법, 객체 제공 방법 및 이를 위한 시스템
WO2017030285A1 (ko) Ui 제공 방법 및 이를 적용한 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811841

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15572383

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16811841

Country of ref document: EP

Kind code of ref document: A1