WO2017039355A1 - 답신 메시지 추천 방법 및 이를 위한 디바이스 - Google Patents

답신 메시지 추천 방법 및 이를 위한 디바이스 Download PDF

Info

Publication number
WO2017039355A1
WO2017039355A1 PCT/KR2016/009796 KR2016009796W WO2017039355A1 WO 2017039355 A1 WO2017039355 A1 WO 2017039355A1 KR 2016009796 W KR2016009796 W KR 2016009796W WO 2017039355 A1 WO2017039355 A1 WO 2017039355A1
Authority
WO
WIPO (PCT)
Prior art keywords
recommendation information
message
reply message
information
user
Prior art date
Application number
PCT/KR2016/009796
Other languages
English (en)
French (fr)
Inventor
유승학
고은정
김덕호
이해준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160103550A external-priority patent/KR102598273B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201680063323.2A priority Critical patent/CN108432190B/zh
Priority to EP16842321.8A priority patent/EP3324581B1/en
Priority to EP20192717.5A priority patent/EP3764668A1/en
Priority to US15/756,208 priority patent/US10469412B2/en
Publication of WO2017039355A1 publication Critical patent/WO2017039355A1/ko
Priority to US16/586,430 priority patent/US11005787B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Definitions

  • the present disclosure relates to a method and a device for analyzing a received message and providing a user interface or recommendation reply message required for composing a reply message based on the content of the analyzed message.
  • the natural language processing technology may mean a technology that allows a computer to understand a language used for communication by a human being, or a technology that expresses information processed by the computer in a language that a human communicates with.
  • An object of the present disclosure is to provide various embodiments for providing a user interface or a recommended reply message required for writing a reply message.
  • a device for transmitting a reply message according to a first embodiment of the present disclosure, a display unit for displaying information; Communication unit for receiving a question message from another device; A processor for controlling the display unit to display a plurality of recommendation information included in a reply message to the received question message and a graphic indicating a relationship between the plurality of recommendation information; And a user input unit configured to receive a user input for selecting at least one piece of recommendation information from the plurality of pieces of recommendation information, wherein the communication unit sends a reply message including the selected recommendation information to the other device according to the user input.
  • the graphic representing the relationship between the plurality of pieces of recommendation information may represent the relationship between the plurality of pieces of recommendation information in a tree structure or a radial structure.
  • the relationship between the plurality of recommendation information may be connected to each other with weights regarding at least one attribute among preference, importance, location, time, and mood.
  • the plurality of recommendation information may be generated based on content registered by a user.
  • the plurality of recommendation information may be generated based on tag information and importance of the registered content.
  • the plurality of recommendation information may be generated from data searched, captured, photographed, or memoized by the user.
  • the reply message may include a keyword obtained from at least one selected image among the images.
  • the reply message may include at least one image selected from the images.
  • the processor is configured to input tag information in an input field of the chat window.
  • the controller may control the display unit to automatically display identification information of the another device in an input field of the chat window.
  • the communication unit may include tag information and identification information of the another device in an input field of the chat window. And according to a user input for inputting a second reply message to the second question message, transmit the second reply message to the another device.
  • a method of transmitting a reply message of a device for transmitting a reply message includes: receiving a question message from another device; Displaying a graphic indicating a plurality of recommendation information and a relationship between the plurality of recommendation information included in a reply message to the received question message; And transmitting a reply message including the selected recommendation information to the other device according to a user input for selecting at least one recommendation information from among the plurality of recommendation information.
  • the device may provide a user interface necessary for inputting a reply message.
  • FIG. 1A and 1B illustrate a method of providing information required for a device to input a reply message when a message is received according to an embodiment of the present disclosure.
  • FIG. 2 is a schematic block diagram of a device according to an embodiment of the present disclosure.
  • FIG. 3 illustrates an engine for generating a reply message, according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for describing a process of generating a keyword from an image according to an exemplary embodiment.
  • 5A to 5C are diagrams illustrating relationship between recommendation information and recommendation information according to an exemplary embodiment.
  • 6A and 6B are diagrams illustrating recommendation information for a reply message, according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating recommendation information for a reply message, according to another exemplary embodiment.
  • FIGS. 8A and 8B are diagrams illustrating recommendation information for a reply message, according to another embodiment of the present disclosure.
  • 9A and 9B are diagrams illustrating a relationship between recommendation information according to an embodiment of the present disclosure.
  • FIGS. 10A through 10C are flowcharts illustrating a method of providing a recommendation reply message using a communication device and a wearable device, according to an embodiment of the present disclosure.
  • 11A and 11B are diagrams illustrating that data to be used for generating a reply message is determined according to an embodiment of the present disclosure.
  • 12A and 13B are diagrams conceptually illustrating a process of providing a reply message according to another exemplary embodiment of the present disclosure.
  • 14A to 15D are diagrams illustrating screens for providing an image as recommendation information, according to another exemplary embodiment.
  • 16A to 16D are diagrams illustrating screens for providing a reply message for a plurality of devices, according to another exemplary embodiment.
  • FIG. 17 is a block diagram illustrating a configuration of a device according to another exemplary embodiment of the present disclosure.
  • FIG. 18 is a diagram illustrating a system for controlling an external device using recommendation information according to another exemplary embodiment of the present disclosure.
  • 19 and 20 are usage diagrams illustrating a method of controlling an external device using recommendation information according to an embodiment of the present disclosure.
  • 21 to 24 are flowcharts illustrating a method of providing recommendation information that a device may include in a reply message, according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “include,” or “may include” may include the presence of a corresponding feature (e.g., numerical value, function, operation, or component such as a component). Does not exclude the presence of additional features.
  • the expression “A or B,” “at least one of A or / and B,” or “one or more of A or / and B”, etc. may include all possible combinations of items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B,” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” and the like may modify various components, regardless of order and / or importance. It is used to distinguish it from other components and does not limit the components.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as “connected to”, it should be understood that any component may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” used in the present disclosure may, for example, be “suitable for,” “having the capacity to,” depending on the context. It may be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device may “may” along with other devices or components.
  • the phrase “subprocessor configured (or set up) to perform A, B, and C” may execute a dedicated processor (eg, an embedded processor) or one or more software programs stored on a memory device to perform the operation. By doing so, it may mean a general-purpose processor (for example, a CPU or an application processor) capable of performing the corresponding operations.
  • FIG. 1A and 1B illustrate a method of providing information necessary for the device 10 to input a reply message when receiving a message according to an embodiment of the present disclosure.
  • the device 10 may provide a user interface necessary for inputting a reply message.
  • the device 10 may display a reply message to the received message.
  • the device 100 analyzes that the caller's intention is to ask a place, and as a candidate for the reply message, "don't know 102", “well” , “Why?” Or "anywhere".
  • the device 100 may provide a “view recommendation information” user interface 10 for providing recommendation information to be included in the reply message.
  • the device 100 may receive a user input of selecting the “view recommendation information” user interface 10.
  • the device 100 may indicate a relationship between a plurality of pieces of recommendation information 101, 102, 103, 104, 105, and 106 that are included in a reply message and a plurality of pieces of recommendation information.
  • Graphics 112, 113, 114, 115, and 116 may be displayed.
  • the graphic may be, for example, a tree structure, and an example of the tree structure may be a node structure or a hirarchy structure.
  • the device 100 selects the selected recommendation information.
  • a reply message including the 105 "Gangnam Station gourmet (11), which came out on demand dinner," and the like can be generated.
  • the device 100 may generate a reply message including a part of the selected recommendation information 105.
  • a reply message may be generated that includes texts such as "Sumi” and "Sumi” that are short for "Fish”.
  • the device 100 may display the generated reply message 11 on the message input window.
  • the device 100 may transmit the reply message 11 displayed on the message input window to another device.
  • the visibility of the user generating the reply message and the ease of searching may be improved.
  • FIG. 2 is a block diagram of the device 100 according to an embodiment of the present disclosure.
  • the device 100 may include a communication unit 130, a user input unit 145, a display unit 110, and a processor 170.
  • a communication unit 130 may include a communication unit 130, a user input unit 145, a display unit 110, and a processor 170.
  • not all illustrated components are essential components.
  • the device 100 may be implemented by more components than the illustrated components, and the device 100 may be implemented by fewer components.
  • the engine 200 shown in FIG. 3 may be implemented in the configuration shown in FIG. 2.
  • the engine 200 illustrated in FIG. 3 may be implemented by executing a program stored in a memory (not shown) in the processor 170.
  • the communicator 130 may receive a message from another device. In addition, the communication unit 130 may transmit a reply message to another device.
  • the processor 170 may determine a relationship between the plurality of pieces of recommendation information and the plurality of pieces of recommendation information that may be included in the reply message to the received question message.
  • the display 110 may display the relationship between the recommendation information and the plurality of recommendation information to be included in the reply message to the question message determined by the processor 170.
  • the user input unit 145 may receive a user input for selecting information to be included in the reply message.
  • the user input unit 145 may receive a user input for selecting a menu.
  • the processor 170 may execute a function corresponding to the selected menu.
  • FIG. 3 illustrates an engine for generating a reply message, according to an embodiment of the present disclosure.
  • the device 100 may include an engine 200 for generating a reply message.
  • the engine 200 generating a reply message may include a message analyzer module 210 that determines an intention of sending a received message, and a candidate for generating a recommended reply message based on the analyzed intention of the received message.
  • the response reply module 230 may be included.
  • the message analysis module 210 may determine the intention of sending the received message. It may include a module (Morphologic / Syntactic Analyzer, 214) and a semantic analysis module (Semantic Analyzer, 216).
  • the normalization module 212 may restore the sweetheart or abbreviation included in the received message to the original standard language.
  • the normalization module 212 may restore a slang or abbreviation as a standard word based on a predetermined formula.
  • the normalization module 212 may restore the slang or abbreviation included in the message based on the dictionary in which the slang or abbreviation is mapped to the standard word.
  • a dictionary in which a slang or abbreviation is mapped to a standard word may be in a form as shown in Table 1.
  • the normalization module 212 judges “ ⁇ ” and “chan” as a sweet language, and “ ⁇ ” as the interjection “ah”, You can convert “chan” into an interjection “real”. Also, for example, when the message “Gildong, where shall we see dinner ⁇ " is received, the normalization module 212 determines that "is” as a word that does not match the grammar, You can convert "to" later.
  • the device 100 may store a word, expression, or tone in a message that the user exchanged with the sender in response to the sender. Accordingly, the normalization module 212 may restore the slang or abbreviation included in the received message to the original standard word based on a word, expression, or tone in the message that the user exchanged with the sender.
  • the normalization module 212 may restore a slang or abbreviation included in a text message sent by the sender based on a word, tone, or expression stored in correspondence with the sender.
  • the shape / syntax analysis module 214 may determine morphemes included in the message and determine sentence components of the determined morphemes.
  • the form / parse analysis module 214 is a morpheme included in the message " Come into a meeting, " and can determine “ meeting ", “ quickly " Also, the morphology / syntax analysis module 214 may admit “meeting”, “fast” as a sentence component of the determined morpheme, describe "come-in", and "zone” as an antagonist indicating respect.
  • the form / syntax analysis module 214 may determine a verb included in the message, an intention to send the received message, and whether or not to exist based on the determined sentence component. For example, the form / parse analysis module 214 determines that the verb included in the message " enter the meeting voice " is to " in " and to instruct the user to enter the origination of the received message, It can be determined that the received message is a message expressed in zoning.
  • the semantic analysis module 216 may determine an entity name, a sending intention, whether to use zoning, a sender's emotion, and determine a response type based on the morpheme and sentence component analyzed by the form / syntax analysis module.
  • the semantic analysis module 216 may include a named entity recognizer 216a, an intention recognizer 216b, a horn recognizer 216c, a sender emotion recognizer 216c, and a sender emotion recognizer 216c. 216d) and a reply type determiner 216e.
  • the entity name recognition module 216a may recognize the entity name included in the received message.
  • Named entity may mean a noun or a number having a unique meaning in a document. Individual names can be broadly divided into names, names of names, names of institutions such as names, times of days and dates, and numbers of numbers and percentages.
  • Named entity recognition may mean recognizing an entity name included in a message and determining the type of the recognized entity name.
  • the object name recognition module 216a recognizes “gil-dong” and “dinner” as the object name, and recognizes "gil-dong".
  • "dinner” can be recognized as a meal for dinner.
  • the entity name recognition module 216a may determine “way” as the name of a person based on the contact stored in the device 100, and if the relationship with “way” is stored in the contact, The relationship between the way "and the user.
  • the entity name recognition module 216a may refer to the previously stored entity name dictionary to recognize "dinner” as a meal for eating in the evening.
  • Caller intent recognition module 216b may determine the caller's call intent expressed in the message.
  • the originating intent may include, but is not limited to, for example, greetings, questions, commands, requests, suggestions, emotional expressions, or information transfer.
  • the sender intention recognition module 216b may determine the origination intention of the message based on the analyzed morpheme, entity name, sentence component, or part of speech.
  • the sender intention recognition module 216b may determine that the originating intention of the received message is a command when the message is in English and the first word of the message is a “Be” verb or a prototype of the verb. In addition, if the message is in English and the first word of the message contains words to express a request such as "Would you" or "Please", the sender intention recognition module 216b determines that the originating intention of the received message is the request. Can be determined.
  • the sender intention recognition module 216b agrees whether the intention of the received message is a yes or no question, is a question requiring selection of at least one of a plurality of options, and agrees. It can be determined whether it is a question that asks whether or not it is a question that asks one of the principle of grounding (5W1H). For example, if the received message is "Mr. kildong, where shall we meet for a dinner today?", The sender intention recognition module 216b is a sentence that represents the sentence component and question of "where" of the morphemes in the message. Based on the sign "?", It can be determined that it is a question which asks which of the six principles.
  • 5W1H principle of grounding
  • the sender intention recognition module 216b may classify the sender intention indicated by the message into a plurality of categories as shown in Table 2, and may classify the sender intention recognition module into a plurality of subcategories for each category.
  • the caller intent recognition module 216b determines whether the received message is a question that is asked among location, time, age, price, count, person, activity, and reason. Can be determined.
  • the zoning use recognition module 216c may determine whether the message is expressed as zoning. For example, if the morphemes in the message include morphemes indicating respect, such as “please”, “please”, “”, etc., the zoning use recognition module 216c determines that the received message is expressed as zoning. Can be.
  • the sender emotion recognition module 216d may recognize the sender's feelings expressed in the message.
  • the sender's emotion may include, but is not limited to, for example, happiness, laughter, sadness, fear, surprise or anger.
  • the sender's emotion recognition module 216d may recognize the sender's emotion based on the interjection, slang or emoticon included in the message. For example, if the received message is “I was late.”; And “ ⁇ . ⁇ ;” is an emoticon indicating a bad mood, the caller's emotion recognition module 216d determines that the caller's emotion is unhappy. Can be.
  • the answer type determination module 216e may determine the type of the received message. For example, the answer type determination module 216e may determine the type of message based on the intent of the message determined by the sender intent recognition module 216b. For example, when the intention of sending the received message is a yes or no question, command, request or suggestion, the answer type determination module 216e may determine the type of the message as a type that selects one of yes or no. In addition, when the intention of sending the received message is a question requiring data belonging to a specific category, the answer type determining module 216e may determine the type of the message as the short answer type.
  • Questions that require data belonging to a particular category may include, for example, questions asking for specific information (for example, "what's this phone number"), what the caller and user want to do together, Questions about the time, place, method, etc. (eg, "What time do you want to see?").
  • the answer type determination module 216e may classify the message types into a plurality of categories as shown in Table 3 below.
  • Level1 Level2 Level3 yes no yes n / a no n / a short answer person relationship phone number job age location home office school subway gps value date / time relative day of week hour number count date activity exercising size price age studying working relaxing cooking cleaning traveling car driving watching tv breakfast lunch dinner snack food bibimbap bulgogi spaghetti risotto pizza sushi ramen choose one A or B n / a A or B or C n / a a multiple of X n / a custom greeting How _are you How_are_you _doing What_are_you_doing weather Nice_weather good-bye Have_a_nice_day Have_a_nice_dinner Have_a_nice_weekend Good_night
  • the message type may include a yes or no type, a short answer type, a type for selecting one of a plurality of items, and one message type may be classified into a plurality of categories.
  • the message type may be classified as an answer to a specific person, an answer to a specific location, or an answer to a specific number.
  • Table 3 is merely an example of an answer type, and an answer type may be designated corresponding to each intention of sending.
  • the candidate answer generation module 230 may generate at least one recommendation reply message to be provided to the user.
  • the candidate answer generation module 230 may include an answer search module 232, a reply sentence generation module 234, and a corpus database 236.
  • the corpus database 236 may store an answer intent corresponding to the originating intent.
  • the corpus database 236 may store positive, negative, or unknown intentions in response to a yes or no question.
  • the corpus database 236 may include a proposal intent or a recommendation based on data selected by the user as an answer intention corresponding to a question (HOW_WILL_WE_DO_QUESTION) asking the work, time, place, method, and the like of the caller and the user.
  • the intent may be stored.
  • the corpus database 236 may store a recommended reply message corresponding to the answer intention. For example, referring to Table 5, in response to the intention to eat dinner (HAVE_A_NICE_DINNER) "eating dinner delicious,” “Happy meal time”, “enjoy dinner,” may be stored.
  • the answer retrieval module 232 may determine the answer intent based on the intention of sending the received message. For example, the answer retrieval module 232 may obtain the answer intent corresponding to the origination intent from the corpus database 236.
  • the answer search module 232 may determine the recommendation information selected by the user as the answer intention. For example, when receiving a short-answer question asking for a place, the answer search module 232 may provide a plurality of selectable recommendation information and determine, as an intention, the recommendation information selected by the user among the plurality of provided recommendation information. have.
  • the semantic analysis module 216 indicates that the intention of sending the received message is a question asking where for dinner. You can decide. If the intention of sending the message is a question asking for a place for dinner, the answer search module 232 displays a plurality of places or a map, selects one of the displayed plurality of places, or selects a point on the map. Upon receiving the user input, the proposal to meet at the selected place may be determined as the answer intention.
  • the answer search module 232 may obtain, from the corpus database 236, a recommended reply message corresponding to the determined answer intent.
  • the answer retrieval module 232 determines whether or not to use the zoning in the reply message based on whether the received message is used for zoning and the relationship between the sender and the user, and obtains different recommendation information according to whether to use the zoning. can do.
  • the response sentence generation module 234 may change the word, expression, or tone in the message that the user exchanged with the sender using the obtained recommendation information.
  • the device 100 may store a word, an expression, or a tone in a message exchanged between the user and the sender in response to the sender. Accordingly, the answer sentence generation module 234 may obtain at least one message corresponding to the answer intention, and change the word, expression or tone in the obtained message to a word, expression or tone corresponding to the sender.
  • the response sentence generation module 234 may be "the number of the landscapes.” How about the street “can be modified to” What about the road? "
  • the device 100 may analyze the conversation contents exchanged in the past according to acquaintances, and may store words, words, or expressions used according to acquaintances.
  • the response sentence generation module 234 may generate a recommended reply message according to a stored word, tone, or expression corresponding to the sender.
  • the device 100 may automatically generate a reply message reflecting intimacy with the sender.
  • the tree generation module 235 may determine a plurality of pieces of recommendation information by using the obtained data, and generate a relationship between the plurality of pieces of recommendation information. For example, the tree generation module 235 provides a user with a tree structure indicating a relationship between the plurality of recommendation information, and answers the at least one recommendation information selected by the user among the plurality of recommendation information. Can be sent to.
  • the answer search module 232 may determine at least one recommendation information obtained from the tree generation module 235 as an answer intention. In this case, the tree structure may be listed or grouped according to the importance of the recommendation information, the frequency of use, and the similarity between words.
  • the tree generation module 235 may collect data necessary for generating recommendation information. For example, the tree generation module 235 can collect data from the corpus database 236. In addition, the tree generation module 235 may obtain the user's context from the context framework 300. In addition, the tree generation module 235 may collect data from a camera, an application storing an image, a memo application, a web paging application, a message application, and the like.
  • the tree generation module 235 may use data registered by a user as data required for generating a plurality of recommendation information.
  • the user may enter a data registration mode (or auto thinking mode).
  • the data searched by the user, captured data, memoized data or photographed data may be determined as data necessary for generating recommendation information with a high priority.
  • the user may select a date registration menu and register the content being provided as data necessary for generating recommendation information. In this case, the user may register the tag and the importance for the content together.
  • the tree generation module 235 may generate keywords based on the collected data. For example, the tree generation module 235 may generate a keyword by extracting text from content, link information, and the like. In addition, the tree generation module 235 may generate a keyword by using the metadata of the content, the tag or the importance of the content input by the user. Alternatively, when the content is an image or a video, the tree generation module 235 may analyze the image or the video to generate a keyword. For example, the tree generation module 235 from the image 401 of FIG. 4 includes "chicken”, “hongdae”, “out chicken”, “potato fried”, “delicious”, “spice chicken”, “beer”, A keyword such as "chimac” can be generated.
  • the tree generation module 235 may classify the generated keywords.
  • the plurality of keywords may be included in a group of representative keywords. For example, "seasoned chicken”, “out chicken”, and “chicken” may be classified into a representative keyword group called "chicken.”
  • the tree generation module 235 may determine the keyword and the representative keyword as recommendation information corresponding to the answer intention, and provide the keyword to the user in a tree structure.
  • each recommendation information may be provided in a node structure having a relationship with each other corresponding to each node.
  • 5A to 5C are diagrams illustrating relationship between recommendation information and recommendation information according to an exemplary embodiment.
  • the tree generation module 235 may classify recommendation information according to an event and a specific thing or condition necessary for the purpose, and define a relationship between each recommendation information.
  • the recommendation information may be classified into “dating”, “family”, and “destination” according to the purpose.
  • the recommendation information having a relationship with the "date” may be, for example, “movie”, “exercise”, and “delicious”.
  • "Gourmet” may have a relationship with other recommendation information, such as “gangnam” or "formal”.
  • other recommendation information objects may continue to have relationships with other recommendation information. For example, "Gangnam” may have a relationship with "Gourmet restaurant” again.
  • each recommendation information may be linked with weights for various attributes such as at least one of preference, importance, location, time, and mood.
  • weights for various attributes such as at least one of preference, importance, location, time, and mood.
  • “movie”, “delicious A”, and “travel” associated with “date” may be connected in a relationship having a preferred weight (for example, good for (w)).
  • “Gangnam” connected to “Gourmet A” may be connected in a relationship having a location weight (for example, located in (w)).
  • “formality” connected to "delicious A” may be connected by a weight (for example, is a (w)) having an equivalent / inclusion relationship.
  • between “Gangnam” and “Gourmet restaurant” may be connected by a weight having both a location weight and an equivalent / inclusion relationship.
  • the recommendation information may be grouped by category so that representative recommendation information representing the recommendation information may be defined as nodes of a tree structure.
  • the representative recommendation information may be "delicious” representing “delicious A”, “delicious B”, “delicious C”, and also specific, such as “movie”, "sport”, “travel” There can be keywords representing the field.
  • the tree generation module 235 may determine recommendation information having a high weight relationship with the sender based on the intention of sending the received message.
  • the tree generation module 235 may obtain "date” as recommendation information having a high weight relationship with "person B”. Again, the tree generation module 235 obtains "Gourmet A” as recommendation information having a high weighting relationship with "Date” and obtains "Gangnam” as recommendation information having a high weighting relationship with "Gourmet A”. Can be.
  • recommendation information based on the intention of "Person B" may be provided to the user in the form of a tree structure.
  • the relationship between the recommendation information and the recommendation information may be represented by arrows connecting nodes and nodes as shown in FIG. 5C, but may be represented in various forms without being limited thereto.
  • the tree generation module 235 may transmit the determined recommendation information to the answer search module 232.
  • the answer search module 232 may determine the received recommendation information as the answer intent.
  • the device 100 may include a context framework 300.
  • the context framework 300 may obtain a context of a user at a specific time.
  • the context of the user may include, but is not limited to, a time, a day, a date, a user's schedule, a place where the user is located, and a user's activity.
  • the context framework 300 may obtain schedule information of the user at a specific time based on schedule information of the user stored in the device 100.
  • the context framework 300 may acquire a place where the user is located by using a position sensor (eg, GPS) provided in the device 100.
  • the context framework 300 may detect a user's activity using a camera, a posture sensor, a motion sensor, or the like provided in the device 100.
  • the candidate answer generation module 230 may determine the recommended reply message based on the intention of sending the received message and the context of the user acquired through the context framework 300.
  • the answer retrieval module 232 may obtain the user's context from the context framework 300.
  • the answer retrieval module 232 may determine the recommended reply message based on the context of the user obtained as well as the origination intention.
  • the corpus database 236 may store the answer intent corresponding to the originating intent and the context. For example, as shown in Table 6, at least one answer intent may be stored in correspondence with the originating intent and the context.
  • the answer retrieval module 232 may obtain the answer intent corresponding to the originating intention and the context.
  • the answer search module 232 when receiving the message "Send a good evening” at night, the answer search module 232, the time, day of the week, the contact number of the caller when the message "Send a good evening” is received device (100) Can be stored in the The answer search module 232 may determine the intention to send a "good evening ⁇ " at night, the time the message is received in the evening, the day of the week is Wednesday, the contact information of the caller is stored in the device 100 You can decide that you are. Accordingly, the answer retrieval module 232 sends an evening response from the corpus database 236 when the intention is to be sent at night, and the context is evening, Wednesday, and the caller's contact information is stored in the device 100. You can get HAVE_A_NICE_DINNER.
  • the device 100 may provide another recommendation reply message according to the context of the user.
  • the corpus database 236 may store not only the calling intent and the context, but also other recommended reply messages depending on whether or not to use zoning or whether the caller's contact information is stored in the device 100.
  • the answer retrieval module 232 may determine the relationship between the caller and the user based on whether the caller's phone number is stored in the device 100 and the name stored in correspondence with the caller's phone number. For example, when the name corresponding to the caller's phone number stored in the device 100 is "Mom" or "Mother", the answer search module 232 may determine that the caller is the user's mother. In addition, the answer search module 232 may determine the relationship between the caller and the user based on the contact group to which the caller's telephone number belongs. Contact groups may include, for example, family, company, school, community, and the like.
  • the answer retrieval module 232 may determine whether to use zoning in the reply message based on the relationship between the sender and the user. Accordingly, the answer retrieval module 232 may determine the recommended reply message based on not only the origination intention and the context of the user, but also the relationship between the sender and the user.
  • the device 100 may receive a message "What are you doing” at 9:30 am on March 30, 2015 from the user's mother.
  • the answer search module is represented by the "why", “I'm working”, “I'm busy now,” “What's up?” And “I don't know” as the recommended reply message.
  • the answer search module may determine "why?", "Work”, “busy”, “what's up”, “don't know” as the recommended reply message. have.
  • 6A and 6B are diagrams illustrating recommendation information for a reply message, according to an embodiment of the present disclosure.
  • the device 100 may be a wearable watch.
  • the communication unit 130 may receive the message "Where do you want to see?"
  • the user input unit 145 may receive a user input for selecting the confirmation button 601.
  • processor 170 Upon receiving user input, processor 170 displays a plurality of user interfaces 602, 603, 604 for determining a reply message, as shown in FIG. 6A (B-1) or FIG. 6A (B-2).
  • the unit 110 may be controlled.
  • the processor 170 divides an area of a screen into a plurality of areas including a center area and an outer area, and the message received in the center area is divided among the divided areas.
  • the display 110 may be controlled to display a plurality of user interfaces 602, 603, and 604 in an outer area.
  • the processor 170 may control the display 110 to display the user interface 602 including the phrase “well” as the recommended reply message to the message.
  • the processor 170 may control the display 110 to display a user interface 603 for the user to select a place.
  • the processor 170 may control the display 110 to display a user interface 604 for viewing recommendation information.
  • the device 100 may be a device 100 having wheels mounted in a bezel area.
  • the processor 170 may control the display 110 to display the user interface selected by the user separately from other user interfaces.
  • the processor 170 may control the display 110 such that an area in which the selected user interface is displayed has a color or a pattern different from other areas.
  • the processor 170 may select the user interfaces 602, 603, 604 in turn according to the turning direction. In addition, upon receiving a user input of turning the wheel beyond the reference angle, the processor 170 may delete the displayed user interface and control the display 110 to display a new user interface.
  • the processor 170 divides the screen into a plurality of areas based on lines or colors, and displays a message received on an upper area among the plurality of areas.
  • the display 110 may be controlled to display the plurality of user interfaces 602, 603, and 604 on the lower area.
  • the processor 170 may select the user interfaces 602, 603, 604 in turn according to the turning direction. In addition, upon receiving a user input of turning a wheel over a reference angle, the processor 170 may delete the displayed user interface and control the display 110 to display the new user interface while being scrolled.
  • the user input unit 145 may receive a user input for selecting a user interface 604 for viewing recommendation information.
  • the processor 170 according to (c) of FIG. 6B according to a user input of selecting the user interface 604 for viewing recommendation information.
  • the controller 110 may control the display 110 to display a graphic indicating the relationship between the recommendation information and the recommendation information.
  • the recommendation information is included in the node, and the relationship between the recommendation information may be indicated by an arrow connecting the nodes.
  • the processor 170 may generate recommendation information based on the intention of the outgoing message.
  • the recommendation information may be linked in the order of "sender", "date”, “restaurant”, “past visit”, “hongdae", “chicken” or “cold noodles".
  • the user may select one recommendation information from the recommendation information.
  • the user input unit 145 may receive a user input of selecting “chicken” 611.
  • the processor 170 may generate a reply message including recommendation information and control the display 110 to display the generated reply message. .
  • the processor 170 may generate an outgoing message “Would you like chicken?” Using the recommendation information “chicken”.
  • the processor 170 may generate a reply message using not only the recommendation information selected by the user but also other recommendation information connected with the recommendation information. For example, various types of reply messages may be generated through the operation of each module of the engine 200 of FIG.
  • a plurality of reply messages of various types using recommendation information may be generated and displayed.
  • the processor 170 may determine the selected reply message as a message to be sent to the sender.
  • FIG. 7 is a diagram illustrating recommendation information for a reply message, according to another exemplary embodiment.
  • the controller 110 may control the display 110 to display a graphic indicating the relationship between the recommendation information and the recommendation information.
  • the user input unit 145 may receive a user input of selecting “american meal 711” and “chicken 611” together as a plurality of recommended information.
  • the user input for selecting a plurality of pieces of recommendation information may be sequentially performed, or may be performed simultaneously or at a predetermined time (eg, within 1 second) using a multi-touch gesture.
  • the processor 170 may generate a reply message including a plurality of recommendation information and control the display 110 to display the generated reply message.
  • the processor 170 may generate an outgoing message of “Chicken House Outing at a Lunch” by using recommendation information “Chicken” 611 and “Breakfast” 711.
  • the processor 170 may generate a reply message using not only the recommendation information selected by the user but also other recommendation information connected with the recommendation information.
  • various types of reply messages may be generated through the operation of each module of the engine 200 of FIG.
  • a plurality of reply messages of various types using the plurality of recommendation information may be generated and displayed.
  • the processor 170 may determine the selected reply message as a message to be sent to the sender.
  • FIGS. 8A and 8B are diagrams illustrating recommendation information for a reply message, according to another embodiment of the present disclosure.
  • the processor 170 may control the display 110 to display a graphic indicating the relationship between the recommendation information and the recommendation information.
  • the user input unit 145 may receive a user input of selecting “date 801”.
  • the user input may be for displaying other recommendation information connected with the “date 801”.
  • a user input for determining “date 801” as recommendation information and a user input for displaying other recommendation information connected with “date” 801 may be distinguished from each other.
  • a user input for determining "date 801” as recommendation information may be a tap gesture
  • a user input for displaying other recommendation information associated with "date 801" may be a touch and hold gesture.
  • the processor 170 may determine the relationship between the first recommendation information and the first recommendation information connected to the “date 801” based on the “date” 801.
  • the display 110 may be controlled to display a graphic indicating.
  • the processor 170 controls the display 110 to display a user interface 811 for displaying the other recommendation information. can do.
  • the processor 170 may receive a user input for selecting the user interface 811.
  • the processor 170 may associate the second recommendation information and the second recommendation information connected with the “date 801” based on the “date 801”.
  • the display 110 may be controlled to display a graphic indicating.
  • the user input unit 145 may receive a user input of selecting “bicycle 821” as one recommendation information from among the second recommendation information.
  • the processor 170 may generate a reply message including the “bicycle 821” and control the display 110 to display the generated reply message.
  • the processor 170 indicates a relationship between recommendation information and recommendation information based on another “date 801”.
  • the display 110 may be controlled to display a graphic. Or, when there is no recommendation information based on the "date 801" anymore, the processor 170 controls the display unit 110 so that the screen is cyclically displayed on the screen of FIG. 8A (b) again. can do.
  • 9A and 9B are diagrams illustrating a relationship between recommendation information according to an embodiment of the present disclosure.
  • the relationship between the recommendation information and the recommendation information may be displayed in various forms.
  • the recommendation information and the relationship between the recommendation information may be displayed in the form of a tree structure including a node and an arrow as described above.
  • FIGS. 9A and 9B other recommendation information linked to one recommendation information based on one recommendation information may be displayed in a radial form.
  • the relationship between the recommendation information may be represented by an arrow or a line as shown in (a) of FIG. 9A, or as shown in (b) of FIG.
  • the relationship between For example, in FIG. 9B (b), recommendation information adjacent to one recommendation information may be regarded as recommendation information having a relationship with the recommendation information.
  • the relationship between the recommendation information and the recommendation information may be defined based on the location of the divided region, as shown in FIG. 9B (c). For example, when the screen is divided into a plurality of zones, the closer to the center of the screen becomes the reference, the recommendation information having a relationship with a plurality of recommendation information may be displayed. Further, other recommendation information branched from the recommendation information located at the center of the screen may be displayed toward the outer region of the screen.
  • 10A through 10C are flowcharts illustrating a method of providing a recommended reply message for a received message using the communication device 100a and the wearable device 100b according to an embodiment of the present disclosure.
  • the communication device 100a and the wearable device 100b may include at least one configuration in the engine 200 of FIG. 2.
  • the components in engine 200 of FIG. 2 may be divided into communication device 100a and wearable device 100b.
  • the wearable device 100b is a device located outside the communication device 100a and may refer to, for example, a device 100 attached to a body part of a user.
  • the wearable device 100b may perform long range wireless communication as well as short range wireless communication.
  • the short range wireless communication connection may be established between the communication device 100a and the wearable device 100b.
  • the communication device 100a and the wearable device 100b may be Bluetooth paired. Accordingly, when the wearable device 100b is positioned within the reference distance with the communication device 100a, a short range wireless communication connection may be automatically established between the communication device 100a and the wearable device 100b.
  • the communication device 100a may receive a message.
  • the communication device 100a may determine the origination intention or message type of the received message, and determine at least one recommendation reply message based on the determined origination intent or message type.
  • the communication device 100a may store the configuration shown in FIG. 2.
  • the communication device 100a may transmit the determined at least one recommendation reply message to the wearable device 100b.
  • the wearable device 100b may display the received recommended reply message.
  • the wearable device 100b may display a user interface for viewing recommendation information necessary for generating a reply message.
  • the wearable device 100b may transmit information indicating that the user interface for viewing the recommendation information is selected to the communication device 100a.
  • step S1011 the communication device 100a may determine a relationship between the plurality of recommendation information and the plurality of recommendation information.
  • the communication device 100a may transmit a plurality of pieces of recommendation information and information indicating a relationship between the plurality of pieces of recommendation information to the wearable device 100b.
  • the wearable device 100b may display a graphic indicating a plurality of pieces of recommendation information and a plurality of pieces of recommendation information.
  • the wearable device 100b may transmit the selected piece of recommendation information to the communication device 100a.
  • the communication device 100a may generate a reply message including the recommendation information based on the selected recommendation information, the intention to send, and the message type.
  • the communication device 100a may send the generated reply message to the caller.
  • the communication device 100a may transmit the generated reply message to the wearable device 100b and transmit the generated reply message to the caller according to the user's confirmation.
  • the wearable device 100b may receive a message.
  • the wearable device 100b may transmit the received message to the communication device 100a.
  • the communication device 100a may determine at least one recommendation reply message based on the origination intention or the message type.
  • the communication device 100a may transmit the determined at least one recommendation reply message to the wearable device 100b.
  • the wearable device 100b may display the received recommended reply message.
  • the wearable device 100b may display a user interface for viewing recommendation information necessary for generating a reply message.
  • the wearable device 100b may transmit information indicating that the user interface for viewing the recommendation information is selected to the communication device 100a.
  • the communication device 100a may determine a relationship between the plurality of recommendation information and the plurality of recommendation information.
  • the communication device 100a may display a graphic indicating a relationship between the plurality of recommendation information and the plurality of recommendation information.
  • the communication device 100a may generate a reply message including the recommendation information based on the selected recommendation information, origination intention, and message type. have.
  • the communication device 100a may transmit the generated reply message to the wearable device 100b.
  • the wearable device 100b may transmit a received reply message to the caller.
  • the wearable device 100b may receive a message.
  • the wearable device 100b may determine at least one recommended reply message based on the intention to send or the message type.
  • the wearable device 100b may display the received recommended reply message.
  • the wearable device 100b may display a user interface for viewing recommendation information necessary for generating a reply message.
  • the wearable device 100b may transmit information indicating that the user interface for viewing the recommendation information is selected to the communication device 100a.
  • steps S1069 to S1077 the wearable device 100b may transmit a reply message generated based on the plurality of recommendation information selected by the user to the caller.
  • steps S1069 to S1077 correspond to steps S1043 to S1051 in FIG. 10B, respectively, and thus detailed description thereof will be omitted.
  • 11A and 11B are diagrams illustrating that data to be used for generating a reply message is determined according to an embodiment of the present disclosure.
  • the processor 170 may execute the data registration mode according to a user input of switching the data registration mode to an on state through the data registration mode user interface 1101 on an environment setting screen. .
  • the data registration menu 1102 may register the content as data to be used for generating a reply message.
  • the display unit 110 may be controlled to be controlled.
  • the content may include various kinds of information such as a video, an image, text, audio, or a web document.
  • the user input unit 145 may receive a user input of selecting the data registration menu 1102 to register the content being provided as data to be used for generating a reply message.
  • the processor 180 controls the display 110 to display a pop-up screen 1103 for confirming that the content being provided as data to be used for generating a reply message is displayed. can do.
  • the popup screen 1103 may include a tag input window 1103-1 and an importance selection user interface 1103-2.
  • the processor 170 may receive tag information about content being provided.
  • the tag information may be, for example, a description of the content, a utilization of the content, or a source of the content.
  • the processor 170 may receive the importance of the content.
  • the importance of the content can be one of, for example, very important, usually important, or slightly important.
  • the processor 170 may generate the recommendation information or the reply message by using the registered content, metadata of the registered content as related information of the registered content, and tag information and importance of the content.
  • the processor 170 may store the aforementioned content and content related information in the user registration data area of the context framework 300. Next, when the recommendation reply message or the recommendation information to be used in the recommendation reply message is generated, the processor 170 may preferentially use the content and the content related information stored in the user registration data area.
  • the recommendation reply message or the recommendation information is generated using the data and data registered directly by the user, the satisfaction and convenience of the user using the message function may be improved.
  • FIGS. 12 and 13 are diagrams conceptually illustrating a process of providing a reply message according to another exemplary embodiment of the present disclosure.
  • the processor 170 may control the display 110 to display the content 1201 registered in the social server.
  • the processor 170 may control the display 110 to display the content 1201.
  • the user input unit 145 may receive a user input for registering a reply message (eg, a comment, etc.) with respect to the content 1201 registered in the social server.
  • the processor 170 may generate a keyword from the content 1201 registered by the third party.
  • the processor 170 may include the "hongdae”, “out chicken”, “chicken”, “chicken”, “beer”, “spiced chicken”, “as shown in FIG. 12A (b) from the content 1201. You can create keywords such as "MugStar”, “foodstagram”, “instrafood”, and "instasize”.
  • the generating of the keyword from the content by the processor 170 may include not only generating the keyword by analyzing the image itself, but also obtaining the keyword from the tags or content metadata already registered by a third party. .
  • the processor 170 may obtain a keyword related to an image using a search engine of an external server.
  • the processor 170 may retrieve a restaurant that mainly provides a food image, recent news related to the food image, a favorite target of the food image, etc. from an external server, and obtain the keyword as a keyword. have.
  • the processor 170 determines a keyword or a keyword processed or classified as recommendation information, and displays a graphic indicating a relationship between the determined recommendation information and the recommendation information.
  • the display 110 may be controlled.
  • the user input unit 145 may receive a user input of selecting at least one recommendation information 1202 from the recommendation information.
  • the processor 170 may generate the reply message candidates 1204 using the selected recommendation information 1202 and the template 1203 available as the reply message.
  • the processor 170 may determine a template according to the attribute of the selected recommendation information 1202. For example, when the attribute of the selected recommendation information 1202 is food, the processor 170 may select a template capable of generating a reply message including food, and generate a reply message by using the template. For example, the processor 170 may combine the recommendation information of "chicken" and the template "Let's go with me next time (#food) ⁇ " to generate a reply message that says "Let's go with me next time”. have.
  • the processor 170 may use the plurality of pieces of recommendation information as “here (# food) delicious?" Can be combined to create a reply message that says "The chicken beer is delicious here.”
  • the processor 170 may control the display 110 to display a user interface for selecting one reply message from among the plurality of reply message candidates. Accordingly, when a reply message is selected from the user, the processor 170 may register the selected reply message with the social server. For example, the processor 170 may register the selected reply message with the social server as a comment on the content registered by the third party.
  • the processor 170 may control the display 110 to display the content 1301 registered in the social server.
  • the user input unit 145 may receive a user input for registering a reply message with respect to the content 1301 registered in the social server.
  • the processor 170 from the content 1301, as shown in Figure 13a (b), "hongdae”, “out chicken”, “outdark”, “foodstagram”, “muxgram”, “matstagram”, Keywords such as “chicken”, “smartphone”, “cheese stick”, “sweet potato stick”, “chime”, “daily”, and "food” can be generated.
  • the processor 170 determines the recommendation information using the generated keywords, and displays the display 110 to display a graphic indicating the relationship between the determined recommendation information and the recommendation information. Can be controlled.
  • the user input unit 145 may receive a user input of selecting at least one recommendation information 1302 from the recommendation information.
  • the processor 170 may generate reply message candidates 1304 using the selected recommendation information 1302 and a template 1303 available as a reply message.
  • the processor 170 may determine a template according to the attribute of the selected recommendation information 1302. For example, when the attribute of the selected recommendation information is activity, the processor 170 may select a template capable of generating a reply message including an action and generate a reply message using the same. For example, the processor 170 may generate a reply message, “Let me like Me ⁇ ” by combining “Mukbang” recommendation information and “Let's do it together”.
  • the processor 170 selects a template capable of generating a reply message using the plurality of recommendation information having different attributes and uses the same. To generate a reply message. For example, when “chicken” and “Hongdae” are selected as a plurality of recommendation information having different attributes, the processor 170 may generate a template called "Let's go (#location) for a long time). Combine it to produce a reply message that says "Let's go Hongdae to eat chicken for a long time.”
  • 14A to 15D are diagrams illustrating screens for providing an image as recommendation information according to another exemplary embodiment.
  • the image or video may be used as the recommendation information included in the reply message.
  • the device 100 may grasp the intention of the caller or the user from the message history between the sender and the user, and automatically provide an image or a video that can be included in the reply message based on the intention of the conversation. As such, as an image or video to be automatically included in the reply message is provided, the convenience of a user who writes the reply message may be improved.
  • the processor 170 may control the display 110 to display a message that the conversation between the caller and the user displays on the screen. have. For example, the processor 170 may have received "What did you do on your weekend with your girlfriend?" Received from the sender's device, "I went to the Olympic Park" that the user entered in response to this, and the caller in response to the caller. The display 110 may control the message “How was it?” Received from the device. In this case, the processor 170 may control the display 110 to display a user interface 1401 for providing recommendation information to be included in the reply message.
  • the processor 170 may display the display 110 to display the images 1402, 1403, 1404, and 1405 as recommendation information. Can be controlled.
  • the processor 170 may obtain at least one keyword from messages communicated between the sender and the user, and determine images to be recommended using the acquired keyword. For example, the processor 170 obtains the keywords “girlfriend” and “weekend” from the message "What did you do with your girlfriend over the weekend?" Of the sender of FIG. 14A, and the user's "Olympic Park". The keyword “Olympic Park” can be obtained from the message "I have been to”.
  • the processor 170 may generate a search keyword for searching for an image to be recommended based on the obtained combination of keywords. For example, the processor 170 may define the searched images as the first image group by using the keywords “girlfriend”, “weekend” and “Olympic park”.
  • the processor 170 may define the searched images as the second image group by using the keywords “girlfriend” and “Olympic park”. In addition, the processor 170 may define the searched images as the third image group by using the keywords "girlfriend” and "weekend”. As a result, the processor 170 may control the display 110 to display the representative images 1402 to 1405 of each image group as shown in FIG. 12A (b). Next, the user input unit 145 may receive a user input for selecting one representative image 1402 of the plurality of representative images 1402 to 1405.
  • the processor 170 acquires the selected representative image 1402 and other images included in the group of the selected representative image 1402, and the display unit to display the obtained images as shown in (d) of FIG. 14B. 110 may be controlled.
  • the processor 170 may display a display unit such that a visual effect of searching or collecting the images included in the group of the representative image 1502 based on the representative image 1402 is displayed. 110 can be controlled.
  • the processor 170 sorts the searched images in one region of the screen (for example, at the top of the screen) 1411 (for example, the order of high relation with keywords, the order of image generation, and the order of image size).
  • the display 110 may be controlled to be displayed.
  • the processor 170 may display the non-representative images of the representative image group in a different area of the screen (eg, bottom of the screen) 1412 such that the images included in the representative image group are arranged (eg, image generation time sequence, image size sequence, etc.). 110 may be controlled.
  • the user input unit 145 may receive a user input of selecting at least one image 1421, 1422, 1423, and 1424 to be used in the reply message among the searched images. .
  • the processor 170 may control the display 110 to display the selected images 1421-1424 highlighted to distinguish the other images.
  • the processor 170 may obtain keywords from the selected images 1421-1424 as shown in FIG. 14C (f). For example, the processor 170 may generate keywords by analyzing the selected images 1421-1424. In this case, the processor 170 may generate keywords by analyzing the selected images 1421-1424 using a natural language generation (NLG) function.
  • NLG natural language generation
  • the processor 170 may obtain keywords from metadata, a tag, and a user log of the selected images 1421 to 1424. For example, the processor 170 obtains a place keyword of "Olympic Park” from the first image 1421, obtains a date keyword of "2015.8.10" from the second image 1422, and the third image. From 1423, a person keyword "female girlfriend" can be obtained.
  • the processor 170 may determine a template that can be used as a reply message based on keywords obtained from the plurality of templates. For example, when the attribute of keywords corresponding to the selected image is a place and a person, the processor 170 may determine a template 1431 including the place and a person as a template for generating a reply message.
  • the processor 170 may display a reply message in a text form including a keyword and images 1442 and 1442 related to the generated keyword as a reply message.
  • the display 110 may be controlled.
  • the images (1441, 1442) related to the obtained keyword may be an image selected by the user in (e) of FIG. 14C, or of images retrieved again in relation to the keyword obtained in (f) of FIG. 14C. It may be a representative image.
  • the user input unit 145 may display the “Girlfriend” image among the images 1441 and 1442. A user input of selecting 1442 may be received.
  • the processor 170 may control the display 110 to display other images related to the selected image 1442 as illustrated in (i) of FIG. 14D.
  • the other images may be images searched again using a keyword related to the selected image 1442, or may be images included in a group of representative images when the selected image 1442 is a representative image.
  • other images related to the selected image 1442 may be newly acquired images by newly obtaining a keyword from the selected image 1442 and using the acquired keyword.
  • Such images may be provided in the form of thumbnails or a list of images, or may be provided in the form of albums and displayed as they slide over time.
  • only a certain number of images may be displayed, and other images may be sequentially displayed according to a user input of selecting a left / right or up / down button.
  • the processor 170 may control the display 110 to display a message that the conversation between the caller and the user displays on the screen. Can be.
  • the processor 170 may control the display 110 to display the message "I want to eat" received from the caller's device.
  • the processor 170 may control the display 110 to display a user interface 1501 for selecting recommendation information to be included in a reply message input by the user.
  • the processor 170 may display the display 110 to display images 1501, 1502, 1503, and 1504 as recommendation information. Can be controlled.
  • the processor 170 may obtain at least one keyword from messages communicated between the sender and the user, and determine images to be recommended using the acquired keyword. For example, the processor 170 may obtain the keywords "what", "eat”, and “want to” from the message of "what I want to eat" of the sender of FIG. 15A (b).
  • a search keyword for searching for an image to be recommended may be generated by using the obtained keyword combination.
  • the processor 170 determines that the caller's intention to call the food, and based on the conversation history between the caller and the user, the user's search history, the image stored in the device 100, new keywords related to the food, etc. Can be generated.
  • the newly generated combination of keywords can be, for example, "roll cake”, “soju” and “meat”, “chicken” and "beer”.
  • the processor 170 may search for images related to the combination of keywords generated from images stored in the device 100 or a server connected to the device 100, and group them. Accordingly, as shown in (b) of FIG. 15A, the processor 170 may control the display 110 to display representative images 1502, 1503, 1504, and 1505 of each image group.
  • the user input unit 145 may receive a user input for selecting one representative image 1502 of the plurality of representative images 1502 to 1505.
  • the processor 170 may acquire the selected representative image 1502 and other images included in the selected representative image 1502, and control the display 110 to display the obtained images. .
  • the processor 170 may display a visual effect such that the images included in the group of the representative image 1502 are searched or collected based on the representative image 1502. ) Can be controlled.
  • the processor 170 may control the display 110 to display the searched images aligned with one region (eg, the top of the screen) 1511.
  • the processor 170 may control the display 110 to arrange and display images not included in the representative image group in another area of the screen (eg, the bottom of the screen) 1512.
  • the user input unit 145 may receive a user input of selecting at least one image 1521, 1522, 1523, and 1524 to be used in the reply message among the searched images. .
  • the processor 170 may control the display 110 to display the selected images 1521-1524 to be highlighted so as to be distinguished from other images.
  • the processor 170 may obtain keywords from the selected images 1521 to 1524 as shown in FIG. 15C (f). For example, the processor 170 may generate keywords by analyzing the selected images 1521-1524. Alternatively, the processor 170 may obtain keywords from metadata, a tag, and a user log of the selected images 1521 to 1524. For example, the processor 170 obtains a food keyword “chicken” from the first image 1521, the second image 1522, and the third image 1523, and “draft beer” from the fourth image 1524. Food keyword may be obtained.
  • the processor 170 may determine a template that can be used as a reply message based on keywords obtained from the plurality of templates. For example, when the attribute of the keywords corresponding to the selected image is food, the processor 170 may determine a template 1531 including a plurality of foods as a template for generating a reply message.
  • the processor 170 displays the reply message in a text form including the keyword and the images 1551 and 1552 related to the generated keyword according to the determined template.
  • the images 1551 and 1552 related to the acquired keyword may be an image selected by the user in FIG. 15C or the images searched again in relation to the keyword obtained in FIG. 15C. It may be a representative image.
  • the user input unit 145 may display the "chicken” image 1552 as one of the images. A user input for selecting can be received.
  • the processor 170 may control the display 110 to display other images related to the selected “chicken” image 1552 as illustrated in (i) of FIG. 15D.
  • the other images may be images searched again by using keywords related to the selected image 1552, or may be images included in a group of representative images when the selected image 1552 is a representative image.
  • the other images may be newly retrieved by using a newly acquired keyword from the selected image 1552.
  • the other images may be provided in the form of thumbnails or a list of images, or may be provided in the form of albums and displayed as they slide over time. Alternatively, only a certain number of images may be displayed, and other images may be sequentially displayed according to a user input of selecting a left / right or up / down button.
  • 16A to 16D are diagrams illustrating screens for providing a reply message for a plurality of devices, according to another exemplary embodiment.
  • the processor 170 may display the first query message 1601 received from the first device of the first sender and the first reply message 1602 of the user in a chat window. 110 can be controlled.
  • the processor 170 displays the display unit such that at least a part of the second question message 1611 is displayed on the screen. 110 may be controlled.
  • the user input unit 145 may receive a user input for inputting tag information 1621 through an input field of a chat window.
  • the processor 170 displays the tag information 1621 in the input field of the chat window as shown in (c) of FIG. 16B, and also identifies information 1622 of the second device. ) May be controlled to display automatically.
  • the identification information 1622 of the second device may be obtained from additional information or header information transmitted with the second question message 1611.
  • the identification information 1622 of the second device may be, for example, an ID, a phone number, or an alias of the second caller.
  • the user input unit 145 inputs a second reply message 1623 to the second question message 1601. Can be received.
  • the processor 170 may display tag information 1621, identification information 1622 of the second device, and the like in an input field of a chat window.
  • the display 110 may be controlled to display the second reply message 1623.
  • the user input unit 145 may directly receive the tag information 1621, the identification information 1622 of the second device, and the second reply message 1623 through the input field of the chat window. There is also. Also in this case, as shown in FIG. 16B (d), the processor 170 displays the tag information 1621, the identification information 1622 of the second device, and the second reply message 1623 in the input field of the chat window.
  • the unit 110 may be controlled.
  • the processor 170 may control the communicator 130 to transmit the created second reply message 1623 to the second device.
  • the processor 170 may control the display 110 to display a reply message 1623 transmitted to the second device on the screen.
  • the processor 170 may divide the area of the chat window into a plurality of areas 1631 and 1632 by color or line, and the second device may be located in one area 1631 of the plurality of areas 1631 and 1632.
  • the transmitted reply message may be displayed, and the display 110 may be controlled to display the reply message transmitted to the first device in another area 1632.
  • the processor 170 may control the display 110 to display a reply message transmitted to the second device in the status bar area of the screen or in an area outside the chat window.
  • 17 is a block diagram illustrating a configuration of a device 100 according to another embodiment of the present disclosure.
  • the configuration of the device 100 includes, for example, a mobile phone, a tablet PC, a PDA, an MP3 player, a kiosk, an electronic picture frame, a navigation device, a digital TV, a smart watch, and a wrist watch.
  • the present invention may be applied to various types of devices such as wear watch, wearable device such as smart glass, head-mounted display (HMD), and the like.
  • HMD head-mounted display
  • the device 100 may include a display 110, a processor 170, a memory 120, a GPS chip 125, a communication unit 130, a video processor 135, an audio processor 140, and a user. It may include at least one of the input unit 145, the microphone unit 150, the imaging unit 155, the speaker unit 160, and the motion detector 165.
  • the display 110 may include a display panel 111 and a controller (not shown) for controlling the display panel 111.
  • the display panel 111 is implemented with various types of displays such as a liquid crystal display (LCD), an organic light emitting diodes (OLED) display, an active-matrix organic light-emitting diode (AM-OLED), a plasma display panel (PDP), and the like. Can be.
  • the display panel 111 may be implemented to be flexible, transparent, or wearable.
  • the display 110 may be combined with the touch panel 147 of the user input unit 145 to be provided as a touch screen (not shown).
  • the touch screen (not shown) may include an integrated module in which the display panel 111 and the touch panel 147 are combined in a stacked structure.
  • the memory 120 may include at least one of an internal memory (not shown) and an external memory (not shown).
  • the built-in memory may be, for example, volatile memory (for example, dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.), nonvolatile memory (for example, one time programmable ROM). ), Programmable ROM (PROM), Eraseable and Programmable ROM (EPROM), Electrically Erasable and Programmable ROM (EEPROM), Mask ROM, Flash ROM, etc.), Hard Disk Drive (HDD) or Solid State Drive (SSD) It may include.
  • the processor 170 may load and process instructions or data received from at least one of the nonvolatile memory or another component in the volatile memory.
  • the processor 170 may store data received or generated from other components in the nonvolatile memory.
  • the external memory may include at least one of Compact Flash (CF), Secure Digital (SD), Micro Secure Digital (Micro-SD), Mini Secure Digital (Mini-SD), Extreme Digital (xD), and a Memory Stick. It may include.
  • the memory 120 may store various programs and data used for the operation of the device 100.
  • the processor 170 may control the display 110 to display the plurality of recommendation information included in the reply message to the question message and a graphic indicating the relationship between the plurality of recommendation information on the display 110.
  • the processor 170 may display a part of the content stored in the memory 120 on the display 110.
  • the processor 170 may perform a control operation corresponding to the user input.
  • the processor 170 may include at least one of a RAM 171, a ROM 172, a CPU 173, a Graphic Processing Unit (GPU) 174, and a bus 175.
  • the RAM 171, the ROM 172, the CPU 173, the GPU 174, and the like may be connected to each other through the bus 175.
  • the CPU 173 accesses the memory 120 and performs booting using an operating system stored in the memory 120. In addition, various operations are performed using various programs, contents, data, and the like stored in the memory 120.
  • the ROM 172 stores a command set for system booting. For example, when the turn-on command is input and the power is supplied, the mobile terminal 100 copies the O / S stored in the memory 120 to the RAM 171 according to the command stored in the ROM 172. You can boot the system by running O / S. When the booting is completed, the CPU 173 copies various programs stored in the memory 120 to the RAM 171 and executes the programs copied to the RAM 171 to perform various operations. When booting of the mobile device 100 is completed, the GPU 174 displays a UI screen in the area of the display 110. In detail, the GPU 174 may generate a screen on which an electronic document including various objects such as content, icons, menus, and the like is displayed.
  • the GPU 174 calculates attribute values such as coordinate values, shapes, sizes, colors, and the like in which each object is to be displayed according to the layout of the screen.
  • the GPU 174 may generate screens of various layouts including objects based on the calculated attribute values.
  • the screen generated by the GPU 174 may be provided to the display 110 and displayed on each area of the display 110.
  • the GPS chip 125 may receive a GPS signal from a global positioning system (GPS) satellite to calculate a current position of the device 100.
  • the processor 170 may calculate the user location using the GPS chip 125 when using a navigation program or when the current location of the user is required.
  • GPS global positioning system
  • the communicator 130 may communicate with various types of external devices according to various types of communication methods.
  • the communication unit 130 may include at least one of a Wi-Fi chip 131, a Bluetooth chip 132, a wireless communication chip 133, and an NFC chip 134.
  • the processor 170 may communicate with various external devices using the communicator 130.
  • the communicator 130 may receive a question message from another device, or may transmit a reply message to the other device.
  • the Wi-Fi chip 131 and the Bluetooth chip 132 may communicate with each other by WiFi or Bluetooth.
  • various connection information such as SSID and session key may be transmitted and received first, and then various communication information may be transmitted and received using the same.
  • the wireless communication chip 133 refers to a chip that performs communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like.
  • the NFC chip 134 refers to a chip operating in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, 2.45 GHz, and the like.
  • NFC near field communication
  • the video processor 135 may process video data included in content received through the communication unit 130 or content stored in the memory 120.
  • the video processor 135 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on the video data.
  • the audio processor 140 may process audio data included in content received through the communication unit 130 or content stored in the memory 120.
  • the audio processor 140 may perform various processing such as decoding, amplification, noise filtering, and the like on the audio data.
  • the processor 170 may drive the video processor 135 and the audio processor 140 to play the content.
  • the speaker unit 160 may output audio data generated by the audio processor 140.
  • the user input unit 145 may receive various commands from the user.
  • the user input unit 145 may include at least one of a key 146, a touch panel 147, and a pen recognition panel 148.
  • the key 146 may include various types of keys, such as mechanical buttons, wheels, and the like, which are formed in various areas such as a front portion, a side portion, a back portion, etc. of the main body exterior of the device 100.
  • the touch panel 147 may detect a user's touch input and output a touch event value corresponding to the detected touch signal.
  • the touch screen may be implemented by various types of touch sensors such as capacitive, pressure sensitive, and piezoelectric.
  • the capacitive type is a method of calculating touch coordinates by detecting fine electricity generated by the human body of a user when a part of the user's body is touched by the touch screen surface by using a dielectric coated on the touch screen surface.
  • the pressure-sensitive type includes two electrode plates embedded in the touch screen, and when the user touches the screen, the touch panel calculates touch coordinates by detecting that the upper and lower plates of the touched point are in contact with current.
  • the touch event occurring in the touch screen may be mainly generated by a human finger, but may also be generated by an object of conductive material that can apply a change in capacitance.
  • the pen recognition panel 148 detects a proximity input or touch input of a pen according to the operation of a user's touch pen (eg, a stylus pen or a digitizer pen) and detects a detected pen proximity event or pen. A touch event can be output.
  • the pen recognition panel 148 may be implemented by, for example, an EMR method and may detect a touch or a proximity input according to a change in the intensity of the electromagnetic field due to the proximity or touch of the pen.
  • the pen recognition panel 148 includes an electromagnetic induction coil sensor (not shown) having a grid structure and an electronic signal processor (not shown) that sequentially provides an AC signal having a predetermined frequency to each loop coil of the electromagnetic induction coil sensor. It may be configured to include).
  • the magnetic field transmitted from the loop coil generates a current based on mutual electromagnetic induction in the resonant circuit in the pen. Based on this current, an induction magnetic field is generated from the coil constituting the resonant circuit in the pen, and the pen recognition panel 148 detects the induction magnetic field in the loop coil in a signal receiving state, so that the pen's approach position or The touch position can be detected.
  • the pen recognition panel 148 may be provided at a lower portion of the display panel 111 to cover a predetermined area, for example, an area of the display panel 111.
  • the microphone unit 150 may convert a user voice or other sound into audio data.
  • the processor 170 may use the user's voice input through the microphone unit 150 in a call operation or convert the user voice into audio data and store it in the memory 120.
  • the imaging unit 155 may capture a still image or a moving image under the control of the user.
  • the imaging unit 155 may be implemented in plurality, such as a front camera and a rear camera.
  • the processor 170 may perform a control operation according to a user voice input through the microphone unit 150 or a user motion recognized by the imaging unit 155. It may be.
  • the device 100 may operate in a motion control mode or a voice control mode.
  • the processor 170 may activate the imaging unit 155 to capture a user, track a user's motion change, and perform a control operation corresponding thereto.
  • the processor 170 may operate in a voice recognition mode that analyzes a user voice input through the microphone unit 150 and performs a control operation according to the analyzed user voice.
  • the motion detector 165 may detect body movement of the device 100.
  • the device 100 may be rotated or tilted in various directions.
  • the motion detector 165 may detect a movement characteristic such as a rotation direction, an angle, and an inclination by using at least one of various sensors such as a geomagnetic sensor, a gyro sensor, an acceleration sensor, and the like.
  • the embodiment may include a USB port to which a USB connector may be connected in the device 100, various external input ports for connecting to various external terminals such as a headset, a mouse, a LAN, and the like.
  • a digital multimedia broadcasting (DMB) chip for receiving and processing signals and various sensors may be further included.
  • DMB digital multimedia broadcasting
  • FIG. 18 is a diagram illustrating a system for controlling an external device using recommendation information according to another exemplary embodiment of the present disclosure.
  • the system 1800 may include a device 100, an external device 1810, and a hub device 1820.
  • the external device 1810 may be, for example, an IoT device.
  • the IoT device may be various kinds of home appliances.
  • the home appliance is, for example, a washing machine 1811, a refrigerator 1812, an air conditioner 1813, a smart TV, a digital video disk (DVD) player, audio, a vacuum cleaner, an oven, a microwave oven, an air purifier, a set top box (set) -top box), home automation control panel Mae Orientation (home automation control panel), security control panels (security control panel), TV box (for example, Samsung HomeSync TM, Apple TV TM, or Google TV TM), game consoles (for example, : Xbox TM, PlayStation TM), may include at least one electronic dictionary, an electronic key, a camcorder (camcorder), or a digital photo frame.
  • the IoT device may be a sensor for detecting a condition in the home.
  • the sensor may be implemented by various sensors such as a motion sensor, a temperature sensor, a humidity sensor, an illumination sensor
  • the hub device 1820 may be a separate device such as a home gateway or a home server, and one of the aforementioned IoT devices may operate as the hub device 1820.
  • the device 100 may select a plurality of recommendation information and a plurality of recommendation information corresponding to the input message. Relationship information indicating a relationship can be obtained.
  • the above-described tree generation module 235 may generate relationship information indicating a relationship between the plurality of recommendation information and the plurality of recommendation information.
  • the tree generation module 235 may be included in the device 100 or may be included in the external device 1810 or the hub device 1820.
  • the recommendation information and the relationship information may be selected and generated based on a usage history or preset information of the external device 1810.
  • the hub device 1820 may receive a message input by a user from the device 100.
  • the hub device 1820 receiving the message may select the recommendation information having a high weight with the external device 1810 by analyzing the input message, and generate relationship information indicating a relationship between the recommendation information.
  • the hub device 1820 may transmit the generated recommendation information and the relationship information to the device 100.
  • the external device 1810 may receive a message input by the user via the hub device 1820 or directly.
  • the external device 1810 may analyze the received message and generate recommendation information and relationship information between each recommendation information.
  • the external device 1810 may transmit the generated recommendation information and the relationship information to the device 100 via the hub device 1820 or directly to the device 100.
  • the device 100 may display a graphic indicating the relationship between the plurality of recommendation information and the plurality of recommendation information. Can be displayed on the screen.
  • the user may select one of the plurality of pieces of recommendation information based on the displayed plurality of pieces of recommendation information and a graphic representing the relationship between the plurality of pieces of recommendation information.
  • the device 100 may transmit a control command related to the selected recommendation information to the external device 1810 via the hub device 1820 or directly to the external device 1810.
  • the external device 1810 may perform an operation according to the received control command.
  • 19 is a use diagram illustrating a method of controlling an external device 1810 using recommendation information according to an embodiment of the present disclosure.
  • a user may select identification information 1911 of an external device 1810 to which a message is to be transmitted for control from among contact lists 1910.
  • the identification information of the external device 1810 may be, for example, identification information of the washing machine 1811.
  • the device 10 may provide a message screen 1920 for displaying or inputting a message related to the external device 1810. Can be.
  • the user may input a message 1921 requesting the status of the external device 1910. For example, the user may enter a message 1921, "Please inform the laundry status.”
  • the device 100 directly transmits a command for requesting the status of the external device 1810 to the external device 1810, or via the hub device 1820, the external device 1810. Can be sent to.
  • the external device 1810 may directly transmit status information to the device 100, or may transmit the status information to the device 100 via the hub device 1820.
  • the state information of the external device 1810 may be, for example, at least one of an operation state of the external device 1810, a state of an object processed by the external device 1810, and a state around the external device 1810.
  • the state information of the external device 1810 may be at least one of a washing amount, a smell of laundry, an amount of detergent injected into the external device 1810, and an amount of fabric softener.
  • the information may be sensed using a camera, an odor sensor or a pressure sensor provided in the washing machine 1811.
  • the device 100 converts the state information of the external device 1810 into the message 1923. Can be displayed on the message screen 1920.
  • the device 100 may display, on the screen, a message "1923" as "washing amount (1 kg), laundry smell (strong), detergent amount (large), and fabric softener amount (small)” as a state of laundry.
  • a message 1923 related to the status information of the external device 1810 is displayed on the message screen 1920, the user may control the external device 1810 based on the status information of the external device 1810. Can be entered. For example, the user may enter a message 1925 "Please give back the washing machine".
  • the device 100 may display a graphic indicating a relationship between the plurality of pieces of recommendation information and the plurality of pieces of recommendation information as shown in FIG. 19C.
  • the graphic may form, for example, a tree structure, a node structure, or a hiraki structure as a graphic connecting a plurality of pieces of recommendation information.
  • the graphic representing the relationship between the plurality of pieces of recommendation information and the plurality of pieces of recommendation information may include information about the type of the washing course, the type of the washing temperature, the type of the number of rinsing cycles, It can be a graphic representing a relationship.
  • the device 100 may select the selected recommendation information 1931.
  • the message "course (standard), washing temperature (40 degrees), rinsing frequency (once)" as a message including the recommendation information of the upper nodes (1937, 1939, 1941) related to the selected recommendation information (1931). Can be generated.
  • the device 100 may display the generated message 1927 on the message input window 1920-1.
  • the device 100 transmits a message 1927 displayed in the message input window 1920-1 to the external device 1810 via the hub device 1820. Or to an external device 1810 directly.
  • transmitting the message 1927 may include converting the message 1927 into a control command that can be interpreted by the external device 1810 and transmitting the message.
  • the device 100 may include a message including recommendation information of the upper nodes 1937, 1939, 1941 associated with the recommendation information 1931 of the lowest node.
  • 1927 may be directly transmitted to the external device 1810 without displaying the message input window 1920-1.
  • a message transmitted to the external device 1810 may be displayed on the message screen 1920.
  • 20 illustrates a method of controlling an external device using recommendation information according to another exemplary embodiment of the present disclosure.
  • FIG. 20A a graphic indicating a relationship between the plurality of pieces of recommendation information and the plurality of pieces of recommendation information may be displayed.
  • the situation of FIG. 20A may be the same as that of FIG. 19B.
  • the user wants to change the recommendation information of one node among the plurality of recommendation information, so that the user can select the recommendation information 2011 of the intermediate node which is desired to be changed among the plurality of recommendation information.
  • the device 100 may display a graphic representing the relationship between the plurality of other recommendation information and the plurality of other recommendation information based on the intermediate node. Can be displayed.
  • the device 100 selects the selected recommendation information (2015).
  • a message containing recommendation information of the upper nodes 2019, 2021, 2011 related to the selected recommendation information 2015 such as "course (drowsiness), mode (calling), washing temperature (60 degrees), rinsing frequency ( 3 times) "can be generated.
  • the device 100 may display the generated message 1923 on the message input window 1920-1.
  • the device 100 receives the message 1923 displayed in the message input window 1920-1 via the hub device 1820, and then the external device 1810. Or to an external device 1810 directly.
  • 21 is a flowchart illustrating a method of providing, by the device 100, recommendation information included in a reply message, according to an embodiment of the present disclosure.
  • the device 100 may receive a question message from another device.
  • the device 100 may display a graphic indicating a relationship between the plurality of recommendation information and the plurality of recommendation information included in the reply message to the received question message.
  • the graphic representing the relationship between the plurality of pieces of recommendation information may represent the relationship between the pieces of recommendation information in a tree structure or a radial structure.
  • the relationship between the plurality of pieces of recommendation information may be connected with weights having attributes such as preference, importance, place, time, or mood.
  • the device 100 may determine whether a user input for selecting at least one recommendation information from among the plurality of recommendation information is received.
  • the device 100 may generate and display a reply message including the selected recommendation information. Then, according to a user input of selecting the send button, a reply message including the selected recommendation information may be transmitted to another device.
  • FIG. 22 is a flowchart of a method of providing, by the device 100, recommendation information that can be included in a reply message, according to another exemplary embodiment.
  • the device 100 may store data registered by the user.
  • the data registered by the user may be, for example, content registered by the user as data to be used for generating a reply message through a data registration menu.
  • the data registered by the user may be data searched, captured, photographed or memorized by the user.
  • the device 100 may receive a question message from another device.
  • the device 100 may display a graphic indicating a relationship between the plurality of recommendation information and the plurality of recommendation information included in the reply message based on the data registered by the user.
  • the device 100 may determine whether a user input for selecting at least one recommendation information from among the plurality of recommendation information is received.
  • the device 100 may generate and display a reply message including the selected recommendation information. Then, according to a user input of selecting the send button, a reply message including the selected recommendation information may be transmitted to another device.
  • FIG. 23 is a flowchart of a method of providing, by the device 100, recommendation information that can be included in a reply message, according to another exemplary embodiment.
  • the device 100 may receive a question message from another device.
  • the device 100 may display a plurality of recommendation images that may be included in the reply message to the received question message.
  • the device 100 may determine whether a user input for selecting at least one recommendation image from among the plurality of recommendation images is received.
  • the device 100 may obtain a keyword from the selected recommendation image and generate and display a reply message including the obtained keyword. In addition, the device 100 may generate and display a reply message including the selected recommendation image. The device 100 may transmit a reply message including the obtained keyword to another device according to a user input of selecting the send button. In addition, the device 100 may transmit a reply message including the selected recommendation image to another device.
  • 24 is a flowchart illustrating a method of providing, by the device 100, recommendation information that can be included in a reply message, according to another exemplary embodiment.
  • the device 100 may receive a question message from the first device.
  • the device 100 may display the received question message in a chat window.
  • the device 100 may receive a question message from the second device.
  • the device 100 may determine whether a user input for inputting tag information is received through an input field of a chat window.
  • the device 100 may display identification information of the second device in an input field of the chat window.
  • the device 100 may determine whether a user input for inputting a reply message is received through an input field of a chat window.
  • the device 100 may display the received reply message in an input field of the chat window.
  • the device 100 may transmit the displayed reply message to the second device according to a user input of selecting the send button.
  • the names of the components of the device 100 described above may vary.
  • the device 100 according to the present disclosure may be configured to include at least one of the above-described components, some components may be omitted or may further include additional other components.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

답신 메시지를 전송하는 디바이스 및 이의 답신 메시지 전송 방법이 제공된다. 상기 디바이스는, 정보를 표시하는 디스플레이부, 다른 디바이스로부터 질문 메시지를 수신하는 통신부, 및 상기 수신된 질문 메시지에 대한 답신 메시지에 포함 가능한 복수 개의 추천 정보들 및 상기 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 상기 디스플레이부를 제어하는 프로세서를 포함한다.

Description

답신 메시지 추천 방법 및 이를 위한 디바이스
본 개시는 수신된 메시지를 분석하고, 분석된 메시지의 내용에 기초하여 답신 메시지를 작성하기 위해 필요한 사용자 인터페이스 또는 추천 답신 메시지를 제공하는 방법 및 이를 위한 디바이스에 관한 것이다.
자연어 처리 기술이 발전함에 따라, 디바이스는 사용자들간에 주고받는 메시지의 의미를 분석할 수 있다. 자연어 처리 기술이란, 인간이 의사 소통을 위해 사용하는 언어를 컴퓨터가 이해할 수 있도록 처리하는 기술 또는 컴퓨터에 의해 처리된 정보를 인간이 의사 소통하는 언어로 표현하는 기술을 의미할 수 있다.
한편, 디바이스가 모바일화, 소형화 됨에 따라, 디바이스를 가지고 다니기는 편리해졌으나, 디바이스에 문자를 입력하기가 점점 어려워지고 있다. 따라서, 메시지가 수신되었을 때, 최소한의 입력으로 수신된 메시지에 적합한 답신 메시지를 전송할 필요가 증가하고 있다.
본 개시는 답신 메시지를 작성하기 위해 필요한 사용자 인터페이스 또는 추천 답신 메시지를 제공하는 다양한 실시 예를 제공하는데 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 실시예에 따른, 답신 메시지를 전송하는 디바이스는, 정보를 표시하는 디스플레이부;다른 디바이스로부터 질문 메시지를 수신하는 통신부; 상기 수신된 질문 메시지에 대한 답신 메시지에 포함 가능한 복수 개의 추천 정보들 및 상기 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 상기 디스플레이부를 제어하는 프로세서; 및 상기 복수 개의 추천 정보들 중 적어도 하나의 추천 정보를 선택하는 사용자 입력을 수신하는 사용자 입력부를 포함하며, 상기 통신부는 상기 사용자 입력에 따라, 상기 선택된 추천 정보를 포함하는 답신 메시지를 상기 다른 디바이스에게 전송할 수 있다.
상기 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽은, 상기 복수 개의 추천 정보들 간의 관계를 트리 구조 또는 방사형 구조로 나타낼 수 있다.
또한, 상기 복수 개의 추천 정보들 간의 관계는, 상기 복수 개의 추천 정보들 간에 선호도, 중요도, 위치, 시간 및 분위기 중 적어도 하나의 속성에 관한 가중치를 가지고 서로 연결될 수 있다.
그리고, 상기 복수 개의 추천 정보들은, 사용자에 의하여 등록된 콘텐트에 기초하여 생성될 수 있다.
또한, 상기 복수 개의 추천 정보들은, 상기 등록된 콘텐트의 태그 정보 및 중요도에 기초하여 생성될 수 있다.
그리고, 상기 복수 개의 추천 정보들은, 사용자에 의하여 검색, 캡쳐, 촬영 또는 메모된 데이터로부터 생성될 수 있다.
또한, 상기 복수의 추천 정보들이 이미지들인 경우, 상기 답신 메시지는 상기 이미지들 중 선택된 적어도 하나의 이미지로부터 획득된 키워드를 포함할 수 있다.
그리고, 상기 복수의 추천 정보들이 이미지들인 경우, 상기 답신 메시지는 상기 이미지들 중 선택된 적어도 하나의 이미지를 포함할 수 있다.
또한, 상기 다른 디바이스로부터 수신된 상기 질문 메시지가 대화창에 표시된 상태에서, 또 다른 디바이스로부터 제2 질문 메시지를 수신하는 경우, 상기 프로세서는, 상기 대화창의 입력 필드에서 태그 정보를 입력하는 사용자 입력에 따라, 상기 또 다른 디바이스의 식별 정보가 상기 대화창의 입력 필드에 자동으로 표시되도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 다른 디바이스로부터 수신된 질문 메시지가 대화창에 표시된 상태에서, 또 다른 디바이스로부터 제2 질문 메시지를 수신하는 경우, 상기 통신부는, 상기 대화창의 입력 필드에서 태그 정보, 상기 또 다른 디바이스의 식별 정보 및 상기 제2 질문 메시지에 대한 제2 답신 메시지를 입력하는 사용자 입력에 따라, 상기 제2 답신 메시지를 상기 또 다른 디바이스에게 전송할 수 있다.
본 개시의 제 2 실시예에 따른, 답신 메시지를 전송하는 디바이스의 답신 메시지 전송 방법은, 다른 디바이스로부터 질문 메시지를 수신하는 단계; 상기 수신된 질문 메시지에 대한 답신 메시지에 포함 가능한 복수 개의 추천 정보들 및 상기 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽을 표시하는 단계; 및 상기 복수 개의 추천 정보들 중 적어도 하나의 추천 정보를 선택하는 사용자 입력에 따라, 상기 선택된 추천 정보를 포함하는 답신 메시지를 상기 다른 디바이스에게 전송하는 단계;를 포함한다.
상술한 바와 같이 본 발명은 다른 디바이스로부터 메시지를 수신함에 따라, 디바이스는 답신 메시지를 입력하기 위해 필요한 사용자 인터페이스를 제공할 수 있다.
도 1a 및 도 1b는, 본 개시의 일 실시 예에 따른, 메시지를 수신하였을 때, 디바이스가 답신 메시지를 입력하기 위해 필요한 정보를 제공하는 방법을 나타내는 도면이다.
도 2는, 본 개시의 일 실시 예에 따른, 디바이스에 대한 블록도를 간략히 도시한 도면이다.
도 3는, 본 개시의 일 실시 예에 따른, 답신 메시지를 생성하는 엔진을 도시한다.
도 4는, 본 개시의 일 실시 예에 따른, 이미지로부터 키워드를 생성하는 과정을 설명하기 위한 도면이다.
도 5a 내지 도 5c는, 본 개시의 일 실시 예에 따른 추천 정보들 및 추천 정보들 간의 관계를 나타내는 도면들이다.
도 6a 및 도 6b는, 본 개시의 일 실시 예에 따른, 답신 메시지를 위한 추천 정보들을 나타내는 도면들이다.
도 7은, 본 개시의 다른 일 실시 예에 따른, 답신 메시지를 위한 추천 정보들을 나타내는 도면들이다.
도 8a 및 도 8b는, 본 개시의 또 다른 일 실시 예에 따른, 답신 메시지를 위한 추천 정보들을 나타내는 도면들이다.
도 9a 및 도 9b는, 본 개시의 일 실시 예에 따른, 추천 정보들 간의 관계를 나타내는 도면들이다.
도 10a 내지 도 10c는, 본 개시의 일 실시 예에 따른, 통신 디바이스 및 웨어러블 디바이스를 이용하여 추천 답신 메시지를 제공하는 방법을 나타내는 흐름도들이다.
도 11a 및 도 11b는, 본 개시의 일 실시 예에 따른, 답신 메시지 생성에 활용할 데이터가 결정되는 것을 나타내는 도면들이다.
도 12a 및 도 13b은, 본 개시의 다른 일 실시 예에 따른, 답신 메시지를 제공하는 과정을 개념적으로 나타내는 도면들이다.
도 14a 내지 도 15d는, 본 개시의 다른 일 실시 예에 따른, 추천 정보로서 이미지를 제공하는 화면을 나타내는 도면들이다.
도 16a 내지 도 16d는, 본 개시의 다른 일 실시 예에 따른, 복수의 디바이스를 대상으로 답신 메시지를 제공하는 화면을 나타내는 도면들이다.
도 17은, 본 개시의 다른 실시 예에 따른 디바이스의 구성을 나타내는 블록도이다.
도 18은 본 개시의 다른 일 실시 예에 따른, 추천 정보를 이용하여 외부 디바이스를 제어하는 시스템을 나타내는 도면이다.
도 19 및 도 20은 본 개시의 일 실시예에 따른, 추천 정보를 이용하여 외부 디바이스를 제어하는 방법을 나타내는 사용도들이다.
도 21 내지 도 24는 본 개시의 일 실시 예에 따른, 디바이스가 답신 메시지에 포함 가능한 추천 정보들을 제공하는 방법을 나타내는 흐름도이다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 디바이스"라는 표현은, 그 디바이스가 다른 디바이스 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 부프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
도 1a 및 도 1b는 본 개시의 일 실시 예에 따른, 메시지를 수신하였을 때, 디바이스(10)가 답신 메시지를 입력하기 위해 필요한 정보를 제공하는 방법을 나타내는 도면이다.
도 1a의 (a)를 참조하면, 다른 디바이스로부터 메시지를 수신함에 따라, 디바이스(10)는 답신 메시지를 입력하기 위해 필요한 사용자 인터페이스를 제공할 수 있다.
예를 들어, "어디서 볼까"라는 메시지를 수신한 경우, 디바이스(10)는 수신된 메시지에 대한 답신 메시지를 디스플레이할 수 있다. 예를 들어, "어디서 볼까"라는 메시지를 수신한 경우, 디바이스(100)는 발신자의 발신 의도가 장소를 묻는 질문인 것으로 분석하고, 답신 메시지의 후보로서, "모르겠어(102)", "글쎄", "왜?" 또는 "아무 곳이나" 등을 추천할 수 있다.
또한, 디바이스(100)는 답신 메시지에 포함될 추천 정보를 제공하기 위한 "추천 정보 보기" 사용자 인터페이스(10)를 제공할 수 있다. 다음으로, 디바이스(100)는 "추천 정보 보기" 사용자 인터페이스(10) 선택하는 사용자 입력을 수신할 수 있다.
사용자 인터페이스(10)를 선택하는 사용자 입력에 따라, 도 1a의 (b)와 같이, 디바이스(100)는 답신 메시지에 포함 가능한 복수 개의 추천 정보들(101,102,103,104,105,106) 및 복수 개의 추천 정보들 간에 관계를 나타내는 그래픽(112,113,114,115,116)을 표시할 수 있다. 그래픽은, 예를 들어, 트리 구조가 될 수 있으며, 트리 구조의 예로는, 노드 구조 또는 하이라키(hierarchy) 구조 등이 있을 수 있다.
다음으로, 복수 개의 추천 정보들(101~106) 중 일 추천 정보로서 "미식회"(105)를 선택하는 사용자 입력에 따라, 도 1b의 (c)와 같이, 디바이스(100)는 선택된 추천 정보(105)를 포함하는 답신 메시지로서, "수요미식회에 나온 강남역 맛집 가보자(11)" 등을 생성할 수 있다. 다른 예로, 디바이스(100)는 선택된 추천 정보(105)의 일부를 포함하는 답신 메시지를 생성할 수도 있다. 예를 들어, "미식회"를 줄임말인 "수요미", "수요미식" 등의 텍스트를 포함하는 답신 메시지를 생성할 수도 있다.
다음으로, 생성된 답신 메시지(11)를 선택하는 사용자 입력에 따라, 도 1b의 (d)와 같이, 디바이스(100)는 생성된 답신 메시지(11)를 메시지 입력 창에 표시할 수 있다.
다음으로, 전송 버튼(30)을 선택하는 사용자 입력에 따라, 디바이스(100)는 메시지 입력 창에 표시된 답신 메시지(11)를 다른 디바이스로 전송할 수 있다.
이와 같이, 추천 정보들뿐만 아니라, 추천 정보들 간의 관계가 그래프로 표시됨에 따라, 답신 메시지를 생성하는 사용자의 가시성 및 검색의 용이성이 향상될 수 있다.
　　　　
도 2는 본 개시의 일 실시 예에 따른, 디바이스(100)에 대한 블록도를 간략히 도시한 도면이다.
도 2에 도시된 바와 같이, 일 실시 예에 따른, 디바이스(100)는 통신부(130), 사용자 입력부(145), 디스플레이부(110) 및 프로세서(170)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 디바이스(100)는 구현될 수 있다.
또한, 도 3에 도시된 엔진(200)은 도 2에 도시된 구성으로 구현될 수 있다. 예를 들어, 도 3에 도시된 엔진(200)은 메모리(미도시)에 저장된 프로그램이 프로세서(170)에서 실행됨으로써 구현될 수 있다.
통신부(130)는 다른 디바이스로부터 메시지를 수신할 수 있다. 또한, 통신부(130)는 답신 메시지를 다른 디바이스에게 전송할 수 있다.
프로세서(170)는 수신된 질문 메시지에 대한 답신 메시지에 포함 가능한 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간에 관계를 결정할 수 있다.
디스플레이부(110)는, 프로세서(170)에서 결정된 질문 메시지에 대한 답신 메시지에 포함될 추천 정보 및 복수 개의 추천 정보들 간에 관계를 표시할 수 있다.
사용자 입력부(145)는 답신 메시지에 포함될 정보를 선택하는 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(145)는 메뉴를 선택하는 사용자 입력을 수신할 수 있다. 이 경우, 메뉴를 선택하는 사용자 입력에 따라, 프로세서(170)는 선택된 메뉴에 대응되는 기능을 실행할 수 있다.
도 3는 본 개시의 일 실시 예에 따른, 답신 메시지를 생성하는 엔진을 도시한다.
디바이스(100)는 답신 메시지를 생성하는 엔진(200)을 포함할 수 있다.
도 3을 참조하면, 답신 메시지를 생성하는 엔진(200)은 수신된 메시지의 발신 의도를 결정하는 메시지 분석 모듈(Message Analyzer, 210), 분석된 발신 의도에 기초하여, 추천 답신 메시지를 생성하는 후보 답변 생성 모듈(Candidate Reply Generator, 230)을 포함할 수 있다.
메시지 분석 모듈(210)은 수신된 메시지의 발신 의도를 결정할 수 있다. 메듈(Morphologic / Syntactic Analyzer, 214) 및 의미 분석 모듈(Semantic Analyzer, 216)을 포함할 수 있다.
노멀라이즈 모듈(212)은 수신된 메시지 내에 포함된 은어 또는 약어를 본래의 표준어로 복원할 수 있다.
노멀라이즈 모듈(212)은 기 결정된 공식에 기초하여 은어 또는 약어를 표준어로 복원할 수 있다. 또한, 노멀라이즈 모듈(212)은 은어 또는 약어가 표준어에 매핑된 사전에 기초하여, 메시지 내에 포함된 은어 또는 약어를 표준어로 복원할 수도 있다. 일 실시 예에 따른 은어 또는 약어가 표준어에 매핑된 사전은 표 1과 같은 형태일 수 있다.
은어/약어 - 표준어 표준어 빈도수
낼 내일 87
~거 ~것 81
걍 그냥 77
웅 응 71
넵 네 53
머 뭐 52
넘 너무 47
마니 많이 42
어케 어떻게 37
금욜 금요일 35
행님 형님 33
넹 네 30
담주 다음주 28
젤 제일 27
담에 다음에 23
꺼 거 22
ㅇㅇ 응 21
엉 응 21
겁나 엄청 20
잇는 있는 20
잇어 있어 20
예를 들어, “앜ㅋㅋㅋㅋㅋㅋㅋ짱우껴”라는 메시지가 수신된 경우, 노멀라이즈 모듈(212)은 "앜" 및 "짱"을 은어로 판단하고, "□"를 감타사 "아"로, "짱"을 감탄사 "진짜"로 변환할 수 있다. 또한, 예를 들어, "길동씨, 있다가 저녁식사는 어디서 볼까요ㅋㅋ"라는 메시지가 수신된 경우, 노멀라이즈 모듈(212)은 "있다가"를 문법에 맞지 않은 단어로 판단하고, "있다가"를 "이따가"로 변환할 수 있다.
또한, 디바이스(100)에는 발신자에 대응하여 사용자가 발신자와 주고 받았던 메시지 내의 단어, 표현법 또는 말투가 저장되어 있을 수 있다. 이에 따라, 노멀라이즈 모듈(212)은 사용자가 발신자와 주고 받았던 메시지 내의 단어, 표현법 또는 말투에 기초하여, 수신된 메시지 내에 포함된 은어 또는 약어를 본래의 표준어로 복원할 수 있다.
또한, 전화번호부의 지인과 과거에 주고받았던 대화 내용이 분석되어, 지인에 따라 사용했던 단어, 말투 또는 표현법이 저장되어 있을 수 있다. 노멀라이즈 모듈(212)은 발신자에 대응하여 저장된 단어, 말투 또는 표현법에 기초하여, 발신자가 보낸 문자 메시지에 포함된 은어 또는 약어를 본래의 표준어로 복원할 수 있다.
형태/구문 분석 모듈(214)은 메시지 내에 포함된 형태소(morpheme)들을 결정하고, 결정된 형태소들의 문장 성분을 결정할 수 있다.
예를 들어, 형태/구문 분석 모듈(214)은 "회의 언능 들어오세요"라는 메시지에 포함된 형태소로써, "회의","얼른", "들어오-", "세요"를 결정할 수 있다. 또한, 형태/구문 분석 모듈(214)은 결정된 형태소의 문장 성분으로써 "회의", "얼른"을 부사어, "들어오-"를 서술어, "세요"를 존칭을 나타내는 존칭어로써 결정할 수 있다.
또한, 형태/구문 분석 모듈(214)은 결정된 문장 성분에 기초하여, 메시지에 포함된 동사, 수신된 메시지의 발신 의도 및 존칭 여부를 결정할 수 있다. 예를 들어, 형태/구문 분석 모듈(214)은 "회의 언능 들어오세요"라는 메시지에 포함된 동사를 "들어오다"로 결정하고, 수신된 메시지의 발신 의도를 들어올 것을 명령하는 의도로써 결정하고, 수신된 메시지가 존칭으로 표현된 메시지임을 결정할 수 있다.
의미 분석 모듈(216)은, 형태/구문 분석 모듈에서 분석된 형태소 및 문장 성분에 기초하여, 개체명, 발신 의도, 존칭 사용 여부, 발신자의 감정을 결정하고, 답변 타입을 결정할 수 있다.
의미 분석 모듈(216)은 개체명 인식 모듈(Named Entity Recognizer, 216a), 발신자 의도 인식 모듈(Intention Recognizer, 216b), 존칭 사용 여부 인식 모듈(Honorific Recognizer, 216c), 발신자 감정 인식 모듈(Emotion Recognizer, 216d) 및 답변 타입 결정 모듈(Reply Type determiner, 216e)를 포함할 수 있다.
개체명 인식 모듈(216a)은 수신된 메시지 내에 포함된 개체명을 인식할 수 있다. 개체명(Named entity)이란 문서에서 나타나는 고유한 의미를 가지는 명사 또는 숫자를 의미할 수 있다. 개체명은 크게 인명, 지명, 기관명과 같은 이름 표현, 날짜나 시간과 같은 시간 표현, 금액이나 퍼센트와 같은 수치 표현 등으로 구분될 수 있다. 개체명 인식(Named entity Recognition)이란, 메시지에 포함된 개체명을 인식하고, 인식된 개체명의 종류를 결정하는 것을 의미할 수 있다.
예를 들어, "길동씨, 이따가 저녁식사는 어디서 볼까요ㅋㅋ"라는 메시지가 수신된 경우, 개체명 인식 모듈(216a)은 "길동", "저녁식사"를 개체명으로써 인식하고, "길동"을 사람의 이름으로써, "저녁식사"를 저녁에 먹는 끼니로써 인식할 수 있다. 예를 들어, 개체명 인식 모듈(216a)은 디바이스(100)에 저장된 연락처에 기초하여, "길동"을 사람의 이름으로써 결정할 수 있으며, 연락처에 "길동"과의 관계가 저장되어 있는 경우, "길동"과 사용자와의 관계를 획득할 수 있다. 또한, 개체명 인식 모듈(216a)은 기 저장된 개체명 사전을 참조하여 "저녁식사"를 저녁에 먹는 끼니로써 인식할 수 있다.
발신자 의도 인식 모듈(216b)은 메시지에 표현된 발신자의 발신 의도를 결정할 수 있다. 발신 의도는, 예를 들어, 인사, 질문, 명령, 요청, 제안, 감정 표현 또는 정보 전달을 포함할 수 있으나 이에 제한되지 않는다.
발신자 의도 인식 모듈(216b)은 분석된 형태소, 개체명, 문장 성분 또는 품사에 기초하여, 메시지의 발신 의도를 결정할 수 있다.
예를 들어, 발신자 의도 인식 모듈(216b)은 메시지가 영어이고, 메시지의 첫 단어가 "Be" 동사나, 동사의 원형인 경우, 수신된 메시지의 발신 의도가 명령인 것으로 결정할 수 있다. 또한, 메시지가 영어이고, 메시지의 첫 단어가 "Would you" 또는 "Please" 등과 같은 부탁을 표현하기 위한 단어가 포함된 경우, 발신자 의도 인식 모듈(216b)은 수신된 메시지의 발신 의도가 요청인 것으로 결정할 수 있다.
또한, 수신된 메시지의 발신 의도가 질문인 경우, 발신자 의도 인식 모듈(216b)은 수신된 메시지의 발신 의도가 yes or no 질문인지, 복수개의 선택 사항 중 적어도 하나를 선택할 것을 요구하는 질문인지, 동의 하는지 여부를 묻는 질문인지 또는 육하원칙(5W1H) 중 하나를 묻는 질문인지 등을 판단할 수 있다. 예를 들어, 수신된 메시지가 "Mr. kildong, where shall we meet for a dinner today?"인 경우, 발신자 의도 인식 모듈(216b)은 메시지 내의 형태소들 중 "where"의 문장 성분 및 의문문을 나타내는 문장 부호 "?"에 기초하여, 육하원칙 중 어디인지를 묻는 질문인 것으로 결정할 수 있다.
발신자 의도 인식 모듈(216b)은 메시지가 나타내는 발신 의도를 표 2와 같이 복수개의 카테고리로 분류할 수 있으며, 각각의 카테고리에 대하여 복수개의 하부 카테고리로 분류할 수 있다.
발신의도
Level1 Level2
greeting meet
farewell　
new year
christmas
morning　
night　
ask after
question location
time
age
price　
count　
person　　
activity　
confirm
reason
simple answer yes_no　
agreement　
command/request/suggest/help　 move　
work
meet　
invite
express emotion irritated
happy
surprised
worried
sad
angry
inform　 location　
time　
age　
price　
count　
person　
activity　
confirm
reason　
thanks to user
to third person
appologies to user
to third person
sympathy condolences　　
congratulations　
compliment
blame to user
to third person
complaint to user
to third person
call to user
to third person
예를 들어, 수신된 메시지의 발신 의도가 질문인 것으로 결정한 경우, 발신자 의도 인식 모듈(216b)은 수신된 메시지가 위치, 시간, 나이, 가격, 횟수, 사람, 활동, 이유 중에서 무엇을 묻는 질문인지를 결정할 수 있다.
존칭 사용 여부 인식 모듈(216c)은 메시지가 존칭으로 표현되었는지를 결정할 수 있다. 예를 들어, 메시지 내의 형태소 중 "please", "~세요", "습니" 등의 존칭을 나타내는 형태소가 포함된 경우, 존칭 사용 여부 인식 모듈(216c)은 수신된 메시지가 존칭으로 표현된 것으로 결정할 수 있다.
발신자 감정 인식 모듈(216d)은 메시지에 표현된 발신자의 감정을 인식할 수 있다. 발신자의 감정은 예를 들어, 행복감, 웃김, 슬픔, 두려움, 놀람 또는 화남 등을 포함할 수 있으나, 이에 제한되지 않는다.
발신자의 감정 인식 모듈(216d)은 메시지에 포함된 감탄사, 비속어 또는 이모티콘에 기초하여, 발신자의 감정을 인식할 수 있다. 예를 들어, 수신된 메시지가, “지각했다ㅡ.ㅡ;"이고, "ㅡ.ㅡ;" 가 언짢은 기분을 나타내는 이모티콘인 경우, 발신자의 감정 인식 모듈(216d)은 발신자의 감정이 언짢은 것으로 결정할 수 있다.
답변 타입 결정 모듈(216e)은 수신된 메시지의 타입을 결정할 수 있다. 예를 들어, 답변 타입 결정 모듈(216e)은 발신자 의도 인식 모듈(216b)에 의해 결정된 메시지의 발신 의도에 기초하여, 메시지의 타입을 결정할 수 있다. 예를 들어, 수신된 메시지의 발신 의도가 yes or no 질문, 명령, 요청 또는 제안인 경우, 답변 타입 결정 모듈(216e)은 메시지의 타입을 예 또는 아니오 중 하나를 선택하는 타입으로 결정할 수 있다. 또한, 수신된 메시지의 발신 의도가 특정 카테고리에 속하는 데이터를 요구하는 질문인 경우, 답변 타입 결정 모듈(216e)은 메시지의 타입을 단답형 타입으로 결정할 수 있다. 특정 카테고리에 속하는 데이터를 요구하는 질문은, 예를 들어, 특정 정보를 요청하는 질문(예를 들어, "해준이 전화번호가 뭐야")을 포함할 수 있으며, 발신자와 사용자가 함께 하고자 하는 일, 시간, 장소, 방법 등을 묻는 질문(예를 들어, "저녁 몇 시에 볼까")을 포함할 수 있다. 또한, 예를 들어, 답변 타입 결정 모듈(216e)은 메시지의 타입을 표 3과 같이 복수개의 카테고리로 분류할 수 있다.
메시지 타입
Level1 Level2 Level3
yes no yes n/a
no n/a
short answer person relationship　
phone number
job
age
location home
office
school
subway
gps value
date/time relative
day of week
hour
number count
date
activity exercising
size
price
age
studying
working
relaxing
cooking
cleaning
traveling
car driving
watching tv
breakfast
lunch
dinner
snack
food bibimbap
bulgogi
spaghetti
risotto
pizza
sushi
ramen
choose one A or B n/a
A or B or C n/a
a plurality of X n/a
custom greeting How _are you
How_are_you _doing
What_are_you_doing
weather Nice_weather
good-bye Have_a_nice_day
Have_a_nice_dinner
Have_a_nice_weekend
Good_night
표 3에 나타난 바와 같이, 메시지 타입은 yes or no 타입, 단답형 타입, 주어진 복수개의 항목 중 하나를 선택하는 타입 등을 포함할 수 있으며, 하나의 메시지 타입은 복수개의 카테고리로 다시 분류될 수 있다. 예를 들어, 단답형 타입의 경우, 메시지 타입은 특정 인물에 대한 답변인지, 특정 위치에 대한 답변인지, 특정 숫자에 대한 답변인지 등으로 분류될 수 있다. 표 3은 답변 타입에 대한 예시일 뿐이며, 발신 의도 각각에 대응하여 답변 타입이 지정되어 있을 수도 있다.
후보 답변 생성 모듈(230)은 사용자에게 제공할 적어도 하나의 추천 답신 메시지를 생성할 수 있다. 후보 답변 생성 모듈(230)은 답변 검색 모듈(Reply Searcher, 232), 답변 문장 생성 모듈(Reply Sentence Generator, 234) 및 코퍼스 데이터베이스(Corpus Database, 236)를 포함할 수 있다.
또한, 코퍼스 데이터베이스(236)에는 발신 의도에 대응하는 답변 의도가 저장되어 있을 수 있다. 예를 들어, 코퍼스 데이터베이스(236)에는 yes or no 질문에 대응하여 긍정, 부정, 모름이 답변 의도로써 저장되어 있을 수 있다. 또한, 예를 들어, 코퍼스 데이터베이스(236)에는 발신자와 사용자가 함께 하고자 하는 일, 시간, 장소, 방법 등을 묻는 질문(HOW_WILL_WE_DO_QUESTION)에 대응하는 답변 의도로써 사용자에 의해 선택된 데이터에 기초한 제안 의도 또는 권유 의도가 저장되어 있을 수 있다.
발신 의도 답변 의도
YES_OR_NO_QUESTION　 ANSWER_POSITIVE
ANSWER_NEGATIVE　
ANSWER_NOT_SURE　
INFORMATION_QUESTION　 ANSWER_XX
ANSER_DO_NOT_KNOW
HOW_WILL_WE_DO_QUESTION　 SUGGEST_XX
LETS_XX　
ANSER_DO_NOT_KNOW
SUGGESTION　 ANSWER_AGREE
ANSWER_DISAGREE
ANSER_DO_NOT_KNOW
congratulations　 ANSWER_THANKYOU
HAVE_A_NICE_WEEDEND　 HAVE_A_NICE_WEEDEND　
또한, 코퍼스 데이터베이스(236)에는 답변 의도에 대응하는 추천 답신 메시지가 저장되어 있을 수 있다. 예를 들어, 표 5를 참조하면, 저녁을 맛있게 먹으라는 답변 의도(HAVE_A_NICE_DINNER)에 대응하여 "저녁 맛있게 먹어", "즐거운 식사시간 되길", "저녁 맛있게 드세요"가 저장되어 있을 수 있다.
답변 의도(Corpus ID) 존칭 여부 추천 답변 메시지(Corpus)
HAVE_A_NICE_DINNER　 비존칭　 저녁 맛있게 먹어.
즐거운 식사시간 되길.
존칭 저녁 맛있게 드세요.
HAVE_A_NICE_WEEDEND　 존칭 주말 잘 보내세요.
행복한 주말 되세요.
비존칭　 주말 잘 보내.
주말 잘 쉬어
ASK_WHO　 비존칭 누구　
누구야　
존칭 누구세요　
ANSWER_LOCATION_XX　 존칭 XX입니다.　
비존칭 XX에 있습니다.
X에 있어
SUGGEST_XX　 존칭 XX 어떠세요
비존칭 XX 괜찮아
답변 검색 모듈(232)은, 수신된 메시지의 발신 의도에 기초하여, 답변 의도를 결정할 수 있다. 예를 들어, 답변 검색 모듈(232)은 코퍼스 데이터베이스(236)로부터 발신 의도에 대응하는 답변 의도를 획득할 수 있다.
답변 검색 모듈(232)은 사용자에 의해 선택된 추천 정보를 답변 의도로써 결정할 수 있다. 예를 들어, 장소를 묻는 단답형 질문을 수신한 경우, 답변 검색 모듈(232)은 선택 가능한 복수 개의 추천 정보를 제공하고, 제공된 복수 개의 추천 정보들 중 사용자에 의해 선택된 추천 정보를 답변 의도로써 결정할 수 있다.
예를 들어, 수신된 메시지가 "Mr. kildong, where shall we meet for a dinner today?"인 경우, 의미 분석 모듈(216)은 수신된 메시지의 발신 의도가 저녁 식사를 위한 장소를 묻는 질문인 것으로 결정할 수 있다. 메시지의 발신 의도가 저녁 식사에 대한 장소를 묻는 질문인 경우, 답변 검색 모듈(232)은 복수 개의 장소 또는 지도를 디스플레이하고, 디스플레이된 복수개의 장소 중 하나를 선택하거나, 지도 상의 하나의 지점을 선택하는 사용자 입력을 수신함에 따라, 선택된 장소에서 만나자는 제안을 답변 의도로써 결정할 수 있다.
적어도 하나의 답변 의도를 결정함에 따라, 답변 검색 모듈(232)은 코퍼스 데이터베이스(236)로부터, 결정된 답변 의도에 대응하는 추천 답신 메시지를 획득할 수 있다. 이 경우, 답변 검색 모듈(232)은 수신된 메시지의 존칭 사용 여부 및 발신자와 사용자와의 관계에 기초하여, 답신 메시지에 존칭을 사용할 것인지를 결정하고, 존칭을 사용할 것인지에 따라, 다른 추천 정보를 획득할 수 있다.
답변 문장 생성 모듈(234)은 획득된 추천 정보를 이용하여 사용자가 발신자와 주고 받았던 메시지 내의 단어, 표현법 또는 말투로 변경할 수 있다. 디바이스(100)에는 발신자에 대응하여 사용자와 발신자가 주고 받았던 메시지 내의 단어, 표현법 또는 말투가 저장되어 있을 수 있다. 이에 따라, 답변 문장 생성 모듈(234)은, 답변 의도에 대응하는 적어도 하나의 메시지를 획득하고, 획득된 메시지 내의 단어, 표현법 또는 말투를 발신자에 대응하는 단어, 표현법 또는 말투로 변경할 수 있다.
예를 들어, 평소 사용자가 발신자와 주소 받는 메시지의 문장의 어미에 "ㅇ"를 붙이는 습관이 있고, 획득된 추천 답신 메시지가 "가로수길 어때요"인 경우, 답변 문장 생성 모듈(234)은 "가로수길 어때요"를 "가로수길 어때용?"으로 수정할 수 있다.
또한, 디바이스(100)에는 지인에 따라 과거에 주고받았던 대화 내용이 분석되어, 지인에 따라 사용했던 단어, 말투 또는 표현법이 저장되어 있을 수 있다. 답변 문장 생성 모듈(234)은 발신자에 대응하여 저장된 단어, 말투 또는 표현법에 따라, 추천 답신 메시지를 생성할 수 있다.
이에 따라, 디바이스(100)는 발신자와의 친밀도가 반영된 답신 메시지를 자동으로 생성할 수 있다.
트리 생성 모듈(Tree generation module)(235)은 획득된 데이터를 이용하여 복수 개의 추천 정보들을 결정하고, 복수 개의 추천 정보들 간의 관계를 생성할 수 있다. 예를 들어, 트리 생성 모듈(235)은 복수 개의 추천 정보들 간의 관계를 나타내는 트리 구조를 사용자에게 제공하고, 복수 개의 추천 정보들 중 사용자에 의해 선택된 적어도 하나의 추천 정보를 답변 검색 모듈(232)로 전송할 수 있다. 답변 검색 모듈(232)은 트리 생성 모듈(235)로부터 획득된 적어도 하나의 추천 정보를 답변 의도로써 결정할 수 있다. 이 경우, 트리 구조는, 추천 정보들의 중요도, 사용 빈도, 단어들 간 유사도에 따라 나열되거나 그룹핑되어 표시될 수 있다.
트리 생성 모듈(235)은 추천 정보들을 생성하는데 필요한 데이터를 수집할 수 있다. 예를 들어, 트리 생성 모듈(235)은 코퍼스 데이터베이스(236)로부터 데이터를 수집할 수 있다. 또한, 트리 생성 모듈(235)은 컨텍스트 프레임워크(Context Framework, 300)로부터 사용자의 컨텍스트를 획득할 수 있다. 또한, 트리 생성 모듈(235)은, 카메라, 이미지를 저장한 어플리케이션, 메모 어플리케이션, 웹 페이징 어플리케이션, 메시지 어플리케이션 등에서 데이터를 수집할 수 있다.
또는, 트리 생성 모듈(235)은 복수 개의 추천 정보들을 생성하는데 필요한 데이터로서, 사용자가 등록한 데이터를 이용할 수도 있다. 예를 들어, 사용자는 데이터 등록 모드(또는, 자동 생각 모드(auto thinking mode))를 실행할 수 있다. 데이터 등록 모드를 실행한 상태에서, 사용자가 검색한 데이터, 캡쳐한 데이터, 메모한 데이터 또는 촬영한 데이터들은 높은 우선 순위를 가지고 추천 정보들을 생성하는데 필요한 데이터로 결정될 수 있다. 또는, 콘텐트가 제공 중인 상태에서, 사용자는 데이트 등록 메뉴를 선택하여, 제공 중인 콘텐트를 추천 정보를 생성하는데 필요한 데이터로 등록할 수도 있다. 이 경우, 사용자는 콘텐트에 대한 태그 및 중요도를 함께 등록할 수 있다. 데이터 등록 모드를 통하여 사용자가 추천 정보에 이용할 데이터를 결정하는 예는, 도 11a 및 도 11b에서 상세히 후술될 예정이다.
트리 생성 모듈(235)은 수집된 데이터에 기초하여 키워드들을 생성할 수 있다. 예를 들어, 트리 생성 모듈(235)은 콘텐트, 링크 정보 등으로부터 텍스트를 추출하여 키워드를 생성할 수 있다. 또, 트리 생성 모듈(235)은 콘텐트의 메타 데이터, 사용자가 입력한 콘텐트의 태그 또는 중요도를 이용하여 키워드를 생성할 수 있다. 또는, 콘텐트가 이미지 또는 동영상인 경우, 트리 생성 모듈(235)은 이미지 또는 동영상을 분석하여 키워드를 생성할 수도 있다. 예를 들어, 도 4의 이미지(401)로부터 트리 생성 모듈(235)은 "치킨", "홍대", "아웃닭", "감자튀김", "맛집", "양념치킨", "맥주', "치맥" 등의 키워드를 생성할 수 있다.
트리 생성 모듈(235)은 생성된 키워드를 분류할 수 있다. 복수의 키워드들은 대표 키워드의 그룹에 포함될 수 있다. 예를 들어, "양념치킨", "아웃닭", "치킨" 은 "치킨"이라는 대표 키워드 그룹으로 분류될 수 있다.
트리 생성 모듈(235)은 키워드 및 대표 키워드를 답변 의도에 대응하는 추천 정보들로 결정하고, 이를 트리 구조로 사용자에게 제공할 수 있다. 예를 들어, 각 추천 정보들은, 각 노드들에 대응되어 서로 간의 관계를 가지고 노드 구조로 제공될 수 있다.
도 5a 내지 도 5c는, 본 개시의 일 실시 예에 따른 추천 정보들 및 추천 정보들 간의 관계를 나타내는 도면들이다.
도 5a를 참조하면, 트리 생성 모듈(235)은 목적(event), 및 목적을 위하여 필요한 구체적 사물 또는 조건에 따라 추천 정보들을 분류하고, 각 추천 정보들 간에 관계를 정의할 수 있다. 예를 들어, 추천 정보들은 목적에 따라, "데이트", "가족", "여행지"로 분류될 수 있다. 이 경우, "데이트" 와 관계를 가지는 추천 정보는, 예로, "영화", "운동", "맛집" 이 있을 수 있다. "맛집"은 "강남" 또는 "격식을 차린" 등과 같은 다른 추천 정보들과 관계를 가질 수 있다. 또한, 다른 추천 정보들은 객체들은 계속하여 또 다른 추천 정보들과 관계를 가질 수 있다. 예를 들어, "강남"은 다시 "미식회 맛집"과 관계를 가질 수 있다.
이 때, 각 추천 정보들 간의 관계는 선호도, 중요도, 위치, 시간 및 분위기 중 적어도 하나와 같은 다양한 속성에 관한 가중치를 가지고 연결될 수 있다. 예를 들어, "데이트"와 연결된 "영화", "맛집A", "여행" 간에는 선호 가중치(예로, good for(w))를 가지는 관계로 연결될 수 있다. 또한, "맛집A"와 연결된 "강남" 간에는 위치 가중치(예로, located in(w))를 가지는 관계로 연결될 수 있다. 또한, "맛집A"와 연결된 "격식을 차린" 간에는 동등/포함 관계를 가지는 가중치(예로, is a(w))로 연결될 수 있다. 또한, "강남"과 연결된 "미식회 맛집" 간에는 위치 가중치 및 동등/포함 관계를 모두 가지는 가중치로 연결될 수도 있다.
한편, 추천 정보들은 카테고리 별로 그룹핑 되어 추천 정보들을 대표하는 대표 추천 정보가 트리 구조의 노드로서 정의될 수도 있다. 예를 들어, 대표 추천 정보에는, "맛집A", "맛집B", "맛집C"를 대표하는 "맛집" 이 될 수 있으며, 또한, "영화", "스포츠", "여행"과 같이 특정 분야를 대표하는 키워드가 있을 수 있다.
트리 생성 모듈(235)은 수신된 메시지의 발신 의도에 기초하여, 발신자와 높은 가중치로 관계를 가지는 추천 정보들을 결정할 수 있다.
예를 들어, 도 5b에서, 발신자가 "사람B"인 경우, 트리 생성 모듈(235)은 "사람B"와 높은 가중치로 관계를 가지는 추천 정보로서 "데이트" 를 획득할 수 있다. 다시, 트리 생성 모듈(235)은 "데이트"와 높은 가중치로 관계를 가지는 추천 정보로서 "맛집A"를 획득하고, "맛집A"와 높은 가중치로 관계를 가지는 추천 정보로서 "강남"을 획득할 수 있다.
이에 따라, 도 5c와 같이, "사람B"의 발신 의도에 기초한 추천 정보들이 트리 구조의 형태로 사용자에게 제공될 수 있다.　 예를 들어, 추천 정보들 및 추천 정보들 간의 관계는 도 5c와 같이 노드 및 노드 간을 연결하는 화살표로 나타날 수 있으나, 이제 제한되지 않고 다양한 형태로 나타날 수 있다.
추천 정보들 및 추천 정보들 간의 관계에 기초하여, 사용자가 적어도 하나의 추천 정보를 결정하면, 트리 생성 모듈(235)은 결정된 추천 정보를 답변 검색 모듈(232)로 전송할 수 있다. 답변 검색 모듈(232)은 수신된 추천 정보들을 답변 의도로써 결정할 수 있다.
다시 도 3에 대해 설명하면, 디바이스(100)는 컨텍스트 프레임워크(Context Framework, 300)을 포함할 수 있다.
컨텍스트 프레임워크(300)는 특정 시간의 사용자의 컨텍스트를 획득할 수 있다. 사용자의 컨텍스트는 예를 들어, 시간, 요일, 날짜, 사용자의 일정, 사용자가 위치한 장소, 사용자의 활동을 포함할 수 있으나, 이에 제한 되지 않는다. 예를 들어, 컨텍스트 프레임워크(300)는 디바이스(100)에 저장된 사용자의 일정 정보에 기초하여 특정 시간에서의 사용자의 일정 정보를 획득할 수 있다. 또한, 컨텍스트 프레임워크(300)는 디바이스(100)에 구비된 위치 센서(예를 들어, GPS)를 이용하여 사용자가 위치한 장소를 획득할 수 있다. 또한, 컨텍스트 프레임워크(300)는 디바이스(100)에 구비된, 카메라, 자세 센서 또는 움직임 센서 등을 이용하여 사용자의 활동을 검출할 수도 있다.
후보 답변 생성 모듈(230)은, 수신된 메시지의 발신 의도 및 컨텍스트 프레임워크(300)를 통해 획득한 사용자의 컨텍스트에 기초하여, 추천 답신 메시지를 결정할 수 있다.
예를 들어, 답변 검색 모듈(232)은 컨텍스트 프레임워크(300)로부터 사용자의 컨텍스트를 획득할 수 있다. 답변 검색 모듈(232)은 발신 의도뿐만 획득된 사용자의 컨텍스트에 기초하여, 추천 답신 메시지를 결정할 수 있다.
코퍼스 데이터베이스(236)에는 발신 의도 및 컨텍스트에 대응하여 답변 의도가 저장되어 있을 수 있다. 예를 들어, 표 6에 도시된 바와 같이, 발신 의도 및 컨텍스트에 대응하여 적어도 하나의 답변 의도가 저장되어 있을 수 있다.
수신된 메시지의 형태 컨텍스트 답변 의도
발신　의도(lv1)　 발신의도(lv2)　 메세지타입　(lv1)　 메시지　타입　(lv2)　 존칭　여부　 시간 요일　 Contact등록여부　　
Greeting　 Night custom　 Good_night　 존칭 저녁 월요일　 등록됨 HAVE_A_NICE_DINNER　
Greeting　 Night custom　 Good_night　 비존칭 저녁 금요일　 등록됨 HAVE_A_NICE_WEEDEND　
Greeting　 Night custom　 Good_night　 비존칭 저녁 화요일 등록안됨　 ASK_WHOHAVE_A_NICE_DINNER　
Question　 Location　 Short Answer Location 존칭 오전오후 수요일 등록됨 ANSWER_LOCATION_OFFICE　ANSWER_LOCATION_HOME
Question　 Location　 Short Answer Location 비존칭 밤　 목요일 등록됨 ANSWER_LOCATION_HOMEANSWER_LOCATION_OFFICE　
이에 따라, 답변 검색 모듈(232)은 발신 의도 및 컨텍스트에 대응하는 답변 의도를 획득할 수 있다.
예를 들어, 밤에 "좋은 저녁 보내~"라는 메시지를 수신한 경우, 답변 검색 모듈(232)은 "좋은 저녁 보내~"라는 메시지가 수신되었을 때의 시간, 요일, 발신자의 연락처가 디바이스(100)에 저장되어 있는지 여부를 결정할 수 있다. 답변 검색 모듈(232)은 "좋은 저녁 보내~"의 발신 의도를 밤에 하는 인사로써 결정할 수 있으며, 메시지가 수신된 시간은 저녁, 요일은 수요일이고, 발신자의 연락처는 디바이스(100)에 저장되어 있는 것으로 결정할 수 있다. 이에 따라, 답변 검색 모듈(232)은 코퍼스 데이터베이스(236)로부터 발신 의도가 밤에 하는 인사이고, 컨텍스트가 저녁 시간, 수요일, 발신자의 연락처가 디바이스(100)에 저장된 상태인 경우에 대응하여 저녁을 맛있게 먹으라는 답변 의도(HAVE_A_NICE_DINNER)를 획득할 수 있다.
이에 따라, 디바이스(100)는 동일한 메시지를 수신하더라도 사용자의 컨텍스트에 따라, 다른 추천 답신 메시지를 제공할 수 있다.
또한, 코퍼스 데이터베이스(236)에는 발신 의도 및 컨텍스트 뿐만 아니라, 존칭을 사용할지 여부 또는 발신자의 연락처가 디바이스(100)에 저장되어 있는지 여부에 따라 다른 추천 답신 메시지가 저장되어 있을 수 있다.
답변 검색 모듈(232)은 발신자의 전화번호가 디바이스(100)에 저장되어 있는지 여부 및 발신자의 전화번호에 대응하여 저장된 이름에 기초하여, 발신자와 사용자와의 관계를 결정할 수 있다. 예를 들어, 디바이스(100)에 저장된, 발신자의 전화번호에 대응하는 이름이 "엄마" 또는 "어머니"인 경우, 답변 검색 모듈(232)은 발신자가 사용자의 어머니인 것으로 결정할 수 있다. 또한, 답변 검색 모듈(232)은 발신자의 전화번호가 속하는 연락처 그룹에 기초하여, 발신자와 사용자와의 관계를 결정할 수도 있다. 연락처 그룹은 예를 들어, 가족, 회사, 학교, 동호회 등을 포함할 수 있다.
답변 검색 모듈(232)은 발신자와 사용자와의 관계에 기초하여, 답신 메시지에 존칭을 사용할 지 여부를 결정할 수 있다. 이에 따라, 답변 검색 모듈(232)은 발신 의도 및 사용자의 컨텍스트뿐만 아니라, 발신자와 사용자와의 관계에 기초하여, 추천 답신 메시지를 결정할 수도 있다.
예를 들어, 디바이스(100)는 사용자의 어머니로부터 2015년 3월 30일 오전 9시 30분에 "지금 뭐해"라는 메시지를 수신할 수 있다. 이 경우, 답변 검색 모듈은 존칭으로 표현된 "왜요", "일하는 중이요", "지금 좀 바빠요", "무슨 일 있어요?" 및 "모르겠어요"를 추천 답신 메시지로써 결정할 수 있다.
반면, 사용자의 소개팅 남자로부터 동일한 시간에 동일한 메시지를 수신하는 경우, 답변 검색 모듈은 "왜?", "일해", "바빠", "무슨 일이야", "모르겠어"를 추천 답신 메시지로써 결정할 수 있다.
도 6a 및 도 6b는 본 개시의 일 실시 예에 따른, 답신 메시지를 위한 추천 정보들을 나타내는 도면들이다.
도 6a의 (a)를 참조하면, 디바이스(100)는 웨어러블 와치일 수 있다. 이 경우, 통신부(130)는 "어디서 볼까?"라는 메시지를 수신할 수 있다. 수신된 메시지에 응답하여, 사용자 입력부(145)는 확인 버튼(601)을 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력을 수신함에 따라, 프로세서(170)는 도 6a의 (b-1) 또는 도 6a의 (b-2)와 같이, 답신 메시지를 결정하기 위한 복수의 사용자 인터페이스들(602,603,604)이 표시되도록 디스플레이부(110)를 제어할 수 있다.
일 실시 예로, 도 6a의 (b-1)와 같이, 프로세서(170)는 화면의 영역을 중심 영역과 바깥 영역을 포함하는 복수의 영역으로 분할하고, 분할된 영역 중 중심 영역에 수신된 메시지가 표시되고, 바깥 영역에 복수의 사용자 인터페이스들(602,603,604)이 표시되도록 디스플레이부(110)를 제어할 수 있다.
이 경우, 프로세서(170)는 메시지에 대한 추천 답신 메시지로서 "글쎄" 문구를 포함하는 사용자 인터페이스(602)가 표시되도록 디스플레이부(110)를 제어할 수 있다.
또한, 프로세서(170)는 메시지의 발신 의도가 장소를 묻는 질문인 경우, 사용자가 장소를 선택하기 위한 사용자 인터페이스(603)가 표시되도록 디스플레이부(110)를 제어할 수 있다.
또한, 프로세서(170)는 추천 정보를 보기 위한 사용자 인터페이스(604)가 표시되도록 디스플레이부(110)를 제어할 수 있다.
디바이스(100)는 베젤 영역에 휠이 장착된 디바이스(100)일 수 있다. 이 경우, 프로세서(170)는 사용자에 의해 선택된 사용자 인터페이스를 다른 사용자 인터페이스와 구별되어 표시되도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 프로세서(170)는 선택된 사용자 인터페이스가 표시된 영역이 다른 영역과 구별되는 색 또는 무늬를 가지도록 디스플레이부(110)를 제어할 수 있다.
디바이스(100)의 휠을 돌리는 사용자 입력이 수신됨에 따라, 프로세서(170)는 돌리는 방향에 의하여 차례대로 사용자 인터페이스들(602,603,604)을 선택할 수 있다. 또한, 기준 각도 이상으로 휠을 돌리는 사용자 입력을 수신함에 따라, 프로세서(170)는 표시된 사용자 인터페이스를 삭제하고, 새로운 사용자 인터페이스가 표시되도록 디스플레이부(110)를 제어할 수 있다.
다른 실시 예로, 도 6a의 (b-2)와 같이, 프로세서(170)는 화면이 선 또는 색을 기준으로 복수의 영역들로 분할되고, 복수의 영역들 중 윗 영역 상에 수신된 메시지가 표시되고, 아래 영역 상에 복수의 사용자 인터페이스들(602,603,604)이 표시되도록 디스플레이부(110)를 제어할 수 있다.
디바이스(100)의 휠을 돌리는 사용자 입력이 수신됨에 따라, 프로세서(170)는 돌리는 방향에 의하여 차례대로 사용자 인터페이스들(602,603,604)을 선택할 수 있다. 또한, 기준 각도 이상 휠을 돌리는 사용자 입력을 수신함에 따라, 프로세서(170)는 표시된 사용자 인터페이스를 삭제하고, 새로운 사용자 인터페이스가 스크롤링되면서 표시되도록 디스플레이부(110)를 제어할 수 있다.
도 6a의 (b-1) 또는 도 6a의 (b-2)에서 사용자 입력부(145)는 추천 정보를 보기 위한 사용자 인터페이스(604)를 선택하는 사용자 입력을 수신할 수 있다.
도 6a의 (b-1) 또는 도 6a의 (b-2)에서, 추천 정보를 보기 위한 사용자 인터페이스(604)를 선택하는 사용자 입력에 따라, 도 6b의 (c)와 같이, 프로세서(170)는 추천 정보들 및 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 추천 정보들은 노드에 포함되어 나타나고, 추천 정보들 간의 관계는 노드 간을 연결하는 화살표로 표시될 수 있다. 구체적으로, 발신 메시지가 "어디서 볼까?"인 경우, 프로세서(170)는 발신 메시지의 발신 의도에 기초한 추천 정보들을 생성할 수 있다. 추천 정보들은 "발신자", "데이트", "맛집", "과거방문", "홍대", "치킨" 또는 "냉면"의 순서대로 연결될 수 있다. 사용자는 추천 정보들로부터 일 추천 정보를 선택할 수 있다. 도 6b의 (c)에서, 사용자 입력부(145)는 "치킨"(611)을 선택하는 사용자 입력을 수신할 수 있다.
사용자의 입력이 수신됨에 따라, 도 6b의 (d)와 같이, 프로세서(170)는 추천 정보를 포함하는 답신 메시지를 생성하고, 생성된 답신 메시지가 표시되도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 프로세서(170)는 "치킨"이라는 추천 정보를 이용하여, "치킨 먹을래?"라는 발신 메시지를 생성할 수 있다.　 프로세서(170)는 사용자가 선택한 추천 정보뿐만 아니라 추천 정보와 연결된 다른 추천 정보들을 이용하여 답신 메시지를 생성할 수 있다. 예를 들어, 도 3의 엔진(200)의 각 모듈들의 동작을 통하여 발신 의도에 부합하는 답신 의도를 갖는 다양한 형태의 답신 메시지가 생성될 수 있다.
한편, 도시되지는 않았으나, 추천 정보를 이용한 다양한 형태의 복수의 답신 메시지들이 생성되어 표시될 수도 있다. 이 경우, 복수의 답신 메시지들 중 일 답신 메시지를 선택하는 사용자 입력에 따라, 프로세서(170)는 선택된 답신 메시지를 발신자에게 전송할 메시지로 결정할 수 있다.
도 7은, 본 개시의 다른 일 실시 예에 따른, 답신 메시지를 위한 추천 정보들을 나타내는 도면들이다.
도 6a의 (b-1) 또는 도 6a의 (b-2)에서, 추천 정보를 보기 위한 사용자 인터페이스(604)를 선택하는 사용자 입력에 따라, 도 7의 (a)와 같이, 프로세서(170)는 추천 정보들 및 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 사용자 입력부(145)는 복수 개의 추천 정보로서, "미식회(711)" 및 "치킨(611)"을 함께 선택하는 사용자 입력을 수신할 수 있다. 복수 개의 추천 정보들을 선택하는 사용자 입력은 순차적으로 수행될 수도 있으며, 또는 멀티 터치 제스처 등을 이용하여 동시 또는 일정 시간(예로, 1초 이내)에 수행될 수도 있다.
사용자 입력에 따라, 도 7의 (b)와 같이, 프로세서(170)는 복수 개의 추천 정보들을 포함하는 답신 메시지를 생성하고, 생성된 답신 메시지가 표시되도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 프로세서(170)는 "치킨"(611) 및 "미식회"(711)라는 추천 정보들을 이용하여, "미식회에 나온 치킨집 갈래"라는 발신 메시지를 생성할 수 있다. 이 경우, 프로세서(170)는 사용자가 선택한 추천 정보들뿐만 아니라 추천 정보들과 연결된 다른 추천 정보들을 이용하여 답신 메시지를 생성할 수 도 있다. 예를 들어, 도 3의 엔진(200)의 각 모듈들의 동작을 통하여 발신 의도에 부합하는 답신 의도를 갖는 다양한 형태의 답신 메시지가 생성될 수 있다.
한편, 도시되지는 않았으나, 복수 개의 추천 정보들을 이용한 다양한 형태의 복수의 답신 메시지들이 생성되어 표시될 수도 있다. 이 경우, 복수의 답신 메시지들 중 일 답신 메시지를 선택하는 사용자 입력에 따라, 프로세서(170)는 선택된 답신 메시지를 발신자에게 전송할 메시지로 결정할 수 있다.
도 8a 및 도 8b는, 본 개시의 또 다른 일 실시 예에 따른, 답신 메시지를 위한 추천 정보들을 나타내는 도면들이다.
도 6a의 (b-1) 또는 도 6a의 (b-2)에서, 추천 정보 보기를 위한 사용자 인터페이스(604)를 선택하는 사용자 입력에 따라, 도 8a의 (a)와 같이, 프로세서(170)는 추천 정보들 및 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 사용자 입력부(145)는 "데이트(801)"를 선택하는 사용자 입력을 수신할 수 있다. 이 때, 사용자 입력은 "데이트(801)"와 연결된 다른 추천 정보를 표시하기 위한 것일 수 있다. 이에 따라, "데이트(801)"를 추천 정보로 결정하는 사용자 입력과 "데이트"(801)와 연결된 다른 추천 정보들을 표시하기 위한 사용자 입력은 서로 구분될 수 있다. 예를 들어, "데이트(801)"를 추천 정보로 결정하는 사용자 입력은 탭 제스처이고, "데이트(801)"와 연결된 다른 추천 정보들을 표시하기 위한 사용자 입력은 터치 앤 홀드 제스처가 될 수 있다.
사용자 입력에 따라, 도 8a의 (b)와 같이, 프로세서(170)는 "데이트"(801)를 기준으로 하여 "데이트(801)"와 연결된 제1 추천 정보들 및 제1 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 경우, "데이트(801)"를 기준으로 하는 또 다른 추천 정보들이 존재하는 경우, 프로세서(170)는 또 다른 추천 정보들을 표시하기 위한 사용자 인터페이스(811)가 표시되도록 디스플레이부(110)를 제어할 수 있다. 다음으로, 프로세서(170)는 사용자 인터페이스(811)를 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력에 따라, 도 8b의 (c)와 같이, 프로세서(170)는 "데이트(801)"를 기준으로 하여 "데이트(801)"와 연결된 제2 추천 정보들 및 제2 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 사용자 입력부(145)는 제2 추천 정보들 중 일 추천 정보로서, "자전거(821)"를 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력에 따라, 프로세서(170)는 "자전거(821)"를 포함하는 답신 메시지를 생성하고, 생성된 답신 메시지가 표시되도록 디스플레이부(110)를 제어할 수 있다.
한편, 도 8b의 (c)에서 사용자 인터페이스(812)를 선택하는 사용자 입력에 따라, 프로세서(170)는 또 다른 "데이트(801)"를 기준으로 하는 추천 정보들 및 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 디스플레이부(110)를 제어할 수 있다. 또는, 더 이상 "데이트(801)"를 기준으로 하는 추천 정보들이 존재하지 않는 경우, 프로세서(170)는 다시 도 8a의 (b)의 화면으로 화면이 순환되어 표시되도록 디스플레이부(110)를 제어할 수 있다.
도 9a 및 도 9b는, 본 개시의 일 실시 예에 따른, 추천 정보들 간의 관계를 나타내는 도면들이다.
추천 정보들 및 추천 정보들 간의 관계는 다양한 형태로 표시될 수 있다. 예를 들어, 추천 정보들 및 추천 정보들 간의 관계는 전술한 바와 같이 노드 및 화살표를 포함하는 트리 구조의 형태로 표시될 수 있다. 또는, 이것들은 도 9a의 (a) 및 (b)와 같이, 일 추천 정보를 중심으로 일 추천 정보에 연결된 다른 추천 정보들이 방사형의 형태로 표시될 수도 있다. 이 때, 추천 정보들 간의 관계는 도 9a의 (a)와 같이 화살표 또는 선으로 나타날 수 있으나, 또는 도 9a의 (b)와 같이, 화살표 또는 선이 없이 추천 정보들이 표시되는 위치로 추천 정보들 간의 관계가 나타날 수도 있다. 예를 들어, 도 9ab의 (b)에서 일 추천 정보에 인접한 추천 정보들은 상기 일 추천 정보와 관계를 가지는 추천 정보들로 간주될 수 있다.
또는, 추천 정보들 및 추천 정보들 간의 관계는, 도 9b의 (c)와 같이, 분할된 영역의 위치를 기준으로 정의될 수 있다. 예를 들어, 화면이 복수의 구역으로 분할된 경우, 화면의 중심에 가까울수록 기준이 되고, 다수의 추천 정보들과 관계를 가지는 추천 정보가 표시될 수 있다. 그리고, 화면의 바깥 영역으로 갈수록 화면의 중심에 위치한 추천 정보로부터 분기된 또 다른 추천 정보들이 표시될 수 있다.
도 10a 내지 도 10c는 본 개시의 일 실시 예에 따른, 통신 디바이스(100a) 및 웨어러블 디바이스(100b)를 이용하여 수신된 메시지에 대한 추천 답신 메시지를 제공하는 방법을 나타내는 흐름도이다.
통신 디바이스(100a) 및 웨어러블 디바이스(100b)는 도 2의 엔진(200) 내의 적어도 하나의 구성을 포함할 수 있다. 예를 들어, 도 2의 엔진(200) 내의 구성들이 통신 디바이스(100a) 및 웨어러블 디바이스(100b)로 나뉘어질 수 있다. 웨어러블 디바이스(100b)는 통신 디바이스(100a)의 외부에 위치한 디바이스로서, 예를 들어, 사용자의 신체 일부에 부착되어 사용되는 디바이스(100)를 의미할 수 있다. 웨어러블 디바이스(100b)는 근거리 무선 통신뿐만 아니라, 원거리 무선 통신을 할 수 있다. 통신 디바이스(100a)와 웨어러블 디바이스(100b)는 근거리 무선 통신 연결이 설정되어 있을 수 있다. 예를 들어, 통신 디바이스(100a)와 웨어러블 디바이스(100b)는 블루투스 페어링되어 있을 수 있다. 이에 따라, 웨어러블 디바이스(100b)가 통신 디바이스(100a)와 기준 거리 내에 위치하는 경우, 통신 디바이스(100a)와 웨어러블 디바이스(100b)간에 근거리 무선 통신 연결이 자동으로 설정될 수 있다.
일 실시 예로, 도 10a의 단계 S1001에서, 통신 디바이스(100a)는 메시지를 수신할 수 있다.
단계 S1003에서, 통신 디바이스(100a)는 수신된 메시지의 발신 의도 또는 메시지 타입을 결정하고, 결정된 발신 의도 또는 메시지 타입에 기초하여, 적어도 하나의 추천 답신 메시지를 결정할 수 있다. 통신 디바이스(100a)에는 도 2에 도시된 구성이 저장되어 있을 수 있다.
단계 S1005에서, 통신 디바이스(100a)는 결정된 적어도 하나의 추천 답신 메시지를 웨어러블 디바이스(100b)로 전송할 수 있다.
단계 S1007에서, 웨어러블 디바이스(100b)는 수신된 추천 답신 메시지를 표시할 수 있다.　 또한, 웨어러블 디바이스(100b)는 답신 메시지 생성에 필요한 추천 정보를 보기 위한 사용자 인터페이스를 표시할 수 있다.
단계 S1009에서, 사용자에 의하여 추천 정보를 보기 위한 사용자 인터페이스가 선택되면, 웨어러블 디바이스(100b)는 추천 정보를 보기 위한 사용자 인터페이스가 선택된 것을 나타내는 정보를 통신 디바이스(100a)로 전송할 수 있다.
단계 S1011에서, 통신 디바이스(100a)는 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 결정할 수 있다.
단계 S1013에서, 통신 디바이스(100a)는 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 정보를 웨어러블 디바이스(100b)로 전송할 수 있다.
단계 S1015에서, 웨어러블 디바이스(100b)는 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽을 표시할 수 있다.
단계 S1017에서, 사용자에 의하여 복수 개의 추천 정보들 중 일 추천 정보가 선택되면, 웨어러블 디바이스(100b)는 선택된 일 추천 정보를 통신 디바이스(100a)로 전송할 수 있다.
단계 S1019에서, 통신 디바이스(100a)는 선택된 일 추천 정보, 발신 의도 및 메시지 타입에 기초하여 추천 정보를 포함하는 답신 메시지를 생성할 수 있다.
단계 S1021에서, 통신 디바이스(100a)는 생성된 답신 메시지를 발신자에게 전송할 수 있다. 또는, 통신 디바이스(100a)는 생성된 답신 메시지를 웨어러블 디바이스(100b)로 전송하고, 사용자의 확인에 따라, 생성된 답신 메시지를 발신자에게 전송할 수 있다.
다른 실시 예로, 도 10b의 단계 S1031에서, 웨어러블 디바이스(100b)는 메시지를 수신할 수 있다.
단계 S1033에서, 웨어러블 디바이스(100b)는 수신된 메시지를 통신 디바이스(100a)로 전송할 수 있다.
단계 S1035에서, 통신 디바이스(100a)는 발신 의도 또는 메시지 타입에 기초하여, 적어도 하나의 추천 답신 메시지를 결정할 수 있다.
단계 S1037에서, 통신 디바이스(100a)는 결정된 적어도 하나의 추천 답신 메시지를 웨어러블 디바이스(100b)로 전송할 수 있다
단계 S1039에서, 웨어러블 디바이스(100b)는 수신된 추천 답신 메시지를 표시할 수 있다.　 또한, 웨어러블 디바이스(100b)는 답신 메시지 생성에 필요한 추천 정보를 보기 위한 사용자 인터페이스를 표시할 수 있다.
단계 S1041에서, 사용자에 의하여 추천 정보를 보기 위한 사용자 인터페이스가 선택되면, 웨어러블 디바이스(100b)는 추천 정보를 보기 위한 사용자 인터페이스가 선택된 것을 나타내는 정보를 통신 디바이스(100a)로 전송할 수 있다.
단계 S1043에서, 통신 디바이스(100a)는 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 결정할 수 있다.
단계 S1045에서, 통신 디바이스(100a)는 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽을 표시할 수 있다.
단계 S1047에서, 사용자에 의하여 복수 개의 추천 정보들 중 일 추천 정보가 선택되면, 통신 디바이스(100a)는 선택된 일 추천 정보, 발신 의도 및 메시지 타입에 기초하여 추천 정보를 포함하는 답신 메시지를 생성할 수 있다.
단계 S1049에서, 통신 디바이스(100a)는 생성된 답신 메시지를 웨어러블 디바이스(100b)로 전송할 수 있다.
단계 S1051에서, 웨어러블 디바이스(100b)는 수신된 답신 메시지를 발신자에게 전송할 수 있다.
또 다른 실시 예로, 도 10c의 단계 S1061에서, 웨어러블 디바이스(100b)는 메시지를 수신할 수 있다.
단계 S1063에서, 웨어러블 디바이스(100b)는 발신 의도 또는 메시지 타입에 기초하여, 적어도 하나의 추천 답신 메시지를 결정할 수 있다.
단계 S1065에서, 웨어러블 디바이스(100b)는 수신된 추천 답신 메시지를 표시할 수 있다.　 또한, 웨어러블 디바이스(100b)는 답신 메시지 생성에 필요한 추천 정보를 보기 위한 사용자 인터페이스를 표시할 수 있다.
단계 S1067에서, 사용자에 의하여 추천 정보를 보기 위한 사용자 인터페이스가 선택되면, 웨어러블 디바이스(100b)는 추천 정보를 보기 위한 사용자 인터페이스가 선택된 것을 나타내는 정보를 통신 디바이스(100a)로 전송할 수 있다.
이하, 단계 S1069 내지 단계 S1077에서, 웨어러블 디바이스(100b)는 사용자가 선택한 복수 개의 추천 정보들에 기초하여 생성된 답신 메시지를 발신자에게 전송할 수 있다. 여기에서, 단계 S1069 내지 단계 S1077는, 각각 도 10b의 단계 S1043 내지 단계 S1051에 대응하므로 자세한 설명은 생략한다.
도 11a 및 도 11b는 본 개시의 일 실시 예에 따른, 답신 메시지 생성에 활용될 데이터가 결정되는 것을 나타내는 도면들이다.
도 11a의 (a)를 참조하면, 환경 설정 화면에서 데이터 등록 모드 사용자 인터페이스(1101)를 통하여 데이터 등록 모드를 온 상태로 전환하는 사용자 입력에 따라, 프로세서(170)는 데이트 등록 모드를 실행할 수 있다.
이에 따라, 프로세서(170)는 데이터의 일 예로 콘텐트를 제공 또는 표시하는 경우, 도 11a의 (b)와 같이, 콘텐트를 답신 메시지 생성에 활용할 데이터로 등록할 수 있는 데이터 등록 메뉴(1102)가 표시되도록 디스플레이부(110)를 제어할 수 있다. 여기서, 콘텐트는 동영상, 이미지, 텍스트, 오디오 또는 웹 문서 등 다양한 종류의 정보들을 포함할 수 있다.
다음으로, 사용자 입력부(145)는 제공 중인 콘텐트를 답신 메시지 생성에 활용할 데이터로 등록하기 위하여, 데이터 등록 메뉴(1102)를 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력에 따라, 도 11b의 (c)와 같이, 프로세서(180)는 제공 중인 콘텐트를 답신 메시지 생성에 활용할 데이터로 지정하기를 확인하는 팝업 화면(1103)이 표시되도록 디스플레이부(110)를 제어할 수 있다. 팝업 화면(1103)에는 태그 입력 창(1103-1) 및 중요도 선택 사용자 인터페이스(1103-2)가 포함될 수 있다. 태그 입력 창(1103-1)을 통하여 사용자 입력에 따라, 프로세서(170)는 제공 중인 콘텐트에 대한 태그 정보를 수신할 수 있다. 태그 정보는, 예를 들어, 콘텐트에 대한 설명, 콘텐트의 활용도 또는 콘텐트의 출처 등이 될 수 있다. 또한, 중요도 선택 사용자 인터페이스(1103-2)를 통한 사용자 입력에 따라, 프로세서(170)는 콘텐트의 중요도를 수신할 수 있다. 콘텐트의 중요도는, 예를 들어, 매우 중요함, 보통 중요함, 약간 중요함 중 하나가 될 수 있다.
프로세서(170)는 등록된 콘텐트, 등록된 콘텐트의 관련 정보들로서 등록된 콘텐트의 메타데이터 및 콘텐트의 태그 정보와 중요도를 이용하여 추천 정보 또는 답신 메시지를 생성할 수 있다.
예를 들어, 프로세서(170)는 전술한 콘텐트 및 콘텐트 관련 정보들을 컨텍스트 프레임워크(300)의 사용자 등록 데이터 영역에 저장할 수 있다. 다음으로, 추천 답신 메시지 또는 추천 답신 메시지에 이용될 추천 정보가 생성되는 경우, 프로세서(170)는 사용자 등록 데이터 영역에 저장된 콘텐트 및 콘텐트 관련 정보들을 우선하여 이용할 수 있다.
이와 같이, 사용자가 직접 등록한 데이터 및 데이터를 이용하여 추천 답신 메시지 또는 추천 정보가 생성됨에 따라, 메시지 기능을 이용하는 사용자의 만족도 및 편의성이 향상될 수 있다.
도 12 및 도 13은 본 개시의 다른 일 실시 예에 따른, 답신 메시지를 제공하는 과정을 개념적으로 나타내는 도면들이다.
도 12a의 (a)를 참조하면, 프로세서(170)는 소셜 서버에 등록된 콘텐트(1201)가 표시되도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 사용자가 소셜 서버에 접속하여 제3 자가 등록한 콘텐트를 검색함에 따라, 프로세서(170)는 콘텐트(1201)가 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 사용자 입력부(145)는 소셜 서버에 등록된 콘텐트(1201)에 대하여 답신 메시지(예로, 댓글 등)를 등록하기 위한 사용자 입력을 수신할 수 있다.
이 경우, 프로세서(170)는 제3 자가 등록한 콘텐트(1201)로부터 키워드를 생성할 수 있다.　 예를 들어, 프로세서(170)는 콘텐트(1201)로부터 도 12a의 (b)와 같이, "홍대", "아웃닭", "치킨", "치맥", "맥주", "양념치킨", "먹스타그램", "foodstagram", "instrafood", "instasize" 등의 키워드를 생성할 수 있다. 이 때, 프로세서(170)가 콘텐트로부터 키워드를 생성하는 것은, 이미지 자체를 분석하여 키워드를 생성하는 것뿐만 아니라 제3 자가 이미 등록한 태그들 또는 콘텐트의 메타 데이터로부터 키워드를 획득하는 것을 포함할 수 있다. 또는, 프로세서(170)는 외부 서버의 검색 엔진을 이용하여 이미지와 관련된 키워드 등을 획득할 수 있다. 예를 들어, 이미지가 음식 이미지인 경우, 프로세서(170)는 음식 이미지를 주로 제공하는 음식점, 음식 이미지와 관련된 최근 뉴스, 음식 이미지의 선호 대상 등을 외부 서버로부터 검색하여, 이를 키워드로 획득할 수 있다.
다음으로, 도 12a의 (c)와 같이, 프로세서(170)는 키워드 또는 키워드가 가공 또는 분류된 키워드를 추천 정보들로 결정하고, 결정된 추천 정보들 및 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 디스플레이부(110)를 제어할 수 있다. 다음으로, 사용자 입력부(145)는 추천 정보들로부터 적어도 하나의 추천 정보(1202)를 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력에 따라, 도 12b의 (d)와 같이, 프로세서(170)는 선택된 추천 정보(1202)와 답신 메시지로 이용 가능한 템플릿(1203)을 이용하여 답신 메시지 후보들(1204)을 생성할 수 있다. 이 경우, 프로세서(170)는 선택된 추천 정보(1202)의 속성에 따라 템플릿을 결정할 수 있다. 예를 들어, 선택된 추천 정보(1202)의 속성이 음식인 경우, 프로세서(170)는 음식을 포함하여 답신 메시지를 생성할 수 있는 템플릿을 선별하고, 이를 이용하여 답신 메시지를 생성할 수 있다. 예를 들어, 프로세서(170)는 "치킨" 추천 정보와 "다음에 나랑 (#음식) 먹으러 같이 가자~"라는 템플릿을 결합하여 "다음에 나랑 치킨 먹으러 같이가자~"라는 답신 메시지를 생성할 수 있다. 또는, 복수 개의 추천 정보로서 "치킨" 과 "맥주"가 선택된 경우, 프로세서(170)는 상기 복수 개의 추천 정보들과 "여기 (#음식) 맛있어?" 라는 템플릿을 결합하여 "여기 치킨 맥주 맛있어"라는 답신 메시지를 생성할 수 있다.
이와 같이, 복수 개의 답신 메시지 후보들이 생성되면, 프로세서(170)는 복수 개의 답신 메시지 후보들 중에서 일 답신 메시지를 사용자로부터 선택 받기 위한 사용자 인터페이스가 표시되도록 디스플레이부(110)를 제어할 수 있다. 이에 따라, 사용자로부터 일 답신 메시지가 선택되면, 프로세서(170)는 선택된 일 답신 메시지를 소셜 서버에 등록할 수 있다. 예를 들어, 프로세서(170)는 제3 자가 등록한 콘텐트에 대한 댓글로서 선택된 답신 메시지를 소셜 서버에 등록할 수 있다.
다른 실시 예로, 도 13a의 (a)를 참조하면, 프로세서(170)는 소셜 서버에 등록된 콘텐트(1301)가 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 사용자 입력부(145)는 소셜 서버에 등록된 콘텐트(1301)에 대하여 답신 메시지를 등록하기 위한 사용자 입력을 수신할 수 있다.
이 경우, 프로세서(170)는 콘텐트(1301)로부터 도 13a의 (b)와 같이, "홍대", "아웃닭", "outdark", "foodstagram", "먹스타그램", "맛스타그램", "치킨", "스마트폰", "치즈스틱", "고구마스틱", "치느님", "일상", "먹방" 등의 키워드를 생성할 수 있다.
다음으로, 도 13a의 (c)와 같이, 프로세서(170)는 생성된 키워드들을 이용하여 추천 정보들을 결정하고, 결정된 추천 정보들 및 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 디스플레이부(110)를 제어할 수 있다. 다음으로, 사용자 입력부(145)는 추천 정보들로부터 적어도 하나의 추천 정보(1302)를 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력에 따라, 도 13b의 (d)와 같이, 프로세서(170)는 선택된 추천 정보(1302)와 답신 메시지로 이용 가능한 템플릿(1303)을 이용하여 답신 메시지 후보들(1304)을 생성할 수 있다. 이 경우, 프로세서(170)는 선택된 추천 정보(1302)의 속성에 따라 템플릿을 결정할 수 있다.　 예를 들어, 선택된 추천 정보의 속성이 동작(activity)인 경우, 프로세서(170)는 동작을 포함하여 답신 메시지를 생성할 수 있는 템플릿을 선별하고, 이를 이용하여 답신 메시지를 생성할 수 있다. 예를 들어, 프로세서(170)는 "먹방" 추천 정보와 "나랑도 (#동작) 같이 하자~"라는 템플릿을 결합하여 "나랑도 먹방 같이 하자~"라는 답신 메시지를 생성할 수 있다. 또는, 복수 개의 추천 정보들이 선택되고, 복수 개의 추천 정보들 속성이 각각 다른 경우, 프로세서(170)는 속성이 다른 복수 개의 추천 정보들을 이용하여 답신 메시지를 생성할 수 있는 템플릿을 선별하고, 이를 이용하여 답신 메시지를 생성할 수 있다. 예를 들어, 속성이 다른 복수 개의 추천 정보들로서 "치킨", "홍대"가 선택되면, 프로세서(170)는 복수 개의 추천 정보들과 "오랜만에 (#음식) 먹으러 (#위치) 가자"라는 템플릿을 결합하여 "오랜만에 치킨 먹으러 홍대 가자"라는 답신 메시지를 생성할 수 있다.
도 14a 내지 도 15d는, 본 개시의 다른 일 실시 예에 따른 추천 정보로서 이미지를 제공하는 화면을 나타내는 도면들이다.
디바이스(100)가 이미지 또는 동영상이 제공이 가능한 경우, 답신 메시지에 포함되는 추천 정보로서 이미지 또는 동영상이 이용될 수 있다. 디바이스(100)는 발신자와 사용자 간의 메시지 이력으로부터 발신자 또는 사용자의 대화 의도를 파악하고, 대화 의도에 기초하여 답신 메시지에 포함 가능한 이미지 또는 동영상을 자동으로 제공할 수 있다. 이와 같이, 자동으로 답신 메시지에 포함될 이미지 또는 동영상이 제공됨에 따라, 답신 메시지를 작성하는 사용자의 편의성이 향상될 수 있다.
일 실시 예로, 도 14a의 (a)를 참조하면, 발신자의 디바이스로부터 메시지를 수신함에 따라, 프로세서(170)는 발신자와 사용자 간의 대화한 메시지가 화면에 표시되도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 프로세서(170)는 발신자의 디바이스로부터 수신한 "여자 친구랑 주말에 뭐했어?"와, 이에 대한 응답으로 사용자가 입력한 "올림픽 공원 다녀왔지"와, 이에 대한 발신자의 응답으로 발신자의 디바이스로부터 수신한 "어땠어?"라는 메시지들이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 프로세서(170)는 답신 메시지에 포함될 추천 정보들을 제공하기 위한 사용자 인터페이스(1401)가 표시되도록 디스플레이부(110)를 제어할 수 있다.
사용자 인터페이스(1401)를 선택하는 사용자 입력에 따라, 도 14a의 (b)와 같이, 프로세서(170)는 추천 정보들로서 이미지들(1402,1403,1404,1405)이 표시되도록 디스플레이부(110)를 제어할 수 있다.　
이를 위하여, 프로세서(170)는 발신자와 사용자 간 대화한 메시지들로부터 적어도 하나의 키워드를 획득하고, 획득된 키워드를 이용하여 추천할 이미지들을 결정할 수 있다. 예를 들어, 프로세서(170)는 도 14a의 (b)의 발신자의 "여자 친구랑 주말에 뭐했어?"라는 메시지로부터 "여자 친구" 및 "주말"이라는 키워드를 획득하고, 사용자의 "올림픽 공원 다녀왔지"라는 메시지로부터 "올림픽 공원"이라는 키워드를 획득할 수 있다. 그리고, 프로세서(170)는 획득된 키워드들의 조합으로 추천할 이미지를 검색할 검색 키워드를 생성할 수 있다. 예를 들어, 프로세서(170)는 "여자 친구", "주말" 및 "올림픽 공원"이라는 키워드를 이용하여 검색된 이미지들을 제1 이미지 그룹으로 정의할 수 있다. 또한, 프로세서(170)는 "여자 친구"와 "올림픽 공원"이라는 키워드를 이용하여 검색된 이미지들을 제2 이미지 그룹으로 정의할 수 있다. 또한, 프로세서(170)는 "여자 친구"와 "주말"이라는 키워드를 이용하여 검색된 이미지들을 제3 이미지 그룹으로 정의할 수 있다. 이로 인하여, 프로세서(170)는 도 12a의 (b)와 같이 프로세서(170)는 각 이미지 그룹의 대표 이미지들(1402~1405)이 표시되도록 디스플레이부(110)를 제어할 수 있다. 다음으로, 사용자 입력부(145)는 복수의 대표 이미지들(1402~1405) 중 일 대표 이미지(1402)를 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력에 따라, 프로세서(170)는 선택된 대표 이미지(1402) 및 선택된 대표 이미지(1402)의 그룹에 포함된 다른 이미지들을 획득하고, 획득된 이미지들이 도 14b의 (d)와 같이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 과정에서, 도 14b의 (c)와 같이 프로세서(170)는 대표 이미지(1402)를 중심으로 대표 이미지(1502)의 그룹에 포함된 이미지들이 검색 또는 취합되어지는 시각적 효과가 표시되도록 디스플레이부(110)를 제어할 수 있다.
도 14b의 (d)에서 프로세서(170)는 검색된 이미지들이 화면의 일 영역(예로, 화면의 상단)(1411)에 정렬(예로, 키워드와 관계 정도가 높은 순서, 이미지 생성 시간 순서, 이미지 크기 순서 등)하여 표시되도록 디스플레이부(110)를 제어할 수 있다. 또한, 프로세서(170)는 화면의 다른 영역(예로, 화면의 하단)(1412)에는 대표 이미지 그룹의 포함되지 않은 이미지들이 정렬(예로, 이미지 생성 시간 순서, 이미지 크기 순서 등)되어 표시되도록 디스플레이부(110)를 제어할 수 있다.
다음으로, 도 14c의 (e)와 같이, 사용자 입력부(145)는 검색된 이미지들 중에서 답신 메시지에 이용될 적어도 하나의 이미지(1421,1422,1423,1424)를 선택하는 사용자 입력을 수신할 수 있다. 사용자 입력에 응답하여, 프로세서(170)는 선택된 이미지들(1421~1424)이 다른 이미지들과 구분되도록 하이라이트되어 표시되도록 디스플레이부(110)를 제어할 수 있다.
이 경우, 프로세서(170)는 도 14c의 (f)와 같이 선택된 이미지들(1421~1424)로부터 키워드들을 획득할 수 있다. 예를 들어, 프로세서(170)는 선택된 이미지들(1421~1424)을 분석하여 키워드들을 생성할 수 있다. 이 경우, 프로세서(170)는 NLG(Natural Language Generation) 기능을 이용하여 선택된 이미지들(1421~1424)을 분석하여 키워드들을 생성할 수 있다.
또는, 프로세서(170)는 선택된 이미지들(1421~1424)의 메타 데이터, 태그, 사용자 로그로부터 키워드들을 획득할 수 있다. 예를 들어, 프로세서(170)는 제1 이미지(1421))로부터 "올림픽 공원"이라는 장소 키워드를 획득하고, 제2 이미지(1422)로부터 "2015.8.10"이라는 날짜 키워드를 획득하고, 제3 이미지(1423)로부터 "여자 친구"라는 인물 키워드를 획득할 수 있다.
다음으로, 도 14c의 (g)와 같이, 프로세서(170)는 복수의 템플릿들 중에서 획득한 키워드에 기초하여 답신 메시지로 이용 가능한 템플릿을 결정할 수 있다. 예를 들어, 선택된 이미지에 대응하는 키워드들의 속성이 장소 및 인물인 경우, 프로세서(170)는 장소와 인물을 포함하는 템플릿(1431)을 답신 메시지를 생성하기 위한 템플릿으로 결정할 수 있다.
다음으로, 도 14d의 (h)와 같이, 프로세서(170)는 답신 메시지로서, 결정된 템플릿에 따라 키워드가 포함된 텍스트 형태의 답신 메시지 및 생성된 키워드와 관련된 이미지들(1441,1442)이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 때, 획득된 키워드와 관련된 이미지들(1441,1442)은 도 14c의 (e)에서 사용자가 선택한 이미지가 될 수도 있고, 또는 도 14c의 (f)에서 획득된 키워드와 관련하여 다시 검색된 이미지들의 대표 이미지가 될 수도 있다.　
도 14d의 (h)에서, 답신 메시지에 "올림픽 공원", "여자친구" 이미지들(1441,1442)이 포함되면, 사용자 입력부(145)는 이미지들(1441,1442) 중 "여자친구" 이미지(1442)를 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력에 따라, 도 14d의 (i)와 같이 프로세서(170)는 선택된 이미지(1442)와 관련된 다른 이미지들이 표시되도록 디스플레이부(110)를 제어할 수 있다. 상기 다른 이미지들은, 선택된 이미지(1442)와 관련된 키워드를 이용하여 다시 검색된 이미지가 될 수도 있고, 또는 선택된 이미지(1442)가 대표 이미지인 경우, 대표 이미지의 그룹에 포함되는 이미지들일 수도 있다. 또는, 선택된 이미지(1442)와 관련된 다른 이미지들은, 선택된 이미지(1442)로부터 키워드를 새로 획득하여, 획득된 키워드를 이용하여 새로 검색된 이미지가 될 수도 있다. 이러한 이미지들은, 썸네일 형태, 또는 이미지 목록으로 제공될 수도 있고, 또는 앨범 형태로 제공되어 시간이 경과함에 따라 슬라이드 되면서 표시될 수도 있다. 또는, 특정 개수의 이미지만 표시되고, 다른 이미지들은 좌/우 또는 상/하 버튼을 선택하는 사용자 입력에 따라 순차적으로 표시될 수도 있다.
다른 일 실시 예로, 도 15a의 (a)를 참조하면, 발신자의 디바이스로부터 메시지를 수신함에 따라, 프로세서(170)는 발신자와 사용자 간의 대화한 메시지가 화면에 표시되도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 프로세서(170)는 발신자의 디바이스로부터 수신한 "뭐 먹고 싶어"라는 메시지들이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 때, 프로세서(170)는 사용자가 입력하는 답신 메시지에 포함될 추천 정보들을 선택하기 위한 사용자 인터페이스(1501)가 표시되도록 디스플레이부(110)를 제어할 수 있다.
사용자 인터페이스(1501)를 선택하는 사용자 입력에 따라, 도 15a의 (b)와 같이, 프로세서(170)는 추천 정보들로서 이미지들(1501,1502,1503,1504)이 표시되도록 디스플레이부(110)를 제어할 수 있다.　 이를 위하여, 프로세서(170)는 발신자와 사용자 간 대화한 메시지들로부터 적어도 하나의 키워드를 획득하고, 획득된 키워드를 이용하여 추천할 이미지들을 결정할 수 있다. 예를 들어, 프로세서(170)는 도 15a의 (b)의 발신자의 "뭐 먹고 싶어"라는 메시지로부터 "뭐", "먹다", 및 "~고 싶다"이라는 키워드를 획득할 수 있다. 그리고, 획득된 키워드의 조합으로 추천할 이미지를 검색할 검색 키워드를 생성할 수 있다. 예를 들어, 프로세서(170)는 발신자의 발신 의도가 음식을 문의하는 것으로 판단하고, 발신자와 사용자 간의 대화 이력, 사용자의 검색 이력, 디바이스(100)에 저장된 이미지 등에 기초하여 음식과 관련된 새로운 키워드들을 생성할 수 있다. 새롭게 생성된 키워드들 조합은, 예를 들어, "롤케이크", "소주" 및 "고기", "치킨" 및 "맥주"가 될 수 있다. 다음으로, 프로세서(170)는 디바이스(100) 또는 디바이스(100)와 연결된 서버에 저장된 이미지들로부터 생성된 키워드들의 조합과 관련된 이미지들을 검색하고, 이들을 그룹화할 수 있다. 이에 따라, 도 15a의 (b)와 같이 프로세서(170)는 각 이미지 그룹의 대표 이미지들(1502,1503,1504,1505)가 표시되도록 디스플레이부(110)를 제어할 수 있다. 다음으로, 사용자 입력부(145)는 복수의 대표 이미지들(1502~1505) 중 일 대표 이미지(1502)를 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력에 따라, 프로세서(170)는 선택된 대표 이미지(1502) 및 선택된 대표 이미지(1502)의 그룹에 포함된 다른 이미지들을 획득하고, 획득된 이미지들이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 과정에서, 도 15b의 (c)와 같이 프로세서(170)는 대표 이미지(1502)를 중심으로 대표 이미지(1502)의 그룹에 포함된 이미지들이 검색 또는 취합되는 시각적 효과가 표시되도록 디스플레이부(110)를 제어할 수 있다. 또한, 도 15b의 (d)와 같이 프로세서(170)는 검색된 이미지들이 화면의 일 영역(예로, 화면의 상단)(1511)에 정렬되어 표시되도록 디스플레이부(110)를 제어할 수 있다. 또한, 프로세서(170)는 화면의 다른 영역(예로, 화면의 하단)(1512)에는 대표 이미지 그룹의 포함되지 않은 이미지들이 정렬되어 표시되도록 디스플레이부(110)를 제어할 수 있다.
다음으로, 도 15c의 (e)와 같이, 사용자 입력부(145)는 검색된 이미지들 중에서 답신 메시지에 이용될 적어도 하나의 이미지(1521,1522,1523,1524)를 선택하는 사용자 입력을 수신할 수 있다. 사용자 입력에 응답하여, 프로세서(170)는 선택된 이미지들(1521~1524)이 다른 이미지들과 구분되도록 하이라이트되어 표시되도록 디스플레이부(110)를 제어할 수 있다.
이 경우, 프로세서(170)는 도 15c의 (f)와 같이 선택된 이미지들(1521~1524)로부터 키워드들을 획득할 수 있다. 예를 들어, 프로세서(170)는 선택된 이미지들(1521~1524)을 분석하여 키워드들을 생성할 수 있다. 또는, 프로세서(170)는 선택된 이미지들(1521~1524)의 메타 데이터, 태그, 사용자 로그로부터 키워드들을 획득할 수 있다. 예를 들어, 프로세서(170)는 제1 이미지(1521), 제2 이미지(1522) 및 제3 이미지(1523)로부터 "치킨"이라는 음식 키워드를 획득하고, 제4 이미지(1524)로부터 "생맥주"라는 음식 키워드를 획득할 수 있다.
다음으로, 도 15c의 (g)와 같이, 프로세서(170)는 복수의 템플릿들 중에서 획득한 키워드에 기초하여 답신 메시지로 이용 가능한 템플릿을 결정할 수 있다. 예를 들어, 선택된 이미지에 대응하는 키워드들의 속성이 음식인 경우, 프로세서(170)는 복수 개의 음식을 포함하는 템플릿(1531)을 답신 메시지를 생성하기 위한 템플릿으로 결정할 수 있다.
다음으로, 도 15d의 (h)와 같이, 프로세서(170)는 결정된 템플릿에 따라 키워드가 포함된 텍스트 형태의 답신 메시지 및 생성된 키워드와 관련된 이미지들(1551,1552)이 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 때, 획득된 키워드와 관련된 이미지들(1551,1552)은 도 15c의 (e)에서 사용자가 선택한 이미지가 될 수도 있고, 또는 도 15c의 (f)에서 획득된 키워드와 관련하여 다시 검색된 이미지들의 대표 이미지가 될 수도 있다.　
도 15d의 (h)에서, 답신 메시지에 "치킨", "생맥주" 이미지들(1551,1552)이 포함되면, 사용자 입력부(145)는 이미지들 중 일 이미지로서, "치킨" 이미지(1552)를 선택하는 사용자 입력을 수신할 수 있다.
사용자 입력에 따라, 도 15d의 (i)와 같이 프로세서(170)는 선택된 "치킨" 이미지(1552)와 관련된 다른 이미지들이 표시되도록 디스플레이부(110)를 제어할 수 있다. 상기 다른 이미지들은 선택된 이미지(1552)와 관련된 키워드를 이용하여 다시 검색된 이미지가 될 수도 있고, 또는 선택된 이미지(1552)가 대표 이미지인 경우, 대표 이미지의 그룹에 포함되는 이미지들일 수도 있다. 또는, 상기 다른 이미지들은 선택된 이미지(1552)로부터 키워드를 새로 획득하여, 획득된 키워드를 이용하여 새로 검색된 이미지가 될 수도 있다. 상기 다른 이미지들은, 썸네일 형태, 또는 이미지 목록으로 제공될 수도 있고, 또는 앨범 형태로 제공되어 시간이 경과함에 따라 슬라이드 되면서 표시될 수도 있다. 또는, 특정 개수의 이미지만 표시되고, 다른 이미지들은 좌/우 또는 상/하 버튼을 선택하는 사용자 입력에 따라 순차적으로 표시될 수도 있다.
도 16a 내지 도 16d는, 본 개시의 다른 일 실시 예에 따른, 복수의 디바이스를 대상으로 답신 메시지를 제공하는 화면을 나타내는 도면들이다.
사용자가 복수의 발신자들 각각과 복수의 대화창을 이용하여 메시지 수/발신하는 경우, 대화창을 빈번하게 변경해야 하는 불편함이 발생할 수 있다. 이에 따라, 제1 발신자와 대화창을 통해 메시지를 수/발신하는 도중에, 사용자가 대화창의 변경 없이 제2 발신자와 메시지를 수/발신하도록 사용자의 불편함이 개선될 필요성이 요구될 수 있다.
도 16a의 (a)를 참조하면, 프로세서(170)는 대화창에 제1 발신자의 제1 디바이스로부터 수신된 제1 질문 메시지(1601)와 사용자의 제1 답신 메시지(1602)가 표시되도록 디스플레이부(110)를 제어할 수 있다.
제2 발신자의 제2 디바이스로부터 제2 질문 메시지(1611)가 수신되면, 도 16a의 (b)와 같이, 프로세서(170)는 제2 질문 메시지(1611)의 적어도 일부가 화면에 표시되도록 디스플레이부(110)를 제어할 수 있다.
이 경우, 사용자 입력부(145)는 대화창의 입력 필드를 통하여 태그 정보(1621)를 입력하는 사용자 입력을 수신할 수 있다. 태그 정보(1621)를 입력하는 사용자 입력에 따라, 도 16b의 (c)와 같이, 프로세서(170)는 대화창의 입력 필드에 태그 정보(1621)가 표시되고, 또한 제2 디바이스의 식별 정보(1622)가 자동으로 표시되도록 디스플레이부(110)를 제어할 수 있다. 제2 디바이스의 식별 정보(1622)는 제2 질문 메시지(1611)와 함께 전송되는 부가 정보 또는 헤더 정보로부터 획득될 수 있다. 제2 디바이스의 식별 정보(1622)는, 예로, 제2 발신자의 아이디, 전화번호 또는 별칭 등이 될 수 있다.
다음으로, 태그 정보(1621) 및 제2 디바이스(1622)의 식별 정보가 표시된 상태에서, 사용자 입력부(145)는 제2 질문 메시지(1601)에 대한 제2 답신 메시지(1623)를 입력하는 사용자 입력을 수신할 수 있다. 제2 답신 메시지(1623)를 입력하는 사용자 입력에 따라, 도 16b의 (d)와 같이, 프로세서(170)는 대화창의 입력 필드에 태그 정보(1621), 제2 디바이스의 식별 정보(1622) 및 제2 답신 메시지(1623)가 표시되도록 디스플레이부(110)를 제어할 수 있다.
한편, 도 16a의 (b)에서, 사용자 입력부(145)가 대화창의 입력 필드를 통하여 태그 정보(1621), 제2 디바이스의 식별 정보(1622) 및 제2 답신 메시지(1623)를 직접 입력 받을 수 도 있다. 이 경우에도, 도 16b의 (d)와 같이, 프로세서(170)는 대화창의 입력 필드에 태그 정보(1621), 제2 디바이스의 식별 정보(1622) 및 제2 답신 메시지(1623)가 표시되도록 디스플레이부(110)를 제어할 수 있다.
다음으로, 전송 버튼(1624)을 선택하는 사용자 입력에 따라, 프로세서(170)는 작성된 제2 답신 메시지(1623)가 제2 디바이스로 전송되도록 통신부(130)를 제어할 수 있다. 그리고, 도 16c의 (e)와 같이, 프로세서(170)는 화면에 제2 디바이스로 전송한 답신 메시지(1623)가 대화창에 표시되도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 프로세서(170)는 대화창의 영역이 색 또는 선 등에 의하여 복수의 영역들(1631,1632)로 분리되고, 복수의 영역들(1631,1632) 중 일 영역(1631)에는 제2 디바이스 전송된 답신 메시지가 표시되고, 다른 일 영역(1632)에는 제1 디바이스로 전송된 답신 메시지가 표시되도록 디스플레이부(110)를 제어할 수 있다. 또는, 다른 실시 예로, 프로세서(170)는 화면의 상태바 영역 또는 대화창의 밖의 영역에 제2 디바이스로 전송된 답신 메시지가 표시되도록 디스플레이부(110)를 제어할 수도 있다.
도 17은 본 개시의 다른 실시 예에 따른 디바이스(100)의 구성을 나타내는 블록도이다.
도 17에 도시된 바와 같이, 디바이스(100) 의 구성은, 예를 들어, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 디바이스, 디지털 TV, 스마트 워치(Smart watch), 손목 시계(Wrist watch) 또는 스마크 글래스(Smart Glass), HMD(Head-Mounted Display)와 같은 웨어러블 디바이스(Wearable device) 등과 같은 다양한 유형의 디바이스에 적용될 수 있다.
도 17에 따르면, 디바이스(100) 는 디스플레이부(110), 프로세서(170), 메모리(120), GPS 칩(125), 통신부(130), 비디오 프로세서(135), 오디오 프로세서(140), 사용자 입력부(145), 마이크부(150), 촬상부(155), 스피커부(160), 움직임 감지부(165) 중 적어도 하나를 포함 할 수 있다.
디스플레이부(110)는 표시패널(111) 및 표시 패널(111)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(111)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(111)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(110)는 사용자 입력부(145)의 터치 패널(147)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(111)과 터치 패널(147)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.
메모리(120)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(170)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 프로세서(170)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
메모리(120)는 디바이스(100) 의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다.
프로세서(170)는 질문 메시지에 대한 답신 메시지에 포함 가능한 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽이 디스플레이부(110)에 표시되도록 디스플레이부(110)를 제어할 수 있다. 또한, 프로세서(170)는 메모리(120)에 저장된 컨텐츠의 일부를 디스플레이부(110)에 표시할 수 있다. 또한, 프로세서(170)는 디스플레이부(110)의 일 영역에서 사용자 입력이 이루어지면, 사용자 입력에 대응되는 제어 동작을 수행할 수 있다.
프로세서(170)는 RAM(171), ROM(172), CPU(173), GPU(Graphic Processing Unit)(174) 및 버스(175) 중 적어도 하나를 포함 할 수 있다. RAM(171), ROM(172), CPU(173) 및 GPU(174) 등은 버스(175)를 통해 서로 연결될 수 있다.
CPU(173)는 메모리(120)에 액세스하여, 메모리(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(172)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 휴대 단말기(100)는 턴온 명령이 입력되어 전원이 공급되면, CPU(173)가 ROM(172)에 저장된 명령어에 따라 메모리(120)에 저장된 O/S를 RAM(171)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(173)는 메모리(120)에 저장된 각종 프로그램을 RAM(171)에 복사하고, RAM(171)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(174)는 모바일 디바이스 (100)의 부팅이 완료되면, 디스플레이부(110)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(174)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(174)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(174)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(174)에서 생성된 화면은 디스플레이부(110)로 제공되어, 디스플레이부(110)의 각 영역에 각각 표시될 수 있다.
GPS 칩(125)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 디바이스(100)의 현재 위치를 산출할 수 있다. 프로세서(170)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(125)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 디바이스와 통신을 수행할 수 있다. 통신부(130)는 와이파이칩(131), 블루투스 칩(132), 무선 통신 칩(133), NFC 칩(134) 중 적어도 하나를 포함할 수 있다. 프로세서(170)는 통신부(130)를 이용하여 각종 외부 디바이스와 통신을 수행할 수 있다. 통신부(130)는 다른 디바이스로부터 질문 메시지를 수신할 수도 있고, 수신된 질문 메시지에 대한 답신 메시지를 다른 디바이스로 전송할 수도 있다.
와이파이 칩(131), 블루투스 칩(132)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(131)이나 블루투스 칩(132)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(133)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(134)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(135)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. 비디오 프로세서(135)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(140)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(140)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
프로세서(170)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(135) 및 오디오 프로세서(140)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(160)는 오디오 프로세서(140)에서 생성한 오디오 데이터를 출력할 수 있다.
사용자 입력부(145)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(145)는 키(146), 터치 패널(147) 및 펜 인식 패널(148) 중 적어도 하나를 포함할 수 있다.
키(146)는 디바이스(100)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(147)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(147)이 표시 패널(111)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
펜 인식 패널(148)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(148)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(148)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(148)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(148)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(148)은 표시 패널(111)의 하부에 일정 면적, 예를 들어, 표시 패널(111)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다.
마이크부(150)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 프로세서(170)는 마이크 부(150)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(120)에 저장할 수 있다.
촬상부(155)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(155)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다.
촬상부(155) 및 마이크부(150)가 마련된 경우, 프로세서(170)는 마이크부(150)를 통해 입력되는 사용자 음성이나 촬상부(155)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 디바이스(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 프로세서(170)는 촬상부(155)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 프로세서(170)는 마이크부(150)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다.
움직임 감지부(165)는 디바이스(100)의 본체 움직임을 감지할 수 있다.　 디바이스(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(165)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 17에 도시하지는 않았으나, 실시 예에는, 디바이스(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다.
도 18은 본 개시의 다른 일 실시 예에 따른, 추천 정보를 이용하여 외부 디바이스를 제어하는 시스템을 나타내는 도면이다.
도 18에서, 시스템(1800)은, 디바이스(100), 외부 디바이스(1810) 및 허브 디바이스(1820)를 포함할 수 있다.
여기서, 외부 디바이스(1810)는 예로, IoT 디바이스가 될 수 있다. IoT 디바이스는 다양한 종류의 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 세탁기(1811), 냉장고(1812), 에어컨(1813), 스마트 TV, DVD(digital video disk) 플레이어, 오디오, 청소기, 오븐, 전자레인지, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다. 또한, IoT 디바이스는 가정 내의 상태를 감지하기 위한 센서일 수 있다. 이때, 센서는 움직임 센서, 온도 센서, 습도 센서, 조도 센서 등과 같은 다양한 센서로 구현될 수 있다.
허브 디바이스(1820)는 홈 게이트웨이, 홈 서버와 같은 별도의 디바이스일 수도 있으며, 전술한 IoT 디바이스들 중에 일 디바이스가 허브 디바이스(1820)로 동작할 수도 있다.
사용자가 디바이스(100)가 제공하는 메시지 화면을 통하여 외부 디바이스(1810)를 제어하기 위한 메시지를 입력하면, 디바이스(100)는 입력된 메시지에 대응하는 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간에 관계를 나타내는 관계 정보를 획득할 수 있다.
이 경우, 전술한 트리 생성 모듈(235)은 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간에 관계를 나타내는 관계 정보를 생성할 수 있다. 트리 생성 모듈(235)은 디바이스(100)에 포함될 수도 있고, 또는 외부 디바이스(1810)나 허브 디바이스(1820)에도 포함될 수 있다. 이 때, 추천 정보 및 관계 정보는, 외부 디바이스(1810)의 사용 이력 또는 미리 설정된 정보에 기초하여 선택 및 생성될 수 있다.
일 예로, 트리 생성 모듈(235)이 허브 디바이스(1820)에 구비된 경우, 허브 디바이스(1820)는 디바이스(100)로부터 사용자가 입력한 메시지를 수신할 수 있다. 메시지를 수신한 허브 디바이스(1820)는 입력된 메시지를 분석하여 외부 디바이스(1810)와 높은 가중치를 가지는 추천 정보를 선택하고, 각 추천 정보들 간의 관계를 나타내는 관계 정보를 생성할 수 있다. 그리고, 허브 디바이스(1820)는 생성된 추천 정보 및 관계 정보를 디바이스(100)로 전송할 수 있다.
다른 예로, 트리 생성 모듈(235)이 외부 디바이스(1810)에 구비된 경우, 외부 디바이스(1810)는 사용자가 입력한 메시지를 허브 디바이스(1820)를 거쳐서 수신하거나 또는 직접 수신할 수 있다. 외부 디바이스(1810)는 수신된 메시지를 분석하여 추천 정보 및 각 추천 정보들 간의 관계 정보를 생성할 수 있다. 그리고, 외부 디바이스(1810)는 생성된 추천 정보 및 관계 정보를 허브 디바이스(1820)를 거쳐서 디바이스(100)로 전송하거나, 또는 직접 디바이스(100)로 전송할 수 있다.
이와 같이, 디바이스(100)가 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간에 관계를 나타내는 관계 정보를 획득하면, 디바이스(100)는 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽을 화면에 표시할 수 있다.
사용자는 표시된 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽에 기초하여, 복수 개의 추천 정보들 중 일 정보를 선택할 수 있다.
사용자에 입력에 따라, 디바이스(100)는 선택된 추천 정보와 관련된 제어 명령을 허브 디바이스(1820)를 거쳐서 외부 디바이스(1810)로 전송하거나, 또는 외부 디바이스(1810)로 직접 전송할 수 있다.
외부 디바이스(1810)는 수신된 제어 명령에 따라 동작을 수행할 수 있다.
도 19는 본 개시의 일 실시예에 따른, 추천 정보를 이용하여 외부 디바이스(1810)를 제어하는 방법을 나타내는 사용도들이다.
도 19의 (a)를 참조하면, 사용자는 연락처 목록(1910)들 중에서, 제어를 위하여 메시지를 전송할 외부 디바이스(1810)의 식별 정보(1911)를 선택할 수 있다. 외부 디바이스(1810)의 식별 정보는, 예로, 세탁기(1811)의 식별 정보일 수 있다.
외부 디바이스(1810)의 식별 정보가 선택되면, 도 19의 (b)와 같이, 디바이스(10)는 외부 디바이스(1810)와 관련된 메시지를 표시하거나 또는 입력할 수 있는 메시지 화면(1920)을 제공할 수 있다.
메시지 화면(1920)이 제공되면, 사용자는 외부 디바이스(1910)의 상태를 요청하는 메시지(1921)를 입력할 수 있다. 예로, 사용자는 "세탁물 상태를 알려줘"라는 메시지(1921)를 입력할 수 있다.
디바이스(100)는 메시지(1921)를 분석한 결과로서, 외부 디바이스(1810)의 상태를 요청하는 명령을 외부 디바이스(1810)로 직접 전송하거나, 또는 허브 디바이스(1820)를 거쳐서 외부 디바이스(1810)로 전송할 수 있다.
수신된 명령에 응답하여, 외부 디바이스(1810)는 상태 정보를 디바이스(100)로 직접 전송하거나, 허브 디바이스(1820)을 거쳐서 디바이스(100)로 전송할 수 있다.
외부 디바이스(1810)의 상태 정보는, 예로, 외부 디바이스(1810)의 동작 상태, 외부 디바이스(1810)에서 처리하는 대상물의 상태 및 외부 디바이스(1810)의 주변의 상태 중 적어도 하나가 될 수 있다. 예로, 외부 디바이스(1810)가 세탁기(1811)인 경우, 외부 디바이스(1810)의 상태 정보는, 세탁량, 세탁물의 냄새 정도, 외부 디바이스(1810)에 투입된 세제량 및 섬유 유연제량 중 적어도 하나가 될 수 있다. 이 경우, 상기 정보들은 세탁기(1811)에 구비된 카메라, 냄새 센서 또는 압력 센서 등을 이용하여 감지될 수 있다.
외부 디바이스(1810)의 상태를 요청하는 메시지(1921)에 대한 응답으로 외부 디바이스(1810)의 상태 정보가 획득되면, 디바이스(100)는 외부 디바이스(1810)의 상태 정보를 메시지(1923)로 변환하여 메시지 화면(1920)에 표시할 수 있다. 예를 들어, 디바이스(100)는 세탁물의 상태로서 "세탁량(1kg), 세탁물 냄새(강), 세제량(대), 섬유 유연제량(소)"라는 메시지(1923)를 화면에 표시할 수 있다.
외부 디바이스(1810)의 상태 정보와 관련된 메시지(1923)가 메시지 화면(1920)에 표시되면, 사용자는 외부 디바이스(1810)의 상태 정보에 기초하여 외부 디바이스(1810)를 제어하기 위한 메시지(1925)를 입력할 수 있다. 예로, 사용자는 "세탁기 좀 돌려줘"라는 메시지(1925)를 입력할 수 있다.
디바이스(100)는 메시지(1925)를 분석한 결과로서, 도 19의 (c)와 같이, 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽을 표시할 수 있다. 이 경우, 그래픽은, 예로, 복수 개의 추천 정보들을 연결하는 그래픽으로서 트리 구조, 노드 구조 또는 하이라키 구조 등을 형성할 수 있다.
외부 디바이스(1810)가, 예로, 세탁기인 경우, 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽은 세탁 코스의 종류, 세탁 온도의 종류 및 헹굼 횟수의 종류에 대한 정보 및 이들 간의 관계를 나타내는 그래픽이 될 수 있다.
다음으로, 사용자가 최하위 노드에 있는 복수 개의 추천 정보들(1931,1933,1935) 중 일 추천 정보로서 "헹굼 1회" 추천 정보(1931)를 선택하면, 디바이스(100)는 선택된 추천 정보(1931) 및 선택된 추천 정보(1931)와 관련된 상위 노드들(1937,1939,1941)의 추천 정보를 포함하는 메시지로서 "코스(표준), 세탁온도(40도), 헹굼횟수(1회)"라는 메시지를 생성할 수 있다.
그리고, 도 19의 (d)와 같이, 디바이스(100)는 생성된 메시지(1927)를 메시지 입력 창(1920-1)에 표시할 수 있다
다음으로, 전송 버튼(1920-2)을 선택하는 사용자 입력에 따라, 디바이스(100)는 메시지 입력 창(1920-1)에 표시된 메시지(1927)를 허브 디바이스(1820)를 거쳐서 외부 디바이스(1810)로 전송하거나 또는 외부 디바이스(1810)로 직접 전송할 수 있다. 이 경우, 메시지(1927)를 전송한다는 것은, 메시지(1927)를 외부 디바이스(1810)가 해석할 수 있는 제어 명령으로 변환하여 전송하는 것을 포함할 수 있다.
다른 예로, 사용자가 최하위 노드의 추천 정보(1931)를 선택하면, 디바이스(100)는 최하위 노드의 추천 정보(1931)와 관련된 상위 노드들(1937,1939,1941)의 추천 정보를 포함하는 메시지(1927)를 메시지 입력 창(1920-1)에 표시 없이 곧바로 외부 디바이스(1810)로 전송할 수도 있다. 이 경우, 전송 결과로서, 외부 디바이스(1810)로 전송한 메시지가 메시지 화면(1920)에 표시될 수 있다.
도 20은 본 개시의 다른 일 실시예에 따른, 추천 정보를 이용하여 외부 디바이스를 제어하는 방법을 나타내는 도면들이다.
도 20의 (a)와 같이, 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽이 표시될 수 있다. 도 20의 (a)의 상황은 도 19b의 (c)와 동일한 상황일 수 있다.
이 경우, 사용자는 복수 개의 추천 정보들 중 일 노드의 추천 정보를 변경하기를 원하여, 복수 개의 추천 정보들 중 변경을 원하는 중간 노드의 추천 정보(2011)를 선택할 수 있다.
중간 노드의 추천 정보(2011)가 선택되면, 도 20의 (b)와 같이, 디바이스(100)는 중간 노드를 기준으로 하여 다른 복수 개의 추천 정보들 및 다른 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽을 표시할 수 있다.
이 경우, 사용자가 최하위 노드에 있는 복수 개의 추천 정보들(2013,2015,2017) 중 일 추천 정보로서 "헹굼 3회" 추천 정보(2015)를 선택하면, 디바이스(100)는 선택된 추천 정보(2015) 및 선택된 추천 정보(2015)와 관련된 상위 노드들(2019,2021,2011)의 추천 정보를 포함하는 메시지로서 "코스(찌든때), 모드(불림), 세탁온도(60도), 헹굼횟수(3회)"라는 메시지를 생성할 수 있다. 그리고, 도 20의 (c)와 같이, 디바이스(100)는 생성된 메시지(1923)를 메시지 입력 창(1920-1)에 표시할 수 있다
다음으로, 전송 버튼(1920-2)을 선택하는 사용자 입력에 따라, 디바이스(100)는 메시지 입력 창(1920-1)에 표시된 메시지(1923)를 허브 디바이스(1820)를 거쳐서 외부 디바이스(1810)로 전송하거나 또는 외부 디바이스(1810)로 직접 전송할 수 있다.
도 21은 본 개시의 일 실시 예에 따른, 디바이스(100)가 답신 메시지에 포함 가능한 추천 정보들을 제공하는 방법을 나타내는 흐름도이다.
단계 S2101에서, 디바이스(100)는 다른 디바이스로부터 질문 메시지를 수신할 수 있다.
단계 S2103에서, 디바이스(100)는 수신된 질문 메시지에 대한 답신 메시지에 포함 가능한 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽을 표시할 수 있다. 이 경우, 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽은 복수 개의 추천 정보들 간의 관계를 트리 구조 또는 방사형 구조로 나타낸 것일 수 있다. 또한, 복수의 개의 추천 정보들 간의 관계는, 선호도, 중요도, 장소, 시간 또는 분위기 등의 속성을 가진 가중치를 가지고 연결된 것일 수 있다.
단계 S2105에서, 디바이스(100)는 복수 개의 추천 정보들 중 적어도 하나의 추천 정보를 선택하는 사용자 입력이 수신되는지를 판단할 수 있다.
사용자 입력이 수신되면, 단계 S2107에서, 디바이스(100)는 선택된 추천 정보를 포함하는 답신 메시지를 생성하여 표시할 수 있다. 그리고, 전송 버튼을 선택하는 사용자 입력에 따라, 선택된 추천 정보를 포함하는 답신 메시지를 다른 디바이스에게 전송할 수 있다.
도 22는 본 개시의 다른 일 실시 예에 따른, 디바이스(100)가 답신 메시지에 포함 가능한 추천 정보들을 제공하는 방법을 나타내는 흐름도이다.
단계 S2201에서, 디바이스(100)는 사용자가 등록한 데이터를 저장할 수 있다. 사용자가 등록한 데이터는, 예를 들어, 사용자가 데이터 등록 메뉴를 통하여 답신 메시지 생성에 활용할 데이터로 등록한 콘텐트가 될 수 있다. 또한, 사용자가 등록한 데이터는 사용자가 검색, 캡쳐, 촬용 또는 메모한 데이터가 될 수 있다.
단계 S2203에서, 디바이스(100)는 다른 디바이스로부터 질문 메시지를 수신할 수 있다.
단계 S2205에서, 디바이스(100)는 사용자가 등록한 데이터에 기초하여 답신 메시지에 포함 가능한 복수 개의 추천 정보들 및 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽을 표시할 수 있다.
단계 S2207에서, 디바이스(100)는 복수 개의 추천 정보들 중 적어도 하나의 추천 정보를 선택하는 사용자 입력이 수신되는지를 판단할 수 있다.
사용자 입력이 수신되면, 단계 S2209에서, 디바이스(100)는 선택된 추천 정보를 포함하는 답신 메시지를 생성하여 표시할 수 있다. 그리고, 전송 버튼을 선택하는 사용자 입력에 따라, 선택된 추천 정보를 포함하는 답신 메시지를 다른 디바이스에게 전송할 수 있다.
도 23은 본 개시의 또 다른 일 실시 예에 따른, 디바이스(100)가 답신 메시지에 포함 가능한 추천 정보들을 제공하는 방법을 나타내는 흐름도이다.
단계 S2301에서, 디바이스(100)는 다른 디바이스로부터 질문 메시지를 수신할 수 있다.
단계 S2303에서, 디바이스(100)는 수신된 질문 메시지에 대한 답신 메시지에 포함 가능한 복수 개의 추천 이미지들을 표시할 수 있다.
단계 S2305에서, 디바이스(100)는 복수 개의 추천 이미지들 중 적어도 하나의 추천 이미지를 선택하는 사용자 입력이 수신되는지를 판단할 수 있다.
사용자 입력이 수신되면, 단계 S2307에서, 디바이스(100)는 선택된 추천 이미지로부터 키워드를 획득하고, 획득된 키워드를 포함하는 답신 메시지를 생성하여 표시할 수 있다. 또한, 디바이스(100)는 선택된 추천 이미지를 포함하는 답신 메시지를 생성하여 표시할 수도 있다. 그리고, 전송 버튼을 선택하는 사용자 입력에 따라, 디바이스(100)는 획득된 키워드를 포함하는 답신 메시지를 다른 디바이스에게 전송할 수 있다. 또한, 디바이스(100)는 선택된 추천 이미지를 포함하는 답신 메시지를 다른 디바이스에게 전송할 수도 있다.
도 24은 본 개시의 또 다른 일 실시 예에 따른, 디바이스(100)가 답신 메시지에 포함 가능한 추천 정보들을 제공하는 방법을 나타내는 흐름도이다.
단계 S2401에서, 디바이스(100)는 제1 디바이스로부터 질문 메시지를 수신할 수 있다.
단계 S2403에서, 디바이스(100)는 수신된 질문 메시지를 대화창에 표시할 수 있다.
단계 S2405에서, 디바이스(100)는 제2 디바이스로부터 질문 메시지를 수신할 수 있다.
단계 S2407에서, 디바이스(100)는 대화창의 입력 필드를 통해 태그 정보를 입력하는 사용자 입력이 수신되는지를 판단할 수 있다.
사용자 입력이 수신되면, 단계 S2409에서, 디바이스(100)는 대화창의 입력 필드에 제2 디바이스의 식별 정보를 표시할 수 있다.
단계 S2411에서, 디바이스(100)는 대화창의 입력 필드를 통해 답신 메시지를 입력하는 사용자 입력이 수신되는지를 판단할 수 있다.
사용자 입력이 수신되면, 디바이스(100)는 수신된 답신 메시지를 대화창의 입력 필드에 표시할 수 있다. 그리고, 전송 버튼을 선택하는 사용자 입력에 따라, 단계 S2413에서, 디바이스(100)는 표시된 답신 메시지를 제2 디바이스에게 전송할 수 있다.
전술한 디바이스(100)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 디바이스(100)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
본 개시의 일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 답신 메시지를 전송하는 디바이스에 있어서,
    정보를 표시하는 디스플레이부;
    다른 디바이스로부터 질문 메시지를 수신하는 통신부;
    상기 수신된 질문 메시지에 대한 답신 메시지에 포함 가능한 복수 개의 추천 정보들 및 상기 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽이 표시되도록 상기 디스플레이부를 제어하는 프로세서; 및
    상기 복수 개의 추천 정보들 중 적어도 하나의 추천 정보를 선택하는 사용자 입력을 수신하는 사용자 입력부를 포함하고,
    상기 통신부는 상기 사용자 입력에 따라, 상기 선택된 추천 정보를 포함하는 답신 메시지를 상기 다른 디바이스에게 전송하는 것
    을 특징으로 하는 디바이스.
  2. 제1항에 있어서,
    상기 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽은,
    상기 복수 개의 추천 정보들 간의 관계를 트리 구조 또는 방사형 구조로 나타낸 것
    을 특징으로 하는 디바이스.
  3. 제1항에 있어서,
    상기 복수 개의 추천 정보들 간의 관계는,
    상기 복수 개의 추천 정보들 간에 선호도, 중요도, 위치, 시간 및 분위기 중 적어도 하나의 속성에 관한 가중치를 가지고 서로 연결된 것
    을 특징으로 하는 디바이스.
  4. 제1항에 있어서,
    상기 복수 개의 추천 정보들은,
    사용자에 의하여 등록된 콘텐트에 기초하여 생성된 것
    을 특징으로 하는 디바이스.
  5. 제4항에 있어서,
    상기 복수 개의 추천 정보들은,
    상기 등록된 콘텐트의 태그 정보 및 중요도에 기초하여 생성된 것
    을 특징으로 하는 디바이스.
  6. 제1항에 있어서,
    상기 복수 개의 추천 정보들은,
    사용자에 의하여 검색, 캡쳐, 촬영 또는 메모된 데이터로부터 생성된 것
    을 특징으로 디바이스.
  7. 제1항에 있어서,
    상기 복수의 추천 정보들이 이미지들인 경우,
    상기 답신 메시지는 상기 이미지들 중 선택된 적어도 하나의 이미지로부터 획득된 키워드를 포함하는 것
    을 특징으로 하는 디바이스.
  8. 제7항에 있어서,
    상기 복수의 추천 정보들이 이미지들인 경우,
    상기 답신 메시지는 상기 이미지들 중 선택된 적어도 하나의 이미지를 포함하는 것
    을 특징으로 하는 디바이스.
  9. 제1항에 있어서,
    상기 다른 디바이스로부터 수신된 상기 질문 메시지가 대화창에 표시된 상태에서, 또 다른 디바이스로부터 제2 질문 메시지를 수신하는 경우,
    상기 프로세서는,
    상기 대화창의 입력 필드에서 태그 정보를 입력하는 사용자 입력에 따라, 상기 또 다른 디바이스의 식별 정보가 상기 대화창의 입력 필드에 자동으로 표시되도록 상기 디스플레이부를 제어하는 것
    을 특징으로 하는 디바이스.
  10. 제1항에 있어서,
    상기 다른 디바이스로부터 수신된 질문 메시지가 대화창에 표시된 상태에서, 또 다른 디바이스로부터 제2 질문 메시지를 수신하는 경우,
    상기 통신부는,
    상기 대화창의 입력 필드에서 태그 정보, 상기 또 다른 디바이스의 식별 정보 및 상기 제2 질문 메시지에 대한 제2 답신 메시지를 입력하는 사용자 입력에 따라, 상기 제2 답신 메시지를 상기 또 다른 디바이스에게 전송하는 것
    을 특징으로 하는 디바이스.
  11. 답신 메시지를 전송하는 디바이스의 답신 메시지 전송 방법에 있어서,
    다른 디바이스로부터 질문 메시지를 수신하는 단계;
    상기 수신된 질문 메시지에 대한 답신 메시지에 포함 가능한 복수 개의 추천 정보들 및 상기 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽을 표시하는 단계; 및
    상기 복수 개의 추천 정보들 중 적어도 하나의 추천 정보를 선택하는 사용자 입력에 따라, 상기 선택된 추천 정보를 포함하는 답신 메시지를 상기 다른 디바이스에게 전송하는 단계;
    를 포함하는 답신 메시지 전송 방법.
  12. 제11항에 있어서,
    상기 복수 개의 추천 정보들 간의 관계를 나타내는 그래픽은,
    상기 복수 개의 추천 정보들 간의 관계를 트리 구조 또는 방사형 구조로 나타낸 것
    을 특징으로 하는 답신 메시지 전송 방법.
  13. 제11항에 있어서,
    상기 복수 개의 추천 정보들 간의 관계는,
    상기 복수 개의 추천 정보들 간에 선호도, 중요도, 위치, 시간 및 분위기　 중 적어도 하나의 속성에 관한 가중치를 가지고 서로 연결된 것
    을 특징으로 하는 답신 메시지 전송 방법.
  14. 제11항에 있어서,
    상기 복수 개의 추천 정보들은,
    사용자에 의하여 등록된 콘텐트에 기초하여 생성된 것
    을 특징으로 하는 답신 메시지 전송 방법.
  15. 제14항에 있어서,
    상기 복수 개의 추천 정보들은,
    상기 등록된 콘텐트의 태그 정보 및 중요도에 기초하여 생성된 것
    을 특징으로 하는 답신 메시지 전송 방법.
PCT/KR2016/009796 2015-09-01 2016-09-01 답신 메시지 추천 방법 및 이를 위한 디바이스 WO2017039355A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201680063323.2A CN108432190B (zh) 2015-09-01 2016-09-01 应答消息推荐方法及其设备
EP16842321.8A EP3324581B1 (en) 2015-09-01 2016-09-01 Answer message recommendation method and device therefor
EP20192717.5A EP3764668A1 (en) 2015-09-01 2016-09-01 Answer message recommendation method and device therefor
US15/756,208 US10469412B2 (en) 2015-09-01 2016-09-01 Answer message recommendation method and device therefor
US16/586,430 US11005787B2 (en) 2015-09-01 2019-09-27 Answer message recommendation method and device therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20150123491 2015-09-01
KR10-2015-0123491 2015-09-01
KR10-2016-0103550 2016-08-16
KR1020160103550A KR102598273B1 (ko) 2015-09-01 2016-08-16 답신 메시지 추천 방법 및 이를 위한 디바이스

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/756,208 A-371-Of-International US10469412B2 (en) 2015-09-01 2016-09-01 Answer message recommendation method and device therefor
US16/586,430 Continuation US11005787B2 (en) 2015-09-01 2019-09-27 Answer message recommendation method and device therefor

Publications (1)

Publication Number Publication Date
WO2017039355A1 true WO2017039355A1 (ko) 2017-03-09

Family

ID=58189021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009796 WO2017039355A1 (ko) 2015-09-01 2016-09-01 답신 메시지 추천 방법 및 이를 위한 디바이스

Country Status (1)

Country Link
WO (1) WO2017039355A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145101A (zh) * 2018-09-06 2019-01-04 北京京东尚科信息技术有限公司 人机对话方法、装置和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140026932A (ko) * 2012-08-24 2014-03-06 (주)에이엔비 사용자 성향 분석을 통한 맞춤형 쇼핑 정보 제공 시스템 및 방법
KR20140122801A (ko) * 2013-04-11 2014-10-21 에스케이플래닛 주식회사 메시지 서비스에서의 비밀 메시지 전송 방법, 이를 위한 장치 및 시스템
KR20150055448A (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
WO2015073565A1 (en) * 2013-11-13 2015-05-21 Google Inc. Methods, systems, and media for presenting recommended media content items
WO2015102125A1 (ko) * 2013-12-31 2015-07-09 엘지전자 주식회사 문자형 대화 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140026932A (ko) * 2012-08-24 2014-03-06 (주)에이엔비 사용자 성향 분석을 통한 맞춤형 쇼핑 정보 제공 시스템 및 방법
KR20140122801A (ko) * 2013-04-11 2014-10-21 에스케이플래닛 주식회사 메시지 서비스에서의 비밀 메시지 전송 방법, 이를 위한 장치 및 시스템
KR20150055448A (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
WO2015073565A1 (en) * 2013-11-13 2015-05-21 Google Inc. Methods, systems, and media for presenting recommended media content items
WO2015102125A1 (ko) * 2013-12-31 2015-07-09 엘지전자 주식회사 문자형 대화 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145101A (zh) * 2018-09-06 2019-01-04 北京京东尚科信息技术有限公司 人机对话方法、装置和计算机可读存储介质

Similar Documents

Publication Publication Date Title
WO2016018039A1 (en) Apparatus and method for providing information
WO2016167481A1 (en) Method and apparatus for recommending reply message
WO2016018111A1 (en) Message service providing device and method of providing content via the same
WO2020214006A1 (en) Apparatus and method for processing prompt information
WO2015083969A1 (en) Mobile terminal and method for controlling the same
WO2014010998A1 (en) Method for transmitting and receiving data between memo layer and application and electronic device using the same
WO2016048102A1 (en) Image display method performed by device including switchable mirror and the device
WO2017082508A1 (ko) 와치형 단말기 및 그 제어방법
WO2014011000A1 (en) Method and apparatus for controlling application by handwriting image recognition
WO2016137167A1 (en) Terminal
WO2020166995A1 (en) Apparatus and method for managing schedule in electronic device
WO2014175683A1 (en) User terminal device and display method thereof
WO2019039834A1 (en) METHOD FOR PROCESSING VOICE DATA AND ELECTRONIC DEVICE SUPPORTING SAID METHOD
WO2014030952A1 (en) Information transmission method and system, device, and computer readable recording medium thereof
WO2016085173A1 (en) Device and method of providing handwritten content in the same
WO2016018062A1 (en) Method and device for providing content
WO2014157839A1 (en) Terminal apparatus mountable in vehicle, mobile device for working with the terminal apparatus, and methods for providing service thereof
EP3198376A1 (en) Image display method performed by device including switchable mirror and the device
WO2015199280A1 (en) Mobile terminal and method of controlling the same
EP3283942A1 (en) Method and apparatus for recommending reply message
WO2016089079A1 (en) Device and method for outputting response
WO2019194426A1 (en) Method for executing application and electronic device supporting the same
WO2016153207A1 (ko) 이동 단말기 및 그 제어 방법
WO2020032564A1 (en) Electronic device and method for providing one or more items in response to user speech
WO2014010975A1 (en) User interface apparatus and method for user terminal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16842321

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2016842321

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15756208

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE