WO2023058982A1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2023058982A1
WO2023058982A1 PCT/KR2022/014458 KR2022014458W WO2023058982A1 WO 2023058982 A1 WO2023058982 A1 WO 2023058982A1 KR 2022014458 W KR2022014458 W KR 2022014458W WO 2023058982 A1 WO2023058982 A1 WO 2023058982A1
Authority
WO
WIPO (PCT)
Prior art keywords
texts
event information
text
obtaining
additional information
Prior art date
Application number
PCT/KR2022/014458
Other languages
English (en)
French (fr)
Inventor
최형탁
고현묵
김문조
류성한
곽세진
라부루로힛
신익희
양해훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202280063548.3A priority Critical patent/CN117999557A/zh
Priority to EP22878803.0A priority patent/EP4336401A1/en
Publication of WO2023058982A1 publication Critical patent/WO2023058982A1/ko
Priority to US18/140,202 priority patent/US11880654B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and relates to an electronic device that extracts event information based on text included in a message application and provides a service corresponding to the event information to a user, and a control method thereof.
  • Electronic devices such as recent smart phones extract event information from text (including images and emoticons) input through a message application (or messenger application, chat application) and provide a service corresponding to the extracted event information (eg, schedule management service, reservation service, shopping service, etc.).
  • a message application or messenger application, chat application
  • a service corresponding to the extracted event information eg, schedule management service, reservation service, shopping service, etc.
  • the platform eg, OS (Operating system)
  • OS Operating system
  • the chat window screen is moved by user interaction or when the screen is moved to a new chat window screen
  • the order of texts extracted from the platform is disturbed.
  • texts may be extracted in the order included in the first screen 10 . That is, while the first screen 10 is displayed, the platform may extract text in the order of text 1 to text 5 as shown in the lower left 20 of FIG. 1 .
  • the display displays text ⁇ 2 to text 0, which are texts previous to text 1 to text 5 displayed on the first screen 10.
  • the screen 11 can be displayed. While the display displays the second screen 11, the platform may newly extract text 0 to text -2.
  • the platform extracts text in the order of text 4, text 5, text 0, text -1, and text -2, as shown in the lower center 21 of FIG. can
  • the display displays a third text newly including text 3 and text 4, which are texts subsequent to text -2 to text 2 displayed on the second screen 11.
  • the screen 12 can be displayed.
  • the platform may newly extract text 3 and text 4. That is, while the third screen 12 is displayed, the platform extracts text in the order of text 0, text -1, text -2, text 3, and text 4, as shown in the lower right 22 of FIG. can
  • FIG. 1 when the order of extracted text is changed according to user interaction, a problem in that meaningful event information cannot be extracted or erroneous event information may be extracted may occur.
  • the present disclosure has been made to solve the above problems, and an object of the present disclosure is to align the order of a plurality of texts extracted from a chat window screen of a message application, and additional information for generating event information from the arranged plurality of texts. It is to provide an electronic device and a control method for identifying whether a need exists and obtaining event information based on an identification result.
  • an electronic device includes a display; a memory storing at least one instruction; and a processor, wherein the processor extracts and collects a plurality of texts displayed in a chat window of a message application by executing at least one instruction, and inputs the collected plurality of texts to the learned first neural network model. Sort the plurality of texts in order, and input the plurality of texts arranged in the order to the learned second neural network model to identify whether additional information for obtaining event information from the plurality of texts is needed, and the Based on the identification result, event information is obtained from the plurality of texts.
  • the event information may be obtained using only the obtained plurality of texts.
  • the processor inputs the plurality of texts to the learned third neural network model to obtain a plurality of candidate texts for obtaining the additional information. Obtaining, selecting at least one of the plurality of candidate texts, and obtaining the event information using the plurality of texts and the selected at least one candidate text.
  • the processor identifies a direction in which additional information exists before or after the plurality of texts, and scrolls in the identified direction.
  • the display may be controlled to provide a UI for doing so.
  • the processor when detecting a scroll interaction based on the UI, scrolls a chat window screen according to the scroll interaction and obtains the event information using the plurality of texts and the text displayed on the scrolled screen.
  • the processor generates a question text for acquiring the additional information, obtains a response text to the question text, and obtains the plurality of texts.
  • the event information may be obtained using the text of and the response text.
  • the first neural network model may include a sentence precedent prediction model for inputting two texts among the plurality of texts and determining a precedence relationship between the two texts, and a sentence precedence prediction model for inputting the plurality of texts and determining a relationship between the plurality of texts. At least one of sentence order prediction models for determining order may be included.
  • the processor may capture a chat window of the message application and extract a plurality of texts displayed in the chat window by performing OCR (Optical Character Recognition) on the captured chat window image.
  • OCR Optical Character Recognition
  • the processor may obtain a summary sentence corresponding to the event information from the plurality of texts, and control the display to provide a notification message including the obtained summary sentence.
  • a control method of an electronic device may include extracting and collecting a plurality of texts displayed in a chat window of a message application; arranging the plurality of texts in order by inputting the collected plurality of texts into a first learned neural network model; inputting the plurality of texts arranged in the order to the learned second neural network model and identifying whether additional information for obtaining event information from the plurality of texts is required; and obtaining event information from the plurality of texts based on the identification result.
  • the event information may be obtained using only the obtained plurality of texts.
  • the obtaining step if it is identified that additional information for obtaining event information from the plurality of texts is needed, the plurality of texts are input to the learned third neural network model to obtain the plurality of additional information. obtaining candidate text; selecting at least one of the plurality of candidate texts; and obtaining the event information using the plurality of texts and the selected at least one candidate text.
  • the acquiring may include, when it is identified that additional information for obtaining event information from the plurality of texts is necessary, identifying a direction in which additional information exists before or after the plurality of texts; and providing a UI for scrolling in the identified direction.
  • the acquiring may include, when a scroll interaction based on the UI is detected, scrolling a chat window screen according to the scroll interaction; and acquiring the event information using the plurality of texts and the text displayed on the scrolled screen.
  • the acquiring may include, when it is identified that additional information for obtaining event information is needed from the plurality of texts, generating question text for obtaining the additional information; obtaining a response text to the question text; and acquiring the event information using the plurality of texts and the response text.
  • the first neural network model may include a sentence precedent prediction model for inputting two texts among the plurality of texts and determining a precedence relationship between the two texts, and a sentence precedence prediction model for inputting the plurality of texts and determining a relationship between the plurality of texts. At least one of sentence order prediction models for determining order may be included.
  • the collecting may include capturing a chat window of the message application; and extracting a plurality of texts displayed in the chat window by performing optical character recognition (OCR) on the captured chat window image.
  • OCR optical character recognition
  • an electronic device can provide meaningful event information using a plurality of texts included on a chat window screen of a message application.
  • 1 is a diagram for explaining a conventional platform extracting text
  • FIG. 2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram showing a configuration for providing event information based on a plurality of texts displayed on a message application screen according to an embodiment of the present disclosure
  • 4A and 4B are diagrams for explaining a sentence precedence prediction model according to an embodiment of the present disclosure.
  • 5A and 5B are diagrams for explaining a sentence completion prediction model according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart for explaining a method of obtaining a completed dialogue based on a plurality of candidate texts according to an embodiment of the present disclosure
  • FIG. 7A is a flowchart for explaining a method of obtaining a completed conversation using a scroll UI according to another embodiment of the present disclosure
  • FIG. 7B is a diagram for explaining a scroll UI according to another embodiment of the present disclosure.
  • 8A is a flowchart for explaining a method of obtaining a completed dialogue based on a response text to a question text according to another embodiment of the present disclosure
  • 8B is a diagram for explaining a UI including a question text according to another embodiment of the present disclosure.
  • FIG. 9 is a block diagram showing a configuration for obtaining event information according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a UI including event information according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the presence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that an element may be directly connected to another element, or may be connected through another element (eg, a third element).
  • an element eg, a first element
  • another element eg, a second element
  • it is referred to as a component different from a component. It may be understood that there are no other components (eg, third components) between the elements.
  • the phrase “device configured to” may mean that the device is “capable of” in conjunction with other devices or components.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (eg, embedded processor) to perform the operation, or by executing one or more software programs stored in a memory device.
  • a general-purpose processor eg, CPU or application processor
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented with hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented by at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • the electronic device 100 includes a display 110, a speaker 120, a communication interface 130, a memory 140, an input interface 150, a sensor 160, and a processor 170.
  • the electronic device 100 may be implemented as a smart phone.
  • the electronic device 100 according to the present disclosure is not limited to a specific type of device, and may be implemented in various types of electronic devices 100 such as a tablet PC and a digital camera.
  • the display 110 may display images provided from various sources.
  • the display 110 may display a chat window screen of a message application.
  • the display 110 may display a UI for guiding scrolling, a UI including event information, and the like on the chat window screen.
  • the display 110 may be implemented as a Liquid Crystal Display Panel (LCD), Organic Light Emitting Diodes (OLED), or the like, and the display 110 may also be implemented as a flexible display, a transparent display, or the like, depending on the case. .
  • the display 110 according to the present disclosure is not limited to a specific type.
  • the speaker 120 may output a voice message.
  • the speaker 120 may provide it in the form of a voice message to guide reception of the message.
  • the speaker 120 may be included inside the electronic device 1000, but this is only an example, and may be electrically connected to the electronic device 100 and located outside.
  • the communication interface 130 includes a circuit and can perform communication with an external device.
  • the processor 170 may receive various data or information from an external device connected through the communication interface 130 and may transmit various data or information to the external device.
  • the communication interface 130 may include at least one of a WiFi module, a Bluetooth module, a wireless communication module, and an NFC module.
  • each of the WiFi module and the Bluetooth module may perform communication using a WiFi method or a Bluetooth method.
  • various connection information such as an SSID is first transmitted and received, and various information can be transmitted and received after communication is connected using this.
  • the wireless communication module may perform communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), and 5th Generation (5G).
  • the NFC module may perform communication using a Near Field Communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 ⁇ 960 MHz, and 2.45 GHz.
  • NFC Near Field Communication
  • the communication interface 130 may receive various types of information, such as data related to various neural network models, from an external device. Also, the communication interface 130 may receive a message from an external device and may transmit a message to the external device.
  • the memory 140 may store at least one instruction for controlling the electronic device 100 .
  • the memory 140 may store data necessary for a module for arranging the order of extracted text and obtaining event information using the sorted text to perform various operations.
  • Modules for arranging the order of the extracted text and acquiring event information using the sorted text include a data collection module 315, a dialog composition module 325, a sentence precedence prediction module 330, and a sentence order prediction module 340. ), a dialog completion prediction module 350, a dialog completion module 360, an event information acquisition module 370, an information extraction module 910, a recommendation decision module 920, and the like.
  • the memory 140 may store a neural network model that is a plurality of language models for arranging the order of the extracted text and acquiring event information using the arranged text.
  • the memory 140 may include a non-volatile memory capable of maintaining stored information even if power supply is interrupted, and a volatile memory requiring continuous power supply to maintain stored information.
  • Data for arranging the order of the extracted text and obtaining event information using the sorted text may be stored in a non-volatile memory.
  • a plurality of neural network models for arranging the order of the extracted text and acquiring event information using the arranged text may also be stored in the non-volatile memory.
  • the memory 140 includes a data collection DB 320 that stores text information extracted from the data collection module 315 and a conversation DB 365 that stores completed conversations obtained from the conversation composition module 325.
  • a data collection DB 320 that stores text information extracted from the data collection module 315
  • a conversation DB 365 that stores completed conversations obtained from the conversation composition module 325.
  • the input interface 150 includes a circuit, and the processor 160 may receive a user command for controlling the operation of the electronic device 100 through the input interface 150 .
  • the input interface 150 may be implemented in a form included in the display 110 as a touch screen, but this is only one embodiment, and is composed of components such as buttons, a microphone, and a remote control signal receiver (not shown). can lose
  • the input interface 150 receives a user command for inputting a message into a chat window screen, a user command for scrolling a chat window screen, a user command for inputting a response text, and event information.
  • Various user commands such as a user command for registration may be input.
  • the sensor 160 may acquire various information related to the electronic device 100 .
  • the sensor 160 may include a GPS capable of obtaining location information of the electronic device 100, and a biometric sensor (eg, a heart rate sensor) for obtaining biometric information of a user using the electronic device 100. , PPG sensor, etc.), a motion sensor for detecting motion of the electronic device 100, and the like.
  • the sensor 160 may include an image sensor or an infrared sensor for obtaining an image.
  • the processor 170 may be electrically connected to the memory 140 to control overall functions and operations of the electronic device 100 .
  • the processor 170 sorts the extracted text stored in the non-volatile memory and uses the sorted text
  • a module for obtaining event information may load data for performing various operations into a volatile memory.
  • the processor 170 may arrange the order of the extracted text and load a plurality of neural network models for obtaining event information using the sorted text into a volatile memory.
  • the processor 170 may perform various operations through various modules and neural network models based on the data loaded into the volatile memory.
  • loading refers to an operation of loading and storing data stored in a non-volatile memory into a volatile memory so that the processor 170 can access the data.
  • the processor 170 extracts and collects a plurality of texts output in the chat window of the message application, inputs the collected plurality of texts to the learned first neural network model, sorts the plurality of texts in order, and sorts the texts in order.
  • the processor 170 extracts and collects a plurality of texts output in the chat window of the message application, inputs the collected plurality of texts to the learned first neural network model, sorts the plurality of texts in order, and sorts the texts in order.
  • the learned second neural network model it is identified whether additional information for obtaining event information from the plurality of texts is required, and event information is obtained from the plurality of texts based on the identification result.
  • the processor 170 may receive a plurality of texts displayed in a chat window from a message application or extract a plurality of texts included in a chat window of a message application through OCR recognition.
  • the text may include sentences, words, phrases, syllables, and the like.
  • the processor 170 may arrange the plurality of texts in order by inputting the collected texts to the first learned neural network model.
  • the first neural network model is a sentence sequence prediction model for determining a precedence relationship between two texts by inputting two texts among a plurality of texts and a sentence sequence for determining an order among a plurality of texts by inputting a plurality of texts. It may include at least one of the predictive models.
  • the processor 170 may input a plurality of texts arranged in order to a second learned neural network model, for example, a dialog completion prediction model, to identify whether additional information for obtaining event information from the plurality of texts is required. . In this case, the processor 170 may identify whether additional information is needed before or after the plurality of texts through the second neural network model.
  • a second learned neural network model for example, a dialog completion prediction model
  • the processor 170 may obtain event information using only the obtained plurality of texts.
  • the event information is information for performing a service provided by a platform, an application, or a third part in the electronic device 100, and may be information related to a schedule management service, a shopping service, a reservation service, and the like.
  • the processor 170 may obtain additional information for acquiring event information by completing a dialog.
  • the processor 170 may acquire a plurality of candidate texts for obtaining additional information by inputting a plurality of texts to a learned third neural network model (eg, a candidate text generation model). And, the processor 170 may select at least one of the plurality of candidate texts. At this time, the processor 170 may select a candidate text having the highest probability among a plurality of candidate texts, but this is merely an example, and one candidate text may be selected from among the plurality of candidate texts by user selection. The processor 170 may obtain event information using a plurality of texts and the selected at least one candidate text.
  • a learned third neural network model eg, a candidate text generation model
  • the processor 170 identifies a direction in which additional information exists before or after a plurality of texts based on information output by the dialog completion prediction model, and provides a UI for scrolling in the identified direction.
  • the display 110 may be controlled to Further, when a scroll interaction based on the UI is detected, the processor 170 controls the display 110 to scroll the chat window screen according to the scroll interaction, and uses a plurality of texts and the text displayed on the scrolled screen to provide event information. can be obtained.
  • the processor 170 generates a question text for obtaining additional information by inputting a plurality of texts to a fourth neural network model (eg, a question text generation model), obtains a response text to the question text, , Event information may be obtained using a plurality of texts and response text.
  • a fourth neural network model eg, a question text generation model
  • the processor 170 may provide various services based on the acquired event information. For example, the processor 170 may register a schedule in a calendar application based on event information, perform shopping in a shopping application, and make a reservation in a reservation application.
  • the processor 170 may obtain a summary sentence corresponding to the event information from a plurality of texts, and control the display 110 to provide a notification message including the obtained summary sentence.
  • the message application 305 may store conversation-related data received from an external device or input by a user. In this case, the message application 305 may provide conversation-related data to be displayed on the display 110 according to a user input. Conversation-related data may include not only text but also emoticons and images.
  • the platform 310 may extract conversation-related data from the chat window screen of the message application 305 displayed on the display 110 .
  • the platform 310 may obtain conversation-related data displayed on the display 110 through the message application 305 while the conversation-related data is displayed on the display 110 .
  • the platform 310 captures a chat window screen of a message application including chat-related data, and extracts a plurality of texts displayed in the chat window by performing OCR (Optical Character Recognition) on the captured chat window screen. can do.
  • OCR Optical Character Recognition
  • the data collection module 315 may obtain conversation-related data extracted from the platform 310 . At this time, the data collection module 315 may store a plurality of texts among the acquired conversation-related data in the data collection DB 320 . And, the data collection module 315 may provide the obtained text to the conversation composition module 325 .
  • the dialog composition module 325 may arrange a plurality of texts in order, determine whether a dialog is completed in order to determine whether additional information is required, and generate a completed dialog.
  • the dialog composition module 325 may arrange a plurality of texts in order by using the sentence precedence prediction module 330 and the sentence sequence prediction module 340 .
  • the dialog composition module 325 may input two texts to the sentence precedence prediction model 330 .
  • the sentence precedence prediction module 330 may input two texts into the sentence precedence prediction model 335 to determine the precedence of the two texts.
  • the sentence precedence prediction model 330 may change the order of the two texts and input them to the sentence precedence prediction model 335 .
  • the sentence precedence prediction module 330 may acquire two texts ("I completed high school” and "Then, I joined undergrad") from the sentence construction module 325.
  • the sentence precedence prediction module 330 inputs two texts 410 into the sentence precedence prediction model 335 in the order of “I completed high school” and “Then, I joined undergrad” to make two texts.
  • a first probability 420 that the order of the sentences is correct may be obtained.
  • the sentence precedence prediction module 330 changes the order of the two texts and converts the two texts 430 into sentences in the order of “Then, I joined undergrad” and “I completed high school”.
  • the second probability 440 that the order of the two sentences is correct may be obtained by inputting the first sentence to the prior prediction model 335 .
  • the sentence precedence prediction module 330 may compare the first probability 420 and the second probability 440 to determine the order of the two sentences. For example, if the first probability 420 is higher than the second probability 440, the sentence precedence prediction module 330 determines that the order of the two texts is “I completed high school” and “Then, I joined undergrad” can do.
  • the dialog composition module 325 may input three or more texts into the sentence sequence prediction model 340 .
  • the sentence order prediction module 340 may predict the order of three or more texts by inputting three or more texts to the sentence order prediction model 345 .
  • the sentence order prediction model 345 may be a neural network model trained to predict a relationship between a plurality of texts and to determine and arrange the order of a plurality of texts.
  • the dialog composition module 325 uses both the sentence precedence prediction module 330 and the sentence order prediction module 340 in order to increase the accuracy of determining the order of text, but this This is only an example, and only one of the sentence precedence prediction module 330 and the sentence sequence prediction module 340 may be used to improve processing speed.
  • the dialogue composition module 325 pairs a plurality of texts two by one and inputs them to the sentence precedence prediction module 330 to determine the precedence order of the paired two texts.
  • a plurality of texts may be arranged in order based on the precedence and precedence of the paired texts.
  • the dialogue composition module 325 may use the dialogue completion prediction module 350 to determine whether a plurality of texts arranged in order are completed dialogue sentences.
  • the completed dialog is a dialog from which event information can be obtained, and the incomplete dialog may require additional information to obtain event information.
  • the dialog composition module 325 may input a plurality of aligned texts to the dialog completion prediction module 350 .
  • the dialog completion prediction module 350 may use the dialog completion prediction model 355 to determine whether there is additional information before or after the plurality of aligned texts.
  • the dialogue completion prediction module 350 inputs the plurality of texts and the virtual previous text to the dialogue completion prediction model 355 to determine whether additional information exists before the plurality of texts, It is possible to determine whether additional information exists after a plurality of texts by inputting virtual subsequent text to the dialog completion prediction model 355 .
  • the virtual previous text or the virtual subsequent text may be a blank sentence.
  • the dialogue completion prediction module 350 inputs a first dialogue sentence 510 composed of a plurality of texts and a virtual previous text to the dialogue completion prediction model 355 to generate a plurality of texts.
  • a third probability 520 of which there is additional information before may be obtained, and as shown in FIG. may be input to the dialog completion prediction model 355 to obtain a fourth probability 540 of additional information after a plurality of texts.
  • the dialog completion prediction module 350 provides information on whether or not the dialog is completed (ie, whether additional information is required) and information on the location where the additional information is located based on the third probability 520 and the fourth probability 540. can be obtained. Specifically, the dialog completion prediction module 350 may determine whether the third probability 520 and the fourth probability 540 exceed a threshold value. For example, when the third probability 520 and the fourth probability 540 are less than or equal to the threshold value, the dialog completion prediction module 350 may determine the plurality of texts as completed conversations. However, when at least one of the third probability 520 and the fourth probability 540 is greater than a threshold value, the conversation completion prediction module 350 may determine that the plurality of texts are incomplete conversations.
  • the dialog completion prediction module 350 determines that there is additional information before the plurality of texts, and if the fourth probability 540 exceeds the threshold value, the dialog completion prediction module 350 The prediction module 350 may determine that there is additional information after the plurality of texts.
  • the dialog completion prediction module 350 adds text after the plurality of texts. It can be judged that there is information.
  • the conversation composition module 325 transfers the completed conversations to the conversation DB 365 and the event information. It can be output to the information acquisition module 370.
  • the dialogue composition module 325 may perform a plurality of texts arranged in the dialogue completion module 360 to obtain additional information for obtaining event information. You can enter text.
  • the dialog completion module 360 may acquire the completed dialog by obtaining additional information for acquiring event information. A method for the dialog completion module 360 to obtain additional information and obtain a completed dialog will be described with reference to FIGS. 6 to 8B.
  • FIG. 6 is a flowchart illustrating a method of obtaining a completed dialogue based on a plurality of candidate texts according to an embodiment of the present disclosure.
  • the dialog completion module 360 may obtain a plurality of texts from the dialog composition module 325 and input the plurality of texts to the candidate text generation model (S610).
  • the candidate text generation model may be a neural network model trained to generate a plurality of candidate texts by predicting texts before or after the plurality of texts.
  • the dialog completion module 360 may generate a plurality of candidate texts through the candidate text generation model (S620). For example, the dialogue completion module 360 inputs a plurality of texts shown in FIG. 5B into the candidate text generation model to include “How about meeting at Gangnam Station?”, “I will go to your office”, “anywhere”. candidate texts such as In this case, the candidate text generation model may be trained to generate candidate text based on user history.
  • the dialog completion module 360 may select at least one of a plurality of candidate texts (S630).
  • the dialogue completion module 360 may input a plurality of candidate texts to a selection model and select a text having the highest probability among the plurality of candidate texts.
  • the dialog completion module 360 may display a plurality of candidate texts on the display 110 and select at least one candidate text from among the plurality of candidate texts according to a user input. For example, the dialog completion module may select “How about meeting at Gangnam Station?” with the highest probability or selected by the user.
  • the dialog completion module 360 may obtain a completed dialog using a plurality of texts and the selected at least one candidate text (S640). The dialog completion module 360 may output the completed dialog to the dialog composition module 325 .
  • FIG. 7A is a flowchart illustrating a method of obtaining a completed conversation using a scroll UI according to another embodiment of the present disclosure.
  • the dialog completion module 360 may obtain a plurality of texts from the dialog composition module 325 (S710). In this case, the dialog completion module 360 may obtain not only the plurality of texts but also information on whether additional information exists before or after the plurality of texts.
  • the dialogue completion module 360 may identify a direction in which the additional information is included based on information on whether the additional information exists before or after the plurality of texts (S720).
  • the dialog completion module 360 may provide a UI for scrolling in the identified direction (S730). Specifically, if it is identified that the additional information is included in the direction before the plurality of texts, the conversation completion module 360 may provide a UI for scrolling upward on the dialog window screen, and the additional information in the direction after the plurality of texts. is identified as being included, the conversation completion module 360 may provide a UI for scrolling in a downward direction on the conversation window screen. For example, if it is determined that additional information is included in the direction after the plurality of texts, the dialog completion module 360 includes an indicator indicating downward scrolling and a guide message on the dialog window screen, as shown in FIG. 7B.
  • the display 110 may be controlled to provide a UI 760 for display.
  • the processor 170 may scroll the chat window screen according to the scroll interaction (S740).
  • the dialog composition module 325 extracts additional text from the scrolled dialog window screen and uses the sentence precedence prediction module 330 and the sentence order prediction module 340 to extract a plurality of texts.
  • the text and the additional text are arranged in order, and it is possible to determine whether the plurality of texts and the additional text are completed conversations through the sentence completion prediction module 350 .
  • the conversation completion module 360 may obtain a conversation completed by using a plurality of texts and the text displayed on the scrolled screen (S750). At this time, the conversation completion module 360 may output the completed conversation to the conversation composition module 325 .
  • 8A is a flowchart illustrating a method of obtaining a completed dialogue based on a response text to a question text according to another embodiment of the present disclosure.
  • the dialog completion module 360 may obtain a plurality of texts from the dialog composition module 325 and input the plurality of texts to the question text generation model (S810).
  • the question text generation model may be a neural network model trained to generate a question for acquiring additional information before or after a plurality of texts.
  • the dialog completion module 360 may generate question text through a question text generation model (S820). For example, the dialog completion module 360 inputs a plurality of texts shown in FIG. 5B into the question text generation model to ask a question such as "Where will I meet Jane at this Thursday? Where will I meet Jane at this Thursday?" text can be generated.
  • a question text generation model S820
  • the dialog completion module 360 inputs a plurality of texts shown in FIG. 5B into the question text generation model to ask a question such as "Where will I meet Jane at this Thursday? Where will I meet Jane at this Thursday?” text can be generated.
  • the dialog completion module 360 may obtain a response text to the question text (S830). Specifically, the dialog completion module 360 may control the display 110 to provide the UI 850 including the question text as shown in FIG. 8B and obtain a response text to the question text. .
  • the response text may be obtained by a user's touch input, but this is only an example, and may be obtained by a voice input.
  • the question text may also be provided in the form of a voice message rather than the UI 850. there is.
  • the dialog completion module 360 may obtain the response text "Gangnam Station" through a touch input or a voice input.
  • the dialog completion module 360 may obtain a completed dialog using a plurality of texts and response text (S840). The dialog completion module 360 may output the completed dialog to the dialog composition module 325 .
  • the conversation composition module 360 may output the completed conversation text obtained using the method of FIGS. 6 to 8B to the conversation DB 365 and the event information acquisition module 370 .
  • Completed conversations stored in the conversation DB 365 may be used later to learn various neural network models or to acquire user history information.
  • the event information acquisition module 370 may obtain a completed conversation from the conversation composition module 325 . At this time, the event information acquisition module 370 may obtain event information for providing various services from the completed conversation.
  • the event information acquisition module 370 may output the completed dialogue to the information extraction module 910 .
  • the information extraction module 910 may extract event information by inputting the completed dialogue to the information extraction model 915 .
  • the information extraction module 910 may obtain event information for performing a schedule management service including time information, place information, schedule content information, etc. by inputting a completed dialogue to the information extraction model 915. there is.
  • the information extraction module 910 may obtain a summary sentence of the completed conversation by inputting the completed conversation to the information extraction model 915 . In this case, the obtained summary sentence may be included in a notification message for performing a service and provided to the user.
  • the recommendation determination module 920 may determine whether to recommend a service corresponding to the acquired event information to the user. Specifically, the recommendation determination module 920 may input the obtained event information into the recommendation model 925 to obtain a probability value of whether to recommend a service corresponding to the event information to the user, and the probability value exceeds a threshold value. It is possible to determine whether to recommend a service corresponding to the acquired event information to the user according to whether or not the event information has been obtained.
  • the event information acquisition module 370 may request a service corresponding to the event information from the platform 310 or other applications based on the determination result of the recommendation determination module 920 .
  • the platform 310 may control the display 110 to provide an alarm message asking the user whether to perform a service corresponding to the event information obtained from the completed chat.
  • the platform 310 controls the display 110 to display an alarm message 1010 for performing a schedule management service, which is a service obtained from event information, on a chat window screen.
  • the calendar application may register a schedule acquired from event information in a calendar.
  • the notification message 1010 is displayed on the chat window screen, but this is only one embodiment, and other methods (eg, a notification UI screen providing a plurality of notification messages, a screen Notification window at the top, etc.) may be provided to the user.
  • other methods eg, a notification UI screen providing a plurality of notification messages, a screen Notification window at the top, etc.
  • schedule management service as described in FIG. 10 is only an example, and various services such as shopping service and reservation service may be provided through event information.
  • FIG. 11 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 extracts and collects a plurality of texts displayed in the chat window of the message application (S1110).
  • the electronic device 100 may extract a plurality of texts from the application level, but this is only an example, and the plurality of texts may be extracted by capturing the chat window screen and performing OCR on the captured image. there is.
  • the electronic device 100 inputs a plurality of collected texts to the learned first neural network model and arranges the plurality of texts in order (S1120).
  • the first neural network model is a sentence sequence prediction model for determining a precedence relationship between two texts by inputting two texts among a plurality of texts and a sentence sequence for determining an order among a plurality of texts by inputting a plurality of texts. It may include at least one of the predictive models.
  • the electronic device 100 identifies whether additional information for obtaining event information from the plurality of texts is required by inputting a plurality of texts arranged in order to the learned second neural network model (S1130).
  • the electronic device 100 obtains event information from a plurality of texts based on the identification result (S1140). Specifically, when it is identified that additional information for obtaining event information from a plurality of texts is not needed, the electronic device 100 determines the obtained plurality of texts as a completed dialogue and obtains event information using only the plurality of texts. can do. However, if it is identified that additional information for obtaining event information is needed from a plurality of texts, the electronic device 100 may obtain the completed conversation by obtaining the additional information in various ways.
  • the electronic device 100 obtains a plurality of candidate texts for obtaining the additional information by inputting a plurality of texts to the learned third neural network model, selects at least one of the plurality of candidate texts, Event information may be obtained using a plurality of texts and the selected at least one candidate text.
  • the electronic device 100 identifies a direction in which additional information exists before or after a plurality of texts, provides a UI for scrolling in the identified direction, and displays a dialog window according to a scroll interaction based on the UI. , and event information may be obtained using a plurality of texts and text displayed on the scrolled screen.
  • the electronic device 100 may generate question text for obtaining additional information, obtain response text for the question text, and obtain event information using a plurality of texts and response text. .
  • the electronic device 100 may provide various services using event information.
  • the electronic device 100 may provide a schedule management service, a shopping service, a reservation service, and the like through event information.
  • the electronic device 100 may obtain a summary sentence corresponding to event information from a plurality of texts and provide a notification message for performing a service corresponding to the event information.
  • the notification message may include a summary sentence.
  • a processor may consist of one or a plurality of processors. At this time, one or a plurality of processors are CPUs, general-purpose processors such as APs, GPUs. It may be a graphics-only processor, such as a VPU, or an artificial intelligence-only processor, such as an NPU.
  • One or more processors control the input data to be processed according to predefined operating rules or artificial intelligence models stored in the non-volatile memory and the volatile memory.
  • a predefined action rule or artificial intelligence model is characterized in that it is created through learning.
  • being created through learning means that a predefined operation rule or an artificial intelligence model having desired characteristics is created by applying a learning algorithm to a plurality of learning data.
  • Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server/system.
  • An artificial intelligence model may be composed of a plurality of neural network layers. Each layer has a plurality of weight values, and the layer operation is performed through the operation result of the previous layer and the plurality of weight values.
  • Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), and GAN. (Generative Adversarial Networks) and deep Q-networks (Deep Q-Networks), and the neural network in the present disclosure is not limited to the above-described examples except for the cases specified.
  • a learning algorithm is a method of training a predetermined target device (eg, a robot) using a plurality of learning data so that the predetermined target device can make a decision or make a prediction by itself.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and the learning algorithm in the present disclosure is specified Except for, it is not limited to the above example.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in the present disclosure may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • a part of a computer program product eg, a downloadable app
  • a device-readable storage medium such as a memory of a manufacturer's server, an application store server, or a relay server. It can be temporarily stored or created temporarily.
  • Each of the components may be composed of a single object or a plurality of entities, and some of the sub-components described above are omitted. or other sub-elements may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration.
  • operations performed by modules, programs, or other components may be executed sequentially, in parallel, repetitively, or heuristically, or at least some operations may be executed in a different order, may be omitted, or other operations may be added.
  • unit or “module” used in the present disclosure includes units composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits, for example.
  • a “unit” or “module” may be an integrated component or a minimum unit or part thereof that performs one or more functions.
  • the module may be composed of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented as software including commands stored in a storage medium readable by a machine (eg, a computer).
  • the device calls the stored commands from the storage medium.
  • a device capable of operating according to the called command it may include an electronic device (eg, the electronic device 100) according to the disclosed embodiments.
  • the processor may directly or use other elements under the control of the processor to perform a function corresponding to the command.
  • An instruction may include code generated or executed by a compiler or interpreter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치는 디스플레이, 적어도 하나의 인스트럭션을 저장하는 메모리 및 프로세서를 포함하고, 프로세서는, 적어도 하나의 인스트럭션을 실행함으로써, 메시지 어플리케이션의 대화창에 디스플레이되는 복수의 텍스트를 추출하여 수집하고, 수집된 복수의 텍스트를 학습된 제1 신경망 모델에 입력하여 복수의 텍스트를 순서대로 정렬하고, 순서대로 정렬된 복수의 텍스트를 학습된 제2 신경망 모델에 입력하여 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한지 여부를 식별하고, 식별 결과에 기초하여 복수의 텍스트로부터 이벤트 정보를 획득한다.

Description

전자 장치 및 이의 제어 방법
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로서, 메시지 어플리케이션에 포함된 텍스트를 바탕으로 이벤트 정보를 추출하여 사용자에게 이벤트 정보에 대응되는 서비스를 제공하는 전자 장치 및 이의 제어 방법에 관한 것이다.
근래의 스마트 폰과 같은 전자 장치는 메시지 어플리케이션(혹은, 메신저 어플리케이션, 채팅 어플리케이션)을 통해 입력된 텍스트(이미지, 이모티콘 포함)로부터 이벤트 정보를 추출하여 추출된 이벤트 정보에 대응되는 서비스(예를 들어, 스케줄 관리 서비스, 예약 서비스, 쇼핑 서비스 등)를 제공하고 있다.
그러나, 써드 파티에서 제공하는 메시지 어플리케이션(예로, 카카오톡TM, 라인TM, Whats AppTM 등)의 경우, 플랫폼(예로, OS(Operating system)) 단에서는 어플리케이션에 저장된 정보를 접근할 수 없으므로, 메시지 어플리케이션의 대화창 화면 상에서 디스플레이되는 텍스트 정보를 추출하여 관리해야 한다.
이때, 사용자 인터렉션에 의해 대화창 화면이 이동하는 경우 혹은 새로운 대화창 화면으로 이동하는 경우, 플랙폼에서 추출되는 텍스트의 순서가 흐트러지는 문제점이 발생한다. 예를 들어, 도 1에 도시된 바와 같이, 디스플레이가 제1 화면(10)을 디스플레이하는 동안에는 제1 화면(10)에 포함된 순서대로 텍스트가 추출될 수 있다. 즉, 제1 화면(10)이 디스플레이되는 동안, 플랫폼은 도 1의 좌측 하단(20)에 도시된 바와 같이, 텍스트 1내지 텍스트 5 순으로 텍스트를 추출할 수 있다. 그러나, 사용자에 의해 아랫 방향으로 대화창 화면을 스크롤하는 인터렉션이 입력되면, 디스플레이는 제1 화면(10)에 디스플레이된 텍스트 1 내지 텍스트 5의 이전 텍스트인 텍스트 -2 내지 텍스트 0이 새롭게 포함된 제2 화면(11)을 디스플레이할 수 있다. 디스플레이가 제2 화면(11)을 디스플레이하는 동안 플랫폼은 텍스트 0 내지 텍스트 -2를 새롭게 추출할 수 있다. 즉, 제2 화면(11)이 디스플레이되는 동안 플랫폼은 도 1의 하단 중앙(21)에 도시된 바와 같이, 텍스트 4, 텍스트 5, 텍스트 0, 텍스트 -1, 텍스트 -2 순으로 텍스트를 추출할 수 있다. 또한, 사용자에 의해 위 방향으로 대화창 화면을 스크롤하는 인터렉션이 입력되면, 디스플레이는 제2 화면(11)에 디스플레이된 텍스트 -2 내지 텍스트 2의 이후 텍스트인 텍스트 3 및 텍스트 4가 새롭게 포함된 제3 화면(12)을 디스플레이할 수 있다. 디스플레이가 제3 화면(12)을 디스플레이하는 동안 플랫폼은 텍스트 3 및 텍스트 4를 새롭게 추출할 수 있다. 즉, 제3 화면(12)이 디스플레이되는 동안 플랫폼은 도 1의 우측 하단(22)에 도시된 바와 같이, 텍스트 0, 텍스트 -1, 텍스트 -2, 텍스트 3, 텍스트 4 순으로 텍스트를 추출할 수 있다. 도 1에 도시된 바와 같이, 사용자 인터렉션에 따라 추출되는 텍스트의 순서가 변경되는 경우, 유의미한 이벤트 정보를 추출할 수 없거나 잘못된 이벤트 정보를 추출하는 문제점이 발생할 수 있다.
뿐만 아니라, 플랫폼에 의해 추출된 현재 디스플레이되는 대화창 화면의 텍스트가 대화의 일부분인 경우, 유의미한 이벤트 정보를 추출하기 어려우므로, 원할한 서비스를 제공할 수 없는 한계가 존재한다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 메시지 어플리케이션의 대화창 화면으로부터 추출된 복수의 텍스트의 순서를 정렬하고, 정렬된 복수의 텍스트로부터 이벤트 정보를 생성하기 위한 추가 정보가 필요한지 여부를 식별하며, 식별 결과에 기초하여 이벤트 정보를 획득하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
본 개시의 일 실시예에 따른, 전자 장치는, 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 프로세서;를 포함하고, 상기 프로세서는, 적어도 하나의 인스트럭션을 실행함으로써, 메시지 어플리케이션의 대화창에 디스플레이되는 복수의 텍스트를 추출하여 수집하고, 상기 수집된 복수의 텍스트를 학습된 제1 신경망 모델에 입력하여 상기 복수의 텍스트를 순서대로 정렬하고, 상기 순서대로 정렬된 복수의 텍스트를 학습된 제2 신경망 모델에 입력하여 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한지 여부를 식별하고, 상기 식별 결과에 기초하여 상기 복수의 텍스트로부터 이벤트 정보를 획득한다.
그리고, 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요 없는 것으로 식별되면, 상기 획득된 복수의 텍스트만을 이용하여 상기 이벤트 정보를 획득할 수 있다.
또한, 상기 프로세서는, 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 복수의 텍스트를 학습된 제3 신경망 모델에 입력하여 상기 추가 정보를 획득하기 위한 복수의 후보 텍스트를 획득하고, 상기 복수의 후보 텍스트 중 적어도 하나의 선택하며, 상기 복수의 텍스트 및 상기 선택된 적어도 하나의 후보 텍스트를 이용하여 상기 이벤트 정보를 획득할 수 있다.
그리고, 상기 프로세서는, 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 복수의 텍스트의 이전 또는 이후 중 추가 정보가 존재하는 방향을 식별하고, 상기 식별된 방향으로 스크롤하기 위한 UI를 제공하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 UI에 기초한 스크롤 인터렉션이 감지되면, 상기 스크롤 인터렉션에 따라 대화창 화면을 스크롤하고, 상기 복수의 텍스트 및 상기 스크롤된 화면 상에 디스플레이된 텍스트를 이용하여 상기 이벤트 정보를 획득할 수 있다.
그리고, 상기 프로세서는 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 추가 정보를 획득하기 위한 질문 텍스트를 생성하고, 상기 질문 텍스트에 대한 응답 텍스트를 획득하고, 상기 복수의 텍스트 및 상기 응답 텍스트를 이용하여 상기 이벤트 정보를 획득할 수 있다.
또한, 상기 제1 신경망 모델은, 상기 복수의 텍스트 중 두 개의 텍스트를 입력하여 상기 두 개의 텍스트 사이의 선후 관계를 판단하는 문장 선후 예측 모델 및 상기 복수의 텍스트를 입력하여 상기 복수의 텍스트들 사이의 순서를 판단하는 문장 순서 예측 모델 중 적어도 하나를 포함할 수 있다.
그리고, 상기 프로세서는, 상기 메시지 어플리케이션의 대화창을 캡쳐하고, 상기 캡쳐된 대화창 이미지에 대해 OCR(Optical character recognition)을 수행하여 상기 대화창에 디스플레이되는 복수의 텍스트를 추출할 수 있다.
또한, 상기 프로세서는, 상기 복수의 텍스트로부터 상기 이벤트 정보에 대응되는 요약 문장을 획득하고, 상기 획득된 요약 문장을 포함하는 알림 메시지를 제공하도록 상기 디스플레이를 제어할 수 있다.
또한, 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법은, 메시지 어플리케이션의 대화창에 디스플레이되는 복수의 텍스트를 추출하여 수집하는 단계; 상기 수집된 복수의 텍스트를 학습된 제1 신경망 모델에 입력하여 상기 복수의 텍스트를 순서대로 정렬하는 단계; 상기 순서대로 정렬된 복수의 텍스트를 학습된 제2 신경망 모델에 입력하여 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한지 여부를 식별하는 단계; 및 상기 식별 결과에 기초하여 상기 복수의 텍스트로부터 이벤트 정보를 획득하는 단계;를 포함한다.
그리고, 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요 없는 것으로 식별되면, 상기 획득된 복수의 텍스트만을 이용하여 상기 이벤트 정보를 획득할 수 있다.
또한, 상기 획득하는 단계는, 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 복수의 텍스트를 학습된 제3 신경망 모델에 입력하여 상기 추가 정보를 획득하기 위한 복수의 후보 텍스트를 획득하는 단계; 상기 복수의 후보 텍스트 중 적어도 하나의 선택하는 단계; 및 상기 복수의 텍스트 및 상기 선택된 적어도 하나의 후보 텍스트를 이용하여 상기 이벤트 정보를 획득하는 단계;를 포함할 수 있다.
그리고, 상기 획득하는 단계는, 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 복수의 텍스트의 이전 또는 이후 중 추가 정보가 존재하는 방향을 식별하는 단계; 및 상기 식별된 방향으로 스크롤하기 위한 UI를 제공하는 단계;를 포함할 수 있다.
또한, 상기 획득하는 단계는, 상기 UI에 기초한 스크롤 인터렉션이 감지되면, 상기 스크롤 인터렉션에 따라 대화창 화면을 스크롤하는 단계; 및 상기 복수의 텍스트 및 상기 스크롤된 화면 상에 디스플레이된 텍스트를 이용하여 상기 이벤트 정보를 획득하는 단계;를 포함할 수 있다.
그리고, 상기 획득하는 단계는, 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 추가 정보를 획득하기 위한 질문 텍스트를 생성하는 단계; 상기 질문 텍스트에 대한 응답 텍스트를 획득하는 단계; 및 상기 복수의 텍스트 및 상기 응답 텍스트를 이용하여 상기 이벤트 정보를 획득하는 단계;를 포함할 수 있다.
또한, 상기 제1 신경망 모델은, 상기 복수의 텍스트 중 두 개의 텍스트를 입력하여 상기 두 개의 텍스트 사이의 선후 관계를 판단하는 문장 선후 예측 모델 및 상기 복수의 텍스트를 입력하여 상기 복수의 텍스트들 사이의 순서를 판단하는 문장 순서 예측 모델 중 적어도 하나를 포함할 수 있다.
그리고, 상기 수집하는 단계는, 상기 메시지 어플리케이션의 대화창을 캡쳐하는 단계; 및 상기 캡쳐된 대화창 이미지에 대해 OCR(Optical character recognition)을 수행하여 상기 대화창에 디스플레이되는 복수의 텍스트를 추출하는 단계;를 포함할 수 있다.
또한, 상기 복수의 텍스트로부터 상기 이벤트 정보에 대응되는 요약 문장을 획득하는 단계; 및 상기 획득된 요약 문장을 포함하는 알림 메시지를 제공하는 단계;를 포함할 수 있다.
상술한 바와 같은 본 개시의 일 실시예에 의해, 전자 장치는 메시지 어플리케이션의 대화창 화면 상에 포함된 복수의 텍스트를 이용하여 유의미한 이벤트 정보를 제공할 수 있게 된다.
도 1은 종래에 플랫폼이 텍스트를 추출하는 순서를 설명하기 위한 도면,
도 2은 본 개시의 일 실시예에 따른, 전자 장치의 구성을 나타내는 블럭도,
도 3은 본 개시의 일 실시예에 따른, 메시지 어플리케이션 화면 상에 디스플레이되는 복수의 텍스트에 기초하여 이벤트 정보를 제공하는 구성을 나타내는 블럭도,
도 4a 및 도 4b는 본 개시의 일 실시예에 따른, 문장 선후 예측 모델을 설명하기 위한 도면,
도 5a 및 도 5b는 본 개시의 일 실시예에 따른, 문장 완결 예측 모델을 설명하기 위한 도면,
도 6은 본 개시의 일 실시예에 따른, 복수의 후보 텍스트에 기초하여 완결된 대화문을 획득하는 방법을 설명하기 위한 흐름도,
도 7a은 본 개시의 다른 실시예에 따른, 스크롤 UI를 이용하여 완결된 대화문을 획득하는 방법을 설명하기 위한 흐름도,
도 7b는 본 개시의 다른 실시예에 따른, 스크롤 UI를 설명하기 위한 도면,
도 8a은 본 개시의 또 다른 실시예에 따른, 질문 텍스트에 대한 응답 텍스트에 기초하여 완결된 대화문을 획득하는 방법을 설명하기 위한 흐름도,
도 8b는 본 개시의 다른 실시예에 따른, 질문 텍스트를 포함하는 UI를 설명하기 위한 도면,
도 9는 본 개시의 일 실시예에 따른, 이벤트 정보를 획득하는 구성을 나타내는 블럭도,
도 10은 본 개시의 일 실시예에 따른, 이벤트 정보를 포함하는 UI를 도시한 도면, 그리고,
도 11은 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 2는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 도시한 블럭도이다. 도 2에 도시된 바와 같이, 전자 장치(100)는 디스플레이(110), 스피커(120), 통신 인터페이스(130), 메모리(140), 입력 인터페이스(150), 센서(160) 및 프로세서(170)를 포함할 수 있다. 이때, 전자 장치(100)는 스마트 폰으로 구현될 수 있다. 다만, 본 개시에 따른 전자 장치(100)가 특정 유형의 장치에 국한되는 것은 아니며, 태블릿 PC 및 디지털 카메라 등과 같이 다양한 종류의 전자 장치(100)로 구현될 수도 있다.
디스플레이(110)는 다양한 소스로부터 제공되는 영상을 디스플레이할 수 있다. 특히, 디스플레이(110)는 메시지 어플리케이션의 대화창 화면을 디스플레이할 수 있다. 또한, 디스플레이(110)는 대화창 화면 상에 스크롤을 안내하기 위한 UI, 이벤트 정보를 포함하는 UI 등을 디스플레이할 수 있다.
한편, 디스플레이(110)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 또한 디스플레이(110)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 다만, 본 개시에 따른 디스플레이(110)가 특정한 종류에 한정되는 것은 아니다.
스피커(120)는 음성 메시지를 출력할 수 있다. 특히, 스피커(120)는 외부 단말로부터 메시지가 수신된 경우 메시지 수신을 안내하기 위하여, 음성 메시지 형태로 제공할 수 있다. 이때, 스피커(120)는 전자 장치(1000) 내부에 포함될 수 있으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)와 전기적으로 연결되어 외부에 위치할 수 있다.
통신 인터페이스(130)는 회로를 포함하며, 외부 장치와의 통신을 수행할 수 있다. 구체적으로, 프로세서(170)는 통신 인터페이스(130)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.
통신 인터페이스(130)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, 및 NFC 모듈 중 적어도 하나를 포함할 수 있다. 구체적으로, WiFi 모듈과 Bluetooth 모듈 각각은 WiFi 방식, Bluetooth 방식으로 통신을 수행할 수 있다. WiFi 모듈이나 Bluetooth 모듈을 이용하는 경우에는 SSID 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
또한, 무선 통신 모듈은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. 그리고, NFC 모듈은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 통신을 수행할 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 통신 인터페이스(130)는 다양한 신경망 모델에 관련된 데이터 등과 같은 다양한 종류의 정보를 외부 장치로부터 수신할 수 있다. 또한, 통신 인터페이스(130)는 외부 장치로부터 메시지를 수신할 수 있으며, 외부 장치로 메시지를 전송할 수 있다.
메모리(140)는 전자 장치(100)를 제어하기 위한 적어도 하나의 인스트럭션을 저장할 수 있다. 특히, 메모리(140)는 추출된 텍스트의 순서를 정렬하고 정렬된 텍스트를 이용하여 이벤트 정보를 획득하기 위한 모듈이 각종 동작을 수행하기 위해 필요한 데이터를 저장할 수 있다. 추출된 텍스트의 순서를 정렬하고 정렬된 텍스트를 이용하여 이벤트 정보를 획득하기 위한 모듈은 데이터 수집 모듈(315), 대화 구성 모듈(325), 문장 선후 예측 모듈(330), 문장 순서 예측 모듈(340), 대화 완결 예측 모듈(350), 대화 완결 모듈(360), 이벤트 정보 획득 모듈(370), 정보 추출 모듈(910), 추천 판단 모듈(920) 등을 포함할 수 있다. 또한, 메모리(140)는 추출된 텍스트의 순서를 정렬하고 정렬된 텍스트를 이용하여 이벤트 정보를 획득하기 위한 복수의 언어 모델인 신경망 모델을 저장할 수 있다.
한편, 메모리(140)는 전력 공급이 중단되더라도 저장된 정보를 유지할 수 있는 비휘발성 메모리 및 저장된 정보를 유지하기 위해서는 지속적인 전력 공급이 필요한 휘발성 메모리를 포함할 수 있다. 추출된 텍스트의 순서를 정렬하고 정렬된 텍스트를 이용하여 이벤트 정보를 획득하기 위한 데이터는 비휘발성 메모리에 저장될 수 있다. 그리고, 추출된 텍스트의 순서를 정렬하고 정렬된 텍스트를 이용하여 이벤트 정보를 획득하기 위한 복수의 신경망 모델 역시 비휘발성 메모리에 저장될 수 있다.
그 밖에, 메모리(140)는 데이터 수집 모듈(315)로부터 추출된 텍스트 정보를 저장하는 데이터 수집 DB(320) 및 대화 구성 모듈(325)로부터 획득된 완결된 대화문을 저장하는 대화 DB(365)를 포함할 수 있다.
입력 인터페이스(150)는 회로를 포함하며, 프로세서(160)는 입력 인터페이스(150)를 통해 전자 장치(100)의 동작을 제어하기 위한 사용자 명령을 입력 받을 수 있다. 구체적으로, 입력 인터페이스(150)는 터치 스크린으로서 디스플레이(110)에 포함된 형태로 구현될 수 있으나, 이는 일 실시예에 불과한 뿐, 버튼, 마이크 및 리모컨 신호 수신부(미도시) 등과 같은 구성으로 이루어 질 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 입력 인터페이스(150)는 대화창 화면에 메시지를 입력하기 위한 사용자 명령, 대화창 화면을 스크롤하기 위한 사용자 명령, 응답 텍스트를 입력하기 위한 사용자 명령 및 이벤트 정보를 등록하기 위한 사용자 명령 등과 같은 다양한 사용자 명령을 입력받을 수 있다.
센서(160)는 전자 장치(100)와 관련된 다양한 정보를 획득할 수 있다. 특히, 센서(160)는 전자 장치(100)의 위치 정보를 획득할 수 있는 GPS를 포함할 수 있으며, 전자 장치(100)를 사용하는 사용자의 생체 정보를 획득하기 위한 생체 센서(예로, 심박수 센서, PPG 센서 등), 전자 장치(100)의 움직임을 감지하기 위한 움직임 센서 등과 같은 다양한 센서를 포함할 수 있다. 또한, 센서(160)는 이미지를 획득하기 위한 이미지 센서, 적외선 센서 등을 포함할 수 있다.
프로세서(170)는 메모리(140)와 전기적으로 연결되어 전자 장치(100)의 전반적인 기능 및 동작을 제어할 수 있다.
프로세서(170)는 메시지 어플리케이션을 실행하기 위한 사용자 명령(또는 이벤트 정보를 획득하기 위한 사용자 명령 등)이 입력되면, 비휘발성 메모리에 저장되어 있는 추출된 텍스트의 순서를 정렬하고 정렬된 텍스트를 이용하여 이벤트 정보를 획득하기 위한 모듈이 각종 동작을 수행하기 위한 데이터를 휘발성 메모리로 로딩(loading)할 수 있다. 그리고, 프로세서(170)는 추출된 텍스트의 순서를 정렬하고 정렬된 텍스트를 이용하여 이벤트 정보를 획득하기 위한 복수의 신경망 모델을 휘발성 메모리로 로딩할 수 있다. 프로세서(170)는 휘발성 메모리로 로딩된 데이터에 기초하여 각종 모듈 및 신경망 모델을 통해 각종 동작을 수행할 수 있다. 여기서, 로딩이란 프로세서(170)가 엑세스할 수 있도록 비휘발성 메모리에 저장된 데이터를 휘발성 메모리에 불러들여 저장하는 동작을 의미한다.
특히, 프로세서(170)는 메시지 어플리케이션의 대화창에 출력되는 복수의 텍스트를 추출하여 수집하고, 수집된 복수의 텍스트를 학습된 제1 신경망 모델에 입력하여 복수의 텍스트를 순서대로 정렬하고, 순서대로 정렬된 복수의 텍스트를 학습된 제2 신경망 모델에 입력하여 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한지 여부를 식별하고, 식별 결과에 기초하여 복수의 텍스트로부터 이벤트 정보를 획득한다.
구체적으로, 프로세서(170)는 메시지 어플리케이션으로부터 대화창에 디스플레이되는 복수의 텍스트를 제공받거나 OCR 인식을 통해 메시지 어플리케이션의 대화창에 포함된 복수의 텍스트를 추출할 수 있다. 이때, 텍스트는 문장, 단어, 구, 음절 등을 포함할 수 있다.
프로세서(170)는 수집된 복수의 텍스트를 학습된 제1 신경망 모델에 입력하여 복수의 텍스트를 순서대로 정렬할 수 있다. 이때, 제1 신경망 모델은 복수의 텍스트 중 두 개의 텍스트를 입력하여 두 개의 텍스트 사이의 선후 관계를 판단하는 문장 선후 예측 모델 및 복수의 텍스트를 입력하여 복수의 텍스트들 사이의 순서를 판단하는 문장 순서 예측 모델 중 적어도 하나를 포함할 수 있다.
프로세서(170)는 순서대로 정렬된 복수의 텍스트를 학습된 제2 신경망 모델예로, 대화 완결 예측 모델)에 입력하여 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한지 여부를 식별할 수 있다. 이때, 프로세서(170)는 제2 신경망 모델을 통해 복수의 텍스트 이전 또는 이후에 추가 정보가 필요한지 여부를 식별할 수 있다.
복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요 없는 것으로 식별되면, 프로세서(170)는 획득된 복수의 텍스트만을 이용하여 이벤트 정보를 획득할 수 있다. 이때, 이벤트 정보는 전자 장치(100) 내의 플랫폼, 어플리케이션 또는 써드 파트에서 제공하는 서비스를 수행하기 위한 정보로서, 스케줄 관리 서비스, 쇼핑 서비스, 예약 서비스 등과 관련된 정보일 수 있다.
복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 프로세서(170)는 대화문을 완성하여 이벤트 정보를 획득하기 위한 추가 정보를 획득할 수 있다.
일 실시예로, 프로세서(170)는 복수의 텍스트를 학습된 제3 신경망 모델(예로, 후보 텍스트 생성 모델)에 입력하여 추가 정보를 획득하기 위한 복수의 후보 텍스트를 획득할 수 있다. 그리고, 프로세서(170)는 복수의 후보 텍스트 중 적어도 하나의 선택할 수 있다. 이때, 프로세서(170)는 복수의 후보 텍스트 중 확률이 가장 후보 텍스트를 선택할 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자 선택에 의해 복수의 후보 텍스트 중 하나의 후보 텍스트를 선택할 수 있다. 프로세서(170)는 복수의 텍스트 및 선택된 적어도 하나의 후보 텍스트를 이용하여 이벤트 정보를 획득할 수 있다.
다른 실시예로, 프로세서(170)는 대화 완결 예측 모델에 의해 출력된 정보를 바탕으로 복수의 텍스트의 이전 또는 이후 중 추가 정보가 존재하는 방향을 식별하고, 식별된 방향으로 스크롤하기 위한 UI를 제공하도록 디스플레이(110)를 제어할 수 있다. 그리고, UI에 기초한 스크롤 인터렉션이 감지되면, 프로세서(170)는 스크롤 인터렉션에 따라 대화창 화면을 스크롤하도록 디스플레이(110)를 제어하고, 복수의 텍스트 및 스크롤된 화면 상에 디스플레이된 텍스트를 이용하여 이벤트 정보를 획득할 수 있다.
또 다른 실시예로, 프로세서(170)는 복수의 텍스트를 제4 신경망 모델(예로 질문 텍스트 생성 모델)에 입력하여 추가 정보를 획득하기 위한 질문 텍스트를 생성하고, 질문 텍스트에 대한 응답 텍스트를 획득하며, 복수의 텍스트 및 응답 텍스트를 이용하여 이벤트 정보를 획득할 수 있다.
그리고, 프로세서(170)는 획득된 이벤트 정보를 바탕으로 다양한 서비스를 제공할 수 있다. 예를 들어, 프로세서(170)는 이벤트 정보에 기초하여 캘린더 어플리케이션에 스케줄을 등록할 수 있고, 쇼핑 어플리케이션에서 쇼핑을 수행할 수 있으며, 예약 어플리케이션에서 예약을 수행할 수 있다.
또한, 프로세서(170)는 복수의 텍스트로부터 상기 이벤트 정보에 대응되는 요약 문장을 획득하고, 획득된 요약 문장을 포함하는 알림 메시지를 제공하도록 디스플레이(110)를 제어할 수 있다.
이하에서는 도 3을 참조하여 프로세서(170)에 포함된 다양한 모듈을 이용하여 텍스트를 추출하고 추출된 텍스트의 순서를 정렬하고 정렬된 텍스트를 이용하여 이벤트 정보를 획득하는 방법에 대해 설명하기로 한다.
메시지 어플리케이션(305)은 외부 장치로부터 수신되거나 사용자에 의해 입력된 대화 관련 데이터를 저장할 수 있다. 이때, 메시지 어플리케이션(305)은 사용자 입력에 따라 디스플레이(110) 상에 표시될 대화 관련 데이터를 제공할 수 있다. 대화 관련 데이터에는 텍스트 뿐만 아니라 이모티콘, 이미지 등이 포함될 수 있다.
플랫폼(310)은 디스플레이(110) 상에 표시되는 메시지 어플리케이션(305)의 대화창 화면 내의 대화 관련 데이터를 추출할 수 있다. 일 실시예로, 플랫폼(310)은 대화 관련 데이터가 디스플레이(110) 상에 표시되는 동안 디스플레이(110) 상에 표시되는 대화 관련 데이터를 메시지 어플리케이션(305)을 통해 획득할 수 있다. 또 다른 실시예로, 플랫폼(310)은 대화 관련 데이터를 포함하는 메시지 어플리케이션의 대화창 화면을 캡쳐하고, 캡쳐된 대화창 화면에 대해 OCR(Optical character recognition)을 수행하여 대화창에 디스플레이되는 복수의 텍스트를 추출할 수 있다.
데이터 수집 모듈(315)은 플랫폼(310)으로부터 추출된 대화 관련 데이터를 획득할 수 있다. 이때, 데이터 수집 모듈(315)은 획득된 대화 관련 데이터 중 복수의 텍스트를 데이터 수집 DB(320)에 저장할 수 있다. 그리고, 데이터 수집 모듈(315)은 획득된 텍스트를 대화 구성 모듈(325)로 제공할 수 있다.
대화 구성 모듈(325)은 복수의 텍스트를 순서대로 정렬하고, 추가 정보가 필요한지 여부를 판단하기 위하여 대화문이 완결되었는지 여부를 판단하며, 완결된 대화문을 생성할 수 있다.
구체적으로, 대화 구성 모듈(325)은 문장 선후 예측 모듈(330) 및 문장 순서 예측 모듈(340)을 이용하여 복수의 텍스트를 순서대로 정렬할 수 있다.
대화 구성 모듈(325)은 문장 선후 예측 모델(330)로 두 개의 텍스트를 입력할 수 있다. 문장 선후 예측 모듈(330)은 두 개의 텍스트를 문장 선후 예측 모델(335)에 입력하여 두 개의 텍스트의 선후를 판단할 수 있다. 이때, 문장 선후 예측 모델(330)은 두 개의 텍스트의 순서를 변경하여 문장 선후 예측 모델(335)에 입력할 수 있다. 예를 들어, 문장 선후 예측 모듈(330)은 문장 구성 모듈(325)로부터 두 개의 텍스트("I completed high school", "Then, I joined undergrad")를 획득할 수 있다. 문장 선후 예측 모듈(330)은 도 4a에 도시된 바와 같이, "I completed high school", "Then, I joined undergrad" 순서대로 두개의 텍스트(410)를 문장 선후 예측 모델(335)에 입력하여 두 문장의 순서가 맞을 제1 확률(420)을 획득할 수 있다. 또한, 문장 선후 예측 모듈(330)은 도 4b에 도시된 바와 같이, 두 개의 텍스트의 순서를 변경하여 "Then, I joined undergrad", "I completed high school" 순서대로 두 개의 텍스트(430)를 문장 선후 예측 모델(335)에 입력하여 두 문장의 순서가 맞을 제2 확률(440)을 획득할 수 있다. 그리고, 문장 선후 예측 모듈(330)은 제1 확률(420) 및 제2 확률(440)을 비교하여 두 문장의 순서를 판단할 수 있다. 예를 들어, 제1 확률(420)이 제2 확률(440)보다 높다면, 문장 선후 예측 모듈(330)은 두 텍스트의 순서가 "I completed high school", "Then, I joined undergrad"임을 판단할 수 있다.
또한, 대화 구성 모듈(325)은 문장 순서 예측 모델(340)로 세 개 이상의 텍스트를 입력할 수 있다. 문장 순서 예측 모듈(340)은 세 개 이상의 텍스트를 문장 순서 예측 모델(345)에 입력하여 세 개 이상의 텍스트의 순서를 예측할 수 있다. 이때, 문장 순서 예측 모델(345)은 복수의 텍스트 사이의 관계를 예측하고 복수의 텍스트의 순서를 판단하여 정렬하도록 학습된 신경망 모델일 수 있다.
한편, 본 개시의 일 실시예는 텍스트의 순서를 판단하는 정확성을 높이기 위하여, 대화 구성 모듈(325)이 문장 선후 예측 모듈(330)과 문장 순서 예측 모듈(340)을 모두 이용하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 처리 속도를 향상시키기 위하여 문장 선후 예측 모듈(330)과 문장 순서 예측 모듈(340) 중 하나만을 이용할 수 있다. 문장 선후 예측 모듈(330)만을 이용할 경우, 대화 구성 모듈(325)은 복수의 텍스트들을 두 개씩 페어링하여 문장 선후 예측 모듈(330)에 입력하여 페어링된 두 개의 텍스트의 선후 순서를 판단하고, 복수의 페어링된 텍스트들의 선후에 기초하여 복수의 텍스트들을 순서대로 정렬할 수 있다.
대화 구성 모듈(325)은 대화 완결 예측 모듈(350)을 이용하여 순서대로 정렬된 복수의 텍스트이 완결된 대화문인지 여부를 판단할 수 있다. 이때, 완결된 대화문은 이벤트 정보를 획득할 수 있는 대화문으로서, 미완결된 대화문은 이벤트 정보를 획득하기 위한 추가 정보가 필요할 수 있다.
대화 구성 모듈(325)은 대화 완결 예측 모듈(350)에 정렬된 복수의 텍스트를 입력할 수 있다. 대화 완결 예측 모듈(350)은 대화 완결 예측 모델(355)을 이용하여 정렬된 복수의 텍스트의 이전 또는 이후에 추가 정보가 있는지 여부를 판단할 수 있다. 이때, 대화 완결 예측 모듈(350)은 복수의 텍스트와 가상의 이전 텍스트를 대화 완결 예측 모델(355)에 입력하여 복수의 텍스트 이전에 추가 정보가 존재하는지 여부를 판단할 수 있으며, 복수의 텍스트와 가상의 이후 텍스트를 대화 완결 예측 모델(355)에 입력하여 복수의 텍스트 이후에 추가 정보가 존재하는지 여부를 판단할 수 있다. 이때, 가상의 이전 텍스트 또는 가상의 이후 텍스트는 블랭크 문장(blank sentence)일 수 있다.
예를 들어, 도 5a에 도시된 바와 같이, 대화 완결 예측 모듈(350)은 복수의 텍스트와 가상의 이전 텍스트로 구성된 제1 대화문(510)을 대화 완결 예측 모델(355)에 입력하여 복수의 텍스트 이전에 추가 정보가 있을 제3 확률(520)을 획득할 수 있으며, 도 5b에 도시된 바와 같이, 대화 완결 예측 모듈(350)은 복수의 텍스트와 가상의 이후 텍스트로 구성된 제2 대화문(530)을 대화 완결 예측 모델(355)에 입력하여 복수의 텍스트 이후에 추가 정보가 있을 제4 확률(540)을 획득할 수 있다.
대화 완결 예측 모듈(350)은 제3 확률(520) 및 제4 확률(540)에 기초하여 대화문이 완결되었는지 여부(즉, 추가 정보가 필요한지 여부)에 대한 정보 및 추가 정보가 있는 위치에 대한 정보를 획득할 수 있다. 구체적으로, 대화 완결 예측 모듈(350)은 제3 확률(520) 및 제4 확률(540)이 임계값을 초과하는지 여부를 판단할 수 있다. 예를 들어, 제3 확률(520) 및 제4 확률(540)이 임계값 이하인 경우, 대화 완결 예측 모듈(350)은 복수의 텍스트를 완결된 대화문으로 판단할 수 있다. 그러나, 제3 확률(520) 및 제4 확률(540) 중 적어도 하나가 임계값 초과인 경우, 대화 완결 예측 모듈(350)은 복수의 텍스트가 미완결 대화문으로 판단할 수 있다. 이때, 제3 확률(520)이 임계값 초과인 경우, 대화 완결 예측 모듈(350)은 복수의 텍스트 이전에 추가 정보가 있다고 판단하며, 제4 확률(540)이 임계값 초과인 경우, 대화 완결 예측 모듈(350)은 복수의 텍스트 이후에 추가 정보가 있다고 판단할 수 있다. 특히, 도 5a 및 도 5b의 실시예의 경우, 제3 확률(520)이 임계값 이하이며 제4 확률(540)이 임계값 초과인 경우, 대화 완결 예측 모듈(350)은 복수의 텍스트 이후에 추가 정보가 있는 것으로 판단할 수 있다.
대화 완결 예측 모듈(350)에 의해 복수의 텍스트가 완결된 대화문이라고 판단되면, 이벤트 정보를 획득하기 위한 추가 정보가 필요없으므로, 대화 구성 모듈(325)은 완결된 대화문을 대화 DB(365) 및 이벤트 정보 획득 모듈(370)로 출력할 수 있다.
대화 완결 예측 모듈(350)에 의해 복수의 텍스트가 미완결된 대화문이라고 판단되면, 대화 구성 모듈(325)은 이벤트 정보를 획득하기 위한 추가 정보를 획득하기 위하여 대화 완결 모듈(360)에 정렬된 복수의 텍스트를 입력할 수 있다.
대화 완결 모듈(360)은 이벤트 정보를 획득하기 위한 추가 정보를 획득하여 완결된 대화문을 획득할 수 있다. 대화 완결 모듈(360)이 추가 정보를 획득하여 완결된 대화문을 획득하는 방법에 대해서는 도 6 내지 도 8b을 참조하여 설명하기로 한다.
도 6은 본 개시의 일 실시예에 따른, 복수의 후보 텍스트에 기초하여 완결된 대화문을 획득하는 방법을 설명하기 위한 흐름도이다.
대화 완결 모듈(360)은 대화 구성 모듈(325)로부터 복수의 텍스트를 획득하여 복수의 텍스트를 후보 텍스트 생성 모델에 입력할 수 있다(S610). 이때, 후보 텍스트 생성 모델은 복수의 텍스트의 이전 또는 이후 텍스트를 예측하여 복수의 후보 텍스트를 생성하도록 학습된 신경망 모델일 수 있다.
대화 완결 모듈(360)은 후보 텍스트 생성 모델을 통해 복수의 후보 텍스트를 생성할 수 있다(S620). 예를 들어, 대화 완결 모듈(360)은 도 5b에 도시된 같은 복수의 텍스트를 후보 텍스트 생성 모델에 입력하여 "How about meeting at Gangnam Station?", "I will go to your office", "anywhere" 등과 같은 후보 텍스트를 생성할 수 있다. 이때, 후보 텍스트 생성 모델은 사용자 히스토리 기반으로 후보 텍스트를 생성하도록 학습될 수 있다.
대화 완결 모듈(360)은 복수의 후보 텍스트 중 적어도 하나를 선택할 수 있다(S630). 일 실시예로, 대화 완결 모듈(360)은 복수의 후보 텍스트를 선택 모델에 입력하여 복수의 후보 텍스트 중 확률이 가장 높은 텍스트를 선택할 수 있다. 또 다른 실시예로, 대화 완결 모듈(360)은 복수의 후보 텍스트를 디스플레이(110) 상에 디스플레이하고, 복수의 후보 텍스트 중 사용자 입력에 따른 적어도 하나의 후보 텍스트를 선택할 수 있다. 예를 들어, 대화 완결 모듈은 확률이 가장 높거나 사용자에 의해 선택된 "How about meeting at Gangnam Station?"를 선택할 수 있다.
대화 완결 모듈(360)은 복수의 텍스트 및 선택된 적어도 하나의 후보 텍스트를 이용하여 완결된 대화문 획득할 수 있다(S640). 대화 완결 모듈(360)은 완결된 대화문을 대화 구성 모듈(325)로 출력할 수 있다.
도 7a은 본 개시의 다른 실시예에 따른, 스크롤 UI를 이용하여 완결된 대화문을 획득하는 방법을 설명하기 위한 흐름도이다.
대화 완결 모듈(360)은 대화 구성 모듈(325)로부터 복수의 텍스트를 획득할 수 있다(S710). 이때, 대화 완결 모듈(360)은 복수의 텍스트 뿐만 아니라 추가 정보가 복수의 텍스트 이전 또는 이후에 존재하는지 여부에 대한 정보를 획득할 수 있다.
대화 완결 모듈(360)은 추가 정보가 복수의 텍스트 이전 또는 이후에 존재하는지 여부에 대한 정보에 기초하여 추가 정보가 포함된 방향을 식별할 수 있다(S720).
대화 완결 모듈(360)은 식별된 방향으로 스크롤하기 위한 UI를 제공할 수 있다(S730). 구체적으로, 복수의 텍스트 이전 방향에 추가 정보가 포함된 것으로 식별되면, 대화 완결 모듈(360)은 대화창 화면 상에 윗 방향으로 스크롤하기 위한 UI를 제공할 수 있으며, 복수의 텍스트 이후 방향에 추가 정보가 포함된 것으로 식별되면, 대화 완결 모듈(360)은 대화창 화면 상에 아랫 방향으로 스크롤하기 위한 UI를 제공할 수 있다. 예를 들어, 복수의 텍스트 이후 방향에 추가 정보가 포함된 것으로 판단되면, 대화 완결 모듈(360)은 도 7b에 도시된 바와 같이, 대화창 화면 상에 아랫 방향의 스크롤을 나타내는 인디케이터와 안내 메시지를 포함하는 UI(760)를 제공하도록 디스플레이(110)를 제어할 수 있다.
프로세서(170)는 스크롤 인터렉션에 따라 대화창 화면을 스크롤할 수 있다(S740). 이때, 화면이 스크롤되면, 대화 구성 모듈(325)은 앞서 설명한 바와 같이, 스크롤된 대화창 화면 내에서 추가 텍스트를 추출하고, 문장 선후 예측 모듈(330) 및 문장 순서 예측 모듈(340)을 통해 복수의 텍스트 및 추가 텍스트를 순서대로 정렬하며, 문장 완결 예측 모듈(350)을 통해 복수의 텍스트 및 추가 텍스트가 완결된 대화문인지 여부를 판단할 수 있다.
대화 완결 모듈(360)은 복수의 텍스트 및 스크롤된 화면 상에 디스플레이된 텍스트를 이용하여 완결된 대화문 획득할 수 있다(S750). 이때, 대화 완결 모듈(360)은 완결된 대화문을 대화 구성 모듈(325)로 출력할 수 있다.
도 8a는 본 개시의 또 다른 실시예에 따른, 질문 텍스트에 대한 응답 텍스트에 기초하여 완결된 대화문을 획득하는 방법을 설명하기 위한 흐름도이다.
대화 완결 모듈(360)은 대화 구성 모듈(325)로부터 복수의 텍스트를 획득하여 복수의 텍스트를 질문 텍스트 생성 모델에 입력할 수 있다(S810). 이때, 질문 텍스트 생성 모델은 복수의 텍스트의 이전 또는 이후의 추가 정보를 획득하기 위한 질문을 생성하도록 학습된 신경망 모델일 수 있다.
대화 완결 모듈(360)은 질문 텍스트 생성 모델을 통해 질문 텍스트를 생성할 수 있다(S820). 예를 들어, 대화 완결 모듈(360)은 도 5b에 도시된 같은 복수의 텍스트를 질문 텍스트 생성 모델에 입력하여 "Where will I meet Jane at this Thursday?Where will I meet Jane at this Thursday" 등과 같은 질문 텍스트를 생성할 수 있다.
대화 완결 모듈(360)은 질문 텍스트에 대한 응답 텍스트를 획득할 수 있다(S830). 구체적으로, 대화 완결 모듈(360)은 도 8b에 도시된 바와 같은 질문 텍스트를 포함하는 UI(850)를 제공하도록 디스플레이(110)를 제어할 수 있으며, 질문 텍스트에 대한 응답 텍스트를 획득할 수 있다. 이때, 응답 텍스트는 사용자의 터치 입력에 의해 획득될 수 있으나, 이는 일 실시예에 불과할 뿐, 음성 입력에 의해 획득될 수 있다 또한, 질문 텍스트 역시 UI(850)가 아닌 음성 메시지 형태로 제공될 수 있다. 예를 들어, 대화 완결 모듈(360)은 터치 입력 또는 음성 입력을 통해 "Gangnam Station"이라는 응답 텍스트를 획득할 수 있다.
대화 완결 모듈(360)은 복수의 텍스트 및 응답 텍스트를 이용하여 완결된 대화문 획득할 수 있다(S840). 대화 완결 모듈(360)은 완결된 대화문을 대화 구성 모듈(325)로 출력할 수 있다.
대화 구성 모듈(360)은 도 6 내지 도 8b와 같은 방법을 이용하여 획득한 완결된 대화문을 대화 DB(365) 및 이벤트 정보 획득 모듈(370)로 출력할 수 있다.
대화 DB(365)에 저장된 완결된 대화문은 추후 다양한 신경망 모델의 학습에 이용되거나 사용자 히스토리 정보를 획득하는데 이용될 수 있다.
이벤트 정보 획득 모듈(370)은 대화 구성 모듈(325)로부터 완결된 대화문을 획득할 수 있다. 이때, 이벤트 정보 획득 모듈(370)은 완결된 대화문으로부터 각종 서비스를 제공하기 위한 이벤트 정보를 획득할 수 있다.
이벤트 정보 획득 모듈(370)이 이벤트 정보를 획득하고, 서비스를 제공하는 방법에 대해서는 도 9를 참조하여 설명하기로 한다. 우선, 이벤트 정보 획득 모듈(370)은 완결된 대화문을 정보 추출 모듈(910)로 출력할 수 있다. 정보 추출 모듈(910)은 정보 추출 모델(915)에 완결된 대화문을 입력하여 이벤트 정보를 추출할 수 있다. 예를 들어, 정보 추출 모듈(910)은 정보 추출 모델(915)에 완결된 대화문을 입력하여 시간 정보, 장소 정보, 스케줄 내용 정보 등을 포함하는 스케줄 관리 서비스를 수행하기 위한 이벤트 정보를 획득할 수 있다. 또한, 정보 추출 모듈(910)은 완결된 대화문을 정보 추출 모델(915)에 입력하여 완결된 대화문의 요약 문장을 획득할 수 있다. 이때, 획득된 요약 문장은 서비스를 수행하기 위한 알림 메시지에 포함되어 사용자에게 제공될 수 있다.
추천 판단 모듈(920)은 획득된 이벤트 정보에 대응되는 서비스를 사용자에게 추천할지 여부를 판단할 수 있다. 구체적으로, 추천 판단 모듈(920)은 획득된 이벤트 정보를 추천 모델(925)에 입력하여 이벤트 정보에 대응되는 서비스를 사용자에게 추천할지 여부에 대한 확률값을 획득할 수 있으며, 확률값이 임계값을 초과하였는지 여부에 따라 획득된 이벤트 정보에 대응되는 서비스를 사용자에게 추천할지 여부를 판단할 수 있다.
이벤트 정보 획득 모듈(370)은 추천 판단 모듈(920)의 판단 결과에 기초하여 이벤트 정보에 대응되는 서비스를 플랫폼(310)이나 다른 어플리케이션에 요청할 수 있다. 일 실시예로, 플랫폼(310)은 완결된 대화문으로부터 획득된 이벤트 정보에 대응되는 서비스를 수행할지 여부에 대해 사용자에게 문의하는 알람 메시지를 제공하도록 디스플레이(110)를 제어할 수 있다. 예를 들어, 플랫폼(310)은 도 10에 도시된 바와 같이, 이벤트 정보로부터 획득된 서비스인 스케줄 관리 서비스를 수행하기 위한 알람 메시지(1010)를 대화창 화면 상에 디스플레이하도록 디스플레이(110)를 제어할 수 있다. 다른 실시예로, 캘린더 어플리케이션은 이벤트 정보로부터 획득된 스케줄을 캘린더에 등록할 수 있다.
한편, 상술한 실시예에서는 알림 메시지(1010)를 대화창 화면 상에 디스플레이하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 다른 방법(예를 들어, 복수의 알림 메시지를 제공하는 알림 UI 화면, 화면 상단의 알림창 등)으로 사용자에게 제공될 수 있다.
그러나, 도 10에서 설명한 바와 같은 스케줄 관리 서비스는 일 실시예에 불과할 뿐, 이벤트 정보를 통해 쇼핑 서비스, 예약 서비스 등과 같은 다양한 서비스가 제공될 수 있다.
도 11은 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
전자 장치(100)는 메시지 어플리케이션의 대화창에 디스플레이되는 복수의 텍스트를 추출하여 수집한다(S1110). 이때, 전자 장치(100)는 어플리케이션 단에서 복수의 텍스트를 추출할 수 있으나, 이는 일 실시예에 불과할 뿐, 대화창 화면을 캡쳐하고, 캡쳐된 이미지에 대해 OCR을 수행하여 복수의 텍스트를 추출할 수 있다.
전자 장치(100)는 수집된 복수의 텍스트를 학습된 제1 신경망 모델에 입력하여 복수의 텍스트를 순서대로 정렬한다(S1120). 이때, 제1 신경망 모델은 복수의 텍스트 중 두 개의 텍스트를 입력하여 두 개의 텍스트 사이의 선후 관계를 판단하는 문장 선후 예측 모델 및 복수의 텍스트를 입력하여 복수의 텍스트들 사이의 순서를 판단하는 문장 순서 예측 모델 중 적어도 하나를 포함할 수 있다.
전자 장치(100)는 순서대로 정렬된 복수의 텍스트를 학습된 제2 신경망 모델에 입력하여 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한지 여부를 식별한다(S1130).
전자 장치(100)는 식별 결과에 기초하여 복수의 텍스트로부터 이벤트 정보를 획득한다(S1140). 구체적으로, 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요 없는 것으로 식별되면, 전자 장치(100)는 획득된 복수의 텍스트를 완결된 대화문으로 판단하여 복수의 텍스트만을 이용하여 이벤트 정보를 획득할 수 있다. 그러나, 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 전자 장치(100)는 다양한 방법으로 추가 정보를 획득하여 완결된 대화문을 획득할 수 있다. 일 실시예로, 전자 장치(100)는 복수의 텍스트를 학습된 제3 신경망 모델에 입력하여 상기 추가 정보를 획득하기 위한 복수의 후보 텍스트를 획득하고, 복수의 후보 텍스트 중 적어도 하나의 선택하며, 복수의 텍스트 및 선택된 적어도 하나의 후보 텍스트를 이용하여 이벤트 정보를 획득할 수 있다. 다른 실시예로, 전자 장치(100)는 복수의 텍스트의 이전 또는 이후 중 추가 정보가 존재하는 방향을 식별하고, 식별된 방향으로 스크롤하기 위한 UI를 제공하며, UI에 기초한 스크롤 인터렉션에 따라 대화창 화면을 스크롤하고, 복수의 텍스트 및 스크롤된 화면 상에 디스플레이된 텍스트를 이용하여 이벤트 정보를 획득할 수 있다. 또 다른 실시예로, 전자 장치(100)는 추가 정보를 획득하기 위한 질문 텍스트를 생성하고, 질문 텍스트에 대한 응답 텍스트를 획득하며, 복수의 텍스트 및 응답 텍스트를 이용하여 이벤트 정보를 획득할 수 있다.
그리고, 전자 장치(100)는 이벤트 정보를 이용하여 다양한 서비스를 제공할 수 있다. 예를 들어, 전자 장치(100)는 이벤트 정보를 통해 스케줄 관리 서비스, 쇼핑 서비스, 예약 서비스 등을 제공할 수 있다. 또한, 전자 장치(100)는 복수의 텍스트로부터 이벤트 정보에 대응되는 요약 문장을 획득하고, 이벤트 정보에 대응되는 서비스를 수행하기 위한 알림 메시지를 제공할 수 있다. 이때, 알림 메시지는 요약 문장을 포함할 수 있다.
한편, 이상에서 상술한 바와 같은 신경망 모델에 관련된 기능은 메모리 및 프로세서를 통해 수행될 수 있다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP 등과 같은 범용 프로세서, GPU. VPU 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 비휘발성 메모리 및 휘발성 메모리에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 각 레이어는 복수의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), GAN(Generative Adversarial Networks) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서 상술한 바와 같은 본 개시의 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.
다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    프로세서;를 포함하고,
    상기 프로세서는, 적어도 하나의 인스트럭션을 실행함으로써,
    메시지 어플리케이션의 대화창에 디스플레이되는 복수의 텍스트를 추출하여 수집하고,
    상기 수집된 복수의 텍스트를 학습된 제1 신경망 모델에 입력하여 상기 복수의 텍스트를 순서대로 정렬하고,
    상기 순서대로 정렬된 복수의 텍스트를 학습된 제2 신경망 모델에 입력하여 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한지 여부를 식별하고,
    상기 식별 결과에 기초하여 상기 복수의 텍스트로부터 이벤트 정보를 획득하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요 없는 것으로 식별되면, 상기 획득된 복수의 텍스트만을 이용하여 상기 이벤트 정보를 획득하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는
    상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 복수의 텍스트를 학습된 제3 신경망 모델에 입력하여 상기 추가 정보를 획득하기 위한 복수의 후보 텍스트를 획득하고,
    상기 복수의 후보 텍스트 중 적어도 하나의 선택하며,
    상기 복수의 텍스트 및 상기 선택된 적어도 하나의 후보 텍스트를 이용하여 상기 이벤트 정보를 획득하는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는
    상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 복수의 텍스트의 이전 또는 이후 중 추가 정보가 존재하는 방향을 식별하고,
    상기 식별된 방향으로 스크롤하기 위한 UI를 제공하도록 상기 디스플레이를 제어하는 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 UI에 기초한 스크롤 인터렉션이 감지되면, 상기 스크롤 인터렉션에 따라 대화창 화면을 스크롤하고,
    상기 복수의 텍스트 및 상기 스크롤된 화면 상에 디스플레이된 텍스트를 이용하여 상기 이벤트 정보를 획득하는 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는
    상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 추가 정보를 획득하기 위한 질문 텍스트를 생성하고,
    상기 질문 텍스트에 대한 응답 텍스트를 획득하고,
    상기 복수의 텍스트 및 상기 응답 텍스트를 이용하여 상기 이벤트 정보를 획득하는 전자 장치.
  7. 제1항에 있어서,
    상기 제1 신경망 모델은,
    상기 복수의 텍스트 중 두 개의 텍스트를 입력하여 상기 두 개의 텍스트 사이의 선후 관계를 판단하는 문장 선후 예측 모델 및 상기 복수의 텍스트를 입력하여 상기 복수의 텍스트들 사이의 순서를 판단하는 문장 순서 예측 모델 중 적어도 하나를 포함하는 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 메시지 어플리케이션의 대화창을 캡쳐하고,
    상기 캡쳐된 대화창 이미지에 대해 OCR(Optical character recognition)을 수행하여 상기 대화창에 디스플레이되는 복수의 텍스트를 추출하는 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 텍스트로부터 상기 이벤트 정보에 대응되는 요약 문장을 획득하고,
    상기 획득된 요약 문장을 포함하는 알림 메시지를 제공하도록 상기 디스플레이를 제어하는 전자 장치.
  10. 전자 장치의 제어 방법에 있어서,
    메시지 어플리케이션의 대화창에 디스플레이되는 복수의 텍스트를 추출하여 수집하는 단계;
    상기 수집된 복수의 텍스트를 학습된 제1 신경망 모델에 입력하여 상기 복수의 텍스트를 순서대로 정렬하는 단계;
    상기 순서대로 정렬된 복수의 텍스트를 학습된 제2 신경망 모델에 입력하여 상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한지 여부를 식별하는 단계; 및
    상기 식별 결과에 기초하여 상기 복수의 텍스트로부터 이벤트 정보를 획득하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요 없는 것으로 식별되면, 상기 획득된 복수의 텍스트만을 이용하여 상기 이벤트 정보를 획득하는 제어 방법.
  12. 제10항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 복수의 텍스트를 학습된 제3 신경망 모델에 입력하여 상기 추가 정보를 획득하기 위한 복수의 후보 텍스트를 획득하는 단계;
    상기 복수의 후보 텍스트 중 적어도 하나의 선택하는 단계; 및
    상기 복수의 텍스트 및 상기 선택된 적어도 하나의 후보 텍스트를 이용하여 상기 이벤트 정보를 획득하는 단계;를 포함하는 제어 방법.
  13. 제10항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 복수의 텍스트의 이전 또는 이후 중 추가 정보가 존재하는 방향을 식별하는 단계; 및
    상기 식별된 방향으로 스크롤하기 위한 UI를 제공하는 단계;를 포함하는 제어 방법.
  14. 제13항에 있어서,
    상기 획득하는 단계는,
    상기 UI에 기초한 스크롤 인터렉션이 감지되면, 상기 스크롤 인터렉션에 따라 대화창 화면을 스크롤하는 단계; 및
    상기 복수의 텍스트 및 상기 스크롤된 화면 상에 디스플레이된 텍스트를 이용하여 상기 이벤트 정보를 획득하는 단계;를 포함하는 제어 방법.
  15. 제10항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 텍스트로부터 이벤트 정보를 획득하기 위한 추가 정보가 필요한 것으로 식별되면, 상기 추가 정보를 획득하기 위한 질문 텍스트를 생성하는 단계;
    상기 질문 텍스트에 대한 응답 텍스트를 획득하는 단계; 및
    상기 복수의 텍스트 및 상기 응답 텍스트를 이용하여 상기 이벤트 정보를 획득하는 단계;를 포함하는 제어 방법.
PCT/KR2022/014458 2021-10-08 2022-09-27 전자 장치 및 이의 제어 방법 WO2023058982A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280063548.3A CN117999557A (zh) 2021-10-08 2022-09-27 电子装置及其控制方法
EP22878803.0A EP4336401A1 (en) 2021-10-08 2022-09-27 Electronic device and method for controlling same
US18/140,202 US11880654B2 (en) 2021-10-08 2023-04-27 Acquiring event information from a plurality of texts

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0134051 2021-10-08
KR1020210134051A KR20230050807A (ko) 2021-10-08 2021-10-08 전자 장치 및 이의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/140,202 Continuation US11880654B2 (en) 2021-10-08 2023-04-27 Acquiring event information from a plurality of texts

Publications (1)

Publication Number Publication Date
WO2023058982A1 true WO2023058982A1 (ko) 2023-04-13

Family

ID=85804475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014458 WO2023058982A1 (ko) 2021-10-08 2022-09-27 전자 장치 및 이의 제어 방법

Country Status (5)

Country Link
US (1) US11880654B2 (ko)
EP (1) EP4336401A1 (ko)
KR (1) KR20230050807A (ko)
CN (1) CN117999557A (ko)
WO (1) WO2023058982A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120157134A1 (en) * 2010-12-17 2012-06-21 Samsung Electronics Co., Ltd. Method and apparatus for displaying message in mobile communication terminal
KR101451612B1 (ko) * 2013-05-06 2014-10-16 에스케이플래닛 주식회사 메시지 서비스 시스템, 메시지 서비스를 위한 장치 및 방법
KR20140128381A (ko) * 2012-02-29 2014-11-05 마이크로소프트 코포레이션 컨텍스트 기반 검색 쿼리 형성 기법
KR20170060567A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20180092915A (ko) * 2017-01-16 2018-08-20 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 서버 및 단말

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3400176A (en) 1965-11-15 1968-09-03 Procter & Gamble Propanepolyphosphonate compounds
US11049349B2 (en) 2004-06-01 2021-06-29 Daniel William Onischuk Computerized voting system
US8157205B2 (en) 2006-03-04 2012-04-17 Mcwhirk Bruce Kimberly Multibody aircrane
US20150007059A1 (en) * 2013-06-30 2015-01-01 Zeta Project Swiss GmbH User interface with scrolling for multimodal communication framework
KR20150011879A (ko) 2013-07-23 2015-02-03 삼성전자주식회사 휴대 단말기에서 일정을 등록하는 방법 및 장치
US20150033178A1 (en) * 2013-07-27 2015-01-29 Zeta Projects Swiss GmbH User Interface With Pictograms for Multimodal Communication Framework
KR102103809B1 (ko) 2013-09-12 2020-04-24 삼성전자주식회사 메시지의 정렬 방법 및 이를 지원하는 장치
US9372851B2 (en) * 2014-04-01 2016-06-21 Microsoft Technology Licensing, Llc Creating a calendar event using context
US10579212B2 (en) * 2014-05-30 2020-03-03 Apple Inc. Structured suggestions
US10565219B2 (en) * 2014-05-30 2020-02-18 Apple Inc. Techniques for automatically generating a suggested contact based on a received message
US10097973B2 (en) * 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10200824B2 (en) * 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
WO2017090954A1 (en) 2015-11-24 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US20170200128A1 (en) * 2016-01-07 2017-07-13 Facebook, Inc. Creating digital events utilizing natural language processing
US9870345B2 (en) * 2016-05-12 2018-01-16 Google Llc Textual message ordering based on message content
KR101889279B1 (ko) 2017-01-16 2018-08-21 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 시스템 및 방법
CN110633330B (zh) * 2018-06-01 2022-02-22 北京百度网讯科技有限公司 事件发现方法、装置、设备及存储介质
KR20200002141A (ko) 2018-06-29 2020-01-08 김종진 이미지 기반의 언어학습 콘텐츠 제공 방법 및 이의 시스템
US20200320159A1 (en) 2019-03-22 2020-10-08 Robert R. Matthews Magnetic-enthalpy symbol H gasiform species dilute, or solution a heater fluid dynamic mechanic class system transfer the integral sub-plasma thermal cycle state of matter dilute, or solution containing the greater amount of solute synthesis extraction the solution pipeline standard a heater fluid.
KR20190096304A (ko) 2019-07-29 2019-08-19 엘지전자 주식회사 대화 내용에 대한 요약문 생성 장치 및 방법
KR102208387B1 (ko) 2020-03-10 2021-01-28 주식회사 엘솔루 음성 대화 재구성 방법 및 장치
CN111985467B (zh) 2020-08-20 2024-03-29 厦门美图之家科技有限公司 聊天记录截图处理方法、装置、计算机设备和存储介质
KR20220055977A (ko) * 2020-10-27 2022-05-04 삼성전자주식회사 전자 장치 및 그 제어 방법
US20230063713A1 (en) * 2021-08-31 2023-03-02 Paypal, Inc. Sentence level dialogue summaries using unsupervised machine learning for keyword selection and scoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120157134A1 (en) * 2010-12-17 2012-06-21 Samsung Electronics Co., Ltd. Method and apparatus for displaying message in mobile communication terminal
KR20140128381A (ko) * 2012-02-29 2014-11-05 마이크로소프트 코포레이션 컨텍스트 기반 검색 쿼리 형성 기법
KR101451612B1 (ko) * 2013-05-06 2014-10-16 에스케이플래닛 주식회사 메시지 서비스 시스템, 메시지 서비스를 위한 장치 및 방법
KR20170060567A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20180092915A (ko) * 2017-01-16 2018-08-20 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 서버 및 단말

Also Published As

Publication number Publication date
EP4336401A1 (en) 2024-03-13
CN117999557A (zh) 2024-05-07
US11880654B2 (en) 2024-01-23
KR20230050807A (ko) 2023-04-17
US20230259545A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
WO2016060480A1 (en) Electronic device and method for spoken interaction thereof
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2015020354A1 (en) Apparatus, server, and method for providing conversation topic
WO2020204655A1 (en) System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection
WO2020060223A1 (ko) 애플리케이션의 번역 정보를 제공하는 디바이스 및 방법
WO2020222384A1 (ko) 전자 장치 및 이의 제어 방법
WO2020071854A1 (en) Electronic apparatus and control method thereof
WO2019177373A1 (en) Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof
US11335348B2 (en) Input method, device, apparatus, and storage medium
WO2019125060A1 (ko) 전화번호 연관 정보를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2021149890A1 (ko) 사용자의 개인 모델을 학습하는 전자 장치 및 그 동작 방법
WO2021085812A1 (ko) 전자장치 및 그 제어방법
WO2023058982A1 (ko) 전자 장치 및 이의 제어 방법
WO2014148784A1 (en) Linguistic model database for linguistic recognition, linguistic recognition device and linguistic recognition method, and linguistic recognition system
WO2020080771A1 (ko) 변형 발화 텍스트를 제공하는 전자 장치 및 그것의 동작 방법
WO2019190243A1 (ko) 사용자와의 대화를 위한 정보를 생성하는 시스템 및 방법
WO2019216484A1 (ko) 전자 장치 및 그 동작방법
WO2016117854A1 (ko) 음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법
WO2021107308A1 (ko) 전자 장치 및 이의 제어 방법
WO2019151667A1 (ko) 자동 응답 시스템으로 개인 정보를 전송하기 위한 장치 및 방법
WO2021241938A1 (ko) 전자장치 및 그 제어방법
CN111353422B (zh) 信息提取方法、装置及电子设备
WO2018155810A1 (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
WO2019177437A1 (ko) 화면 제어 방법 및 이를 지원하는 전자 장치
WO2022177063A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878803

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022878803

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022878803

Country of ref document: EP

Effective date: 20231206

WWE Wipo information: entry into national phase

Ref document number: 202280063548.3

Country of ref document: CN