WO2022092487A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022092487A1
WO2022092487A1 PCT/KR2021/008778 KR2021008778W WO2022092487A1 WO 2022092487 A1 WO2022092487 A1 WO 2022092487A1 KR 2021008778 W KR2021008778 W KR 2021008778W WO 2022092487 A1 WO2022092487 A1 WO 2022092487A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
schedule
date
neural network
network model
Prior art date
Application number
PCT/KR2021/008778
Other languages
English (en)
French (fr)
Inventor
최형탁
라부루로힛
양해훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/428,211 priority Critical patent/US20220351151A1/en
Publication of WO2022092487A1 publication Critical patent/WO2022092487A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G06Q10/1095—Meeting or appointment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image

Definitions

  • the present invention relates to an electronic device for providing a schedule management function and a method for controlling the same.
  • the present disclosure has been made in accordance with the above-described needs, and an object of the present invention is to provide an electronic device that provides effectively arranged schedule information to a user, and a method for controlling the same.
  • An electronic device for achieving the above object includes a display, a memory for storing at least one command, and a processor connected to the memory and the display to control the electronic device,
  • the processor by executing the at least one command, when a command for adding a schedule is input while an image is displayed on the display, performs text recognition on the image to obtain a plurality of texts, input the text of to the first neural network model to obtain main date information corresponding to each of a plurality of schedule information and sub date information corresponding to the main date and time information, and update schedule information based on the obtained date and time information
  • the first neural network model may be trained to receive a plurality of time information and output main date and time information and sub date information corresponding to the main date and time information.
  • the plurality of temporal information input to the first neural network model for learning the first neural network model may include first temporal information tagged as main temporal information and second temporal information tagged as sub temporal information.
  • the first neural network model is trained to receive a plurality of text information and output text information corresponding to schedule boundary information, and the processor inputs the acquired text information into the first neural network model and the Acquire schedule boundary information corresponding to each of a plurality of schedule information, and based on the obtained schedule boundary information, main date information corresponding to each of the plurality of schedule information, and sub date information corresponding to the main date information, the schedule Information can be updated.
  • the processor inputs the plurality of obtained texts to a second neural network model to obtain schedule boundary information corresponding to each of the plurality of schedule information, and to each of the obtained schedule boundary information and the plurality of schedule information
  • the user's schedule information is updated based on the corresponding main date and time information and the sub-date information corresponding to the main date and time information
  • the second neural network model receives a plurality of text information and provides text information corresponding to the schedule boundary information. It may have been learned to output.
  • the processor is configured to input the plurality of obtained texts into the first neural network model to obtain schedule title information, place information and date and time information corresponding to each of the plurality of schedule information, the obtained schedule title information;
  • the schedule information of the user may be updated based on the place information and the date and time information.
  • the first neural network model is trained to receive a plurality of text information and to output schedule title information, place information, and date information separately, and is input to the first neural network model for learning the first neural network model
  • the plurality of text information may include a first text tagged with schedule title information, a second text tagged with place information, and a third text tagged with date and time information.
  • the processor selects one of the plurality of main date and time information, and adds the selected main date and time information to the selected main date and time information.
  • the user schedule information may be updated based on the corresponding sub-date information.
  • the processor controls the display to display a guide UI including a plurality of schedule information obtained from the first neural network model, and updates the schedule information of the user based on the schedule information selected on the guide UI.
  • the user command for adding the schedule may include at least one of a touch input for the image and a user voice command.
  • the processor may divide the plurality of texts into preset units, normalize the divided texts, tokenize the normalized texts, and input them into the first neural network model.
  • the control method of the electronic device when a user command for adding a schedule is input while an image is displayed, performing text recognition on the image to obtain a plurality of texts; inputting the plurality of acquired texts into the first neural network model to obtain main date information corresponding to each of the plurality of schedule information and sub date information corresponding to the main date and time information; and updating schedule information, wherein the first neural network model may have been trained to receive a plurality of date and time information and output main date and time information and sub date information corresponding to the main date and time information.
  • the plurality of temporal information input to the first neural network model for learning the first neural network model may include first temporal information tagged as main temporal information and second temporal information tagged as sub temporal information.
  • the first neural network model is trained to receive a plurality of text information and output text information corresponding to schedule boundary information, and input the plurality of acquired texts to the first neural network model to receive the plurality of schedule information.
  • the method further includes acquiring schedule boundary information corresponding to each, and updating the schedule information of the user includes: the acquired schedule boundary information and main date and time information corresponding to each of the plurality of schedule information and the main date and time
  • the user schedule information may be updated based on the sub-date information corresponding to the information.
  • the method may further include inputting the plurality of acquired texts into a second neural network model to acquire schedule boundary information corresponding to each of the plurality of schedule information, wherein updating the user's schedule information includes: The user's schedule information is updated based on the completed schedule boundary information, main date information corresponding to each of the plurality of schedule information, and sub date information corresponding to the main date and time information, and the second neural network model includes a plurality of text information It may be learned to receive as input and output text information corresponding to schedule boundary information.
  • the method further includes inputting the plurality of obtained texts into the first neural network model to obtain schedule title information, place information, and date and time information corresponding to each of the plurality of schedule information, wherein the user's schedule information
  • the updating may include updating the schedule information of the user based on the acquired schedule title information, the place information, and the date and time information.
  • 1 is a diagram for explaining a method of adding multiple schedules to a calendar.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • 3A to 3D are diagrams for explaining a method for extracting multiple schedules according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining acquisition of boundary information according to an embodiment of the present disclosure.
  • 5A to 5C are diagrams for explaining a first neural network model according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a second neural network model according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining a method of adding a plurality of multiple schedules according to an embodiment of the present disclosure.
  • 8A and 8B are diagrams for explaining various types of user commands according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining a method of removing a redundant schedule according to an embodiment of the present disclosure.
  • FIG. 10 is a block diagram for specifically explaining a functional configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • a component eg, a first component
  • another component eg, a second component
  • an element may be directly connected to another element or may be connected through another element (eg, a third element).
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) using the electronic device.
  • a device eg, an artificial intelligence electronic device
  • 1 is a diagram for explaining a method of adding multiple schedules to a calendar.
  • the electronic device 100 refers to an electronic device that a user can carry. 1 illustrates that the electronic device 100 is implemented as a smartphone, but is not limited thereto, and the electronic device 100 is an electronic device capable of performing a schedule management function, for example, a tablet PC, a mobile phone, or an image. It may be implemented in various devices, such as a phone, a laptop PC, a netbook computer, a workstation, a PDA, a portable multimedia player (PMP), an MP3 player, a camera, a virtual reality (VR) implementing device, or a wearable device.
  • PMP portable multimedia player
  • MP3 player MP3 player
  • VR virtual reality
  • information on a schedule a and a schedule b are mixed on a screen 101 including information on a plurality of multiple schedules.
  • schedule a includes a1, a2, and a3 as detailed schedules
  • schedule b includes b1, b2, and b3 as detailed schedules.
  • the multi-schedule means a schedule including detailed schedules for the schedule, such as schedule a and schedule b.
  • the electronic device 100 may add information about a plurality of multiple schedules on the calendar application and provide a UI corresponding to the added information to the user.
  • the screen 101 including information about a plurality of multiple schedules may be composed of a text or image file, and when the screen 101 is composed of an image file, the electronic device 100 uses a text recognition method such as OCR. You can use this to extract text from an image file.
  • the conventional electronic device converts all detailed schedules (a1, a2, a3, b1, b2, b3) of multiple schedules into individual schedules based on text information included in the screen 101 including information about a plurality of multiple schedules. Because of the recognition, all recognized individual schedules had to be displayed on the UI 102 of the calendar application.
  • the detailed schedules of the schedule a and the schedule b are all arranged on different dates. If the date on which detailed schedules of each schedule are arranged overlap, the user is provided with a UI in which information on detailed schedules of schedule a and schedule b is mixed, so it is difficult to grasp schedule information at a glance.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a display 110 , a memory 120 , and a processor 130 .
  • the display 110 may be implemented as a display of various types, such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, a quantum dot light-emitting diode (QLED) display, a plasma display panel (PDP), and the like.
  • the display 110 may include a driving circuit, a backlight unit, and the like, which may be implemented in the form of a TFT, a low temperature poly silicon (LTPS) TFT, an organic TFT (OTFT), and the like.
  • the display 110 may be implemented as a touch screen combined with a touch sensor, a flexible display, a three-dimensional display, or the like.
  • the memory 120 may store data necessary for various embodiments of the present disclosure.
  • the memory 120 may be implemented in the form of a memory embedded in the electronic device 100 or may be implemented in the form of a memory that is detachable from the electronic device 100 according to the purpose of data storage.
  • data for driving the electronic device 100 is stored in a memory embedded in the electronic device 100
  • data for an extended function of the electronic device 100 is detachable from the electronic device 100 . It can be stored in any available memory.
  • a volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory eg, One time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (such as NAND flash or NOR flash); It may be implemented as at least one of a hard drive and a solid state drive (SSD)
  • a memory card eg, a compact flash (CF); SD (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.
  • external memory that can be connected to the USB port (e.g.
  • it may be implemented in a form such as
  • the memory 120 may store at least one command and at least one neural network model.
  • the neural network model may be stored in a separate server (not shown) other than the electronic device 100 .
  • the electronic device 100 may include a communication unit (not shown), and the processor 130 may control the communication unit to transmit/receive data to and from the server storing the neural network model.
  • the processor 130 controls the overall operation of the electronic device 100 .
  • the processor 130 may be connected to each component of the electronic device 100 to control the overall operation of the electronic device 100 .
  • the processor 130 may be connected to the display 110 and the memory 120 to control the operation of the electronic device 100 .
  • the processor 130 includes a digital signal processor (DSP), a microprocessor, a central processing unit (CPU), a micro controller unit (MCU), and a micro processing unit (MPU). unit), a Neural Processing Unit (NPU), a controller, an application processor (AP), etc. may include various types of arithmetic processing elements, but are not limited thereto, and in the present disclosure, the processor 130 Write it down.
  • DSP digital signal processor
  • CPU central processing unit
  • MCU micro controller unit
  • MPU micro processing unit
  • unit a Neural Processing Unit
  • AP application processor
  • the processor 130 may be implemented in a system on chip (SoC), large scale integration (LSI), or a field programmable gate array (FPGA) format.
  • SoC system on chip
  • LSI large scale integration
  • FPGA field programmable gate array
  • the processor 130 may include a volatile memory such as SRAM.
  • the processor 130 may include one or a plurality of processors.
  • one or more processors are general-purpose processors such as CPUs, APs, Digital Signal Processors (DSPs), etc., graphics-only processors such as GPUs and VPUs (Vision Processing Units), or artificial intelligence-only processors such as NPUs (Neural Network Processing Units).
  • DSPs Digital Signal Processors
  • GPUs GPUs
  • VPUs Vision Processing Units
  • artificial intelligence-only processors such as NPUs (Neural Network Processing Units).
  • processors 130 control to process input data according to a predefined operation rule or neural network model stored in the memory 120 .
  • the AI-only processor may be designed with a hardware structure specialized for processing a specific neural network model.
  • a predefined action rule or a neural network model may be created through learning.
  • being made through learning means that the basic neural network model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or neural network model set to perform a desired characteristic (or purpose) is created do.
  • Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • the neural network model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between the operation result of a previous layer and the plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by the learning result of the neural network model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the neural network model during the learning process is reduced or minimized.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), It may include a Deep Belief Network (DBN), a Bidirectional Recurrent Deep Neural Network (BRDNN), or a Deep Q-Networks, but is not limited to the above-described example.
  • DNN Deep Neural Network
  • BNN Bidirectional Recurrent Deep Neural Network
  • Deep Q-Networks Deep Q-Networks
  • the processor 130 executes at least one command stored in the at least one memory 120 so that when a user command for adding a schedule is input while an image is displayed on the display 110 , the text for the image Recognition may be performed to obtain a plurality of texts.
  • a user may acquire schedule-related information through an image or text file on a web browser or an application.
  • the operation of the processor 130 to obtain a plurality of texts by performing text recognition from an image becomes unnecessary.
  • the present application assumes that the user obtains schedule-related information through an image file. 130) will be described.
  • the processor 130 may use an optical character recognition (OCR) method to acquire text.
  • OCR optical character recognition
  • the OCR method is a representative technique for extracting text from an image.
  • the processor 130 may obtain main date information corresponding to each of the plurality of schedule information and sub date information corresponding to the main date information by inputting the plurality of obtained texts to the first neural network model.
  • the processor 130 may perform a function related to artificial intelligence using a neural network model.
  • the neural network model may be a machine-learning model based on a plurality of images.
  • the neural network model may include a model trained based on a deep neural network (DNN) based on at least one of a plurality of sample images or training images.
  • DNN deep neural network
  • a deep neural network is a representative example of an artificial neural network model that simulates a brain nerve.
  • an operation of the electronic device 100 will be described on the assumption that the neural network model is a DNN.
  • the DNN-based model is a part of various embodiments, and it goes without saying that the neural network model disclosed herein is not limited to the DNN.
  • the first neural network model may include a model trained to perform natural language processing through machine learning, and the first neural network model according to an example It may be a model trained to receive a plurality of date and time information and output main date and time information and sub date and time information corresponding to the main date and time information.
  • the main date and time information means date and time information corresponding to a schedule including all dates and times corresponding to detailed schedules among information about multiple schedules.
  • date and time information corresponding to a including all dates and times of detailed schedules a1, a2, and a3 may be main date and time information according to an example.
  • the main date and time information may be information corresponding to October 2, October 3, and October 4.
  • the sub-date information means date-time information corresponding to a detailed schedule among information on multiple schedules.
  • date and time information corresponding to dates and times of a1, a3, and a3, which are detailed schedules corresponding to schedule a may include sub-date information.
  • the processor 130 may update the schedule information of the user based on the acquired main date and time information and the sub date and time information corresponding to the main date and time information. For example, the processor 130 may identify the main date and time information and the sub date and time information corresponding to the main date and time information as one schedule package, which will be described in more detail with reference to FIGS. 3A to 3D below.
  • the plurality of temporal information input to the first neural network model for learning the first neural network model may include first temporal information tagged as main temporal information and second temporal information tagged as sub temporal information.
  • the first neural network model is trained to receive a plurality of text information and output text information corresponding to the schedule boundary information, and the processor 130 applies the plurality of acquired texts to the first neural network model. By inputting it, schedule boundary information corresponding to each of a plurality of schedule information may be obtained.
  • the schedule boundary information may include information about the last text or the first text corresponding to each schedule.
  • the processor 130 may update the user schedule information based on the obtained boundary information, main date information corresponding to each of the plurality of schedule information, and sub date information corresponding to the main date information.
  • the processor 130 inputs the plurality of obtained texts to the second neural network model to obtain schedule boundary information corresponding to each of the plurality of schedule information, and obtains the obtained schedule boundary information and a plurality of The user schedule information may be updated based on the main date and time information corresponding to each of the schedule information and the sub date and time information corresponding to the main date and time information.
  • the second neural network model may include a model trained to receive a plurality of text information and output text information corresponding to the schedule boundary information.
  • the electronic device 100 can more accurately identify boundary information for distinguishing a plurality of schedules, it is possible to provide a more convenient service to a user who manages the plurality of schedules.
  • the processor 130 may obtain schedule title information, place information, and date and time information corresponding to each of the plurality of pieces of schedule information by inputting the plurality of obtained texts to the first neural network model.
  • the processor 130 may update the user's schedule information based on the acquired schedule title information, place information, and date information.
  • the processor 130 may identify a schedule package including detailed schedules included in a plurality of multiple schedules based on title information and place information as well as date information. For example, the processor 130 may identify detailed schedules conducted in the same place as belonging to the same schedule package. Also, the processor 130 may identify detailed schedules having the same keyword in schedule title information corresponding to each detailed schedule as belonging to the same schedule package.
  • the first neural network model may be a model trained to receive a plurality of text information and to output schedule title information, place information, and date information separately.
  • the plurality of text information input to the first neural network model for learning the first neural network model includes a first text tagged with schedule title information, a second text tagged with place information, and a third text tagged with time information. can do.
  • the processor 130 may select one of the plurality of main date and time information when the dates and times of the plurality of main date and time information obtained from the first neural network model overlap.
  • the processor 130 may perform a removal process on unselected main date and time information among a plurality of pieces of main date and time information. Subsequently, the processor 130 may update the user schedule information based on the selected main date and time information and the sub date and time information corresponding to the selected main date and time information.
  • the processor 130 controls the display 110 to display a guide UI including a plurality of schedule information obtained from the first neural network model, and based on the schedule information selected on the guide UI, the user's You can update schedule information.
  • the user command for adding a schedule may include at least one of a touch input for an image and a user voice command.
  • the processor 130 may divide a plurality of texts into preset units in order to efficiently perform natural language processing through the first neural network model.
  • the preset unit may be a unit such as one page, one paragraph, or one line.
  • the processor 130 may normalize the divided text, tokenize the normalized text, and input it into the first neural network model.
  • normalizing may refer to an operation of converting words having different expression methods among words included in text information into one word having the same meaning. For example, since the words US (United States) and USA (United States of America) have the same meaning, they may be normalized as one word, US.
  • the processor 130 may integrate uppercase and lowercase letters and remove unnecessary words in the normalizing process.
  • tokenizing refers to an operation of dividing text information input to the neural network model into a form suitable for natural language processing by the processor 130 (hereinafter, tokens).
  • the processor 130 may set a token for dividing text information as a 'word'.
  • the processor 130 may set the token as a 'sentence'.
  • 3A to 3D are diagrams for explaining a method for extracting multiple schedules according to an embodiment of the present disclosure.
  • FIG. 3A illustrates text information 300 - 1 obtained by the processor 130 performing text recognition from an image including schedule information according to an embodiment of the present disclosure.
  • the acquired text information 300-1 includes information on three multiple schedules with titles of 'reading and communication', 'picture book reading training', and 'parent and child reading'.
  • the schedules with the titles 'Reading and Communication' and 'Picture Book Reading Training' include detailed schedules corresponding to three sessions, respectively.
  • the acquired text information 300 - 1 may include various types of information such as title information, place information, date information, and instructor information.
  • FIG. 3B illustrates a state 300-2 in which the processor 130 identifies various types of information from the acquired text information 300-1 according to an embodiment of the present disclosure.
  • the processor 130 according to an example includes title information 301-1, date information 302-1 and 302-2, place information 303-1, and a multi-schedule with a title of 'reading and communication'.
  • the target information 304-1 and the instructor information 305-1 may be identified, and tags corresponding to each type of information may be included in the text information.
  • the processor 130 identifies various types of information from the acquired text information 300 - 1 according to an embodiment of the present disclosure, and divides main date and time information and sub date information corresponding to the main date and time information.
  • the identified state 300-3 is shown.
  • the processor 130 according to an example may include the main date and time information 311 and sub date information 312, 313, 314) can be distinguished and identified.
  • the processor 130 may include tags corresponding to the main date information 311 and the sub date information 312 , 313 , and 314 corresponding to the main date information in the text information.
  • the reason that the processor 130 according to an example distinguishes the main date and time information 311 from the sub date and time information 312 , 313 , and 314 is to distinguish a plurality of multiple schedules based on the main date and time information 311 . am. This will be described later with reference to FIG. 3D.
  • 3D is a diagram illustrating the processor 130 according to an embodiment of the present disclosure by dividing and identifying main date and time information and sub date information corresponding to the main date and time information, and then converts each of multiple schedules into one schedule package based on the main date and time information. It shows the identified state (300-4).
  • the processor 130 according to an example includes a plurality of pieces of sub information 312 , 313 , and 314 corresponding to the main date and time information 311 and the main date and time information 311 corresponding to the multiple schedule having the title of 'reading and communication'. It can be identified that is date information included in one schedule package 310 .
  • the processor 130 includes a plurality of sub-information 322, 323, 324 ) may be identified as date information included in one schedule package 320 .
  • the processor 130 may identify only the main date and time information 331 as date information included in one schedule package 330 when a sub-schedule is not identified for a schedule with the title 'Parent and Child Reading'. there is.
  • FIG. 4 is a diagram for explaining acquisition of boundary information according to an embodiment of the present disclosure.
  • FIG. 4 illustrates a state 400 in which the processor 130 identifies various types of information included in text information obtained by performing text recognition from the same image as the image described in FIG. 3 according to an embodiment of the present disclosure. did it
  • the processor 130 may acquire information included in the image, such as title information, date information, or place information, as well as schedule boundary information 401 and 402 not included in the image.
  • the processor 130 may use a neural network model to classify a schedule package.
  • the processor 130 may obtain schedule boundary information corresponding to each of a plurality of schedule information by inputting text obtained from an image including schedule information into the neural network model.
  • schedule boundary information corresponding to a schedule having the title 'Reading and Communication' corresponds to a blank after the text on 'Reception' among text information corresponding to a schedule including the title 'Reading and Communication'. It may be information 401 .
  • the schedule boundary information corresponding to the schedule having the title 'picture book reading training' is information corresponding to the blank after the text about 'reception' among text information corresponding to the schedule including the title 'picture book reading training' (402).
  • the text information corresponding to the boundary information 401 and 402 may be information corresponding to the text related to 'reception'.
  • the processor 130 may update the user's schedule information based on the obtained boundary information, main date information corresponding to each of the plurality of schedule information, and sub date information corresponding to the main date information.
  • the neural network model used by the processor 130 to acquire the main temporal information and the sub temporal information corresponding to the main temporal information and the neural network model used to acquire the boundary information may be one model, but may be separate models. .
  • the neural network model used by the processor 130 to obtain boundary information may include a model trained to receive a plurality of text information and output text information corresponding to the schedule boundary information. .
  • the processor 130 may identify an individual schedule package based on the boundary information 401 and 402 obtained using a neural network model.
  • 5A to 5C are diagrams for explaining a first neural network model according to an embodiment of the present disclosure.
  • the first neural network model 510 may be a model learned by receiving a plurality of temporal information tagged as main temporal information or sub temporal information.
  • the input data 511 input to the first neural network model 510 includes text A and text D, which are temporal information tagged (md) as main temporal information, and texts B, C, which are temporal information, tagged (sd), as sub temporal information. , E, and F may be included.
  • the first neural network model 510 receives input data 511 including a plurality of time information tagged as main date information or sub date and time information, and receives main date information and sub date information corresponding to the main date and time information. It may be a model trained to output . For example, the first neural network model 510 outputs main date and time information A and corresponding sub date information B and C, other main date information D and corresponding sub date information E and F as output data. It can be learned to output as (512).
  • input data 521 input to the first neural network model 510 includes text information (texts A, B, and C) tagged with temporal information (text A, B, C) and text information not tagged with temporal information (text).
  • text information texts A, B, and C
  • text information not tagged with temporal information text
  • X, Y, Z text information not tagged with temporal information
  • the first neural network model 510 is a model trained to receive input data 521 including text information tagged as temporal information and output main date and time information and sub-date information corresponding to the main date and time information. may be For example, the first neural network model 510 may be trained to output main temporal information A and corresponding sub temporal information B and C as output data 522 .
  • 5C is a diagram for explaining the operation of the first neural network model 510 according to an embodiment of the present disclosure.
  • the first neural network model 510 may receive a plurality of text information 531 including schedule information to obtain main date information corresponding to the schedule information and sub date information 532 corresponding to the main date information. .
  • FIG. 6 is a diagram for explaining a method for learning a second neural network model according to an embodiment of the present disclosure.
  • the second neural network model 600 may receive a plurality of text information as input data 601 .
  • the input data 601 includes text having a first structure including the boundary tag (b) as text corresponding to boundary information, text having a second structure not corresponding to boundary information, and text having a third structure. can do.
  • the second neural network model 600 may output only the text of the first structure including the boundary tag b as text corresponding to the boundary information among the input data 601 in the output data 602 .
  • FIG. 7 is a diagram for explaining a method of adding a plurality of multiple schedules according to an embodiment of the present disclosure.
  • a schedule with a title A is expressed as 'A'.
  • the electronic device 100 may display an image 700 including information on a plurality of multiple schedules.
  • information on 'reading and communication (10)' and 'picture book reading training (20)' that are multiple schedules and 'reading of parents and children (30)' that is a single schedule may contain
  • the image may include additional information 40 for a plurality of schedules.
  • the electronic device 100 may identify main date and time information corresponding to each of a plurality of schedules. For example, the electronic device 100 may identify 'February 4, 2020 to February 6, 2020' 11 , which is main date and time information corresponding to 'Reading and Communication 10 '. Also, the electronic device 100 may identify 'February 11, 2020 to February 13, 2020 (21)', which is main date and time information corresponding to the 'picture book reading training (20)'. Similarly, the electronic device 100 may identify 'February 4, 2020, 15:00 to 17:00', which is the main date and time information corresponding to 'Reading 30 by parents and children'.
  • the electronic device 100 identifies the remaining date and time information except for the identified main date and time information 11, 21, and 31 as sub date and time information, and identifies the main date and time information and the sub date and time corresponding to each main date and time information.
  • Information may be identified as date information belonging to one schedule package.
  • the electronic device 100 responds to main date and time information corresponding to 'reading and communication (10)', 'picture book reading training (20)', and 'parent and child reading (30)' and each main date and time information It is possible to update the user's schedule information based on the sub date and time information.
  • the electronic device 100 may display UIs 710 , 720 , and 730 that provide updated schedule information.
  • the electronic device 100 includes a UI 710 that provides schedule information for 'reading and communication 10', a UI 720 that provides schedule information for 'picture book reading training (20)', and UI 730 providing schedule information for 'Parent and Child Reading 30' may be displayed, respectively.
  • 8A and 8B are diagrams for explaining various types of user commands according to an embodiment of the present disclosure.
  • 8A is a view for explaining a user command by a touch input among user commands for adding a schedule according to an embodiment of the present disclosure.
  • the electronic device 100 may display an image including schedule information through the display 110 .
  • the image according to an example may be provided through an Internet browser or an application screen, or may be provided through at least one of an email, a messenger, a text message, or a result screen captured through a camera (not shown).
  • the user may select a partial area 810 of the image provided through a touch input.
  • the electronic device 100 may display a UI for selecting a function such as copying, sharing, storing, or adding a schedule for the partial region 810 of the selected image.
  • the user may save the partial area 810 of the image as an image ( 811 ) or as text ( 812 ).
  • the electronic device 100 may store the text obtained through OCR processing for the image 810 .
  • the electronic device 100 may extract schedule information included in the partial region 810 of the image to update the user schedule. For example, the electronic device 100 may update the user schedule based on '2020.08.02', which is main date and time information corresponding to 'tomorrow is ⁇ abc> national tour concert - Uijeongbu'.
  • the electronic device 100 may display a UI 814 that provides information on a schedule added through a schedule update.
  • 8B is a view for explaining a user command by a voice input among user commands for adding a schedule according to an embodiment of the present disclosure.
  • the electronic device 100 may include a user input unit (not shown).
  • the user input unit (not shown) may be implemented as a mechanical module such as a voice recognition sensor or a button.
  • the electronic device 100 may display a guide UI for guiding the start of speech.
  • the electronic device 100 may display a UI 820 for feeding back the contents of the input voice to the user.
  • a preset time elapses after the corresponding UI 820 is displayed or an additional user manipulation is input, the electronic device 100 may perform an operation corresponding to a user command included in the input voice. For example, when a voice saying "Add a schedule for the screen you are currently viewing" is input, the electronic device 100 extracts schedule information included in the image being displayed by the electronic device 100 when voice recognition is started. to update the user schedule.
  • FIG. 9 is a diagram for explaining a method of removing a redundant schedule according to an embodiment of the present disclosure.
  • the electronic device 100 extracts schedule information included in an image, and provides a UI 900 - 1 providing information on the extracted schedule to the user through the display 110 .
  • a plurality of pieces of information regarding the same schedule may be included in an image including schedule information, a plurality of pieces of information regarding the same schedule may be included in the extracted schedule.
  • the extracted schedule shown in FIG. 9 may include a plurality of schedule information 911 and 912 corresponding to 'reading and communication'.
  • the electronic device 100 may perform a process of deleting duplicate schedule information for 'reading and communicating (911, 912)' in which a duplicate schedule exists among schedule information included in the extracted schedule, Separate processing may not be performed for 'picture book reading training (920)' and 'parent and child reading (930)' that do not have overlapping schedules.
  • the electronic device 100 removes duplication by first selecting the extracted information 911 for 'reading and communicating (911, 912)' in which a duplicate schedule exists, and deleting the unselected information 912 . processing can be performed.
  • the electronic device 100 may update the user schedule based on the extracted schedule information after removing the redundant information.
  • 'reading and communication (911)', 'picture book reading training (920)', and 'parent and child reading (930)' may be added to the user's schedule, and the electronic device 100 performs the added schedule.
  • the UI 900 - 2 that provides information about the information may be displayed through the display 110 .
  • FIG. 10 is a block diagram for specifically explaining a functional configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 ′ includes a display 110 , a memory 120 , a processor 130 , a communication interface 140 , a camera 150 , and a user input unit 160 .
  • a display 110 the electronic device 100 ′ includes a display 110 , a memory 120 , a processor 130 , a communication interface 140 , a camera 150 , and a user input unit 160 .
  • a detailed description of the configuration shown in FIG. 10 overlapping the configuration shown in FIG. 2 will be omitted.
  • the communication interface 140 includes various communication circuits and may input and output various types of data.
  • the communication interface 140 is an AP-based Wi-Fi (Wi-Fi, Wireless LAN network), Bluetooth (Bluetooth), Zigbee (Zigbee), wired / wireless LAN (Local Area Network), WAN (Wide Area Network), Ethernet, IEEE 1394, HDMI (High-Definition Multimedia Interface), USB (Universal Serial Bus), MHL (Mobile High-Definition Link), AES/EBU (Audio Engineering Society/ European Broadcasting Union), Optical , Coaxial, etc. to communicate various types of data with an external device (eg, a source device), an external storage medium (eg, a USB memory), and an external server (eg, a web hard drive). can transmit and receive.
  • an external device eg, a source device
  • an external storage medium eg, a USB memory
  • an external server eg, a web hard drive
  • the camera 150 may acquire an image by capturing an area within a field of view (FoV) of the camera.
  • the camera 150 may include a lens for focusing the visible light or signal reflected by the object to the image sensor and an image sensor capable of detecting the visible light or signal.
  • the image sensor may include a 2D pixel array divided into a plurality of pixels.
  • the user input unit 160 includes various input circuits and generates input data for controlling the operation of the electronic device 100 .
  • the user input unit 160 may include a key pad, a dome switch, a touch pad (static pressure/capacitance), a jog wheel, a jog switch, and a voice recognition sensor.
  • FIG. 11 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • the first neural network model may be a model trained to receive a plurality of time information and output main date and time information and sub date information corresponding to the main date and time information.
  • the plurality of pieces of time information input to the first neural network model for learning the first neural network model may include first time information tagged as main time information and second time information tagged as sub time information.
  • the first neural network model is trained to receive a plurality of text information and output text information corresponding to the schedule boundary information, and input the plurality of acquired texts to the first neural network model to receive a plurality of schedule information corresponding to each of the plurality of schedule information.
  • the method may further include obtaining boundary information.
  • the step of updating the user's schedule information ( S1130 ) is to update the user schedule information based on the acquired schedule boundary information and main date information corresponding to each of the plurality of schedule information and sub date information corresponding to the main date information.
  • the method may further include inputting the plurality of obtained texts into the second neural network model to obtain schedule boundary information corresponding to each of the plurality of schedule information.
  • the user's schedule information can be updated based on the obtained schedule boundary information and the main date information corresponding to each of the plurality of schedule information and the sub date information corresponding to the main date information in the step of updating the user schedule information (S1130) there is.
  • the second neural network model may be a model trained to receive a plurality of text information and output text information corresponding to the schedule boundary information.
  • the method may further include inputting the plurality of acquired texts into the first neural network model to obtain schedule title information, place information, and date information corresponding to each of the plurality of schedule information.
  • the updating of the user's schedule information may update the user's schedule information based on the acquired schedule title information, place information, and date information.
  • the first neural network model is trained to receive a plurality of text information and to output schedule title information, place information, and date information separately, and a plurality of text information input to the first neural network model for learning the first neural network model may include a first text tagged with schedule title information, a second text tagged with place information, and a third text tagged with date and time information.
  • the method may further include selecting one of the plurality of main date and time information.
  • the user schedule information may be updated based on the selected main date and time information and the sub date and time information corresponding to the selected main date and time information.
  • the method may further include displaying a guide UI including a plurality of schedule information obtained from the first neural network model.
  • the user's schedule information may be updated based on the selected schedule information on the guide UI.
  • the user command for adding the schedule may include at least one of a touch input for an image or a user voice command.
  • the method may further include dividing the plurality of texts into preset units, normalizing the divided texts, and tokenizing the normalized texts and inputting them into the first neural network model.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described in the present disclosure may be implemented by the processor 130 itself.
  • embodiments such as procedures and functions described in the present disclosure may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described in this disclosure.
  • computer instructions for performing the processing operation of the electronic device 100 according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • the specific device When the computer instructions stored in the non-transitory computer-readable medium are executed by the processor of the specific device, the specific device performs the processing operation in the electronic device 100 according to the various embodiments described above.
  • the non-transitory computer-readable medium refers to a medium that stores data semi-permanently and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 디스플레이, 적어도 하나의 명령을 저장하는 메모리 및 메모리 및 디스플레이와 연결되어 전자 장치를 제어하는 프로세서를 포함하며, 프로세서는 적어도 하나의 명령어를 실행함으로써 디스플레이에 이미지가 디스플레이되는 동안 스케줄 추가를 위한 명령이 입력되면 이미지에 대한 텍스트 인식을 수행하여 복수의 텍스트를 획득하고, 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 획득하고, 획득된 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트하며, 제1 신경망 모델은 복수의 일시 정보를 입력받아 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 출력하도록 학습된다.

Description

전자 장치 및 그 제어 방법
본 발명은 스케줄 관리 기능을 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.
CROSS-REFERENCE TO RELATED APPLICATIONS
본 출원은 2020년 10월 27일에 출원된 대한민국 특허출원 제 10-2020-0140613 호에 기초하여 우선권을 주장하며, 해당 출원의 모든 내용은 그 전체가 본 출원에 레퍼런스로 포함된다.
최근 스마트폰이 보급과 스마트폰 관련 기술의 발달로 인해 사용자는 스마트폰을 이용해 스케줄을 관리하는 것이 일반적이다. 다중 스케줄에 관한 정보가 포함된 이미지에서 텍스트를 추출하여 스케줄을 추가하는 경우 이미지에 포함된 모든 일시 정보를 기초로 개별적인 스케줄이 식별되는 문제점이 있었다.
이 경우, 식별된 개별적인 스케줄은 사용자 입장에서 한 눈에 알아보기 어렵기 때문에 이미지로부터 텍스트를 추출하여 일목요연하게 정리된 스케줄 정보를 사용자에게 제공할 수 있는 방법에 대한 지속적인 요구가 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 발명의 목적은 사용자에게 효과적으로 배열된 스케줄 정보를 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 디스플레이, 적어도 하나의 명령을 저장하는 메모리 및 상기 메모리 및 상기 디스플레이와 연결되어 상기 전자 장치를 제어하는 프로세서를 포함하며, 상기 프로세서는, 상기 적어도 하나의 명령어를 실행함으로써, 상기 디스플레이에 이미지가 디스플레이되는 동안 스케줄 추가를 위한 명령이 입력되면, 상기 이미지에 대한 텍스트 인식을 수행하여 복수의 텍스트를 획득하고, 상기 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보를 획득하고, 상기 획득된 일시 정보에 기초하여 스케줄 정보를 업데이트하며, 상기 제1 신경망 모델은, 복수의 일시 정보를 입력받아 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보를 출력하도록 학습된 것일 수 있다.
여기서, 상기 제1 신경망 모델의 학습을 위해 상기 제1 신경망 모델로 입력되는 상기 복수의 일시 정보는, 메인 일시 정보로 태깅된 제1 일시 정보 및 서브 일시 정보로 태깅된 제2 일시 정보를 포함할 수 있다.
또한, 상기 제1 신경망 모델은, 복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습되며, 상기 프로세서는, 상기 획득된 복수의 텍스트를 상기 제1 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하고, 상기 획득된 스케줄 바운더리 정보 및 상기 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 상기 스케줄 정보를 업데이트할 수 있다.
또한, 상기 프로세서는, 상기 획득된 복수의 텍스트를 제2 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하고, 상기 획득된 스케줄 바운더리 정보 및 상기 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트하며, 상기 제2 신경망 모델은, 복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습된 것일 수 있다.
또한, 상기 프로세서는, 상기 획득된 복수의 텍스트를 상기 제1 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 획득하고, 상기 획득된 스케줄 타이틀 정보, 상기 장소 정보 및 상기 일시 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트할 수 있다.
여기서, 상기 제1 신경망 모델은, 복수의 텍스트 정보를 입력받아 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 구분하여 출력하도록 학습되며, 상기 제1 신경망 모델의 학습을 위해 상기 제1 신경망 모델로 입력되는 복수의 텍스트 정보는, 스케줄 타이틀 정보로 태깅된 제1 텍스트, 장소 정보로 태깅된 제2 텍스트 및 일시 정보로 태깅된 제3 텍스트를 포함할 수 있다.
한편, 상기 프로세서는, 상기 제1 신경망 모델로부터 획득된 복수의 메인 일시 정보의 일시가 중복되는 경우, 상기 복수의 메인 일시 정보 중 하나를 선택하고, 상기 선택된 메인 일시 정보 및 상기 선택된 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 상기 사용자 스케줄 정보를 업데이트할 수 있다.
또한, 상기 프로세서는, 상기 제1 신경망 모델로부터 획득된 복수의 스케줄 정보를 포함하는 가이드 UI를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 가이드 UI 상에서 선택된 스케줄 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트할 수 있다.
또한, 상기 스케줄 추가를 위한 상기 사용자 명령은, 상기 이미지에 대한 터치 입력 또는 사용자 음성 명령 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 상기 복수의 텍스트를 기설정된 단위로 구분하고, 상기 구분된 텍스트를 노멀라이징하고, 상기 노멀라이징된 텍스트를 토크나이징하여 상기 제1 신경망 모델로 입력할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 이미지가 디스플레이되는 동안 스케줄 추가를 위한 사용자 명령이 입력되면, 상기 이미지에 대한 텍스트 인식을 수행하여 복수의 텍스트를 획득하는 단계, 상기 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보를 획득하는 단계 및 상기 획득된 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트하는 단계를 포함하며, 상기 제1 신경망 모델은, 복수의 일시 정보를 입력받아 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보를 출력하도록 학습된 것일 수 있다.
여기서, 상기 제1 신경망 모델의 학습을 위해 상기 제1 신경망 모델로 입력되는 상기 복수의 일시 정보는, 메인 일시 정보로 태깅된 제1 일시 정보 및 서브 일시 정보로 태깅된 제2 일시 정보를 포함할 수 있다.
또한, 상기 제1 신경망 모델은, 복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습되며, 상기 획득된 복수의 텍스트를 상기 제1 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하는 단계를 더 포함하며, 상기 사용자의 스케줄 정보를 업데이트하는 단계는, 상기 획득된 스케줄 바운더리 정보 및 상기 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 상기 사용자 스케줄 정보를 업데이트할 수 있다.
또한, 상기 획득된 복수의 텍스트를 제2 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하는 단계를 더 포함하며, 상기 사용자의 스케줄 정보를 업데이트하는 단계는, 상기 획득된 스케줄 바운더리 정보 및 상기 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트하며, 상기 제2 신경망 모델은, 복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습된 것일 수 있다.
또한, 상기 획득된 복수의 텍스트를 상기 제1 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 획득하는 단계를 더 포함하며, 상기 사용자의 스케줄 정보를 업데이트하는 단계는, 상기 획득된 스케줄 타이틀 정보, 상기 장소 정보 및 상기 일시 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트할 수 있다.
본 개시의 다양한 실시 예에 따르면, 사용자가 다중 스케줄을 관리할 경우 사용자의 편의가 제고될 수 있다.
도 1은 다중 스케줄을 캘린더에 추가하는 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3a 내지 3d는 본 개시의 일 실시 예에 따른 다중 스케줄 추출 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 바운더리 정보 획득을 설명하기 위한 도면이다.
도 5a 내지 5c는 본 개시의 일 실시 예에 따른 제1 신경망 모델에 대해 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 제2 신경망 모델에 대해 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 복수의 다중 스케줄 추가 방법에 대해 설명하기 위한 도면이다.
도 8a 및 8b는 본 개시의 일 실시 예에 따른 다양한 방식의 사용자 명령에 대해 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 중복 스케줄을 제거하는 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
-
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 다중 스케줄을 캘린더에 추가하는 방법을 설명하기 위한 도면이다.
전자 장치(100)는 사용자가 휴대 가능한 전자 장치를 의미한다. 도 1에서는 전자 장치(100)가 스마트폰으로 구현된 것으로 표현하였으나, 이에 한정되는 것은 아니며 전자 장치(100)는 스케줄 관리 기능을 수행할 수 있는 전자 장치, 예를 들어 태블릿 PC, 이동 전화기, 영상 전화기, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, PDA, PMP(portable multimedia player), MP3 플레이어, 카메라, 가상 현실(virtual reality(VR)) 구현 장치 또는 웨어러블 장치 등 다양한 기기로 구현될 수 있다.
본 명세서를 통해, '일정'과 '스케줄'이란 단어는 동일하거나 유사한 의미를 지니는 단어로서 혼용하도록 한다.
도 1을 참조하면, 복수의 다중 스케줄에 관한 정보를 포함하는 화면(101)에는 스케줄 a와 스케줄 b에 관한 정보가 혼재되어 있다. 예를 들어, 스케줄 a는 세부 스케줄로서 a1, a2 및 a3를 포함하고 있으며, 스케줄 b는 세부 스케줄로서 b1, b2 및 b3를 포함하고 있다. 여기서 다중 스케줄이란 스케줄 a 및 스케줄 b와 같이 스케줄에 대한 세부 스케줄을 포함하는 스케줄을 의미한다.
스케줄 관리를 위한 사용자 입력에 대응하여 전자 장치(100)는 캘린더 어플리케이션 상에서 복수의 다중 스케줄에 관한 정보를 추가하고, 추가된 정보에 대응되는 UI를 사용자에게 제공할 수 있다. 여기서 복수의 다중 스케줄에 관한 정보를 포함하는 화면(101)은 텍스트 또는 이미지 파일로 구성될 수 있으며, 화면(101)이 이미지 파일로 구성될 경우 전자 장치(100)는 OCR과 같은 텍스트 인식 방법을 이용해 이미지 파일에서 텍스트를 추출할 수 있다.
종래의 전자 장치는 복수의 다중 스케줄에 관한 정보를 포함하는 화면(101)에 포함된 텍스트 정보에 기초하여 다중 스케줄의 세부 스케줄(a1, a2, a3, b1, b2, b3)을 모두 개별적인 스케줄로 인식하기 때문에 캘린더 어플리케이션의 UI(102) 상에 인식된 개별적인 스케줄이 모두 표시될 수 밖에 없었다.
도 1에서 도시한 캘린더 어플리케이션의 UI(102)에서는 스케줄 a 및 스케줄 b의 세부 스케줄이 모두 다른 날짜에 배치되어 있다. 만일, 각 스케줄의 세부 스케줄이 배치된 날짜가 겹치는 경우 사용자는 스케줄 a와 스케줄 b의 세부 스케줄에 대한 정보가 혼재된 상태의 UI를 제공받기 때문에 한눈에 스케줄에 관한 정보를 파악하기 어렵다.
본 개시에서는 상술한 문제점을 해결하기 위해 사용자가 각 스케줄에 대한 복수의 세부 스케줄을 혼동하지 않으면서 각 스케줄이 명확히 구분된 UI를 제공하는 전자 장치 및 제어 방법에 관하여 설명하도록 한다.
이에 따라, 이하에서는 사용자에게 효과적으로 배열된 스케줄 정보를 제공할 수 있는 다양한 실시 예에 대해 좀더 구체적으로 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하여, 본 개시의 일 실시 예에 따른 전자 장치(100)는 디스플레이(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.
디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, QLED(Quantum dot light-emitting diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
메모리(120)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
본 개시의 일 실시 예에 따른 메모리(120)는 적어도 하나의 명령 및 적어도 하나의 신경망 모델을 저장할 수 있다. 다만, 신경망 모델은 전자 장치(100)가 아닌 별도의 서버(미도시)에 저장된 것일 수도 있다. 이 경우, 전자 장치(100)는 통신부(미도시)를 구비할 수 있고, 프로세서(130)는 신경망 모델을 저장하고 있는 서버와 데이터를 송수신하도록 통신부를 제어할 수 있다.
프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다. 예를 들어, 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 디스플레이(110) 및 메모리(120)와 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 타입의 연산처리 소자를 포함할 수 있으나 이에 한정되는 것은 아니며, 본 개시에서는 프로세서(130)로 기재한다.
프로세서(130)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(130)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서(130)와 메모리(120)를 통해 동작된다. 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU(Neural Network Processing Unit)와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서(130)는, 메모리(120)에 저장된 기 정의된 동작 규칙 또는 신경망 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 신경망 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 신경망 모델은 학습을 통해 만들어진 것일 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 신경망 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 신경망 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
신경망 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 신경망 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 신경망 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등을 포함할 수 있으나, 전술한 예에 한정되지 않는다.
일 실시 예에 따른 프로세서(130)는 적어도 하나의 메모리(120)에 저장된 적어도 하나의 명령어를 실행함으로써 디스플레이(110)에 이미지가 디스플레이되는 동안 스케줄 추가를 위한 사용자 명령이 입력되면, 이미지에 대한 텍스트 인식을 수행하여 복수의 텍스트를 획득할 수 있다.
사용자는 웹 브라우저 또는 어플리케이션 상에서 이미지 또는 텍스트 파일을 통해 스케줄 관련 정보를 획득할 수 있다. 텍스트 파일을 통해 스케줄 관련 정보를 획득하는 경우 프로세서(130)가 이미지로부터 텍스트 인식을 수행하여 복수의 텍스트를 획득하는 동작은 불필요하게 된다. 그러나, 사용자는 웹 브라우저나 어플리케이션 상의 화면 내에 포함된 스케줄 관련 정보를 획득하고자 전자 장치(100)를 사용하는 것이 일반적이므로, 본원은 사용자가 이미지 파일을 통해 스케줄 관련 정보를 획득하는 것을 전제로 프로세서(130)의 동작을 설명할 것이다.
본 개시의 일 실시 예에 따른 프로세서(130)는 텍스트를 획득함에 있어 OCR(Optical character recognition) 방식을 이용할 수 있다. OCR 방식은 이미지로부터 텍스트를 추출하는 대표적인 기술이다.
프로세서(130)는 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 획득할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 신경망 모델을 이용해 인공지능과 관련된 기능을 수행할 수 있다. 여기서, 신경망 모델은 복수의 영상에 기초하여 기계 학습(Machine Learning)된 모델일 수 있다. 예를 들어, 신경망 모델은 복수의 샘플 이미지 또는 훈련 이미지 중에 적어도 하나에 기초하여 DNN(deep neural network)을 기반으로 학습된 모델을 포함할 수 있다.
여기서 DNN(deep neural network)은 뇌 신경을 모사한 인공 신경망 모델의 대표적인 예시이다. 본 개시에서는 신경망 모델이 DNN인 것을 전제로 전자 장치(100)의 동작을 설명할 것이다. 그러나 DNN 기반 모델은 다양한 실시 예 중 일부이며, 본원이 개시하는 신경망 모델이 DNN으로 한정되지 않음은 물론이다.
예를 들어, 본 개시의 일 실시 예에 따른 제1 신경망 모델은 머신 러닝을 통해 자연어 처리(Natural Language Processing)를 수행하기 위해 학습된 모델을 포함할 수 있으며, 일 예에 따른 제1 신경망 모델은 복수의 일시 정보를 입력받아 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보를 출력하도록 학습된 모델일 수 있다.
본 개시의 일 실시 예에 따른 메인 일시 정보란 다중 스케줄에 관한 정보 중 세부 스케줄에 대응되는 일시를 모두 포함하는 스케줄에 대응되는 일시 정보를 의미한다. 도 1에서 설명한 바와 같이, 세부 스케줄 a1, a2 및 a3의 일시를 모두 포함하는 a에 대응되는 일시 정보가 일 예에 따른 메인 일시 정보일 수 있다. 이 경우 메인 일시 정보는 10월 2일, 10월 3일, 10월 4일에 대응되는 정보일 수 있다.
본 개시의 일 실시 예에 따른 서브 일시 정보란 다중 스케줄에 관한 정보 중 세부 스케줄에 대응되는 일시 정보를 의미한다. 도 1을 참조하면, 스케줄 a에 대응되는 세부 스케줄인 a1, a3, a3의 일시에 대응되는 일시 정보는 서브 일시 정보를 포함할 수 있다. 프로세서(130)는 획득된 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트할 수 있다. 예를 들어, 프로세서(130)는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 하나의 스케줄 패키지로 식별할 수 있으며, 이에 대해서는 하기 도 3a 내지 3d를 통해 보다 상세히 설명하도록 한다.
여기서, 제1 신경망 모델의 학습을 위해 제1 신경망 모델로 입력되는 복수의 일시 정보는 메인 일시 정보로 태깅된 제1 일시 정보 및 서브 일시 정보로 태깅된 제2 일시 정보를 포함할 수 있다.
본 개시의 일 실시 예에 따른 제1 신경망 모델은 복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습되며, 프로세서(130)는 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득할 수 있다.
여기서, 스케줄 바운더리 정보는 복수의 텍스트 정보 내에 복수의 다중 스케줄에 관한 정보가 순차적으로 배열되어 있는 경우 각 스케줄에 대응되는 마지막 텍스트 또는 최초의 텍스트에 관한 정보를 포함할 수 있다. 일 예에 따른 프로세서(130)는 획득된 바운더리 정보 및 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 사용자 스케줄 정보를 업데이트할 수 있다.
또한, 본 개시의 일 실시 예에 따른 프로세서(130)는 획득된 복수의 텍스트를 제2 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하고 획득된 스케줄 바운더리 정보 및 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 사용자 스케줄 정보를 업데이트할 수 있다.
여기서, 제2 신경망 모델은 복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습된 모델을 포함할 수 있다. 이 경우 전자 장치(100)는 복수의 스케줄을 구분할 수 있는 바운더리 정보를 보다 정확하게 식별할 수 있으므로, 복수의 스케줄을 관리하는 사용자에게 보다 편리한 서비스를 제공할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 획득할 수 있다. 프로세서(130)는 획득된 스케줄 타이틀 정보, 장소 정보 및 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트할 수 있다.
이 경우, 프로세서(130)는 일시 정보뿐만 아니라 타이틀 정보 및 장소 정보에 기초하여 복수의 다중 스케줄에 포함된 세부 스케줄들을 포함하는 스케줄 패키지를 식별할 수 있다. 예를 들어, 프로세서(130)는 동일한 장소에서 진행되는 세부 스케줄은 동일한 스케줄 패키지에 속하는 것으로 식별할 수 있다. 또한, 프로세서(130)는 각 세부 스케줄에 대응되는 스케줄 타이틀 정보에 동일한 키워드가 공통되는 세부 스케줄은 동일한 스케줄 패키지에 속하는 것으로 식별할 수 있다.
본 개시의 일 실시 예에 따른 제1 신경망 모델은 복수의 텍스트 정보를 입력받아 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 구분하여 출력하도록 학습된 모델일 수 있다. 여기서 제1 신경망 모델의 학습을 위해 제1 신경망 모델로 입력되는 복수의 텍스트 정보는 스케줄 타이틀 정보로 태깅된 제1 텍스트, 장소 정보로 태깅된 제2 텍스트 및 일시 정보로 태깅된 제3 텍스트를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 제1 신경망 모델로부터 획득된 복수의 메인 일시 정보의 일시가 중복되는 경우 복수의 메인 일시 정보 중 하나를 선택할 수 있다. 일 예에 따른 프로세서(130)는 복수의 메인 일시 정보 중 선택되지 않은 메인 일시 정보에 대한 제거 처리를 수행할 수 있다. 이어서 프로세서(130)는 선택된 메인 일시 정보 및 선택된 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 사용자 스케줄 정보를 업데이트할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 제1 신경망 모델로부터 획득된 복수의 스케줄 정보를 포함하는 가이드 UI를 디스플레이하도록 디스플레이(110)를 제어하고 가이드 UI 상에서 선택된 스케줄 정보에 기초하여 사용자의 스케줄 정보를 업데이트할 수 있다.
본 개시의 일 실시 예에 따른 스케줄 추가를 위한 사용자 명령은 이미지에 대한 터치 입력 또는 사용자 음성 명령 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 제1 신경망 모델을 통한 자연어 처리를 효율적으로 수행하기 위해 복수의 텍스트를 기설정된 단위로 구분할 수 있다. 여기서, 일 예에 따른 기설정된 단위는 하나의 페이지, 하나의 문단 또는 한 줄과 같은 단위일 수 있다. 또한, 일 예에 따른 프로세서(130)는 구분된 텍스트를 노멀라이징하고, 노멀라이징된 텍스트를 토크나이징하여 제1 신경망 모델로 입력할 수 있다.
예를 들어, 노멀라이징이란 텍스트 정보에 포함된 단어들 중 표현 방법이 다른 단어들을 동일한 의미를 갖는 하나의 단어로 변환하는 동작을 의미할 수 있다. 예를 들어, US(United States)와 USA(United States of America)는 동일한 의미를 갖는 단어이므로 US 라는 하나의 단어로 노멀라이징될 수 있다. 프로세서(130)는 노멀라이징 과정에서 대소문자를 통합하고, 불필요한 단어를 제거할 수 있다.
예를 들어, 토크나이징이란 신경망 모델로 입력되는 텍스트 정보를 프로세서(130)의 자연어 처리에 적합한 형태(이하, 토큰)로 나누는 동작을 의미한다. 일 예에 따른 프로세서(130)는 텍스트 정보를 나누는 토큰을 '단어'로 설정할 수 있다. 다른 예에 따른 프로세서(130)는 토큰을 '문장'으로 설정할 수 있다.
도 3a 내지 3d는 본 개시의 일 실시 예에 따른 다중 스케줄 추출 방법을 설명하기 위한 도면이다.
도 3a는 본 개시의 일 실시 예에 따른 프로세서(130)가 스케줄 정보를 포함하는 이미지로부터 텍스트 인식을 수행하여 획득한 텍스트 정보(300-1)를 도시한 것이다. 획득된 텍스트 정보(300-1)는 '독서와 소통', '그림책 읽기 훈련' 및 '부모와 자녀의 독서'라는 타이틀을 갖는 3 개의 다중 스케줄에 관한 정보를 포함하고 있다. 여기서 다중 스케줄 중 '독서와 소통' 및 '그림책 읽기 훈련'이라는 타이틀을 갖는 스케줄은 각각 3개 차시에 대응되는 세부 스케줄을 포함한다. 일 예에 따른 획득된 텍스트 정보(300-1)는 타이틀 정보, 장소 정보, 일시 정보 및 강사 정보와 같은 다양한 유형의 정보를 포함할 수 있다.
도 3b는 본 개시의 일 실시 예에 따른 프로세서(130)가 획득된 텍스트 정보(300-1)로부터 다양한 유형의 정보를 식별한 상태(300-2)를 도시한 것이다. 일 예에 따른 프로세서(130)는 '독서와 소통'이라는 타이틀을 갖는 다중 스케줄에 대하여 타이틀 정보(301-1), 일시 정보(302-1, 302-2), 장소 정보(303-1), 대상 정보(304-1) 및 강사 정보(305-1)를 식별하고 각 유형의 정보에 대응되는 태그를 텍스트 정보에 포함시킬 수 있다.
도 3c는 본 개시의 일 실시 예에 따른 프로세서(130)가 획득된 텍스트 정보(300-1)로부터 다양한 유형의 정보를 식별함과 더불어 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 구분하여 식별한 상태(300-3)를 도시한 것이다. 예를 들어, 일 예에 따른 프로세서(130)는 '독서와 소통'이라는 타이틀을 갖는 다중 스케줄에 대한 일시 정보 중 메인 일시 정보(311) 및 메인 일시 정보에 대응되는 서브 일시 정보(312, 313, 314)를 구분하여 식별할 수 있다.
또한, 프로세서(130)는 메인 일시 정보(311) 및 메인 일시 정보에 대응되는 서브 일시 정보(312, 313, 314)에 대응되는 태그를 텍스트 정보에 포함시킬 수 있다. 일 예에 따른 프로세서(130)가 메인 일시 정보(311)를 서브 일시 정보(312, 313, 314)와 구분하여 식별하는 이유는 메인 일시 정보(311)를 기초로 복수의 다중 스케줄을 구분하기 위함이다. 이에 관해서는 도 3d에서 후술한다.
도 3d는 본 개시의 일 실시 예에 따른 프로세서(130)가 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 구분하여 식별한 후 메인 일시 정보에 기초하여 다중 스케줄 각각을 하나의 스케줄 패키지로 식별한 상태(300-4)를 도시한 것이다. 일 예에 따른 프로세서(130)는 '독서와 소통'이라는 타이틀을 갖는 다중 스케줄에 대응되는 메인 일시 정보(311) 및 메인 일시 정보(311)에 대응되는 복수의 서브 정보(312, 313, 314)가 하나의 스케줄 패키지(310)에 포함된 일시 정보인 것으로 식별할 수 있다.
마찬가지로, 일 예에 따른 프로세서(130)는 '그림책 읽기 훈련'이라는 타이틀을 갖는 다중 스케줄에 대응되는 메인 일시 정보(321) 및 메인 일시 정보(321)에 대응되는 복수의 서브 정보(322, 323, 324)가 하나의 스케줄 패키지(320)에 포함된 일시 정보인 것으로 식별할 수 있다. 프로세서(130)는 '부모와 자녀의 독서'라는 타이틀을 갖는 스케줄에 대해서는 서브 스케줄이 식별되지 않는 경우 메인 일시 정보(331)만이 하나의 스케줄 패키지(330)에 포함된 일시 정보인 것으로 식별할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 바운더리 정보 획득을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 프로세서(130)가 도 3에서 설명한 이미지와 동일한 이미지로부터 텍스트 인식을 수행하여 획득한 텍스트 정보에 포함된 다양한 유형의 정보를 식별한 상태(400)를 도시한 것이다. 일 예에 따른 프로세서(130)는 타이틀 정보, 일시 정보 또는 장소 정보와 같이 이미지에 포함되어 있는 정보뿐만 아니라 이미지에 포함되어 있지 않은 스케줄 바운더리 정보(401, 402)를 획득할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 스케줄 패키지를 구분하기 위해 신경망 모델을 이용할 수 있다. 예를 들어, 일 예에 따른 프로세서(130)는 스케줄 정보를 포함하는 이미지로부터 획득된 텍스트를 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득할 수 있다.
예를 들어, '독서와 소통'이라는 타이틀을 갖는 스케줄에 대응되는 스케줄 바운더리 정보는 '독서와 소통'이라는 타이틀 포함하는 스케줄에 대응되는 텍스트 정보들 중에서 '접수'에 관한 텍스트 이후의 블랭크에 대응되는 정보(401)일 수 있다. 마찬가지로, '그림책 읽기 훈련'이라는 타이틀을 갖는 스케줄에 대응되는 스케줄 바운더리 정보는 '그림책 읽기 훈련'이라는 타이틀을 포함하는 스케줄에 대응되는 텍스트 정보들 중에서 '접수'에 관한 텍스트 이후의 블랭크에 대응되는 정보(402)일 수 있다. 이 경우, 바운더리 정보(401, 402)에 대응되는 텍스트 정보는 '접수'에 관한 텍스트에 대응되는 정보일 수 있다.
일 예에 따른 프로세서(130)는 획득된 바운더리 정보 및 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트할 수 있다. 프로세서(130)가 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 획득하기 위해 사용하는 신경망 모델과 바운더리 정보를 획득하기 위해 사용하는 신경망 모델은 하나의 모델일 수도 있으나 별개의 모델일 수도 있다.
본 개시의 일 실시 예에 따른 프로세서(130)가 바운더리 정보를 획득하기 위해 사용하는 신경망 모델은 복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습된 모델을 포함할 수 있다. 일 예에 따른 프로세서(130)는 신경망 모델을 사용해 획득한 바운더리 정보(401, 402)에 기초하여 개별적인 스케줄 패키지를 식별할 수 있다.
도 5a 내지 5c는 본 개시의 일 실시 예에 따른 제1 신경망 모델에 대해 설명하기 위한 도면이다.
도 5a를 참조하면, 본 개시의 일 실시 예에 따른 제1 신경망 모델(510)은 메인 일시 정보로 또는 서브 일시 정보로 태깅된 복수의 일시 정보를 입력받아 학습된 모델일 수 있다. 제1 신경망 모델(510)로 입력되는 입력 데이터(511)는 메인 일시 정보로 태깅(md)된 일시 정보인 텍스트 A 및 텍스트 D와 서브 일시 정보로 태깅(sd)된 일시 정보인 텍스트 B, C, E, F를 포함할 수 있다.
일 예에 따른 제1 신경망 모델(510)은 메인 일시 정보 또는 서브 일시 정보로 태깅된 복수의 일시 정보를 포함하는 입력 데이터(511)를 입력받아 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 출력하도록 학습된 모델일 수 있다. 예를 들어, 제1 신경망 모델(510)은 메인 일시 정보인 A 및 그에 대응되는 서브 일시 정보인 B 및 C와 또다른 메인 일시 정보인 D 및 그에 대응되는 서브 일시 정보인 E 및 F를 출력 데이터(512)로 출력하도록 학습될 수 있다.
도 5b는 본 개시의 다른 실시 예에 따른 제1 신경망 모델의 학습방법을 설명하기 위한 도면이다. 도 5b에 따르면, 제1 신경망 모델(510)로 입력되는 입력 데이터(521)는 일시 정보로 태깅(d)된 텍스트 정보(텍스트 A, B, C) 및 일시 정보로 태깅되지 않은 텍스트 정보(텍스트 X, Y, Z)를 포함할 수 있다.
일 예에 따른 제1 신경망 모델(510)은 일시 정보로 태깅된 텍스트 정보를 포함하는 입력 데이터(521)를 입력받아 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 출력하도록 학습된 모델일 수도 있다. 예를 들어, 제1 신경망 모델(510)은 메인 일시 정보 A 및 그에 대응되는 서브 일시 정보인 B 및 C를 출력 데이터(522)로 출력하도록 학습될 수 있다.
도 5a와 같이 메인 일시 정보 또는 서브 일시 정보에 대한 개별적인 태그를 포함하는 입력 데이터(511)가 제1 신경망 모델(510)로 입력되는 경우, 학습의 효율 측면에서 이점이 있으나, 입력 데이터(511)에 개별적인 태그를 포함시키기 위해 투자되는 인력과 시간이 증가할 수 있다는 문제점이 있다. 반면, 도 5b와 같이 단순히 일시 정보에 대응되는 태그만을 포함하는 입력 데이터(521)를 통해 제1 신경망 모델(510) 학습시키는 경우 입력 데이터(521)의 생성이 용이한 장점이 있다.
도 5c는 본 개시의 일 실시 예에 따른 제1 신경망 모델(510)의 동작을 설명하기 위한 도면이다.
제1 신경망 모델(510)은 스케줄 정보를 포함하는 복수의 텍스트 정보(531)를 입력 받아 스케줄 정보에 대응되는 메인 일 시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보(532)를 획득할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 제2 신경망 모델이 학습되는 방법에 대해 설명하기 위한 도면이다.
도 6을 참조하면, 제2 신경망 모델(600)은 복수의 텍스트 정보를 입력 데이터(601)로 입력받을 수 있다. 일 예에 따른 입력 데이터(601)는 바운더리 정보에 대응되는 텍스트로서 바운더리 태그(b)를 포함하는 제1 구조의 텍스트와 바운더리 정보에 대응되지 않는 제2 구조의 텍스트 및 제3 구조의 텍스트를 포함할 수 있다.
제2 신경망 모델(600)은 입력 데이터(601) 중에서 바운더리 정보에 대응되는 텍스트로서 바운더리 태그(b)를 포함하는 제1 구조의 텍스트만을 출력 데이터(602)에 포함시켜 출력할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 복수의 다중 스케줄 추가 방법에 대해 설명하기 위한 도면이다. 도 7에서는 A라는 타이틀을 갖는 스케줄을 'A'라고 표현하기로 한다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 복수의 다중 스케줄에 대한 정보를 포함하는 이미지(700)를 디스플레이할 수 있다. 전자 장치(100)가 디스플레이하는 이미지(700)에는 다중스케줄인 '독서와 소통(10)' 및 '그림책 읽기 훈련(20)'과 단일 스케줄인 '부모와 자녀의 독서(30)'에 대한 정보가 포함되어 있을 수 있다. 또한, 이미지는 복수의 스케줄에 대한 추가 정보(40)를 포함할 수도 있다.
일 예에 따른 전자 장치(100)는 복수의 스케줄 각각에 대응되는 메인 일시 정보를 식별할 수 있다. 예를 들어 전자 장치(100)는 '독서와 소통(10)' 에 대응되는 메인 일시 정보인 '2020년 2월 4일 ~ 2020년 2월 6일'(11)을 식별할 수 있다. 또한 전자 장치(100)는 '그림책 읽기 훈련(20)'에 대응되는 메인 일시 정보인 '2020년 2월 11일 ~ 2020년 2월 13일(21)'을 식별할 수 있다. 마찬가지로 전자 장치(100)는 '부모와 자녀의 독서(30)'에 대응되는 메인 일시 정보인 '2020년 2월 4일 15:00 ~ 17:00'을 식별할 수 있다.
일 예에 따른 전자 장치(100)는 식별된 메인 일시 정보(11, 21, 31)을 제외한 나머지 일시 정보를 서브 일시 정보로 식별하고, 식별된 메인 일시 정보 및 각 메인 일시 정보에 대응되는 서브 일시 정보를 하나의 스케줄 패키지에 속하는 일시 정보로 식별할 수 있다.
그 결과로 전자 장치(100)는 '독서와 소통(10)', '그림책 읽기 훈련(20)' 및 '부모와 자녀의 독서(30)'에 대응되는 메인 일시 정보 및 각 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트할 수 있다. 또한 전자 장치(100)는 업데이트된 스케줄 정보를 제공하는 UI(710, 720, 730)를 디스플레이할 수 있다. 예를 들어, 전자 장치(100)는 '독서와 소통(10)'에 대한 스케줄 정보를 제공하는 UI(710), '그림책 읽기 훈련(20)'에 대한 스케줄 정보를 제공하는 UI(720) 및 '부모와 자녀의 독서(30)'에 대한 스케줄 정보를 제공하는 UI(730)를 각각 디스플레이할 수 있다.
도 8a 및 8b는 본 개시의 일 실시 예에 따른 다양한 방식의 사용자 명령에 대해 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시 예에 따른 스케줄 추가를 위한 사용자 명령 중 터치 입력에 의한 사용자 명령에 대해 설명하기 위한 도면이다.
일 예에 따른 전자 장치(100)는 디스플레이(110)를 통해 스케줄 정보를 포함하는 이미지를 디스플레이할 수 있다. 일 예에 따른 이미지는 인터넷 브라우저 또는 어플리케이션 화면을 통해 제공되거나 이메일, 메신저, 문자메시지 또는 카메라(미도시)를 통해 촬영된 결과 화면 중 적어도 하나를 통해 제공될 수도 있다. 이 경우 사용자는 터치 입력을 통해 제공되는 이미지의 일부 영역(810)을 선택할 수 있다.
일 예에 따른 전자 장치(100)는 선택된 이미지의 일부 영역(810)에 대해 복사, 공유, 저장 또는 일정 추가 등의 기능을 선택할 수 있는 UI를 디스플레이할 수 있다. 사용자는 이미지의 일부 영역(810)을 이미지로 저장(811)하거나 텍스트로 저장(812)할 수 있다. 전자 장치(100)는 사용자가 UI를 통해 텍스트로 저장(812) 기능을 선택하는 경우, 이미지(810)에 대한 OCR 처리를 통해 획득된 텍스트를 저장할 수 있다.
또한, 일 예에 따른 전자 장치(100)는 '일정 추가(813)' 기능이 선택되는 경우 이미지의 일부 영역(810)에 포함된 스케줄 정보를 추출하여 사용자 스케줄을 업데이트할 수도 있다. 예를 들어, 전자 장치(100)는 '내일은 <abc>전국투어 콘서트 - 의정부'에 대응되는 메인 일시 정보인 '2020.08.02'에 기초하여 사용자 스케줄을 업데이트할 수 있다. 전자 장치(100)는 스케줄 업데이트를 통해 추가된 스케줄에 대한 정보를 제공하는 UI(814)를 디스플레이할 수 있다.
도 8b는 본 개시의 일 실시 예에 따른 스케줄 추가를 위한 사용자 명령 중 음성 입력에 의한 사용자 명령에 대해 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자 입력부(미도시)를 구비할 수 있다. 일 예에 따른 사용자 입력부(미도시)는 음성 인식 센서 또는 버튼과 같은 기계식 모듈로 구현될 수 있다. 사용자 입력부를 통해 음성 인식 개시를 위한 사용자 조작이 입력되면 전자 장치(100)는 발화 개시를 안내하는 가이드 UI를 디스플레이할 수 있다.
가이드 UI를 제공받은 사용자가 스케줄 추가를 위한 사용자 명령에 대응되는 음성을 입력하는 경우 전자 장치(100)는 입력된 음성의 내용을 사용자에게 피드백하기 위한 UI(820)를 디스플레이할 수 있다. 해당 UI(820)이 디스플레이된 이후 기설정된 시간이 도과하거나 추가적인 사용자 조작이 입력되는 경우 전자 장치(100)는 입력된 음성에 포함된 사용자 명령에 대응되는 동작을 수행할 수 있다. 예를 들어, "현재 보고 있는 화면 일정 추가해줘"라는 내용의 음성이 입력된 경우, 전자 장치(100)는 음성 인식이 개시될 당시 전자 장치(100)가 디스플레이중인 이미지에 포함된 스케줄 정보를 추출하여 사용자 스케줄을 업데이트할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 중복 스케줄을 제거하는 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 이미지에 포함된 스케줄 정보를 추출하고, 추출된 일정에 대한 정보를 제공하는 UI(900-1)를 디스플레이(110)를 통해 사용자에게 제공할 수 있다. 스케줄 정보를 포함하는 이미지에 동일한 스케줄에 관한 정보가 복수 개 포함되어 있을 수 있으므로, 추출된 일정에도 동일한 스케줄에 관한 정보가 복수 개 포함되어 있을 수 있다.
예를 들어, 도 9에 도시된 추출된 일정에는 '독서와 소통'에 대응되는 스케줄 정보가 복수 개(911, 912) 포함되어 있을 수 있다. 일 예에 따른 전자 장치(100)는 추출된 일정에 포함된 스케줄 정보 중에서 중복 스케줄이 존재하는 '독서와 소통(911, 912)'에 대해서는 중복된 스케줄 정보를 삭제하는 처리를 수행할 수 있고, 중복 스케줄이 존재하지 않는 '그림책 읽기 훈련(920)' 및 '부모와 자녀의 독서(930)'에 대해서는 별도의 처리를 하지 않을 수 있다.
예를 들어, 전자 장치(100)는 중복 스케줄이 존재하는 '독서와 소통(911, 912)'에 대해 먼저 추출된 정보(911)을 선택하고, 선택되지 않은 정보(912)를 삭제함으로써 중복 제거 처리를 수행할 수 있다. 전자 장치(100)는 중복된 정보를 제거한 후에 추출된 스케줄 정보에 기초하여 사용자 스케줄을 업데이트할 수 있다.
그 결과, 사용자 스케줄에는 '독서와 소통(911)', '그림책 읽기 훈련(920)' 및 '부모와 자녀의 독서(930)'이 추가될 수 있고, 전자 장치(100)는 추가된 스케줄에 대한 정보를 제공하는 UI(900-2)를 디스플레이(110)를 통해 디스플레이할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 10에 따르면, 전자 장치(100')는 디스플레이(110), 메모리(120), 프로세서(130), 통신 인터페이스(140), 카메라(150) 및 사용자 입력부(160)를 포함한다. 도 10에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
통신 인터페이스(140)는 다양한 통신 회로를 포함하며 다양한 타입의 데이터를 입력 및 출력할 수 있다. 예를 들어 통신 인터페이스(140)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드)와 다양한 타입의 데이터를 송수신할 수 있다.
카메라(150)는 카메라의 화각(Field of View; FoV) 내에 영역에 대한 촬영을 수행하여 영상을 획득할 수 있다. 카메라(150)는 오브젝트에 의해 반사되어 수신되는 가시광 또는 신호를 이미지 센서로 포커싱하는 렌즈 및 가시광 또는 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있다.
사용자 입력부(160)는 다양한 입력 회로를 포함하며 전자 장치(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(160)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 및 음성 인식 센서 등으로 구성될 수 있다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 이미지가 디스플레이되는 동안 스케줄 추가를 위한 사용자 명령이 입력되면 이미지에 대한 텍스트 인식을 수행하여 복수의 텍스트를 획득한다(S1110). 이어서 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 획득한다(S1120). 마지막으로 획득된 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트한다(S1130). 여기서, 제1 신경망 모델은 복수의 일시 정보를 입력받아 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보를 출력하도록 학습된 모델일 수 있다.
여기서, 제1 신경망 모델의 학습을 위해 제1 신경망 모델로 입력되는 복수의 일시 정보는 메인 일시 정보로 태깅된 제1 일시 정보 및 서브 일시 정보로 태깅된 제2 일시 정보를 포함할 수 있다.
또한, 제1 신경망 모델은 복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습되며, 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하는 단계를 더 포함할 수 있다. 여기서, 사용자의 스케줄 정보를 업데이트하는 단계(S1130)는 획득된 스케줄 바운더리 정보 및 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 사용자 스케줄 정보를 업데이트할 수 있다.
또한, 획득된 복수의 텍스트를 제2 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하는 단계를 더 포함할 수 있다. 여기서, 사용자 스케줄 정보를 업데이트하는 단계(S1130) 획득된 스케줄 바운더리 정보 및 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트할 수 있다. 또한, 제2 신경망 모델은 복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습된 모델일 수 있다.
또한, 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 획득하는 단계를 더 포함할 수 있다. 여기서, 사용자의 스케줄 정보를 업데이트하는 단계(S1130)는 획득된 스케줄 타이틀 정보, 장소 정보 및 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트할 수 있다.
여기서, 제1 신경망 모델은 복수의 텍스트 정보를 입력받아 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 구분하여 출력하도록 학습되며, 제1 신경망 모델의 학습을 위해 제1 신경망 모델로 입력되는 복수의 텍스트 정보는 스케줄 타이틀 정보로 태깅된 제1 텍스트, 장소 정보로 태깅된 제2텍스트 및 일시 정보로 태깅된 제3 텍스트를 포함할 수 있다.
한편, 제1 신경망 모델로부터 획득된 복수의 메인 일시 정보의 일시가 중복되는 경우, 복수의 메인 일시 정보 중 하나를 선택하는 단계를 더 포함할 수 있다. 사용자의 스케줄 정보를 업데이트하는 단계(S1130)는 선택된 메인 일시 정보 및 선택된 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 사용자 스케줄 정보를 업데이트할 수 있다.
또한, 제1 신경망 모델로부터 획득된 복수의 스케줄 정보를 포함하는 가이드 UI를 디스플레이하는 단계를 더 포함할 수 있다. 사용자의 스케줄 정보를 업데이트하는 단계(S1130)는 가이드 UI 상에서 선택된 스케줄 정보에 기초하여 사용자의 스케줄 정보를 업데이트할 수 있다.
또한, 스케줄 추가를 위한 사용자 명령은 이미지에 대한 터치 입력 또는 사용자 음성 명령 중 적어도 하나를 포함할 수 있다.
또한, 복수의 텍스트를 기설정된 단위로 구분하는 단계, 구분된 텍스트를 노멀라이징하는 단계 및 노멀라이징된 텍스트를 토크나이징하여 제1 신경망 모델로 입력하는 단계를 더 포함할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버 또는 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 개시에서 설명되는 실시 예들이 프로세서(130) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 개시에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 개시에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    적어도 하나의 명령을 저장하는 메모리; 및
    상기 메모리 및 상기 디스플레이와 연결되어 상기 전자 장치를 제어하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 적어도 하나의 명령어를 실행함으로써, 상기 디스플레이에 이미지가 디스플레이되는 동안 스케줄 추가를 위한 명령이 입력되면,
    상기 이미지에 대한 텍스트 인식을 수행하여 복수의 텍스트를 획득하고,
    상기 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보를 획득하고,
    상기 획득된 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트하며,
    상기 제1 신경망 모델은,
    복수의 일시 정보를 입력받아 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보를 출력하도록 학습된, 전자 장치.
  2. 제1항에 있어서,
    상기 제1 신경망 모델의 학습을 위해 상기 제1 신경망 모델로 입력되는 상기 복수의 일시 정보는,
    메인 일시 정보로 태깅된 제1 일시 정보 및 서브 일시 정보로 태깅된 제2 일시 정보를 포함하는, 전자 장치.
  3. 제1항에 있어서,
    상기 제1 신경망 모델은,
    복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습되며,
    상기 프로세서는,
    상기 획득된 복수의 텍스트를 상기 제1 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하고,
    상기 획득된 스케줄 바운더리 정보 및 상기 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 상기 사용자 스케줄 정보를 업데이트하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 복수의 텍스트를 제2 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하고,
    상기 획득된 스케줄 바운더리 정보 및 상기 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트하며,
    상기 제2 신경망 모델은,
    복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습된, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 복수의 텍스트를 상기 제1 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 획득하고,
    상기 획득된 스케줄 타이틀 정보, 상기 장소 정보 및 상기 일시 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트하는, 전자 장치.
  6. 제5항에 있어서,
    상기 제1 신경망 모델은,
    복수의 텍스트 정보를 입력받아 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 구분하여 출력하도록 학습되며,
    상기 제1 신경망 모델의 학습을 위해 상기 제1 신경망 모델로 입력되는 복수의 텍스트 정보는,
    스케줄 타이틀 정보로 태깅된 제1 텍스트, 장소 정보로 태깅된 제2 텍스트 및 일시 정보로 태깅된 제3 텍스트를 포함하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 신경망 모델로부터 획득된 복수의 메인 일시 정보의 일시가 중복되는 경우, 상기 복수의 메인 일시 정보 중 하나를 선택하고, 상기 선택된 메인 일시 정보 및 상기 선택된 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 상기 사용자 스케줄 정보를 업데이트하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 신경망 모델로부터 획득된 복수의 스케줄 정보를 포함하는 가이드 UI를 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 가이드 UI 상에서 선택된 스케줄 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트하는, 전자 장치.
  9. 제1항에 있어서,
    상기 스케줄 추가를 위한 상기 명령은,
    상기 이미지에 대한 터치 입력 또는 음성 명령 중 적어도 하나를 포함하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 텍스트를 기설정된 단위로 구분하고,
    상기 구분된 텍스트를 노멀라이징하고,
    상기 노멀라이징된 텍스트를 토크나이징하여 상기 제1 신경망 모델로 입력하는, 전자 장치.
  11. 디스플레이, 메모리를 포함하는 전자 장치의 제어 방법에 있어서,
    상기 디스플레이에 이미지가 디스플레이되는 동안 스케줄 추가를 위한 명령이 입력되면, 상기 이미지에 대한 텍스트 인식을 수행하여 복수의 텍스트를 획득하는 단계;
    상기 획득된 복수의 텍스트를 제1 신경망 모델에 입력하여 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보를 획득하는 단계; 및
    상기 획득된 일시 정보에 기초하여 사용자의 스케줄 정보를 업데이트하는 단계;를 포함하며,
    상기 제1 신경망 모델은,
    복수의 일시 정보를 입력받아 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보를 출력하도록 학습된, 제어 방법.
  12. 제11항에 있어서,
    상기 제1 신경망 모델의 학습을 위해 상기 제1 신경망 모델로 입력되는 상기 복수의 일시 정보는,
    메인 일시 정보로 태깅된 제1 일시 정보 및 서브 일시 정보로 태깅된 제2 일시 정보를 포함하는, 제어 방법.
  13. 제11항에 있어서,
    상기 제1 신경망 모델은,
    복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습되며,
    상기 획득된 복수의 텍스트를 상기 제1 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하는 단계;를 더 포함하며,
    상기 사용자의 스케줄 정보를 업데이트하는 단계는,
    상기 획득된 스케줄 바운더리 정보 및 상기 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 상기 메인 일시 정보에 대응되는 서브 일시 정보에 기초하여 상기 사용자 스케줄 정보를 업데이트하는, 제어 방법.
  14. 제11항에 있어서,
    상기 획득된 복수의 텍스트를 제2 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 바운더리 정보를 획득하는 단계;를 더 포함하며,
    상기 사용자의 스케줄 정보를 업데이트하는 단계는,
    상기 획득된 스케줄 바운더리 정보 및 상기 복수의 스케줄 정보 각각에 대응되는 메인 일시 정보 및 메인 일시 정보에 대응되는
    서브 일시 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트하며,
    상기 제2 신경망 모델은,
    복수의 텍스트 정보를 입력받아 스케줄 바운더리 정보에 대응되는 텍스트 정보를 출력하도록 학습된, 제어 방법.
  15. 제11항에 있어서,
    상기 획득된 복수의 텍스트를 상기 제1 신경망 모델에 입력하여 상기 복수의 스케줄 정보 각각에 대응되는 스케줄 타이틀 정보, 장소 정보 및 일시 정보를 획득하는 단계;를 더 포함하며,
    상기 사용자의 스케줄 정보를 업데이트하는 단계는,
    상기 획득된 스케줄 타이틀 정보, 상기 장소 정보 및 상기 일시 정보에 기초하여 상기 사용자의 스케줄 정보를 업데이트하는, 제어 방법.
PCT/KR2021/008778 2020-10-27 2021-07-09 전자 장치 및 그 제어 방법 WO2022092487A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/428,211 US20220351151A1 (en) 2020-10-27 2021-07-09 Electronic apparatus and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0140613 2020-10-27
KR1020200140613A KR20220055977A (ko) 2020-10-27 2020-10-27 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2022092487A1 true WO2022092487A1 (ko) 2022-05-05

Family

ID=81384119

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008778 WO2022092487A1 (ko) 2020-10-27 2021-07-09 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20220351151A1 (ko)
KR (1) KR20220055977A (ko)
WO (1) WO2022092487A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230050807A (ko) * 2021-10-08 2023-04-17 삼성전자주식회사 전자 장치 및 이의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070023286A (ko) * 2005-08-24 2007-02-28 주식회사 팬택 일정 관리 장치 및 방법
US20130196307A1 (en) * 2012-01-31 2013-08-01 Brighter Futures For Beautiful Minds Visual organizer
KR101355912B1 (ko) * 2012-07-30 2014-01-29 이달수 메인일정에 연관된 보조일정의 알림서비스를 제공하는 일정관리 장치 및 일정관리 방법
US20140035949A1 (en) * 2012-08-03 2014-02-06 Tempo Ai, Inc. Method and apparatus for enhancing a calendar view on a device
US20190236555A1 (en) * 2018-01-29 2019-08-01 Microsoft Technology Licensing, Llc Calendar-aware resource retrieval

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565229B2 (en) * 2018-05-24 2020-02-18 People.ai, Inc. Systems and methods for matching electronic activities directly to record objects of systems of record
US10846553B2 (en) * 2019-03-20 2020-11-24 Sap Se Recognizing typewritten and handwritten characters using end-to-end deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070023286A (ko) * 2005-08-24 2007-02-28 주식회사 팬택 일정 관리 장치 및 방법
US20130196307A1 (en) * 2012-01-31 2013-08-01 Brighter Futures For Beautiful Minds Visual organizer
KR101355912B1 (ko) * 2012-07-30 2014-01-29 이달수 메인일정에 연관된 보조일정의 알림서비스를 제공하는 일정관리 장치 및 일정관리 방법
US20140035949A1 (en) * 2012-08-03 2014-02-06 Tempo Ai, Inc. Method and apparatus for enhancing a calendar view on a device
US20190236555A1 (en) * 2018-01-29 2019-08-01 Microsoft Technology Licensing, Llc Calendar-aware resource retrieval

Also Published As

Publication number Publication date
US20220351151A1 (en) 2022-11-03
KR20220055977A (ko) 2022-05-04

Similar Documents

Publication Publication Date Title
WO2019093744A1 (en) Display apparatus and control method thereof
WO2019177344A1 (en) Electronic apparatus and controlling method thereof
WO2015012495A1 (en) User terminal device and the control method thereof
WO2019093599A1 (ko) 사용자 관심 정보 생성 장치 및 그 방법
WO2020256424A1 (en) Method and apparatus for managing operations on data presented on a display
WO2019164119A1 (ko) 전자 장치 및 그 제어 방법
EP3785180A1 (en) Electronic apparatus and control method thereof
WO2022092487A1 (ko) 전자 장치 및 그 제어 방법
EP3698258A1 (en) Electronic apparatus and controlling method thereof
WO2022131488A1 (ko) 전자 장치 및 그 제어 방법
WO2020116960A1 (en) Electronic device for generating video comprising character and method thereof
WO2022039433A1 (ko) 대화 텍스트에 대한 요약 정보를 생성하는 전자 장치 및 그 동작 방법
WO2021137507A1 (en) Display apparatus and controlling method thereof
EP3167405A1 (en) Digital image processing apparatus and system and control method thereof
WO2021162260A1 (en) Electronic apparatus and control method thereof
WO2019194356A1 (ko) 전자 장치 및 그 제어 방법
WO2018164435A1 (en) Electronic apparatus, method for controlling the same, and non-transitory computer readable recording medium
WO2020171613A1 (en) Method for displaying visual object regarding contents and electronic device thereof
EP3803797A1 (en) Methods and systems for performing editing operations on media
WO2022086045A1 (ko) 전자 장치 및 이의 제어 방법
WO2021112361A1 (ko) 전자 장치 및 그 제어 방법
WO2020197071A1 (ko) 전자 장치 및 그 제어 방법
WO2022124476A1 (ko) 전자 장치 및 이의 제어 방법
WO2022186450A1 (ko) 전자 장치 및 그 제어 방법
WO2023128660A1 (ko) 검색을 수행하기 위한 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21886486

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21886486

Country of ref document: EP

Kind code of ref document: A1