WO2022250233A1 - 컨텐츠를 분석하고 평가하는 방법 및 장치 - Google Patents

컨텐츠를 분석하고 평가하는 방법 및 장치 Download PDF

Info

Publication number
WO2022250233A1
WO2022250233A1 PCT/KR2021/019154 KR2021019154W WO2022250233A1 WO 2022250233 A1 WO2022250233 A1 WO 2022250233A1 KR 2021019154 W KR2021019154 W KR 2021019154W WO 2022250233 A1 WO2022250233 A1 WO 2022250233A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
user
display device
external device
present disclosure
Prior art date
Application number
PCT/KR2021/019154
Other languages
English (en)
French (fr)
Inventor
한준규
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210128346A external-priority patent/KR20220158585A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP21856972.1A priority Critical patent/EP4318305A1/en
Priority to US17/682,924 priority patent/US20220375361A1/en
Publication of WO2022250233A1 publication Critical patent/WO2022250233A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Definitions

  • Embodiments of the present disclosure relate to a method and apparatus for analyzing and evaluating content, and more particularly, to a method and apparatus for analyzing and evaluating content received from an external device based on the intention and context of a user of a display device. it's about
  • face-to-face classes and/or face-to-face meetings have been converted to remote (contactless or contactless, etc.) classes or teleconferences.
  • Distance classes and/or teleconferences may be preferable to face-to-face classes and/or face-to-face meetings because they are useful in terms of time and space.
  • participants may participate in classes or meetings in a contact-free manner using communication devices such as PCs, laptops, or tablets.
  • a method for analyzing and evaluating content by a display device includes obtaining a user's voice input; determining a user intent based on a result of analyzing the acquired voice input; obtaining reference data based on user intent; obtaining submitted content from an external device connected to the display device; determining at least one target object to be compared with reference data, among objects included in submitted content; and evaluating submitted content by comparing at least one target object with reference data.
  • a display device includes a display; a voice receiver that acquires a user's voice input; A communication unit for obtaining submitted content from an external device connected to the display device, a storage unit for storing a program including at least one instruction; and at least one processor that executes at least one command stored in the storage unit, wherein the processor executes the at least one command to generate user intent based on a result of interpreting the user's voice input obtained through the voice receiver.
  • a method for analyzing content by a display device includes acquiring a plurality of object sets included in each of a plurality of contents received from a plurality of external devices connected to the display device; determining a user intent based on an analysis result of a plurality of object sets; and evaluating each of the plurality of contents based on the user intent. Way.
  • a display device includes a display; A communication unit for receiving each of a plurality of contents from a plurality of external devices connected to the display device, a storage unit for storing a program including at least one instruction; and at least one processor that executes at least one command stored in the storage unit, wherein the processor acquires a plurality of object sets included in each of a plurality of contents by executing the at least one command, and of the plurality of object sets.
  • a user intent is determined based on the analysis result, and each of a plurality of contents is evaluated based on the user intent.
  • a computer-readable recording medium recording a program for executing the above-described method is provided.
  • a display device evaluates content received from an external device based on the intention and context of a user of the display device, thereby enabling content evaluation without user intervention.
  • a display device evaluates content received from an external device based on the intention and context of a user of the display device, thereby enabling content evaluation without user intervention.
  • FIG. 1 is a diagram illustrating an example of a system for evaluating contents of an external device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram of a display device according to an embodiment of the present disclosure.
  • FIG. 3 is a first operational flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 4 is a first diagram illustrating a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 5 is a second operation flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 6 is a first flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 7 is a second diagram illustrating a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a third operation of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 9 is a second flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 10 is a fourth operation flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram for explaining a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 12 is a third flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • FIG. 13 is a fourth flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • At least one of a, b, or c and “at least one of a, b, and c” or similar expressions refer only to a, only b, only c, only a and b, only a and c, Both b and c, a, b, c, or variations thereof, including any combination thereof.
  • each block of the process flow chart diagrams and combinations of the flow chart diagrams can be performed by computer program instructions.
  • These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that the instructions executed by the processor of the computer or other programmable data processing equipment are described in the flowchart block(s). It creates means to perform functions.
  • These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory
  • the instructions stored in are also capable of producing an article of manufacture containing instruction means that perform the functions described in the flowchart block(s).
  • the computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. Instructions for performing processing equipment may also provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is possible for the functions mentioned in the blocks to occur out of order. For example, two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in reverse order depending on their function.
  • ' ⁇ unit' used in this embodiment means software or a hardware component such as FPGA or ASIC, and ' ⁇ unit' performs certain roles.
  • ' ⁇ part' is not limited to software or hardware.
  • ' ⁇ bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, ' ⁇ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and ' ⁇ units' may be combined into smaller numbers of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or a secure multimedia card.
  • ' ⁇ unit' may include one or more processors.
  • ⁇ unit and “ ⁇ module” described in this specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .
  • a processor configured (or configured) to perform A, B, and C can be used by a dedicated processor (eg, embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • a dedicated processor eg, embedded processor
  • a general-purpose processor eg, CPU or application processor
  • FIG. 1 is a diagram illustrating an example of a system for evaluating contents of an external device according to an embodiment of the present disclosure.
  • a system for evaluating content of an external device may include a display device 1000 and at least one external device 200-1 to 200-N.
  • the display device 1000 refers to a device that operates to deliver visual information, and may include a display for providing visual information and a speaker for providing auditory information that can be provided together with the visual information. have. Also, the display device 1000 may include an input unit 1300 for receiving a user's input 100 of the display device 1000 .
  • the visual information may include captured still cuts, graphic images, moving pictures, and visual information included in content created for a specific purpose (eg, educational content), and the display device 1000 includes a television, a monitor, and It may include an electronic blackboard, but is not limited thereto.
  • the display apparatus 1000 may transmit predetermined content to at least one external device 200-1 to 200-N or receive predetermined content from at least one external device 200-1 to 200-N. have.
  • the display apparatus 1000 may be configured according to the input of the user 100 of the display apparatus 1000 at predetermined intervals or by a user (not shown) of at least one external device 200-1 to 200-N. According to an input, predetermined content may be received from at least one external device 200-1 to 200-N.
  • the display apparatus 1000 may evaluate predetermined content received from at least one external device 200-1 to 200-N.
  • At least one external device 200-1 to 200-N is connected to the display device 1000 through at least one network 300-1 to 300-N, and receives predetermined content from the display device 1000. It refers to a device that operates to receive and provide a user of at least one external device 200-1 to 200-N or to transmit predetermined content to the display device 1000.
  • the at least one external device 200-1 to 200-N may include a mobile phone, tablet, and laptop computer, but is not limited thereto.
  • the networks 300-1 to 300-N that communicatively connect the display apparatus 1000 and at least one external device 200-1 to 200-N include a local area network (LAN) and a wide area network (Wide Area Network). It may be implemented as a wired network such as Network (WAN) or Value Added Network (VAN), or all types of wireless networks such as mobile radio communication network or satellite communication network.
  • the network is a local area network (LAN), a wide area network (Wide Area Network; WAN), a value-added network (VAN), a mobile communication network (mobile radio communication network), or a satellite communication network of at least two mutual It is a data communication network in a comprehensive sense that can include a combination and allows each network component shown in FIG.
  • Wireless communication includes, for example, wireless LAN (Wi-Fi), Bluetooth, Bluetooth low energy (Bluetooth low energy), Zigbee, WFD (Wi-Fi Direct), UWB (ultra wideband), infrared communication (IrDA, Infrared Data Association) ), Near Field Communication (NFC), etc., but is not limited thereto.
  • FIG. 1 illustrates an embodiment in which a user 100 (eg, a host) of a display device 1000 displays content to one or more external users (eg, participants) using at least one external device 200 .
  • the system environment shown in FIG. 1 may be a case of conducting classes, but is not limited thereto and may be used in other environments as well.
  • the present disclosure can be applied to any environment in which displayed content must be analyzed and evaluated.
  • the user 100 of the display apparatus 1000 may be a teacher, and external users of at least one external device 200-1 to 200-N may be students.
  • the teacher may display content related to the class content on the display device 1000 in order to proceed with the class.
  • a teacher displays content related to class content on the display device 1000 and asks a question or submits a problem related to the content displayed on the display device 1000 during class.
  • the teacher may ask a question related to the content displayed on the display device 1000 or utter a voice requesting submission of an answer.
  • the display device 1000 that has obtained the teacher's voice may transmit current content to at least one external device 200-1 to 200-N.
  • At least one external device 200 - 1 to 200 -N may display content transmitted from the display device 1000 .
  • at least one external device (200-1 to 200-N) displays content to be submitted (eg, content to be submitted) in response to the teacher's question or student's input regarding the problem being obtained.
  • can be sent (submitted) to Submitted content may be generated based on an input of students (eg, external users) who are users of at least one external device (200-1 to 200-N), and a teacher's question and/or answer to a quiz.
  • the display apparatus 1000 may identify an intent related to a question or problem based on the teacher's voice speech analysis, and evaluate answers submitted by students based on the identified intent.
  • the teacher may utter a voice requesting students to submit an answer.
  • the display device 1000 that has acquired the teacher's voice may transmit a response submission request to at least one external device 200-1 to 200-N.
  • At least one external device (200-1 to 200-N) receiving the request for submitting an answer is obtained (eg, external device (200-1 to 200-N) when the student's answer (eg, submission content) is obtained.
  • the corresponding student of may provide an answer to the teacher's request) and transmit the student's answer to the display device 1000.
  • the at least one external device 200-1 to 200-N receiving the request to submit the answer may display a user interface (eg, a pop-up window) requesting to submit the answer on the display.
  • the display apparatus 1000 may identify an intent related to the request based on the teacher's voice speech analysis, and evaluate the answers submitted by the students based on the identified intent.
  • the display apparatus 1000 may display at least one external device (200-1 to 200-1 to 200-1 to 200-N), the current screen sharing request may be transmitted. At least one external device (200-1 to 200-N) receiving the current screen sharing request may transmit the current screen displayed on the at least one external device (200-1 to 200-N) to the display device 1000. have.
  • the display device 1000 includes at least one external device 200-N based on the content displayed on the current screen displayed on the at least one external device 200-1 to 200-N or the content displayed on the display device 1000. 1 to 200-N) may evaluate each of the displayed contents.
  • a teacher shares a screen of a specific external device (eg, 200-1) with other students (eg, a specific external device (eg, 200-1) is displayed on the screen of the display device 1000). It is assumed that a screen of a specific external device (for example, 200-1) is used as instructional material by displaying the screen of .
  • a specific external device for example, 200-1
  • the display apparatus 1000 may transmit a current screen sharing request to a specific external device (eg, 200-1). have.
  • the specific external device eg, 200-1
  • the specific external device may transmit the current screen displayed on the specific external device (eg, 200-1) to the display device 1000.
  • the display device 1000 is configured to display a specific external device (eg, 200-1) based on the contents displayed on the current screen displayed on the specific external device (eg, 200-1) or the contents displayed on the display apparatus 1000. It is possible to evaluate the content displayed in 1) to determine whether it is suitable for sharing.
  • the display apparatus 1000 determines whether sharing of the content displayed on the specific external device (eg, 200-1) is appropriate, and determines whether the content displayed on the specific external device (eg, 200-1) is appropriate. When it is determined that sharing is inappropriate, content displayed on a specific external device (eg, 200-1) may not be displayed on the screen of the display device 1000. Alternatively, the display apparatus 1000 determines whether sharing of the content displayed on the specific external device (eg, 200-1) is suitable, and displays the content displayed on the specific external device (eg, 200-1). When it is determined that content sharing is suitable, the content displayed on a specific external device (eg, 200-1) may be displayed on the screen of the display device 1000.
  • the specific external device eg, 200-1
  • FIG. 2 is a block diagram of a display device according to an embodiment of the present disclosure.
  • a display device 1000 may include a processor 1100, a communication unit 1200, an input unit 1300, an output unit 1400, and a storage unit 1500.
  • the display device 1000 may be implemented with more components than those shown, or the air display device 1000 may be implemented with fewer components.
  • two or more components shown in FIG. 2 may be implemented by one component, and one component shown in FIG. 2 may be implemented by a plurality of distributed components.
  • a set of components shown in FIG. 2 may perform one or more functions described as being performed by other sets of components shown in FIG. 2 .
  • the communication unit 1200 includes one or more components that enable communication between the display device 1000 and a server device (not shown) and between the display device 1000 and an external device (eg, an external device or another communication device in FIG. 1 ). elements may be included.
  • the communication unit 1200 may include a short-distance communication unit and/or a broadcast reception unit.
  • the short-range wireless communication unit includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit, a radio-frequency identification (RFID) communication unit, a WLAN (Wi-Fi) communication unit, and a ZigBee ( It may include a Zigbee) communication unit, an infrared data association (IrDA) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, and/or an Ant+ communication unit, but is not limited thereto.
  • BLE Bluetooth Low Energy
  • RFID radio-frequency identification
  • WLAN Wi-Fi
  • ZigBee It may include a Zigbee) communication unit, an infrared data association (IrDA) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, and/or an Ant+ communication unit, but is not limited thereto.
  • the broadcast reception unit receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • the display device 1000 may not include a broadcast receiver.
  • the communication unit 1200 may acquire content from an external device (eg, a server device, an external device of FIG. 1 , and another communication device).
  • the communication unit 1200 may acquire content from an external device (not shown) through wired or wireless communication.
  • the external devices include server devices, mobile terminals, wearable devices (eg, watches, bands, glasses, masks, etc.), home appliances (eg, TVs, desktop PCs, laptops, DVD devices, washing machines, refrigerators, etc.) ), etc., but is not limited thereto.
  • Content obtained from an external device may include a multimedia file, a video file, and an audio file.
  • the input unit 1300 is configured to allow the user 100 of the display device 1000 to input data and/or commands for controlling the display device 1000 .
  • the input unit 1300 includes a key pad, a dome switch, a touch pad (contact capacitance method, pressure resistive film method, infrared sensing method, surface ultrasonic conduction method, integral tension method) measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the input unit 1300 may include a button unit including a power button, a brightness setting button, a reservation setting button, a mode change button, and a volume control button.
  • the input unit 1300 includes a voice receiving unit 1310 for receiving a user's voice input.
  • the voice receiver 1310 may include at least one microphone (not shown).
  • the voice receiver 1310 receives an external sound signal from the display device 1000 and processes it into electrical voice data.
  • the microphone may receive a sound signal (eg, a voice command) from an external device (eg, a speaker) and/or the user 100 of the display device 1000 .
  • the microphone may use various noise cancellation algorithms to remove noise generated in the process of receiving and processing an external sound signal.
  • the output unit 1400 is configured to output an audio signal or a video signal.
  • the output unit 1400 may include a plurality of speakers (not shown) in addition to the display unit 1410 .
  • the display unit 1410 may be used as an input device as well as an output device.
  • the display unit 1410 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and 3 It may include at least one of a 3D display unit and an electrophoretic display unit. Also, depending on the implementation form of the display device 1000, the display device 1000 may include two or more display units 1410.
  • the output unit 1400 may output audio data received from the communication unit 1200 or stored in the storage unit 1500 .
  • the output unit 1400 may output a stereo sound signal.
  • the plurality of speakers may be implemented as at least one of a right channel speaker, a left channel speaker, and a mono channel speaker.
  • the plurality of speakers may output sound signals related to functions performed by the display apparatus 1000 (eg, notification sounds, guide voices, and guide voices).
  • the storage unit 1500 may store a program to be executed by the processor 1100 to be described later.
  • the storage unit 1500 may store a program including at least one instruction for controlling the operation of the display device 1000 .
  • Instructions and program codes readable by the processor 1100 may be stored in the storage 1500 .
  • the processor 1100 may be implemented to execute instructions or codes of a program stored in the storage unit 1500 .
  • the storage unit 1500 may store data input to or output from the display device 1000 .
  • the storage unit 1500 may be, for example, a flash memory, a hard disk, a multimedia card micro type, or a card type memory (eg, SD or XD memory). , RAM (RAM, Random Access Memory), SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory , magnetic disks, and optical disks, and may include at least one type of storage medium.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic disks, and optical disks, and may include at least one type of storage medium.
  • Programs stored in the storage unit 1500 may be classified into a plurality of modules according to their functions.
  • the storage unit 1500 may include an object extraction module 1510 , an intent decision module 1520 , and a content evaluation module 1530 .
  • the intent determination module 1520 may include a voice analysis module 1521 and an image analysis module 1522
  • the content evaluation module may include a reference data acquisition module 1531 and a target object determination module 1532.
  • the processor 1100 may control overall operations of the display device 1000 .
  • the processor 1100 may perform operations according to an embodiment of the present disclosure.
  • the processor 1100 may generally control the communication unit 1200, the input unit 1300, and the output unit 1400 by executing programs stored in the storage unit 1500.
  • the processor 1100 may be composed of hardware components that perform arithmetic, logic and input/output operations and signal processing.
  • the processor 1100 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), and digital signal processors (DSPDs). Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays).
  • the processor 1100 may include an artificial intelligence (AI) processor for generating a learning network model, but is not limited thereto.
  • AI artificial intelligence
  • the AI processor may be implemented as a separate chip from the processor 1100.
  • the AI processor may be a general-purpose chip.
  • the processor 1100 executes one or more commands stored in the storage unit 1500, based on the user's voice input analysis result obtained through the voice receiver 1410 of the input unit 1400 User intent is determined, reference data is acquired based on the user intent, and among objects included in the submitted content of the external device connected to the display device 1000 received through the communication unit 1200, the object to be compared with the reference data
  • the submitted content may be evaluated by determining at least one target object and comparing the at least one target object with the reference data.
  • the processor 1100 executes one or more commands stored in the storage unit 1500, thereby receiving content received from a plurality of external devices connected to the display device 1000 through the communication unit 1200.
  • a plurality of object sets included in each set may be determined, a user intent may be determined based on an analysis result of the plurality of object sets, and each of the plurality of contents may be evaluated based on the user intent.
  • the processor 1100 executes at least one command of the object extraction module 1510 among programs stored in the storage unit 1500, thereby providing an object included in submitted content received from an external device and An object included in reference content, which is content shared by the display device 1000 with an external device, may be extracted.
  • the processor 1100 executes at least one command of the intent decision module 1520 among programs stored in the storage unit 1500, thereby obtaining a voice analysis result of the user's voice input and the reference content.
  • User intent may be determined based on an image analysis result of an image included in the submitted content.
  • the processor 1100 executes at least one command of the voice analysis module 1521 among the programs stored in the storage unit 1500, so that the user voice input received by the voice receiver 1310 is received. can be interpreted
  • AI artificial intelligence
  • NLU Natural Language Understanding
  • the voice analysis module 1521 may determine user intent by utilizing speech data and actions corresponding to the speech data. Also, the voice analysis module 1521 may create or update a user intent determination model determined based on voice input analysis.
  • Speech data is data related to a voice uttered by a user for content evaluation, and may be data representing a user's utterance. Speech data may be data used to interpret the user's intention related to the operation of the display apparatus 1000 .
  • Speech data may include, for example, at least one of utterance parameters in the form of a text form of utterance or an output value of an NLU model.
  • the firing parameter is data output from the NLU model, and may include an intent and a parameter.
  • Intent is information determined by interpreting text using an NLU model, and may represent a user's utterance intention.
  • the intent may be, for example, information representing a device operation intended by the user.
  • the intent may include not only information representing the user's intention to speak (hereinafter referred to as intention information), but also a numerical value corresponding to the information representing the user's intention.
  • the numerical value may represent a probability that the text is associated with information indicating a specific intent.
  • the intention information having the maximum numerical value corresponding to each intention information may be determined as the intent.
  • the parameter may be variable information for determining detailed operations of a device related to an intent.
  • a parameter is information related to an intent, and a plurality of types of parameters may correspond to one intent.
  • the parameter may include not only variable information for determining operation information of the device, but also a numerical value representing a probability that text is associated with the variable information.
  • a plurality of variable information representing parameters may be obtained.
  • variable information having a maximum numerical value corresponding to each variable information may be determined as a parameter.
  • the processor 1100 executes at least one command of the image analysis module 1522 among the programs stored in the storage unit 1500, so that the object extracted by the object extraction module 1510 Images included in reference content or submitted content may be interpreted based on the above.
  • the image analysis module 1522 may use artificial intelligence technology and/or deep learning-based image analysis technology to understand the user's intention.
  • the image analysis module 1522 analyzes the content displayed on the display device 1000 and the content received from at least one external device, and analyzes the content displayed on the display device 1000 and the content received from at least one external device. Included objects can be extracted and analyzed.
  • the image analysis module 1522 may identify objects, places, people, text, and images in images through image recognition, classify images based on image recognition results, and classify objects can be detected.
  • the image analysis module 1522 may classify the image using a classification model.
  • a classification model using artificial intelligence technology may include a discriminative model and a generative model, and the generative model calculates a probability of obtaining a result from input data based on a distribution of classes.
  • the image analysis module 1522 may detect an object using a bounding box or a class probability map for a grid, and the image analysis module 1522 may detect the coordinates and size of the object to be detected. can be obtained.
  • object extraction may include a classification step and a localization step, and if a plurality of objects are included in the image, object extraction may include a classification step, an object detection step, and a segmentation step. ) step may be included.
  • Classification is to recognize one image that occupies the largest portion among a single image and classify the type according to the defined class.
  • Object detection is to acquire the type and location information of each object in the form of a rectangular box by classifying the characteristics and classes of each object when there are several objects in one image.
  • Segmentation is to display the shape of an object detected through object detection in an accurate form in units of pixels. Segmentation may include a process of extracting an outline of an object.
  • the image analysis module 1522 may determine user intent based on an analysis result of an object included in the content displayed on the display device 1000 and the content received from at least one external device. Also, the image analysis module 1522 may create or update a user intent determination model determined based on object analysis.
  • the image analysis module 1522 determines the content displayed on the display device 1000 and at least one object based on the classification of each object included in the content displayed on the display device 1000 and the content received from at least one external device. At least one category for each object included in the content received from the external device may be determined. At least one category may have a hierarchical relationship with each other.
  • Intent is information determined based on the category of an object obtained as a result of image analysis, and is intended to be delivered to the user 100 of the display device 1000 for the purpose of using the display device 1000 or to the user of at least one external device. It can indicate content or subject matter.
  • a category to which the largest number of objects belongs is selected as a category related to user intent. You can decide by category.
  • the image analysis module 1522 classifies the objects included in the content displayed on the display device 1000 as 'science'. ', the subcategory can be determined as 'Earth Science'.
  • the image analysis module 1522 sets the category of the objects included in the content received from the external device to 'science', and sets the subcategory to 'science'. It can be determined by 'chemistry'.
  • the voice analysis module 1521 or the video analysis module 1522 may be included in a separate server.
  • a detailed method of determining a user intent based on a voice analysis result of a user voice input received by the voice receiving unit 1310 will be described in the description of FIGS. 3 to 9 .
  • a detailed method of determining user intent based on the image analysis result of the video included in the reference content or submitted content based on the objects extracted by the object extraction module 1510 is described with reference to FIGS. 10 to 13. describe
  • the processor 1100 executes at least one instruction of the content evaluation module 1530 among programs stored in the storage 1500, and submits the reference data based on the comparison result of the target object. content can be evaluated.
  • the processor 1100 executes at least one command of the reference data acquisition module 1531 among the programs stored in the storage unit 1500, thereby determining the user identity determined by the intent determination module 1520.
  • Reference data may be obtained based on the tent.
  • the processor 1100 executes at least one command of the target object determination module 1532 among the programs stored in the storage unit 1500, so that the reference data acquisition module 1531 determines the reference. A target object to be compared with data may be determined.
  • FIG. 3 is an operation flowchart of a method for evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • a system for evaluating content of an external device by a display device includes a display device 1000 and at least one external device 200-1 to 200-N. can include
  • the system for evaluating the contents of an external device shown in FIG. 3 may be similar in many respects to the architecture of the systems and devices described above with reference to FIGS. 1 and 2 , and may include additional functions not mentioned above. Some descriptions of components of the foregoing systems and devices may be omitted or briefly described.
  • the display device 1000 refers to a device operating to transmit visual information, and the display device 1000 transmits predetermined content to at least one external device 200-1 to 200-N, or to at least one external device 200-1 to 200-N. It is possible to receive predetermined content from the external devices 200-1 to 200-N.
  • the display apparatus 1000 may evaluate predetermined content received from at least one external device 200-1 to 200-N.
  • At least one external device 200-1 to 200-N is connected to the display device 1000 through a network 300-1 to 300-N.
  • at least one external device 200-1 to 200-N may receive predetermined content from the display device 1000 through the network 300-1 to 300-N.
  • the at least one external device 200-1 to 200-N provides predetermined content to an external user of the at least one external device 200-1 to 200-N, or the display device 1000 It can operate to transmit predetermined content.
  • the display device 1000 and at least one external device 200-1 to 200-N are each connected through a network (not shown).
  • the display device 1000 may obtain a voice input of a user of the display device.
  • the user's voice of the display apparatus 1000 may be received through the input unit 1300 (eg, the voice receiver 1310) of the display apparatus 1000.
  • the user's voice input may be the display device user's voice recognized through speaker recognition among a plurality of user voice inputs input to the display apparatus 1000 .
  • the speaker recognition operation may include a speaker recognition operation by analyzing the received voice to distinguish a user and comparing it with pre-stored voice information of the user.
  • the display apparatus 1000 may use only the voices of the users of the display device recognized through speaker recognition among the received voices. .
  • the display apparatus 1000 may determine user intent based on a result of interpreting the user's voice input.
  • the received user voice input may be analyzed using the voice analysis module 1522 of the display apparatus 1000 or an external server (not shown).
  • An intent is information determined by interpreting text corresponding to a voice input using an NLU model, and may represent an intention to speak the voice input.
  • User intent is information determined by interpreting an object included in content using object recognition, and is provided for the purpose of using the display device 1000 by the user 100 of the display device 1000 or to a user of at least one external device. It can indicate the content or topic you are trying to convey.
  • the user intent may be information indicating an operation of the display device or an external device intended by the user of the display device 1000 .
  • the user intent may include at least one of an intention included in a user voice, whether an instruction is included, a type of instruction, and a subject of content.
  • the display apparatus 1000 receives a voice input and analyzes it in real time, and as a result of the voice analysis, a predetermined instruction (eg, a directive, a suggestion, a request word, etc.) is given to the user's voice input.
  • a predetermined instruction eg, a directive, a suggestion, a request word, etc.
  • a standby state is maintained, and when it is determined that a predetermined instruction is included in the user's voice input, a subsequent operation may be performed.
  • the display apparatus 1000 may obtain reference data based on the user's intent.
  • user intent shares reference content with at least one external device 200-1 to 200-N and receives corresponding submitted content from at least one external device 200-1 to 200-N.
  • the display apparatus 1000 may determine a correct answer object among objects extracted from the reference content as reference data.
  • the reference content is content shared by the display device 1000 with at least one external device 200-1 to 200-N, and the display device 1000 prior to operation 304 converts the reference content to at least one external device. It is transmitted to devices 200-1 through 200-N.
  • the display device 1000 performs a keyword based on a user's voice input.
  • Data included in the determined predetermined category may be determined as reference data.
  • the reference data may be selected from data included in the database, and the database may be located in the display device 1000 or an external server (not shown).
  • the at least one external device 200-1 to 200-N may generate submitted content (submitted content 1 to content N).
  • the first external device 200-1 may generate submission content 1 based on the input of the user of the first external device 200-1 corresponding to the user's voice utterance of the display apparatus 1000. have.
  • the Nth external device 200-N may generate content N to be submitted based on the input of the user of the Nth external device 200-N corresponding to the user's voice utterance of the display apparatus 1000. have.
  • user intent shares reference content with at least one external device 200-1 to 200-N and receives corresponding submitted content from at least one external device 200-1 to 200-N.
  • the submitted content (submission content 1 to submission content N) may be content in which a predetermined input is added to the reference content.
  • the submitted content is the submitted content.
  • submitted content 1 to submitted content N may be the user's input itself of the external devices 200-1 to 200-N.
  • At least one external device 200-1 to 200-N may transmit submitted content to the display device 1000.
  • the first external device transmits submitted content 1 to the display device 1000
  • the Nth external device transmits the submitted content N to the display device 1000. ) can be transmitted.
  • the display apparatus 1000 may determine at least one target object to be compared with the reference data, among objects included in the submitted content.
  • user intent shares reference content with at least one external device 200-1 to 200-N and receives corresponding submitted content from at least one external device 200-1 to 200-N.
  • the target object may be an object to which a user input is added among objects included in each of the submitted contents (submitted contents 1 to submitted contents N).
  • the target object may be all objects included in the submitted content.
  • the display device 1000 may compare the reference data with at least one target object to evaluate each received submitted content.
  • the display apparatus 1000 may transmit information about content evaluation to at least one of at least one external device 200-1 to 200-N.
  • the display apparatus 1000 obtains a score for a comparison result between at least one target object and reference data, and information on content evaluation when the score for the comparison result is equal to or less than a predetermined threshold. may be transmitted to at least one of the at least one external device 200-1 to 200-N.
  • the display device 1000 or at least one external device 200-1 to 200-N displays content evaluation information on the display unit 1410 so that the user of each device can view the content. You can check the evaluation results.
  • FIG. 4 is a diagram illustrating a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • the user of the display apparatus 1000 utters a voice including a predetermined instruction to the user of at least one external apparatus 200-1 to 200-N and uses the display apparatus 1000.
  • the reference content 400 can be shared.
  • the voice receiver 1310 of the display device 1000 may acquire a user's voice input.
  • the reference content 400 may be an image including an object corresponding to a planet.
  • the display device 1000 that has obtained the voice input may interpret the acquired user voice input using the voice analysis module 1521 of the intent determination module 1520 .
  • the display apparatus 1000 may transfer the acquired voice input to an external server and obtain a voice input analysis result from the external server.
  • the intent determination module 1520 may determine a user intent based on a voice input analysis result.
  • An intent is information determined by interpreting text corresponding to a voice input using an NLU model, and may represent an intention to speak the voice input.
  • the user intent may be information indicating an operation intended by the user of the display apparatus 1000, such as the operation of the display apparatus 1000 and/or the operation of the external devices 200-1 to 200-N.
  • the user intent may include at least one of a speech intention included in the user's voice, whether or not an instruction is included, a type of instruction, and a subject of content.
  • the user's intention of the display device 1000 is the reference content 400 shared by students, who are users of at least one external device 200-1 to 200-N, from the display device 1000. ) 'receive' and 'evaluate' 'submitted content 1 to submitted content N', which is a result of 'circling' an object corresponding to a 'planet' among a plurality of objects included in ).
  • the utterance intention included in the user voice is to 'receive' and 'evaluate' 'submitted content 1 to content N'
  • the reference content 400 shared from the display device 1000 is '
  • An instruction to the effect of 'displaying' and 'submitting (sharing)' is 'included'.
  • the display device 1000 may monitor a user's voice input and update the user's intent at predetermined intervals.
  • the display apparatus 1000 may operate to interpret a user voice input when a predetermined keyword is included in the user voice input.
  • the display apparatus 1000 may start interpreting the user's voice input being monitored by triggering a command included in the user's spoken voice, that is, a voice input of 'please'.
  • the display apparatus 1000 may determine user intent by interpreting voice input from a predetermined time prior to the time at which the directive is received based on the time at which the directive is received. For example, if the monitoring time is 10 seconds and the display device user's instruction is received at 12:05:30, the display device 1000 interprets the user's voice input from 12:05:20 to 12:05:30 User intent can be determined.
  • the monitoring time may be a value set in the display device 1000 or a value set by a user of the display device 1000 .
  • FIG. 5 is an operation flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • a system for evaluating content of an external device by a display device includes a display device 1000 and at least one external device 200-1 to 200-N. can include
  • the system for evaluating the contents of an external device shown in FIG. 5 may be similar in many respects to the architecture of the systems and devices described above with reference to FIGS. 1 to 3 , and may include additional functions not mentioned above. Some descriptions of components of the above system and device may be omitted or briefly described.
  • the display device 1000 may obtain reference content.
  • the display apparatus 1000 may transmit (eg, share) the reference contents 500-1 to 500-N to at least one external device 200-1 to 200-N.
  • the display device 1000 may obtain a voice input of a user of the display device.
  • the voice of the user 100 of the display apparatus 1000 may be received through an input unit of the display apparatus 1000 .
  • the voice input of the user 100 may be the voice of the user of the display device recognized through speaker recognition among a plurality of user voice inputs input to the display device 1000 .
  • the display apparatus 1000 may determine user intent based on a result of interpreting the user's voice input.
  • the received user voice input may be analyzed using a voice analysis module of the display apparatus 1000 or an external server.
  • An intent is information determined by interpreting text corresponding to a voice input using an NLU model, and may represent an intention to speak the voice input.
  • the user As a result of interpreting the user's voice input of the display device 1000, if 'instruction' is given to 'sharing' a result 'circled' to a 'planet' among objects included in the reference content, the user
  • the main information for determining the intent may be 'planet', 'circle', 'share', and 'instruction'.
  • the display apparatus 1000 may obtain reference data based on user intent.
  • user intent shares reference content with at least one external device 200-1 to 200-N and receives corresponding submitted content from at least one external device 200-1 to 200-N.
  • the display apparatus 1000 may determine a correct answer object among objects extracted from the reference content as reference data.
  • reference content includes 16 objects
  • the electronic device may determine 9 objects among 16 objects included in the reference content as reference data based on user intent.
  • the answer objects are 'Mercury', 'Venus', 'Earth', 'Mars', 'Jupiter', 'Saturn', 'Uranus' (Uranus)', 'Neptune', and 'Pluto'.
  • At least one external device 200-1 to 200-N may generate submitted content (submitted content 507-1 to 507-N).
  • Each of the at least one external device (200-1 to 200-N) submits content (submitted content) based on a user input of the at least one external device (200-1 to 200-N) corresponding to the display user's voice utterance. 507-1 to submitted content 507-N) may be generated.
  • user intent shares reference content with at least one external device 200-1 to 200-N and receives corresponding submitted content from at least one external device 200-1 to 200-N.
  • the submitted content (submitted content 507-1 to 507-N) may be content in which a predetermined input is added to the reference content.
  • At least one external device 200-1 to 200-N may transmit submitted content to the display device 1000.
  • the display apparatus 1000 may determine at least one target object to be compared with the reference data, among objects included in the submitted content (submitted content 507-1 to 507-N).
  • user intent shares reference content with at least one external device 200-1 to 200-N and receives corresponding submitted content from at least one external device 200-1 to 200-N.
  • the target object may be an object to which a user input is added among objects included in each of the submitted contents (submitted contents 1 to submitted contents N).
  • a predetermined input may be determined based on user intent. For example, if the user of the display device 1000 intends 'circle' as a display method, the display device 1000 selects 'circle' as a user input among objects included in each submitted content (submitted content 1 to submitted content N). The added object may be determined as a target object.
  • the target objects of the first external device include 'Mercury', 'Venus', 'Earth', 'Mercury', 'Venus', 'Earth', ' It can contain 9 objects in all: 'Mars', 'Jupiter', 'Saturn', 'Uranus', 'Neptune', and 'Pluto'. have.
  • the target objects of the Nth external device include 'Mercury', 'Venus', 'Earth', and 'Mars' with circles among the objects included in the submitted data 500-N.
  • the submitted data 500-1 of FIG. 4 may correspond to the submitted content 507-1 of FIG. 5
  • the submitted data 500-N of FIG. 4 may correspond to the submitted content of FIG. (507-N). 5.
  • the display apparatus 1000 may compare reference data with at least one target object and evaluate each received submission content.
  • the processor 1100 of the display device 1000 may feed back information about content evaluation to at least one of the at least one external device 200-1 to 200-N.
  • the processor 1100 of the display device 1000 acquires a score for a comparison result between at least one target object and reference data, and when the score for the comparison result is equal to or less than a predetermined threshold value.
  • Information on content evaluation may be fed back to at least one of the at least one external device 200-1 to 200-N.
  • the processor 1100 of the display device 1000 may output information about content evaluation to the output unit 1400 of the display device.
  • the display device 1000 may display content evaluation information on the display unit 1410 of the display device.
  • the processor 1100 of the display device 1000 acquires a score for a comparison result between at least one target object and reference data, and when the score for the comparison result is equal to or less than a predetermined threshold value.
  • Information on content evaluation may be displayed on the display unit 1410 of the display device.
  • FIG. 6 is a flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • a display device 1000 refers to a device operating to deliver visual information, and the display device 1000 includes an external device 200 connected through a network 300. ), or may receive predetermined content from the external device 200 .
  • the display device 1000 may evaluate predetermined content received from the external device 200 .
  • the system for evaluating the contents of an external device shown in FIG. 6 may be similar in many respects to the architecture of the systems and devices described above with reference to FIGS. 1 to 5 , and may include additional functions not mentioned above. Some descriptions of components of the foregoing systems and devices may be omitted or briefly described.
  • the display device 1000 may obtain a voice input of a user of the display device.
  • a user's voice of the display apparatus 1000 may be received through the input unit 1300 of the display apparatus 1000 .
  • the user's voice input may be the display device user's voice recognized through speaker recognition among a plurality of user voice inputs input to the display apparatus 1000 .
  • the display device 1000 may determine user intent based on a result of interpreting the user's voice input.
  • the received user voice input may be analyzed using the voice analysis module 1522 of the display apparatus 1000 or an external server (not shown).
  • An intent is information determined by interpreting text corresponding to a voice input using an NLU model, and may represent an intention to speak the voice input.
  • a user intent may be an operation intended by a user of the display apparatus 1000, such as an operation of the display apparatus 1000 and/or an operation of the external devices 200-1 to 200-N, or It may be information representing the operation of an external device.
  • the user intent may include at least one of an intention included in a user voice, whether an instruction is included, a type of instruction, and a subject of content.
  • the display apparatus 1000 receives a voice input and analyzes it in real time, and as a result of the voice analysis, a predetermined instruction (eg, a directive, a suggestion, a request word, etc.) is given to the user's voice input.
  • a predetermined instruction eg, a directive, a suggestion, a request word, etc.
  • a standby state is maintained, and when it is determined that a predetermined instruction is included in the user's voice input, a subsequent operation may be performed.
  • the display apparatus 1000 may obtain reference data based on the user's intent.
  • the display device 1000 extracts the content extracted from the reference content.
  • a correct answer object among objects may be determined as reference data.
  • the reference content is the content that the display device 1000 shares with the external device
  • the display device 1000 is the content submitted by the external device (eg, the submitted content 507-1 to the submitted content 507- of FIG. 5).
  • the reference content is transmitted to an external device.
  • the display device 1000 may obtain submitted content from an external device connected to the display device 1000.
  • the external device may transmit submitted content to the display device 1000, and the display device 1000 may receive the submitted content from the external device.
  • the submitted content includes a predetermined input added to the reference content.
  • the display apparatus 1000 may determine at least one target object to be compared with the reference data, among objects included in the submitted content.
  • the target object is the user input among objects included in the submitted content. This may be an added object.
  • the display device 1000 may evaluate the received submitted content by comparing the reference data with at least one target object.
  • the display device 1000 may transmit information about content evaluation to an external device.
  • the display apparatus 1000 obtains a score for a comparison result between at least one target object and reference data, and information on content evaluation when the score for the comparison result is equal to or less than a predetermined threshold. can be transmitted to an external device.
  • the display device 1000 or an external device may display content evaluation information on the display unit 1410 so that a user of each external device may check a content evaluation result.
  • FIG. 7 is a diagram illustrating a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • the example method of evaluating the contents of an external device shown in FIG. 7 may be similar in many respects to the exemplary method described above with reference to FIG. 4, and may include additional functions not mentioned above. Some descriptions of the components of the foregoing method may be omitted or briefly described.
  • a user of the display apparatus 1000 may utter a voice including a predetermined instruction to the user of at least one external device 200-1 to 200-N.
  • the voice receiver 1310 of the display device 1000 inputs the voice of the user of the display device 1000. can be obtained.
  • the display device 1000 that has obtained the voice input may interpret the acquired user voice input using the voice analysis module 1521 of the intent determination module 1520 .
  • the display apparatus 1000 may transfer the acquired voice input to an external server and obtain a voice input analysis result from the external server.
  • the intent determination module 1520 may determine a user intent based on a voice input analysis result.
  • the intention of the user of the display device 1000 is 'submission' of 'picture' of 'autumn scenery' by students who are users of at least one external device (200-1 to 200-N).
  • Content 1 to submitted content N' are 'received' and 'evaluated'.
  • the utterance intention included in the user voice is to 'receive' and 'evaluate' 'submitted content 1 to content N', and to 'draw' and 'submit (share)' 'autumn scenery' in the user voice.
  • An indication of intent is 'included'.
  • the display device 1000 may monitor a user's voice input and update the user's intent at predetermined intervals.
  • the display apparatus 1000 may operate to interpret a user voice input when a predetermined keyword is included in the user voice input.
  • the display apparatus 1000 may start interpreting the user's voice input being monitored by triggering a command included in the user's voice, that is, a voice input of 'draw it'.
  • FIG. 8 is an operation flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • a system for evaluating content of an external device by a display device includes a display device 1000 and at least one external device 200-1 to 200-N. can include
  • the system for evaluating the contents of an external device shown in FIG. 8 may be similar in many respects to the architecture of the systems and devices described above with reference to FIGS. 1 to 6 , and may include additional functions not mentioned above. Some descriptions of components of the foregoing systems and devices may be omitted or briefly described.
  • the display device 1000 may obtain a voice input of a user of the display device.
  • the display device user's voice may be received through the input unit 1300 of the display device 1000, for example, the voice receiver 1310.
  • the user's voice input may be the display device user's voice recognized through speaker recognition among a plurality of user voice inputs input to the display apparatus 1000 .
  • the display apparatus 1000 may determine user intent based on a result of interpreting the user's voice input.
  • the received user voice input may be analyzed using a voice analysis module of the display apparatus 1000 or an external server.
  • User intent is information determined by interpreting text corresponding to a voice input using an NLU model, and may represent an intention to speak the voice input.
  • the main information for determining the user intent is 'autumn'. , 'landscape', 'picture', or 'instruction'.
  • the display apparatus 1000 may determine a reference category based on user intent.
  • the main information for determining user intent is 'fall', 'landscape', 'picture', and 'instruction', among which 'fall', 'landscape', and 'picture' correspond to A category may be determined as a reference category.
  • the reference category may vary according to the classification category of data included in the predetermined database DB, and the predetermined database DB may exist outside the display device 1000.
  • the display apparatus 1000 may determine data included in a reference category among DB data as reference data.
  • the display device 1000 since categories corresponding to 'fall' and 'landscape' are determined as reference categories, the display device 1000 includes images (pictures) classified as 'fall' category and 'landscape' category among DB data. Classified images (pictures) can be determined as reference data.
  • At least one external device 200-1 to 200-N may generate submitted content (submitted content 1 to submitted content N).
  • Each of the at least one external device (200-1 to 200-N) submits content (submitted content) based on a user input of the at least one external device (200-1 to 200-N) corresponding to the display user's voice utterance. 806-1 to submitted content 806-N) may be generated.
  • At least one external device 200 - 1 to 200 -N may transmit submitted content (submitted content 806 - 1 to submitted content 806 -N) to the display device 1000 .
  • the user intent is to receive and score (evaluate) submitted content that is a picture of 'autumn' or 'landscape'
  • at least one submitted content (submitted content 806-1 to 806-N) It may be an 'autumn landscape picture' freely drawn by the user of the external devices 200-1 to 200-N.
  • the display device 1000 may determine at least one target object to be compared with reference data, among objects included in the submitted content 305.
  • the target object is the submitted content (submitted content 1 to submitted content N) is at least one Among the objects included in each of the 'pictures of autumn scenery' freely drawn by the users of the external devices 200-1 to 200-N, the objects may correspond to 'pictures'.
  • the display apparatus 1000 may compare reference data with at least one target object to evaluate each received submitted content.
  • the processor 1100 of the display device 1000 may feed back information about content evaluation to at least one of the at least one external device 200-1 to 200-N.
  • the processor 1100 of the display device 1000 acquires a score for a comparison result between at least one target object and reference data, and when the score for the comparison result is equal to or less than a predetermined threshold value.
  • Information on content evaluation may be fed back to at least one of the at least one external device 200-1 to 200-N.
  • the processor 1100 of the display device 1000 may output information about content evaluation to the output unit 1400 of the display device 1000.
  • the display device 1000 may display content evaluation information on the display unit 1410 .
  • the processor 1100 of the display device 1000 acquires a score for a comparison result between at least one target object and reference data, and when the score for the comparison result is equal to or less than a predetermined threshold value.
  • Information on content evaluation may be displayed on the display unit 1410 of the display device.
  • FIG. 9 is a flowchart of a method for a display device to evaluate content of an external device according to an embodiment of the present disclosure.
  • a display device 1000 refers to a device configured to transmit visual information, and the display device 1000 is an external device 200 connected through a network 300. It is possible to transmit predetermined content to or receive predetermined content from the external device 200 .
  • the display device 1000 may evaluate predetermined content received from the external device 200 .
  • the system for evaluating the contents of an external device shown in FIG. 9 may be similar in many respects to the architecture of the systems and devices described above with reference to FIGS. 1 to 8 , and may include additional functions not mentioned above. Some descriptions of components of the above system and device may be omitted or briefly described.
  • the display device 1000 may obtain a voice input of the user 100 of the display device 1000.
  • the user's voice of the display apparatus 1000 may be received through the input unit 1300 (eg, the voice receiver 1310) of the display apparatus 1000.
  • the user's voice input may be the display device user's voice recognized through speaker recognition among a plurality of user voice inputs input to the display apparatus 1000 .
  • the display apparatus 1000 may determine user intent based on a result of interpreting the user's voice input.
  • the received user voice input may be analyzed using the voice analysis module 1522 of the display apparatus 1000 or an external server (not shown).
  • An intent is information determined by interpreting text corresponding to a voice input using an NLU model, and may represent an intention to speak the voice input.
  • the display apparatus 1000 may determine a reference category based on the user's intent.
  • the main information for determining user intent is 'fall', 'landscape', 'picture', and 'instruction', among which 'fall', 'landscape', and 'picture' correspond to A category may be determined as a reference category.
  • the reference category may vary according to the classification category of data included in the predetermined database DB, and the predetermined database DB may be stored outside the display device 1000.
  • the display apparatus 1000 may determine data included in a reference category among DB data as reference data.
  • the display device 1000 since categories corresponding to 'fall' and 'landscape' are determined as reference categories, the display device 1000 includes images (pictures) classified as 'fall' category and 'landscape' category among DB data. Classified images (pictures) can be determined as reference data.
  • the display device 1000 may receive submitted content from the external device 200 .
  • the external device 200 transmits submitted content generated in response to the user's voice utterance of the display device 1000 to the display device 1000, and the display device 1000 generates content generated by the external device in response to the user's voice utterance. Receive submitted content.
  • the submitted content may include at least one external device ( 200-1 to 200-N) may be an 'autumn landscape picture' freely drawn by the user.
  • the display apparatus 1000 may determine at least one target object to be compared with reference data, among objects included in submitted content.
  • the target object is at least one of the submitted contents (submitted content 1 to submitted content N).
  • the objects included in each of the 'pictures of autumn scenery' freely drawn by the users of the external devices 200-1 to 200-N the objects may correspond to 'pictures'.
  • the display apparatus 1000 may evaluate each received submitted content by comparing the reference data with at least one target object.
  • FIG. 10 is an operation flowchart of a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • a system for evaluating content of an external device by a display device includes a display device 1000 and at least one external device 200-1 to 200-N. can include
  • the system for evaluating the contents of an external device shown in FIG. 10 may be similar in many respects to the architecture of the systems and devices described above with reference to FIGS. 1 to 9 , and may include additional functions not mentioned above. Some descriptions of components of the foregoing systems and devices may be omitted or briefly described.
  • a teacher (eg, the user 100 of the display apparatus 1000) monitors the screen of at least one external device 200-1 to 200-N, or monitors the screen of at least one external device 200-1 to 200-N. It is assumed that the screen of N) is shared with other students (eg, displayed on the screen of the display device 1000) to be used as teaching materials.
  • a student displays content unrelated to class on the screen or uses at least one external device (200-1 to 200-N) for a purpose other than class. , it may be inappropriate to share the student's screen.
  • the display apparatus 1000 performs at least one external device (200-1 to 200) every predetermined period set by a user or when a user's input (eg, a monitoring request command) is obtained. -N), it is possible to evaluate whether content unrelated to the user's intention is being displayed or whether sharing of the displayed content is inappropriate.
  • a user's input eg, a monitoring request command
  • At least one external device 200-1 to 200-N displays each content (content 1 to content N).
  • the first external device 200-1 may display content 1
  • the Nth external device 200-N may display content N.
  • the content (content 1 to content N) displayed on the at least one external device 200-1 to 200-N may be the content displayed by the user of the at least one external device 200-1 to 200-N.
  • the at least one external device 200-1 to 200-N transmits each content (content 1 to content N) to the display device 1000, and the display device transmits the at least one external device 200-N.
  • Each content (content 1 to content N) is received from 1 to 200-N.
  • the display apparatus 1000 is configured to monitor content displayed on at least one external device 200-1 to 200-N by a user input (eg, a monitoring request command). Alternatively, it is possible to request transmission of displayed content (content 1 to content N) to at least one external device 200-1 to 200-N at predetermined intervals.
  • the display apparatus 1000 may acquire object set 1 to object set N included in contents 1 to contents N, respectively.
  • the processor 1100 of the display device 1000 drives the image analysis module 1522 to analyze the content 1 to content N received from at least one external device, and the received content 1 Objects included in each of content N to N may be extracted.
  • the display apparatus 1000 may determine a user intent based on an analysis result of object set 1 to object set N included in content 1 to content N, respectively.
  • the processor 1100 of the display device 1000 drives the image analysis module 1522 to perform at least one object set 1 to object set N included in content 1 to content N, respectively.
  • category can be determined. At least one category may have a hierarchical relationship with each other.
  • the display apparatus 1000 further selects an object set included in content displayed on the display apparatus 1000 in order to determine at least one category for object set 1 to object set N. available.
  • the display apparatus 1000 is configured to determine at least one category for object set 1 to object set N, respectively, to at least one external device 200-1 to 200-N. A weight may be determined and a weight may be applied to object set 1 to object set N.
  • User intent is information determined based on the category of an object obtained as a result of image analysis, and is intended for the user 100 of the display device 1000 to use the display device 1000 or to deliver it to a user of at least one external device. It can indicate the content or subject matter.
  • the display apparatus 1000 may monitor a user's voice input, and the user's intent may be further determined based on a result of analyzing the user's voice input.
  • the display device 1000 may evaluate content 1 to content N based on the user's intent.
  • the display apparatus 1000 determines whether each of object set 1 to object set N is included in at least one category for object set 1 to object set N determined based on user intent. and each of content 1 to content N may be evaluated based on the determination result.
  • FIG. 11 is a diagram for explaining a method of evaluating content of an external device by a display device according to an embodiment of the present disclosure.
  • the display apparatus 1000 may receive content 500-1 to 500-N from at least one external device 200-1 to 200-N.
  • a teacher who is a user of the display apparatus 1000 sets to transmit content being displayed to at least one external device 200-1 to 200-N at a predetermined cycle, or transmits content being displayed to at least one external device at a specific time.
  • the display apparatus 1000 determines the currently displayed content on at least one external device (200-1 to 200-N).
  • Content content 1 to content N
  • a teacher who is a user of the display device 1000, sets content displayed on at least one external device 200-1 to 200-N to be transmitted at a predetermined cycle
  • at least one The external devices 200 - 1 to 200 -N of may transmit content without a request from the display device 1000 for each period acquired upon initial connection with the display device 1000 .
  • the display apparatus 1000 analyzes content 1 to content N received from at least one external device 200-1 to 200-N, and extracts an object included in each content.
  • content 1 displayed on a first external device includes a first object set corresponding to ⁇ Zn (character), eyedropper (image), and beaker (image) ⁇ .
  • Content 2 displayed on the second external device includes a second object set corresponding to ⁇ nuclear power (character), atomic energy (image), beaker (image) ⁇ .
  • Content N displayed on the Nth external device includes an Nth object set including ⁇ CO2 (character), planet (character), sun (image), earth (image) ⁇ .
  • the display apparatus 1000 may determine a user intent based on objects included in the first to Nth object sets.
  • objects included in content 1 to content N are ⁇ Zn (character), eyedropper (image), beaker (image), atomic force (character), atomic force (image), beaker (image), . . . , CO2 (character), planet (character), sun (image), and earth (image) ⁇ , and a category corresponding to the analysis result of these objects can be determined as follows.
  • the display device 1000 sets 'science' as the first category (large category) corresponding to user intent related to contents 1 to 100, and sets 'chemistry' as the second category (middle category) corresponding to user intent related to contents 1 to 100. can be determined by
  • the display apparatus 1000 may evaluate contents 1 to contents N based on user intent related to contents 1 to contents N.
  • the display apparatus 1000 may determine scores for content 1 to content N based on user intent related to content 1 to content N.
  • content 1 can obtain 18 points for the first category and 12 points for the second category, so 30 points Acquire Content 2 obtains 26 points because it can obtain 18 points for the first category and 8 points for the second category, and 19 points for content N because it can obtain 16 points for the first category and 3 points for the second category. do.
  • the display apparatus 1000 determines weights to be applied to each of contents 1 to content N, applies weights corresponding to each of contents 1 to content N, and evaluates contents 1 to contents N.
  • the display apparatus 1000 may determine to assign a higher weight to the corresponding content when the previous score is high based on the previous score history of at least one external device 200-1 to 200-N. .
  • the display apparatus 1000 may determine a weight applied to each of the at least one external apparatus 200-1 to 200-N based on a user input of the display apparatus 1000.
  • the display device 1000 may determine a user intent further based on content being displayed on the display unit 1410 of the display device 1000 .
  • the display device 1000 may determine to give the highest weight to content being displayed on the display unit 1410 of the display device 1000 .
  • the display device 1000 may transmit evaluation results for content 1 to content N to at least one external device 200-1 to 200-N.
  • the display apparatus 1000 when the scores of contents 1 to content N are less than or equal to a predetermined threshold value, the evaluation result of contents 1 to content N is transmitted to at least one external device (200-1 to 200-1 to 1000). 200-N).
  • the display device 1000 may display evaluation results for content 1 to content N on the display unit 1410 of the display device 1000 .
  • the display device 1000 displays evaluation results for content 1 to content N when the scores for content 1 to content N are less than or equal to a predetermined threshold. ) can be displayed.
  • the display device 1000 transmits information about the content evaluation result to the Nth external device.
  • the Nth external device that has obtained the information on the content evaluation result may provide the content evaluation result to induce the user of the Nth external device to consume other content.
  • the display device 1000 may display information about evaluation results of content 1 to content N on the display unit 1410 of the display device 1000, or display the evaluation result of content N equal to or less than a threshold score.
  • FIG. 12 is a flowchart of a method for a display device to evaluate content of an external device according to an embodiment of the present disclosure.
  • a display device 1000 refers to a device configured to operate to transmit visual information, and the display device 1000 is an external device connected to a network 300 ( 200), or may receive predetermined content from the external device 200.
  • the display device 1000 may evaluate predetermined content received from the external device 200 .
  • the system for evaluating the content of an external device shown in FIG. 12 may be similar in many respects to the architecture of the systems and devices described above with reference to FIGS. 1 to 11 , and may include additional functions not mentioned above. Some descriptions of components of the above-described system and device may be omitted or briefly described.
  • the display device 1000 includes information included in each of a plurality of contents received from a plurality of external devices connected to the display device. A set of objects can be obtained.
  • At least one external device (200-1 to 200-N) transmits each content (content 1 to content N) being displayed to the display device 1000, and the display device transmits at least one external device (200-1). to 200-N), each content (content 1 to content N) may be received.
  • the display apparatus 1000 may obtain object set 1 to object set N included in each of the received contents 1 to contents N.
  • the processor 1100 of the display device 1000 drives the image analysis module 1522 to analyze the content 1 to content N received from at least one external device, and the received content 1 Objects included in each of content N to N may be extracted.
  • the display apparatus 1000 may determine a user intent based on an analysis result of a plurality of object sets (object set 1 to object set N).
  • the processor 1100 of the display device 1000 drives the image analysis module 1522 to perform at least one object set 1 to object set N included in content 1 to content N, respectively.
  • category can be determined. At least one category may have a hierarchical relationship with each other.
  • the display apparatus 1000 may evaluate each of a plurality of contents (content 1 to content N) based on the user's intent.
  • the display apparatus 1000 determines whether each of object set 1 to object set N is included in at least one category for object set 1 to object set N determined based on user intent. and each of content 1 to content N may be evaluated based on the determination result.
  • FIG. 13 is a flowchart of a method for a display device to evaluate content of an external device according to an embodiment of the present disclosure.
  • Steps 1301 to 1303 in FIG. 13 are the same as steps 1201 to 1203 in FIG. 12, respectively, and thus descriptions thereof are omitted.
  • the display apparatus 1000 may determine whether or not to share based on a content evaluation result of at least one external device.
  • the display apparatus 1000 may display at least one external device (200-1 to 200-1 to 200-1 to 200-N), the current screen sharing request may be transmitted. At least one external device (200-1 to 200-N) receiving the current screen sharing request may transmit the current screen displayed on the at least one external device (200-1 to 200-N) to the display device 1000. have.
  • the display device 1000 includes at least one external device 200-N based on the content displayed on the current screen displayed on the at least one external device 200-1 to 200-N or the content displayed on the display device 1000. 1 to 200-N) may evaluate each of the displayed contents.
  • the display device 1000 may obtain an object set included in each of a plurality of contents received from a plurality of external devices connected to the display device.
  • the display apparatus 1000 may determine a user intent based on an analysis result of a plurality of object sets (object set 1 to object set N).
  • the display apparatus 1000 may evaluate each of a plurality of contents (content 1 to content N) based on the user intent.
  • the display apparatus 1000 may determine whether to display based on evaluation results for each of a plurality of contents (content 1 to content N).
  • a teacher intends to share the screen of at least one external device (200-1 to 200-N) with other students (eg, display it on the screen of the display device 1000) and use it as teaching material can (That is, the teacher (eg, the user 100 of the display device 1000) transmits the contents of the screen of at least one external device (200-1 to 200-N) to the output unit 1400 of the display device 1000. may be intended to be indicated.)
  • the display apparatus 1000 determines that, based on the evaluation results for each of the plurality of contents (content 1 to content N), if the evaluation result for each of the plurality of contents (content 1 to content N) is bad (eg, obtained If one score is less than or equal to a predetermined threshold value), it may be determined that the corresponding content is not displayed on the display unit 1410 .
  • a computer readable storage medium or computer program product storing one or more programs (software modules) may be provided.
  • One or more programs stored in a computer readable storage medium or computer program product are configured for execution by one or more processors in an electronic device.
  • One or more programs include instructions for causing an electronic device to execute methods according to embodiments described in the claims or specification of the present disclosure.
  • Such programs may include random access memory, non-volatile memory including flash memory, read only memory (ROM), and electrically erasable programmable ROM.
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • magnetic disc storage device Compact Disc-ROM (CD-ROM), Digital Versatile Discs (DVDs), or other forms of It can be stored on optical storage devices, magnetic cassettes. Alternatively, it may be stored in a memory composed of a combination of some or all of these. In addition, each configuration memory may be included in multiple numbers.
  • the program accesses through a communication network such as the Internet, an Intranet, a Local Area Network (LAN), a Wide LAN (WLAN), or a Storage Area Network (SAN), or a communication network composed of a combination thereof. It can be stored on an attachable storage device that can be accessed. Such a storage device may be connected to a device performing an embodiment of the present disclosure through an external port. In addition, a separate storage device on a communication network may be connected to a device performing an embodiment of the present disclosure.
  • a communication network such as the Internet, an Intranet, a Local Area Network (LAN), a Wide LAN (WLAN), or a Storage Area Network (SAN), or a communication network composed of a combination thereof. It can be stored on an attachable storage device that can be accessed.
  • Such a storage device may be connected to a device performing an embodiment of the present disclosure through an external port.
  • a separate storage device on a communication network may be connected to a device performing an embodiment of the present disclosure.
  • computer program product or “computer readable medium” generally refers to media such as a memory, a hard disk installed in a hard disk drive, and a signal. used for These “computer program products” or “computer readable recording media” are means for providing a display device with software composed of instructions for analyzing and evaluating content according to the present disclosure.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • a part of a computer program product eg, a downloadable app
  • a device-readable storage medium such as a memory of a manufacturer's server, an application store server, or a relay server. It can be temporarily stored or created temporarily.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • constituent elements included in the present disclosure are expressed in singular or plural numbers according to the specific embodiments presented.
  • the singular or plural expressions are selected appropriately for the presented situation for convenience of explanation, and the present disclosure is not limited to singular or plural components, and even components expressed in plural are composed of the singular number or singular. Even the expressed components may be composed of a plurality.
  • another type of input may be obtained.
  • a user's text input or gesture input may be acquired by the display apparatus 1000 .
  • the obtained input may be analyzed (or parsed or recognized), and an intent may be determined based on the analysis result. For example, you can interpret acquired text input and determine an intent based on the result.
  • reference data may be determined.
  • the display apparatus 1000 may determine reference data based on a user's intent and/or a reference category.
  • the submitted content is obtained or may be obtained from a server or device other than an external device that generates the submitted content.
  • an external device that generates submitted content may transmit the submitted content to a server or external storage, and the display device 1000 may acquire the submitted content from the server or external storage.
  • At least one target object among at least one object included in submitted content may be identified.
  • the display apparatus 1000 may identify a target object among objects included in submitted content and compare the identified target object with reference data.
  • submitted content may be evaluated based on reference data and/or at least one target object.
  • the display apparatus 1000 may evaluate submitted content based on reference data and at least one target object.
  • the evaluation may include comparing at least one target object to reference data.
  • an external device configured to perform a method corresponding to the method of the display apparatus 1000 is provided. Another embodiment of the present disclosure provides a method of such an external device.
  • a method for analyzing content of a device includes obtaining a user's input; determining a user's intent based on the obtained input; obtaining reference data according to the user's intent; obtaining submission content; and comparing at least one target object with reference data.
  • determining the user's intent based on the obtained input may include determining the user's intent based on a result of interpreting the user's input.
  • the method of the first embodiment includes at least one correct answer object among objects included in reference content displayed on a device based on the user's intent. to determine; and determining at least one correct answer object as reference data.
  • the method of the second embodiment is provided, wherein the submitted content includes content obtained by adding a user's input of an external device to reference content obtained in response to sharing by the device; At least one target object is determined to correspond to a user's input of the external device.
  • the method of any one of the first to third embodiments includes: determining at least one reference category based on a user's intent; doing; and determining data included in at least one reference category among data stored in the database as reference data.
  • the method of any one of the first to fourth embodiments is provided, and the obtaining of a user's input includes: recognizing a voice of a user of a device from among a plurality of users. ; Recognizing a voice input input to the device and at least one text input by a user; or recognizing at least one gesture input by the user.
  • the method of any one of the first to fifth embodiments wherein the intention of the user, the presence or absence of an instruction, the type, and the content of the instruction Include at least one of the subjects.
  • a method of any one of the first to sixth embodiments including evaluating submitted content based on a comparison result; and optionally, transmitting information about the evaluation result to at least one of the device and an external device.
  • the method of the seventh embodiment wherein the step of evaluating the submitted content includes obtaining a score for a result of comparing at least one target object with reference data; Silver: When the score is equal to or less than a specific threshold, the method further includes transmitting information about a comparison result to at least one of a device and an external device.
  • an apparatus includes: a display; an input module configured to obtain an input; a communication module configured to obtain submitted content; a storage configured to store a program including at least one instruction; and at least one processor configured to execute at least one instruction stored in the storage, wherein the at least one processor is configured to execute the at least one instruction to determine a user's intent based on the user's input; ; Acquire reference data according to the user's intent; At least one target object is compared with the reference data. For example, determining the user's intent based on the user's input may include determining the user's intent based on a result of interpreting the user's input.
  • the device of the ninth embodiment is provided, and at least one processor determines at least one correct answer object among objects included in reference content displayed on the device and generates the at least one correct answer object. structured to determine
  • the device of the tenth embodiment wherein the submitted content includes content obtained by adding a user input of an external device to reference content obtained in response to sharing by the device, At least one target object is determined to correspond to a user's input of the external device.
  • the apparatus of any one of the ninth to eleventh embodiments wherein at least one processor determines at least one reference category based on a user's intent, and stores the reference category in a database. It is configured to determine data included in at least one reference category among the data as reference data.
  • a content analysis method of a device includes acquiring a plurality of object sets included in a plurality of contents received from a plurality of external devices; determining an intent of a user of the device based on at least one of a plurality of object sets; and evaluating at least one of a plurality of contents based on the user's intention.
  • determining the user's intent based on at least one of a plurality of object sets may include determining the user's intent of the device based on a result of analyzing the plurality of object sets.
  • evaluating at least one of the plurality of contents based on the user's intent may include evaluating the plurality of contents based on the user's intention.
  • the method of the thirteenth embodiment is provided, wherein the determining of the user's intent includes determining at least one category based on a result of analyzing a plurality of object sets. and evaluating each of the plurality of contents includes identifying whether each of the plurality of object sets belongs to at least one category.
  • the method of the fourteenth embodiment is provided, the method further comprising obtaining an object set included in content displayed on a device, and determining a user's intent and determining at least one category based on a plurality of object sets included in the device and the object set.
  • a method of any one of the thirteenth to fifteenth embodiments is provided, and the method further includes acquiring a user's input, and determining the user's intent. includes determining the user's intent based on the result of interpreting the obtained input.
  • the input may be voice input, text input, or gesture input.
  • the method of any one of the thirteenth to sixteenth embodiments is provided, and the determining of the user's intent includes: identifying a plurality of weights for each of a plurality of external devices. doing; and determining a user's intent based on a plurality of object sets having a plurality of weights applied to each of the plurality of external devices.
  • a method of any one of the thirteenth to seventeenth embodiments is provided, and the method transmits information on an evaluation result to a device and/or one or more of a plurality of external devices. Include more steps.
  • the method of any one of the 13th to 18th embodiments is provided, and the step of evaluating each of the plurality of contents is based on at least one category for each of the plurality of contents. and obtaining a score, and the method further includes transmitting an evaluation result for content having a score equal to or less than a specific threshold among a plurality of pieces of content to at least one of a device corresponding to the content and an external device. .
  • an apparatus includes a display; A communication module for receiving a plurality of contents from a plurality of external devices; a storage configured to store a program including at least one instruction; and at least one processor configured to execute at least one command stored in the storage unit, wherein the at least one processor executes the at least one command stored in the storage unit to acquire a plurality of object sets included in the plurality of contents. and evaluates an intent of a user of the device based on at least one of a plurality of object sets, and evaluates at least one of a plurality of contents based on the user's intent.
  • determining the user's intent based on at least one of a plurality of object sets may include determining the user's intent of the device based on a result of analyzing the plurality of object sets.
  • evaluating at least one of a plurality of contents based on the user's intent may include evaluating a plurality of contents based on the user's intention.
  • the device of the twentieth embodiment wherein at least one processor determines at least one category based on a result of analyzing a plurality of object sets, and each of the plurality of object sets is belong to at least one category.
  • a device of the twenty-first embodiment wherein at least one processor obtains an object set included in content displayed on the device, and a plurality of objects included in the device based on the object set. and determine at least one category for the set and the set of objects (eg, to determine a user's intent).
  • the device of any one of the 20th to 22nd embodiments is provided, and at least one processor determines the user's intent further based on a result of interpreting the acquired input.
  • the device is configured to further include an input module configured to obtain a user's input.
  • the input may be voice input (eg, the input module may include a receiver), text input, or gesture input.
  • any one device of the 20th to 23rd embodiments is provided, and at least one processor identifies a plurality of weights for each of a plurality of external devices and assigns a plurality of weights to each of the plurality of external devices. and determine a user's intent based on a plurality of object sets to which a plurality of weights are applied.
  • the device of any one of the twentieth to twenty-fourth embodiments is provided, and at least one processor is configured to transmit information about an evaluation result to the device or a plurality of external devices through a communication module. It consists of
  • the apparatus of any one of the twentieth to twenty-fifth embodiments wherein at least one processor includes at least one processor (for example, to evaluate each of a plurality of contents).
  • a score for each of a plurality of contents is obtained based on the category of, and the evaluation result for the contents having a score of a predetermined threshold or less among the plurality of contents is a device or an external device corresponding to the contents having a score of a predetermined threshold or less. It is configured to transmit at least one of them.
  • a computer-readable recording medium on which a program for a computer to execute the method of the first embodiment or the thirteenth embodiment is recorded is provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 일 실시예에 따른 디스플레이 장치가, 컨텐츠를 분석하고 평가하는 방법은, 디스플레이 장치 사용자의 음성 입력을 획득하는 단계; 획득된 음성 입력의 해석 결과에 기초하여 사용자 인텐트를 결정하는 단계; 사용자 인텐트에 기초하여, 레퍼런스 데이터를 획득하는 단계; 디스플레이 장치와 연결된 외부 장치로부터 제출 컨텐츠를 획득하는 단계; 제출 컨텐츠에 포함된 오브젝트 중에서, 레퍼런스 데이터와 비교될 적어도 하나의 타겟 오브젝트를 결정하는 단계; 및 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터를 비교함으로써, 제출 컨텐츠를 평가하는 단계;를 포함한다.

Description

컨텐츠를 분석하고 평가하는 방법 및 장치
본 개시의 실시예들은 컨텐츠를 분석하고 평가하는 방법 및 그 장치에 대한 것으로, 보다 상세하게는, 디스플레이 장치 사용자의 의도 및 컨텍스트에 기초하여 외부 장치로부터 수신된 컨텐츠를 분석하고 평가하는 방법 및 장치에 관한 것이다.
일부 예에서, 대면 수업 및/또는 대면 회의는 원격(비접촉 또는 무접촉 등) 수업 또는 원격 회의로 전환되었다. 원격 수업 및/또는 원격 회의는 시간과 공간적 측면에서 유용하기 때문에 대면 수업 및/또는 대면 회의보다 바람직할 수 있다. 원격 수업 또는 원격 회의의 경우 참가자들은 PC, 노트북, 또는 태블릿 등과 같은 통신 장치를 이용하여 비접촉(contact-free)으로 수업 또는 회의에 참여할 수 있다.
원격 수업 및/또는 회의의 참가자는 서로 다른 공간에 있으므로 원격 회의의 진행자 및/또는 참가자는 다른 사람의 컨텐츠를 실시간으로 확인하기 어려운 문제가 있다. 예를 들어, 원격 수업의 경우 선생님은 학생이 다른 컨텐츠를 이용하고 있는 지 여부의 판단이 어렵다. 또한, 비대면 상황이 아니더라도, 다른 참여자의 컨텐츠를 실시간으로 확인하고 평가하는 것은 회의 및 수업 진행 흐름에 방해가 된다.
따라서, 장치 사용자의 관여가 없이, 장치 사용자의 의도 및 상황을 판단하여, 다른 참여자의 장치와 관련된 컨텐츠를 평가할 수 있는 방법이 필요하다.
본 개시의 일 실시예에 따른 디스플레이 장치가, 컨텐츠를 분석하고 평가하는 방법은, 사용자의 음성 입력을 획득하는 단계; 획득된 음성 입력의 해석 결과에 기초하여 사용자 인텐트를 결정하는 단계; 사용자 인텐트에 기초하여, 레퍼런스 데이터를 획득하는 단계; 디스플레이 장치와 연결된 외부 장치로부터 제출 컨텐츠를 획득하는 단계; 제출 컨텐츠에 포함된 오브젝트 중에서, 레퍼런스 데이터와 비교될 적어도 하나의 타겟 오브젝트를 결정하는 단계; 및 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터를 비교함으로써, 제출 컨텐츠를 평가하는 단계;를 포함한다.
본 개시의 일 실시예에 따른 디스플레이 장치는, 디스플레이; 사용자의 음성 입력을 획득하는 음성 수신부; 디스플레이 장치와 연결된 외부 장치로부터 제출 컨텐츠를 획득하는 통신부, 적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부; 및 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고, 프로세서는 적어도 하나의 명령어를 실행함으로써, 음성 수신부를 통해 획득된 사용자의 음성 입력의 해석 결과에 기초하여 사용자 인텐트를 판단하고, 사용자 인텐트에 기초하여, 레퍼런스 데이터를 획득하고, 제출 컨텐츠에 포함된 오브젝트 중에서, 레퍼런스 데이터와 비교될 적어도 하나의 타겟 오브젝트를 결정하고, 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터를 비교함으로써, 제출 컨텐츠를 평가한다.
본 개시의 일 실시예에 따른 디스플레이 장치가, 컨텐츠를 분석하는 방법은, 디스플레이 장치와 연결된 복수의 외부 장치로부터 수신된 복수의 컨텐츠 각각에 포함된 복수의 오브젝트 세트를 획득하는 단계; 복수의 오브젝트 세트의 해석 결과에 기초하여 사용자 인텐트를 결정하는 단계; 및 사용자 인텐트에 기초하여 복수의 컨텐츠 각각을 평가하는 단계;를 포함한다. 방법.
본 개시의 일 실시예에 따른 디스플레이 장치는, 디스플레이; 디스플레이 장치와 연결된 복수의 외부 장치로부터 복수의 컨텐츠 각각을 수신하는 통신부, 적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부; 및 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고, 프로세서는 적어도 하나의 명령어를 실행함으로써, 복수의 컨텐츠 각각에 포함된 복수의 오브젝트 세트를 획득하고, 복수의 오브젝트 세트의 해석 결과에 기초하여 사용자 인텐트를 판단하고, 사용자 인텐트에 기초하여, 복수의 컨텐츠 각각을 평가한다.
한편, 본 개시의 일 실시예에 따르면, 전술한 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 개시의 일 실시예에 의하면, 디스플레이 장치가 디스플레이 장치 사용자의 의도 및 컨텍스트에 기초하여 외부 장치로부터 수신된 컨텐츠를 평가함으로써, 사용자의 개입 없이 컨텐츠에 대한 평가가 가능하다. 또한, 원격 수업 등으로 서로 다른 공간에 위치하는 경우라도 외부 장치의 사용자가 의도적 또는 비의도적으로 적절하지 않은 컨텐츠를 이용하고 있는 상황을 판단하고 피드백 할 수 있다.
도 1은 본 개시의 일 실시예에 따른 외부 장치의 컨텐츠를 평가하는 시스템의 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 디스플레이 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 제1 동작 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법을 나타내는 제1 도면이다.
도 5는 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 제2 동작 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 제1 순서도이다.
도 7은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법을 나타내는 제2 도면이다.
도 8은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 제3 동작 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 제2 순서도이다.
도 10은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 제4 동작 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 제3 순서도이다.
도 13은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 제4 순서도이다.
본 명세서 전체에 걸쳐 “a, b, 또는 c 중 적어도 하나”및 “a, b, 및 c 중 적어도 하나”또는 이와 유사한 표현은 a만, b만, c만, a와 b, a와 c, b와 c, a, b, c 모두, 또는 이들의 변형이며, 이들의 모든 조합을 포함한다.
이하, 본 개시의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시예를 설명함에 있어서 본 개시가 속하는 기술 분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 실시예에서 ‘~부’는 하나 이상의 프로세서를 포함할 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 “~부”, “~모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 “직접적으로 연결”되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 “전기적으로 연결”되어 있는 경우도 포함한다.
본 명세서에서 사용된 표현 “~하도록 구성된(또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한(suitable for)”, “~하는 능력을 가지는(having the capacity to)”, “~하도록 설계된(designed to)”, “~하도록 변경된(adapted to)”, “~하도록 만들어진(made to)”, 또는 “~를 할 수 있는(capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성된(또는 설정된)”은 하드웨어적으로 “특별히 설계된(specifically designed to)” 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 시스템”이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 외부 장치의 컨텐츠를 평가하는 시스템의 예시를 나타내는 도면이다.
도 1을 참조하면, 외부 장치의 컨텐츠를 평가하는 시스템은 디스플레이 장치(1000) 및 적어도 하나의 외부 장치(200-1 내지 200-N)을 포함할 수 있다.
디스플레이 장치(1000)는 시각적인 정보를 전달할 수 있도록 동작하는 장치를 의미하며, 시각적인 정보를 제공하기 위한 디스플레이 및 시각적인 정보와 함께 제공될 수 있는 청각적인 정보를 제공하기 위한 스피커를 포함할 수 있다. 또한, 디스플레이 장치(1000)는 디스플레이 장치(1000) 사용자의 입력(100)을 수신하기 위한 입력부(1300)를 포함할 수 있다. 시각적인 정보는 촬영된 스틸컷, 그래픽 이미지, 동영상 및 특정 목적을 위해 작성된 컨텐츠(예를 들어, 교육용 컨텐츠)에 포함되는 시각 정보를 포함할 수 있고, 디스플레이 장치(1000)는 텔레비전, 모니터, 및 전자칠판을 포함할 수 있으나, 이에 제한되는 것은 아니다.
디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)로 소정의 컨텐츠를 전송하거나, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 소정의 컨텐츠를 수신할 수 있다. 또한, 디스플레이 장치(1000)는 소정의 주기마다, 디스플레이 장치(1000)의 사용자(100)의 입력에 따라, 또는 적어도 하나의 외부 장치(200-1 내지 200-N)의 사용자(미도시)의 입력에 따라 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 소정의 컨텐츠를 수신할 수 있다.
디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 수신된 소정의 컨텐츠를 평가할 수 있다.
적어도 하나의 외부 장치(200-1 내지 200-N)는 디스플레이 장치(1000)와 적어도 하나의 네트워크(300-1 내지 300-N)를 통해 연결되어 있으며, 디스플레이 장치(1000)로부터 소정의 컨텐츠를 수신하여 적어도 하나의 외부 장치(200-1 내지 200-N)의 사용자에게 제공하거나, 디스플레이 장치(1000)로 소정의 컨텐츠를 전송하도록 동작하는 장치를 의미한다. 적어도 하나의 외부 장치(200-1 내지 200-N)는 휴대폰, 태블릿, 및 랩톱 컴퓨터를 포함할 수 있으나, 이에 제한되는 것은 아니다.
디스플레이 장치(1000) 및 적어도 하나의 외부 장치(200-1 내지 200-N) 를 통신 연결하는 네트워크(300-1 내지 300-N)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 또한, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network) 또는 위성 통신망 중 적어도 둘 이상의 상호 조합을 포함할 수 있으며, 도 1에 도시된 각 네트워크 구성 주체(예를 들어, 디스플레이 장치 1000, 적어도 하나의 외부 장치 200)가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함한다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 1은 디스플레이 장치(1000)의 사용자(100, 예를 들어, 호스트)가 적어도 하나의 외부 장치(200)를 사용하여 하나 이상의 외부 사용자(예: 참가자)에게 컨텐츠를 표시하는 실시예를 나타낸다. 예를 들어, 도 1에 도시된 시스템 환경은 수업을 진행하는 경우일 수 있으나 이에 제한되는 것은 아니며 다른 환경에서도 이용될 수 있다. 특히, 본 개시는 디스플레이된 컨텐츠를 분석하고 평가해야하는 모든 환경에 적용될 수 있다.
예를 들어, 디스플레이 장치(1000)의 사용자(100)는 선생님교사이고, 적어도 하나의 외부 장치(200-1 내지 200-N)의 외부 사용자들은 학생일 수 있다. 이러한 경우, 교사는 수업을 진행하기 위하여 수업 내용과 관련된 컨텐츠를 디스플레이 장치(1000)에 디스플레이할 수 있다.
교사가 수업 내용과 관련된 컨텐츠를 디스플레이 장치(1000)에 디스플레이하고 수업을 진행하던 중 디스플레이 장치(1000)에 디스플레이된 컨텐츠와 관련된 질문을 하거나 문제를 제출하는 경우를 가정한다. 교사는 디스플레이 장치(1000)에 디스플레이된 컨텐츠와 관련된 질문을 하거나 답안를 제출할 것을 요청하는 음성을 발화할 수 있다.
본 개시의 일 실시예에 따르면, 교사의 음성을 획득한 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)로 현재의 컨텐츠를 전송할 수 있다. 적어도 하나의 외부 장치(200-1 내지 200-N)는 디스플레이 장치(1000)로부터 전송된 컨텐츠를 디스플레이할 수 있다. 또한, 적어도 하나의 외부 장치(200-1 내지 200-N)는 선생님의 질문 또는 문제에 대한 학생들의 입력이 획득되는 것에 대한 응답하여 제출할 컨텐츠(예를 들어, 제출 컨텐츠)를 디스플레이 장치(1000)로 전송(제출)할 수 있다. 제출 컨텐츠는, 적어도 하나의 외부 장치(200-1 내지 200-N)의 사용자인 학생들(예를 들어, 외부 사용자)의 입력에 기초하여 생성될 수 있고, 교사의 질문 및/또는 퀴즈에 대한 답변을 포함할 수 있다. 디스플레이 장치(1000)는 교사의 음성 발화 분석에 기초하여 질문 또는 문제와 관련된 인텐트를 식별하고, 식별된 인텐트에 기초하여 학생들이 제출한 답변을 평가할 수 있다.
예를 들어, 교사가 수업을 진행하던 중 학생들에게 답변을 제출할 것을 요청하는 경우, 교사는 학생들에게 답변을 제출할 것을 요청하는 음성을 발화할 수 있다.
본 개시의 일 실시예에 따르면, 교사의 음성을 획득한 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)로 답변 제출 요청을 전송할 수 있다. 답변 제출 요청을 수신한 적어도 하나의 외부 장치(200-1 내지 200-N)는 학생들의 답변(예를 들어, 제출 컨텐츠)이 획득되면(예를 들어, 외부 장치(200-1 내지 200-N)의 해당 학생이 교사의 요청에 대한 답변을 제공) 학생들의 답변을 디스플레이 장치(1000)로 전송할 수 있다. 이 때, 답변 제출 요청을 수신한 적어도 하나의 외부 장치(200-1 내지 200-N)는 디스플레이에 답변을 제출할 것을 요구하는 사용자 인터페이스(예를 들어, 팝업 창)를 디스플레이할 수 있다. 디스플레이 장치(1000)는 교사의 음성 발화 분석에 기초하여 요청과 관련된 인텐트를 식별하고, 식별된 인텐트에 기초하여 학생들이 제출한 답변을 평가할 수 있다.
교사가 적어도 하나의 외부 장치(200-1 내지 200-N)의 화면을 모니터링하고자 하는 경우를 가정한다.
교사와 학생이 서로 마주보도록 배치된 환경 또는 원격 수업 등으로 서로 다른 공간에 있는 경우, 교사는 학생의 화면을 볼 수 없으므로 학생이 수업과 관련없는 컨텐츠를 화면에 디스플레이하거나 수업 이외의 다른 목적으로 적어도 하나의 외부 장치(200-1 내지 200-N)를 사용하더라도, 교사는 이를 확인할 수 없다.
본 개시의 일 실시예에 따르면, 교사가 설정한 소정의 주기마다, 또는 교사의 입력(예를 들어 모니터링 요청 커맨드)가 획득되면, 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)로 현재 화면 공유 요청을 전송할 수 있다. 현재 화면 공유 요청을 수신한 적어도 하나의 외부 장치(200-1 내지 200-N)는 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이된 현재 화면을 디스플레이 장치(1000)로 전송할 수 있다. 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이된 현재 화면에 디스플레이된 컨텐츠 또는 디스플레이 장치(1000)에 디스플레이된 컨텐츠에 기초하여 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이된 컨텐츠 각각을 평가할 수 있다.
예를 들어, 교사가 특정 외부 장치(예를 들어, 200-1) 의 화면을 다른 학생들에게 공유(예를 들어, 디스플레이 장치(1000)의 화면에 특정 외부 장치(예를 들어, 200-1) 의 화면을 디스플레이)하여, 특정 외부 장치(예를 들어, 200-1) 의 화면을 수업 자료로 활용하고자 하는 경우를 가정한다.
교사와 학생이 서로 마주보도록 배치된 환경 또는 원격 수업 등으로 서로 다른 공간에 있는 경우, 어떤 학생이 수업과 관련없는 컨텐츠를 화면에 디스플레이하거나 수업 이외의 다른 목적으로 적어도 하나의 외부 장치(200-1 내지 200-N)를 사용하고 있다면 해당 학생의 화면은 공유가 부적절할 수 있다.
본 개시의 일 실시예에 따르면, 교사의 입력(예를 들어 모니터링 요청 커맨드)가 획득되면, 디스플레이 장치(1000)는 특정 외부 장치(예를 들어, 200-1)로 현재 화면 공유 요청을 전송할 수 있다. 현재 화면 공유 요청을 수신한 특정 외부 장치(예를 들어, 200-1)는 특정 외부 장치(예를 들어, 200-1)에 디스플레이된 현재 화면을 디스플레이 장치(1000)로 전송할 수 있다. 디스플레이 장치(1000)는 특정외부 장치(예를 들어, 200-1)에 디스플레이된 현재 화면에 디스플레이된 컨텐츠 또는 디스플레이 장치(1000)에 디스플레이된 컨텐츠에 기초하여 특정 외부 장치(예를 들어, 200-1)에 디스플레이된 컨텐츠를 평가하여 공유하기 적합한지 여부를 판단할 수 있다. 디스플레이 장치(1000)는, 특정 외부 장치(예를 들어, 200-1)에 디스플레이된 컨텐츠의 공유가 적합한지 여부를 판단한 결과, 특정 외부 장치(예를 들어, 200-1)에 디스플레이된 컨텐츠의 공유가 부적합한 것으로 판단된 경우, 특정 외부 장치(예를 들어, 200-1)에 디스플레이된 컨텐츠는 디스플레이 장치(1000)화면에 디스플레이하지 않을 수 있다. 또는, 디스플레이 장치(1000)는, 특정 외부 장치(예를 들어, 200-1)에 디스플레이된 컨텐츠의 공유가 적합한지 여부를 판단한 결과, 특정 외부 장치(예를 들어, 200-1)에 디스플레이된 컨텐츠의 공유가 적합한 것으로 판단된 경우 특정 외부 장치(예를 들어, 200-1)에 디스플레이된 컨텐츠는 디스플레이 장치(1000)화면에 디스플레이할 수 있다.
도 2는 본 개시의 일 실시예에 따른 디스플레이 장치의 블록도이다.
도 2를 참조하면, 디스플레이 장치(1000)는 프로세서(1100), 통신부(1200), 입력부(1300), 출력부(1400), 및 저장부(1500)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디스플레이 장치(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 공기 디스플레이 장치(1000)는 구현될 수 있다. 또한, 도 2에 도시된 둘 이상의 구성요소는 하나의 구성요소에 의해 구현될 수 있고, 도 2에 도시된 하나의 구성요소는 복수의 분산 구성요소로 구현될 수 있다. 도 2에 도시된 구성요소의 세트는 도2에 도시된 구성요소들의 다른 세트에 의해 수행되는 것으로 설명된 하나 이상의 기능을 수행할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
통신부(1200)는, 디스플레이 장치(1000)와 서버 장치(미도시), 디스플레이 장치(1000)와 외부 장치(예를 들어, 도 1의 외부 장치 또는 다른 통신 장치) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1200)는, 근거리 통신부, 및/또는 방송 수신부를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), RFID(radio-frequency identification) 통신부, WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, 및/또는 Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디스플레이 장치(1000)는 방송 수신부를 포함하지 않을 수도 있다.
통신부(1200)는 외부 장치(예를 들어, 서버 장치, 도 1의 외부 장치, 다른 통신 장치)로부터 컨텐츠를 획득할 수 있다. 통신부(1200)는 유선 또는 무선 통신을 통해 외부 장치(미도시)로부터 컨텐츠를 획득할 수 있다. 여기서, 외부 장치(미도시)는 서버 장치, 모바일 단말, 웨어러블 장치(예컨대, 시계, 밴드, 안경, 마스크 등), 가전 기기(예컨대, TV, 데스크 탑 PC, 노트북, DVD 장치, 세탁기, 냉장고 등) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 외부 장치로부터 획득되는 컨텐츠는 멀티미디어 파일, 비디오 파일 및 오디오 파일을 포함할 수 있다.
입력부(1300)는, 디스플레이 장치(1000)의 사용자(100)가 디스플레이 장치(1000)를 제어하기 위한 데이터 및/또는 명령을입력하도록 구성된다. 예를 들어, 입력부(1300)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
본 개시의 일 실시예에 의하면, 입력부(1300)는 전원 버튼, 밝기 설정 버튼, 예약 설정 버튼, 모드 변경 버튼, 음량 조정 버튼 등을 포함하는 버튼부를 포함할 수 있다.
입력부(1300)는, 사용자의 음성 입력을 수신하기 위한 음성 수신부(1310)를 포함한다. 예를 들어, 음성 수신부(1310)는 적어도 하나의 마이크로폰(미도시)을 포함할 수 있다. 음성 수신부(1310)는, 디스플레이 장치(1000) 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰은 외부 장치(예를 들어, 스피커) 및/또는 디스플레이 장치(1000)의 사용자(100)로부터 음향 신호(예컨대, 음성 명령)를 수신할 수 있다. 마이크로폰은 외부의 음향 신호를 입력 받고 처리하는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
출력부(1400)는, 오디오 신호 또는 비디오 신호의 출력하도록 구성된다. 출력부(1400)는 디스플레이부(1410) 외에도 복수의 스피커(미도시)를 포함할 수 있다.
디스플레이부(1410)와 터치패드가 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(1410)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1410)는 액정 디스플레이부(liquid crystal display), 박막 트랜지스터 액정 디스플레이부(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이부(flexible display), 3차원 디스플레이부(3D display), 전기영동 디스플레이부(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디스플레이 장치(1000)의 구현 형태에 따라 디스플레이 장치(1000)는 디스플레이부(1410)를 2개 이상 포함할 수도 있다.
출력부(1400)는, 통신부(1200)로부터 수신되거나 저장부(1500)에 저장된 오디오 데이터를 출력할 수 있다. 예를 들어, 출력부(1400)는 입체 음향 신호를 출력할 수도 있다. 예를 들어, 복수의 스피커는 우측 채널 스피커, 좌측 채널 스피커, 모노 채널 스피커 중 적어도 하나로 구현될 수 있다. 또한, 복수의 스피커는 디스플레이 장치 (1000)에서 수행되는 기능(예를 들어, 알림음, 안내 음성, 가이드 음성)과 관련된 음향 신호를 출력할 수 있다.
저장부(1500)는, 후술할 프로세서(1100)에 의해 실행될 프로그램을 저장할 수 있다. 저장부(1500)는 디스플레이 장치(1000)의 동작을 제어하기 위한 적어도 적어도 하나의 명령어들(instruction)을 포함하는 프로그램을 저장할 수 있다.
저장부(1500)에는 프로세서(1100)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 프로그램의 명령어들 또는 코드들을 실행하도록 구현될 수 있다. 저장부(1500)는 디스플레이 장치(1000)로 입력되거나 디스플레이 장치(1000)로부터 출력되는 데이터를 저장할 수 있다.
저장부(1500)는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
저장부(1500)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류될 수 있다. 예를 들어, 저장부(1500)는 오브젝트 추출 모듈(1510), 인텐트 결정 모듈(1520), 및 컨텐츠 평가 모듈(1530)을 포함할 수 있다. 인텐트 결정 모듈(1520)은 음성 분석 모듈(1521), 및 영상 분석 모듈(1522)을 포함할 수 있으며, 컨텐츠 평가 모듈은 레퍼런스 데이터 획득 모듈(1531) 및 타겟 오브젝트 결정 모듈(1532)을 포함할 수 있다.
프로세서(1100)는, 디스플레이 장치(1000)의 전반적인 동작을 제어할 수 있다. 프로세서(1100)는 본 개시의 일 실시예에 따른 동작들을 수행할 수 있다. 예를 들어, 프로세서(1100)는 저장부(1500)에 저장된 프로그램들을 실행함으로써, 통신부(1200), 입력부(1300), 출력부(1400) 등을 전반적으로 제어할 수 있다.
프로세서(1100)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성요소로 구성될 수 있다. 프로세서(1100)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
본 개시의 일 실시예에 의하면, 프로세서(1100)는 학습 네트워크 모델을 생성하기 위한 인공지능(AI) 프로세서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 개시의 일 실시예에 의하면, AI 프로세서는 프로세서(1100)와 별도의 칩으로 구현될 수도 있다. 본 개시의 일 실시예에 의하면, AI 프로세서는 범용 칩일 수도 있다.
본 개시의 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 하나 이상의 명령어들을 실행함으로써, 입력부(1400)의 음성 수신부(1410)를 통해 획득된 사용자의 음성 입력 해석 결과에 기초하여 사용자 인텐트를 판단하고, 사용자 인텐트에 기초하여 레퍼런스 데이터를 획득하고, 통신부(1200)를 통해 수신된 디스플레이 장치(1000)와 연결된 외부 장치의 제출 컨텐츠에 포함된 오브젝트 중에서, 레퍼런스 데이터와 비교될 적어도 하나의 타겟 오브젝트를 결정하고, 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터를 비교함으로써 제출 컨텐츠를 평가할 수 있다.
본 개시의 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 하나 이상의 명령어들을 실행함으로써, 통신부(1200)를 통해 수신된 디스플레이 장치(1000)와 연결된 복수의 외부 장치로부터 수신된 컨텐츠 각각에 포함된 복수의 오브젝트 세트를 결정하고, 복수의 오브젝트 세트의 해석 결과에 기초하여 사용자 인텐트를결정하고, 사용자 인텐트에 기초하여 복수의 컨텐츠 각각을 평가할 수 있다.
본 개시의 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 프로그램들 중 오브젝트 추출 모듈(1510)의 적어도 하나의 명령어들을 실행함으로써, 외부 장치로부터 수신된 제출 컨텐츠에 포함되는 오브젝트 및 디스플레이 장치(1000)가 외부 장치로 공유하는 컨텐츠인, 레퍼런스 컨텐츠에 포함되는 오브젝트를 추출할 수 있다.
본 개시의 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 프로그램들 중 인텐트 결정 모듈(1520)의 적어도 하나의 명령어들을 실행함으로써, 사용자 음성 입력의 음성 분석 결과 및 레퍼런스 컨텐츠와 제출 컨텐츠에 포함되는 영상의 영상 분석 결과에 기초하여 사용자 인텐트를 결정할 수 있다.
본 개시의 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 프로그램들 중 음성 분석 모듈(1521)의 적어도 하나의 명령어들을 실행함으로써, 음성 수신부(1310)에서 수신된 사용자 음성 입력을 해석할 수 있다.
음성 분석 모듈(1521)을 이용하여 사용자의 음성 입력에 포함된 의도를 파악할 때, 인공 지능(Artificial Intelligence, AI) 기술이 활용될 수 있으며, 룰(Rule) 기반의 자연어 이해 기술(Natural Language Understanding, NLU)이 활용될 수도 있다.
음성 분석 모듈(1521)은 발화 데이터, 및 발화 데이터에 대응되는 동작들을 활용하여 사용자 인텐트를 결정할 수 있다. 또한, 음성 분석 모듈(1521)은 음성 입력 해석에 기초하여 결정되는 사용자 인텐트 결정 모델을 생성 또는 업데이트할 수 있다.
발화 데이터는, 컨텐츠 평가를 위하여 사용자가 발화하는 음성에 관련된 데이터로서, 사용자의 발화를 나타내는 데이터일 수 있다. 발화 데이터는 디스플레이 장치(1000)의 동작과 관련된 사용자의 의도를 해석하는데 이용되는 데이터일 수 있다. 발화 데이터는, 예를 들어, 텍스트 형식의 발화문 또는 NLU 모델의 출력 값의 형식을 가지는 발화 파라미터 중 적어도 하나를 포함할 수 있다. 발화 파라미터는, NLU 모델로부터 출력되는 데이터로서, 인텐트 및 파라미터를 포함할 수 있다. 인텐트는 NLU 모델을 이용하여 텍스트를 해석함으로써 결정되는 정보로서, 사용자의 발화 의도를 나타낼 수 있다. 인텐트는, 예를 들어, 사용자가 의도하는 디바이스의 동작을 나타내는 정보일 수 있다. 인텐트는, 사용자의 발화 의도를 나타내는 정보(이하, 의도 정보)뿐 아니라, 사용자의 의도를 나타내는 정보에 대응하는 수치 값을 포함할 수 있다. 수치 값은, 텍스트가 특정 의도를 나타내는 정보와 관련될 확률을 나타낼 수 있다. NLU 모델을 이용하여 텍스트를 해석한 결과, 사용자의 의도를 나타내는 정보가 복수 개 획득되는 경우, 각 의도 정보에 대응되는 수치 값이 최대인 의도 정보가 인텐트로 결정될 수 있다. 또한, 파라미터는 인텐트와 관련된 디바이스의 세부 동작들을 결정하기 위한 변수(variable) 정보일 수 있다. 파라미터는 인텐트와 관련된 정보이며, 하나의 인텐트에 복수 종류의 파라미터가 대응될 수 있다. 파라미터는 디바이스의 동작 정보를 결정하기 위한 변수 정보뿐만 아니라, 텍스트가 그 변수 정보와 관련될 확률을 나타내는 수치 값을 포함할 수 있다. 자연어 이해 모델을 이용하여 텍스트를 해석한 결과, 파라미터를 나타내는 변수 정보가 복수 개 획득될 수 있다. 이 경우, 각 변수 정보에 대응되는 수치 값이 최대인 변수 정보가 파라미터로 결정될 수 있다.
또한, 본 개시의 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 프로그램들 중 영상 분석 모듈(1522)의 적어도 하나의 명령어들을 실행함으로써, 오브젝트 추출 모듈(1510)에서 추출된 오브젝트들에 기초하여 레퍼런스 컨텐츠 또는 제출 컨텐츠에 포함되는 영상을 해석할 수 있다.
본 개시의 일 실시예에 따르면, 영상 분석 모듈(1522)은 사용자의 의도를 이해하기 위하여, 인공 지능 기술 및/또는 딥러닝 기반의 영상 분석 기술을 사용할 수 있다.
영상 분석 모듈(1522)은 디스플레이 장치(1000)에 디스플레이된 컨텐츠 및 적어도 하나의 외부 장치로부터 수신된 컨텐츠를 분석하여, 디스플레이 장치(1000)에 디스플레이된 컨텐츠 및 적어도 하나의 외부 장치로부터 수신된 컨텐츠에 포함되는 오브젝트를 추출하고 분석할 수 있다.
영상 분석 모듈(1522)은 영상 인식(image recognition)을 통해 영상에서 오브젝트(객체), 장소, 사람, 글씨, 및 이미지 등을 식별할 수 있으며, 영상 인식 결과에 기초하여 이미지를 분류하고, 오브젝트를 검출(detection)할 수 있다.
영상 분석 모듈(1522)은 분류 모델(classification model)을 이용하여 영상을 분류할 수 있다. 인공 지능 기술을 활용한 분류 모델은 판별 모델(discriminative model)과 생성 모델(generative model)을 포함할 수 있으며, 생성 모델은 클래스의 분포에 기초하여 입력 데이터로부터 결과가 도출될 확률을 계산한다.
영상 분석 모듈(1522)은 바운딩 박스를 이용하거나 그리드(grid)에 대한 클래스 확률 맵(class probability map)을 이용하여 오브젝트를 검출할 수 있으며, 영상 분석 모듈(1522)은 검출 대상 오브젝트의 좌표 및 크기를 획득할 수 있다.
영상에 하나의 오브젝트만 포함된 경우 오브젝트 추출은 분류 단계 및 위치 파악(localization) 단계를 포함할 수 있으며, 영상에 복수의 오브젝트가 포함된 경우 오브젝트 추출은 분류 단계, 오브젝트 검출 단계, 및 분할(segmentation) 단계가 포함될 수 있다.
분류는 한장의 이미지 중 가장 큰 비중을 차지하는 이미지 하나를 인식하여, 정의된 클래스에 따라 유형을 분류하는 것이다. 오브젝트 검출은 하나의 이미지에 여러 개의 오브젝트가 존재할 경우 각 오브젝트의 특성 및 클래스를 분류해 사각형의 박스 형태로 각 오브젝트의 유형 및 위치정보를 획득하는 것이다. 분할은 오브젝트 검출을 통해 검출된 오브젝트의 형상을 픽셀 단위로 정확한 형태로 디스플레이하는 것이다. 분할은 오브젝트의 외곽선을 추출하는 과정을 포함할 수 있다.
영상 분석 모듈(1522)은 디스플레이 장치(1000)에 디스플레이된 컨텐츠 및 적어도 하나의 외부 장치로부터 수신된 컨텐츠에 포함되는 오브젝트의 분석 결과에 기초하여 사용자 인텐트를 결정할 수 있다. 또한, 영상 분석 모듈(1522)은 오브젝트 분석에 기초하여 결정되는 사용자 인텐트 결정 모델을 생성 또는 업데이트할 수 있다.
영상 분석 모듈(1522)은 디스플레이 장치(1000)에 디스플레이된 컨텐츠 및 적어도 하나의 외부 장치로부터 수신된 컨텐츠에 포함되는 오브젝트 각각의 분류에 기초하여, 디스플레이 장치(1000)에 디스플레이된 컨텐츠 및 적어도 하나의 외부 장치로부터 수신된 컨텐츠에 포함되는 오브젝트 각각에 대한 적어도 하나의 카테고리를 결정할 수 있다. 적어도 하나의 카테고리는 서로 계층 관계(hierarchical relationship)를 가질 수 있다.
인텐트는 영상 분석 결과 획득된 오브젝트의 카테고리에 기초하여 결정되는 정보로서, 디스플레이 장치(1000)의 사용자(100)가 디스플레이 장치(1000)를 이용하는 목적 또는 적어도 하나의 외부 장치의 사용자에게 전달하려고 하는 내용이나 주제를 나타낼 수 있다.
예를 들어, 디스플레이 장치(1000)에 디스플레이된 컨텐츠 및 적어도 하나의 외부 장치로부터 수신된 컨텐츠에 포함된 오브젝트들을 검출하고, 오브젝트들의 분류에 기초하여, 가장 많은 오브젝트들이 속한 카테고리를 사용자 인텐트와 관련된 카테고리로 결정할 수 있다.
예를 들어, 디스플레이 장치(1000)에 디스플레이된 컨텐츠에 우주와 관련된 오브젝트들이 다수 포함되어 있는 경우, 영상 분석 모듈(1522)은 디스플레이 장치(1000)에 디스플레이된 컨텐츠에 포함된 오브젝트들의 카테고리를 ‘과학’으로, 하위 카테고리는 ‘지구과학’으로 결정할 수 있다. 또한, 특정 외부 장치로부터 수신된 컨텐츠에 원소와 관련된 오브젝트들이 다수 포함되어 있는 경우, 영상 분석 모듈(1522)은 해당 외부 장치로부터 수신된 컨텐츠에 포함된 오브젝트들의 카테고리를 ‘과학’으로, 하위 카테고리는 ‘화학’으로 결정할 수 있다.
본 개시의 일 실시예에 따르면, 음성 분석 모듈(1521) 또는 영상 분석 모듈(1522)은 별도의 서버에 포함될 수 있다.
음성 수신부(1310)에서 수신된 사용자 음성 입력의 음성 분석 결과에 기초하여 사용자 인텐트를 결정하는 구체적인 방법은, 도 3 내지 도 9에 대한 설명에서 서술한다. 또한, 오브젝트 추출 모듈(1510)에서 추출된 오브젝트들에 기초하여 레퍼런스 컨텐츠 또는 제출 컨텐츠에 포함되는 영상의 영상 분석 결과에 기초하여 사용자 인텐트를 결정하는 구체적인 방법은 도 10 내지 도 13에 대한 설명에서 서술한다.
본 개시의 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 프로그램들 중 컨텐츠 평가 모듈(1530)의 적어도 하나의 명령어들을 실행함으로써, 레퍼런스 데이터와 타겟 오브젝트의 비교 결과에 기초하여 제출 컨텐츠를 평가할 수 있다.
본 개시의 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 프로그램들 중 레퍼런스 데이터 획득 모듈(1531)의 적어도 하나의 명령어들을 실행함으로써, 인텐트 결정 모듈(1520)에서 결정된 사용자 인텐트에 기초하여 레퍼런스 데이터를 획득할 수 있다. 또한 본 개시의 일 실시예에서, 프로세서(1100)는 저장부(1500)에 저장된 프로그램들 중 타겟 오브젝트 결정 모듈(1532)의 적어도 하나의 명령어들을 실행함으로써, 레퍼런스 데이터 획득 모듈(1531)에서 결정된 레퍼런스 데이터와 비교될 타겟 오브젝트를 결정할 수 있다.
본 개시에 따른 각 실시예에서 레퍼런스 데이터를 획득하는 구체적인 방법 및 타겟 오브젝트를 결정하는 구체적인 방법은 도 3 내지 도 13에 대한 설명에서 서술한다.
도 3은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 동작 흐름도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하기 위한 시스템은, 디스플레이 장치(1000), 및 적어도 하나의 외부 장치(200-1 내지 200-N)를 포함할 수 있다.
도 3에 도시된 외부 장치의 컨텐츠를 평가하는 시스템은 도 1 및 도 2를 참조하여 전술한 시스템 및 장치의 아키텍처와 많은 면에서 유사할 수 있으며, 위에 언급되지 않은 추가 기능이 포함될 수 있다. 전술한 시스템 및 장치의 구성 요소에 대한 일부 설명은 생략되거나 간결하게 기재될 수 있다. 디스플레이 장치(1000)는 시각적인 정보를 전달할 수 있도록 동작하는 장치를 의미하며, 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)로 소정의 컨텐츠를 전송하거나, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 소정의 컨텐츠를 수신할 수 있다. 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 수신된 소정의 컨텐츠를 평가할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 디스플레이 장치(1000)와 네트워크(300-1 내지 300-N)를 통해 연결되어 있다. 결과적으로 적어도 하나의 외부 장치(200-1 내지 200-N)는 네트워크(300-1 내지 300-N)를 통해 디스플레이 장치(1000)로부터 소정의 컨텐츠를 수신할 수 있다. 다른 실시예에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 적어도 하나의 외부 장치(200-1 내지 200-N)의 외부 사용자에게 소정의 컨텐츠를 제공하거나, 디스플레이 장치(1000)로 소정의 컨텐츠를 전송하도록 동작할 수 있다.
디스플레이 장치(1000)와 적어도 하나의 외부 장치(200-1 내지 200-N)는 각각 네트워크(미도시)로 연결되어 있다.
동작 301에서, 디스플레이 장치(1000)는 디스플레이 장치 사용자의 음성 입력을 획득할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000) 사용자의 음성은 디스플레이 장치(1000)의 입력부(1300, 예를 들어, 음성 수신부 1310)를 통해 수신될 수 있다. 본 개시의 일 실시예에 따르면, 사용자의 음성 입력은 디스플레이 장치(1000)에 입력되는 복수의 사용자 음성 입력 중에서, 화자 인식을 통해 인식된 디스플레이 장치 사용자의 음성일 수 있다.
화자 인식 동작은 수신된 음성을 분석하여 사용자를 구별하고, 미리 저장된 사용자의 음성 정보와 비교하여 화자를 인식 동작을 포함할 수 있다. 다수의 사용자가 발화하는 교실 또는 회의실과 같은 환경에서, 동시에 다수의 사용자의 음성이 수신되는 경우, 디스플레이 장치(1000)는 수신된 음성 중 화자 인식을 통해 인식된 디스플레이 장치 사용자의 음성만을 이용할 수 있다.
동작 302에서, 디스플레이 장치(1000)는 사용자 음성 입력 해석 결과에 기초하여 사용자 인텐트를 판단할 수 있다.
본 개시의 일 실시예에 따르면, 수신된 사용자 음성 입력은 디스플레이 장치(1000)의 음성 분석 모듈(1522) 또는 외부 서버(미도시)를 이용하여 해석될 수 있다.
인텐트는 NLU 모델을 이용하여 음성 입력에 대응되는 텍스트를 해석함으로써 결정되는 정보로서, 음성 입력의 발화 의도를 나타낼 수 있다.
사용자 인텐트는 오브젝트 인식을 이용하여 컨텐츠에 포함되는 오브젝트를 해석함으로써 결정되는 정보로서, 디스플레이 장치(1000)의 사용자(100)가 디스플레이 장치(1000)를 이용하는 목적 또는 적어도 하나의 외부 장치의 사용자에게 전달하려고 하는 내용이나 주제를 나타낼 수 있다.
본 개시의 일 실시예에 따르면, 사용자 인텐트는, 디스플레이 장치(1000) 사용자가 의도하는 디스플레이 장치의 동작 또는 외부 장치의 동작을 나타내는 정보일 수 있다. 본 개시의 일 실시예에 따르면, 사용자 인텐트는 사용자 음성에 포함된 의도, 지시의 포함 여부, 지시의 종류, 및 컨텐츠의 주제 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 음성 입력을 수신하고 이를 실시간으로 분석하여, 음성 분석 결과 사용자의 음성 입력에 소정의 지시(예를 들어, 지시어, 제안, 요구어 등)가 포함되지 않는 것으로 판단되면 대기 상태를 유지하고 사용자의 음성 입력에 소정의 지시가 포함되는 것으로 판단되면 이후 동작을 수행하도록 구성될 수 있다.
동작 303에서, 디스플레이 장치(1000)는 사용자 인텐트에 기초하여 레퍼런스 데이터를 획득할 수 있다.
예를 들어, 사용자 인텐트가 적어도 하나의 외부 장치(200-1 내지 200-N)로 레퍼런스 컨텐츠를 공유하고, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 대응되는 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 디스플레이 장치(1000)는 레퍼런스 컨텐츠에서 추출된 오브젝트 중 정답 오브젝트를 레퍼런스 데이터로 결정할 수 있다.
이와 같은 경우 레퍼런스 컨텐츠는, 디스플레이 장치(1000)가 적어도 하나의 외부 장치(200-1 내지 200-N)로 공유한 컨텐츠로, 디스플레이 장치(1000)는 동작 304 이전에 레퍼런스 컨텐츠를 적어도 하나의 외부 장치(200-1 내지 200-N)로 전송한다.
다른 예로, 사용자 인텐트가 레퍼런스 컨텐츠 없이 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 수신된 제출 컨텐츠를 평가하는 것이라면, 디스플레이 장치(1000)는 사용자의 음성 입력에 포함된 키워드에 기초하여 결정된 소정의 카테고리에 포함되는 데이터를 레퍼런스 데이터로 결정할 수 있다. 이 때, 레퍼런스 데이터는 데이터베이스에 포함되는 데이터들 중, 선택될 수 있으며, 데이터 베이스는 디스플레이 장치(1000) 또는 외부 서버(미도시)에 위치할 수 있다.
동작 304에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N)를 생성할 수 있다.
동작 304-1에서, 제1 외부 장치(200-1)는 디스플레이 장치(1000) 사용자의 음성 발화에 대응한 제1 외부 장치(200-1) 사용자의 입력에 기초하여 제출 컨텐츠1을 생성할 수 있다.
동작 304-N에서, 제N 외부 장치(200-N)는 디스플레이 장치(1000) 사용자의 음성 발화에 대응한 제N 외부 장치(200-N) 사용자의 입력에 기초하여 제출 컨텐츠N을 생성할 수 있다.
예를 들어, 사용자 인텐트가 적어도 하나의 외부 장치(200-1 내지 200-N)로 레퍼런스 컨텐츠를 공유하고, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 대응되는 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N)는 레퍼런스 컨텐츠에 소정의 입력이 추가된 컨텐츠일 수 있다.
다른 예를 들어, 사용자 인텐트가 레퍼런스 컨텐츠 없이 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 수신된 제출 컨텐츠를 평가하는 것이라면, 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N)는 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N)는 외부 장치(200-1 내지 200-N) 사용자의 입력 그 자체가 될 수 있다.
동작 305에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 제출 컨텐츠를 디스플레이 장치(1000)로 전송할 수 있다.
본 개시의 일 실시예에 따르면, 동작 305-1에서 제1 외부 장치는 제출 컨텐츠1을 디스플레이 장치(1000)로 전송하고, 동작 305-N에서 제N 외부 장치는 제출 컨텐츠N을 디스플레이 장치(1000)로 전송할 수 있다.
동작 306에서, 디스플레이 장치(1000)는 제출 컨텐츠에 포함되는 오브젝트들 중, 레퍼런스 데이터와 비교할 적어도 하나의 타겟 오브젝트를 결정할 수 있다.
예를 들어, 사용자 인텐트가 적어도 하나의 외부 장치(200-1 내지 200-N)로 레퍼런스 컨텐츠를 공유하고, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 대응되는 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 타겟 오브젝트는 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N) 각각에 포함된 오브젝트 중, 사용자 입력이 추가된 오브젝트일 수 있다.
다른 예를 들어, 사용자 인텐트가 레퍼런스 컨텐츠 없이 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 수신된 제출 컨텐츠를 평가하는 것이라면, 타겟 오브젝트는 제출 컨텐츠에 포함된 오브젝트 전체일 수 있다.
동작 307에서, 디스플레이 장치(1000)는 레퍼런스 데이터와 적어도 하나의 타겟 오브젝트를 비교하여, 수신된 제출 컨텐츠 각각을 평가할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 컨텐츠 평가에 대한 정보를 적어도 하나의 외부 장치(200-1 내지 200-N) 중 적어도 하나로 전달할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터의 비교 결과에 대한 점수를 획득하고, 비교 결과에 대한 점수가 소정의 임계값 이하인 경우 컨텐츠 평가에 대한 정보를 적어도 하나의 외부 장치(200-1 내지 200-N) 중 적어도 하나로 전달할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000) 또는 적어도 하나의 외부 장치(200-1 내지 200-N)는 컨텐츠 평가에 대한 정보를 디스플레이부(1410)에 디스플레이하여 각 장치의 사용자가 컨텐츠 평가 결과를 확인하도록 할 수 있다.
도 4는 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법을 나타내는 도면이다.
도 4를 참조하면, 디스플레이 장치(1000)의 사용자는, 적어도 하나의 외부 장치(200-1 내지 200-N)의 사용자에게 소정의 지시를 포함하는 음성을 발화하고, 디스플레이 장치(1000)를 이용하여 레퍼런스 컨텐츠(400)를 공유할 수 있다.
예를 들어, 디스플레이 장치(1000)의 사용자인 교사가 “화면 중 행성에 해당하는 것에 동그라미해서 결과물을 공유해 주세요.”라는 음성을 발화한 경우, 디스플레이 장치(1000)의 음성 수신부(1310)는 디스플레이 장치(1000) 사용자의 음성 입력을 획득할 수 있다. 이 때, 레퍼런스 컨텐츠(400)는 행성에 해당하는 오브젝트를 포함하는 이미지일 수 있다.
음성 입력을 획득한 디스플레이 장치(1000)는, 인텐트 결정 모듈(1520)의 음성 분석 모듈(1521)을 이용하여 획득된 사용자 음성 입력을 해석할 수 있다. 다른 실시예에 따르면, 디스플레이 장치(1000)는 획득된 음성 입력을 외부 서버로 전달하고, 외부 서버로부터 음성 입력 해석 결과를 획득할 수 있다.
인텐트 결정 모듈(1520)는 음성 입력 해석 결과에 기초하여 사용자 인텐트를 결정할 수 있다. 인텐트는 NLU 모델을 이용하여 음성 입력에 대응되는 텍스트를 해석함으로써 결정되는 정보로서, 음성 입력의 발화 의도를 나타낼 수 있다.
사용자 인텐트는 디스플레이 장치(1000)의 동작 및/또는 외부 장치(200-1 내지 200-N)의 동작과 같이 디스플레이 장치(1000) 사용자가 의도하는 동작을 나타내는 정보일 수 있다. 본 개시의 일 실시예에 따르면, 사용자 인텐트는 사용자 음성에 포함된 발화 의도, 지시의 포함 여부, 지시의 종류, 및 컨텐츠의 주제 중 적어도 하나를 포함할 수 있다.
도 4에 도시된 실시예에서, 디스플레이 장치(1000) 사용자의 인텐트는 적어도 하나의 외부 장치(200-1 내지 200-N) 사용자인 학생들이, 디스플레이 장치(1000)로부터 공유되는 레퍼런스 컨텐츠(400)에 포함되는 복수의 오브젝트 중 ‘행성’에 해당하는 오브젝트에 ‘동그라미’한 결과물인, ‘제출 컨텐츠1 내지 제출 컨텐츠N’을 ‘수신’하여 ‘평가’하는 것이다.
다시 말해, 사용자 음성에 포함된 발화 의도는, ‘제출 컨텐츠1 내지 제출 컨텐츠N’을 ‘수신’하여 ‘평가’하는 것이고, 사용자 음성에는 디스플레이 장치(1000)로부터 공유되는 레퍼런스 컨텐츠(400)에 ‘표시’하여 ‘제출(공유)’하는 취지의 지시가 ‘포함’된다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 사용자 음성 입력을 모니터링 할 수 있고, 소정의 주기마다 사용자 인텐트를 업데이트 할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 사용자 음성 입력에 소정의 키워드가 포함된 경우, 사용자 음성 입력을 해석하도록 동작할 수 있다.
도 4에 도시된 실시예에서, 디스플레이 장치(1000)는, 사용자 발화 음성에 포함된 지시어, 즉 ‘해주세요’라는 음성 입력을 트리거로 하여, 모니터링 중이던 사용자 음성 입력 해석을 시작할 수 있다. 이 때, 디스플레이 장치(1000)는 지시어가 수신된 시간을 기준으로 그 이전 소정의 시간부터 지시어가 수신된 시간까지의 음성 입력을 해석하여 사용자 인텐트를 결정할 수 있다. 예를 들어, 모니터링 시간이 10초이고 디스플레이 장치 사용자의 지시어가 12:05:30에 수신되었다면, 디스플레이 장치(1000)는 12:05:20부터 12:05:30까지의 사용자 음성 입력을 해석하여 사용자 인텐트를 결정할 수 있다. 모니터링 시간은 디스플레이 장치(1000)에 설정된 값이거나 디스플레이 장치(1000)의 사용자가 설정한 값일 수 있다.
도 5는 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 동작 흐름도이다.
도 5를 참조하면, 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하기 위한 시스템은, 디스플레이 장치(1000), 및 적어도 하나의 외부 장치(200-1 내지 200-N)를 포함할 수 있다.
도 5에 도시된 외부 장치의 컨텐츠를 평가하는 시스템은 도 1 내지 도 3을 참조하여 전술한 시스템 및 장치의 아키텍처와 많은 면에서 유사할 수 있으며, 위에 언급되지 않은 추가 기능이 포함될 수 있다. 전술한 시스템 및 장치의 구성 요소에 대한 일부 설명은 생략되거나 간결하게 기재될 수 있다.동작 501에서, 디스플레이 장치(1000)는 레퍼런스 컨텐츠를 획득할 수 있다.
동작 502에서, 디스플레이 장치(1000)는 레퍼런스 컨텐츠(500-1 내지 500-N)를 적어도 하나의 외부 장치(200-1 내지 200-N)로 전송(예를 들어, 공유)할 수 있다.
동작 503에서, 디스플레이 장치(1000)는 디스플레이 장치 사용자의 음성 입력을 획득할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000) 사용자(100)의 음성은 디스플레이 장치(1000)의 입력부를 통해 수신될 수 있다. 본 개시의 일 실시예에 따르면, 사용자(100)의 음성 입력은 디스플레이 장치(1000)에 입력되는 복수의 사용자 음성 입력 중에서, 화자 인식을 통해 인식된 디스플레이 장치 사용자의 음성일 수 있다.
동작 504에서, 디스플레이 장치(1000)는 사용자 음성 입력 해석 결과에 기초하여 사용자 인텐트를 판단할 수 있다.
본 개시의 일 실시예에 따르면, 수신된 사용자 음성 입력은 디스플레이 장치(1000)의 음성 분석 모듈 또는 외부 서버를 이용하여 해석될 수 있다. 인텐트는 NLU 모델을 이용하여 음성 입력에 대응되는 텍스트를 해석함으로써 결정되는 정보로서, 음성 입력의 발화 의도를 나타낼 수 있다.
도 4를 참조하면, 디스플레이 장치(1000)의 사용자의 음성 입력 해석 결과, 레퍼런스 컨텐츠에 포함되는 오브젝트들 중 ‘행성’에 해당하는 것에 ‘동그라미’된 결과물의 ‘공유’를 ‘지시’했다면, 사용자 인텐트를 결정하기 위한 주요 정보는 ‘행성’, ‘동그라미’, ‘공유’, ‘지시’일 수 있다.
도 5를 참조하면, 동작 505에서, 디스플레이 장치(1000)는 사용자 인텐트에 기초하여 레퍼런스 데이터를 획득할 수 있다.
예를 들어, 사용자 인텐트가 적어도 하나의 외부 장치(200-1 내지 200-N)로 레퍼런스 컨텐츠를 공유하고, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 대응되는 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 디스플레이 장치(1000)는 레퍼런스 컨텐츠에서 추출된 오브젝트 중 정답 오브젝트를 레퍼런스 데이터로 결정할 수 있다.
도 4를 참조하면, 레퍼런스 컨텐츠는 16개의 오브젝트를 포함하고, 전자 장치는 레퍼런스 컨텐츠에 포함되는 16개의 오브젝트 중 9개의 오브젝트를 사용자 인텐트에 기초하여 9개의 정답 오브젝트들이 레퍼런스 데이터로 결정할 수 있다. 이 때, 정답 오브젝트들은 ‘수성(Mercury)’, ‘금성(Venus)’, ‘지구(Earth)’, ‘화성(Mars)’, ‘목성(Jupiter)’, ‘토성(Saturn)’, ‘천왕성(Uranus)’, ‘해왕성(Neptune)’, 및 ‘명왕성(Pluto)’ 에 해당한다.
도 5를 참조하면, 동작 506에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 제출 컨텐츠(제출 컨텐츠 507-1 내지 제출 컨텐츠 507-N)를 생성할 수 있다.
적어도 하나의 외부 장치(200-1 내지 200-N) 각각은, 디스플레이 사용자의 음성 발화에 대응한 적어도 하나의 외부 장치(200-1 내지 200-N) 사용자의 입력에 기초하여 제출 컨텐츠(제출 컨텐츠 507-1 내지 제출 컨텐츠 507-N)를 생성할 수 있다.
예를 들어, 사용자 인텐트가 적어도 하나의 외부 장치(200-1 내지 200-N)로 레퍼런스 컨텐츠를 공유하고, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 대응되는 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 제출 컨텐츠(제출 컨텐츠 507-1 내지 제출 컨텐츠 507-N)는 레퍼런스 컨텐츠에 소정의 입력이 추가된 컨텐츠일 수 있다.
동작 507에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 제출 컨텐츠를 디스플레이 장치(1000)로 전송할 수 있다.
동작 508에서, 디스플레이 장치(1000)는 제출 컨텐츠(제출 컨텐츠 507-1 내지 제출 컨텐츠 507-N)에 포함되는 오브젝트들 중, 레퍼런스 데이터와 비교할 적어도 하나의 타겟 오브젝트를 결정할 수 있다.
예를 들어, 사용자 인텐트가 적어도 하나의 외부 장치(200-1 내지 200-N)로 레퍼런스 컨텐츠를 공유하고, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 대응되는 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 타겟 오브젝트는 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N) 각각에 포함된 오브젝트 중, 사용자 입력이 추가된 오브젝트일 수 있다.
본 개시의 일 실시예에 따르면, 소정의 입력은 사용자 인텐트에 기초하여 결정될 수 있다. 예를 들어, 디스플레이 장치(1000) 사용자가 표시 방법으로 ‘동그라미’를 의도하였다면, 디스플레이 장치(1000)는 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N) 각각에 포함된 오브젝트 중 사용자 입력으로 ‘동그라미’가 추가된 오브젝트를 타겟 오브젝트로 결정할 수 있다.
도 4를 참조하면, 제1 외부 장치의 타겟 오브젝트는 제출 데이터 500-1에 포함된 오브젝트 중 동그라미가 입력된 ‘수성(Mercury)’, ‘금성(Venus)’, ‘지구(Earth)’, ‘화성(Mars)’, ‘목성(Jupiter)’, ‘토성(Saturn)’, ‘천왕성(Uranus)’, ‘해왕성(Neptune)’, 및 ‘명왕성(Pluto)’로 모두 9개의 오브젝트를 포함할 수 있다. 또한, 제N 외부 장치의 타겟 오브젝트는 제출 데이터 500-N에 포함된 오브젝트 중 동그라미가 입력된 ‘수성(Mercury)’, ‘금성(Venus)’, ‘지구(Earth)’, ‘화성(Mars)’, ‘목성(Jupiter)’, ‘토성(Saturn)’, ‘천왕성(Uranus)’, ‘해왕성(Neptune)’, ‘명왕성(Pluto)’, 및 ‘달(Moon)’로 모두 10개의 오브젝트를 포함할 수 있다. 본 개시의 실시예에서, 도 4의 제출 데이터(500-1)는 도 5의 제출 컨텐츠(507-1)에 해당할 수 있고, 도 4의 제출 데이터(500-N)는 도 5의 제출 컨텐츠(507-N)에 대응할 수 있다. 5.
도 5를 참조하면, 동작 509에서, 디스플레이 장치(1000)는 레퍼런스 데이터와 적어도 하나의 타겟 오브젝트를 비교하여, 수신된 제출 컨텐츠 각각을 평가할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 컨텐츠 평가에 대한 정보를 적어도 하나의 외부 장치(200-1 내지 200-N) 중 적어도 하나로 피드백할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터의 비교 결과에 대한 점수를 획득하고, 비교 결과에 대한 점수가 소정의 임계값 이하인 경우 컨텐츠 평가에 대한 정보를 적어도 하나의 외부 장치(200-1 내지 200-N) 중 적어도 하나로 피드백할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 디스플레이 장치의 출력부(1400)에 컨텐츠 평가에 대한 정보를 출력할 수 있다. 예를 들어, 디스플레이 장치(1000) 는 컨텐츠 평가에 대한 정보를 디스플레이 장치의 디스플레이부(1410)에 디스플레이할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터의 비교 결과에 대한 점수를 획득하고, 비교 결과에 대한 점수가 소정의 임계값 이하인 경우 컨텐츠 평가에 대한 정보를 디스플레이 장치의 디스플레이부(1410)에 디스플레이할 수 있다.
도 6은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 순서도이다.
도 6을 참조하면, 본 개시의 일 실시예에 따른 디스플레이 장치(1000)는 시각적인 정보를 전달할 수 있도록 동작하는 장치를 의미하며, 디스플레이 장치(1000)는 네트워크(300)로 연결된 외부 장치(200)로 소정의 컨텐츠를 전송하거나, 외부 장치(200)로부터 소정의 컨텐츠를 수신할 수 있다. 디스플레이 장치(1000)는 외부 장치(200)로부터 수신된 소정의 컨텐츠를 평가할 수 있다.
도 6에 도시된 외부 장치의 컨텐츠를 평가하는 시스템은 도 1 내지 도 5를 참조하여 전술한 시스템 및 장치의 아키텍처와 많은 면에서 유사할 수 있으며, 위에 언급되지 않은 추가 기능이 포함될 수 있다. 전술한 시스템 및 장치의 구성 요소에 대한 일부 설명은 생략되거나 간결하게 기재될 수 있다.
동작 601에서, 디스플레이 장치(1000)는 디스플레이 장치 사용자의 음성 입력을 획득할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000) 사용자의 음성은 디스플레이 장치(1000)의 입력부(1300)를 통해 수신될 수 있다. 본 개시의 일 실시예에 따르면, 사용자의 음성 입력은 디스플레이 장치(1000)에 입력되는 복수의 사용자 음성 입력 중에서, 화자 인식을 통해 인식된 디스플레이 장치 사용자의 음성일 수 있다.
동작 602에서, 디스플레이 장치(1000)는 사용자 음성 입력 해석 결과에 기초하여 사용자 인텐트를 판단할 수 있다.
본 개시의 일 실시예에 따르면, 수신된 사용자 음성 입력은 디스플레이 장치(1000)의 음성 분석 모듈(1522) 또는 외부 서버(미도시)를 이용하여 해석될 수 있다. 인텐트는 NLU 모델을 이용하여 음성 입력에 대응되는 텍스트를 해석함으로써 결정되는 정보로서, 음성 입력의 발화 의도를 나타낼 수 있다.
본 개시의 일 실시예에 따르면, 사용자 인텐트는, 디스플레이 장치(1000)의 동작 및/또는 외부 장치(200-1 내지 200-N)의 동작과 같이 디스플레이 장치(1000) 사용자가 의도하는 동작 또는 외부 장치의 동작을 나타내는 정보일 수 있다. 본 개시의 일 실시예에 따르면, 사용자 인텐트는 사용자 음성에 포함된 의도, 지시의 포함 여부, 지시의 종류, 및 컨텐츠의 주제 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 음성 입력을 수신하고 이를 실시간으로 분석하여, 음성 분석 결과 사용자의 음성 입력에 소정의 지시(예를 들어, 지시어, 제안, 요구어 등)가 포함되지 않는 것으로 판단되면 대기 상태를 유지하고 사용자의 음성 입력에 소정의 지시가 포함되는 것으로 판단되면 이후 동작을 수행하도록 구성될 수 있다.
동작 603에서, 디스플레이 장치(1000)는 사용자 인텐트에 기초하여 레퍼런스 데이터를 획득할 수 있다.
본 개시의 일 실시예에 따르면, 사용자 인텐트가 외부 장치로 레퍼런스 컨텐츠를 공유하고, 외부 장치로부터 대응되는 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 디스플레이 장치(1000)는 레퍼런스 컨텐츠에서 추출된 오브젝트 중 정답 오브젝트를 레퍼런스 데이터로 결정할 수 있다.
이와 같은 경우 레퍼런스 컨텐츠는, 디스플레이 장치(1000)가 외부 장치로 공유한 컨텐츠로, 디스플레이 장치(1000)는 외부 장치가 제출 컨텐츠(예를 들어, 도 5의 제출 컨텐츠 507-1 내지 제출 컨텐츠 507-N)를 생성하기 이전에 레퍼런스 컨텐츠를 외부 장치로 전송한다.
동작 604에서, 디스플레이 장치(1000)는 디스플레이 장치(1000)와 연결된 외부 장치로부터 제출 컨텐츠를 획득할 수 있다.
본 개시의 일 실시예에 따르면, 외부 장치는 제출 컨텐츠를 디스플레이 장치(1000)로 전송하고, 디스플레이 장치(1000)는 외부 장치로부터 제출 컨텐츠를 수신할 수 있다.
본 개시의 일 실시예에 따르면, 사용자 인텐트가 외부 장치로 레퍼런스 컨텐츠를 공유하고, 외부 장치로부터 대응되는 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 제출 컨텐츠는 레퍼런스 컨텐츠에 소정의 입력이 추가된 컨텐츠일 수 있다.
동작 605에서, 디스플레이 장치(1000)는 제출 컨텐츠에 포함되는 오브젝트들 중, 레퍼런스 데이터와 비교할 적어도 하나의 타겟 오브젝트를 결정할 수 있다.
예를 들어, 사용자 인텐트가 외부 장치(200)로 레퍼런스 컨텐츠를 공유하고, 외부 장치로부터 대응되는 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 타겟 오브젝트는 제출 컨텐츠에 포함된 오브젝트 중, 사용자 입력이 추가된 오브젝트일 수 있다.
동작 606에서, 디스플레이 장치(1000)는 레퍼런스 데이터와 적어도 하나의 타겟 오브젝트를 비교하여, 수신된 제출 컨텐츠를 평가할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 컨텐츠 평가에 대한 정보를 외부 장치로 전달할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터의 비교 결과에 대한 점수를 획득하고, 비교 결과에 대한 점수가 소정의 임계값 이하인 경우 컨텐츠 평가에 대한 정보를 외부 장치로 전달할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000) 또는 외부 장치는 컨텐츠 평가에 대한 정보를 디스플레이부(1410)에 디스플레이하여 각 외부 장치의 사용자가 컨텐츠 평가 결과를 확인하도록 할 수 있다.
도 7은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법을 나타내는 도면이다.
도 7에 도시된 외부 장치의 컨텐츠를 평가하는 방법의 예시는 도 4를 참조하여 전술한 예시적인 방법과 많은 면에서 유사할 수 있으며, 위에 언급되지 않은 추가 기능이 포함될 수 있다. 전술한 방법의 구성 요소에 대한 일부 설명은 생략되거나 간결하게 기재될 수 있다.
도 7을 참조하면, 디스플레이 장치(1000)의 사용자는, 적어도 하나의 외부 장치(200-1 내지 200-N)의 사용자에게 소정의 지시를 포함하는 음성을 발화할 수 있다.
예를 들어, 디스플레이 장치(1000)의 사용자인 교사가 “가을 풍경을 그려보세요.”라는 음성을 발화한 경우, 디스플레이 장치(1000)의 음성 수신부(1310)는 디스플레이 장치(1000) 사용자의 음성 입력을 획득할 수 있다.
음성 입력을 획득한 디스플레이 장치(1000)는, 인텐트 결정 모듈(1520)의 음성 분석 모듈(1521)을 이용하여 획득된 사용자 음성 입력을 해석할 수 있다. 다른 실시예에 따르면, 디스플레이 장치(1000)는 획득된 음성 입력을 외부 서버로 전달하고, 외부 서버로부터 음성 입력 해석 결과를 획득할 수 있다. 인텐트 결정 모듈(1520)는 음성 입력 해석 결과에 기초하여 사용자 인텐트를 결정할 수 있다.
도 7에 도시된 실시예에서, 디스플레이 장치(1000) 사용자의 인텐트는 적어도 하나의 외부 장치(200-1 내지 200-N) 사용자인 학생들이, ‘가을 풍경’에 대한 ‘그림’인 ‘제출 컨텐츠1 내지 제출 컨텐츠N’을 ‘수신’하여 ‘평가’하는 것이다. 다시 말해, 사용자 음성에 포함된 발화 의도는, ‘제출 컨텐츠1 내지 제출 컨텐츠N’을 ‘수신’하여 ‘평가’하는 것이고, 사용자 음성에는 ‘가을 풍경’을 ‘그려’ ‘제출(공유)’하는 취지의 지시가 ‘포함’된다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 사용자 음성 입력을 모니터링 할 수 있고, 소정의 주기마다 사용자 인텐트를 업데이트 할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 사용자 음성 입력에 소정의 키워드가 포함된 경우, 사용자 음성 입력을 해석하도록 동작할 수 있다.
도 7에 도시된 실시예에서, 디스플레이 장치(1000)는, 사용자 발화 음성에 포함된 지시어, 즉 ‘그려보세요’라는 음성 입력을 트리거로 하여, 모니터링 중이던 사용자 음성 입력 해석을 시작할 수 있다.
도 8은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 동작 흐름도이다.
도 8을 참조하면, 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하기 위한 시스템은, 디스플레이 장치(1000), 및 적어도 하나의 외부 장치(200-1 내지 200-N)를 포함할 수 있다.
도 8에 도시된 외부 장치의 컨텐츠를 평가하는 시스템은 도 1 내지 도 6을 참조하여 전술한 시스템 및 장치의 아키텍처와 많은 면에서 유사할 수 있으며, 위에 언급되지 않은 추가 기능이 포함될 수 있다. 전술한 시스템 및 장치의 구성 요소에 대한 일부 설명은 생략되거나 간결하게 기재될 수 있다.
동작 801에서, 디스플레이 장치(1000)는 디스플레이 장치 사용자의 음성 입력을 획득할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치 사용자의 음성은 디스플레이 장치(1000)의 입력부(1300), 예를 들어, 음성 수신부 1310),를 통해 수신될 수 있다. 본 개시의 일 실시예에 따르면, 사용자의 음성 입력은 디스플레이 장치(1000)에 입력되는 복수의 사용자 음성 입력 중에서, 화자 인식을 통해 인식된 디스플레이 장치 사용자의 음성일 수 있다.
동작 802에서, 디스플레이 장치(1000)는 사용자 음성 입력 해석 결과에 기초하여 사용자 인텐트를 판단할 수 있다.
본 개시의 일 실시예에 따르면, 수신된 사용자 음성 입력은 디스플레이 장치(1000)의 음성 분석 모듈 또는 외부 서버를 이용하여 해석될 수 있다. 사용자 인텐트는 NLU 모델을 이용하여 음성 입력에 대응되는 텍스트를 해석함으로써 결정되는 정보로서, 음성 입력의 발화 의도를 나타낼 수 있다.
도 7을 참조하면, 디스플레이 장치(1000)의 사용자의 음성 입력 해석 결과, ‘가을’, ‘풍경’을 ‘그릴 것’을 ‘지시’했다면, 사용자 인텐트를 결정하기 위한 주요 정보는 ‘가을’, ‘풍경’, ‘그림’, ‘지시’일 수 있다.
도 8을 참조하면, 동작 803에서, 디스플레이 장치(1000)는 사용자 인텐트에 기초하여 레퍼런스 카테고리를 결정할 수 있다.
도 7을 참조하면, 사용자 인텐트를 결정하기 위한 주요 정보는 ‘가을’, ‘풍경’, ‘그림’, ‘지시’이고, 이 중 ‘가을’, ‘풍경’, 및 ‘그림’에 대응되는 카테고리가 레퍼런스 카테고리로 결정될 수 있다. 이 때, 레퍼런스 카테고리는 소정의 데이터베이스(DB)에 포함되는 데이터들의 분류 카테고리에 따라 달라질 수 있으며, 소정의 데이터베이스(DB)는 디스플레이 장치(1000) 외부에 존재할 수 있다.
도 8을 참조하면, 동작 804에서, 디스플레이 장치(1000)는 DB 데이터 중 레퍼런스 카테고리에 포함되는 데이터를 레퍼런스 데이터로 결정할 수 있다.
도 7을 참조하면, ‘가을’ 및 ‘풍경’에 대응되는 카테고리가 레퍼런스 카테고리로 결정되었으므로, 디스플레이 장치(1000)는 DB 데이터 중 ‘가을’ 카테고리로 분류된 이미지(그림) 및 ‘풍경’ 카테고리로 분류된 이미지(그림)를 레퍼런스 데이터로 결정할 수 있다.
도 8을 참조하면, 동작 805에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N)를 생성할 수 있다.
적어도 하나의 외부 장치(200-1 내지 200-N) 각각은, 디스플레이 사용자의 음성 발화에 대응한 적어도 하나의 외부 장치(200-1 내지 200-N) 사용자의 입력에 기초하여 제출 컨텐츠(제출 컨텐츠 806-1 내지 제출 컨텐츠 806-N)를 생성할 수 있다.
동작 806에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 제출 컨텐츠(제출 컨텐츠 806-1 내지 제출 컨텐츠 806-N)를 디스플레이 장치(1000)로 전송할 수 있다.
도 7을 참조하면, 사용자 인텐트가 ‘가을’ ‘풍경’에 대한 그림인 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 제출 컨텐츠(제출 컨텐츠 806-1 내지 제출 컨텐츠 806-N)는 적어도 하나의 외부 장치(200-1 내지 200-N) 사용자가 자유롭게 그린 ‘가을 풍경 그림’일 수 있다.
도 8을 참조하면, 동작 807에서, 디스플레이 장치(1000)는 제출 컨텐츠(305)에 포함되는 오브젝트들 중, 레퍼런스 데이터와 비교할 적어도 하나의 타겟 오브젝트를 결정할 수 있다.
도 7을 참조하면, 사용자 인텐트가 ‘가을’ ‘풍경’에 대한 그림인 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 타겟 오브젝트는 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N)는 적어도 하나의 외부 장치(200-1 내지 200-N) 사용자가 자유롭게 그린 ‘가을 풍경 그림’ 각각에 포함된 오브젝트 중, ‘그림’에 해당하는 오브젝트일 수 있다.
도 8을 참조하면, 디스플레이 장치(1000)는 레퍼런스 데이터와 적어도 하나의 타겟 오브젝트를 비교하여, 수신된 제출 컨텐츠 각각을 평가할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 컨텐츠 평가에 대한 정보를 적어도 하나의 외부 장치(200-1 내지 200-N) 중 적어도 하나로 피드백할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터의 비교 결과에 대한 점수를 획득하고, 비교 결과에 대한 점수가 소정의 임계값 이하인 경우 컨텐츠 평가에 대한 정보를 적어도 하나의 외부 장치(200-1 내지 200-N) 중 적어도 하나로 피드백할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 컨텐츠 평가에 대한 정보를 디스플레이 장치(1000)의 출력부(1400)에 출력할 수 있다. 예를 들어, 디스플레이 장치(1000)는 컨텐츠 평가에 대한 정보를 디스플레이부(1410)에 디스플레이할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 적어도 하나의 타겟 오브젝트와 레퍼런스 데이터의 비교 결과에 대한 점수를 획득하고, 비교 결과에 대한 점수가 소정의 임계값 이하인 경우 컨텐츠 평가에 대한 정보를 디스플레이 장치의 디스플레이부(1410)에 디스플레이할 수 있다.
도 9는 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 순서도이다.
도 9를 참조하면, 본 개시의 일 실시예에 따른 디스플레이 장치(1000)는 시각적인 정보를 전달할 수 있도록 구성된 장치를 의미하며, 디스플레이 장치(1000)는 네트워크(300)로 연결된 외부 장치(200)로 소정의 컨텐츠를 전송하거나, 외부 장치(200)로부터 소정의 컨텐츠를 수신할 수 있다. 디스플레이 장치(1000)는 외부 장치(200)로부터 수신된 소정의 컨텐츠를 평가할 수 있다.
도 9에 도시된 외부 장치의 컨텐츠를 평가하는 시스템은 도 1 내지 도 8을 참조하여 전술한 시스템 및 장치의 아키텍처와 많은 면에서 유사할 수 있으며, 위에 언급되지 않은 추가 기능이 포함될 수 있다. 전술한 시스템 및 장치의 구성 요소에 대한 일부 설명은 생략되거나 간결하게 기재될 수 있다.동작 901에서, 디스플레이 장치(1000)는 디스플레이 장치(1000) 사용자(100)의 음성 입력을 획득할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000) 사용자의 음성은 디스플레이 장치(1000)의 입력부(1300, 예를 들어, 음성 수신부 1310)를 통해 수신될 수 있다. 본 개시의 일 실시예에 따르면, 사용자의 음성 입력은 디스플레이 장치(1000)에 입력되는 복수의 사용자 음성 입력 중에서, 화자 인식을 통해 인식된 디스플레이 장치 사용자의 음성일 수 있다.
동작 902에서, 디스플레이 장치(1000)는 사용자 음성 입력 해석 결과에 기초하여 사용자 인텐트를 판단할 수 있다.
본 개시의 일 실시예에 따르면, 수신된 사용자 음성 입력은 디스플레이 장치(1000)의 음성 분석 모듈(1522) 또는 외부 서버(미도시)를 이용하여 해석될 수 있다. 인텐트는 NLU 모델을 이용하여 음성 입력에 대응되는 텍스트를 해석함으로써 결정되는 정보로서, 음성 입력의 발화 의도를 나타낼 수 있다.
동작 903에서, 디스플레이 장치(1000)는 사용자 인텐트에 기초하여 레퍼런스 카테고리를 결정할 수 있다.
도 7을 참조하면, 사용자 인텐트를 결정하기 위한 주요 정보는 ‘가을’, ‘풍경’, ‘그림’, ‘지시’이고, 이 중 ‘가을’, ‘풍경’, 및 ‘그림’에 대응되는 카테고리가 레퍼런스 카테고리로 결정될 수 있다. 이 때, 레퍼런스 카테고리는 소정의 데이터베이스(DB)에 포함되는 데이터들의 분류 카테고리에 따라 달라질 수 있으며, 소정의 데이터베이스(DB)는 디스플레이 장치(1000) 외부에 저장될 수 있다.
도 9를 참조하면, 동작 904에서, 디스플레이 장치(1000)는 DB 데이터 중 레퍼런스 카테고리에 포함되는 데이터를 레퍼런스 데이터로 결정할 수 있다.
도 7을 참조하면, ‘가을’ 및 ‘풍경’에 대응되는 카테고리가 레퍼런스 카테고리로 결정되었으므로, 디스플레이 장치(1000)는 DB 데이터 중 ‘가을’ 카테고리로 분류된 이미지(그림) 및 ‘풍경’ 카테고리로 분류된 이미지(그림)를 레퍼런스 데이터로 결정할 수 있다.
도 9를 참조하면, 동작 905에서, 디스플레이 장치(1000)는 외부 장치(200)로부터 제출 컨텐츠를 수신할 수 있다.
외부 장치(200)는 디스플레이 장치(1000) 사용자의 음성 발화에 대응하여 생성된 제출 컨텐츠를 디스플레이 장치(1000)로 전송하고, 디스플레이 장치(1000)는 디스플레이 사용자의 음성 발화에 대응하여 외부 장치에서 생성된 제출 컨텐츠를 수신한다.
도 7을 참조하면, 사용자 인텐트가 ‘가을’ ‘풍경’에 대한 그림인 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N)는 적어도 하나의 외부 장치(200-1 내지 200-N) 사용자가 자유롭게 그린 ‘가을 풍경 그림’일 수 있다.
도 9를 참조하면, 동작 906에서, 디스플레이 장치(1000)는 제출 컨텐츠에 포함되는 오브젝트들 중, 레퍼런스 데이터와 비교할 적어도 하나의 타겟 오브젝트를 결정할 수 있다.
도 7의 실시예에서, 사용자 인텐트가 ‘가을’ ‘풍경’에 대한 그림인 제출 컨텐츠를 수신하여 채점(평가)하는 것이라면, 타겟 오브젝트는 제출 컨텐츠(제출 컨텐츠 1 내지 제출 컨텐츠 N)는 적어도 하나의 외부 장치(200-1 내지 200-N) 사용자가 자유롭게 그린 ‘가을 풍경 그림’ 각각에 포함된 오브젝트 중, ‘그림’에 해당하는 오브젝트일 수 있다.
동작 907에서, 디스플레이 장치(1000)는 레퍼런스 데이터와 적어도 하나의 타겟 오브젝트를 비교하여, 수신된 제출 컨텐츠 각각을 평가할 수 있다.
도 10은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 동작 흐름도이다.
도 10을 참조하면, 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하기 위한 시스템은, 디스플레이 장치(1000), 및 적어도 하나의 외부 장치(200-1 내지 200-N)를 포함할 수 있다.
도 10에 도시된 외부 장치의 컨텐츠를 평가하는 시스템은 도 1 내지 도 9를 참조하여 전술한 시스템 및 장치의 아키텍처와 많은 면에서 유사할 수 있으며, 위에 언급되지 않은 추가 기능이 포함될 수 있다. 전술한 시스템 및 장치의 구성 요소에 대한 일부 설명은 생략되거나 간결하게 기재될 수 있다.
교사(예를 들어, 디스플레이 장치(1000)의 사용자(100))가 적어도 하나의 외부 장치(200-1 내지 200-N)의 화면을 모니터링하거나, 적어도 하나의 외부 장치(200-1 내지 200-N)의 화면을 다른 학생들에게 공유(예를 들어, 디스플레이 장치(1000)의 화면에 디스플레이)하여 수업 자료로 활용하고자 하는 경우를 가정한다.
교사와 학생이 서로 마주보도록 배치된 환경 또는 원격 수업 등으로 서로 다른 공간에 있는 경우, 교사는 학생의 화면을 볼 수 없다. 따라서, 학생이 수업과 관련없는 컨텐츠를 화면에 디스플레이하거나 수업 이외의 다른 목적으로 적어도 하나의 외부 장치(200-1 내지 200-N)를 사용하더라도, 교사는 이를 확인할 수 없다.
또한, 교사가 학생의 화면을 직접 눈으로 볼 수 없는 환경에서, 어떤 학생이 수업과 관련없는 컨텐츠를 화면에 디스플레이하거나 수업 이외의 다른 목적으로 적어도 하나의 외부 장치(200-1 내지 200-N)를 사용하고 있다면 해당 학생의 화면을 공유하는 것은 부적절할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 사용자가 설정한 소정의 주기마다 또는 사용자의 입력(예를 들어 모니터링 요청 커맨드)가 획득되면, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 디스플레이되고 있는 컨텐츠를 획득하여, 사용자 인텐트와 관련없는 컨텐츠가 디스플레이되고 있거나 디스플레이되고 있는 컨텐츠의 공유가 부적절한지 여부를 평가할 수 있다.
동작 1001에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 각각의 컨텐츠(컨텐츠 1 내지 컨텐츠 N)를 디스플레이 한다. 예를 들어, 제1 외부 장치 200-1은 컨텐츠 1을 디스플레이하고, 제N 외부 장치 200-N은 컨텐츠 N을 디스플레이 할 수 있다.
적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이되는 컨텐츠(컨텐츠 1 내지 컨텐츠 N)는 적어도 하나의 외부 장치(200-1 내지 200-N) 사용자에 의해 디스플레이된 컨텐츠일 수 있다.
동작 1002에서, 적어도 하나의 외부 장치(200-1 내지 200-N)는 각각의 컨텐츠(컨텐츠 1 내지 컨텐츠 N)를 디스플레이 장치(1000)로 전송하고, 디스플레이 장치는 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 각각의 컨텐츠(컨텐츠 1 내지 컨텐츠 N)를 수신한다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이되는 컨텐츠를 모니터링하기 위하여 사용자 입력(예를 들어 모니터링 요청 커맨드)에 의해 또는 미리 설정된 소정의 주기마다 적어도 하나의 외부 장치(200-1 내지 200-N)로 디스플레이되는 컨텐츠(컨텐츠 1 내지 컨텐츠 N)를 전송할 것을 요청할 수 있다.
동작 1003에서, 디스플레이 장치(1000)는 컨텐츠1 내지 컨텐츠N 각각에 포함된 오브젝트 세트1 내지 오브젝트 세트N을 획득할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 영상 분석 모듈(1522)을 구동시켜 적어도 하나의 외부 장치로부터 수신된 컨텐츠1 내지 컨텐츠N을 분석하여, 수신된 컨텐츠1 내지 컨텐츠N 각각에 포함되는 오브젝트를 추출할 수 있다.
동작 1004에서, 디스플레이 장치(1000)는 컨텐츠1 내지 컨텐츠N 각각에 포함된 오브젝트 세트1 내지 오브젝트 세트N의 해석 결과에 기초하여 사용자 인텐트를 결정할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 영상 분석 모듈(1522)을 구동시켜 컨텐츠1 내지 컨텐츠N 각각에 포함된 오브젝트 세트1 내지 오브젝트 세트N에 대한 적어도 하나의 카테고리를 결정할 수 있다. 적어도 하나의 카테고리는 서로 계층 관계(hierarchical relationship)를 가질 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 오브젝트 세트1 내지 오브젝트 세트N에 대한 적어도 하나의 카테고리를 결정하기 위하여, 디스플레이 장치(1000)에 디스플레이되는 컨텐츠에 포함되는 오브젝트 세트를 더 이용할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 오브젝트 세트1 내지 오브젝트 세트N에 대한 적어도 하나의 카테고리를 결정하기 위하여, 적어도 하나의 외부 장치 각각(200-1 내지 200-N)에 대한 가중치를 결정하고, 오브젝트 세트1 내지 오브젝트 세트N에 가중치를 적용할 수 있다.
사용자 인텐트는 영상 분석 결과 획득된 오브젝트의 카테고리에 기초하여 결정되는 정보로서, 디스플레이 장치(1000)의 사용자(100)가 디스플레이 장치(1000)를 이용하는 목적 또는 적어도 하나의 외부 장치의 사용자에게 전달하려고 하는 내용이나 주제를 나타낼 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 사용자의 음성 입력을 모니터링할 수 있으며, 사용자 인텐트는 사용자의 음성 입력 해석 결과에 더 기초하여 결정될 수 있다.
동작 1005에서, 디스플레이 장치(1000)는 사용자 인텐트에 기초하여 컨텐츠 1 내지 컨텐츠 N를 평가할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 오브젝트 세트1 내지 오브젝트 세트N 각각이 사용자 인텐트에 기초하여 결정된 오브젝트 세트1 내지 오브젝트 세트N에 대한 적어도 하나의 카테고리에 포함되는지 여부를 판단하고, 판단 결과에 기초하여 컨텐츠1 내지 컨텐츠N 각각을 평가할 수 있다.
도 11은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 디스플레이 장치(1000)는, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 컨텐츠(500-1 내지 500-N)를 수신할 수 있다.
예를 들어, 디스플레이 장치(1000)의 사용자인 교사가 소정의 주기로 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이 되고 있는 컨텐츠를 전송할 것을 설정하거나, 특정 시점에 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이 되고 있는 컨텐츠를 전송할 것을 요청하는 사용자 입력이 수신되면, 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)에 현재 디스플레이되고 있는 컨텐츠(컨텐츠 1 내지 컨텐츠 N)를 전송할 것을 요청할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 사용자인 교사가 소정의 주기로 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이 되고 있는 컨텐츠를 전송할 것을 설정한 경우, 적어도 하나의 외부 장치(200-1 내지 200-N)는 디스플레이 장치(1000)와 초기 연결시 획득한 주기마다, 디스플레이 장치(1000)의 요청 없이도 컨텐츠를 전송할 수 있다.
디스플레이 장치(1000)는, 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 수신된 컨텐츠 1 내지 컨텐츠 N을 분석하여, 각 컨텐츠에 포함된 오브젝트를 추출한다.
도 11을 참조하면, 제1 외부 장치에 디스플레이되고 있는 컨텐츠 1은 {Zn(문자), 스포이드(이미지), 비이커(이미지)}에 해당하는 제1 오브젝트 세트를 포함한다. 제2 외부 장치에 디스플레이되고 있는 컨텐츠 2는 {원자력(문자), 원자력(이미지), 비이커(이미지)}에 해당하는 제2 오브젝트 세트를 포함한다. 제N 외부 장치에 디스플레이되고 있는 컨텐츠 N은 {CO2(문자), 행성(문자), 태양(이미지), 지구(이미지)}를 포함하는 제N 오브젝트 세트를 포함한다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 제1 오브젝트 세트 내지 제N 오브젝트 세트에 포함되는 오브젝트들에 기초하여 사용자 인텐트를 결정할 수 있다.
도 11을 참조하면, 컨텐츠 1 내지 컨텐츠 N에 포함되는 오브젝트들은 {Zn(문자), 스포이드(이미지), 비이커(이미지), 원자력(문자), 원자력(이미지), 비이커(이미지), … , CO2(문자), 행성(문자), 태양(이미지), 및 지구(이미지)}이며, 이와 같은 오브젝트들의 분석 결과와 대응되는 카테고리는 다음과 같이 결정될 수 있다.
컨텐츠 No. 오브젝트 제1 카테고리
(대분류)		 제2 카테고리
(중분류)		 점수
컨텐츠 1 Zn(문자) 과학 화학 30
스포이드(이미지) 과학 화학
비이커(이미지) 과학 화학
컨텐츠 2 원자력(문자) 과학 물리학/화학 26
원자력(이미지) 과학 물리학/화학
비이커(이미지) 과학 화학
컨텐츠 N CO2(문자) 과학 화학 19
행성(문자) 과학 지구과학
태양(이미지) 과학 지구과학
지구(이미지) 과학 지구과학
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 컨텐츠 1 내지 컨텐츠 N과 관련된 사용자 인텐트에 대응되는 제1 카테고리(대분류)를 ‘과학’으로, 제2 카테고리(중분류)를 ‘화학’으로 결정할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 컨텐츠 1 내지 컨텐츠 N과 관련된 사용자 인텐트에 기초하여, 컨텐츠 1 내지 컨텐츠 N을 평가할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 컨텐츠 1 내지 컨텐츠 N과 관련된 사용자 인텐트에 기초하여, 컨텐츠 1 내지 컨텐츠 N에 대한 점수를 결정할 수 있다.
예를 들어, 제1 카테고리에 대한 점수를 16점, 제2 카테고리에 대한 점수를 12점으로 배점하는 경우, 컨텐츠 1은 제1 카테고리 점수 18점과 제2 카테고리 점수 12점을 얻을 수 있으므로 30점을 획득한다. 컨텐츠 2는 제1 카테고리 점수 18점과 제2 카테고리 점수 8점을 얻을 수 있으므로 26점을 획득하고, 컨텐츠 N은 제1 카테고리 점수 16점과 제2 카테고리 점수 3점을 얻을 수 있으므로 19점을 획득한다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 컨텐츠 1 내지 컨텐츠 N 각각에 적용할 가중치를 결정하고, 컨텐츠 1 내지 컨텐츠 N 각각에 대응하는 가중치를 적용하여, 컨텐츠 1 내지 컨텐츠 N을 평가할 수 있다.
예를 들어, 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)의 이전 점수 이력에 기초하여, 이전 점수가 높은 경우 대응되는 컨텐츠에 더 높은 가중치를 부여하도록 결정할 수 있다.
예를 들어, 디스플레이 장치(1000)는 디스플레이 장치(1000) 사용자의 입력에 기초하여, 적어도 하나의 외부 장치(200-1 내지 200-N) 각각에 적용되는 가중치를 결정할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 디스플레이 장치(1000)의 디스플레이부(1410)에 디스플레이 되고 있는 컨텐츠에 더 기초하여 사용자 인텐트를 결정할 수 있다.
이러한 경우, 디스플레이 장치(1000)는 디스플레이 장치(1000)는 디스플레이 장치(1000)의 디스플레이부(1410)에 디스플레이 되고 있는 컨텐츠에 가장 높은 가중치를 부여하도록 결정할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 컨텐츠 1 내지 컨텐츠 N에 대한 평가 결과를 적어도 하나의 외부 장치(200-1 내지 200-N)로 전달할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 컨텐츠 1 내지 컨텐츠 N에 대한 점수가 소정의 임계치 이하인 경우 컨텐츠 1 내지 컨텐츠 N에 대한 평가 결과를 적어도 하나의 외부 장치(200-1 내지 200-N)로 전달할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 컨텐츠 1 내지 컨텐츠 N에 대한 평가 결과를 디스플레이 장치(1000)의 디스플레이부(1410)에 디스플레이할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는, 컨텐츠 1 내지 컨텐츠 N에 대한 점수가 소정의 임계치 이하인 경우 컨텐츠 1 내지 컨텐츠 N에 대한 평가 결과를 디스플레이 장치(1000)의 디스플레이부(1410)에 디스플레이할 수 있다.
도 11을 참조하면, 컨텐츠 1은 30점 컨텐츠 2는 26점, 컨텐츠 N은 19점을 획득하고 임계 점수가 20점인 경우, 디스플레이 장치(1000)는 제N 외부 장치로 컨텐츠 평가 결과에 대한 정보를 전송할 수 있다. 컨텐츠 평가 결과에 대한 정보를 획득한 제N 외부 장치는 제N 외부 장치의 사용자에게 다른 컨텐츠를 소비하도록 유도하기 위하여 컨텐츠 평가 결과를 제공할 수 있다.
또는, 디스플레이 장치(1000)는 디스플레이 장치(1000)의 디스플레이부(1410)에 컨텐츠 1 내지 컨텐츠 N의 평가 결과에 대한 정보를 표시하거나, 임계 점수 이하인 컨텐츠 N에 대한 평가 결과를 표시할 수 있다.
도 12는 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 순서도이다.
도 12를 참조하면, 본 개시의 일 실시예에 따른 디스플레이 장치(1000)는 시각적인 정보를 전달할 수 있도록 동작하도록 구성된 장치를 의미하며, 디스플레이 장치(1000)는 네트워크(300)로 연결된 외부 장치(200)로 소정의 컨텐츠를 전송하거나, 외부 장치(200)로부터 소정의 컨텐츠를 수신할 수 있다. 디스플레이 장치(1000)는 외부 장치(200)로부터 수신된 소정의 컨텐츠를 평가할 수 있다.
도 12에 도시된 외부 장치의 컨텐츠를 평가하는 시스템은 도 1 내지 도 11을 참조하여 전술한 시스템 및 장치의 아키텍처와 많은 면에서 유사할 수 있으며, 위에 언급되지 않은 추가 기능이 포함될 수 있다. 전술한 시스템 및 장치의 구성 요소에 대한 일부 설명은 생략되거나 간결하게 기재될 수 있다.동작 1201에서, 디스플레이 장치(1000)는 디스플레이 장치와 연결된 복수의 외부 장치로부터 수신된 복수의 컨텐츠 각각에 포함된 오브젝트 세트를 획득할 수 있다.
적어도 하나의 외부 장치(200-1 내지 200-N)는 디스플레이 하고 있는 각각의 컨텐츠(컨텐츠 1 내지 컨텐츠 N)를 디스플레이 장치(1000)로 전송하고, 디스플레이 장치는 적어도 하나의 외부 장치(200-1 내지 200-N)로부터 각각의 컨텐츠(컨텐츠 1 내지 컨텐츠 N)를 수신할 수 있다. 디스플레이 장치(1000)는 수신된 컨텐츠1 내지 컨텐츠N 각각에 포함된 오브젝트 세트1 내지 오브젝트 세트N을 획득할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 영상 분석 모듈(1522)을 구동시켜 적어도 하나의 외부 장치로부터 수신된 컨텐츠1 내지 컨텐츠N을 분석하여, 수신된 컨텐츠1 내지 컨텐츠N 각각에 포함되는 오브젝트를 추출할 수 있다.
동작 1202에서, 디스플레이 장치(1000)는 복수의 오브젝트 세트(오브젝트 세트 1 내지 오브젝트 세트 N)의 해석 결과에 기초하여 사용자 인텐트를 결정할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)의 프로세서(1100)는 영상 분석 모듈(1522)을 구동시켜 컨텐츠1 내지 컨텐츠N 각각에 포함된 오브젝트 세트1 내지 오브젝트 세트N에 대한 적어도 하나의 카테고리를 결정할 수 있다. 적어도 하나의 카테고리는 서로 계층 관계(hierarchical relationship)를 가질 수 있다.
동작 1203에서, 디스플레이 장치(1000)는 사용자 인텐트에 기초하여 복수의 컨텐츠(컨텐츠 1 내지 컨텐츠 N) 각각을 평가할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치(1000)는 오브젝트 세트1 내지 오브젝트 세트N 각각이 사용자 인텐트에 기초하여 결정된 오브젝트 세트1 내지 오브젝트 세트N에 대한 적어도 하나의 카테고리에 포함되는지 여부를 판단하고, 판단 결과에 기초하여 컨텐츠1 내지 컨텐츠N 각각을 평가할 수 있다.
도 13은 본 개시의 일 실시예에 따른 디스플레이 장치가 외부 장치의 컨텐츠를 평가하는 방법의 순서도이다.
도 13에서 단계 1301 내지 단계 1303은 도 12의 단계 1201 내지 단계 1203과 각각 동일하므로, 설명을 생략한다.
도 13을 참조하면, 디스플레이 장치(1000)는 적어도 하나의 외부 장치의 컨텐츠 평가 결과에 기초하여, 공유 여부를 결정할 수 있다.
본 개시의 일 실시예에 따르면, 교사가 설정한 소정의 주기마다, 또는 교사의 입력(예를 들어 모니터링 요청 커맨드)가 획득되면, 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)로 현재 화면 공유 요청을 전송할 수 있다. 현재 화면 공유 요청을 수신한 적어도 하나의 외부 장치(200-1 내지 200-N)는 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이된 현재 화면을 디스플레이 장치(1000)로 전송할 수 있다. 디스플레이 장치(1000)는 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이된 현재 화면에 디스플레이된 컨텐츠 또는 디스플레이 장치(1000)에 디스플레이된 컨텐츠에 기초하여 적어도 하나의 외부 장치(200-1 내지 200-N)에 디스플레이된 컨텐츠 각각을 평가할 수 있다.
동작 1301에서, 디스플레이 장치(1000)는 디스플레이 장치와 연결된 복수의 외부 장치로부터 수신된 복수의 컨텐츠 각각에 포함된 오브젝트 세트를 획득할 수 있다.
동작 1302에서, 디스플레이 장치(1000)는 복수의 오브젝트 세트(오브젝트 세트 1 내지 오브젝트 세트 N)의 해석 결과에 기초하여 사용자 인텐트를 결정할 수 있다.
동작 1303에서, 디스플레이 장치(1000)는 사용자 인텐트에 기초하여 복수의 컨텐츠(컨텐츠 1 내지 컨텐츠 N) 각각을 평가할 수 있다.
동작 1304에서, 디스플레이 장치(1000)는 복수의 컨텐츠(컨텐츠 1 내지 컨텐츠 N) 각각에 대한 평가 결과에 기초하여, 디스플레이 여부를 판단할 수 있다.
예를 들어, 교사가 적어도 하나의 외부 장치(200-1 내지 200-N)의 화면을 다른 학생들에게 공유(예를 들어, 디스플레이 장치(1000)의 화면에 디스플레이)하여 수업 자료로 활용하고자 의도할 수 있다. (즉, 교사(예를 들어, 디스플레이 장치(1000)의 사용자(100)가 디스플레이 장치(1000)의 출력부(1400)에 적어도 하나의 외부 장치(200-1 내지 200-N) 화면의 컨텐츠를 표시하고자 의도할 수 있다.)
그러한 경우, 교사와 학생이 서로 마주보도록 배치된 환경 또는 원격 수업 등으로 서로 다른 공간에 있는 경우, 교사가 학생의 화면을 직접 눈으로 볼 수 없는 환경이다. 따라서, 어떤 학생이 수업과 관련없는 컨텐츠를 화면에 디스플레이하거나 수업 이외의 다른 목적으로 적어도 하나의 외부 장치(200-1 내지 200-N)를 사용하고 있다면 해당 학생의 화면은 공유가 부적절하다.
따라서, 디스플레이 장치(1000)는 복수의 컨텐츠(컨텐츠 1 내지 컨텐츠 N) 각각에 대한 평가 결과에 기초하여, 복수의 컨텐츠(컨텐츠 1 내지 컨텐츠 N) 각각에 대한 평가 결과가 나쁘면(예를 들어, 획득한 점수가 소정의 임계값 이하인 경우) 해당 컨텐츠는 디스플레이부(1410)에 디스플레이하지 않는 것으로 결정할 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체 또는 컴퓨터 프로그램 제품이 제공될 수 있다. 컴퓨터 판독 가능 저장 매체 또는 컴퓨터 프로그램 제품에 저장되는 하나 이상의 프로그램은, 전자장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: Compact Disc-ROM), 디지털 다목적 디스크(DVDs: Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크 상의 별도의 저장 장치가 본 개시의 실시예를 수행하는 장치에 접속할 수도 있다.
본 개시에서, 용어 "컴퓨터 프로그램 제품(computer program product)" 또는 "컴퓨터로 읽을 수 있는 기록매체(computer readable medium)"는 메모리, 하드 디스크 드라이브에 설치된 하드 디스크, 및 신호 등의 매체를 전체적으로 지칭하기 위해 사용된다. 이들 "컴퓨터 프로그램 제품" 또는 "컴퓨터로 읽을 수 있는 기록매체"는 본 개시에 따른 컨텐츠를 분석하고 평가하기 위한 명령어로 구성된 소프트웨어를 디스플레이 장치에 제공하는 수단이다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
상술한 본 개시의 구체적인 실시예들에서, 본 개시에 포함되는 구성 요소는 제시된 구체적인 실시예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
본 명세서에 개시된 모든 특징(첨부된 청구범위, 요약 및 도면 포함) 및/또는 그렇게 개시된 방법 또는 프로세스의 모든 단계는 그러한 특징 중 적어도 일부가 및/또는 단계는 상호 배타적이다. 다시 말해서, 본 명세서에 개시된 실시예의 조합이 예상되고 따라서 본 개시의 범위 내에 포함된다.
충돌 또는 불일치가 발생하지 않는 한(예를 들어, 작업(또는 그 수행)이 다른 작업의 결과/결과에 의존하는 경우, 그 연산은 다른 연산 이후에 수행) 본 개시의 실시예에 따른 동작들 중 하나 이상은 위에서 설명된 것과 다른 순서로 수행될 수 있다. 예를 들어, 도 3, 5, 6, 8, 9, 10, 12 및/또는 13의 작업 중 하나 이상은 순서를 변경하여 충돌이나 불일치가 발생하지 않는 한 표시된 순서와 다른 순서로 수행될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위 뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
본 개시의 일 실시예에서, 사용자의 음성 입력 대신에, 다른 유형의 입력이 획득될 수 있다. 예를 들어, 사용자의 텍스트 입력 또는 제스처 입력은 디스플레이 장치(1000)에 의해 획득될 수 있다. 획득된 입력은 해석(또는 파싱 또는 인식 등)될 수 있고, 해석 결과에 기초하여 인텐트가 판단될 수 있다. 예를 들어, 획득한 텍스트 입력을 해석하고 그 결과에 따라 인텐트를 결정할 수 있다.
본 개시의 일 실시예에서, 레퍼런스 데이터가 결정될 수 있다. 예를 들어, 디스플레이 장치(1000)는 사용자의 인텐트 및/또는 레퍼런스 카테고리에 기초하여 레퍼런스 데이터를 결정할 수 있다.
본 개시의 일 실시예에서, 제출 컨텐츠는 제출 컨텐츠를 생성하는 외부 장치 이외의 서버 또는 장치로부터 획득하거나 또는 획득될 수 있다. 예를 들어, 제출 컨텐츠를 생성한 외부 장치는 제출 컨텐츠를 서버 또는 외부 저장소로 전송할 수 있고, 디스플레이 장치(1000)는 서버 또는 외부 저장소로부터 제출 컨텐츠를 획득할 수 있다.
본 발명의 일 실시예에서, 제출 컨텐츠에 포함된 적어도 하나의 오브젝트 중 적어도 하나의 타겟 오브젝트가 식별될 수 있다. 예를 들어, 디스플레이 장치(1000)는 제출 컨텐츠에 포함된 오브젝트들 중 타겟 오브젝트를 식별하고, 식별된 타겟 오브젝트를 레퍼런스 데이터와 비교할 수 있다.
본 개시의 일 실시예에서, 제출 컨텐츠는 레퍼런스 데이터 및/또는 적어도 하나의 타겟 오브젝트에 기초하여 평가될 수 있다. 예를 들어, 디스플레이 장치(1000)는 레퍼런스 데이터 및 적어도 하나의 타겟 오브젝트에 기초하여 제출 컨텐츠를 평가할 수 있다. 다른 예에서, 평가는 적어도 하나의 타겟 오브젝트를 레퍼런스 데이터와 비교하는 것을 포함할 수 있다.
본 개시의 일 실시예에서, 디스플레이 장치(1000)의 방법에 대응하는 방법을 수행하도록 구성된 외부 장치가 제공된다. 본 개시의 다른 실시예는 이러한 외부 장치의 방법을 제공한다.
본 개시의 하나 이상의 실시예는 다음 단락 중 하나 이상에 따를 수 있다는 것이 이해될 것이다:
본 발명의 제1 실시 예에 따른 장치의 컨텐츠 분석 방법은, 사용자의 입력을 획득하는 단계; 획득된 입력에 기초하여 사용자의 인텐트를 결정하는 단계; 사용자의 인텐트에 따라 레퍼런스 데이터를 얻는 단계; 제출 컨텐츠 획득; 및 적어도 하나의 타겟 오브젝트를 레퍼런스 데이터와 비교하는 단계를 포함한다. 예를 들어, 획득된 입력에 기초하여 사용자의 인텐트를 결정하는 것은 사용자의 입력을 해석한 결과에 기초하여 사용자의 인텐트를 결정하는 것을 포함할 수 있다.
본 개시의 제2 실시예에 따르면, 제1 실시예의 방법이 제공되고, 레퍼런스 데이터를 획득하는 단계는, 장치에 표시된 레퍼런스 컨텐츠에 포함된 오브젝트들 중 적어도 하나의 정답 오브젝트를 사용자의 인텐트에 기초하여 결정하는 단계; 및 정답 적어도 하나의 오브젝트를 레퍼런스 데이터로 결정하는 단계를 포함한다.
본 개시의 제3 실시예에 따르면, 제2 실시예의 방법이 제공되며, 제출 컨텐츠는 장치에 의한 공유에 응답하여 획득되는 레퍼런스 컨텐츠에 외부 장치의 사용자의 입력을 추가함으로써 획득된 컨텐츠를 포함하고, 적어도 하나의 타겟 오브젝트는 외부 장치의 사용자의 입력에 대응하는 것으로 결정된다.
본 개시의 제4 실시예에 따르면, 제1 실시예 내지 제3 실시예 중 어느 하나의 방법이 제공되고, 레퍼런스 데이터를 획득하는 단계는: 사용자의 인텐트에 기초하여 적어도 하나의 레퍼런스 카테고리를 결정하는 단계; 및 데이터베이스에 저장된 데이터 중 적어도 하나의 레퍼런스 카테고리에 포함된 데이터를 레퍼런스 데이터로 결정하는 단계를 포함한다.
본 개시의 제5 실시예에 따르면, 제1 실시예 내지 제4 실시예 중 어느 하나의 방법이 제공되고, 사용자의 입력을 획득하는 단계는: 복수의 사용자 중에서 장치의 사용자의 음성을 인식하는 단계; 장치에 입력된 음성 입력, 사용자에 의해 입력된 적어도 하나의 텍스트를 인식하는 단계; 또는 사용자에 의해 입력된 적어도 하나의 제스처를 인식하는 단계;를 포함한다.
본 개시의 제6 실시예에 따르면, 제1 실시예 내지 제5 실시예 중 어느 하나의 방법이 제공되고, 여기서 사용자의 인텐트는 입력의 의도, 지시의 존재 여부, 유형, 및 지시의 내용과 주제 중 적어도 하나를 포함한다.
본 개시의 제7 실시예에 따르면, 제1 실시예 내지 제6 실시예 중 어느 하나의 방법이 제공되고, 방법은 비교 결과에 기초하여 제출 컨텐츠를 평가하는 단계; 및 선택적으로, 평가 결과에 대한 정보를 장치 또는 외부 장치 중 적어도 하나에 전송하는 단계를 더 포함한다.
본 개시의 제8 실시예에 따르면, 제7 실시예의 방법이 제공되고, 제출 컨텐츠를 평가하는 단계는 적어도 하나의 타겟 오브젝트를 레퍼런스 데이터와 비교한 결과에 대한 점수를 획득하는 단계를 포함하고, 방법은: 점수가 특정 임계값 이하인 경우, 비교 결과에 대한 정보를 장치 또는 외부 장치 중 적어도 하나로 전송하는 단계를 더 포함한다.
본 개시의 제9 실시예에 따르면, 장치는: 디스플레이; 입력을 획득하도록 구성된 입력 모듈; 제출 컨텐츠를 획득하도록 구성된 통신 모듈; 적어도 하나의 명령어를 포함하는 프로그램을 저장하도록 구성된 저장부; 및 저장부에 저장된 적어도 하나의 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 적어도 하나의 명령어를 실행하도록 구성되어, 사용자의 입력에 기초하여 사용자의 인텐트를 결정하고; 사용자의 인텐트에 따라 레퍼런스 데이터를 획득하고; 적어도 하나의 타겟 오브젝트를 레퍼런스 데이터와 비교한다. 예를 들어, 사용자의 입력에 기초하여 사용자의 인텐트를 판단하는 것은 사용자의 입력을 해석한 결과에 기반하여 사용자의 인텐트를 판단하는 것을 포함할 수 있다.
본 개시의 제10 실시예에 따르면, 제9 실시예의 장치가 제공되며, 적어도 하나의 프로세서는 장치에 디스플레이된 레퍼런스 컨텐츠에 포함된 오브젝트들 중 적어도 하나의 정답 오브젝트를 결정하고 적어도 하나의 정답 오브젝트를 결정하도록 구성된다.
본 발명의 제11 실시예에 따르면, 제10 실시예의 장치가 제공되며, 제출 컨텐츠는 장치에 의한 공유에 응답하여 획득되는, 레퍼런스 컨텐츠에 외부 장치의 사용자 입력을 추가하여 획득한 컨텐츠를 포함하며, 적어도 하나의 타겟 오브젝트는 외부 장치의 사용자의 입력에 대응하는 것으로 결정된다.
본 발명의 제12 실시예에 따르면, 제9 내지 제11 실시예 중 어느 하나의 장치가 제공되며, 적어도 하나의 프로세서는 사용자의 인텐트에 기초하여 적어도 하나의 레퍼런스 카테고리를 결정하고, 데이터베이스에 저장된 데이터 중 적어도 하나의 레퍼런스 카테고리에 포함된 데이터를 레퍼런스 데이터로 결정하도록 구성된다.
본 발명의 제13 실시 예에 따른 장치의 컨텐츠 분석 방법은, 복수의 외부 장치로부터 수신한 복수의 컨텐츠에 포함된 복수의 오브젝트 세트를 획득하는 단계; 복수의 오브젝트 세트 중 적어도 하나에 기초하여 장치의 사용자의 인텐트를 결정하는 단계; 및 사용자의 인텐트에 기초하여 복수의 컨텐츠 중 적어도 하나를 평가하는 단계를 포함한다. 예를 들어, 복수의 오브젝트 세트 중 적어도 하나에 기초하여 사용자의 인텐트를 결정하는 것은 복수의 오브젝트 세트를 해석한 결과에 기초하여 장치의 사용자의 인텐트를 결정하는 것을 포함할 수 있다. 예를 들어, 사용자의 인텐트에 기초하여 복수의 컨텐츠 중 적어도 하나를 평가하는 것은 사용자의 인텐트에 기초하여 복수의 컨텐츠를 평가하는 것을 포함할 수 있다.
본 개시의 제14 실시예에 따르면, 제13 실시예의 방법이 제공되고, 방법은 사용자의 인텐트를 결정하는 단계는 복수의 오브젝트 세트를 해석한 결과에 기초하여 적어도 하나의 카테고리를 결정하는 단계를 포함하고, 복수의 컨텐츠 각각을 평가하는 단계는 복수의 오브젝트 세트 각각이 적어도 하나의 카테고리에 속하는지 여부를 식별하는 단계를 포함한다.
본 개시의 제15 실시예에 따르면, 제14 실시예의 방법이 제공되고, 방법은 장치 상에 디스플레이된 컨텐츠에 포함된 오브젝트 세트를 획득하는 단계를 더 포함하고, 사용자의 인텐트를 결정하는 단계는 장치에 포함된 복수의 오브젝트 세트들 및 오브젝트 세트에 기초하여 적어도 하나의 카테고리를 결정하는 단계를 포함한다.
본 개시의 제16 실시예에 따르면, 제13 실시예 내지 제15 실시예 중 어느 하나의 방법이 제공되고, 방법은 사용자의 입력을 획득하는 단계를 더 포함하고, 사용자의 인텐트를 결정하는 단계는 획득한 입력의 해석 결과에 기 초하여 사용자의 인텐트를 결정하는 단계를 포함한다. 예를 들어, 입력은 음성 입력, 텍스트 입력, 제스처 입력 등이 될 수 있다.
본 개시의 제17 실시예에 따르면, 제13 실시예 내지 제16 실시예 중 어느 하나의 방법이 제공되고, 사용자의 인텐트를 결정하는 단계는: 복수의 외부 장치 각각에 대한 복수의 가중치를 식별하는 단계; 및 상기 복수의 외부 장치 각각에 적용된 복수의 가중치를 갖는 복수의 오브젝트 세트에 기초하여 사용자의 인텐트를 결정하는 단계를 포함한다.
본 개시의 제18 실시예에 따르면, 제13 실시예 내지 제17 실시예 중 어느 하나의 방법이 제공되고, 방법은 평가 결과에 대한 정보를 장치 및/또는 복수의 외부 장치 중 하나 이상에 전송하는 단계를 더 포함한다.
본 개시의 제19 실시예에 따르면, 제13 실시예 내지 제18 실시예 중 어느 하나의 방법이 제공되고, 복수의 컨텐츠 각각을 평가하는 단계는 적어도 하나의 카테고리에 기초하여 복수의 컨텐츠 각각에 대한 점수를 획득하는 단계를 포함하고, 방법은, 복수의 컨텐츠 중 특정 임계값 이하의 점수를 갖는 컨텐츠에 대한 평가 결과를 해당 컨텐츠에 대응하는 장치 또는 외부 장치 중 적어도 하나에 전송하는 단계를 더 포함한다.
본 개시의 제20 실시예에 따르면, 장치는 디스플레이; 복수의 외부 장치로부터 복수의 컨텐츠를 수신하는 통신 모듈; 적어도 하나의 명령어를 포함하는 프로그램을 저장하도록 구성된 저장부; 및 저장부에 저장된 적어도 하나의 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 저장부에 저장된 적어도 하나의 명령어를 실행하여, 복수의 컨텐츠에 포함된 복수의 오브젝트 세트를 획득하고, 복수의 오브젝트 세트 중 적어도 하나에 기초하여 장치의 사용자의 인텐트를 평가하고, 사용자의 인텐트에 기초하여 복수의 컨텐츠 중 적어도 하나를 평가한다. 예를 들어, 복수의 오브젝트 세트 중 적어도 하나에 기초하여 사용자의 인텐트를 결정하는 것은 복수의 오브젝트 세트를 해석한 결과에 기초하여 장치의 사용자의 인텐트를 결정하는 것을 포함할 수 있다. 예를 들어, 사용자의 인텐트에 기초하여 복수의 컨텐츠 중 적어도 하나를 평가하는 것은 사용자의 인텐트에 기초하여 복수의 컨텐츠를 평가하는 것을 포함할 수 있다.
본 개시의 제21 실시예에 따르면, 제20 실시예의 장치가 제공되고, 적어도 하나의 프로세서는 복수의 오브젝트 세트를 해석한 결과에 기초하여 적어도 하나의 카테고리를 결정하고, 각각이 복수의 오브젝트 세트는 적어도 하나의 카테고리에 속한다.
본 개시의 제22 실시예에 따르면, 제21 실시예의 장치가 제공되고, 적어도 하나의 프로세서는 장치에 디스플레이된 컨텐츠에 포함된 오브젝트 세트를 획득하고, 오브젝트 세트에 기초하여 장치에 포함된 복수의 오브젝트 세트 및 오브젝트 세트에 대해 적어도 하나의 카테고리를 결정하도록 구성된다(예를 들어, 사용자의 인텐트를 결정하기 위해).
본 개시의 제23 실시예에 따르면, 제20 실시예 내지 제22 실시예 중 어느 하나의 장치가 제공되고, 적어도 하나의 프로세서가 획득된 입력을 해석한 결과에 더 기초하여 사용자의 인텐트를 결정하기 위하여, 장치는 사용자의 입력을 획득하도록 구성된 입력 모듈을 더 포함하도록 구성된다. 예를 들어, 입력은 음성 입력(예를 들어, 입력 모듈은 수신기를 포함할 수 있음), 또는 텍스트 입력, 또는 제스처 입력 등일 수 있다.
본 개시의 제24 실시예에 따르면, 제20 내지 제23 실시예 중 어느 하나의 장치가 제공되고, 적어도 하나의 프로세서는 복수의 외부 장치 각각에 대한 복수의 가중치를 식별하고 복수의 외부 장치 각각에 복수의 가중치가 적용된 복수의 오브젝트 세트에 기초한 사용자의 인텐트를 결정하도록 구성된다.
본 개시의 제25 실시예에 따르면, 제20 내지 제24 실시예 중 어느 하나의 장치가 제공되며, 적어도 하나의 프로세서는 통신 모듈을 통해 평가 결과에 관한 정보를 장치 또는 복수의 외부 장치에 전송하도록 구성된다.
본 개시의 제26 실시예에 따르면, 제20 실시예 내지 제25 실시예 중 어느 하나의 장치가 제공되고, 여기서 적어도 하나의 프로세서는 (예를 들어, 복수의 컨텐츠 각각을 평가하기 위해) 적어도 하나의 카테고리에 기초하여 복수의 컨텐츠 각각에 대한 점수를 획득하고, 복수의 컨텐츠 중 소정 임계값 이하의 점수를 갖는 컨텐츠에 대한 평가 결과를 소정 임계값 이하의 점수를 갖는 컨텐츠에 대응하는 장치 또는 외부 장치 중 적어도 하나로 전송하도록 구성된다.
본 발명의 제28 실시예에 따르면, 컴퓨터가 제1 실시예 또는 제13 실시예의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

Claims (15)

  1. 디스플레이 장치가, 컨텐츠를 분석하고 평가하는 방법에 있어서,
    상기 디스플레이 장치 사용자의 음성 입력을 획득하는 단계;
    상기 획득된 음성 입력을 해석한 제1 결과에 기초하여 사용자 인텐트를 결정하는 단계;
    상기 사용자 인텐트에 기초하여, 레퍼런스 데이터를 획득하는 단계;
    상기 디스플레이 장치와 연결된 외부 장치로부터 제출 컨텐츠를 획득하는 단계;
    상기 제출 컨텐츠에 포함된 오브젝트 중에서, 상기 레퍼런스 데이터와 비교될 적어도 하나의 타겟 오브젝트를 결정하는 단계; 및
    상기 적어도 하나의 타겟 오브젝트와 상기 레퍼런스 데이터를 비교함으로써, 상기 제출 컨텐츠를 평가하는 단계;를 포함하는, 방법.
  2. 제1 항에 있어서, 상기 레퍼런스 데이터를 획득하는 단계는,
    상기 사용자 인텐트에 기초하여, 상기 디스플레이 장치에 디스플레이되는 레퍼런스 컨텐츠에 포함된 오브젝트 중에서, 적어도 하나의 정답 오브젝트를 결정하는 단계; 및
    상기 적어도 하나의 정답 오브젝트를 상기 레퍼런스 데이터로 결정하는 단계;를 포함하는, 방법.
  3. 제2 항에 있어서,
    상기 제출 컨텐츠는, 상기 디스플레이 장치가 상기 외부 장치로 상기 레퍼런스 컨텐츠를 공유한 것에 대한 응답으로 획득되는, 상기 레퍼런스 컨텐츠에 상기 외부 장치 사용자의 입력이 추가된 컨텐츠이고,
    상기 적어도 하나의 타겟 오브젝트는, 상기 외부 장치 사용자의 입력에 대응하여 결정되는, 방법.
  4. 제1 항에 있어서,
    상기 레퍼런스 데이터를 획득하는 단계는,
    상기 사용자 인텐트에 기초하여, 적어도 하나의 레퍼런스 카테고리를 결정하는 단계; 및
    데이터 베이스에 저장된 데이터 중 상기 적어도 하나의 레퍼런스 카테고리에 포함되는 데이터를 상기 레퍼런스 데이터로 결정하는 단계;를 포함하는, 방법.
  5. 제1 항에 있어서,
    상기 사용자의 음성 입력을 획득하는 단계는, 상기 디스플레이 장치에 입력되는 복수의 사용자 음성 입력 중에서, 상기 디스플레이 장치 사용자의 음성을 인식하는 단계;를 포함하는, 방법.
  6. 제1 항에 있어서,
    상기 사용자 인텐트는, 상기 음성 입력의 의도, 상기 지시의 여부, 상기 지시의 종류 및 컨텐츠의 주제 중 적어도 하나를 포함하는, 방법.
  7. 제1 항에 있어서,
    상기 방법은, 상기 제출 컨텐츠를 평가한 제2 결과에 대한 정보를 상기 디스플레이 장치 또는 상기 외부 장치 중 적어도 하나로 전달하는 단계;를 더 포함하는, 방법.
  8. 제1 항에 있어서,
    상기 제출 컨텐츠를 평가하는 단계는, 상기 적어도 하나의 타겟 오브젝트와 상기 레퍼런스 데이터를 비교한 제3 결과에 대한 점수를 획득하는 단계;를 포함하고,
    상기 방법은, 상기 점수가 소정의 임계값 이하인 경우 상기 제3 결과를 나타내는 정보를, 상기 디스플레이 장치 또는 상기 외부장치 중 적어도 하나로 전달하는 단계;를 더 포함하는, 방법.
  9. 디스플레이 장치에 있어서,
    디스플레이;
    사용자의 음성 입력을 획득하는 음성 수신부;
    상기 디스플레이 장치와 연결된 외부 장치로부터 제출 컨텐츠를 획득하는 통신부,
    적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부; 및
    상기 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어를 실행함으로써,
    상기 음성 수신부를 통해 획득된 상기 디스플레이 장치 사용자의 음성 입력을 해석한 제1 결과에 기초하여 사용자 인텐트를 판단하고,
    상기 사용자 인텐트에 기초하여, 레퍼런스 데이터를 획득하고,
    상기 제출 컨텐츠에 포함된 오브젝트 중에서, 상기 레퍼런스 데이터와 비교될 적어도 하나의 타겟 오브젝트를 결정하고,
    상기 적어도 하나의 타겟 오브젝트와 상기 레퍼런스 데이터를 비교함으로써, 상기 제출 컨텐츠를 평가하는, 장치.
  10. 제9 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 사용자 인텐트에 기초하여, 상기 디스플레이 장치에 디스플레이되는 레퍼런스 컨텐츠에 포함된 오브젝트 중에서, 적어도 하나의 정답 오브젝트를 결정하고, 상기 적어도 하나의 정답 오브젝트를 상기 레퍼런스 데이터로 결정하는, 장치.
  11. 제10 항에 있어서,
    상기 제출 컨텐츠는, 상기 디스플레이 장치가 상기 외부 장치로 상기 레퍼런스 컨텐츠를 공유한 것에 대한 응답으로 획득되는, 상기 레퍼런스 컨텐츠에 상기 외부 장치 사용자의 입력이 추가된 컨텐츠이고,
    상기 적어도 하나의 타겟 오브젝트는, 상기 외부 장치 사용자의 입력에 대응하여 결정되는, 장치.
  12. 제9 항에 있어서,
    상기 프로세서는, 상기 사용자 인텐트에 기초하여, 적어도 하나의 레퍼런스 카테고리를 결정하고, 데이터 베이스에 저장된 데이터 중 상기 적어도 하나의 레퍼런스 카테고리에 포함되는 데이터를 상기 레퍼런스 데이터로 결정하는, 장치
  13. 제9 항에 있어서, 상기 적어도 하나의 프로세서는,상기 디스플레이 장치에 입력되는 복수의 사용자 음성 입력 중에서, 상기 디스플레이 장치 사용자의 음성을 인식하고, 상기 인식된 디스플레이 장치 사용자의 음성 입력을 획득하는, 장치.
  14. 제9 항에 있어서,
    상기 사용자 인텐트는, 상기 음성 입력의 의도, 상기 지시의 여부, 상기 지시의 종류 및 컨텐츠의 주제 중 적어도 하나를 포함하는, 장치.
  15. 제1 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/019154 2021-05-24 2021-12-16 컨텐츠를 분석하고 평가하는 방법 및 장치 WO2022250233A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21856972.1A EP4318305A1 (en) 2021-05-24 2021-12-16 Method and device for analyzing and evaluating content
US17/682,924 US20220375361A1 (en) 2021-05-24 2022-02-28 Method and apparatus for analyzing and evaluating content

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0066496 2021-05-24
KR20210066496 2021-05-24
KR1020210128346A KR20220158585A (ko) 2021-05-24 2021-09-28 컨텐츠를 분석하고 평가하는 방법 및 장치
KR10-2021-0128346 2021-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/682,924 Continuation US20220375361A1 (en) 2021-05-24 2022-02-28 Method and apparatus for analyzing and evaluating content

Publications (1)

Publication Number Publication Date
WO2022250233A1 true WO2022250233A1 (ko) 2022-12-01

Family

ID=84229905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019154 WO2022250233A1 (ko) 2021-05-24 2021-12-16 컨텐츠를 분석하고 평가하는 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2022250233A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020011050A (ko) * 2000-07-31 2002-02-07 김민윤 인터넷망을 이용한 원격교육 시스템 및 그 운영방법
KR20150033050A (ko) * 2013-09-23 2015-04-01 (주)이든교육 학습장애자용 집중력 강화 학습 제공 시스템
KR20160014335A (ko) * 2014-07-29 2016-02-11 주식회사 에듀베이스 온라인 학습 콘텐츠 저작을 위한 프로그램이 기록된 컴퓨터 판독 가능한 매체 및 온라인 학습 콘텐츠 저작 방법
KR20200050281A (ko) * 2018-11-01 2020-05-11 유엔젤주식회사 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
KR102183894B1 (ko) * 2019-06-28 2020-11-30 한화시스템 주식회사 가상 현실을 이용한 컴퓨터 기반 학습 평가 시스템 및 이의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020011050A (ko) * 2000-07-31 2002-02-07 김민윤 인터넷망을 이용한 원격교육 시스템 및 그 운영방법
KR20150033050A (ko) * 2013-09-23 2015-04-01 (주)이든교육 학습장애자용 집중력 강화 학습 제공 시스템
KR20160014335A (ko) * 2014-07-29 2016-02-11 주식회사 에듀베이스 온라인 학습 콘텐츠 저작을 위한 프로그램이 기록된 컴퓨터 판독 가능한 매체 및 온라인 학습 콘텐츠 저작 방법
KR20200050281A (ko) * 2018-11-01 2020-05-11 유엔젤주식회사 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
KR102183894B1 (ko) * 2019-06-28 2020-11-30 한화시스템 주식회사 가상 현실을 이용한 컴퓨터 기반 학습 평가 시스템 및 이의 동작 방법

Similar Documents

Publication Publication Date Title
WO2020106103A1 (en) Method and apparatus for processing voice data of speech
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2020230933A1 (ko) 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
WO2020218686A1 (en) Display device and controlling method of display device
WO2020218650A1 (ko) 전자기기
WO2020071858A1 (en) Electronic apparatus and assistant service providing method thereof
WO2019203421A1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
WO2020263016A1 (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
WO2019151802A1 (en) Method of processing a speech signal for speaker recognition and electronic apparatus implementing same
WO2022010255A1 (ko) 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법, 시스템 및 컴퓨터-판독가능 매체
EP3228085A1 (en) Display apparatus, and method of operating the display apparatus
WO2020017827A1 (ko) 전자 장치, 및 전자 장치의 제어 방법
WO2020209624A1 (en) Head mounted display device and operating method thereof
WO2018097504A2 (en) Electronic device and method for updating channel map thereof
WO2022075609A1 (ko) 멀티 챗봇을 이용하여 질의에 응답하는 전자 장치 및 그 제어 방법
WO2021137629A1 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
WO2019059579A1 (en) DEVICE AND METHOD FOR PROVIDING AN ANSWER TO A DEVICE USE INTERROGATION
WO2022250233A1 (ko) 컨텐츠를 분석하고 평가하는 방법 및 장치
WO2023017939A1 (ko) 전자 장치 및 그 제어 방법
WO2023163489A1 (ko) 사용자의 음성 입력을 처리하는 방법 및 이를 위한 장치
WO2022149672A1 (ko) 전자 장치 및 그 제어 방법
WO2022050615A1 (ko) 통역 상황 정보를 제공하는 방법 및 장치
WO2020190001A1 (ko) 사용자의 움직임에 기반하여 객체의 속성을 제어하는 전자 장치 및 그 제어 방법
WO2019124775A1 (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
WO2016171455A1 (en) Display apparatus, and method of operating the display apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21856972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE