WO2020111835A1 - 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 - Google Patents

대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 Download PDF

Info

Publication number
WO2020111835A1
WO2020111835A1 PCT/KR2019/016623 KR2019016623W WO2020111835A1 WO 2020111835 A1 WO2020111835 A1 WO 2020111835A1 KR 2019016623 W KR2019016623 W KR 2019016623W WO 2020111835 A1 WO2020111835 A1 WO 2020111835A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
server
user device
education
emotion
Prior art date
Application number
PCT/KR2019/016623
Other languages
English (en)
French (fr)
Inventor
김훈
김대식
Original Assignee
김훈
㈜휴먼앤에이아이
김대식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김훈, ㈜휴먼앤에이아이, 김대식 filed Critical 김훈
Priority claimed from KR1020190155800A external-priority patent/KR102341634B1/ko
Publication of WO2020111835A1 publication Critical patent/WO2020111835A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the present invention relates to an education system, and more particularly, to a user device and an education server included in the interactive education system.
  • Conventional reading is a method of unilaterally delivering the contents of a book to the reader.
  • Existing reading can cause boredom to the reader, and often encounters a difficult part of the book's content that is difficult to understand, and often skips the meaning.
  • foreign language education through existing associations needs to understand and acquire the contents of books one-sidedly, there is a problem that it is difficult to continue.
  • the published patent is a learning evaluation score according to the similarity between a native speaker's pronunciation of a learner's character's foreign language dialogue and a learner's foreign language pronunciation following the foreign language dialogue, or a similarity between a learner's foreign language dialogue sentence and a learner's sentence following the foreign language dialogue. It includes a foreign language learning server that calculates and transmits it to the learner terminal, and accumulates coins to the learner according to the calculated learning evaluation score.
  • the published patent may include a wired or wireless communication network providing wired communication or wireless communication between the learner terminal and a foreign language learning server.
  • the present invention has been proposed to solve the above-described technical problems, and the object of the present invention is to provide an enjoyment of reading through a bi-direction dialogue between a user or a reader and an educational tool, and to interactively study to continuously study a foreign language. In providing a system.
  • the present invention relates to an education server in an interactive education system in communication with a user device.
  • the education server may include a server communication unit configured to receive user recognition information of a user from the user device and to provide answers to the user's questions to the user device; Emotion case DB for storing the user's emotion case, storyboard DB for storing the contents of the story provided through the user device, and augmented reality for realizing the character by augmented reality technology through the user device
  • the server controller analyzes the user's voice or emotion, generates an emotion code based on the analyzed result, selects and edits emotion information in the emotion case DB, and answers the user's question Can generate
  • the present invention relates to a user device of an interactive educational system in communication with an educational server.
  • the user device includes an input/output unit for receiving voice and emotion information from a user, providing user recognition information to the education server, and receiving an answer content for the user's question content;
  • a storage unit for storing the user's voice recognition information and emotion recognition information;
  • a controller configured to display a character on the screen for answering the user's question content received from the education server, and to communicate with the user through the character.
  • the controller may evaluate the user's pronunciation and store pronunciation evaluation information in the storage unit.
  • the input/output unit may display the character on the screen through a screen touch or through a QR code scan.
  • the present invention not only increases the thinking ability of the user who reads the fairy tale, but can further immerse himself in the contents of the fairy tale through dialogue with the author.
  • the present invention can naturally improve the ability of a foreign language because the conversation can be studied while having a conversation with the main character as a friend.
  • the present invention can enhance the educational effect by providing a friendly guide, such as analyzing the student's pronunciation through voice recognition, giving feedback on the pronunciation contents through the main character, and complimenting.
  • FIG. 1 is a block diagram showing an interactive educational system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating the user device illustrated in FIG. 1 as an example.
  • FIG. 3 is a block diagram illustrating the education server illustrated in FIG. 1 as an example.
  • FIG. 4 is a block diagram exemplarily showing a method of operating the server controller illustrated in FIG. 3.
  • FIG. 5 is a flowchart illustrating an operation method of the server control unit illustrated in FIG. 3.
  • FIG. 6 is a flowchart illustrating an example of a member registration and authentication method of the education server illustrated in FIG. 3.
  • FIG. 7 is a flowchart illustrating an example of a method of operating the user device illustrated in FIG. 2.
  • FIG. 8 is a block diagram exemplarily showing a processor in a control unit of the user device illustrated in FIG. 2.
  • FIG. 3 is a view showing the best mode for carrying out the present invention.
  • the interactive education system 1000 includes a user device 1100, a network 1200, and an education server 1300.
  • the interactive education system 1000 enables a conversation between both a reader (hereinafter referred to as a user) and a virtual person (1101, hereinafter referred to as a main character) in the user device 1100.
  • the interactive education system 1000 allows a user to receive education such as reading or conversation in a fun and realistic manner.
  • a user reads a fairy tale using the user device 1100.
  • the user clicks a specific part of the contents of the fairy tale or scans a specific point, such as a QR code or animal picture or character in the fairy tale book, to the user device 1100, the main character 1101 may appear on the screen of the user device 1100.
  • the user can communicate with the main character 1101 represented by a model using augmented reality (AR).
  • AR augmented reality
  • an avatar of the user may appear on the screen of the user device 1100.
  • the user avatar and the main character can communicate.
  • the user can participate in a conversation between the user avatar and the main character by asking questions and asking for answers through augmented reality (AR).
  • the user device 1100 may induce realistic and interactive education using emotion recognition technology as well as voice recognition. Users can receive interactive training through artificial intelligence systems (AI systems) created by system developers and storyboards prepared by the authors of books.
  • AI systems artificial intelligence systems
  • the user device 1100 may recognize a user's voice. Also, according to an embodiment, the user device 1100 may recognize a user's emotion. The user device 1100 may provide information (hereinafter, referred to as user recognition information) obtained from a user, such as voice recognition information or emotion recognition information, to the education server 1300 through the network 1200. The user device 1100 may be connected to the network 1200 in a wired or wireless manner in order to transmit user recognition information to the education server 1300.
  • user recognition information information obtained from a user, such as voice recognition information or emotion recognition information
  • the user device 1100 may receive an education program from the education server 1300.
  • the education program may be a program through which the user can communicate with the main character through the user device 1100 and read or receive education.
  • the education program may be a program that is gamed so that a user can have a conversation without having to be bored with reading or conversation education.
  • the user device 1100 may receive education information in real time from the education server 1300 so that the user can recognize education such as reading or conversation as a game, digitize it, and display the digitized information on the screen.
  • the user device 1100 may refer to educational information provided from the education server 1300 and numerically indicate how much the user has performed reading.
  • the user device 1100 may be a mobile phone, a smart phone, a tablet, a TV, or a personal computer (PC).
  • the user device 1100 is not limited to the above, and may be any type of electronic device capable of driving an education program and providing an interface of the education program to a user.
  • the education server 1300 may be connected to the user device 1100 through the network 1200.
  • the education server 1300 may receive user recognition information from the user device 1100.
  • the education server 1300 may provide education information suitable for a user to the user device 1100 by referring to the received user recognition information.
  • the education server 1300 may recommend an education program suitable for a user among a plurality of education programs stored in advance.
  • the education server 1300 may transmit education information or education programs suitable for a user to the user device 1100 through the network 1200.
  • the education server 1300 may receive user recognition information from at least one user device. Although only one user device 1100 is illustrated in FIG. 1, the scope of the present invention is not limited thereto.
  • the education server 1300 may receive various user recognition information transmitted from a plurality of user devices and provide education information suitable for each user. The configuration and operation principle of the education server 1300 will be described in more detail below.
  • FIG. 2 is a block diagram illustrating the user device illustrated in FIG. 1 as an example.
  • the user device 1100 includes an input/output unit 1110, a storage unit 1120, and a control unit 1130.
  • the input/output unit 1110 includes an input unit 1111 and an output unit 1112.
  • the input unit 1111 may receive voice or emotion information from a user.
  • the input unit 1111 may receive voice information of a user through a microphone and receive emotion information of a user through a camera.
  • the input unit 1111 may receive education information or an education program from the education server (see FIG. 1, 1300).
  • the input unit 1111 may provide voice or emotion information provided by a user or education information or an education program provided from the education server 1300 to the storage unit 1120 or the control unit 1130.
  • the output unit 1112 may provide various interfaces for interactive training to a user, or provide user recognition information for interactive training to the education server 1300.
  • the storage unit 1120 may store information received through the input/output unit 1110.
  • the storage unit 1120 may include a voice recognition information storage unit 1121, an emotion recognition information storage unit 1122, and a pronunciation evaluation information storage unit 1123.
  • the voice recognition information storage unit 1121 may store various voice recognition information obtained from a user's voice.
  • the emotion recognition information storage unit 1122 may store emotion recognition information analyzed through a user's facial expression or behavior.
  • the pronunciation evaluation information storage unit 1123 may store the pronunciation evaluation information of the user when the user performs an activity such as conversation learning or singing practice.
  • the control unit 1130 may include a processor or a program management unit.
  • the control unit 1130 may include a speech recognition engine or an emotion recognition engine.
  • the control unit 1130 may include a pronunciation evaluation engine.
  • the controller 1130 samples the user's voice data or emotion data or pronunciation evaluation data through such hardware or software, and obtains a representative value related to voice or emotion or pronunciation evaluation using artificial intelligence (AI), and the education server ( 1300) to calculate user recognition information to be provided.
  • AI artificial intelligence
  • FIG. 3 is a block diagram illustrating the education server illustrated in FIG. 1 as an example.
  • the education server 1300 includes a server communication unit 1310, a server storage unit 1320, and a server control unit 1330.
  • the education server 1300 may generate education information using user recognition information received from the user device 1100.
  • the education information may be an answer to a user's question. That is, the education server 1300 may calculate the main character's answer to the user's question based on the user recognition information.
  • the education server 1300 may provide the calculated hero response to the user device 1100.
  • the server communication unit 1310 includes a server input unit 1311 and a server output unit 1312.
  • the server input unit 1311 receives user recognition information from a user device (see FIG. 1, 1100 ).
  • the user recognition information may be a user's voice or emotion or pronunciation or intonation or reading speed.
  • the server output unit 1312 may provide education information calculated based on user recognition information, for example, a main character's answer, to the user device 1100.
  • the server storage unit 1320 may include an emotion case DB 1321, a storyboard DB 1322, and an augmented reality DB 1333.
  • the voice recognition information, emotion recognition information, or pronunciation information provided through the user recognition information of the user device 1100 may be stored in the emotion case DB 1321.
  • the emotion recognition information calculated through the information may be stored in the emotion case DB 1321.
  • Various story information to be provided to the user device 1322 may be stored in the storyboard DB 1322.
  • the story information may be various types of content for performing a conversation with a user.
  • the storyboard DB 1322 may store the hero's answers to the user's questions.
  • the server control unit 1330 may control the overall operation of the education server 1300. For example, the server control unit 1330 accesses (e) access to the emotion case DB 1321, the storyboard DB 1322, or the augmented reality DB 1333 of the server storage unit 1320, and generates education information By executing an algorithm or a program instruction for, the education server 1300 can be driven.
  • the server control unit 1330 may include a controller, an interface, a graphic engine, and the like that control various components of the education server 1300.
  • the server controller 1330 may be implemented in the form of a system-on-chip (SoC), an application specific integrated circuit (ASIC), or a field programmable gate array (FPGA).
  • SoC system-on-chip
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the server control unit 1330 may calculate education information using user recognition information. For example, the server control unit 1330 may calculate the main character's answer to the user's question. To this end, the server controller 1330 may include a case-based reasoning engine 1331 and a protagonist answer editor 1332. In addition, the server control unit 1330 as an embodiment may further include a conversation proceeding filing unit 1333.
  • the server control unit 1330 automatically displays the user avatar on the screen of the user device 1100 and converses with the user on the augmented reality (AR). You can implement the same environment you are doing.
  • the voice recognition engine or the emotion recognition engine of the user device 1100 operates, and the user recognition information is provided to the education server 1300.
  • the case-based reasoning engine 1321 may analyze voice or emotion based on the content of the storyboard DB 1322. Voice or emotion analysis may be classified into, for example, about 20 types in consideration of the strength and weakness of the sound, length and speed, or facial expressions and gestures.
  • the case-based reasoning engine 1321 may select an appropriate response response emotion from the emotion case DB 401 and provide it to the main character answer editor 1332.
  • the protagonist answer editor 1332 can search the storyboard DB 1332 and edit it with an appropriate answer.
  • the content of the response of the protagonist answer editor 1332 may be provided to the user device 1100.
  • the main character 1101 determined through the augmented reality DB 1323 is visible to the user.
  • the user device 1100 is provided with an education environment of the interactive education system 1000 that can communicate with the user.
  • the results of the interactive education system 1000 may be filed and stored in the conversation progress results with the user through the conversation progress result filing unit 1333 of the server control unit 1330.
  • the archived result data can be used as big data analysis data later.
  • the user can keep the conversation result of the fairy tale or conversation as a new intangible asset.
  • the server control unit 1330 may include a processor (for example, a CPU) in a hardware board to implement a conversation.
  • the processor may trigger an algorithm stored in the memory for voice recognition and emotion recognition processing, and transmit a voice file to a speaker of the user device 1100 to output sound to the outside.
  • the processor may perform analog-to-digital conversion (ADC) of the analog voice data of the user input through the microphone and store it in the memory of the server storage unit 1320 in digital form.
  • ADC analog-to-digital conversion
  • the case-based reasoning engine 1331 drives the voice emotion analysis algorithm based on the content of the storyboard DB 1322, and the processor can calculate the processing or analyze the data to distinguish the emotion state of the speaker of the voice.
  • the processor When the user device 1100 recognizes a QR code or animal picture or character in a fairy tale as a camera, the processor reads the corresponding code value and drives an augmented reality image APK file suitable for it. At this time, an augmented reality (AR) image is displayed on the screen of the user device 1100.
  • AR augmented reality
  • the interactive education system 1000 may be used for language education of a user or foreign language learning.
  • a virtual education environment using augmented reality (AR) is displayed on the screen by touching a specific part of the user device 1100 or scanning a mark such as a QR code, animal picture, or character. May appear.
  • AR augmented reality
  • a user avatar appears on the screen, and the user can talk to the protagonist.
  • the user asks the protagonist a question, and the protagonist can explain the question to the user in detail.
  • the system evaluates the user's pronunciation and the main character 1101 can deliver the evaluation in words.
  • the user talks to the protagonist 1101, he or she can speak or want to talk. At this time, the user avatar automatically implements this word in a foreign language on the augmented reality system.
  • the interactive education system 1000 may evaluate the level of conversation spoken by the user to the level of conversation with a native speaker, and evaluate it appropriately and naturally through the mouth of the main character 1101. For example, you are really good. Is this better than last time? And motivate the user. That is, when the user's pronunciation is better than before, praise can be provided to continuously interest in learning a foreign language. In addition, these learning results can be filed, stored in the server storage unit 1320, and later used as big data analysis data.
  • the interactive education system 1000 may use an artificial intelligence system to enhance the learning effect by delivering appropriately edited answers to the user in consideration of the user's emotion.
  • the overall conversational flow of the interactive education system 1000 proceeds with reference to the storyboard about the fairy tale content.
  • FIG. 4 is a block diagram exemplarily showing a method of operating the server controller illustrated in FIG. 3.
  • the user device 1100 voice-recognizes the content of the question and provides the voice recognition information to the server control unit 1330.
  • the server control unit 1330 may be implemented by applying artificial intelligence (AI) technology.
  • the case-based reasoning engine 1331 applies case-based reasoning (CBR) to find the most appropriate answer to the user's question.
  • the user device 1100 applies the augmented reality technology to display the main character on the screen and responds to the user by voice.
  • the case-based reasoning engine 1331 may analyze the content of the question or conversation in order to find the most appropriate answer to the content of the question. Also, the server control unit 1330 may receive emotion recognition information from the user device 1100. The case-based reasoning engine 1331 reads the provided emotion code to refer to and judge the storyboard DB 1322, but may determine the most appropriate answer carrying emotion.
  • the user device 1100 may speak a voice reflecting emotion to the user through the main character 1101. At this time, the user device 1100 may utilize a text to speech (TTS) engine. When a voice reflecting emotions is heard, the user device 1100 may apply augmented reality technology to express emotions to the main character 1101. In addition, the user device 1100 may apply augmented reality technology so that the user avatar also expresses emotion or responds to the emotion of the main character 1101.
  • TTS text to speech
  • the interactive education system 1000 of the present invention can allow the user to continuously communicate with the main character 1101 of native speaker pronunciation.
  • the present invention can allow the user to have a pleasant conversation while having a fun conversation and reading.
  • the present invention can write a storyboard so that the main character 1101 instructs like a teacher but appropriately compliments and points out. According to the present invention, the user can be trained while having a conversation between the main character 1101 and both parties.
  • the storyboard can be written together when creating a digital education companionship, and the written storyboard can be updated in the storyboard DB 1322.
  • contents of the conversation between the user and the main character 1101 may be updated.
  • the case-based reasoning engine 1331 additionally infers the answer content and the answer content best suited to the question is the storyboard DB 1322. Can be updated on.
  • FIG. 5 is a flowchart illustrating an operation method of the server control unit illustrated in FIG. 3. 5 shows in detail the process of generating an answer to the user by the server control unit 1330 to which artificial intelligence technology is applied.
  • the server controller 1330 receives user recognition information from the user device 1100.
  • the user recognition information may be voice recognition information or emotion recognition information.
  • the voice recognition information may be generated by the voice recognition engine of the user device 1100 and stored in the voice recognition information storage unit (see FIG. 2, 1121).
  • the emotion recognition information may be generated by the emotion recognition engine and stored in the emotion recognition information storage unit (see FIG. 2, 1122 ).
  • the user recognition information stored in the user device 1100 may be provided to the education server 1300 at the request of the user or in real time.
  • the server controller 1330 may receive user recognition information and classify the emotion code.
  • the server control unit 1330 may classify emotion codes by synthesizing various factors such as a user's voice, sound strength and weakness, sound strength, voice speed, and intonation.
  • the server controller 1330 may classify the emotion codes using the emotion case DB 1321 and update the classified emotion codes to the emotion case DB 1321. Meanwhile, when there are a plurality of users, the server control unit 1330 may classify the emotion codes for each user and update the emotion codes in the emotion case DB 1321.
  • the server control unit 1330 may determine the voice content including the emotion code.
  • the speech recognition information generated by the speech recognition engine of the user device 1100 is provided to the education server 1300.
  • the server control unit 1330 of the education server 1300 may determine speech content in the process of determining the provided speech recognition information and emotion recognition information as text data.
  • the determined voice content may include an emotion code.
  • the server control unit 1330 may determine the voice content by referring to the emotion code or emotion example stored in the emotion case DB 1321.
  • the server control unit 1330 may search for similarity using case-based reasoning (CBR) based on the content of the question. That is, the case-based reasoning engine 1331 may perform a similarity search with respect to the question cases in the storyboard DB 1322 to select the best answer to the question content.
  • CBR case-based reasoning
  • the server controller 1330 may select an answer to which the emotion code is applied.
  • the case-based reasoning engine 1331 may search for and check the best answer to the user's question in the storyboard DB 1322 using an emotion code.
  • the emotion code may be classified in step S120.
  • the emotion code may be stored in the emotion case DB 1321.
  • the protagonist answer editor 1332 may edit the protagonist answer content using an emotion code.
  • the server control unit 1330 may process the content of the answer by voice and output the main character's answer to the user device 1100.
  • the user device 1100 may provide a voice of the main character including emotion to the user through a TTS (Text to Speech) system.
  • the server control unit 1330 may receive feedback whether the user is satisfied with the content of the answer.
  • the server control unit 1330 may upgrade the interactive education system 1000 with reference to feedback information.
  • FIG. 6 is a flowchart for exemplarily explaining a member registration and authentication method of the education server illustrated in FIG. 3.
  • the user may register as a member using the user device 1100.
  • the user may access the education server 1300 or register as a member through a user application.
  • the education server 1300 may request personal information such as a user's name, date of birth, social security number, telephone number, email address, and the like at the time of membership registration.
  • the education server 1300 may request an education field or a field of interest mainly used by a user in addition to personal information. Further, the education server 1300 may request a book type or preference preferred by the user.
  • the user may sign up as a member in response to a request provided by the education server 1300.
  • the user may perform a user authentication procedure using the user device 1100.
  • the user authentication may be performed by a mechanical method such as simply inputting personal information such as a user name, social security number, or telephone number, or may be performed through an authorized authentication method used in a bank or the like.
  • the user authentication may be performed through biometric authentication such as iris or fingerprint or electronic authentication such as mobile phone authentication.
  • step S230 it may be determined whether the authentication is successful based on the authentication information input by the user.
  • the education server 1300 may determine whether authentication is successful by comparing authentication information input by the user with authentication information stored in the member DB (for example, authorized authentication). If the user authentication is successful, step S240 may be performed, and if it fails, step S232 may be performed.
  • step S232 when authentication is not successful in step S230 (NO), the number of authentication failures may be determined.
  • the education server 1300 may determine whether the number of authentication failures of the user has been repeated N times. If the number of authentication failures has not been repeated N times, step S220 is performed. That is, the education server 1300 may guide the user to perform the user authentication procedure again. However, if the number of authentication failures is repeated N times, step S234 is performed.
  • the education server 1300 may guide authentication failure.
  • the education server 1300 may inform the user that the authentication has failed and terminate the user authentication procedure when the user repeatedly fails the user authentication N times. At this time, the user may request the operator of the education server 1300 to perform authentication again.
  • the education server 1300 may provide a member ID to the user through the user device 1100.
  • Member ID can be used when using educational programs. Member IDs can be issued in the following order.
  • the user may access the education server 1300 using the user device 1100.
  • the education server 1300 may request user information.
  • the user may input user information using the user device 1100.
  • the user can enter a password.
  • the user information and the password may be the same information entered in the member registration step (S210).
  • control unit 1130 of the user device 1100 may support installation of an education program provided from the education server 1300 or from a storage medium.
  • the controller 1130 may install an execution program (eg, an education program) in the user device 1100.
  • the execution program may be stored and installed in the storage unit 1120 of the user device 1100 through a removable storage medium (eg, a USB or memory card, etc.) or a download from the education server 1300.
  • the execution program may include authentication data for authentication of the user device 1100 described in FIG. 6.
  • step S320 the controller 1130 may determine whether the installation of the execution program was successful. If the installation of the execution program has failed (NO), the control unit 1130 may guide the program installation failure (S325). If the education program installation is successful (YES), step S330 may be performed.
  • control unit 1130 may check whether the input/output unit 1110 of the user device 1100, the storage unit 1120, and the control unit 1130 operate normally.
  • the controller 1130 may check whether the user can normally use the education program provided by the education server 1300 using the user device 1100.
  • the control unit 1130 may check the operation of the input/output unit 1110 of the user device 1100.
  • the control unit 1130 may check the operation of the input/output unit 1110 as to whether the education server 1300 is smoothly connected to the user device 1100. That is, it is possible to check whether the input unit 1111 receives voice or emotion from a user and normally receives education information or an answer to a question from the education server 1300.
  • the output unit 1112 may determine whether the user can provide the user with the answer to the question or provide the user recognition information to the education server 1300.
  • the control unit 1130 may check the operation of the storage unit 1120 of the user device 1100.
  • the control unit 1130 may check whether the storage unit 1120 normally stores information received from the input/output unit 1110. That is, the voice recognition information input from the user is stored in the voice recognition information storage unit 1121, the emotion recognition information is stored in the emotion recognition information storage unit 1122, and the education server () is stored in the pronunciation evaluation information storage unit 1123. It can be confirmed whether pronunciation evaluation information provided from 1300) is normally stored.
  • step S333 it may be determined whether the control unit 1130 is operating normally.
  • the controller 1130 may check whether the processor is operating normally.
  • the control unit 1130 may check whether the processor operates according to an instruction of the education program.
  • FIG. 8 is a block diagram exemplarily showing a processor in a control unit of the user device illustrated in FIG. 2.
  • the processor illustrated in FIG. 8 is a dedicated board product.
  • the processor may recognize a voice such as a user's question, operate an augmented reality system through a QR code or a camera, and perform an animation operation. Voice can be recognized and used as a system through a terminal such as a smart phone, but a dedicated board can be used to communicate with the main character more horr through a wide screen.
  • the user device recognizes a QR code or recognizes a photo image with a camera, and when the AR and MR are generated on the screen, the GPU is interlocked and the processing time is implemented to be processed in tens of ms.
  • the CPU and GPU process the voice and image processing at a high speed and process memory access efficiently so that the natural facial expression changes and emotional voice can be processed naturally.
  • control unit 1130 of the user device 1100 may include various configurations connected to the CPU processor.
  • JTAG Joint Photographic Experts Group
  • Touch LCD USB OTG
  • T-Flash Ultraviolet
  • UART PMIC
  • DDR4 DDR4
  • 3-axia sensor UART Debug
  • WiFI/BT WiFI/BT
  • eMMC MPI CSI/DSI
  • MIC MIC
  • speaker Audio CODEC
  • touch LCD a touch LCD.
  • the present invention can display a user avatar or a main character on a screen of a user device by using augmented reality technology in a specific situation, especially when a child user reads a fairy tale book. While having a conversation between the user avatar and the main character, through the voice recognition engine, the user's questions and opinions can be recognized and analyzed. In addition, the present invention can recognize the user's emotion, and allow the main character to respond by selecting an appropriate answer corresponding to the user's emotion on the board or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 사용자 장치와 통신하는 대화형 교육 시스템의 교육 서버에 관한 것이다. 상기 교육 서버는, 상기 사용자 장치로부터 사용자의 사용자 인식 정보를 입력받고, 상기 사용자의 질문에 대한 답변 내용을 상기 사용자 장치로 제공하기 위한 서버 통신부; 상기 사용자의 감정 사례를 저장하기 위한 감정 사례 DB, 상기 사용자 장치를 통해 제공되는 스토리의 내용을 저장하기 위한 스토리보드 DB, 그리고 상기 사용자 장치를 통해 증강현실 기술에 의한 등장 인물을 구현하기 위한 증강현실 DB를 포함하는 서버 저장부; 및 상기 사용자 인식 정보를 기반으로 상기 사용자의 질문 내용에 대한 답변 내용을 사례기반추론을 통해 추론하고, 상기 등장 인물의 답변 내용을 상기 사용자에 맞게 편집하고, 상기 사용자와 상기 등장 인물 사이의 대화 내용을 파일로 처리하여 보관하는 서버 제어부를 포함한다.

Description

대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
본 발명은 교육 시스템에 관한 것으로, 좀 더 상세하게는 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버에 관한 것이다.
기존의 독서는 책의 내용을 일방적으로 독자에게 전달하는 방식이다. 기존의 독서는 독자에게 지루함을 줄 수 있고, 책의 내용 중에 이해하기 어려운 부분을 만나면 그 뜻을 이해하지 못하고 넘어가는 경우가 많다. 또한, 기존의 교제를 통한 외국어 교육도 책의 내용을 일방적으로 이해하고 습득해야 하기 때문에, 지속적으로 하기 어려운 문제가 있다.
이러한 문제로 인해 독서나 외국어 교육을 위한 다양한 프로그램이나 교육 시스템이 개발되고 있다. 대학민국 공개특허공보 제10-2018-0105861호에는 외국어 학습 어플리케이션 및 이에 포함된 콘텐츠를 이용한 외국어 학습 시스템이 게시되어 있다. 상기 공개특허는 2인 이상의 캐릭터가 등장하여 외국어 대사를 주고받는 외국어 학습 콘텐츠 재생이 이루어질 때, 외국어 학습 콘텐츠 내에서 학습자 아바타로 할당된 캐릭터인 학습자 캐릭터의 외국어 대사를 따라하는 학습자 외국어 발음이나 학습자 작성 문장을 입력받아 외국어 학습 서버로 전송하며, 학습자 외국어 발음이나 학습자 작성 문장의 정확도를 나타내는 학습 평가 점수를 상기 외국어 학습 서버로부터 수신하여 표시하는 학습자 단말기를 포함한다.
상기 공개특허는 학습자 캐릭터의 외국어 대사의 원어민 발음과 상기 외국어 대사를 따라하는 학습자 외국어 발음간의 유사도, 또는 학습자 캐릭터의 외국어 대사의 문장과 상기 외국어 대사를 따라하는 학습자 작성 문장간의 유사도에 따른 학습 평가 점수를 산출하여 상기 학습자 단말기로 전송하며, 산출된 학습 평가 점수에 따라서 학습자에게 코인을 적립해주는 외국어 학습 서버를 포함한다. 그리고 상기 공개특허는 상기 학습자 단말기와 외국어 학습 서버간에 유선 통신 또는 무선 통신을 제공하는 유무선 통신망을 포함할 수 있다. 그러나 위와 같은 교육 시스템에서는 사용자의 음성이나 감정과는 상관없이 교육 프로그램에 따라 일방적으로 진행되기 때문에 여전히 지속적인 교육 효과를 얻을 수 없다.
본 발명은 상술한 기술적인 문제를 해결하기 위해 제안된 것으로, 본 발명의 목적은 사용자 또는 독자와 교육 도구 사이에 쌍당향 대화를 통해 독서의 즐거움을 더해주시고 지속적으로 외국어를 공부할 수 있는 대화형 교육 시스템을 제공하는 데 있다.
본 발명은 사용자 장치와 통신하는 대화형 교육 시스템의 교육 서버에 관한 것이다. 상기 교육 서버는, 상기 사용자 장치로부터 사용자의 사용자 인식 정보를 입력받고, 상기 사용자의 질문에 대한 답변 내용을 상기 사용자 장치로 제공하기 위한 서버 통신부; 상기 사용자의 감정 사례를 저장하기 위한 감정 사례 DB, 상기 사용자 장치를 통해 제공되는 스토리의 내용을 저장하기 위한 스토리보드 DB, 그리고 상기 사용자 장치를 통해 증강현실 기술에 의한 등장 인물을 구현하기 위한 증강현실 DB를 포함하는 서버 저장부; 및 상기 사용자 인식 정보를 기반으로 상기 사용자의 질문 내용에 대한 답변 내용을 사례기반추론을 통해 추론하고, 상기 등장 인물의 답변 내용을 상기 사용자에 맞게 편집하고, 상기 사용자와 상기 등장 인물 사이의 대화 내용을 파일로 처리하여 보관하는 서버 제어부를 포함한다.
실시 예로서, 상기 서버 제어부는 상기 사용자의 음성이나 감정을 분석하고, 분석한 결과를 기초로 감정 코드를 생성하고, 상기 감정 사례 DB에서 감정 정보를 선택하고 편집함으로 상기 사용자의 질문에 대한 답변 내용을 생성할 수 있다.
본 발명은 교육 서버와 통신하는 대화형 교육 시스템의 사용자 장치에 관한 것이다. 상기 사용자 장치는 사용자로부터 음성 및 감정 정보를 입력받고, 상기 교육 서버로 사용자 인식 정보를 제공하고 상기 사용자의 질문 내용에 대한 답변 내용을 입력받기 위한 입출력부; 상기 사용자의 음성 인식 정보와 감정 인식 정보를 저장하기 위한 저장부; 및 상기 교육 서버로부터 입력받은 상기 사용자의 질문 내용에 대한 답변을 하기 위한 등장 인물을 화면에 표시하고, 상기 등장 인물을 통해 상기 사용자와 대화를 하도록 하는 제어부를 포함한다.
상기 제어부는 상기 사용자의 발음을 평가하고 발음 평가 정보를 상기 저장부에 저장할 수 있다. 상기 입출력부는 화면 터치를 통해 또는 QR 코드 스캔을 통해 상기 등장 인물을 화면에 표시할 수 있다.
본 발명은 동화를 읽는 사용자의 사고력을 키울 뿐 아니라, 저자와의 대화를 통해 동화 내용에 더욱 몰입할 수 있다. 또한, 본 발명은 외국어 공부를 하는 경우에, 주인공을 친구 삼아 놀이를 하듯 대화를 하면서 회화 공부를 할 수 있기 때문에, 자연스럽게 외국어 능력이 향상될 수 있다. 또한, 본 발명은 음성 인식을 통해 학생의 발음을 분석하고, 주인공을 통해 발음 내용에 대한 의견을 주고 칭찬을 하는 등 친절한 가이드를 제공함으로 교육 효과를 높일 수 있다.
도 1은 본 발명의 실시 예에 따른 대화형 교육 시스템을 보여주는 블록도이다.
도 2는 도 1에 도시된 사용자 장치를 예시적으로 보여주는 블록도이다.
도 3은 도 1에 도시된 교육 서버를 예시적으로 보여주는 블록도이다.
도 4는 도 3에 도시된 서버 제어부의 동작 방법을 예시적으로 보여주는 블록도이다.
도 5는 도 3에 도시된 서버 제어부의 동작 방법을 설명하기 위한 순서도이다.
도 6은 도 3에 도시된 교육 서버의 회원 가입 및 인증 방법을 예시적으로 설명하기 위한 순서도이다.
도 7은 도 2에 도시된 사용자 장치의 동작 방법을 예시적으로 설명하기 위한 순서도이다.
도 8은 도 2에 도시된 사용자 장치의 제어부에 있는 프로세서를 예시적으로 보여주는 블록도이다.
본 발명의 실시를 위한 최선의 형태를 보여주는 도면은 도 3이다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다. 본 발명의 실시 예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
도 1은 본 발명의 실시 예에 따른 대화형 교육 시스템을 보여주는 블록도이다. 도 1을 참조하면, 대화형 교육 시스템(1000)은 사용자 장치(1100), 네트워크(1200), 그리고 교육 서버(1300)를 포함한다. 대화형 교육 시스템(1000)은 독서를 하는 독자(이하에서는 사용자라 함)와 사용자 장치(1100) 내의 가상 인물(1101, 이하에서는 주인공이라 함) 쌍방 간에 대화를 할 수 있게 해준다. 대화형 교육 시스템(1000)은 사용자가 독서나 회화 등과 같은 교육을 재미있고 현실감 있게 받을 수 있도록 해준다.
예를 들면, 사용자가 사용자 장치(1100)를 이용하여 동화를 읽는다고 가정하자. 사용자가 동화 내용 중에 특정한 부분을 클릭하거나 동화책 내의 QR 코드나 동물 사진 또는 캐릭터와 같은 특정 포인트를 사용자 장치(1100)로 스캔하면, 주인공(1101)이 사용자 장치(1100)의 화면에 나타날 수 있다. 사용자는 증강현실(AR)을 이용한 모델로 나타난 주인공(1101)과 대화할 수 있다. 한편, 사용자 장치(1100)의 화면에는 사용자 본인의 아바타(avatar)가 나타날 수 있다. 이 경우에 사용자 아바타와 주인공이 대화를 할 수 있다. 사용자는 증강현실(AR)을 통해 질문을 하고 대답을 구함으로 사용자 아바타와 주인공 간의 대화에 참여할 수 있다. 사용자 장치(1100)는 음성 인식뿐 아니라 감정 인식 기술을 이용하여 현실감 있는 대화형 교육을 유도할 수 있다. 사용자는 시스템 개발자가 만든 인공지능 시스템(AI 시스템)과 책의 저자가 준비한 스토리보드를 통해 대화형 교육을 받을 수 있다.
계속해서 도 1을 참조하면, 사용자 장치(1100)는 사용자의 음성을 인식할 수 있다. 또한, 실시 예에 따라 사용자 장치(1100)는 사용자의 감정을 인식할 수도 있다. 사용자 장치(1100)는 음성 인식 정보 또는 감정 인식 정보 등과 같은 사용자로부터 얻은 정보(이하에서는, 사용자 인식 정보라 함)를 네트워크(1200)를 통해 교육 서버(1300)로 제공할 수 있다. 사용자 장치(1100)는 사용자 인식 정보를 교육 서버(1300)로 전송하기 위해, 유선 또는 무선의 방식으로 네트워크(1200)에 연결될 수 있다.
한편, 사용자 장치(1100)는 교육 서버(1300)로부터 교육 프로그램을 수신할 수 있다. 여기서, 교육 프로그램은 사용자가 사용자 장치(1100)를 통해 주인공과 대화를 하며 독서를 하거나 교육을 받을 수 있는 프로그램일 수 있다. 교육 프로그램은 사용자가 독서나 회화 교육을 지루하지 않고 재미있게 대화를 하며 수행하도록 게임화된 프로그램일 수 있다. 사용자 장치(1100)는 사용자가 독서나 회화 등과 같은 교육을 게임으로 인식할 수 있도록, 교육 서버(1300)로부터 실시간으로 교육 정보를 제공받아 수치화하고, 수치화한 정보를 화면에 나타나게 할 수 있다. 예를 들면, 사용자 장치(1100)는 교육 서버(1300)로부터 제공된 교육 정보를 참조하여, 사용자가 독서를 얼마나 수행했는지를 수치화하여 나타낼 수 있다.
사용자 장치(1100)는 모바일 폰(mobile phone), 스마트 폰(smart phone), 태블릿(tablet), TV, PC(personal computer) 등일 수 있다. 사용자 장치(1100)는 상술한 바에 한정되지 않고, 교육 프로그램을 구동할 수 있고 사용자에게 교육 프로그램의 인터페이스를 화면에 제공할 수 있는 모든 형태의 전자 장치일 수 있다.
교육 서버(1300)는 네트워크(1200)를 통해 사용자 장치(1100)와 연결될 수 있다. 교육 서버(1300)는 사용자 장치(1100)로부터 사용자 인식 정보를 수신할 수 있다. 교육 서버(1300)는 수신된 사용자 인식 정보를 참조하여 사용자에게 맞는 교육 정보를 사용자 장치(1100)로 제공할 수 있다. 또는 교육 서버(1300)는 사전에 저장된 복수의 교육 프로그램 중 사용자에 적합한 교육 프로그램을 추천할 수 있다. 교육 서버(1300)는 사용자에게 적합한 교육 정보나 교육 프로그램을 네트워크(1200)를 통해 사용자 장치(1100)로 전송할 수 있다.
교육 서버(1300)는 적어도 하나 이상의 사용자 장치들로부터 사용자 인식 정보를 수신할 수 있다. 도 1에서는 하나의 사용자 장치(1100)만 도시되어 있지만, 본 발명의 범위는 이에 제한되지 않는다. 교육 서버(1300)는 복수의 사용자 장치에서 전송한 다양한 사용자 인식 정보를 수신하고, 각각의 사용자에게 맞는 교육 정보를 제공할 수 있다. 교육 서버(1300)의 구성 및 동작 원리는 아래에서 좀 더 구체적으로 설명될 것이다.
도 2는 도 1에 도시된 사용자 장치를 예시적으로 보여주는 블록도이다. 도 2를 참조하면, 사용자 장치(1100)는 입출력부(1110), 저장부(1120), 그리고 제어부(1130)를 포함한다.
입출력부(1110)는 입력부(1111)와 출력부(1112)를 포함한다. 입력부(1111)는 사용자로부터 음성이나 감정 정보 등을 입력받을 수 있다. 예를 들면, 입력부(1111)는 마이크를 통해 사용자의 음성 정보를 입력받고, 카메라를 통해 사용자의 감정 정보를 입력받을 수 있다. 또한, 입력부(1111)는 교육 서버(도 1 참조, 1300)로부터 교육 정보나 교육 프로그램 등을 입력받을 수 있다. 입력부(1111)는 사용자로부터 제공된 음성이나 감정 정보, 또는 교육 서버(1300)로부터 제공된 교육 정보나 교육 프로그램 등을 저장부(1120) 또는 제어부(1130)로 제공할 수 있다. 출력부(1112)는 사용자에게 대화형 교육을 위한 다양한 인터페이스를 제공하거나, 교육 서버(1300)로 대화형 교육을 사용자 인식 정보 등을 제공할 수 있다.
저장부(1120)는 입출력부(1110)를 통해 수신하는 정보들을 저장할 수 있다. 저장부(1120)는 음성 인식 정보 저장부(1121), 감정 인식 정보 저장부(1122), 그리고 발음 평가 정보 저장부(1123)를 포함할 수 있다. 음성 인식 정보 저장부(1121)는 사용자의 음성으로부터 얻은 여러 가지 음성 인식 정보를 저장할 수 있다. 감정 인식 정보 저장부(1122)는 사용자의 얼굴 표정이나 행동 등을 통해 분석한 감정 인식 정보를 저장할 수 있다. 발음 평가 정보 저장부(1123)는 사용자가 회화 학습이나 노래 연습 등과 같은 활동을 하는 경우에, 사용자의 발음 평가 정보를 저장할 수 있다.
제어부(1130)는 프로세서나 프로그램 관리 유닛을 포함할 수 있다. 제어부(1130)는 음성 인식 엔진이나 감정 인식 엔진을 포함할 수 있다. 또한, 제어부(1130)는 발음 평가 엔진을 포함할 수 있다. 제어부(1130)는 이러한 하드웨어나 소프트웨어를 통해 사용자의 음성 데이터나 감정 데이터 또는 발음 평가 데이터를 샘플링하고, 인공지능(AI)을 이용하여 음성이나 감정 또는 발음 평가와 관련한 대표값을 얻고, 교육 서버(1300)로 제공할 사용자 인식 정보를 산출할 수 있다.
도 3은 도 1에 도시된 교육 서버를 예시적으로 보여주는 블록도이다. 도 3을 참조하면, 교육 서버(1300)는 서버 통신부(1310), 서버 저장부(1320), 그리고 서버 제어부(1330)를 포함한다. 교육 서버(1300)는 사용자 장치(1100)로부터 수신된 사용자 인식 정보를 이용하여 교육 정보를 생성할 수 있다. 여기에서 교육 정보는 사용자의 질문에 대한 답변일 수 있다. 즉, 교육 서버(1300)는 사용자 인식 정보를 기반으로 사용자의 질문에 대한 주인공 답변을 산출할 수 있다. 교육 서버(1300)는 산출된 주인공 답변을 사용자 장치(1100)로 제공할 수 있다.
계속해서 도 3을 참조하면, 서버 통신부(1310)는 서버 입력부(1311)와 서버 출력부(1312)를 포함한다. 서버 입력부(1311)는 사용자 장치(도 1 참조, 1100)로부터 사용자 인식 정보를 수신한다. 여기에서, 사용자 인식 정보는 사용자의 음성이나 감정 또는 발음이나 억양 또는 읽기 속도 등일 수 있다. 서버 출력부(1312)는 사용자 인식 정보를 기반으로 산출한 교육 정보, 예를 들면 주인공 답변 등을 사용자 장치(1100)로 제공할 수 있다.
서버 저장부(1320)는 감정 사례 DB(1321), 스토리보드 DB(1322), 그리고 증강현실 DB(1333)를 포함할 수 있다. 감정 사례 DB(1321)에는 사용자 장치(1100)의 사용자 인식 정보를 통해 제공된 음성 인식 정보 또는 감정 인식 정보 또는 발음 정보 등이 저장될 수 있다. 또는 감정 사례 DB(1321)에는 이들 정보를 통해 산출한 감정 인식 정보가 저장될 수 있다. 스토리보드 DB(1322)에는 사용자 장치(1322)로 제공될 다양한 스토리 정보가 저장될 수 있다. 여기에서 스토리 정보는 사용자와 대화를 수행하기 위한 다양한 종류의 컨텐츠일 수 있다. 예를 들면, 스토리보드 DB(1322)에는 사용자의 질문에 대한 주인공의 답변들이 저장될 수 있다.
서버 제어부(1330)는 교육 서버(1300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 서버 제어부(1330)는 서버 저장부(1320)의 감정 사례 DB(1321), 스토리보드 DB(1322), 또는 증강현실 DB(1333)에 접근(access)하고, 교육 정보를 생성하기 위한 알고리즘이나 프로그램 명령을 실행함으로, 교육 서버(1300)를 구동할 수 있다. 또한, 서버 제어부(1330)는 교육 서버(1300)의 여러 구성 요소들을 제어하는 컨트롤러, 인터페이스, 그래픽 엔진 등을 포함할 수 있다. 서버 제어부(1330)는 SoC(system-on-chip), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있다.
서버 제어부(1330)는 사용자 인식 정보을 이용하여 교육 정보를 산출할 수 있다. 예를 들면, 서버 제어부(1330)는 사용자의 질문에 대한 주인공 답변를 산출할 수 있다. 이를 위해 서버 제어부(1330)는 사례기반추론 엔진(1331)와 주인공 답변 편집기(1332)를 포함할 수 있다. 또한, 서버 제어부(1330)를 실시 예로서 대화 진행 결과물 파일화 유닛(1333)을 더 포함할 수 있다.
사용자가 주인공(도 1 참조, 1101)에게 음성으로 질문이나 이야기를 하면, 서버 제어부(1330)는 사용자 아바타가 자동으로 사용자 장치(1100)의 화면에 나타나고 증강현실(AR) 상에서 사용자와 마치 대화를 하고 있는 것과 같은 환경을 구현할 수 있다. 사용자가 말하면, 사용자 장치(1100)의 음성 인식 엔진이나 감정 인식 엔진이 동작하고, 교육 서버(1300)로 사용자 인식 정보가 제공된다.
사용자 인식 정보가 제공되면, 사례기반추론 엔진(1321)은 스토리 보드 DB(1322) 내용을 기반으로 음성이나 감정을 분석할 수 있다. 음성이나 감정 분석은 소리의 강약이나 길이나 속도, 또는 얼굴의 표정이나 몸짓 등을 고려하여 예를 들면 약 20여 가지로 종류로 분류될 수 있다. 사례기반추론 엔진(1321)은 감정 사례 DB(401)에서 적절한 대응 답변 감정을 선택하고, 주인공 답변 편집기(1332)로 제공할 수 있다. 주인공 답변 편집기(1332)는 스토리보드 DB(1332)를 검색하여 적절한 답변으로 편집할 수 있다. 주인공 답변 편집기(1332)의 답변 내용은 사용자 장치(1100)로 제공될 수 있다.
사용자 장치(1100)의 화면에는 증강현실 DB(1323)를 통해 정해진 주인공(1101)이 사용자에게 보인다. 이와 같은 방식으로 사용자 장치(1100)에는 사용자와 대화할 수 있는 대화형 교육 시스템(1000)의 교육 환경이 제공된다. 또한, 대화형 교육 시스템(1000)의 결과물은 서버 제어부(1330)의 대화 진행 결과물 파일화 유닛(1333)을 통해 사용자와의 대화 진행 결과물을 파일화 하여 보관할 수 있다. 보관된 결과물 데이터는 추후에 빅데이터 분석 자료로 활용될 수 있다. 또한, 사용자는 해당 동화나 회화의 대화 결과물을 새로운 무형의 자산으로 보관할 수 있다.
서버 제어부(1330)는 대화를 구현하기 위해, 하드웨어 보드 내에 프로세서(예를 들면, CPU)를 구비할 수 있다. 프로세서는 음성 인식 및 감정 인식 처리를 위해 메모리에 저장된 알고리즘을 트리거링(Trigering)하여 음성 파일을 사용자 장치(1100)의 스피커로 전달함으로 소리를 외부로 출력하도록 할 수 있다. 또한, 프로세서는 마이크를 통하여 입력된 사용자의 아날로그 음성 데이터를 아날로그-디지털 변환(ADC)을 하여 디지털 형태로 서버 저장부(1320)의 메모리에 저장할 수 있다. 사례기반추론 엔진(1331)은 스토리보드 DB(1322) 내용을 기반으로 음성 감정 분석 알고리즘을 구동하고, 프로세서는 이를 연산 처리하거나 데이터를 분석하여 해당 음성의 대화자가 어떤 감정 상태인지를 구분할 수 있다. 사용자 장치(1100)가 동화 속에 있는 QR 코드나 동물 사진 또는 캐릭터를 카메라로 인식하면, 프로세서는 해당 코드 값을 읽고, 그것에 맞는 증강현실 영상 APK 파일을 구동한다. 이때 사용자 장치(1100)의 화면에는 증강현실(AR) 영상이 보이게 된다.
본 발명의 실시 예에 따른 대화형 교육 시스템(1000)은 사용자의 언어 교육이나 외국어 학습에 사용될 수 있다. 사용자가 책을 읽거나 외국어를 공부하는 경우에, 사용자 장치(1100)의 특정 부분을 터치하거나 QR 코드나 동물 사진 또는 캐릭터와 같은 마크를 스캔하면 증강현실(AR)을 이용한 가상 교육 환경이 화면에 나타날 수 있다.
사용자가 사용자 장치(1100)의 화면에 나타난 주인공과 대화를 하면, 화면에는 사용자 아바타(avatar)가 등장하고, 사용자는 주인공과 대화를 할 수 있다. 사용자는 주인공에게 질문을 하고, 주인공은 사용자에게 질문 내용을 자세하게 설명해줄 수 있다. 또한, 사용자가 외국어를 공부하는 경우에는 사용자의 발음을 시스템이 평가하고 주인공(1101)이 평가 내용을 말로 전달할 수 있다. 또한, 사용자가 주인공(1101)과 대화 시에 말을 따라 하거나 하고 싶은 이야기를 할 수 있다. 이때 사용자 아바타는 자동으로 동시에 증강현실 시스템 상에서 이 말을 외국어로 구현하게 된다.
대화형 교육 시스템(1000)은 사용자가 이야기 하는 회화 수준 정도를 원어민 회화 수준과 비교 평가하고, 주인공(1101)의 입을 통해 적절하고 자연스럽게 이를 평가하도록 할 수 있다. 예를 들면, 너 정말 잘하는구나. 지난 번 보다 이번이 더 나은걸? 하며 사용자에게 동기 부여를 해줄 수 있다. 즉 사용자의 발음이 이전보다 좋아졌을 때 칭찬을 해줌으로 외국어 학습에 지속적으로 흥미를 갖게 할 수 있다. 또한, 이러한 학습 결과물은 파일화 하여, 서버 저장부(1320)에 저장하고, 추후에 빅데이터 분석 자료로 활용되도록 할 수 있다.
또한, 대화형 교육 시스템(1000)은 인공지능 시스템을 이용하여 사용자의 감정을 고려하여 적절하게 편집한 답변 내용을 사용자에게 전함으로 학습 효과를 높일 수 있다. 대화형 교육 시스템(1000)의 전체적인 대화 흐름은 동화 내용에 관한 스토리보드를 참조하여 진행하게 된다.
도 4는 도 3에 도시된 서버 제어부의 동작 방법을 예시적으로 보여주는 블록도이다. 사용자가 질문을 하면, 사용자 장치(1100)는 질문 내용을 음성 인식하고, 음성 인식 정보를 서버 제어부(1330)로 제공한다. 서버 제어부(1330)는 인공지능(AI) 기술을 적용하여 구현될 수 있다. 사례기반추록 엔진(1331)은 사례기반추록(CBR)을 적용하여 사용자의 질문에 대한 가장 적절한 답변을 찾는다. 사용자 장치(1100)는 증강현실 기술을 적용하여 화면에 주인공을 나타내고 음성으로 사용자에게 답변한다.
사례기반추론 엔진(1331)는 질문 내용에 대한 가장 적절한 답변을 찾기 위해서, 질문이나 대화 내용을 분석할 수 있다. 또한, 서버 제어부(1330)는 사용자 장치(1100)로부터 감정 인식 정보를 제공받을 수 있다. 사례기반추론 엔진(1331)은 제공된 감정 코드를 읽어 스토리보드 DB(1322)를 참조하고 판단하되, 감정을 실은 가장 적합한 답변을 결정할 수 있다. 사용자 장치(1100)는 주인공(1101)을 통해 사용자에게 감정을 반영한 음성을 들려줄 수 있다. 이때 사용자 장치(1100)는 TTS(Text to Speech) 엔진을 활용할 수 있다. 감정을 반영한 음성을 들려줄 때, 사용자 장치(1100)는 증강현실 기술을 적용하여 주인공(1101)에게 감정을 표현하도록 할 수 있다. 또한, 사용자 장치(1100)는 증강현실 기술을 적용하여 사용자 아바타도 감정을 표현하거나 주인공(1101)의 감정에 반응하도록 할 수 있다.
이를 통해 본 발명의 대화형 교육 시스템(1000)은 사용자가 원어민 발음의 주인공(1101)과 지속적으로 대화를 하게 할 수 있다. 또한, 본 발명은 사용자가 즐겁게 놀면서 쌍방향 대화를 하며 즐겁게 독서를 하게 할 수 있다. 또한, 본 발명은 영어 회화 교육을 하는 경우에, 주인공(1101)이 교사처럼 지도를 하되 칭찬과 지적을 적절히 하도록 스토리보드를 작성할 수 있다. 본 발명에 의하면, 사용자는 주인공(1101)과 쌍방간에 대화를 하면서 교육을 받을 수 있다.
스토리보드는 디지털 교육 교제를 작성할 때 함께 작성될 수 있으며, 작성된 스토리보드는 스토리보드 DB(1322)에 업데이트될 수 있다. 스토리보드 DB(1322)에는 사용자와 주인공(1101)이 대화한 내용이 업데이트 될 수 있다. 또한, 스토리보드 DB(1322)에는 사용자의 질문에 대한 답변이 제대로 되지 않은 경우에, 사례기반추론 엔진(1331)은 추가로 답변 내용을 추론하고 질문에 가장 맞는 답변 내용을 스토리보드 DB(1322)에 업데이트 할 수 있다.
도 5는 도 3에 도시된 서버 제어부의 동작 방법을 설명하기 위한 순서도이다. 도 5는 인공지능 기술을 적용한 서버 제어부(1330)가 사용자에게 들려줄 답변을 생성하는 과정을 상세하게 보여준다.
S110 단계에서, 서버 제어부(1330)는 사용자 장치(1100)로부터 사용자 인식 정보를 입력받는다. 여기에서, 사용자 인식 정보는 음성 인식 정보 또는 감정 인식 정보일 수 있다. 음성 인식 정보는 사용자 장치(1100)의 음성 인식 엔진에서 생성되고 음성 인식 정보 저장부(도 2 참조, 1121)에 저장될 수 있다. 감정 인식 정보는 감정 인식 엔진에서 생성되고 감정 인식 정보 저장부(도 2 참조, 1122)에 저장될 수 있다. 사용자 장치(1100)에 저장된 사용자 인식 정보는 사용자의 요청에 의해서 또는 실시간으로 교육 서버(1300)로 제공될 수 있다.
S120 단계에서, 서버 제어부(1330)는 사용자 인식 정보를 입력받고, 감정 코드를 분류할 수 있다. 서버 제어부(1330)는 사용자의 음성, 소리의 강약, 소리의 장단, 음성 속도, 억양 등 여러 요소들을 종합하여 감정 코드를 분류할 수 있다. 서버 제어부(1330)는 감정 사례 DB(1321)를 이용하여 감정 코드를 분류하고, 분류한 감정 코드를 감정 사례 DB(1321)에 업데이트할 수 있다. 한편, 서버 제어부(1330)는 복수의 사용자가 있는 경우에, 각각의 사용자 별로 감정 코드를 분류하고 감정 사례 DB(1321)에 업데이트할 수 있다.
S130 단계에서, 서버 제어부(1330)는 감정 코드를 포함한 음성 내용을 확정할 수 있다. 사용자 장치(1100)의 음성 인식 엔진에서 생성된 음성 인식 정보는 교육 서버(1300)로 제공된다. 교육 서버(1300)의 서버 제어부(1330)는 제공된 음성 인식 정보 및 감정 인식 정보를 텍스트 데이터로 확정하는 과정에서 음성 내용을 확정할 수 있다. 확정된 음성 내용에는 감정 코드가 포함될 수 있다. 서버 제어부(1330)는 감정 사례 DB(1321)에 저장된 감정 코드 또는 감정 사례를 참조하여 음성 내용을 확정할 수 있다.
S140 단계에서, 서버 제어부(1330)는 서버 제어부(1330)는 질문 내용을 기반으로 사례기반추론(CBR)을 이용하여 유사도 검색을 할 수 있다. 즉, 사례기반추론 엔진(1331)은 질문 내용에 가장 적합한 답변을 선정하기 위해 스토리보드 DB(1322) 내의 질문 사례들을 대상으로 유사도 검색을 수행할 수 있다.
S150 단계에서, 서버 제어부(1330)는 감정 코드를 적용한 답변을 선정할 수 있다. 사례기반추론 엔진(1331)은 감정 코드를 이용해서 사용자의 질문에 가장 적합한 답변을 스토리보드 DB(1322)에서 검색하고 확인할 수 있다. 여기에서, 감정 코드는 S120 단계에서 분류된 것일 수 있다. 감정 코드는 감정 사례 DB(1321)에 저장된 것일 수 있다. 주인공 답변 편집기(1332)는 감정 코드를 이용하여 주인공 답변 내용을 편집할 수 있다.
S160 단계에서, 서버 제어부(1330)는 답변 내용을 음성으로 처리하고 주인공 답변을 사용자 장치(1100)로 출력할 수 있다. 사용자 장치(1100)는 TTS(Text to Speech) 시스템을 통해 감정을 포함한 주인공 음성을 사용자에게 들려줄 수 있다. 서버 제어부(1330)는 사용자가 답변 내용에 만족하는지 여부를 피드백(feed back) 받을 수 있다. 서버 제어부(1330)는 피드백 정보를 참조하여, 대화형 교육 시스템(1000)을 업그레이드할 수 있다.
도 6은 도 3에 도시된 교육 서버의 회원 가입 및 인증 방법을 예시적으로 설명하기 위한 순서도이다.
S210 단계에서, 사용자는 사용자 장치(1100)를 이용하여 회원 가입을 할 수 있다. 사용자는 교육 서버(1300)에 접속하거나 사용자 어플리케이션을 통해 회원 가입을 할 수 있다. 교육 서버(1300)는 회원 가입 시에 사용자의 이름, 생년월일, 주민번호, 전화번호, 이메일, 주소 등과 같은 인적 사항을 요청할 수 있다. 교육 서버(1300)는 인적 사항 이외에도 사용자가 주로 이용하는 교육 분야나 관심 분야 등을 요청할 수 있다. 또한, 교육 서버(1300)는 사용자가 선호하는 책의 종류나 기호 등을 요청할 수 있다. 사용자는 교육 서버(1300)가 제공하는 요청에 응답하는 방식으로 회원 가입을 할 수 있다.
S220 단계에서, 사용자는 사용자 장치(1100)를 이용하여 본인 인증 절차를 수행할 수 있다. 본인 인증은 간단하게는 사용자 이름, 주민번호, 전화번호 등과 같은 인적 사항을 입력하는 등 기계적인 방법으로 수행되거나, 또는 은행 등에서 사용되는 공인 인증 수단을 통해 수행될 수 있다. 또한, 본인 인증은 홍채나 지문 등과 같은 생체 인증이나 핸드폰 인증 등과 같은 전자적 인증을 통해 수행될 수 있다.
S230 단계에서, 사용자가 입력하는 인증 정보를 기초로 인증 성공 여부를 판단할 수 있다. 교육 서버(1300)는 사용자가 입력하는 인증 정보와 회원 DB에 저장된 인증 정보(예를 들면, 공인 인증)를 비교함으로 인증 성공 여부를 판단할 수 있다. 본인 인증이 성공한 경우에는 S240 단계가 수행되고, 실패한 경우에는 S232 단계가 수행될 수 있다.
S232 단계에서는, S230 단계에서 인증이 성공하지 않은 경우에(NO), 인증 실패 수를 판단할 수 있다. 교육 서버(1300)는 사용자의 인증 실패 수가 N회 반복되었는지를 판단할 수 있다. 인증 실패 수가 N회 반복되지 않았으면, S220 단계가 수행된다. 즉, 교육 서버(1300)는 사용자에게 다시 본인 인증 절차를 수행하도록 안내할 수 있다. 그러나 인증 실패 수가 N회 반복된 경우에는 S234 단계가 수행된다.
S234 단계에서, 교육 서버(1300)는 인증 실패를 안내할 수 있다. 교육 서버(1300)는 사용자가 본인 인증을 N회 반복해서 실패한 경우에, 사용자에게 인증이 실패하였음을 안내하고 본인 인증 절차를 종료할 수 있다. 이때 사용자는 교육 서버(1300)의 운영자에게 요청하여 본인 인증을 다시 수행할 수 있다.
S240 단계에서, 교육 서버(1300)는 사용자 장치(1100)를 통해 사용자에게 회원 ID를 제공할 수 있다. 회원 ID는 교육 프로그램을 이용하는 경우에 사용될 수 있다. 회원 ID는 다음과 같은 순서로 발급 받을 수 있다. 도 6의 예를 참조하면, S241 단계에서 사용자는 사용자 장치(1100)를 이용하여 교육 서버(1300)에 접속할 수 있다. S242 단계에서 교육 서버(1300)는 사용자 정보를 요청할 수 있다. 사용자는 사용자 장치1100)를 이용하여 사용자 정보를 입력할 수 있다. S243 단계에서 사용자는 비밀번호를 입력할 수 있다. 여기에서 사용자 정보와 비밀번호는 회원가입 단계(S210)에서 입력한 정보와 동일한 정보일 수 있다.
도 7은 도 2에 도시된 사용자 장치의 동작 방법을 예시적으로 설명하기 위한 순서도이다. 도 7을 참조하면, 사용자 장치(1100)의 제어부(1130)는 교육 서버(1300)로부터 제공되거나 저장 매체로부터 제공된 교육 프로그램을 설치하도록 지원할 수 있다.
S310 단계에서, 제어부(1130)는 사용자 장치(1100)에 실행 프로그램(예를 들면, 교육 프로그램)을 설치할 수 있다. 실행 프로그램은 이동식 저장매체(예를 들면, USB나 메모리 카드 등) 또는 교육 서버(1300)로부터 다운로드를 통해 사용자 장치(1100)의 저장부(1120)에 저장되고 설치될 수 있다. 실행 프로그램에는 도 6에서 설명한 사용자 장치(1100)의 본인 인증을 위한 인증 데이터가 포함될 수 있다.
S320 단계에서, 제어부(1130)는 실행 프로그램의 설치가 성공했는지를 판단할 수 있다. 실행 프로그램의 설치가 실패하였으면(NO), 제어부(1130)는 프로그램 설치 실패를 안내할 수 있다(S325). 교육 프로그램 설치가 성공하였으면(YES), S330 단계를 수행할 수 있다.
S330 단계에서, 제어부(1130)는 사용자 장치(1100)의 입출력부(1110), 저장부(1120), 그리고 제어부(1130)의 정상 동작 여부를 확인할 수 있다. 제어부(1130)는 사용자가 사용자 장치(1100)를 이용하여 교육 서버(1300)에서 제공하는 교육 프로그램을 정상적으로 이용할 수 있는지를 확인할 수 있다.
S331 단계에서, 제어부(1130)는 사용자 장치(1100)의 입출력부(1110)의 동작을 확인할 수 있다. 먼저, 제어부(1130)는 교육 서버(1300)가 사용자 장치(1100)와 원활하게 연결되는지에 관하여 입출력부(1110)의 동작을 확인할 수 있다. 즉, 입력부(1111)가 사용자로부터 음성이나 감정을 입력받고, 교육 서버(1300)로부터 교육 정보나 질문에 대한 답변을 정상적으로 입력받을 수 있는지를 확인할 수 있다. 출력부(1112)가 사용자의 질문에 대한 답변 내용을 사용자에게 제공할 수 있는지 또는 사용자 인식 정보를 교육 서버(1300)로 제공할 수 있는지를 확인할 수 있다.
S332 단계에서, 제어부(1130)는 사용자 장치(1100)의 저장부(1120)의 동작을 확인할 수 있다. 제어부(1130)는 저장부(1120)가 입출력부(1110)로부터 수신하는 정보들을 정상적으로 저장하는지를 확인할 수 있다. 즉, 음성 인식 정보 저장부(1121)에 사용자로부터 입력된 음성 인식 정보가 저장되고, 감정 인석 정보 저장부(1122)에 감정 인식 정보가 저장되고, 발음 평가 정보 저장부(1123)에 교육 서버(1300)로부터 제공된 발음 평가 정보가 정상적으로 저장되는지를 확인할 수 있다.
S333 단계에서, 제어부(1130)가 정상적으로 동작하는지 여부를 확인할 수 있다. 제어부(1130)는 프로세서가 정상적으로 동작하는지를 확인할 수 있다. 제어부(1130)가 프로세서가 교육 프로그램의 명령에 따라 동작하는지를 확인할 수 있다.
도 8은 도 2에 도시된 사용자 장치의 제어부에 있는 프로세서를 예시적으로 보여주는 블록도이다. 도 8에 예시적으로 도시된 프로세서는 전용 보드 제품이다. 프로세서는 사용자의 질문 등 음성을 인식하고, QR 코드 또는 카메라를 통해 증강현실 시스템을 작동할 수 있으며, 애니메이션 동작을 수행할 수 있다. 스마트 폰과 같은 단말기를 통해서도 음성을 인식하고 시스템으로 활용할 수 있으나, 전용 보드를 이용하면 넓은 화면을 통해 더욱 즐겁게 주인공과 대화를 할 수 있다.
사용자 장치는 QR 코드를 인식하거나 카메라로 사진 영상을 인식하여 화면에 AR, MR 생성시 GPU가 연동하게 되며 이 처리시간이 수십 ms로 처리하도록 구현한다. 화면에 나타난 AR, MR 영상이 사용자와 실시간 음성 대화 할 때 자연스러운 얼굴 표정 변화와 감성있는 음성을 자연스럽게 처리하도록 CPU와 GPU에서 음성과 영상처리를 고속으로 처리하며 메모리 억세스 처리를 효율적으로 하게 한다.
도 8을 참조하면, 사용자 장치(1100)의 제어부(1130)는 CPU 프로세서에 연결되는 다양한 구성을 포함할 수 있다. 예를 들면, JTAG, Touch LCD, USB OTG, T-Flash, UART, PMIC, DDR4, CAMERA, 3-axia sensor, UART Debug, WiFI/BT, eMMC, MPI CSI/DSI, MIC, speaker, Audio CODEC, 그리고 Touch LCD 등을 포함할 수 있다.
종래의 독서는 저자의 일방적인 동화 내용 전달 방식이다. 그러나 사용자의 창의력을 높이고 즐거운 독서를 하기 위해서는 사용자가 주인공의 행위에 대해 자신의 생각을 표현할 필요가 있다. 본 발명은 사용자가 질문이 생각나는 즉시, 주인공과의 대화를 통해 질문에 대한 답변을 얻을 수 있다. 본 발명은 특히 어린이 사용자가 동화책을 읽을 때, 특정 상황에서 증강현실 기술을 활용하여 사용자 장치의 화면에 사용자 아바타 또는 주인공을 나타낼 수 있다. 사용자 아바타와 주인공 쌍방 간 대화를 하면서, 음성 인식 엔진을 통해 사용자의 질문, 의견 등 대화 내용을 음성인식을 하고 이를 분석할 수 있다. 또한, 본 발명은 사용자의 감정을 인식하고, 주인공이 보드 등 위에서 사용자의 감정에 대응하는 적절한 답변을 선택하여 응답을 하도록 할 수 있다.
상술한 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술한 실시 예들 이외에도, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들도 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술한 실시 예들에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

Claims (5)

  1. 사용자 장치와 통신하는 대화형 교육 시스템의 교육 서버에 있어서,
    상기 사용자 장치로부터 사용자의 사용자 인식 정보를 입력받고, 상기 사용자의 질문에 대한 답변 내용을 상기 사용자 장치로 제공하기 위한 서버 통신부;
    상기 사용자의 감정 사례를 저장하기 위한 감정 사례 DB, 상기 사용자 장치를 통해 제공되는 스토리의 내용을 저장하기 위한 스토리보드 DB, 그리고 상기 사용자 장치를 통해 증강현실 기술에 의한 등장 인물을 구현하기 위한 증강현실 DB를 포함하는 서버 저장부; 및
    상기 사용자 인식 정보를 기반으로 상기 사용자의 질문 내용에 대한 답변 내용을 사례기반추론을 통해 추론하고, 상기 등장 인물의 답변 내용을 상기 사용자에 맞게 편집하고, 상기 사용자와 상기 등장 인물 사이의 대화 내용을 파일로 처리하여 보관하는 서버 제어부를 포함하는 대화형 교육 시스템의 교육 서버.
  2. 제 1 항에 있어서,
    상기 서버 제어부는 상기 사용자의 음성이나 감정을 분석하고, 분석한 결과를 기초로 감정 코드를 생성하고, 상기 감정 사례 DB에서 감정 정보를 선택하고 편집함으로 상기 사용자의 질문에 대한 답변 내용을 생성하는 대화형 교육 시스템의 교육 서버.
  3. 제 1 항의 교육 서버와 통신하는 대화형 교육 시스템의 사용자 장치에 있어서,
    사용자로부터 음성 및 감정 정보를 입력받고, 상기 교육 서버로 사용자 인식 정보를 제공하고 상기 사용자의 질문 내용에 대한 답변 내용을 입력받기 위한 입출력부;
    상기 사용자의 음성 인식 정보와 감정 인식 정보를 저장하기 위한 저장부; 및
    상기 교육 서버로부터 입력받은 상기 사용자의 질문 내용에 대한 답변을 하기 위한 등장 인물을 화면에 표시하고, 상기 등장 인물을 통해 상기 사용자와 대화를 하도록 하는 제어부를 포함하는 사용자 장치.
  4. 제 3 항에 있어서,
    상기 제어부는 상기 사용자의 발음을 평가하고 발음 평가 정보를 상기 저장부에 저장하는 사용자 장치.
  5. 제 3 항에 있어서,
    상기 입출력부는 화면 터치를 통해 또는 QR 코드 스캔을 통해 상기 등장 인물을 화면에 표시하는 사용자 장치.
PCT/KR2019/016623 2018-11-28 2019-11-28 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 WO2020111835A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0149366 2018-11-28
KR20180149366 2018-11-28
KR10-2019-0155800 2019-11-28
KR1020190155800A KR102341634B1 (ko) 2018-11-28 2019-11-28 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버

Publications (1)

Publication Number Publication Date
WO2020111835A1 true WO2020111835A1 (ko) 2020-06-04

Family

ID=70852153

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016623 WO2020111835A1 (ko) 2018-11-28 2019-11-28 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버

Country Status (1)

Country Link
WO (1) WO2020111835A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218912A (zh) * 2023-05-09 2023-12-12 华中师范大学 一种智能教育互动系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100136192A (ko) * 2009-06-18 2010-12-28 포항공과대학교 산학협력단 외국어 회화 연습 방법 및 장치와 이것의 빠른 개발과 검증을 돕는 학습자 시뮬레이션 방법과 장치
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
KR20160100811A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 정보 제공 방법 및 디바이스
KR20180108400A (ko) * 2017-03-23 2018-10-04 삼성전자주식회사 전자 장치, 그의 제어 방법 및 비일시적 컴퓨터 판독가능 기록매체
JP2018156272A (ja) * 2017-03-16 2018-10-04 国立研究開発法人情報通信研究機構 対話システム、対話装置及びそのためのコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100136192A (ko) * 2009-06-18 2010-12-28 포항공과대학교 산학협력단 외국어 회화 연습 방법 및 장치와 이것의 빠른 개발과 검증을 돕는 학습자 시뮬레이션 방법과 장치
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
KR20160100811A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 정보 제공 방법 및 디바이스
JP2018156272A (ja) * 2017-03-16 2018-10-04 国立研究開発法人情報通信研究機構 対話システム、対話装置及びそのためのコンピュータプログラム
KR20180108400A (ko) * 2017-03-23 2018-10-04 삼성전자주식회사 전자 장치, 그의 제어 방법 및 비일시적 컴퓨터 판독가능 기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218912A (zh) * 2023-05-09 2023-12-12 华中师范大学 一种智能教育互动系统
CN117218912B (zh) * 2023-05-09 2024-03-26 华中师范大学 一种智能教育互动系统

Similar Documents

Publication Publication Date Title
Cole et al. Perceptive animated interfaces: First steps toward a new paradigm for human-computer interaction
Swartout et al. Virtual humans for learning
US9378650B2 (en) System and method for providing scalable educational content
Gebhard et al. Serious games for training social skills in job interviews
Garcia-Garcia et al. Multimodal affective computing to enhance the user experience of educational software applications
Andriella et al. Do i have a personality? endowing care robots with context-dependent personality traits
CN110992222A (zh) 教学交互方法、装置、终端设备及存储介质
WO2022182064A1 (ko) 인공지능 아바타 튜터를 활용한 회화 학습 시스템 및 그 방법
CN108629497A (zh) 课程内容掌握程度评价方法和装置
CN110767005A (zh) 基于儿童专用智能设备的数据处理方法及系统
Jia et al. A multimodal human-computer interaction system and its application in smart learning environments
CN117541444B (zh) 一种互动虚拟现实口才表达训练方法、装置、设备及介质
Rehm et al. From observation to simulation: generating culture-specific behavior for interactive systems
CN117522643B (zh) 一种口才训练方法、装置、设备及存储介质
Faisal et al. Towards a reference model for sensor-supported learning systems
KR20080114100A (ko) 컴퓨터 주도형 대화 장치 및 방법
WO2020111835A1 (ko) 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
KR102341634B1 (ko) 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
Huang et al. Design dimensions for holographic intelligent agents: A comparative analysis
Li et al. Designing a realistic peer-like embodied conversational agent for supporting children's storytelling
KR102536372B1 (ko) 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
US20220309936A1 (en) Video education content providing method and apparatus based on artificial intelligence natural language processing using characters
Toncu et al. Escape from dungeon—modeling user intentions with natural language processing techniques
CN112634684B (zh) 智能教学方法和装置
CN110718119A (zh) 基于儿童专用穿戴智能设备的教育能力支持方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19890285

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19890285

Country of ref document: EP

Kind code of ref document: A1