WO2020149621A1 - 영어 말하기 평가 시스템 및 방법 - Google Patents

영어 말하기 평가 시스템 및 방법 Download PDF

Info

Publication number
WO2020149621A1
WO2020149621A1 PCT/KR2020/000694 KR2020000694W WO2020149621A1 WO 2020149621 A1 WO2020149621 A1 WO 2020149621A1 KR 2020000694 W KR2020000694 W KR 2020000694W WO 2020149621 A1 WO2020149621 A1 WO 2020149621A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
response
evaluation
sentence
voice
Prior art date
Application number
PCT/KR2020/000694
Other languages
English (en)
French (fr)
Inventor
김주혁
이승명
Original Assignee
김주혁
이승명
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190004615A external-priority patent/KR102196917B1/ko
Application filed by 김주혁, 이승명 filed Critical 김주혁
Priority claimed from KR1020200004995A external-priority patent/KR102337754B1/ko
Publication of WO2020149621A1 publication Critical patent/WO2020149621A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present invention relates to an English speaking evaluation system and method.
  • the method of evaluating English speaking can be largely divided into human evaluation and machine evaluation. Evaluation by a person can evaluate the intention of the evaluator and the qualitative part of the sentence, depending on the evaluator's experience and background knowledge, but sometimes it may have unobjective results depending on the evaluator's subject. In particular, the evaluation by a person may be different depending on who evaluates the evaluator and the evaluation time and environment, even if the evaluator is the same evaluator.
  • Machine-based evaluation can be performed consistently and quickly, without time and environmental constraints, but criteria for more reliable evaluation are needed.
  • An object of the present invention is to provide a system and method for evaluating English speaking that allows users to evaluate their English speaking skills with high reliability in a short time without limitation of time and environment.
  • an English speaking evaluation system includes: a user terminal including one or more function modules, and a service server receiving and processing information received from the one or more function modules; Including a network for providing communication between the user terminal and the service server, the service server includes a communication unit for providing communication with the user terminal, and a storage unit for storing the input information and information necessary for evaluation. And a control unit that receives a voice from the user terminal to generate text, analyzes the generated text syntax, and evaluates the result based on the analyzed result.
  • the one or more functional modules may include at least one of a display module, an audio module, an input module, a sensor module, a camera module, and a communication module.
  • the user terminal is a VR (Virtual Reality) device, AR (Augmented Reality) device, mobile phone, PMP (Portable Multimedia Player), MID (Mobile Internet Device), smart phone (Smart Phone), desktop (Desktop), tablet computer (Tablet) PC), a notebook (Note book), a netbook (Net book), a server (Server) and a mobile (Mobile) terminal.
  • VR Virtual Reality
  • AR Augmented Reality
  • PMP Portable Multimedia Player
  • MID Mobile Internet Device
  • smart phone Smart Phone
  • desktop Desktop
  • Tablett tablet computer
  • notebook Note book
  • Netbook Net book
  • server Server
  • Mobile mobile terminal
  • Information received from the one or more function modules may include user identification information and user response voice information.
  • the control unit includes an artificial intelligence speech recognition module for generating text by receiving speech from the user terminal, a natural language analysis deep learning module for analyzing text phrases generated in the artificial intelligence speech recognition module, and the natural language analysis deep learning module It may include an evaluation module for evaluating based on the results analyzed in the, and a rating calculation module for calculating a user rating based on the results evaluated in the evaluation module.
  • the natural language analysis deep learning module may perform voice analysis for receiving voice from the user terminal and analyzing at least one of volume, response time, length, persistence, and pronunciation accuracy.
  • the natural language analysis deep learning module may perform sentence analysis that analyzes at least one of parts of speech, sentence structure, subject, tense, and vocabulary targeting text phrases generated by the artificial intelligence speech recognition module.
  • the natural language analysis deep learning module compares at least one of sentence originality, expression accuracy, and euphemism expression by comparing the text phrase generated by the AI speech recognition module with another user's answer previously stored. Analysis can be performed.
  • the evaluation module based on the results analyzed in the deep learning module of the natural language analysis, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, topic accuracy, expression accuracy, sentence originality, meaning It can evaluate at least one of transmittance, answer length, tense match, sentence type diversity, vocabulary, vocabulary overlap, problem comprehension, topic solving, sudden response, role performance, and question performance.
  • the English speaking evaluation system may further include a database that stores information for user authentication and answer information of other users previously stored for each problem.
  • An English speaking evaluation method comprises the steps of: receiving a user response voice from a user terminal; Evaluating each problem based on the user's answer voice; Comprehensive evaluation based on the problem attributes and the analysis results for each problem; Calculating a user rating based on the problem-specific evaluation and the comprehensive evaluation; And providing the user's evaluation result and the user rating to the user terminal.
  • the evaluation of each problem based on the user response voice may include: analyzing the user response voice; Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And parsing the generated text through text through a natural language analysis deep learning model.
  • the analyzing the user response voice may include analyzing at least one of the volume, response time, length, persistence, and pronunciation accuracy of the user response.
  • the step of parsing the generated text through the natural language analysis deep learning model may include analyzing at least one of parts of speech, sentence structure, subject, tense, and vocabulary of the generated text.
  • the evaluation of each problem based on the user response voice may include: analyzing the user response voice; Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And analyzing the characteristics of the expression by comparing the generated text with answers of other users stored in advance.
  • the step of evaluating each problem based on the voice of the user's answer includes the amount of response of the user, the speed of the response, the persistence of the answer, the detail of the modifier, the variety of access words, the ability to respond, the accuracy of the subject, the accuracy of expression, based on the voice of the user's answer And evaluating at least one of sentence originality, meaning conveyance, response length, tense match, sentence type diversity, vocabulary, and vocabulary redundancy.
  • Comprehensive evaluation based on the problem attribute and the analysis result for each problem may include at least one of the complexity of the problem, the difficulty of the topic, the difficulty of the speed, whether there is a breakthrough, whether to play the role, whether to ask me, and the possible tense Attributes, volume analysis by question, response time analysis, length analysis, tense analysis, sentence structure analysis, part-of-speech analysis, subject analysis, persistence analysis, expression accuracy analysis, euphemism expression analysis, vocabulary analysis, sentence originality analysis, and pronunciation accuracy It may include at least one of the analysis.
  • Comprehensive evaluation based on the problem attribute and the analysis result for each problem may include at least one of the user's problem understanding, topic solving ability, sudden response ability, role performance, and question performance based on the problem attribute and problem analysis result. And evaluating.
  • the step of providing the user's evaluation result and the user rating to the user terminal may include providing an average result value of all users corresponding to the user rating to the user terminal.
  • An English speaking evaluation method comprises the steps of: receiving a user response voice from a user terminal; Analyzing the user answer voice; Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; Parsing the generated text through text through a natural language analysis deep learning model; Based on the user response voice, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, topic accuracy, expression accuracy, sentence originality, meaning transmission, response length, tense match, sentence format diversity, Evaluating at least one of vocabulary power and lexical overlap by applying an evaluation function; Calculating a user rating based on the evaluation result; And providing the user's evaluation result and the user rating to the user terminal.
  • Evaluating at least one of vocabulary power and vocabulary redundancy by applying an evaluation function may include evaluating a user's response volume by applying a second function based on the user's answer voice.
  • the quadratic function may have a feature in which the evaluation score increases as the response amount of the user increases, and then decreases when the evaluation score exceeds the maximum.
  • Evaluating at least one of vocabulary power and vocabulary redundancy by applying an evaluation function may include evaluating a user's response speed by applying a third-order function based on the user's answer voice.
  • the evaluation score increases as the response speed of the user increases, and as the response speed of the user increases, the increase of the evaluation score is initially small, and the increase of the evaluation score is large in the middle term, and at the end It may have a characteristic that the degree of increase in the evaluation score is reduced.
  • Evaluating at least one of vocabulary power and vocabulary redundancy by applying an evaluation function may include evaluating a user's response speed by applying a sum of an exponential function and a logarithmic function based on the user's answer voice. .
  • the exponential function may have a feature that an evaluation score increases as the response speed of the user increases, and an increase in the evaluation score increases as the response speed of the user increases.
  • the log function may have a feature that an evaluation score increases as the response speed of the user increases, and an increase in the evaluation score decreases as the response speed of the user increases.
  • Evaluating at least one of vocabulary power and vocabulary redundancy by applying an evaluation function may include evaluating a user's response persistence by applying a primary function based on the user's answer voice.
  • the first-order function may have a feature that an evaluation score decreases as the user's response persistence increases.
  • the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, topic accuracy, expression accuracy, sentence originality, meaning conveyance, response length, tense match, sentence format diversity, Evaluating at least one of vocabulary power and vocabulary redundancy by applying an evaluation function is performed by evaluating the user's modifier detail, access word diversity, answer length, and sentence type diversity by applying a log function based on the user's answer voice. It may include steps.
  • the evaluation score increases, and the user's modifier detail, access word diversity, answer length, and sentence format diversity increases. It may have a characteristic that the degree of increase in the evaluation score is reduced.
  • Evaluating at least one of vocabulary power and vocabulary redundancy by applying an evaluation function may include evaluating a user's vocabulary power by applying a primary function based on the user's answer voice.
  • the first-order function may have a feature that an evaluation score increases as the vocabulary of the user increases.
  • the English speaking evaluation system and method by using artificial intelligence and deep learning and evaluating English speaking skills by applying an evaluation function, the user can quickly and reliably without limitation of time and environment. You can be evaluated for high English speaking skills.
  • a VR/AR device by allowing the user to experience the environment of taking a test in an English speaking test site, the user can achieve an effect of obtaining better results in an actual English speaking test.
  • FIG. 1 is a configuration diagram schematically showing an English speaking evaluation system according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically showing the configuration of the user terminal of FIG. 1 according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically showing the configuration of the service server of FIG. 1 according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an English speaking evaluation method according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an evaluation method for each problem in FIG. 4 according to an embodiment of the present invention.
  • FIG. 6 is an example of providing an evaluation result and a rating to a user according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an English speaking evaluation method according to an embodiment of the present invention.
  • FIG. 8 to 15 are views schematically showing the evaluation function of FIG. 7 according to an embodiment of the present invention.
  • first, second, etc. may be used to describe various elements, elements, regions, layers, and/or sections, but such elements, elements, regions, layers, and/or Or sections are not limited to these terms. These terms are used to distinguish one element, element, region, layer, and/or section from another element, element, region, layer, or section. Thus, the first element, element, region, layer, and/or section in one embodiment may be referred to as the second element, element, region, layer, and/or section in another embodiment.
  • FIG. 1 is a configuration diagram schematically showing an English speaking evaluation system according to an embodiment of the present invention.
  • the English speaking evaluation system includes a user terminal 10, a network 20 and a service server 30, and the user terminal 10 and the service server 30 are connected through a network 20 It transmits and receives all data and information necessary for English speaking evaluation.
  • the English speaking evaluation system may include a database 40 that stores information for user authentication and answer information of other users pre-stored for each problem.
  • the user terminal 10 requests the user authentication to the service server 30 through the network 20 when the user starts the English speaking evaluation by running the English speaking evaluation program or application installed on the user terminal 10.
  • the user terminal 10 starts to speak in English
  • the user input including the answer according to the user's survey is transmitted to the service server 30, and all data and information required for evaluating the English speaking are provided to the service server 30. It receives and shows it to the user.
  • the user terminal 10 is described as a typical example of a mobile communication terminal that is connected to the network 20 and can transmit and receive data, but the terminal is not limited to a mobile communication terminal, all information communication devices, multimedia terminals, wired/wireless terminals , Fixed terminals and various terminals such as IP (Internet Protocol) terminals.
  • the terminal is a VR (Virtual Reality) device, AR (Augmented Reality) device, mobile phone, PMP (Portable Multimedia Player), MID (Mobile Internet Device), smart phone (Smart Phone), desktop (Desktop), tablet computer (Tablet) PC), a notebook (Note book), a net book (Net book), a server (Server) and a mobile terminal having various mobile communication specifications such as an information communication device.
  • Various types of communication networks may be used as the network 20, for example, WLAN, Wireless LAN, Bluetooth, Wi-Fi, Wibro, Wimax, and high-speed downlink packet access ( Wireless communication methods such as HSDPA, High Speed Downlink Packet Access, or Ethernet, xDSL (ADSL, VDSL), HFC (Hybrid Fiber Coax), FTTC (Fiber to The Curb), FTTH (Fiber To The Home), etc.
  • a wired communication method can be used.
  • the network 20 is not limited to the above-described communication method, and may include all other well-known or future communication methods in addition to the above-described communication method.
  • the service server 30 transmits and receives all data and information necessary for the English speaking evaluation through the user terminal 10 and the network 20 to provide an English speaking evaluation service.
  • the service server 30 receives a user authentication request for starting an English speaking evaluation from the user terminal 10 and performs a user login process.
  • the service server 30 may provide a launching module required for English speaking evaluation.
  • the service server 30 receives a user input including an answer according to the user's survey from the user terminal 10 and transmits data and information necessary for the English speaking evaluation of the user.
  • the user terminal 10 may include one or more function modules, and the service server 30 may receive and process information received from one or more function modules of the user terminal 10.
  • the information received from one or more functional modules may include user identification information and user response voice information.
  • the service server 30 may include a server operated by an English speaking evaluation service provider. As an embodiment, it may include a server operated by an English speaking evaluation service provider such as Pagoda, hackers, Byungcheol Min, YBM, Siwon School.
  • the database 40 stores all information necessary for English speaking evaluation, including information for user authentication.
  • the database 40 may store information for user authentication and answer information of other users previously stored for each problem.
  • FIG. 2 is a diagram schematically showing the configuration of the user terminal of FIG. 1 according to an embodiment of the present invention.
  • the user terminal 10 includes one or more functional modules.
  • the user terminal 10 may include a display module 110, an audio module 120, an input module 130, a sensor module 140, a camera module 150, and a communication module 160. have.
  • the display module 110 can include any suitable screen or projection system to provide a visible indication to the user.
  • the display module 110 may include a head mounted display (HMD) included in a VR device.
  • HMD head mounted display
  • the audio module 120 may include any suitable audio component for providing audio to the user.
  • the audio module 120 may include a speaker and/or a microphone.
  • the input module 130 may be a user interface that gives a user input or command.
  • the input module 130 may be implemented as a button, keypad, dial, click wheel, touch pad or touch screen.
  • the sensor module 140 may include a sensor that senses information such as a user's location and environment.
  • the sensor module 140 may include a magnetic sensor that detects a change in the geomagnetic field.
  • the camera module 150 may include a device capable of capturing or capturing still images and videos.
  • the camera module 150 may include at least one of an image sensor, a lens, an image signal processor (ISP), and a flash.
  • ISP image signal processor
  • the communication module 160 refers to a module for communicating with the service server 30 through the network 20 and may be embedded in the user terminal 10.
  • the communication module 160 may include at least one of a mobile communication module, a wireless Internet module, and a short-range communication module.
  • FIG. 3 is a diagram schematically showing the configuration of the service server of FIG. 1 according to an embodiment of the present invention.
  • the service server 30 includes a communication unit 310, a storage unit 320, and a control unit 330.
  • the communication unit 310 exchanges data with the user terminal 10 through the network 20.
  • the storage unit 320 stores data and programs for the operation of the service server 30.
  • the storage unit 320 may serve as a database 40 by storing information input from the user terminal 10 and information necessary for English speaking evaluation. That is, the storage unit 320 may store information for user authentication and answer information of other users previously stored for each problem.
  • the control unit 330 receives the voice from the user terminal 10 to generate text, and analyzes the generated text syntax to evaluate the user's English speaking ability based on the analyzed result.
  • the control unit 330 may include an artificial intelligence speech recognition module 331, a natural language analysis deep learning module 332, an evaluation module 333, and a grade calculation module 334.
  • the artificial intelligence speech recognition module 331 receives a voice from the user terminal 10 and generates text by applying artificial intelligence speech recognition technology (STT: Speech-To-Text).
  • STT Speech-To-Text
  • the natural language analysis deep learning module 332 analyzes the text phrase generated in the artificial intelligence speech recognition module 331 through a natural language analysis deep learning model.
  • the natural language analysis deep learning module 332 may receive a voice from the user terminal 10 and perform voice analysis to analyze at least one of volume, response time, length, persistence, and pronunciation accuracy.
  • the natural language analysis deep learning module 332 performs sentence analysis that analyzes at least one of parts of speech, sentence structure, subject, tense, and vocabulary targeting text phrases generated by the artificial intelligence speech recognition module 331 can do.
  • the natural language analysis deep learning module 332 is in the sentence originality, expression accuracy, and euphemism expression by comparing the text phrase generated by the artificial intelligence speech recognition module 331 with the answers of other users previously stored. Comparative analysis may be performed to analyze at least one or more.
  • the evaluation module 333 evaluates the user's English speaking ability based on the results analyzed by the natural language analysis deep learning module 332. As an embodiment, the evaluation module 333 based on the results analyzed in the natural language analysis deep learning module 332, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, subject accuracy, At least one of expression accuracy, sentence originality, meaning transferability, response length, tense matching, sentence type diversity, vocabulary, vocabulary redundancy, problem understanding, topic solving ability, sudden response, role performance, and question performance can be evaluated.
  • the evaluation module 333 is based on the user's response voice, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, subject accuracy, At least one of expression accuracy, sentence originality, meaning transferability, response length, tense match, sentence type diversity, vocabulary, and vocabulary redundancy is evaluated by applying an evaluation function.
  • the evaluation function may include at least one of a quadratic function, a cubic function, an exponential function, a logarithmic function, and a linear function.
  • the rating calculation module 334 calculates the user rating based on the results evaluated by the rating module 333.
  • FIG. 4 is a flowchart illustrating an English speaking evaluation method according to an embodiment of the present invention.
  • the English speaking evaluation program or application installed in the user terminal is executed by the user.
  • the service server may provide a problem for the English speaking evaluation to the user terminal.
  • the problem may include at least one of the subject matter of the item selected in the survey, the unexpected subject matter, and the role play type problem.
  • provision of a problem for evaluating English speaking may include a question banking method.
  • the question banking method includes question bank registration for pre-registration of types of problems in the database, problem prefix registration for pre-registration of phrases that can be added to the front of the problem, and back of problems.
  • Problems to pre-register phrases that can be added to the situation separately Problems including postfix registration Bank construction stages, and question/selection/progress/role-play type selection of the problem type, topics such as movies, music Selecting a problem Topic selection, problem prefix, problem body, and problem postfix are combined to create a problem type, a problem that automatically composes a sentence according to the problem topic, sentence construction, and outputs at least one of images, images, and sounds to the user terminal. It may include a question submission step that includes an output.
  • the service server receives a user response voice from the user terminal (S10), and evaluates the user response by problem based on the user response voice (S20).
  • the service server provides the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, subject accuracy, expression accuracy, based on the user response voice It is possible to evaluate at least one of sentence originality, meaning conveyance, answer length, tense match, sentence type diversity, vocabulary, and vocabulary overlap.
  • the service server comprehensively evaluates the user's answers based on the problem attributes and the analysis results for each problem (S30), calculates the user rating based on the evaluation for each problem and the comprehensive evaluation (S40), and provides the evaluation results and rating to the user (S50).
  • the service server may include a problem attribute including at least one of a complexity of a problem, a difficulty of a topic, a difficulty of a speed, a suddenness, whether to play a role, whether to ask me, and a possible tense, Analysis of the amount of user response by problem, analysis of response time, length analysis, tense analysis, sentence structure analysis, part-of-speech analysis, topic analysis, persistence analysis, expression accuracy analysis, euphemism expression analysis, vocabulary analysis, sentence originality analysis, and pronunciation accuracy analysis Based on the analysis results for each problem including at least one of the results, the user's answer may be comprehensively evaluated.
  • the service server may evaluate at least one of a user's problem understanding, topic solving ability, unexpected response ability, role performance ability, and question performance ability based on problem attributes and analysis results for each problem. .
  • the service server in order to calculate the user rating, is an evaluation factor for evaluation by problem, such as response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, subject accuracy, expression accuracy, Scores can be calculated by applying weights to each of sentence originality, meaning conveyance, answer length, tense match, sentence type diversity, vocabulary, and vocabulary overlap.
  • the service server in order to provide the user's evaluation result and user rating, may provide the user terminal with an average result value of all users corresponding to the user rating together with the user evaluation result value.
  • the service server may provide the user terminal with an average result value of all users corresponding to the user rating together with the user evaluation result value.
  • FIG. 5 is a flowchart illustrating an evaluation method for each problem in FIG. 4 according to an embodiment of the present invention.
  • the service server analyzes the user's answer voice to evaluate the user's answer by problem (S210), generates text by applying artificial intelligence speech recognition technology to the user's answer voice (S220), and generates Parsed text through natural language analysis deep learning model (S230).
  • the service server may analyze at least one of a user response volume, a response time, a length, a duration, and a pronunciation accuracy for voice analysis.
  • the service server may analyze at least one of parts of speech, sentence structure, subject, tense, and vocabulary of the generated text in order to analyze text syntax through a deep learning model.
  • the service server analyzes the user's answer voice to evaluate the user's answer by problem (S210), generates text by applying artificial intelligence speech recognition technology to the user's answer voice (S220), and generates The characteristic of the expression is analyzed by comparing the old text with the answers of other users stored in advance (S240).
  • S210 the service server analyzes the user's answer voice to evaluate the user's answer by problem
  • S220 the user's answer voice
  • the characteristic of the expression is analyzed by comparing the old text with the answers of other users stored in advance (S240).
  • at least one of sentence originality, expression accuracy, and euphemism expression may be analyzed through comparison of the generated text with the answers of other pre-stored users.
  • FIG. 6 is an example of providing an evaluation result and a rating to a user according to an embodiment of the present invention.
  • the user can check the average score of the IH grade, which is the grade to which the user belongs, along with his evaluation result.
  • the user can check the detailed evaluation result for each evaluation criterion composed of four axes, so that the user can clearly know the part to be supplemented to improve his/her English speaking ability.
  • FIG. 7 is a flowchart illustrating an English speaking evaluation method according to an embodiment of the present invention.
  • the service server receives a user response voice from the user terminal (S100), and analyzes the user response voice to evaluate the user response (S200).
  • the service server generates text by applying artificial intelligence speech recognition technology to the user's answer voice (S300), and then parses the generated text through a natural language analysis deep learning model (S400).
  • the service server evaluates the user's answer, based on the user's response voice, the user's response volume, response speed, response persistence, modifier detail, access word diversity, responsiveness, topic accuracy, expression accuracy, sentence originality, meaning delivery, response At least one of length, tense match, sentence type diversity, vocabulary power, and vocabulary overlap is evaluated by applying an evaluation function (S500).
  • the service server may evaluate a user's response volume based on a user's response voice by applying a quadratic function.
  • the quadratic function may have a feature in which the evaluation score increases as the user's response volume increases, and then decreases when the evaluation score exceeds the maximum.
  • the service server may evaluate a user's response speed by applying a cubic function based on the user's response voice.
  • the third-order function increases the evaluation score as the user's response speed increases, and as the user's response speed increases, the increase in the evaluation score is small in the early stage, the increase in the evaluation score in the middle stage, and the evaluation score in the end stage. It may have a feature that the degree of ascent increases.
  • the service server may evaluate the response speed of the user based on the voice of the user's response by applying the sum of the exponential and logarithmic functions.
  • the exponential function may have a feature that an evaluation score increases as the user's response speed increases, and an increase in the evaluation score increases as the user's response speed increases, and the log function evaluates as the user's response speed increases. As the score increases and the response speed of the user increases, the degree of increase in the evaluation score may be reduced.
  • the service server may evaluate the persistence of the user's response by applying a first-order function based on the user's response voice.
  • the first-order function may have a feature that the evaluation score decreases as the user's response persistence increases.
  • the service server may evaluate the user's modifier detail, access word diversity, answer length, and sentence type diversity based on the voice of the user's answer by applying a log function.
  • the log function increases the evaluation score as the user's modifier detail, access word diversity, answer length and sentence type diversity increase, and the user's modifier detail, access word diversity, answer length and sentence type diversity increases. It may have a feature that the degree of ascent increases.
  • the service server may evaluate the user's vocabulary by applying a first-order function based on the user's answer voice.
  • the first-order function may have a feature that an evaluation score increases as a user's vocabulary increases.
  • the service server calculates the user rating based on the evaluation result (S600), and provides the evaluation result and rating to the user (S700).
  • FIG. 8 to 15 are views schematically showing the evaluation function of FIG. 7 according to an embodiment of the present invention.
  • the quadratic function has a feature in which the evaluation score increases as the input increases, and then decreases when the evaluation score passes the highest point.
  • the service server may evaluate the user's response volume based on the user's response voice by applying the quadratic function of FIG. 8.
  • the input may be a user response amount in dBFS (decibel full scale) units, and may have a value between -50 and 0, and an output may have a value between 0 and 10 points as an evaluation score.
  • the service server may determine the most appropriate response volume when the user response volume is -20dBFS. As an embodiment, the service server may determine that the user's self-confidence is lacking if the user's response volume is less than -20dBFS, and may lower the evaluation score. If it is greater than -20dBFS, the user determines that the user does not consider the other person, and the evaluation score Can be lowered.
  • the evaluation score increases as the input increases, and the increase in the evaluation score is small initially as the input increases, and the increase in the evaluation score increases in the middle term, and the evaluation score increases at the end. It has a feature that the degree of ascent increases.
  • the service server may evaluate the user's response speed based on the user's response voice by applying the third order function of FIG. 9.
  • the input may have a character per second (cps) unit as a user response speed, and the output may have a value between 0 and 10 points as an evaluation score.
  • the service server may divide the total number of characters in the user's answer English by the response time and score the evaluation based on the number of characters per second.
  • the evaluation score rises slowly
  • the evaluation score rises rapidly
  • the evaluation score may drop. That is, the service server may determine that if the user response speed is too fast, the ability to accurately deliver the response content to the other party is weakened.
  • the first order function has a feature in that the evaluation score decreases as the input increases.
  • the service server may evaluate the persistence of the user's response by applying the first-order function of FIG. 10 based on the user's response voice.
  • the input may have a unit of seconds as a non-speaking time during user response, and the output may have a value between 0 and 10 points as an evaluation score.
  • the service server sums all times (milliseconds) when a user stops speaking or makes a meaningless sound between words and words, or between sentences and sentences while speaking in English.
  • the duration (second) can be extracted.
  • the service server may lower the evaluation score as the non-duration time increases.
  • the logarithmic function has a feature in which the evaluation score increases as the input increases, and the increase in the evaluation score decreases as the input increases.
  • the service server may evaluate a user's modifier detail based on the voice of the user's answer by applying the log function of FIG. 11.
  • the input may be the number of modifiers included in the user answer, for example, adjectives, adverbs, adjective phrases, adverbs, and the output may have a value between 0 and 10 points as an evaluation score.
  • the service server may distribute the evaluation score in the form of a log function in which the increase of the evaluation score is reduced when the number of modifiers included in the user answer is 15 or more.
  • the logarithmic function has a feature in which the evaluation score increases as the input increases, and the increase in the evaluation score decreases as the input increases.
  • the service server may evaluate the user's access word diversity based on the user's answer voice by applying the log function of FIG. 12.
  • the input may be the number of access words included in the user answer, and the output may have a value between 0 and 10 points as an evaluation score.
  • the service server determines that the ability of the user to construct or connect the sentence is good, so that the evaluation score can be high.
  • the service server may distribute the evaluation score in the form of a log function in which the increase in the evaluation score decreases when there are four or more access words included in the user answer.
  • the logarithmic function has a feature in which the evaluation score increases as the input increases, and the increase in the evaluation score decreases as the input increases.
  • the service server may evaluate a user's response length based on the user's response voice by applying the log function of FIG. 13.
  • the input may correspond to any number of characters included in the user's answer, and the output may have a value between 0 and 10 points as an evaluation score.
  • the service server may measure the length of an answer by counting the number of characters of all words used in a user answer.
  • the service server may distribute the evaluation score in the form of a log function in which the evaluation score increases as the response length of the user increases, and the increase in the evaluation score decreases.
  • the logarithmic function has a feature in that the evaluation score increases as the input increases, and the increase in the evaluation score decreases as the input increases.
  • the service server may evaluate the user's sentence type diversity based on the user's response voice by applying the log function of FIG. 14.
  • the input may be the number of sentence components included in the user answer, and the output may have a value between 0 and 10 points as an evaluation score.
  • the service server the more the number of sentence components included in the user answer, for example, subject, verb, object, bore, modifier, access word, compound word, etc., the user constructs or connects a sentence It can be judged as having good ability to score high scores.
  • the service server may distribute the evaluation score in the form of a log function in which the increase in the evaluation score decreases when there are 25 or more modifiers included in the user answer.
  • the first-order function has a feature that an evaluation score increases as a user's vocabulary increases.
  • the service server may evaluate the user's vocabulary based on the user's answer voice by applying the first-order function of FIG. 15.
  • the input may be the number of words included in the user answer, and the output may have a value between 0 and 10 points as an evaluation score.
  • the service server may count as one when the same word is duplicated.
  • the English speaking evaluation method uses artificial intelligence and deep learning and evaluates English speaking skills by applying an evaluation function, so that the user can save time and time. It allows you to evaluate your English speaking skills with confidence in a short period of time, without being restricted by the environment.
  • a VR/AR device by allowing the user to experience the environment of taking a test in an English speaking test site, the user can achieve an effect of obtaining better results in an actual English speaking test.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 실시예에 따른 영어 말하기 평가 시스템은, 하나 이상의 기능 모듈을 포함하는 사용자 단말과, 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리하는 서비스 서버와, 사용자 단말과 서비스 서버 간의 통신을 제공하는 네트워크를 포함하되, 서비스 서버는, 사용자 단말과의 통신을 제공하는 통신부와, 입력 받은 정보들 및 평가를 위해 필요한 정보들을 저장하는 저장부와, 사용자 단말로부터 음성을 수신하여 텍스트를 생성하고 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 평가하는 제어부를 포함한다.

Description

영어 말하기 평가 시스템 및 방법
본 발명은 영어 말하기 평가 시스템 및 방법에 관한 것이다.
영어 말하기를 평가하는 방법은 크게 사람에 의한 평가와 기계에 의한 평가로 구분할 수 있다. 사람에 의한 평가는 평가자의 경험과 배경지식 등에 따라 평가 대상자의 의도와 문장의 질적인 부분까지 평가할 수 있지만, 평가자의 주관에 따라 때때로 객관적이지 않은 결과를 가져올 수 있다. 특히, 사람에 의한 평가는 평가자가 누구인지, 동일 평가자라 하더라도 평가하는 시간과 그 환경에 따라 평가 결과가 달라질 수 있으며, 평가 시간도 많이 소요될 수 있다.
기계에 의한 평가는 시간과 환경의 제약없이, 빠른 시간에 일관적인 평가를 수행할 수 있지만, 보다 신뢰도 있는 평가를 위한 기준이 필요하다.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
본 발명의 실시예는 사용자가 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있는 영어 말하기 평가 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 영어 말하기 평가 시스템은, 하나 이상의 기능 모듈을 포함하는 사용자 단말과, 상기 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리하는 서비스 서버와; 상기 사용자 단말과 상기 서비스 서버 간의 통신을 제공하는 네트워크를 포함하되, 상기 서비스 서버는, 상기 사용자 단말과의 통신을 제공하는 통신부와, 상기 입력 받은 정보들 및 평가를 위해 필요한 정보들을 저장하는 저장부와, 상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하고 상기 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 평가하는 제어부를 포함한다.
상기 하나 이상의 기능 모듈은 디스플레이 모듈, 오디오 모듈, 입력 모듈, 센서 모듈, 카메라 모듈, 및 통신 모듈 중 적어도 하나 이상을 포함할 수 있다.
상기 사용자 단말은 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 모바일(Mobile) 단말기 중 적어도 하나 이상을 포함할 수 있다.
상기 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 답변 음성 정보를 포함할 수 있다.
상기 제어부는, 상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하는 인공지능 음성인식 모듈과, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 분석하는 자연어 분석 딥러닝 모듈과, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 평가하는 평가 모듈, 및 상기 평가 모듈에서 평가된 결과를 기초로 사용자 등급을 계산하는 등급 계산 모듈을 포함할 수 있다.
상기 자연어 분석 딥러닝 모듈은, 상기 사용자 단말로부터 음성을 수신하여 성량, 답변 시간, 길이, 지속성, 발음 정확도 중 적어도 하나 이상을 분석하는 음성 분석을 수행할 수 있다.
상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 품사, 문장 구조, 주제, 시제, 어휘 중 적어도 하나 이상을 분석하는 문장 분석을 수행할 수 있다.
상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 비교 분석을 수행할 수 있다.
상기 평가 모듈은, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 어휘 중복도, 문제 이해력, 주제 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가할 수 있다.
상기 영어 말하기 평가 시스템은, 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보를 저장하는 데이터베이스를 더 포함할 수 있다.
본 발명의 실시예에 따른 영어 말하기 평가 방법은, 사용자 단말로부터 사용자 답변 음성을 수신하는 단계와; 상기 사용자 답변 음성을 기초로 문제별 평가하는 단계와; 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계와; 상기 문제별 평가와 상기 종합 평가를 기초로 사용자 등급을 계산하는 단계와; 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 포함한다.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는, 상기 사용자 답변 음성을 분석하는 단계와; 상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계와; 상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계를 포함할 수 있다.
상기 사용자 답변 음성을 분석하는 단계는, 상기 사용자 답변의 성량, 답변 시간, 길이, 지속성, 및 발음 정확도 중 적어도 하나 이상을 분석하는 단계를 포함할 수 있다.
상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계는, 상기 생성된 텍스트의 품사, 문장 구조, 주제, 시제, 및 어휘 중 적어도 하나 이상을 분석하는 단계를 포함할 수 있다.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는, 상기 사용자 답변 음성을 분석하는 단계와; 상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계와; 상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계를 포함할 수 있다.
상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계는, 상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 단계를 포함할 수 있다.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는, 상기 사용자 답변 음성을 기초로 상기 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나 이상을 평가하는 단계를 포함할 수 있다.
상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는, 상기 문제의 복잡도, Topic 난이도, Speed 난이도, 돌발 여부, 롤플레이 여부, Ask Me 여부, 및 가능 시제 중 적어도 하나 이상을 포함하는 문제 속성과, 상기 문제별 성량 분석, 답변 시간 분석, 길이 분석, 시제 분석, 문장 구조 분석, 품사 분석, 주제 분석, 지속성 분석, 표현 정확성 분석, 완곡 표현 분석, 어휘 분석, 문장 독창성 분석, 및 발음 정확도 분석 중 적어도 하나 이상을 포함할 수 있다.
상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는, 상기 문제 속성과 문제별 분석 결과를 기초로 사용자의 문제 이해력, Topic 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가하는 단계를 포함할 수 있다.
상기 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계는, 상기 사용자 단말로 상기 사용자 등급에 해당하는 전체 사용자들의 평균 결과값을 제공하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 영어 말하기 평가 방법은, 사용자 단말로부터 사용자 답변 음성을 수신하는 단계와; 상기 사용자 답변 음성을 분석하는 단계와; 상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계와; 상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계와; 상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계와; 상기 평가 결과를 기초로 사용자 등급을 계산하는 단계와; 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 포함한다.
상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는, 상기 사용자 답변 음성을 기초로 사용자의 답변 성량을 2차 함수를 적용하여 평가하는 단계를 포함할 수 있다.
상기 2차 함수는 상기 사용자의 답변 성량이 증가함에 따라 평가 점수가 높아지다가 평가 점수가 최고점을 지나면 낮아지는 특징을 가질 수 있다.
상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는, 상기 사용자 답변 음성을 기초로 사용자의 답변 속도를 3차 함수를 적용하여 평가하는 단계를 포함할 수 있다.
상기 3차 함수는, 상기 사용자의 답변 속도가 증가함에 따라 평가 점수가 높아지고, 상기 사용자의 답변 속도가 증가함에 따라 초기에는 평가 점수의 상승도가 작다가, 중기에는 평가 점수의 상승도가 크고, 말기에는 평가 점수의 상승도가 작아지는 특징을 가질 수 있다.
상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는, 상기 사용자 답변 음성을 기초로 사용자의 답변 속도를 지수 함수와 로그 함수의 합을 적용하여 평가하는 단계를 포함할 수 있다.
상기 지수 함수는, 상기 사용자의 답변 속도가 증가함에 따라 평가 점수가 높아지고, 상기 사용자의 답변 속도가 증가함에 따라 평가 점수의 상승도가 커지는 특징을 가질 수 있다.
상기 로그 함수는, 상기 사용자의 답변 속도가 증가함에 따라 평가 점수가 높아지고, 상기 사용자의 답변 속도가 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가질 수 있다.
상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는, 상기 사용자 답변 음성을 기초로 사용자의 답변 지속성을 1차 함수를 적용하여 평가하는 단계를 포함할 수 있다.
상기 1차 함수는 상기 사용자의 답변 지속성이 증가함에 따라 평가 점수가 낮아지는 특징을 가질 수 있다.
상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는, 상기 사용자 답변 음성을 기초로 사용자의 수식어 상세성, 접속어 다양성, 답변 길이 및 문장 형식 다양성을 로그 함수를 적용하여 평가하는 단계를 포함할 수 있다.
상기 로그 함수는, 상기 사용자의 수식어 상세성, 접속어 다양성, 답변 길이 및 문장 형식 다양성이 증가함에 따라 평가 점수가 높아지고, 상기 사용자의 수식어 상세성, 접속어 다양성, 답변 길이 및 문장 형식 다양성이 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가질 수 있다.
상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는, 상기 사용자 답변 음성을 기초로 사용자의 어휘력을 1차 함수를 적용하여 평가하는 단계를 포함할 수 있다.
상기 1차 함수는 상기 사용자의 어휘력이 증가함에 따라 평가 점수가 높아지는 특징을 가질 수 있다.
이와 같은 본 발명의 실시예에 따른 영어 말하기 평가 시스템 및 방법에 의하면 인공지능 및 딥러닝을 이용하고 평가 함수를 적용하여 영어 말하기 실력을 평가함으로써, 사용자는 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있다. 또한, 사용자가 VR/AR 기기를 활용하는 경우, 사용자가 영어 말하기 시험장에서 시험을 치르는 환경을 체험할 수 있게 함으로써, 사용자는 실제 영어 말하기 시험에서 더 좋은 결과를 얻는 효과를 거둘 수 있다.
도 1은 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 사용자 단말의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 도 1의 서비스 서버의 구성을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영어 말하기 평가 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 도 4의 문제별 평가 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 사용자에게 평가 결과와 등급을 제공하는 일 예이다.
도 7은 본 발명의 일 실시예에 따른 영어 말하기 평가 방법을 나타낸 순서도이다.
도 8 내지 도 15는 본 발명의 일 실시예에 따른 도 7의 평가 함수를 개략적으로 보여주는 도면이다.
아래의 서술에서, 설명의 목적으로, 다양한 실시예들의 이해를 돕기 위해 많은 구체적인 세부 내용들이 제시된다. 그러나, 다양한 실시예들이 이러한 구체적인 세부 내용들 없이 또는 하나 이상의 동등한 방식으로 실시될 수 있다는 것은 명백하다. 다른 예시들에서, 잘 알려진 구조들과 장치들은 다양한 실시예들을 불필요하게 이해하기 어렵게 하는 것을 피하기 위해 블록도로 표시된다.
도면에서, 레이어들, 필름들, 패널들, 영역들 등의 크기 또는 상대적인 크기는 명확한 설명을 위해 과장될 수 있다. 또한, 동일한 참조 번호는 동일한 구성 요소를 나타낸다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 그러나, 만약 어떤 부분이 다른 부분과 "직접적으로 연결되어 있다"고 서술되어 있으면, 이는 해당 부분과 다른 부분 사이에 다른 소자가 없음을 의미할 것이다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 이해될 것이다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.
여기에서, 첫번째, 두번째 등과 같은 용어가 다양한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들을 설명하기 위해 사용될 수 있지만, 이러한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들은 이러한 용어들에 한정되지 않는다. 이러한 용어들은 하나의 소자, 요소, 지역, 레이어, 및/또는 섹션을 다른 소자, 요소, 지역, 레이어, 및 또는 섹션과 구별하기 위해 사용된다. 따라서, 일 실시예에서의 첫번째 소자, 요소, 지역, 레이어, 및/또는 섹션은 다른 실시예에서 두번째 소자, 요소, 지역, 레이어, 및/또는 섹션이라 칭할 수 있다.
"아래", "위" 등과 같은 공간적으로 상대적인 용어가 설명의 목적으로 사용될 수 있으며, 그렇게 함으로써 도면에서 도시된 대로 하나의 소자 또는 특징과 다른 소자(들) 또는 특징(들)과의 관계를 설명한다. 이는 도면 상에서 하나의 구성 요소의 다른 구성 요소에 대한 관계를 나타내는 데에 사용될 뿐, 절대적인 위치를 의미하는 것은 아니다. 예를 들어, 도면에 도시된 장치가 뒤집히면, 다른 소자들 또는 특징들의 "아래"에 위치하는 것으로 묘사된 소자들은 다른 소자들 또는 특징들의 "위"의 방향에 위치한다. 따라서, 일 실시예에서 "아래" 라는 용어는 위와 아래의 양방향을 포함할 수 있다. 뿐만 아니라, 장치는 그 외의 다른 방향일 수 있다 (예를 들어, 90도 회전된 혹은 다른 방향에서), 그리고, 여기에서 사용되는 그런 공간적으로 상대적인 용어들은 그에 따라 해석된다.
여기에서 사용된 용어는 특정한 실시예들을 설명하는 목적이고 제한하기 위한 목적이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다 고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 다른 정의가 없는 한, 여기에 사용된 용어들은 본 발명이 속하는 분야에서 통상적인 지식을 가진 자에게 일반적으로 이해되는 것과 같은 의미를 갖는다.
도 1은 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 영어 말하기 평가 시스템은 사용자 단말(10), 네트워크(20) 및 서비스 서버(30)를 포함하고, 사용자 단말(10)과 서비스 서버(30)는 네트워크(20)를 통해 연결되어 영어 말하기 평가에 필요한 모든 데이터 및 정보를 송수신한다. 실시예로서, 영어 말하기 평가 시스템은 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보를 저장하는 데이터베이스(40)를 포함할 수 있다.
사용자 단말(10)은 사용자가 사용자 단말(10)에 설치된 영어 말하기 평가 프로그램 또는 어플리케이션을 실행하여 영어 말하기 평가를 시작하는 경우, 네트워크(20)를 통해 서비스 서버(30)로 사용자 인증을 요청한다. 사용자 단말(10)은 영어 말하기 평가가 시작되면, 사용자의 설문조사에 따른 답변을 포함하는 사용자 입력을 서비스 서버(30)로 전송하고, 서비스 서버(30)와 영어 말하기 평가에 필요한 모든 데이터 및 정보를 수신하여 사용자에게 보여준다.
사용자 단말(10)은 네트워크(20)에 연결되어 데이터를 송수신할 수 있는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보 통신기기, 멀티미디어 단말기, 유선/무선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기를 포함할 수 있다. 또한, 단말기는 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말기를 포함할 수 있다.
네트워크(20)는 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, 무선랜(WLAN, Wireless LAN), 블루투스, 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), 고속하향패킷접속(HSDPA, High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다. 한편, 네트워크(20)는 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
서비스 서버(30)는 사용자 단말(10)과 네트워크(20)를 통해 영어 말하기 평가에 필요한 모든 데이터 및 정보를 송수신하여 영어 말하기 평가 서비스를 제공한다.
본 발명의 일 실시예에서, 서비스 서버(30)는 사용자 단말(10)로부터 영어 말하기 평가 시작을 위한 사용자 인증 요청을 수신하여 사용자 로그인 과정을 수행한다. 실시예로서, 서비스 서버(30)는 영어 말하기 평가에 필요한 런칭 모듈을 제공할 수 있다. 영어 말하기 평가가 시작되면, 서비스 서버(30)는 사용자의 설문조사에 따른 답변을 포함하는 사용자 입력을 사용자 단말(10)로부터 수신하여 사용자의 영어 말하기 평가에 필요한 데이터 및 정보를 송신한다.
실시예로서, 사용자 단말(10)은 하나 이상의 기능 모듈을 포함할 수 있고, 서비스 서버(30)는 사용자 단말(10)의 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리할 수 있다. 실시예로서, 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 답변 음성 정보를 포함할 수 있다.
서비스 서버(30)는 영어 말하기 평가 서비스 제공자가 운영하는 서버를 포함할 수 있다. 실시예로서, 파고다, 해커스, 민병철, YBM, 시원스쿨과 같은 영어 말하기 평가 서비스 제공자가 운영하는 서버를 포함할 수 있다.
데이터베이스(40)는 사용자 인증을 위한 정보를 포함한 영어 말하기 평가를 위해 필요한 모든 정보를 저장한다. 실시예로서, 데이터베이스(40)는 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보가 저장될 수 있다.
도 2는 본 발명의 일 실시예에 따른 도 1의 사용자 단말의 구성을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 사용자 단말(10)은 하나 이상의 기능 모듈을 포함한다. 실시예로서, 사용자 단말(10)은 디스플레이 모듈(110), 오디오 모듈(120), 입력 모듈(130), 센서 모듈(140), 카메라 모듈(150), 및 통신 모듈(160)을 포함할 수 있다.
디스플레이 모듈(110)은 사용자에게 눈에 보이는 표시를 제공하기 위한 어느 적절한 스크린 또는 영사 시스템을 포함할 수 있다. 실시예로서, 디스플레이 모듈(110)은 VR 기기에 포함되는 HMD(Head Mounted Display)를 포함할 수 있다.
오디오 모듈(120)은 사용자에게 오디오 제공을 위한 임의의 적절한 오디오 컴포넌트(audio component)를 포함할 수 있다. 실시예로서, 오디오 모듈(120)은 스피커 및/또는 마이크를 포함할 수 있다.
입력 모듈(130)은 사용자의 입력 또는 명령을 주는 사용자 인터페이스일 수 있다. 실시예로서, 입력 모듈(130)은 버튼, 키패드, 다이얼, 클릭휠, 터치 패드 또는 터치 스크린 등으로 구현될 수 있다.
센서 모듈(140)은 사용자의 위치, 환경 등의 정보를 센싱하는 센서를 포함할 수 있다. 실시예로서, 센서 모듈(140)은 지자기장의 변화를 감지하는 마그네틱 센서를 포함할 수 있다.
카메라 모듈(150)은 정지 이미지 및 동영상을 포착하거나 촬영할 수 있는 장치를 포함할 수 있다. 실시예로서, 카메라 모듈(150)은 이미지 센서, 렌즈, ISP(image signal processor) 및 플래시 중 적어도 하나를 포함할 수 있다.
통신 모듈(160)은 서비스 서버(30)와 네크워크(20)를 통해 통신하기 위한 모듈을 말하는 것으로, 사용자 단말(10)에 내장될 수 있다. 실시예로서, 통신 모듈(160)은 이동 통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 도 1의 서비스 서버의 구성을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 서비스 서버(30)는 통신부(310), 저장부(320), 및 제어부(330)를 포함한다.
통신부(310)는 사용자 단말(10)과 네트워크(20)를 통하여 데이터를 주고 받는다.
저장부(320)는 서비스 서버(30)의 동작을 위한 데이터 및 프로그램을 저장한다. 실시예로서, 저장부(320)는 사용자 단말(10)로부터 입력 받은 정보들 및 영어 말하기 평가를 위해 필요한 정보들을 저장하여 데이터베이스(40)와 같은 역할을 할 수 있다. 즉, 저장부(320)는 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보가 저장될 수 있다.
제어부(330)는 사용자 단말(10)로부터 음성을 수신하여 텍스트를 생성하고, 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 사용자의 영어 말하기 실력을 평가한다. 실시예로서, 제어부(330)는 인공지능 음성인식 모듈(331), 자연어 분석 딥러닝 모듈(332), 평가 모듈(333), 및 등급 계산 모듈(334)를 포함할 수 있다.
인공지능 음성인식 모듈(331)은 사용자 단말(10)로부터 음성을 수신하여 인공지능 음성인식 기술(STT: Speech-To-Text)을 적용하여 텍스트를 생성한다.
자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 자연어 분석 딥러닝 모델을 통해 분석한다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 사용자 단말(10)로부터 음성을 수신하여 성량, 답변 시간, 길이, 지속성, 발음 정확도 중 적어도 하나 이상을 분석하는 음성 분석을 수행할 수 있다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 대상으로 품사, 문장 구조, 주제, 시제, 어휘 중 적어도 하나 이상을 분석하는 문장 분석을 수행할 수 있다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 대상으로 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 비교 분석을 수행할 수 있다.
평가 모듈(333)은 자연어 분석 딥러닝 모듈(332)에서 분석된 결과를 기초로 사용자의 영어 말하기 실력을 평가한다. 실시예로서, 평가 모듈(333)은 자연어 분석 딥러닝 모듈(332)에서 분석된 결과를 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 어휘 중복도, 문제 이해력, 주제 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가할 수 있다.
본 발명에 따른 영어 말하기 평가 방법의 일 실시예에 따르면, 평가 모듈(333)은 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가한다. 실시예로서, 평가 함수는 2차 함수, 3차 함수, 지수 함수, 로그 함수 및 1차 함수 중 적어도 하나를 포함할 수 있다.
등급 계산 모듈(334)은 평가 모듈(333)에서 평가된 결과를 기초로 사용자 등급을 계산한다.
도 4는 본 발명의 일 실시예에 따른 영어 말하기 평가 방법을 나타낸 순서도이다.
본 발명에 따른 영어 말하기 평가 방법을 위하여 사용자 단말 내에 설치된 영어 말하기 평가 프로그램 또는 어플리케이션이 사용자에 의해 실행된다. 사용자 단말에서 영어 말하기 평가 프로그램 또는 어플리케이션이 실행되면, 서비스 서버는 사용자 단말로 영어 말하기 평가를 위한 문제를 제공할 수 있다. 실시예로서, 문제는 설문조사에서 선택한 항목의 주제, 돌발 주제, 및 롤플레이 유형의 문제 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 영어 말하기 평가 방법을 위하여, 영어 말하기 평가를 위한 문제의 제공은 문제 은행 방식을 포함할 수 있다. 실시예로서, 문제 은행 방식은, 데이터베이스에 문제를 유형을 구분하여 사전 등록하는 문제 은행 등록, 문제의 앞 단에 덧붙여질 수 있는 문구를 상황을 구분하여 사전 등록하는 문제 Prefix 등록, 및 문제의 뒷 단에 덧붙여질 수 있는 문구를 상황을 구분하여 사전 등록하는 문제 Postfix 등록을 포함하는 문제 은행 구성 단계와, 설문/돌발/롤플레이 유형 중 문제 유형을 선택하는 문제 유형 선정, 영화, 음악과 같은 주제를 선정하는 문제 주제 선정, 문제 Prefix, 문제 본문 및 문제 Postfix를 조합하여 문제 유형, 문제 주제에 맞추어 문장을 자동 구성하는 문제 문장 구성, 및 사용자 단말에 이미지, 영상 및 사운드 중 적어도 하나를 출력하는 문제 출력을 포함하는 문제 출제 단계를 포함할 수 있다.
도 4를 참조하면, 서비스 서버는 사용자 단말로부터 사용자 답변 음성을 수신하고(S10), 사용자 답변 음성을 기초로 사용자 답변을 문제별 평가한다(S20). 실시예로서, 사용자 답변을 문제별 평가하기 위해, 서비스 서버는 사용자 답변 음성을 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나 이상을 평가할 수 있다.
서비스 서버는 문제 속성과 문제별 분석 결과를 기초로 사용자 답변을 종합 평가하고(S30), 문제별 평가와 종합 평가를 기초로 사용자 등급을 계산한 후(S40), 사용자에게 평가 결과와 등급을 제공한다(S50). 실시예로서, 사용자 답변을 종합 평가하기 위해, 서비스 서버는 문제의 복잡도, Topic 난이도, Speed 난이도, 돌발 여부, 롤플레이 여부, Ask Me 여부, 및 가능 시제 중 적어도 하나 이상을 포함하는 문제 속성과, 문제별 사용자 답변의 성량 분석, 답변 시간 분석, 길이 분석, 시제 분석, 문장 구조 분석, 품사 분석, 주제 분석, 지속성 분석, 표현 정확성 분석, 완곡 표현 분석, 어휘 분석, 문장 독창성 분석, 및 발음 정확도 분석 중 적어도 하나 이상을 포함하는 문제별 분석 결과를 기초로 사용자 답변을 종합 평가할 수 있다. 실시예로서, 사용자 답변을 종합 평가하기 위해, 서비스 서버는 문제 속성과 문제별 분석 결과를 기초로 사용자의 문제 이해력, Topic 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가할 수 있다.
본 발명의 일 실시예에 따르면, 사용자 등급을 계산하기 위해, 서비스 서버는 문제별 평가의 평가 요소인 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 각각에 가중치를 적용하여 점수를 계산할 수 있다. 실시예로서, 사용자의 평가 결과와 사용자 등급을 제공하기 위해, 서비스 서버는 사용자 단말로 사용자 등급에 해당하는 전체 사용자들의 평균 결과값을 사용자의 평가 결과값과 함께 제공할 수 있다. 실시예로서,
도 5는 본 발명의 일 실시예에 따른 도 4의 문제별 평가 방법을 나타낸 순서도이다.
도 5를 참조하면, 서비스 서버는 사용자 답변을 문제별 평가하기 위해, 사용자 답변 음성을 분석하고(S210), 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성한 후(S220), 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석한다(S230). 실시예로서, 서비스 서버는 사용자 답변 음성 분석을 위해, 사용자 답변의 성량, 답변 시간, 길이, 지속성, 및 발음 정확도 중 적어도 하나 이상을 분석할 수 있다. 실시예로서, 서비스 서버는 딥러닝 모델을 통해 텍스트 구문을 분석하기 위해, 생성된 텍스트의 품사, 문장 구조, 주제, 시제, 및 어휘 중 적어도 하나 이상을 분석할 수 있다.
도 5를 참조하면, 서비스 서버는 사용자 답변을 문제별 평가하기 위해, 사용자 답변 음성을 분석하고(S210), 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성한 후(S220), 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석한다(S240). 실시예로서, 비교를 통해 사용자 표현의 특성을 분석하기 위해, 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석할 수 있다.
도 6은 본 발명의 일 실시예에 따른 사용자에게 평가 결과와 등급을 제공하는 일 예이다.
도 6을 참조하면, 사용자는 본인의 평가 결과와 함께 사용자가 속하는 등급인 IH 등급의 평균 점수를 함께 확인할 수 있다. 또한, 사용자는 크게 4개의 축으로 구성된 평가 기준마다의 상세한 평가 결과를 확인할 수 있어, 사용자 본인의 영어 말하기 실력 향상을 위해 보완해야 할 부분을 명확하게 알 수 있다.
도 7은 본 발명의 일 실시예에 따른 영어 말하기 평가 방법을 나타낸 순서도이다.
도 7을 참조하면, 서비스 서버는 사용자 단말로부터 사용자 답변 음성을 수신하고(S100), 사용자 답변을 평가하기 위해, 사용자 답변 음성을 분석한다(S200). 서비스 서버는 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성한 후(S300), 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석한다(S400).
서비스 서버는 사용자 답변을 평가하기 위해, 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가한다(S500).
일 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 답변 성량을 2차 함수를 적용하여 평가할 수 있다. 2차 함수는 사용자의 답변 성량이 증가함에 따라 평가 점수가 높아지다가 평가 점수가 최고점을 지나면 낮아지는 특징을 가질 수 있다.
일 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 답변 속도를 3차 함수를 적용하여 평가할 수 있다. 3차 함수는, 사용자의 답변 속도가 증가함에 따라 평가 점수가 높아지고, 사용자의 답변 속도가 증가함에 따라 초기에는 평가 점수의 상승도가 작다가, 중기에는 평가 점수의 상승도가 크고, 말기에는 평가 점수의 상승도가 작아지는 특징을 가질 수 있다.
일 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 답변 속도를 지수 함수와 로그 함수의 합을 적용하여 평가할 수 있다. 지수 함수는, 사용자의 답변 속도가 증가함에 따라 평가 점수가 높아지고, 사용자의 답변 속도가 증가함에 따라 평가 점수의 상승도가 커지는 특징을 가질 수 있고, 로그 함수는, 사용자의 답변 속도가 증가함에 따라 평가 점수가 높아지고, 사용자의 답변 속도가 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가질 수 있다.
일 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 답변 지속성을 1차 함수를 적용하여 평가할 수 있다. 1차 함수는 사용자의 답변 지속성이 증가함에 따라 평가 점수가 낮아지는 특징을 가질 수 있다.
일 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 수식어 상세성, 접속어 다양성, 답변 길이 및 문장 형식 다양성을 로그 함수를 적용하여 평가할 수 있다. 로그 함수는, 사용자의 수식어 상세성, 접속어 다양성, 답변 길이 및 문장 형식 다양성이 증가함에 따라 평가 점수가 높아지고, 사용자의 수식어 상세성, 접속어 다양성, 답변 길이 및 문장 형식 다양성이 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가질 수 있다.
일 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 어휘력을 1차 함수를 적용하여 평가할 수 있다. 1차 함수는 사용자의 어휘력이 증가함에 따라 평가 점수가 높아지는 특징을 가질 수 있다.
서비스 서버는 평가 결과를 기초로 사용자 등급을 계산한 후(S600), 사용자에게 평가 결과와 등급을 제공한다(S700).
도 8 내지 도 15는 본 발명의 일 실시예에 따른 도 7의 평가 함수를 개략적으로 보여주는 도면이다.
도 8을 참조하면, 2차 함수는 입력이 증가함에 따라 평가 점수가 높아지다가 평가 점수가 최고점을 지나면 낮아지는 특징을 가진다. 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 답변 성량을 도 8의 2차 함수를 적용하여 평가할 수 있다. 입력은 사용자 답변 성량으로 dBFS (decibel full scale) 단위를 가지고 -50에서 0 사이의 값을 가질 수 있고, 출력은 평가 점수로 0에서 10점 사이의 값을 가질 수 있다.
본 발명의 일 실시예에 따르면, 서비스 서버는 사용자 답변 성량이 -20dBFS인 경우 가장 적절한 답변 성량으로 판단할 수 있다. 실시예로서, 서비스 서버는 사용자 답변 성량이 -20dBFS 보다 작은 경우 사용자의 자신감이 결여된 것으로 판단하여 평가 점수를 낮게 매길 수 있고, -20dBFS 보다 큰 경우 사용자가 상대방을 고려하지 않은 것으로 판단하여 평가 점수를 낮게 매길 수 있다.
도 9를 참조하면, 3차 함수는, 입력이 증가함에 따라 평가 점수가 높아지고, 입력이 증가함에 따라 초기에는 평가 점수의 상승도가 작다가, 중기에는 평가 점수의 상승도가 크고, 말기에는 평가 점수의 상승도가 작아지는 특징을 가진다. 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 답변 속도를 도 9의 3차 함수를 적용하여 평가할 수 있다. 입력은 사용자 답변 속도로 cps (character per second) 단위를 가질 수 있고, 출력은 평가 점수로 0에서 10점 사이의 값을 가질 수 있다.
본 발명의 일 실시예에 따르면, 서비스 서버는 사용자 답변 영문의 전체 문자수를 답변 시간으로 나누어 초당 문자수를 기준으로 평가 점수를 매길 수 있다. 실시예로서, 사용자 답변 속도가 5cps 까지는 평가 점수 상승이 완만하고, 사용자 답변 속도가 5cps에서 12cps까지는 평가 점수 상승이 급격하고, 사용자 답변 속도가 12cps를 넘어가면 평가 점수가 하락할 수 있다. 즉, 서비스 서버는 사용자 답변 속도가 너무 빠른 경우 상대방에게 답변 내용을 정확하게 전달하는 능력이 약화된다고 판단할 수 있다.
도 10을 참조하면, 1차 함수는 입력이 증가함에 따라 평가 점수가 낮아지는 특징을 가진다. 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 답변 지속성을 도 10의 1차 함수를 적용하여 평가할 수 있다. 입력은 사용자 답변 중에 스피킹 비지속 시간으로 초 단위를 가질 수 있고, 출력은 평가 점수로 0에서 10점 사이의 값을 가질 수 있다.
본 발명의 일 실시예에 따르면, 서비스 서버는 사용자가 영어 스피킹을 하는 중에 단어와 단어 사이, 혹은 문장과 문장 사이에 스피킹을 멈추거나 의미 없는 소리를 내는 경우의 모든 시간(milliseconds)를 합하여 총 비지속 시간(second)을 추출할 수 있다. 실시예로서, 서비스 서버는 비지속 시간이 길수록 평가 점수를 낮게 매길 수 있다.
도 11을 참조하면, 로그 함수는, 입력이 증가함에 따라 평가 점수가 높아지고, 입력이 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가진다. 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 수식어 상세성을 도 11의 로그 함수를 적용하여 평가할 수 있다. 입력은 사용자 답변에 포함된 수식어, 예를 들어 형용사, 부사, 형용사구, 부사구의 개수일 수 있고, 출력은 평가 점수로 0에서 10점 사이의 값을 가질 수 있다.
본 발명의 일 실시예에 따르면, 서비스 서버는 사용자 답변에 포함된 수식어의 개수가 많을수록, 사용자가 문장을 구성하거나 연결하는 능력이 좋은 것으로 판단하여 평가 점수를 높게 매길 수 있다. 실시예로서, 서비스 서버는 사용자 답변에 포함된 수식어가 15개 이상인 경우에는 평가 점수의 상승폭이 줄어드는 로그 함수의 형태로 평가 점수를 분포시킬 수 있다.
도 12를 참조하면, 로그 함수는, 입력이 증가함에 따라 평가 점수가 높아지고, 입력이 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가진다. 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 접속어 다양성을 도 12의 로그 함수를 적용하여 평가할 수 있다. 입력은 사용자 답변에 포함된 접속어의 개수일 수 있고, 출력은 평가 점수로 0에서 10점 사이의 값을 가질 수 있다.
본 발명의 일 실시예에 따르면, 서비스 서버는 사용자 답변에 포함된 접속어의 개수가 많을수록, 사용자가 문장을 구성하거나 연결하는 능력이 좋은 것으로 판단하여 평가 점수를 높게 매길 수 있다. 실시예로서, 서비스 서버는 사용자 답변에 포함된 접속어가 4개 이상인 경우에는 평가 점수의 상승폭이 줄어드는 로그 함수의 형태로 평가 점수를 분포시킬 수 있다.
도 13을 참조하면, 로그 함수는, 입력이 증가함에 따라 평가 점수가 높아지고, 입력이 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가진다. 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 답변 길이를 도 13의 로그 함수를 적용하여 평가할 수 있다. 입력은 사용자 답변에 포함된 모든 문자 수에 해당할 수 있고, 출력은 평가 점수로 0에서 10점 사이의 값을 가질 수 있다.
본 발명의 일 실시예에 따르면, 서비스 서버는 사용자 답변에 사용된 모든 단어의 문자수를 카운팅하여 답변 길이를 측정할 수 있다. 실시예로서, 서비스 서버는 사용자의 답변 길이가 길어질수록 평가 점수가 높아지고, 평가 점수의 상승폭이 작아지는 로그 함수의 형태로 평가 점수를 분포시킬 수 있다.
도 14를 참조하면, 로그 함수는, 입력이 증가함에 따라 평가 점수가 높아지고, 입력이 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가진다. 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 문장 형식 다양성을 도 14의 로그 함수를 적용하여 평가할 수 있다. 입력은 사용자 답변에 포함된 문장 성분의 개수일 수 있고, 출력은 평가 점수로 0에서 10점 사이의 값을 가질 수 있다.
본 발명의 일 실시예에 따르면, 서비스 서버는 사용자 답변에 포함된 문장 성분, 예를 들어, 주어, 동사, 목적어, 보어, 수식어, 접속어, 복합어 등의 개수가 많을수록, 사용자가 문장을 구성하거나 연결하는 능력이 좋은 것으로 판단하여 평가 점수를 높게 매길 수 있다. 실시예로서, 서비스 서버는 사용자 답변에 포함된 수식어가 25개 이상인 경우에는 평가 점수의 상승폭이 줄어드는 로그 함수의 형태로 평가 점수를 분포시킬 수 있다.
도 15를 참조하면, 1차 함수는 사용자의 어휘력이 증가함에 따라 평가 점수가 높아지는 특징을 가진다. 실시예로서, 서비스 서버는 사용자 답변 음성을 기초로 사용자의 어휘력을 도 15의 1차 함수를 적용하여 평가할 수 있다. 입력은 사용자 답변에 포함된 단어 개수일 수 있고, 출력은 평가 점수로 0에서 10점 사이의 값을 가질 수 있다.
본 발명의 일 실시예에 따르면, 서비스 서버는 사용자 답변에 포함된 단어의 수가 많을수록, 사용자의 어휘력이 좋은 것으로 판단하여 평가 점수를 높게 매길 수 있다. 실시예로서, 서비스 서버는 사용자 답변에 포함된 단어 수를 카운팅 할 때, 동일한 단어가 중복되는 경우 1개로 카운팅 할 수 있다.
전술한 바와 같은 본 발명의 실시예들에 따르면, 본 발명의 일 실시예에 따른 영어 말하기 평가 방법은 인공지능 및 딥러닝을 이용하고 평가 함수를 적용하여 영어 말하기 실력을 평가함으로써, 사용자가 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있게 한다. 또한, 사용자가 VR/AR 기기를 활용하는 경우, 사용자가 영어 말하기 시험장에서 시험을 치르는 환경을 체험할 수 있게 함으로써, 사용자는 실제 영어 말하기 시험에서 더 좋은 결과를 얻는 효과를 거둘 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (34)

  1. 하나 이상의 기능 모듈을 포함하는 사용자 단말;
    상기 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리하는 서비스 서버; 및
    상기 사용자 단말과 상기 서비스 서버 간의 통신을 제공하는 네트워크를 포함하되,
    상기 서비스 서버는,
    상기 사용자 단말과의 통신을 제공하는 통신부와, 상기 입력 받은 정보들 및 평가를 위해 필요한 정보들을 저장하는 저장부와, 상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하고 상기 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 평가하는 제어부를 포함하는 영어 말하기 평가 시스템.
  2. 제 1항에 있어서,
    상기 하나 이상의 기능 모듈은 디스플레이 모듈, 오디오 모듈, 입력 모듈, 센서 모듈, 카메라 모듈, 및 통신 모듈 중 적어도 하나 이상을 포함하는 영어 말하기 평가 시스템.
  3. 제 1항에 있어서,
    상기 사용자 단말은 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 모바일(Mobile) 단말기 중 적어도 하나 이상을 포함하는 영어 말하기 평가 시스템.
  4. 제 1항에 있어서,
    상기 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 답변 음성 정보를 포함하는 영어 말하기 평가 시스템.
  5. 제 1항에 있어서,
    상기 제어부는,
    상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하는 인공지능 음성인식 모듈과, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 분석하는 자연어 분석 딥러닝 모듈과, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 평가하는 평가 모듈, 및 상기 평가 모듈에서 평가된 결과를 기초로 사용자 등급을 계산하는 등급 계산 모듈을 포함하는 영어 말하기 평가 시스템.
  6. 제 5항에 있어서,
    상기 자연어 분석 딥러닝 모듈은, 상기 사용자 단말로부터 음성을 수신하여 성량, 답변 시간, 길이, 지속성, 발음 정확도 중 적어도 하나 이상을 분석하는 음성 분석을 수행하는 영어 말하기 평가 시스템.
  7. 제 5항에 있어서,
    상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 품사, 문장 구조, 주제, 시제, 어휘 중 적어도 하나 이상을 분석하는 문장 분석을 수행하는 영어 말하기 평가 시스템.
  8. 제 5항에 있어서,
    상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 비교 분석을 수행하는 영어 말하기 평가 시스템.
  9. 제 5항에 있어서,
    상기 평가 모듈은, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 어휘 중복도, 문제 이해력, 주제 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가하는 영어 말하기 평가 시스템.
  10. 제 1항에 있어서, 상기 영어 말하기 평가 시스템은,
    사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보를 저장하는 데이터베이스를 더 포함하는 영어 말하기 평가 시스템.
  11. 사용자 단말로부터 사용자 답변 음성을 수신하는 단계;
    상기 사용자 답변 음성을 기초로 문제별 평가하는 단계;
    문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계;
    상기 문제별 평가와 상기 종합 평가를 기초로 사용자 등급을 계산하는 단계; 및
    사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 포함하는 영어 말하기 평가 방법.
  12. 제 11항에 있어서,
    상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는,
    상기 사용자 답변 음성을 분석하는 단계;
    상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계; 및
    상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계를 포함하는 영어 말하기 평가 방법.
  13. 제 12항에 있어서,
    상기 사용자 답변 음성을 분석하는 단계는,
    상기 사용자 답변의 성량, 답변 시간, 길이, 지속성, 및 발음 정확도 중 적어도 하나 이상을 분석하는 단계를 포함하는 영어 말하기 평가 방법.
  14. 제 12항에 있어서,
    상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계는,
    상기 생성된 텍스트의 품사, 문장 구조, 주제, 시제, 및 어휘 중 적어도 하나 이상을 분석하는 단계를 포함하는 영어 말하기 평가 방법.
  15. 제 11항에 있어서,
    상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는,
    상기 사용자 답변 음성을 분석하는 단계;
    상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계; 및
    상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계를 포함하는 영어 말하기 평가 방법.
  16. 제 15항에 있어서,
    상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계는,
    상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 단계를 포함하는 영어 말하기 평가 방법.
  17. 제 11항에 있어서,
    상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는,
    상기 사용자 답변 음성을 기초로 상기 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나 이상을 평가하는 단계를 포함하는 영어 말하기 평가 방법.
  18. 제 11항에 있어서,
    상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는,
    상기 문제의 복잡도, Topic 난이도, Speed 난이도, 돌발 여부, 롤플레이 여부, Ask Me 여부, 및 가능 시제 중 적어도 하나 이상을 포함하는 문제 속성과, 상기 문제별 성량 분석, 답변 시간 분석, 길이 분석, 시제 분석, 문장 구조 분석, 품사 분석, 주제 분석, 지속성 분석, 표현 정확성 분석, 완곡 표현 분석, 어휘 분석, 문장 독창성 분석, 및 발음 정확도 분석 중 적어도 하나 이상을 포함하는 문제별 분석 결과를 기초로 종합 평가하는 단계를 포함하는 영어 말하기 평가 방법.
  19. 제 11항에 있어서,
    상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는,
    상기 문제 속성과 문제별 분석 결과를 기초로 사용자의 문제 이해력, Topic 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가하는 단계를 포함하는 영어 말하기 평가 방법.
  20. 제 11항에 있어서,
    상기 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계는,
    상기 사용자 단말로 상기 사용자 등급에 해당하는 전체 사용자들의 평균 결과값을 제공하는 단계를 포함하는 영어 말하기 평가 방법.
  21. 사용자 단말로부터 사용자 답변 음성을 수신하는 단계;
    상기 사용자 답변 음성을 분석하는 단계;
    상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계;
    상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계;
    상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계;
    상기 평가 결과를 기초로 사용자 등급을 계산하는 단계; 및
    사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 포함하는 영어 말하기 평가 방법.
  22. 제 21항에 있어서,
    상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는,
    상기 사용자 답변 음성을 기초로 사용자의 답변 성량을 2차 함수를 적용하여 평가하는 단계를 포함하는 영어 말하기 평가 방법.
  23. 제 22항에 있어서,
    상기 2차 함수는 상기 사용자의 답변 성량이 증가함에 따라 평가 점수가 높아지다가 평가 점수가 최고점을 지나면 낮아지는 특징을 가지는 영어 말하기 평가 방법.
  24. 제 21항에 있어서,
    상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는,
    상기 사용자 답변 음성을 기초로 사용자의 답변 속도를 3차 함수를 적용하여 평가하는 단계를 포함하는 영어 말하기 평가 방법.
  25. 제 24항에 있어서,
    상기 3차 함수는,
    상기 사용자의 답변 속도가 증가함에 따라 평가 점수가 높아지고,
    상기 사용자의 답변 속도가 증가함에 따라 초기에는 평가 점수의 상승도가 작다가, 중기에는 평가 점수의 상승도가 크고, 말기에는 평가 점수의 상승도가 작아지는 특징을 가지는 영어 말하기 평가 방법.
  26. 제 21항에 있어서,
    상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는,
    상기 사용자 답변 음성을 기초로 사용자의 답변 속도를 지수 함수와 로그 함수의 합을 적용하여 평가하는 단계를 포함하는 영어 말하기 평가 방법.
  27. 제 26항에 있어서,
    상기 지수 함수는,
    상기 사용자의 답변 속도가 증가함에 따라 평가 점수가 높아지고,
    상기 사용자의 답변 속도가 증가함에 따라 평가 점수의 상승도가 커지는 특징을 가지는 영어 말하기 평가 방법.
  28. 제 26항에 있어서,
    상기 로그 함수는,
    상기 사용자의 답변 속도가 증가함에 따라 평가 점수가 높아지고,
    상기 사용자의 답변 속도가 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가지는 영어 말하기 평가 방법.
  29. 제 21항에 있어서,
    상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는,
    상기 사용자 답변 음성을 기초로 사용자의 답변 지속성을 1차 함수를 적용하여 평가하는 단계를 포함하는 영어 말하기 평가 방법.
  30. 제 29항에 있어서,
    상기 1차 함수는 상기 사용자의 답변 지속성이 증가함에 따라 평가 점수가 낮아지는 특징을 가지는 영어 말하기 평가 방법.
  31. 제 21항에 있어서,
    상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는,
    상기 사용자 답변 음성을 기초로 사용자의 수식어 상세성, 접속어 다양성, 답변 길이 및 문장 형식 다양성을 로그 함수를 적용하여 평가하는 단계를 포함하는 영어 말하기 평가 방법.
  32. 제 31항에 있어서,
    상기 로그 함수는,
    상기 사용자의 수식어 상세성, 접속어 다양성, 답변 길이 및 문장 형식 다양성이 증가함에 따라 평가 점수가 높아지고,
    상기 사용자의 수식어 상세성, 접속어 다양성, 답변 길이 및 문장 형식 다양성이 증가함에 따라 평가 점수의 상승도가 작아지는 특징을 가지는 영어 말하기 평가 방법.
  33. 제 21항에 있어서,
    상기 사용자 답변 음성을 기초로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나를 평가 함수를 적용하여 평가하는 단계는,
    상기 사용자 답변 음성을 기초로 사용자의 어휘력을 1차 함수를 적용하여 평가하는 단계를 포함하는 영어 말하기 평가 방법.
  34. 제 33항에 있어서,
    상기 1차 함수는 상기 사용자의 어휘력이 증가함에 따라 평가 점수가 높아지는 특징을 가지는 영어 말하기 평가 방법.
PCT/KR2020/000694 2019-01-14 2020-01-14 영어 말하기 평가 시스템 및 방법 WO2020149621A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020190004615A KR102196917B1 (ko) 2019-01-14 2019-01-14 영어 말하기 평가 시스템 및 방법
KR10-2019-0004615 2019-01-14
KR10-2020-0004995 2020-01-14
KR1020200004995A KR102337754B1 (ko) 2020-01-14 2020-01-14 평가 함수를 적용한 영어 말하기 평가 방법

Publications (1)

Publication Number Publication Date
WO2020149621A1 true WO2020149621A1 (ko) 2020-07-23

Family

ID=71614265

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000694 WO2020149621A1 (ko) 2019-01-14 2020-01-14 영어 말하기 평가 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2020149621A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053388A (zh) * 2021-03-09 2021-06-29 北京百度网讯科技有限公司 语音交互方法、装置、设备和存储介质
CN113205729A (zh) * 2021-04-12 2021-08-03 华侨大学 一种面向外国留学生的演讲评测方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042298A (ko) * 2010-10-25 2012-05-03 에스케이텔레콤 주식회사 어학 종합 평가 시스템 및 평가 방법
KR20130136768A (ko) * 2012-06-05 2013-12-13 김태윤 어학 학습정보 제공 시스템, 이를 이용한 어학 학습정보 제공방법 및 이를 위한 외국어 교정 처리방법
KR101519591B1 (ko) * 2013-10-16 2015-05-13 (주)컴버스테크 음성인식 기반의 가상 면접 처리 시스템 및 방법
KR101609473B1 (ko) * 2014-10-14 2016-04-05 충북대학교 산학협력단 영어 말하기 시험의 유창성 평가 시스템 및 방법
KR20170056253A (ko) * 2015-11-13 2017-05-23 이호진 영어 발음 평가 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042298A (ko) * 2010-10-25 2012-05-03 에스케이텔레콤 주식회사 어학 종합 평가 시스템 및 평가 방법
KR20130136768A (ko) * 2012-06-05 2013-12-13 김태윤 어학 학습정보 제공 시스템, 이를 이용한 어학 학습정보 제공방법 및 이를 위한 외국어 교정 처리방법
KR101519591B1 (ko) * 2013-10-16 2015-05-13 (주)컴버스테크 음성인식 기반의 가상 면접 처리 시스템 및 방법
KR101609473B1 (ko) * 2014-10-14 2016-04-05 충북대학교 산학협력단 영어 말하기 시험의 유창성 평가 시스템 및 방법
KR20170056253A (ko) * 2015-11-13 2017-05-23 이호진 영어 발음 평가 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053388A (zh) * 2021-03-09 2021-06-29 北京百度网讯科技有限公司 语音交互方法、装置、设备和存储介质
CN113205729A (zh) * 2021-04-12 2021-08-03 华侨大学 一种面向外国留学生的演讲评测方法、装置及系统

Similar Documents

Publication Publication Date Title
WO2011074771A2 (ko) 외국어 학습 장치 및 그 제공 방법.
WO2015005679A1 (ko) 음성 인식 방법, 장치 및 시스템
WO2016175354A1 (ko) 인공지능 대화 장치 및 방법
WO2018151464A1 (ko) 음성 인식을 이용한 코딩시스템 및 코딩방법
WO2018128238A1 (ko) 디스플레이 장치를 이용한 가상 상담 시스템 및 방법
WO2020204655A1 (en) System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection
WO2021034038A1 (en) Method and system for context association and personalization using a wake-word in virtual personal assistants
WO2020149621A1 (ko) 영어 말하기 평가 시스템 및 방법
WO2012081788A1 (ko) 온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법
WO2015062284A1 (zh) 自然表达处理方法、处理及回应方法、设备及系统
WO2021212929A1 (zh) 主动式外呼智能语音机器人多语种交互方法及装置
CN112735373A (zh) 语音合成方法、装置、设备及存储介质
WO2021010744A1 (ko) 음성 인식 기반의 세일즈 대화 분석 방법 및 장치
US20150154960A1 (en) System and associated methodology for selecting meeting users based on speech
JP6625772B2 (ja) 検索方法及びそれを用いた電子機器
WO2021251539A1 (ko) 인공신경망을 이용한 대화형 메시지 구현 방법 및 그 장치
WO2019156536A1 (ko) 학습 데이터 중 식별 가능하지만 학습 가능성이 없는 데이터의 레이블화를 통한, 대화형 ai 에이전트 시스템을 위한 지식베이스 모델의 구축 또는 갱신 방법, 컴퓨터 장치, 및 컴퓨터 판독 가능 기록 매체
KR102196917B1 (ko) 영어 말하기 평가 시스템 및 방법
JP2018170743A (ja) 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム
WO2018169276A1 (ko) 언어 정보를 처리하기 위한 방법 및 그 전자 장치
WO2020233074A1 (zh) 移动终端的控制方法、装置、移动终端及可读存储介质
WO2019031621A1 (ko) 통화 중 감정을 인식하여 인식된 감정을 활용하는 방법 및 시스템
WO2019168235A1 (ko) 복수 개의 같은 유형의 엔티티 정보의 분석에 기초한 인텐트 결정을 제공하는 방법 및 대화형 ai 에이전트 시스템, 및 컴퓨터 판독가능 기록 매체
KR102337754B1 (ko) 평가 함수를 적용한 영어 말하기 평가 방법
WO2019142976A1 (ko) 사용자 발화 입력에 대한 대화 응답 후보를 표시하도록 하는 디스플레이 제어 방법, 컴퓨터 판독가능 기록 매체 및 컴퓨터 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20741902

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20741902

Country of ref document: EP

Kind code of ref document: A1