WO2023106855A1 - Method, system and non-transitory computer-readable recording medium for supporting writing assessment - Google Patents

Method, system and non-transitory computer-readable recording medium for supporting writing assessment Download PDF

Info

Publication number
WO2023106855A1
WO2023106855A1 PCT/KR2022/019907 KR2022019907W WO2023106855A1 WO 2023106855 A1 WO2023106855 A1 WO 2023106855A1 KR 2022019907 W KR2022019907 W KR 2022019907W WO 2023106855 A1 WO2023106855 A1 WO 2023106855A1
Authority
WO
WIPO (PCT)
Prior art keywords
document
evaluated
evaluation
determined
score
Prior art date
Application number
PCT/KR2022/019907
Other languages
French (fr)
Korean (ko)
Inventor
김민종
김태호
이세영
한승우
Original Assignee
주식회사 뤼튼테크놀로지스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뤼튼테크놀로지스 filed Critical 주식회사 뤼튼테크놀로지스
Publication of WO2023106855A1 publication Critical patent/WO2023106855A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a method, system, and non-transitory computer readable recording medium for assisting in writing assessment.
  • writing is done to achieve various purposes.
  • writing a self-introduction letter is done to achieve a purpose such as getting a job or entering a university
  • writing a thesis is done to achieve a purpose such as obtaining a degree or academic achievement.
  • Patent Document 1 Korean Patent Publication No. 10-2013-0089729 (2013.08.13)
  • the object of the present invention is to solve all the problems of the prior art described above.
  • Another object of the present invention is to objectively and accurately evaluate writing by quantitatively evaluating writing based on predetermined evaluation criteria and providing the evaluation result as a numerical index.
  • a method for supporting writing evaluation includes extracting evaluation target elements for writing evaluation from a document associated with a user, and a score determined according to evaluation criteria specified for each evaluation target element. and determining composition evaluation information for the document by referring to the document, wherein an evaluation criterion specified for at least one evaluation target element among the evaluation target elements is determined by referring to the type of the document.
  • a system for supporting writing evaluation includes an evaluation target element extraction unit for extracting evaluation target elements for writing evaluation from a document associated with a user, and an evaluation target element specified for each evaluation target element. and a composition evaluation information determining unit for determining writing evaluation information for the document by referring to a score determined according to the document type, wherein an evaluation criterion specified for at least one evaluation target element among the evaluation target elements refers to a type of the document.
  • a system for determining is provided.
  • writing is evaluated quantitatively based on predetermined evaluation criteria and the evaluation result is provided as a numerical index, so that writing can be objectively and accurately evaluated.
  • FIG. 1 is a diagram showing a schematic configuration of an entire system for supporting writing evaluation according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing in detail the internal configuration of a writing evaluation support system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a user interface screen provided by a writing evaluation support system according to an embodiment of the present invention by way of example.
  • control unit 240 control unit
  • FIG. 1 is a diagram showing a schematic configuration of an entire system for supporting writing evaluation according to an embodiment of the present invention.
  • the entire system may include a communication network 100 , a writing evaluation support system 200 and a device 300 .
  • the communication network 100 may be configured regardless of communication aspects such as wired communication or wireless communication, and may include a local area network (LAN) and a metropolitan area network (MAN). ), a wide area network (WAN), and the like.
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • the communication network 100 referred to in this specification may be the well-known Internet or the World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 100 may include, at least in part, a known wired/wireless data communication network, a known telephone network, or a known wire/wireless television communication network without being limited thereto.
  • the writing evaluation support system 200 may perform communication with a device 300 to be described later through the communication network 100, and may perform evaluation for writing evaluation from a document associated with a user.
  • a function of determining writing evaluation information for the above document may be performed by extracting a target element and referring to a score determined according to an evaluation criterion specified for each evaluation target element.
  • the writing evaluation support system 200 may be a digital device equipped with a memory unit and a microprocessor equipped with an arithmetic capability. For example, it may be a server system operated on the communication network 100 .
  • the device 300 is a digital device having a function to communicate after accessing the writing evaluation support system 200, such as a smartphone, tablet, smart watch, smart band,
  • a digital device having a function to communicate after accessing the writing evaluation support system 200, such as a smartphone, tablet, smart watch, smart band
  • any digital device equipped with a memory unit and equipped with a microprocessor such as smart glasses, desktop computers, notebook computers, workstations, PDAs, web pads, mobile phones, etc. It can be.
  • the device 300 may further include an application program for performing functions according to the present invention.
  • an application may exist in the form of a program module within the corresponding device 300 . Characteristics of these program modules may be generally similar to the evaluation target element extraction unit 210, the writing evaluation information determination unit 220, the communication unit 230, and the control unit 240 of the writing evaluation support system 200, which will be described later. can Here, at least a part of the application may be replaced with a hardware device or a firmware device capable of performing substantially the same or equivalent functions as necessary.
  • FIG. 2 is a diagram showing in detail the internal configuration of the writing evaluation support system 200 according to an embodiment of the present invention.
  • the writing evaluation support system 200 includes an evaluation target element extracting unit 210, a writing evaluation information determining unit 220, a communication unit 230, and a control unit ( 240) may be included.
  • at least a part of the evaluation target element extraction unit 210, the writing evaluation information determination unit 220, the communication unit 230, and the control unit 240 of the writing evaluation support system 200 It may be a program module that communicates with an external system (not shown).
  • These program modules may be included in the writing evaluation support system 200 in the form of an operating system, application program module, or other program module, and may be physically stored in various known storage devices.
  • these program modules may be stored in a remote storage device capable of communicating with the writing evaluation support system 200 .
  • these program modules include routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention, but are not limited thereto.
  • writing evaluation support system 200 has been described as above, this description is exemplary, and at least some of the components or functions of the writing evaluation support system 200 may be used as necessary in the device 300 or the server (not It is obvious to those skilled in the art that it may be implemented within the system (shown) or included in an external system (not shown).
  • the evaluation target element extractor 210 may perform a function of extracting evaluation target elements for writing evaluation from a document associated with a user.
  • the evaluation target element extractor 210 may obtain a document associated with the user from the user. For example, a user may send a document (for example, a self-introduction letter, a thesis, a report, etc.) written by the user to an evaluation target element extractor 210 (or a server or platform where the function of the evaluation target element extractor 210 is supported). ), and the evaluation target element extraction unit 210 may obtain the input document as a document associated with the user.
  • a document for example, a self-introduction letter, a thesis, a report, etc.
  • the evaluation target element extractor 210 may perform pre-processing on the document associated with the user obtained as above.
  • the evaluation target element extractor 210 may remove parts (eg, blanks, special symbols, etc.) excluded from writing evaluation in a document associated with a user.
  • the evaluation target element extractor 210 may use a morpheme analyzer (eg, Komoran, Kkma, etc.) to classify text in a document associated with a user into morpheme units.
  • a morpheme analyzer eg, Komoran, Kkma, etc.
  • evaluation target element extractor 210 may extract evaluation target elements for writing evaluation from the document associated with the user obtained as above (or the document on which preprocessing has been performed).
  • evaluation target elements include words (hereinafter referred to as "first evaluation target elements”), sentences (hereinafter referred to as “second evaluation target elements”), and paragraphs (hereinafter referred to as “second evaluation target elements”). , referred to as “third evaluation target element”) may include at least one of them.
  • the writing evaluation information determining unit 220 refers to a score (or evaluation score) determined according to evaluation criteria specified for each element to be evaluated, and writes a composition for a document associated with the user. It may perform a function of determining evaluation information.
  • the composition evaluation information determination unit 220 may assign (or determine) a score for each element to be evaluated based on a specified evaluation criterion for each element to be evaluated, and the determined score (e.g. summation, arithmetic mean, etc.; each score may be weighted based on a predetermined ratio, and such ratio may be determined depending on the type of document) can be calculated (or determined).
  • the writing evaluation information determining unit 220 may determine writing evaluation information for a document associated with a user by referring to the evaluation score calculated as above.
  • the above writing evaluation information may include the evaluation score itself, and may also include scores for each evaluation target element used to determine the evaluation score.
  • the above writing evaluation information may include feedback information determined based on evaluation scores.
  • the feedback information according to an embodiment of the present invention may include recommendation information of content (eg, essay class, online mentoring, etc.) determined based on the evaluation score.
  • content eg, essay class, online mentoring, etc.
  • the writing evaluation information according to an embodiment of the present invention is not necessarily limited to the above list, and may be variously changed within the scope of achieving the object of the present invention.
  • an evaluation criterion specified for at least one element to be evaluated among elements to be evaluated may be determined by referring to a type of document associated with a user. do it with
  • the writing evaluation information determination unit 220 may determine a score for the first evaluation target element by referring to attributes of words included in the evaluation target document (ie, a document associated with a user). there is.
  • the attributes of the above word may include vocabulary (or originality) and diversity of the word.
  • the composition evaluation information determining unit 220 adds up scores on the vocabulary of words included in the document to be evaluated and scores on the diversity of words included in the document to be evaluated.
  • a score for the first evaluation target element may be determined.
  • the writing evaluation information determining unit 220 selects words for language learning from words extracted from documents to be evaluated (eg, Korean language published by the National Institute of Korean Language in May 2003).
  • a score for the vocabulary of words may be determined by referring to the number of words excluding 5,965 words corresponding to the vocabulary list for learning).
  • the writing evaluation information determining unit 220 determines the diversity of words by referring to the number of words that are not used repeatedly (ie, words that are not used twice or more) in the evaluation target document. score can be determined.
  • the writing evaluation information determination unit 220 in order to determine a score on the diversity of words, compares the total number of words extracted from the evaluation target document to the total number of words extracted from the evaluation target document.
  • the ratio of the number of words excluding words repeatedly used in the document to be evaluated (this ratio is (the total number of words extracted from the document to be evaluated - the number of words repeatedly used in the document to be evaluated) / (the number of words used repeatedly in the document to be evaluated) Calculated by the relational expression of the total number of words extracted from the document) can be used.
  • the writing evaluation information determination unit 220 refers to a comparison result between words included in the evaluation target document and words included in a word cluster corresponding to the type of the evaluation target document, and then determines the first evaluation information.
  • a score for the evaluation target element (more specifically, a score for vocabulary of a word) may be determined.
  • the writing evaluation information determining unit 220 may include words included in a pre-constructed word database (here, the words included in the word database may exclude the aforementioned words for language learning). .) may be clustered (or classified) based on the level of each word to generate at least one word cluster.
  • the level of a certain word is the frequency with which the corresponding word is used in a document used by a specific group (for example, a textbook for 2nd year high school when the specific group is a group of 2nd year high school students).
  • a specific group for example, a textbook for 2nd year high school when the specific group is a group of 2nd year high school students.
  • the composition evaluation information determination unit 220 corresponds to the type of the document to be evaluated (or the level of words required according to the type of the document to be evaluated) among the at least one word cluster. word clusters can be determined. For example, assuming that the type of document to be evaluated is a dissertation, a cluster including words at the graduate school level may be determined as a word cluster corresponding to the type of document to be evaluated.
  • a cluster including words at the level of a second grader in middle school may be determined as a word cluster corresponding to the type of document to be evaluated.
  • the writing evaluation information determination unit 220 determines the vocabulary score of words by referring to the number of words included in the determined word cluster among words included in the evaluation target document. can decide
  • each score used to determine the score for the first evaluation target element is A weight may be applied based on a ratio (this ratio may be preset or may be dynamically changed according to the purpose of writing evaluation), and a score for the first evaluation target element may be determined by summing the scores to which the weight is applied.
  • a ratio may be preset or may be dynamically changed according to the purpose of writing evaluation
  • a score for the first evaluation target element may be determined by summing the scores to which the weight is applied.
  • the score for the vocabulary of words is determined to be 80 points and the score for the diversity of words is determined to be 60 points
  • each score has a ratio of 1/2 based on a predetermined ratio of 50:50.
  • Weights may be applied, and the score for the first evaluation target element is determined as 70 points by adding the weighted scores (ie, word vocabulary score: 40 points, word diversity score: 30 points).
  • the composition evaluation information determining unit 220 may determine a score for a second evaluation target element by referring to a property of a sentence included in an evaluation target document (ie, a document associated with a user). there is.
  • the above attribute of the sentence may include the readability of the sentence.
  • the composition evaluation information determining unit 220 may determine a score for the second element to be evaluated based on a score for the readability of sentences included in the document to be evaluated.
  • the score for the readability of the sentence may be determined by adding the score for the average length of the sentence included in the document to be evaluated and the score for the structure of the sentence included in the document to be evaluated.
  • the writing evaluation information determining unit 220 may determine a score for the average length of sentences by referring to the average value of the number of words in each sentence extracted from the evaluation target document.
  • composition evaluation information determining unit 220 may determine a score for the structure of sentences by referring to a ratio of sentences corresponding to complex sentences among sentences extracted from the evaluation target document.
  • whether a sentence extracted from an evaluation target document corresponds to a complex sentence depends on at least one ending included in the sentence (for example, a connecting ending, a pre-final ending, a final ending, etc.) can be judged using
  • the writing evaluation information determining unit 220 determines a score for a second evaluation target element (more specifically, a score for a sentence structure) by referring to the type of evaluation target document.
  • a score for a second evaluation target element more specifically, a score for a sentence structure
  • the writing evaluation information determining unit 220 allows the ratio of sentences corresponding to complex sentences among sentences extracted from the evaluation target document to be preset based on the type of the evaluation target document.
  • the score for the structure of the sentence can be determined by referring to the extent to which the ratio is exceeded.
  • the acceptance rate for complex questioning can be set to 30 [%]
  • the acceptance rate for complex questioning can be set to 15 [%].
  • each score used to determine the score for the second evaluation target element (eg, a score for the average length of a sentence and a score for the structure of a sentence) is set to a predetermined value.
  • a weight may be applied based on a ratio of (this ratio may be preset or may be dynamically changed according to the purpose of writing evaluation), and a score for the second evaluation target element may be determined by summing the scores to which the weight is applied.
  • each score has a 2/5 score based on a preset ratio of 40:60. and a weight of 3/5 may be applied, and scores to which the weight is applied (that is, scores for average length of sentences: 36 points, scores for structure of sentences: 42 points) are added to determine the second evaluation target element.
  • a score may be determined at 78 points.
  • the writing evaluation information determining unit 220 may determine a score for a third element to be evaluated by referring to a property of a paragraph included in a document to be evaluated (ie, a document associated with a user). there is.
  • the above paragraph properties may include linkage information between a plurality of paragraphs included in an evaluation target document (eg, degree of linkage between a plurality of paragraphs).
  • the writing evaluation information determining unit 220 determines a score for a third element to be evaluated based on a score for connection information between a plurality of paragraphs included in a document to be evaluated. can decide More specifically, the composition evaluation information determination unit 220 according to an embodiment of the present invention extracts at least one keyword from each of the first paragraph and the second paragraph of the evaluation target document, and extracts at least one keyword from the first paragraph of the evaluation target document.
  • a score for connection information between a plurality of paragraphs may be determined by referring to a degree of similarity between at least one keyword extracted from and at least one keyword extracted from the second paragraph of the evaluation target document.
  • the first paragraph of the document to be evaluated may be a paragraph determined by referring to the type of the document to be evaluated (ie, a paragraph in which the core content of the document to be evaluated is described according to the type of the document to be evaluated),
  • the second paragraph may be a single paragraph or a plurality of paragraphs different from the first paragraph of the document to be evaluated.
  • the type of document to be evaluated is a dissertation
  • the first paragraph of the document to be evaluated may be a paragraph included in the abstract (or conclusion) in which the key contents of the document to be evaluated are described
  • the second paragraph of the evaluation target document may be a paragraph included in the text.
  • At least one keyword extracted from the first paragraph and at least one keyword extracted from the second paragraph are extracted using a natural language processing technology (eg, TF-IDF) can And, according to an embodiment of the present invention, at least one keyword extracted from the first paragraph and at least one keyword extracted from the second paragraph are embedded and converted into vector values (for example, the keyword is a Sentence-BERT model). can be embedded from). That is, according to an embodiment of the present invention, the similarity between a vector value converted from at least one keyword extracted from the first paragraph and a vector value converted from at least one keyword extracted from the second paragraph (eg, A score of connection information between a plurality of paragraphs may be determined by referring to cosine similarity).
  • the writing evaluation information determination unit 220 further refers to the placement positions of at least one keyword extracted from the first paragraph and at least one keyword extracted from the second paragraph in the paragraph, A score for connection information between a plurality of paragraphs may be determined.
  • the writing evaluation information determination unit 220 determines the plurality of sentences.
  • a point sentence from which a keyword is to be extracted may be determined among sentences. According to an embodiment of the present invention, these point sentences may be determined by referring to the type of document to be evaluated.
  • the writing evaluation information determination unit 220 determines a point sentence among sentences located at the front of the paragraph from which the keyword is to be extracted (ie, a sentence located at the beginning of the paragraph from which the keyword is to be extracted and a predetermined number of sentences located in sequence after the sentence), and at least in the determined point sentence
  • a point sentence among sentences located at the front of the paragraph from which the keyword is to be extracted ie, a sentence located at the beginning of the paragraph from which the keyword is to be extracted and a predetermined number of sentences located in sequence after the sentence
  • the writing evaluation information determination unit 220 determines a point sentence among the sentences located at the end of the paragraph from which the keyword is to be extracted (that is, the sentence located at the end of the paragraph from which the keyword is to be extracted and a predetermined number of sentences located in order in front of the sentence), and in the determined point sentence At least one keyword can be extracted.
  • At least one keyword extracted from the point sentence of the first paragraph (or a vector value converted from the at least one keyword) and at least one extracted from the point sentence of the second paragraph
  • a score for linkage information between a plurality of paragraphs may be determined by referring to a degree of similarity between keywords (or vector values converted from at least one keyword).
  • the communication unit 230 may perform a function of enabling data transmission/reception from/to the evaluation target element extraction unit 210 and the writing evaluation information determination unit 220 .
  • control unit 240 may perform a function of controlling the flow of data between the evaluation target element extraction unit 210, the writing evaluation information determination unit 220, and the communication unit 230.
  • control unit 240 controls the data flow from/to the outside of the writing evaluation support system 200 or the data flow between each component of the writing evaluation support system 200, so that the evaluation target element extraction unit 210, the writing evaluation information determination unit 220, and the communication unit 230 may be controlled to perform unique functions.
  • FIG. 3 is a diagram showing a user interface screen provided by the writing evaluation support system 200 according to an embodiment of the present invention by way of example.
  • the writing evaluation support system 200 may provide the writing evaluation information determined as described above to the user through a user interface screen.
  • evaluation scores for documents associated with a user may be displayed on the first screen 310 of the user interface screen.
  • the evaluation score may be set to a perfect score of 100, but is not necessarily limited thereto.
  • the transition of evaluation scores over time may be displayed on the second screen 320 of the user interface screen.
  • the trend of the evaluation score may be displayed on a monthly basis.
  • a score used to determine an evaluation score may be displayed on the third screen 330 of the user interface screen.
  • scores for each element to be evaluated may be displayed.
  • other information about a document associated with a user may be displayed on the fourth screen 340 of the user interface screen.
  • an average creation time of a document ie, a document associated with a user
  • recommendation information of content determined based on the evaluation score may be displayed on the fifth screen 350 of the user interface screen.
  • recommendation information such as essay classes and online mentoring determined based on evaluation scores may be displayed.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium.
  • the computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes generated by a compiler.
  • a hardware device may be modified with one or more software modules to perform processing according to the present invention and vice vers

Abstract

According to one mode of the present invention, provided is a method for supporting writing assessment, the method comprising the steps of: extracting assessment target elements for writing assessment from a document associated with a user; and determining writing assessment information for the document with reference to a score determined according to assessment criteria specified for each of the assessment target elements, wherein the assessment criteria specified for at least one of the assessment target elements is determined with reference to the type of the document.

Description

작문 평가를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체Method, system and non-transitory computer readable recording medium for supporting writing assessment
본 발명은 작문 평가를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.The present invention relates to a method, system, and non-transitory computer readable recording medium for assisting in writing assessment.
통상적으로 작문(또는 글쓰기)은 다양한 목적을 달성하기 위하여 이루어지게 된다. 예를 들어, 자기 소개서에 대한 작문은 취업, 대학 입학 등의 목적을 달성하기 위하여 이루어지게 되며, 논문에 대한 작문은 학위 취득, 학술적 성취 등의 목적을 달성하기 위하여 이루어지게 된다.Usually, writing (or writing) is done to achieve various purposes. For example, writing a self-introduction letter is done to achieve a purpose such as getting a job or entering a university, and writing a thesis is done to achieve a purpose such as obtaining a degree or academic achievement.
위와 같은 작문은 해당 목적을 달성하는 과정에서 그 작문에 대한 평가가 수행되는 것이 일반적인데, 종래에는 위와 같은 작문에 대한 평가가 특정 개인(예를 들어, 교수, 선생님 등)에 의하여 수행되어 왔기 때문에, 그 평가 결과에 해당 평가자의 주관이 개입될 가능성을 배제할 수 없었다.It is common for the above writing to be evaluated in the process of achieving the corresponding purpose. Conventionally, since the evaluation of the above writing has been performed by a specific individual (eg, professor, teacher, etc.) However, it could not be ruled out that the subjectivity of the evaluator was involved in the evaluation results.
즉, 종래에는 작문을 정량적으로 평가하는 기술이 존재하지 않았으므로, 작문에 대한 평가가 객관적이지 않고 부정확한 방식으로 이루어질 수밖에 없었다.That is, since there has been no conventional technique for quantitatively evaluating writing, the evaluation of writing has to be conducted in an inaccurate and non-objective manner.
<선행기술문헌><Prior art literature>
<특허문헌><Patent Document>
(특허문헌 1) 한국공개특허공보 제10-2013-0089729호(2013.08.13)(Patent Document 1) Korean Patent Publication No. 10-2013-0089729 (2013.08.13)
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.The object of the present invention is to solve all the problems of the prior art described above.
또한, 본 발명은, 소정의 평가 기준에 기초하여 작문을 정량적으로 평가하고 그 평가 결과를 수치화된 지표로 제공함으로써, 작문에 대한 평가가 객관적이고 정확하게 이루어질 수 있도록 하는 것을 다른 목적으로 한다.Another object of the present invention is to objectively and accurately evaluate writing by quantitatively evaluating writing based on predetermined evaluation criteria and providing the evaluation result as a numerical index.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.Representative configurations of the present invention for achieving the above object are as follows.
본 발명의 일 태양에 따르면, 작문 평가를 지원하기 위한 방법으로서, 사용자와 연관되는 문서로부터 작문 평가를 위한 평가 대상 요소를 추출하는 단계, 및 상기 평가 대상 요소마다 특정된 평가 기준에 따라 결정되는 스코어를 참조하여 상기 문서에 대한 작문 평가 정보를 결정하는 단계를 포함하고, 상기 평가 대상 요소 중 적어도 하나의 평가 대상 요소에 대하여 특정되는 평가 기준은 상기 문서의 유형을 참조하여 결정되는 방법이 제공된다.According to one aspect of the present invention, a method for supporting writing evaluation includes extracting evaluation target elements for writing evaluation from a document associated with a user, and a score determined according to evaluation criteria specified for each evaluation target element. and determining composition evaluation information for the document by referring to the document, wherein an evaluation criterion specified for at least one evaluation target element among the evaluation target elements is determined by referring to the type of the document.
본 발명의 다른 태양에 따르면, 작문 평가를 지원하기 위한 시스템으로서, 사용자와 연관되는 문서로부터 작문 평가를 위한 평가 대상 요소를 추출하는 평가 대상 요소 추출부, 및 상기 평가 대상 요소마다 특정된 평가 기준에 따라 결정되는 스코어를 참조하여 상기 문서에 대한 작문 평가 정보를 결정하는 작문 평가 정보 결정부를 포함하고, 상기 평가 대상 요소 중 적어도 하나의 평가 대상 요소에 대하여 특정되는 평가 기준은 상기 문서의 유형을 참조하여 결정되는 시스템이 제공된다.According to another aspect of the present invention, a system for supporting writing evaluation includes an evaluation target element extraction unit for extracting evaluation target elements for writing evaluation from a document associated with a user, and an evaluation target element specified for each evaluation target element. and a composition evaluation information determining unit for determining writing evaluation information for the document by referring to a score determined according to the document type, wherein an evaluation criterion specified for at least one evaluation target element among the evaluation target elements refers to a type of the document. A system for determining is provided.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition to this, another method for implementing the present invention, another system, and a non-transitory computer readable recording medium recording a computer program for executing the method are further provided.
본 발명에 의하면, 소정의 평가 기준에 기초하여 작문을 정량적으로 평가하고 그 평가 결과를 수치화된 지표로 제공함으로써, 작문에 대한 평가가 객관적이고 정확하게 이루어질 수 있게 된다.According to the present invention, writing is evaluated quantitatively based on predetermined evaluation criteria and the evaluation result is provided as a numerical index, so that writing can be objectively and accurately evaluated.
도 1은 본 발명의 일 실시예에 따라 작문 평가를 지원하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a diagram showing a schematic configuration of an entire system for supporting writing evaluation according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 작문 평가 지원 시스템의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram showing in detail the internal configuration of a writing evaluation support system according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따라 작문 평가 지원 시스템이 제공하는 사용자 인터페이스 화면을 예시적으로 나타내는 도면이다.3 is a diagram illustrating a user interface screen provided by a writing evaluation support system according to an embodiment of the present invention by way of example.
<부호의 설명><Description of codes>
100: 통신망100: communication network
200: 작문 평가 지원 시스템200: writing evaluation support system
210: 평가 대상 요소 추출부210: evaluation target element extraction unit
220: 작문 평가 정보 결정부220: writing evaluation information determining unit
230: 통신부230: communication department
240: 제어부240: control unit
300: 디바이스300: device
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable any person skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented from one embodiment to another without departing from the spirit and scope of the present invention. It should also be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Therefore, the detailed description to be described later is not performed in a limiting sense, and the scope of the present invention should be taken as encompassing the scope claimed by the claims and all scopes equivalent thereto. Like reference numbers in the drawings indicate the same or similar elements throughout the various aspects.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those skilled in the art to easily practice the present invention.
전체 시스템의 구성Composition of the whole system
도 1은 본 발명의 일 실시예에 따라 작문 평가를 지원하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a diagram showing a schematic configuration of an entire system for supporting writing evaluation according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 작문 평가 지원 시스템(200) 및 디바이스(300)를 포함할 수 있다.As shown in FIG. 1 , the entire system according to an embodiment of the present invention may include a communication network 100 , a writing evaluation support system 200 and a device 300 .
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드 와이드 웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.First, the communication network 100 according to an embodiment of the present invention may be configured regardless of communication aspects such as wired communication or wireless communication, and may include a local area network (LAN) and a metropolitan area network (MAN). ), a wide area network (WAN), and the like. Preferably, the communication network 100 referred to in this specification may be the well-known Internet or the World Wide Web (WWW). However, the communication network 100 may include, at least in part, a known wired/wireless data communication network, a known telephone network, or a known wire/wireless television communication network without being limited thereto.
다음으로, 본 발명의 일 실시예에 따른 작문 평가 지원 시스템(200)은 통신망(100)을 통하여 후술할 디바이스(300)와의 통신을 수행할 수 있고, 사용자와 연관되는 문서로부터 작문 평가를 위한 평가 대상 요소를 추출하고, 위의 평가 대상 요소마다 특정된 평가 기준에 따라 결정되는 스코어를 참조하여 위의 문서에 대한 작문 평가 정보를 결정하는 기능을 수행할 수 있다. 한편, 이러한 작문 평가 지원 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기일 수 있으며, 예를 들어 통신망(100)상에서 운영되는 서버 시스템일 수도 있다.Next, the writing evaluation support system 200 according to an embodiment of the present invention may perform communication with a device 300 to be described later through the communication network 100, and may perform evaluation for writing evaluation from a document associated with a user. A function of determining writing evaluation information for the above document may be performed by extracting a target element and referring to a score determined according to an evaluation criterion specified for each evaluation target element. On the other hand, the writing evaluation support system 200 may be a digital device equipped with a memory unit and a microprocessor equipped with an arithmetic capability. For example, it may be a server system operated on the communication network 100 .
본 발명의 일 실시예에 따른 작문 평가 지원 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다.The configuration and functions of the writing evaluation support system 200 according to an embodiment of the present invention will be described in detail through the following detailed description.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는 작문 평가 지원 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿, 스마트 워치, 스마트 밴드, 스마트 글래스, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다.Next, the device 300 according to an embodiment of the present invention is a digital device having a function to communicate after accessing the writing evaluation support system 200, such as a smartphone, tablet, smart watch, smart band, As the device 300 according to the present invention, any digital device equipped with a memory unit and equipped with a microprocessor, such as smart glasses, desktop computers, notebook computers, workstations, PDAs, web pads, mobile phones, etc. It can be.
또한, 본 발명의 일 실시예에 따르면, 디바이스(300)에는 본 발명에 따른 기능을 수행하기 위한 애플리케이션 프로그램이 더 포함되어 있을 수 있다. 이러한 애플리케이션은 해당 디바이스(300) 내에서 프로그램 모듈의 형태로 존재할 수 있다. 이러한 프로그램 모듈의 성격은 후술할 바와 같은 작문 평가 지원 시스템(200)의 평가 대상 요소 추출부(210), 작문 평가 정보 결정부(220), 통신부(230) 및 제어부(240)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.Also, according to an embodiment of the present invention, the device 300 may further include an application program for performing functions according to the present invention. Such an application may exist in the form of a program module within the corresponding device 300 . Characteristics of these program modules may be generally similar to the evaluation target element extraction unit 210, the writing evaluation information determination unit 220, the communication unit 230, and the control unit 240 of the writing evaluation support system 200, which will be described later. can Here, at least a part of the application may be replaced with a hardware device or a firmware device capable of performing substantially the same or equivalent functions as necessary.
작문 평가 지원 시스템의 구성Composition of writing evaluation support system
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 작문 평가 지원 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the writing evaluation support system 200, which performs important functions for the implementation of the present invention, and the functions of each component will be described.
도 2는 본 발명의 일 실시예에 따른 작문 평가 지원 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram showing in detail the internal configuration of the writing evaluation support system 200 according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 작문 평가 지원 시스템(200)은, 평가 대상 요소 추출부(210), 작문 평가 정보 결정부(220), 통신부(230) 및 제어부(240)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 작문 평가 지원 시스템(200)의 평가 대상 요소 추출부(210), 작문 평가 정보 결정부(220), 통신부(230) 및 제어부(240)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 작문 평가 지원 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 작문 평가 지원 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.As shown in FIG. 2 , the writing evaluation support system 200 according to an embodiment of the present invention includes an evaluation target element extracting unit 210, a writing evaluation information determining unit 220, a communication unit 230, and a control unit ( 240) may be included. According to an embodiment of the present invention, at least a part of the evaluation target element extraction unit 210, the writing evaluation information determination unit 220, the communication unit 230, and the control unit 240 of the writing evaluation support system 200 It may be a program module that communicates with an external system (not shown). These program modules may be included in the writing evaluation support system 200 in the form of an operating system, application program module, or other program module, and may be physically stored in various known storage devices. Also, these program modules may be stored in a remote storage device capable of communicating with the writing evaluation support system 200 . Meanwhile, these program modules include routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention, but are not limited thereto.
한편, 작문 평가 지원 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 작문 평가 지원 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 디바이스(300) 또는 서버(미도시됨) 내에서 실현되거나 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.Meanwhile, although the writing evaluation support system 200 has been described as above, this description is exemplary, and at least some of the components or functions of the writing evaluation support system 200 may be used as necessary in the device 300 or the server (not It is obvious to those skilled in the art that it may be implemented within the system (shown) or included in an external system (not shown).
먼저, 본 발명의 일 실시예에 따른 평가 대상 요소 추출부(210)는, 사용자와 연관되는 문서로부터 작문 평가를 위한 평가 대상 요소를 추출하는 기능을 수행할 수 있다.First, the evaluation target element extractor 210 according to an embodiment of the present invention may perform a function of extracting evaluation target elements for writing evaluation from a document associated with a user.
본 발명의 일 실시예에 따르면, 평가 대상 요소 추출부(210)는 사용자로부터 그 사용자와 연관되는 문서를 획득할 수 있다. 예를 들어, 사용자는 자신이 작성한 문서(예를 들어, 자기 소개서, 논문, 보고서 등)를 평가 대상 요소 추출부(210)(또는 평가 대상 요소 추출부(210)의 기능이 지원되는 서버 또는 플랫폼)에 입력(또는 업로드)하고, 평가 대상 요소 추출부(210)는 그 입력되는 문서를 사용자와 연관되는 문서로서 획득할 수 있다.According to an embodiment of the present invention, the evaluation target element extractor 210 may obtain a document associated with the user from the user. For example, a user may send a document (for example, a self-introduction letter, a thesis, a report, etc.) written by the user to an evaluation target element extractor 210 (or a server or platform where the function of the evaluation target element extractor 210 is supported). ), and the evaluation target element extraction unit 210 may obtain the input document as a document associated with the user.
계속해서, 본 발명의 일 실시예에 따르면, 평가 대상 요소 추출부(210)는 위와 같이 획득한 사용자와 연관되는 문서에 대하여 전처리를 수행할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 평가 대상 요소 추출부(210)는, 사용자와 연관되는 문서에서 작문 평가에 제외되는 부분(예를 들어, 공백, 특수 기호 등)을 제거할 수 있다. 다른 예를 들어, 본 발명의 일 실시예에 따른 평가 대상 요소 추출부(210)는, 형태소 분석기(예를 들어, Komoran, Kkma 등)를 이용하여 사용자와 연관되는 문서 내의 텍스트를 형태소 단위로 구분할 수 있다.Subsequently, according to an embodiment of the present invention, the evaluation target element extractor 210 may perform pre-processing on the document associated with the user obtained as above. For example, the evaluation target element extractor 210 according to an embodiment of the present invention may remove parts (eg, blanks, special symbols, etc.) excluded from writing evaluation in a document associated with a user. . For another example, the evaluation target element extractor 210 according to an embodiment of the present invention may use a morpheme analyzer (eg, Komoran, Kkma, etc.) to classify text in a document associated with a user into morpheme units. can
계속해서, 본 발명의 일 실시예에 따르면, 평가 대상 요소 추출부(210)는 위와 같이 획득한 사용자와 연관되는 문서(또는 전처리가 수행된 문서)로부터 작문 평가를 위한 평가 대상 요소를 추출할 수 있다. 여기서, 본 발명의 일 실시예에 따른 평가 대상 요소에는, 단어(이하, "제1 평가 대상 요소"라 한다.), 문장(이하, "제2 평가 대상 요소"라 한다.) 및 문단(이하, "제3 평가 대상 요소"라 한다.) 중 적어도 하나가 포함될 수 있다.Continuing, according to an embodiment of the present invention, the evaluation target element extractor 210 may extract evaluation target elements for writing evaluation from the document associated with the user obtained as above (or the document on which preprocessing has been performed). there is. Here, evaluation target elements according to an embodiment of the present invention include words (hereinafter referred to as "first evaluation target elements"), sentences (hereinafter referred to as "second evaluation target elements"), and paragraphs (hereinafter referred to as "second evaluation target elements"). , referred to as "third evaluation target element") may include at least one of them.
다음으로, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 요소마다 특정된 평가 기준에 따라 결정되는 스코어(또는 평가 스코어)를 참조하여 사용자와 연관되는 문서에 대한 작문 평가 정보를 결정하는 기능을 수행할 수 있다.Next, the writing evaluation information determining unit 220 according to an embodiment of the present invention refers to a score (or evaluation score) determined according to evaluation criteria specified for each element to be evaluated, and writes a composition for a document associated with the user. It may perform a function of determining evaluation information.
본 발명의 일 실시예에 따르면, 작문 평가 정보 결정부(220)는 평가 대상 요소마다 특정된 평가 기준에 기초하여 평가 대상 요소 각각에 대한 스코어를 부여(또는 결정)할 수 있고, 그 결정되는 스코어를 연산(예를 들어, 합산, 산술 평균 등; 각 스코어에 소정의 비율에 기초하여 가중치가 적용될 수 있고, 이러한 비율은 문서의 유형에 따라 결정될 수 있음)함으로써 사용자와 연관되는 문서에 관한 평가 스코어를 산출(또는 결정)할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 작문 평가 정보 결정부(220)는 위와 같이 산출되는 평가 스코어를 참조하여 사용자와 연관되는 문서에 대한 작문 평가 정보를 결정할 수 있다. 본 발명의 일 실시예에 따르면, 위의 작문 평가 정보에는 평가 스코어 그 자체가 포함될 수 있으며, 평가 스코어를 결정하기 위하여 이용되는 각 평가 대상 요소에 관한 스코어도 포함될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 위의 작문 평가 정보에는 평가 스코어에 기초하여 결정되는 피드백 정보가 포함될 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 피드백 정보에는 평가 스코어에 기초하여 결정되는 콘텐츠(예를 들어, 논술 클래스, 온라인 멘토링 등)의 추천 정보가 포함될 수 있다. 다만, 본 발명의 일 실시예에 따른 작문 평가 정보가 반드시 위의 열거된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있음을 밝혀 둔다.According to an embodiment of the present invention, the composition evaluation information determination unit 220 may assign (or determine) a score for each element to be evaluated based on a specified evaluation criterion for each element to be evaluated, and the determined score (e.g. summation, arithmetic mean, etc.; each score may be weighted based on a predetermined ratio, and such ratio may be determined depending on the type of document) can be calculated (or determined). Here, according to an embodiment of the present invention, the writing evaluation information determining unit 220 may determine writing evaluation information for a document associated with a user by referring to the evaluation score calculated as above. According to an embodiment of the present invention, the above writing evaluation information may include the evaluation score itself, and may also include scores for each evaluation target element used to determine the evaluation score. Also, according to an embodiment of the present invention, the above writing evaluation information may include feedback information determined based on evaluation scores. For example, the feedback information according to an embodiment of the present invention may include recommendation information of content (eg, essay class, online mentoring, etc.) determined based on the evaluation score. However, it should be noted that the writing evaluation information according to an embodiment of the present invention is not necessarily limited to the above list, and may be variously changed within the scope of achieving the object of the present invention.
이하에서는, 전술한 평가 대상 요소마다 특정되는 평가 기준에 기초하여 평가 대상 요소 각각에 대한 스코어를 결정하는 내용에 관하여 구체적으로 살펴보기로 한다. 나아가, 본 발명의 일 실시예에 따르면 평가 대상 요소 중 적어도 하나의 평가 대상 요소에 대하여 특정되는 평가 기준은 사용자와 연관되는 문서의 유형을 참조하여 결정될 수 있는데, 이에 관한 내용도 이하에서 같이 살펴보기로 한다.Hereinafter, details of determining a score for each element to be evaluated based on the evaluation criteria specified for each of the elements to be evaluated will be examined in detail. Furthermore, according to an embodiment of the present invention, an evaluation criterion specified for at least one element to be evaluated among elements to be evaluated may be determined by referring to a type of document associated with a user. do it with
본 발명의 일 실시예에 따르면, 작문 평가 정보 결정부(220)는 평가 대상 문서(즉, 사용자와 연관되는 문서)에 포함되는 단어의 속성을 참조하여 제1 평가 대상 요소에 관한 스코어를 결정할 수 있다. 본 발명의 일 실시예에 따르면, 위의 단어의 속성에는 단어의 어휘력(또는 독창성) 및 다양성이 포함될 수 있다.According to an embodiment of the present invention, the writing evaluation information determination unit 220 may determine a score for the first evaluation target element by referring to attributes of words included in the evaluation target document (ie, a document associated with a user). there is. According to an embodiment of the present invention, the attributes of the above word may include vocabulary (or originality) and diversity of the word.
예를 들어, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서에 포함되는 단어의 어휘력에 관한 스코어와 평가 대상 문서에 포함되는 단어의 다양성에 관한 스코어를 합산하여 제1 평가 대상 요소에 관한 스코어를 결정할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서에서 추출되는 단어에서 언어 학습용 단어(예를 들어, 국립국어연구원에서 2003년 5월에 발표한 한국어 학습용 어휘 목록 5,965개에 해당하는 단어)를 제외한 단어의 개수를 참조하여 단어의 어휘력에 관한 스코어를 결정할 수 있다. 또한, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서에서 반복되어 사용되지 않은 단어(즉, 두 번 이상 사용되지 않은 단어)의 개수를 참조하여 단어의 다양성에 관한 스코어를 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 단어의 다양성에 관한 스코어를 결정하기 위하여, 평가 대상 문서에서 추출된 전체 단어의 개수 대비 평가 대상 문서에서 추출된 전체 단어에서 평가 대상 문서에서 반복되어 사용된 단어를 제외한 단어의 개수의 비율(이러한 비율은, (평가 대상 문서에서 추출된 전체 단어의 개수 - 평가 대상 문서에서 반복되어 사용된 단어의 개수)/(평가 대상 문서에서 추출된 전체 단어의 개수)의 관계식에 의해 산출됨)을 이용할 수 있다.For example, the composition evaluation information determining unit 220 according to an embodiment of the present invention adds up scores on the vocabulary of words included in the document to be evaluated and scores on the diversity of words included in the document to be evaluated. A score for the first evaluation target element may be determined. More specifically, the writing evaluation information determining unit 220 according to an embodiment of the present invention selects words for language learning from words extracted from documents to be evaluated (eg, Korean language published by the National Institute of Korean Language in May 2003). A score for the vocabulary of words may be determined by referring to the number of words excluding 5,965 words corresponding to the vocabulary list for learning). In addition, the writing evaluation information determining unit 220 according to an embodiment of the present invention determines the diversity of words by referring to the number of words that are not used repeatedly (ie, words that are not used twice or more) in the evaluation target document. score can be determined. Here, the writing evaluation information determination unit 220 according to an embodiment of the present invention, in order to determine a score on the diversity of words, compares the total number of words extracted from the evaluation target document to the total number of words extracted from the evaluation target document. The ratio of the number of words excluding words repeatedly used in the document to be evaluated (this ratio is (the total number of words extracted from the document to be evaluated - the number of words repeatedly used in the document to be evaluated) / (the number of words used repeatedly in the document to be evaluated) Calculated by the relational expression of the total number of words extracted from the document) can be used.
한편, 본 발명의 일 실시예에 따르면, 작문 평가 정보 결정부(220)는 평가 대상 문서에 포함되는 단어와 평가 대상 문서의 유형에 대응되는 단어 클러스터에 포함되는 단어의 비교 결과를 참조하여 제1 평가 대상 요소에 관한 스코어(보다 구체적으로, 단어의 어휘력에 관한 스코어)를 결정할 수도 있다. 구체적으로, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 미리 구축된 단어 데이터베이스에 포함되는 단어(여기서, 단어 데이터베이스에 포함되는 단어는 전술한 언어 학습용 단어가 제외될 수 있다.)를 각 단어의 수준에 기초하여 군집화(또는 분류)함으로써 적어도 하나의 단어 클러스터를 생성할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 어떠한 단어의 수준은 특정 집단에서 사용하는 문서(예를 들어, 특정 집단이 고등학교 2학년 학생 집단인 경우 고등학교 2학년 교과서)에서 해당 단어가 사용된 빈도를 참조하여 결정될 수 있다. 그리고, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 위의 적어도 하나의 단어 클러스터 중에서 평가 대상 문서의 유형(또는 평가 대상 문서의 유형에 따라 요구되는 단어 수준)에 대응되는 단어 클러스터를 결정할 수 있다. 예를 들어, 평가 대상 문서의 유형이 논문인 것으로 상정하여 본다면, 대학원 수준의 단어가 포함되는 클러스터가 위의 평가 대상 문서의 유형에 대응되는 단어 클러스터로 결정될 수 있다. 다른 예를 들어, 평가 대상 문서의 유형이 신문기사인 것으로 상정하여 본다면, 중학교 2학년 수준의 단어가 포함되는 클러스터가 위의 평가 대상 문서의 유형에 대응되는 단어 클러스터로 결정될 수 있다. 그리고, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서에 포함되는 단어 중에서 위의 결정되는 단어 클러스터에 포함되는 단어의 개수를 참조하여 단어의 어휘력에 관한 스코어를 결정할 수 있다.Meanwhile, according to an embodiment of the present invention, the writing evaluation information determination unit 220 refers to a comparison result between words included in the evaluation target document and words included in a word cluster corresponding to the type of the evaluation target document, and then determines the first evaluation information. A score for the evaluation target element (more specifically, a score for vocabulary of a word) may be determined. Specifically, the writing evaluation information determining unit 220 according to an embodiment of the present invention may include words included in a pre-constructed word database (here, the words included in the word database may exclude the aforementioned words for language learning). .) may be clustered (or classified) based on the level of each word to generate at least one word cluster. Here, according to one embodiment of the present invention, the level of a certain word is the frequency with which the corresponding word is used in a document used by a specific group (for example, a textbook for 2nd year high school when the specific group is a group of 2nd year high school students). can be determined by reference. In addition, the composition evaluation information determination unit 220 according to an embodiment of the present invention corresponds to the type of the document to be evaluated (or the level of words required according to the type of the document to be evaluated) among the at least one word cluster. word clusters can be determined. For example, assuming that the type of document to be evaluated is a dissertation, a cluster including words at the graduate school level may be determined as a word cluster corresponding to the type of document to be evaluated. For another example, assuming that the type of document to be evaluated is a newspaper article, a cluster including words at the level of a second grader in middle school may be determined as a word cluster corresponding to the type of document to be evaluated. In addition, the writing evaluation information determination unit 220 according to an embodiment of the present invention determines the vocabulary score of words by referring to the number of words included in the determined word cluster among words included in the evaluation target document. can decide
한편, 본 발명의 일 실시예에 따르면, 제1 평가 대상 요소에 관한 스코어를 결정하기 위하여 이용되는 각각의 스코어(예를 들어, 단어의 어휘력에 관한 스코어 및 단어의 다양성에 관한 스코어)는 소정의 비율(이러한 비율은 기설정되거나 작문 평가의 목적에 따라 동적으로 변경될 수 있다.)에 기초하여 가중치가 적용될 수 있고, 그 가중치가 적용된 스코어가 합산되어 제1 평가 대상 요소에 관한 스코어가 결정될 수 있다. 예를 들어, 단어의 어휘력에 관한 스코어가 80점으로 결정되고 단어의 다양성에 관한 스코어가 60점으로 결정되는 경우에, 각각의 스코어에는 기설정된 50:50의 비율에 기초하여 각각 1/2의 가중치가 적용될 수 있고, 그 가중치가 적용된 스코어(즉, 단어의 어휘력에 관한 스코어: 40점, 단어의 다양성에 관한 스코어: 30점)가 합산되어 제1 평가 대상 요소에 관한 스코어가 70점으로 결정될 수 있다.On the other hand, according to an embodiment of the present invention, each score used to determine the score for the first evaluation target element (eg, the score for the vocabulary of words and the score for the diversity of words) is A weight may be applied based on a ratio (this ratio may be preset or may be dynamically changed according to the purpose of writing evaluation), and a score for the first evaluation target element may be determined by summing the scores to which the weight is applied. there is. For example, if the score for the vocabulary of words is determined to be 80 points and the score for the diversity of words is determined to be 60 points, each score has a ratio of 1/2 based on a predetermined ratio of 50:50. Weights may be applied, and the score for the first evaluation target element is determined as 70 points by adding the weighted scores (ie, word vocabulary score: 40 points, word diversity score: 30 points). can
본 발명의 일 실시예에 따르면, 작문 평가 정보 결정부(220)는 평가 대상 문서(즉, 사용자와 연관되는 문서)에 포함되는 문장의 속성을 참조하여 제2 평가 대상 요소에 관한 스코어를 결정할 수 있다. 본 발명의 일 실시예에 따르면, 위의 문장의 속성에는 문장의 가독성이 포함될 수 있다.According to an embodiment of the present invention, the composition evaluation information determining unit 220 may determine a score for a second evaluation target element by referring to a property of a sentence included in an evaluation target document (ie, a document associated with a user). there is. According to an embodiment of the present invention, the above attribute of the sentence may include the readability of the sentence.
예를 들어, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서에 포함되는 문장의 가독성에 관한 스코어에 기초하여 제2 평가 대상 요소에 관한 스코어를 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 문장의 가독성에 관한 스코어는 평가 대상 문서에 포함되는 문장의 평균 길이에 관한 스코어와 평가 대상 문서에 포함되는 문장의 구조에 관한 스코어가 합산되어 결정될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서에서 추출되는 각 문장의 어절 수의 평균값을 참조하여 문장의 평균 길이에 관한 스코어를 결정할 수 있다. 또한, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서에서 추출되는 문장 중에서 복문에 해당하는 문장의 비율을 참조하여 문장의 구조에 관한 스코어를 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 평가 대상 문서에서 추출되는 문장이 복문에 해당하는지 여부는 해당 문장에 포함되는 적어도 하나의 어미(예를 들어, 연결 어미, 선어말 어미, 종결 어미 등)를 이용하여 판단될 수 있다.For example, the composition evaluation information determining unit 220 according to an embodiment of the present invention may determine a score for the second element to be evaluated based on a score for the readability of sentences included in the document to be evaluated. Here, according to an embodiment of the present invention, the score for the readability of the sentence may be determined by adding the score for the average length of the sentence included in the document to be evaluated and the score for the structure of the sentence included in the document to be evaluated. . More specifically, the writing evaluation information determining unit 220 according to an embodiment of the present invention may determine a score for the average length of sentences by referring to the average value of the number of words in each sentence extracted from the evaluation target document. In addition, the composition evaluation information determining unit 220 according to an embodiment of the present invention may determine a score for the structure of sentences by referring to a ratio of sentences corresponding to complex sentences among sentences extracted from the evaluation target document. Here, according to an embodiment of the present invention, whether a sentence extracted from an evaluation target document corresponds to a complex sentence depends on at least one ending included in the sentence (for example, a connecting ending, a pre-final ending, a final ending, etc.) can be judged using
한편, 본 발명의 일 실시예에 따르면, 작문 평가 정보 결정부(220)는 평가 대상 문서의 유형을 참조하여 제2 평가 대상 요소에 관한 스코어(보다 구체적으로, 문장의 구조에 관한 스코어)를 결정할 수도 있다. 구체적으로, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서에서 추출되는 문장 중에서 복문에 해당하는 문장의 비율이 해당 평가 대상 문서의 유형에 기초하여 기설정된 복문 허용 비율을 초과하는 정도를 참조하여 문장의 구조에 관한 스코어를 결정할 수 있다. 예를 들어, 평가 대상 문서의 유형이 논문에 해당하는 경우 복문 허용 비율이 30[%]로 설정될 수 있고, 평가 대상 문서의 유형이 자기 소개서에 해당하는 경우 복문 허용 비율이 15[%]로 설정될 수 있다.Meanwhile, according to an embodiment of the present invention, the writing evaluation information determining unit 220 determines a score for a second evaluation target element (more specifically, a score for a sentence structure) by referring to the type of evaluation target document. may be Specifically, the writing evaluation information determining unit 220 according to an embodiment of the present invention allows the ratio of sentences corresponding to complex sentences among sentences extracted from the evaluation target document to be preset based on the type of the evaluation target document. The score for the structure of the sentence can be determined by referring to the extent to which the ratio is exceeded. For example, if the type of document to be evaluated corresponds to a dissertation, the acceptance rate for complex questioning can be set to 30 [%], and if the type of document to be evaluated corresponds to a self-introduction letter, the acceptance rate for complex questioning can be set to 15 [%]. can be set.
한편, 본 발명의 일 실시예에 따르면, 제2 평가 대상 요소에 관한 스코어를 결정하기 위하여 이용되는 각각의 스코어(예를 들어, 문장의 평균 길이에 관한 스코어 및 문장의 구조에 관한 스코어)는 소정의 비율(이러한 비율은 기설정되거나 작문 평가의 목적에 따라 동적으로 변경될 수 있다.)에 기초하여 가중치가 적용될 수 있고, 그 가중치가 적용된 스코어가 합산되어 제2 평가 대상 요소에 관한 스코어가 결정될 수 있다. 예를 들어, 문장의 평균 길이에 관한 스코어가 90점으로 결정되고 문장의 구조에 관한 스코어가 70점으로 결정되는 경우에, 각각의 스코어에는 기설정된 40:60의 비율에 기초하여 각각 2/5 및 3/5의 가중치가 적용될 수 있고, 그 가중치가 적용된 스코어(즉, 문장의 평균 길이에 관한 스코어: 36점, 문장의 구조에 관한 스코어: 42점)가 합산되어 제2 평가 대상 요소에 관한 스코어가 78점으로 결정될 수 있다.On the other hand, according to an embodiment of the present invention, each score used to determine the score for the second evaluation target element (eg, a score for the average length of a sentence and a score for the structure of a sentence) is set to a predetermined value. A weight may be applied based on a ratio of (this ratio may be preset or may be dynamically changed according to the purpose of writing evaluation), and a score for the second evaluation target element may be determined by summing the scores to which the weight is applied. can For example, if the score for the average length of a sentence is determined to be 90 points and the score for the structure of a sentence is determined to be 70 points, each score has a 2/5 score based on a preset ratio of 40:60. and a weight of 3/5 may be applied, and scores to which the weight is applied (that is, scores for average length of sentences: 36 points, scores for structure of sentences: 42 points) are added to determine the second evaluation target element. A score may be determined at 78 points.
본 발명의 일 실시예에 따르면, 작문 평가 정보 결정부(220)는 평가 대상 문서(즉, 사용자와 연관되는 문서)에 포함되는 문단의 속성을 참조하여 제3 평가 대상 요소에 관한 스코어를 결정할 수 있다. 본 발명의 일 실시예에 따르면, 위의 문단의 속성에는 평가 대상 문서에 포함되는 복수의 문단 사이의 연계 정보(예를 들어, 복수의 문단 사이의 연계의 정도)가 포함될 수 있다.According to an embodiment of the present invention, the writing evaluation information determining unit 220 may determine a score for a third element to be evaluated by referring to a property of a paragraph included in a document to be evaluated (ie, a document associated with a user). there is. According to an embodiment of the present invention, the above paragraph properties may include linkage information between a plurality of paragraphs included in an evaluation target document (eg, degree of linkage between a plurality of paragraphs).
예를 들어, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서에 포함되는 복수의 문단 사이의 연계 정보에 관한 스코어에 기초하여 제3 평가 대상 요소에 관한 스코어를 결정할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 작문 평가 정보 결정부(220)는, 평가 대상 문서의 제1 문단 및 제2 문단에서 각각 적어도 하나의 키워드를 추출하고, 평가 대상 문서의 제1 문단에서 추출되는 적어도 하나의 키워드 및 평가 대상 문서의 제2 문단에서 추출되는 적어도 하나의 키워드 사이의 유사도를 참조하여 복수의 문단 사이의 연계 정보에 관한 스코어를 결정할 수 있다. 여기서, 평가 대상 문서의 제1 문단은 평가 대상 문서의 유형을 참조하여 결정되는 문단(즉, 평가 대상 문서의 유형에 따라 평가 대상 문서의 핵심 내용이 기재되는 문단)일 수 있고, 평가 대상 문서의 제2 문단은 평가 대상 문서의 제1 문단과 상이한 단일 또는 복수의 문단일 수 있다. 예를 들어, 평가 대상 문서의 유형이 논문인 것으로 상정하여 본다면, 그 평가 대상 문서의 제1 문단은 평가 대상 문서의 핵심 내용이 기재되는 초록(abstract)(또는 결론)에 포함되는 문단일 수 있고, 그 평가 대상 문서의 제2 문단은 본문에 포함되는 문단일 수 있다.For example, the writing evaluation information determining unit 220 according to an embodiment of the present invention determines a score for a third element to be evaluated based on a score for connection information between a plurality of paragraphs included in a document to be evaluated. can decide More specifically, the composition evaluation information determination unit 220 according to an embodiment of the present invention extracts at least one keyword from each of the first paragraph and the second paragraph of the evaluation target document, and extracts at least one keyword from the first paragraph of the evaluation target document. A score for connection information between a plurality of paragraphs may be determined by referring to a degree of similarity between at least one keyword extracted from and at least one keyword extracted from the second paragraph of the evaluation target document. Here, the first paragraph of the document to be evaluated may be a paragraph determined by referring to the type of the document to be evaluated (ie, a paragraph in which the core content of the document to be evaluated is described according to the type of the document to be evaluated), The second paragraph may be a single paragraph or a plurality of paragraphs different from the first paragraph of the document to be evaluated. For example, assuming that the type of document to be evaluated is a dissertation, the first paragraph of the document to be evaluated may be a paragraph included in the abstract (or conclusion) in which the key contents of the document to be evaluated are described, However, the second paragraph of the evaluation target document may be a paragraph included in the text.
여기서, 본 발명의 일 실시예에 따르면, 제1 문단에서 추출되는 적어도 하나의 키워드와 제2 문단에서 추출되는 적어도 하나의 키워드는 자연어 처리 기술(예를 들어, TF-IDF)을 이용하여 추출될 수 있다. 그리고, 본 발명의 일 실시예에 따르면, 제1 문단에서 추출되는 적어도 하나의 키워드 및 제2 문단에서 추출되는 적어도 하나의 키워드는 임베딩되어 벡터값으로 변환(예를 들어, 키워드는 Sentence-BERT 모델로부터 임베딩될 수 있다.)될 수 있다. 즉, 본 발명의 일 실시예에 따르면, 제1 문단에서 추출되는 적어도 하나의 키워드에서 변환되는 벡터값 및 제2 문단에서 추출되는 적어도 하나의 키워드에서 변환되는 벡터값 사이의 유사도(예를 들어, 코사인 유사도)를 참조하여 복수의 문단 사이의 연계 정보에 관한 스코어가 결정될 수 있다.Here, according to an embodiment of the present invention, at least one keyword extracted from the first paragraph and at least one keyword extracted from the second paragraph are extracted using a natural language processing technology (eg, TF-IDF) can And, according to an embodiment of the present invention, at least one keyword extracted from the first paragraph and at least one keyword extracted from the second paragraph are embedded and converted into vector values (for example, the keyword is a Sentence-BERT model). can be embedded from). That is, according to an embodiment of the present invention, the similarity between a vector value converted from at least one keyword extracted from the first paragraph and a vector value converted from at least one keyword extracted from the second paragraph (eg, A score of connection information between a plurality of paragraphs may be determined by referring to cosine similarity).
한편, 본 발명의 일 실시예에 따르면, 작문 평가 정보 결정부(220)는 제1 문단에서 추출되는 적어도 하나의 키워드 및 제2 문단에서 추출되는 적어도 하나의 키워드의 문단 내 배치 위치를 더 참조하여 복수의 문단 사이의 연계 정보에 관한 스코어를 결정할 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 키워드를 추출할 문단(즉, 제1 문단 또는 제2 문단)이 복수의 문장으로 구성되는 경우에, 작문 평가 정보 결정부(220)는 그 복수의 문장 중에서 키워드를 추출할 포인트 문장을 결정할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 포인트 문장은 평가 대상 문서의 유형을 참조하여 결정될 수 있다. 예를 들어, 평가 대상 문서가 두괄식으로 작성되는 유형의 문서(예를 들어, 영문으로 작성되는 문서)이고 키워드를 추출할 문단이 복수의 문장으로 구성되는 경우에, 작문 평가 정보 결정부(220)는 해당 키워드를 추출할 문단의 앞부분에 위치한 문장(즉, 해당 키워드를 추출할 문단의 맨 앞에 위치한 문장 및 그 문장의 뒤에 차례로 위치한 소정 개수의 문장) 중에서 포인트 문장을 결정하고 그 결정된 포인트 문장에서 적어도 하나의 키워드를 추출할 수 있다. 다른 예를 들어, 평가 대상 문서가 미괄식으로 작성되는 유형의 문서(예를 들어, 국문으로 작성되는 문서)이고 키워드를 추출할 문단이 복수의 문장으로 구성되는 경우에, 작문 평가 정보 결정부(220)는 해당 키워드를 추출할 문단의 뒷부분에 위치한 문장(즉, 해당 키워드를 추출할 문단의 맨 뒤에 위치한 문장 및 그 문장의 앞에 차례로 위치한 소정 개수의 문장) 중에서 포인트 문장을 결정하고 그 결정된 포인트 문장에서 적어도 하나의 키워드를 추출할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 제1 문단의 포인트 문장에서 추출되는 적어도 하나의 키워드(또는 그 적어도 하나의 키워드에서 변환되는 벡터값) 및 제2 문단의 포인트 문장에서 추출되는 적어도 하나의 키워드(또는 그 적어도 하나의 키워드에서 변환되는 벡터값) 사이의 유사도를 참조하여 복수의 문단 사이의 연계 정보에 관한 스코어가 결정될 수 있다.Meanwhile, according to an embodiment of the present invention, the writing evaluation information determination unit 220 further refers to the placement positions of at least one keyword extracted from the first paragraph and at least one keyword extracted from the second paragraph in the paragraph, A score for connection information between a plurality of paragraphs may be determined. Specifically, according to an embodiment of the present invention, when a paragraph (ie, a first paragraph or a second paragraph) from which a keyword is to be extracted is composed of a plurality of sentences, the writing evaluation information determination unit 220 determines the plurality of sentences. A point sentence from which a keyword is to be extracted may be determined among sentences. According to an embodiment of the present invention, these point sentences may be determined by referring to the type of document to be evaluated. For example, when a document to be evaluated is a type of document written in a two-headed form (eg, a document written in English) and a paragraph from which a keyword is to be extracted consists of a plurality of sentences, the writing evaluation information determination unit 220 determines a point sentence among sentences located at the front of the paragraph from which the keyword is to be extracted (ie, a sentence located at the beginning of the paragraph from which the keyword is to be extracted and a predetermined number of sentences located in sequence after the sentence), and at least in the determined point sentence One keyword can be extracted. For another example, when a document to be evaluated is a type of document written in parentheses (for example, a document written in Korean) and a paragraph from which keywords are to be extracted consists of a plurality of sentences, the writing evaluation information determination unit 220 ) determines a point sentence among the sentences located at the end of the paragraph from which the keyword is to be extracted (that is, the sentence located at the end of the paragraph from which the keyword is to be extracted and a predetermined number of sentences located in order in front of the sentence), and in the determined point sentence At least one keyword can be extracted. That is, according to an embodiment of the present invention, at least one keyword extracted from the point sentence of the first paragraph (or a vector value converted from the at least one keyword) and at least one extracted from the point sentence of the second paragraph A score for linkage information between a plurality of paragraphs may be determined by referring to a degree of similarity between keywords (or vector values converted from at least one keyword).
다음으로, 본 발명의 일 실시예에 따른 통신부(230)는 평가 대상 요소 추출부(210) 및 작문 평가 정보 결정부(220)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.Next, the communication unit 230 according to an embodiment of the present invention may perform a function of enabling data transmission/reception from/to the evaluation target element extraction unit 210 and the writing evaluation information determination unit 220 .
마지막으로, 본 발명의 일 실시예에 따른 제어부(240)는 평가 대상 요소 추출부(210), 작문 평가 정보 결정부(220) 및 통신부(230) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(240)는 작문 평가 지원 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 작문 평가 지원 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 평가 대상 요소 추출부(210), 작문 평가 정보 결정부(220) 및 통신부(230)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the control unit 240 according to an embodiment of the present invention may perform a function of controlling the flow of data between the evaluation target element extraction unit 210, the writing evaluation information determination unit 220, and the communication unit 230. there is. That is, the control unit 240 according to the present invention controls the data flow from/to the outside of the writing evaluation support system 200 or the data flow between each component of the writing evaluation support system 200, so that the evaluation target element extraction unit 210, the writing evaluation information determination unit 220, and the communication unit 230 may be controlled to perform unique functions.
도 3은 본 발명의 일 실시예에 따라 작문 평가 지원 시스템(200)이 제공하는 사용자 인터페이스 화면을 예시적으로 나타내는 도면이다.3 is a diagram showing a user interface screen provided by the writing evaluation support system 200 according to an embodiment of the present invention by way of example.
도 3을 참조하면, 본 발명의 일 실시예에 따른 작문 평가 지원 시스템(200)은 전술한 바와 같이 결정되는 작문 평가 정보를 사용자 인터페이스 화면을 통해 사용자에게 제공할 수 있다.Referring to FIG. 3 , the writing evaluation support system 200 according to an embodiment of the present invention may provide the writing evaluation information determined as described above to the user through a user interface screen.
본 발명의 일 실시예에 따르면, 사용자 인터페이스 화면의 제1 화면(310)에서는 사용자와 연관되는 문서에 관한 평가 스코어가 표시될 수 있다. 본 발명의 일 실시예에 따르면, 평가 스코어는 100점 만점으로 설정될 수 있으나, 반드시 이에 한정되는 것은 아니다.According to one embodiment of the present invention, evaluation scores for documents associated with a user may be displayed on the first screen 310 of the user interface screen. According to one embodiment of the present invention, the evaluation score may be set to a perfect score of 100, but is not necessarily limited thereto.
또한, 본 발명의 일 실시예에 따르면, 사용자 인터페이스 화면의 제2 화면(320)에서는 시간의 흐름에 따른 평가 스코어의 추이가 표시될 수 있다. 예를 들어, 이러한 평가 스코어의 추이는 월간을 기준으로 표시될 수 있다.Also, according to an embodiment of the present invention, the transition of evaluation scores over time may be displayed on the second screen 320 of the user interface screen. For example, the trend of the evaluation score may be displayed on a monthly basis.
또한, 본 발명의 일 실시예에 따르면, 사용자 인터페이스 화면의 제3 화면(330)에서는 평가 스코어를 결정하기 위하여 이용되는 스코어가 표시될 수 있다. 예를 들어, 제3 화면(330)에서는 각 평가 대상 요소에 관한 스코어가 표시될 수 있다.Also, according to an embodiment of the present invention, a score used to determine an evaluation score may be displayed on the third screen 330 of the user interface screen. For example, on the third screen 330, scores for each element to be evaluated may be displayed.
또한, 본 발명의 일 실시예에 따르면, 사용자 인터페이스 화면의 제4 화면(340)에서는 사용자와 연관되는 문서에 관한 기타 정보가 표시될 수 있다. 예를 들어, 제4 화면(340)에서는 문서(즉, 사용자와 연관되는 문서)의 평균 작성 시간 등이 표시될 수 있다.Also, according to an embodiment of the present invention, other information about a document associated with a user may be displayed on the fourth screen 340 of the user interface screen. For example, on the fourth screen 340, an average creation time of a document (ie, a document associated with a user) may be displayed.
또한, 본 발명의 일 실시예에 따르면, 사용자 인터페이스 화면의 제5 화면(350)에서는 평가 스코어에 기초하여 결정되는 콘텐츠의 추천 정보가 표시될 수 있다. 예를 들어, 제5 화면(350)에서는 평가 스코어에 기초하여 결정되는 논술 클래스, 온라인 멘토링 등의 추천 정보가 표시될 수 있다.Also, according to an embodiment of the present invention, recommendation information of content determined based on the evaluation score may be displayed on the fifth screen 350 of the user interface screen. For example, on the fifth screen 350 , recommendation information such as essay classes and online mentoring determined based on evaluation scores may be displayed.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes generated by a compiler. A hardware device may be modified with one or more software modules to perform processing according to the present invention and vice versa.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.Although the present invention has been described above with specific details such as specific components and limited embodiments and drawings, these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments, and the present invention Those with ordinary knowledge in the technical field to which the invention belongs may seek various modifications and changes from these descriptions.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments and should not be determined, and all scopes equivalent to or equivalently changed from the claims as well as the claims described below are within the scope of the spirit of the present invention. will be said to belong to

Claims (13)

  1. 작문 평가를 지원하기 위한 방법으로서,As a method to support writing assessment,
    사용자와 연관되는 문서로부터 작문 평가를 위한 평가 대상 요소를 추출하는 단계, 및extracting evaluation target elements for writing evaluation from documents associated with the user; and
    상기 평가 대상 요소마다 특정된 평가 기준에 따라 결정되는 스코어를 참조하여 상기 문서에 대한 작문 평가 정보를 결정하는 단계를 포함하고,determining writing evaluation information for the document by referring to a score determined according to an evaluation criterion specified for each element to be evaluated;
    상기 평가 대상 요소 중 적어도 하나의 평가 대상 요소에 대하여 특정되는 평가 기준은 상기 문서의 유형을 참조하여 결정되는An evaluation criterion specified for at least one element to be evaluated among the elements to be evaluated is determined by referring to the type of the document
    방법.method.
  2. 제1항에 있어서,According to claim 1,
    상기 평가 대상 요소에는 제1 평가 대상 요소가 포함되고, 상기 제1 평가 대상 요소에 관한 스코어는 상기 문서에 포함되는 단어와 상기 문서의 유형에 대응되는 단어 클러스터에 포함되는 단어의 비교 결과를 참조하여 결정되는The element to be evaluated includes a first element to be evaluated, and the score for the first element to be evaluated is obtained by referring to a comparison result between a word included in the document and a word included in a word cluster corresponding to the type of the document. determined
    방법.method.
  3. 제1항에 있어서,According to claim 1,
    상기 평가 대상 요소에는 제2 평가 대상 요소가 포함되고, 상기 제2 평가 대상 요소에 관한 스코어는 상기 문서에 포함되는 문장의 속성을 참조하여 결정되는The evaluation target element includes a second evaluation target element, and a score for the second evaluation target element is determined by referring to a property of a sentence included in the document
    방법.method.
  4. 제1항에 있어서,According to claim 1,
    상기 평가 대상 요소에는 제3 평가 대상 요소가 포함되고, 상기 제3 평가 대상 요소에 관한 스코어는 상기 문서에 포함되는 복수의 문단 사이의 연계 정보를 참조하여 결정되는The element to be evaluated includes a third element to be evaluated, and a score for the third element to be evaluated is determined by referring to linkage information between a plurality of paragraphs included in the document
    방법.method.
  5. 제4항에 있어서,According to claim 4,
    상기 연계 정보는, 상기 문서의 제1 문단에서 추출되는 적어도 하나의 키워드 및 상기 문서의 제2 문단에서 추출되는 적어도 하나의 키워드 사이의 유사도를 참조하여 결정되는The linkage information is determined by referring to a similarity between at least one keyword extracted from a first paragraph of the document and at least one keyword extracted from a second paragraph of the document
    방법.method.
  6. 제5항에 있어서,According to claim 5,
    상기 연계 정보는, 상기 제1 문단에서 추출되는 적어도 하나의 키워드 및 상기 제2 문단에서 추출되는 적어도 하나의 키워드의 문단 내 배치 위치를 더 참조하여 결정되는The linkage information is determined by further referring to a placement position within a paragraph of at least one keyword extracted from the first paragraph and at least one keyword extracted from the second paragraph
    방법.method.
  7. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.A non-temporary computer readable recording medium storing a computer program for executing the method according to claim 1.
  8. 작문 평가를 지원하기 위한 시스템으로서,As a system for supporting writing assessment,
    사용자와 연관되는 문서로부터 작문 평가를 위한 평가 대상 요소를 추출하는 평가 대상 요소 추출부, 및An evaluation target element extraction unit for extracting evaluation target elements for writing evaluation from a document associated with a user, and
    상기 평가 대상 요소마다 특정된 평가 기준에 따라 결정되는 스코어를 참조하여 상기 문서에 대한 작문 평가 정보를 결정하는 작문 평가 정보 결정부를 포함하고,and a writing evaluation information determining unit for determining writing evaluation information for the document by referring to a score determined according to an evaluation criterion specified for each element to be evaluated;
    상기 평가 대상 요소 중 적어도 하나의 평가 대상 요소에 대하여 특정되는 평가 기준은 상기 문서의 유형을 참조하여 결정되는An evaluation criterion specified for at least one element to be evaluated among the elements to be evaluated is determined by referring to the type of the document
    시스템.system.
  9. 제8항에 있어서,According to claim 8,
    상기 평가 대상 요소에는 제1 평가 대상 요소가 포함되고, 상기 제1 평가 대상 요소에 관한 스코어는 상기 문서에 포함되는 단어와 상기 문서의 유형에 대응되는 단어 클러스터에 포함되는 단어의 비교 결과를 참조하여 결정되는The element to be evaluated includes a first element to be evaluated, and the score for the first element to be evaluated is obtained by referring to a comparison result between a word included in the document and a word included in a word cluster corresponding to the type of the document. determined
    시스템.system.
  10. 제8항에 있어서,According to claim 8,
    상기 평가 대상 요소에는 제2 평가 대상 요소가 포함되고, 상기 제2 평가 대상 요소에 관한 스코어는 상기 문서에 포함되는 문장의 속성을 참조하여 결정되는The evaluation target element includes a second evaluation target element, and a score for the second evaluation target element is determined by referring to a property of a sentence included in the document
    시스템.system.
  11. 제8항에 있어서,According to claim 8,
    상기 평가 대상 요소에는 제3 평가 대상 요소가 포함되고, 상기 제3 평가 대상 요소에 관한 스코어는 상기 문서에 포함되는 복수의 문단 사이의 연계 정보를 참조하여 결정되는The element to be evaluated includes a third element to be evaluated, and a score for the third element to be evaluated is determined by referring to linkage information between a plurality of paragraphs included in the document
    시스템.system.
  12. 제11항에 있어서,According to claim 11,
    상기 연계 정보는, 상기 문서의 제1 문단에서 추출되는 적어도 하나의 키워드 및 상기 문서의 제2 문단에서 추출되는 적어도 하나의 키워드 사이의 유사도를 참조하여 결정되는The linkage information is determined by referring to a similarity between at least one keyword extracted from a first paragraph of the document and at least one keyword extracted from a second paragraph of the document
    시스템.system.
  13. 제12항에 있어서,According to claim 12,
    상기 연계 정보는, 상기 제1 문단에서 추출되는 적어도 하나의 키워드 및 상기 제2 문단에서 추출되는 적어도 하나의 키워드의 문단 내 배치 위치를 더 참조하여 결정되는The linkage information is determined by further referring to a placement position within a paragraph of at least one keyword extracted from the first paragraph and at least one keyword extracted from the second paragraph
    시스템. system.
PCT/KR2022/019907 2021-12-09 2022-12-08 Method, system and non-transitory computer-readable recording medium for supporting writing assessment WO2023106855A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210175565A KR102444362B1 (en) 2021-12-09 2021-12-09 Method, system and non-transitory computer-readable recording medium for supporting writing assessment
KR10-2021-0175565 2021-12-09

Publications (1)

Publication Number Publication Date
WO2023106855A1 true WO2023106855A1 (en) 2023-06-15

Family

ID=83461018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/019907 WO2023106855A1 (en) 2021-12-09 2022-12-08 Method, system and non-transitory computer-readable recording medium for supporting writing assessment

Country Status (2)

Country Link
KR (1) KR102444362B1 (en)
WO (1) WO2023106855A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102444362B1 (en) * 2021-12-09 2022-09-19 주식회사 뤼튼테크놀로지스 Method, system and non-transitory computer-readable recording medium for supporting writing assessment
KR102619939B1 (en) * 2023-01-05 2024-01-02 주식회사 대교 Method And System for Writing Education and Evaluation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100865157B1 (en) * 2007-05-22 2008-10-24 재단법인 기상지진기술개발사업단 System and method of quantitative estimation for research and development projects
JP2010224323A (en) * 2009-03-24 2010-10-07 Japan Institute For Educational Measurement Inc Thesis content evaluation device and program
KR20200124836A (en) * 2019-04-25 2020-11-04 주식회사 팀플백 Artificial intelligence book writing guiding system and thereof
KR20210050155A (en) * 2019-10-28 2021-05-07 씨제이올리브네트웍스 주식회사 Document screening system using artificial intelligence
KR20210108622A (en) * 2020-02-26 2021-09-03 주식회사 메타노드 Artificial intelligence-based interviewer system and method for determining job competence
KR102444362B1 (en) * 2021-12-09 2022-09-19 주식회사 뤼튼테크놀로지스 Method, system and non-transitory computer-readable recording medium for supporting writing assessment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130089729A (en) 2011-12-29 2013-08-13 유신상 Method of correcting writing on web

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100865157B1 (en) * 2007-05-22 2008-10-24 재단법인 기상지진기술개발사업단 System and method of quantitative estimation for research and development projects
JP2010224323A (en) * 2009-03-24 2010-10-07 Japan Institute For Educational Measurement Inc Thesis content evaluation device and program
KR20200124836A (en) * 2019-04-25 2020-11-04 주식회사 팀플백 Artificial intelligence book writing guiding system and thereof
KR20210050155A (en) * 2019-10-28 2021-05-07 씨제이올리브네트웍스 주식회사 Document screening system using artificial intelligence
KR20210108622A (en) * 2020-02-26 2021-09-03 주식회사 메타노드 Artificial intelligence-based interviewer system and method for determining job competence
KR102444362B1 (en) * 2021-12-09 2022-09-19 주식회사 뤼튼테크놀로지스 Method, system and non-transitory computer-readable recording medium for supporting writing assessment

Also Published As

Publication number Publication date
KR102444362B1 (en) 2022-09-19

Similar Documents

Publication Publication Date Title
WO2023106855A1 (en) Method, system and non-transitory computer-readable recording medium for supporting writing assessment
CN112131366B (en) Method, device and storage medium for training text classification model and text classification
WO2014069741A1 (en) Apparatus and method for automatic scoring
WO2018161917A1 (en) Intelligent scoring method and apparatus, computer device, and computer-readable medium
US20190164109A1 (en) Similarity Learning System and Similarity Learning Method
CN109947952B (en) Retrieval method, device, equipment and storage medium based on English knowledge graph
CN112131881B (en) Information extraction method and device, electronic equipment and storage medium
WO2019039673A1 (en) Apparatus and method for automatically extracting product keyword information on basis of artificial intelligence-based web page analysis
WO2020111395A1 (en) Device and method for term clustering of unstructured text data for big data analysis
CN110853422A (en) Immersive language learning system and learning method thereof
WO2023096254A1 (en) Artificial intelligence-based job matching system
CN111539207B (en) Text recognition method, text recognition device, storage medium and electronic equipment
JP2021096807A (en) Training method, device, and program for machine translation model, and storage medium
CN110347802A (en) A kind of text analyzing method and device
CN110597960A (en) Personalized online course and occupation bidirectional recommendation method and system
JP6695835B2 (en) FAQ registration support method using machine learning and computer system
Bradford et al. Automatic detection of collaborative states in small groups using multimodal features
CN116402166B (en) Training method and device of prediction model, electronic equipment and storage medium
WO2023113377A1 (en) Method, system and non-transitory computer-readable recording medium for recommending contents for writing
WO2017122872A1 (en) Device and method for generating information on electronic publication
WO2011049313A2 (en) Apparatus and method for processing documents to extract expressions and descriptions
CN115481031A (en) Southbound gateway detection method, device, equipment and medium
KR102196547B1 (en) Method and apparatus for blind processing of specific information in document
US20140075298A1 (en) Document analysis and presentation for users with special needs
WO2022244952A1 (en) Certification-related content provision method and system, and non-transitory computer-readable recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904684

Country of ref document: EP

Kind code of ref document: A1