KR100858605B1 - System of calibration based by fuzz - Google Patents
System of calibration based by fuzz Download PDFInfo
- Publication number
- KR100858605B1 KR100858605B1 KR1020070023346A KR20070023346A KR100858605B1 KR 100858605 B1 KR100858605 B1 KR 100858605B1 KR 1020070023346 A KR1020070023346 A KR 1020070023346A KR 20070023346 A KR20070023346 A KR 20070023346A KR 100858605 B1 KR100858605 B1 KR 100858605B1
- Authority
- KR
- South Korea
- Prior art keywords
- evaluation
- pattern
- evaluator
- fuzzy
- expert
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 187
- 238000012937 correction Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 25
- 238000000605 extraction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Algebra (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Biomedical Technology (AREA)
- Automation & Control Theory (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
Abstract
본 발명은 퍼지기반 보정을 이용한 메타 평가 시스템을 개시한다. 본 발명에 따른 퍼지기반 보정을 이용한 메타 평가 시스템은, 평가대상에 대한 일반 평가자의 평가결과인 평가데이터를 입력받고 상기 입력된 평가데이터에 해당하는 평가대상 중 표본대상을 추출하는 표본대상 추출부; 상기 표본대상에 대한 전문가의 평가결과를 입력받고, 상기 입력된 평가결과를 기초로 상기 전문가의 평가 패턴인 기준패턴을 산출하고 저장하는 기준패턴 산출부; 상기 표본대상에 대한 상기 일반 평가자의 평가결과를 기초로 상기 일반 평가자의 평가 패턴인 제1패턴을 산출하고 저장하는 제1패턴 산출부; 및 상기 기준패턴을 기준으로 상기 제1패턴에 대한 메타평가를 수행하여 상기 일반 평가자 개별마다의 평가 패턴을 상기 전문가 수준으로 보정하는 평가패턴 제1보정부;를 포함하는 것을 특징으로 한다.The present invention discloses a meta evaluation system using fuzzy based correction. The meta-evaluation system using fuzzy-based correction according to the present invention comprises: a sample object extracting unit which receives evaluation data which is an evaluation result of a general evaluator for an evaluation object and extracts a sample object among evaluation objects corresponding to the input evaluation data; A reference pattern calculator configured to receive an evaluation result of the expert on the sample object and calculate and store a reference pattern which is an evaluation pattern of the expert based on the input evaluation result; A first pattern calculator configured to calculate and store a first pattern which is an evaluation pattern of the general evaluator based on the evaluation result of the general evaluator on the sample object; And an evaluation pattern first correction unit configured to perform a meta evaluation on the first pattern based on the reference pattern to correct the evaluation pattern for each individual general evaluator to the expert level.
본 발명에 따르면 대규모의 평가가 필요한 평가물을 여러 사람이 나누어 처리하더라도 전문가 집단이 평가물을 처리한 것과 유사한 수준의 신뢰도 높은 평가결과를 제공할 수 있는 효과를 창출할 수 있다.According to the present invention, even if several persons divide and process an evaluation product that requires large-scale evaluation, it is possible to create an effect that can provide a highly reliable evaluation result similar to that processed by the expert group.
퍼지, 보정, 평가, 논술 Fuzzy, Corrected, Evaluated, Essay
Description
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 제시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.The following drawings are attached to the present specification show a preferred embodiment of the present invention, and together with the detailed description of the invention to serve to further understand the technical spirit of the present invention, the present invention is a matter described in such drawings It should not be construed as limited to.
도 1은 본 발명에 따른 퍼지기반 보정을 이용한 메타 평가 시스템의 일실시예에 관한 구성을 나타낸 블록도,1 is a block diagram showing a configuration of an embodiment of a meta evaluation system using fuzzy based correction according to the present invention;
도 2는 본 발명에 따른 퍼지기반 보정을 이용한 메타 평가 방법의 일실시예 흐름도,2 is a flowchart illustrating an embodiment of a meta-evaluation method using fuzzy-based correction according to the present invention;
도 3은 본 발명에 따른 퍼지함수를 이용하여 기준패턴을 산출하는 단계의 일실시예를 보여주는 도면,3 is a view showing an embodiment of calculating a reference pattern using a fuzzy function according to the present invention;
도 4는 본 발명에 따른 일반 평가자의 패턴과 전문가의 패턴을 이용하여 보정하는 단계의 일실시예를 나타내는 도면,4 is a view showing an embodiment of the step of correcting by using the pattern of the general evaluator and the expert pattern according to the present invention,
도 5는 본 발명에 따른 일반 평가자의 패턴과 전문가의 패턴을 이용하여 보정하는 단계의 또 다른 일실시예를 보여주는 도면이다. 5 is a view showing another embodiment of the step of correcting by using the pattern of the general evaluator and the expert pattern according to the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
100: 표본대상 추출부 102: 제1패턴 산출부100: sample object extraction unit 102: first pattern calculation unit
104: 기준패턴 산출부 106: 제2패턴 산출부104: reference pattern calculator 106: second pattern calculator
108: 제1보정부 110: 제2보정부108: First Supplementary Government 110: Second Supplementary Government
112: 최종평가산출부112: final evaluation
본 발명은 평가결과를 소정의 방법에 의하여 보정하는 시스템 및 방법에 관한 것으로서, 더욱 구체적으로는 기준이 되는 집단의 평가데이터를 기초로 일반 평가집단의 평가데이터 정보를 보정하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for correcting an evaluation result by a predetermined method, and more particularly, to a system and method for correcting evaluation data information of a general evaluation group based on evaluation data of a reference group. .
일반적으로, 주관식 문항으로 구성된 지필 검사를 비롯하여 평정을 요구하는 관찰과 면접, 논술평가들은 후광 효과, 관용의 오차, 집중경향의 오차, 논리적 오차들이 작용하여 채점자나 평정자로 인한 채점의 오차를 피할 수 없다.In general, observations, interviews, and essay evaluations that require evaluation, including paper-based examinations consisting of subjective questions, can be avoided by the use of halo effects, tolerance errors, errors in concentration, and logical errors. none.
한 사람의 채점자가 모든 수험생을 채점하는 상황이 아닌 이상 이러한 채점자 간 신뢰도 문제는 많은 수의 수험생이 응시하는 논술평가 상황에서 민감한 사회문제로 대두 되고 있다. 실제로 논술평가와 같은 직접평가의 경우 평가 기관은 늘 '정밀한 채점기준을 어떻게 만들어낼 것이며, 그 정밀성을 감당할 채점자는 또 어떻게 준비시킬 것인가?'를 고민하고 있는 실정이다. Unless a single scorer scores all the examinees, the credibility between these scorers has become a sensitive social problem in the essay evaluation that many examinees take. In fact, in the case of direct evaluation such as essay evaluation, the evaluation agency is always thinking about how to create a precise scoring standard and how to prepare the scorer to handle the precision.
이러한 고민은 객관적인 평가기준이 없어서라기보다는 다수의 채점자에 의한 오차 때문에 전문가 수준의 평가결과를 보장할 수 없다는 것에서 기인한다.This concern comes not from the lack of objective evaluation criteria, but from the inability to guarantee expert-level evaluation results due to errors by multiple scorers.
많은 수의 수험생이 응시하는 논술 평가에서는 현재 다수 채점자의 평균점을 부여하는 방식 등으로 채점자 신뢰도 문제를 해결하고 있다. 이렇게 부여된 결과가 어느 정도 일관성이 있는지를 사후에 분석하는 채점자 신뢰도(scorer reliability) 추정법이 있지만 이 방법은, '평가에 대한 평가'일 뿐이지 그 자체가 평가 방법이라고 볼 수는 없다.In the essay evaluation, which is taken by a large number of examinees, the reliability of the scorers is solved by assigning the average score of the majority scorers. There is a method of estimating the scorer reliability that analyzes afterwards how consistent the results are.However, this method is only 'evaluation of the evaluation' but not itself.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 평가자 사이의 편차원인을 오차(error)로 규정하는 기존의 시각에서 벗어나 전문가가 평가 상황에서 수행하는 인지적 과정을 일반 평가자가 할 수 있도록, 일반 평가자가 평가하는 패턴을 전문가 수준으로 보정하여 결과를 처리할 수 있는 퍼지기반 보정을 이용한 메타 평가 시스템을 제공하는데 그 목적이 있다.The present invention was devised to solve the above problems, so that a general evaluator can perform a cognitive process performed by an expert in an evaluation situation, deviating from the existing viewpoint of defining a cause of deviation between the evaluators as an error. The purpose of this study is to provide a meta-evaluation system using fuzzy-based correction that can process the results of expert evaluating patterns evaluated by general evaluators.
본 발명에 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 구성의 조합에 의해 실현될 수 있다.Other objects and advantages of the present invention will be described below and will be appreciated by the embodiments of the present invention. In addition, the objects and advantages of the present invention can be realized by the configuration and combination of configurations shown in the claims.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 퍼지기반 보정을 이용한 메타 평가 시스템은, 평가대상에 대한 일반 평가자의 평가결과인 평가데이터를 입력받고 상기 입력된 평가데이터에 해당하는 평가대상 중 표본대상을 추출하는 표본대상 추출부; 상기 표본대상에 대한 전문가의 평가결과를 입력받고, 상기 입력된 평가결과를 기초로 상기 전문가의 평가 패턴인 기준패턴을 산출하고 저장하는 기준패턴 산출부; 상기 표본대상에 대한 상기 일반 평가자의 평가결과를 기초로 상기 일반 평가자의 평가 패턴인 제1패턴을 산출하고 저장하는 제1패턴 산출부; 및 상기 기준패턴을 기준으로 상기 제1패턴에 대한 메타평가를 수행하여 상기 일반 평가자 개별마다의 평가 패턴을 상기 전문가 수준으로 보정하는 평가패턴 제1보정부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, the meta-evaluation system using the fuzzy-based correction according to the present invention receives an evaluation data which is an evaluation result of a general evaluator for an evaluation object, and a sample object among evaluation objects corresponding to the input evaluation data. Sample object extraction unit for extracting the; A reference pattern calculator configured to receive an evaluation result of the expert on the sample object and calculate and store a reference pattern which is an evaluation pattern of the expert based on the input evaluation result; A first pattern calculator configured to calculate and store a first pattern which is an evaluation pattern of the general evaluator based on the evaluation result of the general evaluator on the sample object; And an evaluation pattern first correction unit configured to perform a meta evaluation on the first pattern based on the reference pattern to correct the evaluation pattern for each individual general evaluator to the expert level.
또한, 상기 기준패턴 산출부는, 상기 입력된 전문가의 평가결과에 대한 통계적 데이터를 퍼지함수로 변환하여 기준패턴을 산출하도록 구성하는 것이 바람직하며, 상기 일반평가자의 평가데이터가 상기 보정된 평가패턴에 의하여 보정된 평가결과인 최종평가데이터를 산출하는 최종평가산출부를 더 포함하도록 구성할 수 있다.The reference pattern calculator may be configured to convert the statistical data of the input expert's evaluation result into a fuzzy function to calculate a reference pattern, wherein the evaluation data of the general evaluator is based on the corrected evaluation pattern. It may be configured to further include a final evaluation calculation unit for calculating the final evaluation data that is the corrected evaluation results.
더욱이, 상기 일반 평가자 이외의 평가자인 제2 일반 평가자의 상기 표본대상에 대한 평가결과인 제2결과데이터를 입력받고 상기 입력된 제2결과데이터를 기초로 상기 제2 일반 평가자의 평가패턴인 제2 패턴을 산출하여 저장하는 제2패턴 산출부; 및 상기 기준패턴과 상기 제2패턴을 이용하여 상기 제2 일반 평가자 개별마다의 평가패턴을 보정하는 제2보정부를 더 포함하도록 구성될 수 있다.Further, a second general evaluator other than the general evaluator receives second result data, which is an evaluation result of the sample object, and a second evaluation pattern of the second general evaluator based on the input second result data. A second pattern calculator configured to calculate and store a pattern; And a second correction unit for correcting an evaluation pattern for each of the second general evaluators using the reference pattern and the second pattern.
한편, 상기 퍼지함수의 함수값이 1이 되는 각각의 독립변수 영역 중 상기 퍼지함수의 함수값이 0이 되는 각각의 독립변수의 값과 상기 제1패턴 또는 상기 제2패턴이 가지는 값의 비교매칭을 통하여 상기 제1패턴 또는 제2패턴이 보정되도록 구성하는 것이 더욱 바람직하며, 상기 표본대상은, 상기 일반 평가자 평가데이터 중 상기 평가데이터의 편차가 평균편차 이상인 평가대상으로 구성하는 것이 바람직하다.On the other hand, comparison matching between the value of each independent variable whose function value of the fuzzy function is 0 and the value of the first pattern or the second pattern among the independent variable areas where the function value of the fuzzy function is 1 More preferably, the first pattern or the second pattern is configured to be corrected, and the sample object is preferably configured to be an evaluation object in which the deviation of the evaluation data among the general evaluator evaluation data is equal to or more than an average deviation.
본 발명의 다른 측면에 의한 퍼지기반 보정을 이용한 메타 평가 방법은, 평가대상에 대한 일반 평가자의 평가결과인 평가데이터를 입력받고 상기 입력된 평가데이터에 해당하는 평가대상 중 표본대상을 추출하는 표본대상 추출단계; 상기 표본대상에 대한 전문가의 평가결과를 입력받고, 상기 입력된 평가결과를 기초로 상기 전문가의 평가 패턴인 기준패턴을 산출하고 저장하는 기준패턴 산출단계; 상기 표본대상에 대한 상기 일반 평가자의 평가결과를 기초로 평가 패턴인 제1패턴을 산출하고 저장하는 제1패턴 산출단계; 및 상기 기준패턴을 기준으로 상기 제1패턴에 대한 메타평가를 수행하여 상기 일반 평가자 개별마다의 평가 패턴을 상기 전문가 수준으로 보정하는 평가패턴 제1보정단계를 포함하는 것을 특징으로 한다.In the meta-evaluation method using fuzzy-based correction according to another aspect of the present invention, a sample object for receiving evaluation data which is an evaluation result of a general evaluator for the evaluation object and extracting a sample object among evaluation objects corresponding to the input evaluation data Extraction step; A reference pattern calculation step of receiving an evaluation result of an expert on the sample object and calculating and storing a reference pattern which is an evaluation pattern of the expert based on the input evaluation result; A first pattern calculation step of calculating and storing a first pattern which is an evaluation pattern based on the evaluation result of the general evaluator for the sample object; And an evaluation pattern first correction step of performing a meta evaluation on the first pattern based on the reference pattern to correct the evaluation pattern for each individual general evaluator to the expert level.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms or words used in the specification and claims should not be construed as having a conventional or dictionary meaning, and the inventors should properly explain the concept of terms in order to best explain their own invention. Based on the principle that can be defined, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.
도 1은 본 발명에 따른 퍼지기반 보정을 이용한 메타 평가 시스템의 일실시예에 관한 구성을 나타낸 블록도이며, 도 2는 본 발명에 따른 퍼지기반 보정을 이용한 메타 평가 방법의 일실시예 흐름도이다.1 is a block diagram illustrating a configuration of an embodiment of a meta evaluation system using fuzzy based correction according to the present invention, and FIG. 2 is a flowchart illustrating an embodiment of a meta evaluation method using fuzzy based correction according to the present invention.
도면을 참조하면, 본 발명의 퍼지기반 보정을 이용한 메타 평가 시스템은 표본대상 추출부(100), 제1패턴 산출부(102), 기준패턴 산출부(104), 제2패턴 산출부(106), 제1보정부(108), 제2보정부(110) 및 최종평가산출부(112)를 포함한다.Referring to the drawings, the meta-evaluation system using the fuzzy-based correction of the present invention is a sample
상기 표본대상 추출부(100)는 평가대상에 대한 일반 평가자의 평가데이터를 입력받고 상기 입력된 평가데이터에 해당하는 평가대상 중 표본대상을 추출한다(S200).The sample
여기에서 상기 일반평가자는 전문성과 객관성을 인정받은 후술하는 전문가 집단에 상반되는 개념으로서, 일반 학원의 강사, 일선 학교의 선생님 등을 포함하는 평가자를 의미한다.Here, the general evaluator refers to an evaluator including an instructor of a general academy, a teacher of a first school, and the like, as opposed to a professional group which will be described later.
상기 표본대상 추출부(100)에서 추출하는 표본대상은 상기 일반평가자와 후술하는 전문가가 공통으로 평가하게 되는 대상을 의미한다. 이러한 동일한 대상을 기초로한 각각의 평가패턴을 통하여 최종적으로 일반평가자의 평가를 보정하게 된다.The sample object extracted by the sample
또한, 상기 표본대상은 랜덤함수를 통하여 산출하는 방식도 가능함은 물론이나, 일반 평가자마다 그 평가결과값이 크게 다른 대상으로 선별되도록 운용하는 것이 더욱 객관적인 보정산출을 위해 바람직하다.In addition, the sample object may be calculated through a random function, but it is preferable to operate the target object so that the evaluation result value is greatly selected for each general evaluator for more objective correction calculation.
상기 평가결과값이 크게 다른 대상으로 선별하는 일 실시예로서 일반 평가자의 평가데이터 중 상기 평가데이터의 편차가 평균편차 이상인 평가대상으로 정하는 방법이 바람직하다.In one embodiment, the evaluation result is selected as an evaluation object having a deviation from the evaluation data of a general evaluator that is greater than the average deviation.
상기 평균편차 이상인 평가대상이란 상기 평가대상의 상기 평가데이터를 상기 후술하게 될 전문가 집단의 평가패턴인 기준패턴과 비교하였을 때 나오는 차들을 합한 수를 평가대상의 수로 나눴을 때 나온 수보다 상기 평가데이터를 상기 기준패턴과 비교한 수가 큰 것으로 정할 수도 있다.The evaluation object that is equal to or greater than the average deviation is the evaluation data compared to the number obtained by dividing the sum of the differences generated when the evaluation data of the evaluation object is compared with the reference pattern, which is the evaluation pattern of the expert group, which will be described later. It can also be determined that the number compared with the reference pattern is large.
구체적인 예를 들어서, A답안지를 "갑" 일반평가자는 90점으로 평가하고, "을"평가자는 60점, "병"평가자는 40점 등으로 평가하였다면 이는 하나의 평가대상 즉, A답안지에 대한 평가의 편차가 크다는 것을 알 수 있고, 이는 결국 갑, 을, 병의 주관적인 견해에 치우쳐 내린 평가결과라고 유추할 수 있다.As a specific example, if the answer sheet A was rated by 90 for the "A" general evaluator, the "validator" was rated as 60 points, the "ill" evaluator was 40 points, and so on. It can be seen that the deviation of the evaluation is large, and it can be inferred that the result of the evaluation is biased toward the subjective view of the disease.
즉, 이러한 결과에 해당하는 평가대상을 표본대상으로 설정함으로써, 차후 보정에 더욱 객관성을 담보할 수 있도록 운용하는 것이 바람직하다.That is, it is preferable to set the evaluation target corresponding to these results as the sample target, so as to ensure the objectivity for further correction.
다음으로, 상기 기준패턴 산출부(104)는 상기 표본대상에 대한 전문가의 평가결과를 입력받고 상기 입력된 평가결과를 기초로 상기 전문가의 평가 패턴인 기준패턴을 산출하고 저장한다(S210).Next, the
상기 전문가란 앞서 설명한 일반 평가자의 개념에 반대되는 개념으로서, 소정의 객관성을 인정받은 대상 평가에 대한 정통한 전문가 집단으로, 논술평가를 예로 들면 출제를 담당한 대학교수 및 전문성을 갖춘 출제위원급 교사 등을 의미하는 것으로서 보정의 기준이 되는 집단을 의미한다.The expert is a concept contrary to the general evaluator's concept described above. The expert is a group of experts who are well-versed in evaluating a subject with a certain objectivity. Meaning means the group which is the standard of correction.
그 후, 상기 제1패턴 산출부(102)는 상기 표본대상에 대한 상기 일반 평가자의 입력된 평가데이터를 기초로 상기 일반 평가자의 평가 패턴인 제1패턴을 산출하고 저장한다(S220).Thereafter, the
상기 제1패턴은 상기 일반평가자에 해당하는 평가데이터를 기준으로 산출되는 것으로서, 일반평가자가 수행하는 평가패턴을 알 수 있는 어떠한 통계적, 산술적 데이터도 가능함은 자명하다고 할 수 있다.The first pattern is calculated based on evaluation data corresponding to the general evaluator, and it can be obvious that any statistical and arithmetic data capable of knowing the evaluation pattern performed by the general evaluator is possible.
그리고 나서, 상기 제1보정부(108)는 상기 기준패턴과 상기 제1패턴을 이용하여 상기 일반 평가자 개별마다의 평가패턴을 보정한다(S230).Then, the
상기 제1보정부(108)은 앞서 설명한 바와 같이 일반평가자의 평가패턴인 제1패턴을 평가보정의 기준이 되는 상기 기준패턴을 이용하여 통계적 활용, 비교매칭, 매핑연산 등 다양한 방식으로 보정할 수 있다.As described above, the
최종적으로, 상기 최종평가산출부는 상기 일반 평가자의 평가데이터가 상기 보정된 평가패턴에 의하여 보정된 평가결과인 최종데이터를 산출한다(S240).Finally, the final evaluation calculation unit calculates the final data that is the evaluation result of the evaluation data of the general evaluator is corrected by the corrected evaluation pattern (S240).
결국 S240단계를 통하여 일반평가자의 평가가 객관적인 기준에 의하여 보정된 후에 평가가 이루어지므로, 평가패턴이 보정되었던 복수명의 일반 평가자의 평가는 실질적으로 전문가의 평가에 근접한 평가결과를 도출할 수 있게 된다.As a result, the evaluation is performed after the general evaluator's evaluation is corrected by the objective standard through the step S240, so that the evaluation of the plurality of general evaluators whose evaluation pattern has been corrected can lead to evaluation results that are substantially close to those of the expert.
이러한 최종평가를 통하여 평가대상이 되었던 피평가자 뿐만 아니라 상기 일반 평가자가 속해 있는 평가기관 및 유관기관 등은 더욱 객관적인 결과데이터를 획득할 수 있어 향후 더욱 정확한 정보로 활용할 수 있게 된다.Through such final evaluation, not only the evaluator who was the subject of evaluation, but also the evaluating agency and related organizations to which the general evaluator belongs can obtain more objective result data, and thus can be used as more accurate information in the future.
그 후 추가적인 단계로서, 제2보정부(110)에서 상기 일반 평가자 이외의 평가자인 제2 일반 평가자의 상기 표본대상에 대한 평가결과인 제2결과데이터를 입력받고 상기 입력된 제2결과데이터를 기초로 상기 제2 일반 평가자의 평가패턴인 제2패턴을 산출하여 저장한다(S231).Thereafter, as a further step, the
그리고 상기 기준패턴과 상기 제2패턴을 이용하여 상기 제2 일반 평가자 개별마다의 평가패턴을 보정하며(S232), 제2보정부(110)에서 제2 일반 평가자의 평가데이터가 상기 보정된 평가패턴에 의하여 보정된 평가결과인 최종평가데이터를 산출한다(S240). The evaluation pattern for each of the second general evaluators is corrected using the reference pattern and the second pattern (S232), and the evaluation pattern in which the evaluation data of the second general evaluator is corrected in the
즉, 상기 과정은 추가적으로 일반 평가자의 보정이 요구되는 경우에 활용할 수 있는 단계로서 앞서 설명한 일반평가자 이외의 자를 추가적으로 평가자 집단에 배속시키기 위하여 수행하는 추가된 일반평가자(상기 제1평가자를 제외한 평가자)의 평가패턴의 보정에 관한 과정을 의미한다.That is, the above process is a step that can be utilized when the general evaluator's correction is required and the additional general evaluator (the evaluator except the first evaluator) performed to additionally assign the evaluator to the evaluator group. Refers to the process of correction of evaluation patterns.
단, 추가적인 단계는 필수과정에 포함되지 아니하며, 평가물의 증가로 인하여 평가인원이 증원되야 하는 상황 또는 상기 일반 평가자의 사정에 의하여 새로운 인원으로 교체해야 되는 여러가지 추가변동되는 상황 등에서 효과적으로 이용될 수 있다.However, the additional step is not included in the required process, and can be effectively used in situations in which the number of evaluators needs to be increased due to an increase in the number of evaluations or in various additional fluctuations in which the new evaluator needs to be replaced by the circumstances of the general evaluator.
또한, 상기 일반 평가자와 상기 전문가의 개념에 있어서, 상기 일반 평가자와 상기 전문가는 단순히 단수로만 한정되지 아니하고 단수와 복수의 개념 모두를 포함한다. 이러한 개념은 발명의 구성 전 범위에서 통용될 뿐 아니라, 모든 명세서에서 같은 개념으로 설명될 수 있다.Further, in the concepts of the general evaluator and the expert, the general evaluator and the expert are not limited to singular but include both singular and plural concepts. This concept is not only used throughout the scope of the invention, but can also be described by the same concept in every specification.
이하에서는 본원발명의 기준패턴의 산출과 관련된 퍼지함수에 대한 구성을 본 발명에 따른 퍼지함수를 이용하여 기준패턴을 산출하는 단계의 일실시예를 보여주는 도면인 도 3을 통하여 상세히 설명하도록 한다.Hereinafter, the configuration of the fuzzy function associated with the calculation of the reference pattern of the present invention will be described in detail with reference to FIG. 3, which shows an embodiment of calculating a reference pattern using the fuzzy function according to the present invention.
상기 기준패턴 산출부(104)는 상기 입력된 전문가의 평가결과에 대한 통계적 데이터를 퍼지함수로 변환하여 도 3과 같은 기준패턴을 산출하게 된다. 앞서 설명한 바와 같이 상기 도표는 전문가의 평가 결과에 대한 결과 데이터를 퍼지함수로 표현한 그래프에 해당한다.The
이하의 도면에 도시되어 있는 수치와 함수값은 본 발명의 설명을 위하여 일시적으로 든 하나의 예에 불과하며 평가결과의 데이터의 종류, 크기, 특성 등에 따라 다양하고 응용가능한 퍼지함수로의 표현이 가능함은 물론이다.Numerical values and function values shown in the following drawings are only one example temporarily for the purpose of explanation of the present invention, and various and applicable fuzzy functions can be expressed according to the type, size, and characteristic of the evaluation result data. Of course.
우선적으로, 도 3을 살펴보면 25점부터 40점 사이에 (a)그래프와 (b)그래프가 중첩하고 있으며, 59점과 80점 사이에서 상기 (b)그래프와 (c)가 중첩하고 있음을 알 수 있다.First, referring to FIG. 3, (a) graph and (b) graph overlap between 25 to 40 points, and (b) graph and (c) overlap between 59 and 80 points. Can be.
상기 (a)그래프를 하급의 속성, 상기 (b)그래프를 중급의 속성, 상기 (c)그래프를 상급의 속성이라는 가정하에 34점일 때를 보면, 0.75정도는 중급의 속성을 0.5정도는 하급의 속성을 지니고 있는 것으로 전문가는 파악하고 있음을 알 수 있다.If (a) the graph is a lower attribute, (b) the graph is an intermediate attribute, and (c) the graph is 34 points on the assumption that it is an upper attribute, 0.75 is the intermediate attribute and 0.5 is the lower grade. The expert knows that it has properties.
퍼지이론에 근거하면 일반 확률과는 달리 확정된 사실에 대한 결과를 평가하는 함수가 아니라 일정영역범위내에 존재하는 불확정적인 사실을 추론하여 그 결과를 도출하는 과정이므로 특정 함수값에 해당할 경우를 도표로 나타내는 경우 본 발명 도 3 또는 도 4와 같이 표현될 수 있다.Based on the fuzzy theory, unlike general probability, it is not a function that evaluates the result of the confirmed fact but rather a process that infers the indeterminate fact that exists within a certain range and derives the result. When represented by the present invention can be expressed as shown in Figure 3 or 4.
도 4는 본 발명에 따른 일반 평가자의 패턴과 전문가의 패턴을 이용하여 보정하는 단계의 일실시예를 보여주는 도면이다.4 is a view showing an embodiment of the step of correcting by using the pattern of the general evaluator and the expert pattern in accordance with the present invention.
상기 일반 평가자의 평가패턴인 (A)는 상기 전문가의 패턴인 (B)에 비해 상 급에 해당하는 척도가 매우 폭이 작음을 알 수 있다. 따라서 도 4에 표현된 "1"과 같이 상과 중의 경계를 전문가의 퍼지함수에 근거하여 보정할 필요성이 발생됨을 알 수 있다. 중과 하의 경계 역시 "2"와 같이 전문가의 퍼지함수에 근거하여 보정할 수 있다.The evaluation pattern of the general evaluator (A) can be seen that the scale corresponding to the higher level than the expert pattern (B) is very small. Therefore, it can be seen that the necessity of correcting the boundary between the upper and lower sides, as shown by “1” in FIG. 4, is based on the fuzzy function of the expert. The middle and lower boundaries can also be corrected based on the expert's fuzzy function, such as "2".
즉, 상기 도 4에 도시된 결과는 일반 평가자의 평가 패턴과 전문가의 평가 패턴인 기준패턴과의 상이점을 도시하고 있으며, 이런 상이점을 기준으로 일반 평가자의 평가패턴을 보정하게 된다.That is, the result shown in FIG. 4 illustrates a difference between the evaluation pattern of the general evaluator and the reference pattern which is the evaluation pattern of the expert, and the evaluation pattern of the general evaluator is corrected based on the difference.
그 결과, 상기 일반 평가자가 부여하는 90점은 상기 전문가가 인식하는 80점과 같은 것으로 조정 받게 되고 상기 일반 평가자가 부여하는 50점은 상기 전문가가 인식하는 40점과 같은 것으로 조정 받게 된다. 퍼지함수가 연속함수의 형태로 구축되기 때문에 이러한 점수보정은 소수점 자리까지 가능하다.As a result, the 90 points given by the general evaluator are adjusted to be equal to 80 points recognized by the expert, and the 50 points given by the general evaluator are adjusted to be equal to 40 points recognized by the expert. Since the fuzzy function is constructed in the form of a continuous function, this score correction is possible up to the decimal place.
상기 도 4를 통하여 평가패턴을 보정하는 구체적인 일실시예로서, 상기 퍼지함수의 함수값이 1이 되는 각각의 독립변수 영역 중 상기 퍼지함수의 함수값이 0이 되는 각각의 독립변수의 값과 상기 제1패턴 또는 상기 제2패턴이 가지는 값의 비교매칭을 통하여 제1패턴 또는 제2패턴을 보정하게 된다.As a specific embodiment of correcting the evaluation pattern through FIG. 4, the value of each independent variable and the function value of the fuzzy function becomes 0 and the value of each independent variable region of which the function value of the fuzzy function becomes 1 and the value of the The first pattern or the second pattern is corrected by comparing matching values of the first pattern or the second pattern.
도 4를 통하여 보충적으로 설명하면, 상기 도 4에 도시된 바와 같이 상의 평가결과에 해당하는 영역, 즉, 퍼지함수값이 1에 해당하는 독립변수의 영역은 75이상 100에 해당한다.4, the region corresponding to the evaluation result of the phase, that is, the region of the independent variable corresponding to the fuzzy function value of 1 corresponds to 75 or more as shown in FIG. 4.
그러나, 75점에서 80점에 해당하는 독립변수 영역에서는 퍼지함수의 특성상 중에 해당하는 평가가 존재하고 있다. 그러므로 이러한 점을 감안하여 평가패턴의 보정을 더욱 객관적으로 유지하기 위하여 퍼지함수값이 0이 되는 독립변수인 80점을 기준으로 하여 그 이상의 점수에 해당하는 영역으로 상기 일반평가자의 평가패턴을 보정하는 것이 바람직하다.However, in the independent variable range of 75 to 80 points, there is a corresponding evaluation among the characteristics of the fuzzy function. Therefore, in order to maintain the objective correction of the evaluation pattern in consideration of this point, the evaluation pattern of the general evaluator is corrected to an area corresponding to a score higher than 80 based on an independent variable with a fuzzy function value of zero. It is preferable.
이와 유사한 방법의 의하여 도 4에 도시된 "중" 및 "하"에 대한 평가패턴도 보정할 수 있게 된다.By a similar method, it is possible to correct the evaluation pattern for "middle" and "lower" shown in FIG.
도 5는 본 발명에 따른 일반 평가자의 패턴과 전문가의 패턴을 이용하여 보정하는 단계(S230)의 또 다른 일실시예를 보여주는 도면이다. 5 is a view showing another embodiment of the step (S230) of correcting using the pattern of the general evaluator and the expert pattern according to the present invention.
3개의 평가물(①,②,③)을 평가함에 있어서, 일반 평가자의 평가점수(C)는 전문가의 평가점수(D)와 비교하여 10점씩 차이가 나고 있다. 그럼 상기 일반 평가자(C)는 상기 전문가(D)보다 10점을 낮게 평가하는 것으로 그 패턴을 이해하고 차후 평가결과에서 (C)의 평가를 +10씩을 보정하여 처리하게 된다. In evaluating the three evaluation materials (①, ②, ③), the evaluation score (C) of the general evaluator differs by 10 points compared to the evaluation score (D) of the expert. Then, the general evaluator (C) understands the pattern by evaluating 10 points lower than the expert (D), and then processes the correction of (C) by +10 in the subsequent evaluation result.
평가물이 3개 일 때보다 4개일 때, 4개일 때보다 5개일 때, 즉, 평가물이 늘어날수록 각각의 보정처리 객관성이 늘어남은 당연하다.When the number of evaluation objects is four than three, and when there are five than four, that is, as the number of evaluation objects increases, the objectivity of each correction process increases.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto and is intended by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalents of the claims to be described.
상술한 바와 같이, 본 발명에 따른 퍼지기반 보정을 이용한 메타 평가 시스템은 대규모의 평가물을 전문가가 아닌 일반 평가자들이 나누어 처리하더라도 전문가가 모든 평가물을 처리한 것과 같은 수준의 신뢰도 높은 평가결과를 제공할 수 있다.As described above, the meta-evaluation system using the fuzzy-based correction according to the present invention provides a highly reliable evaluation result as if the expert processed all the evaluation products even if a large-scale evaluation product was divided and processed by general evaluators rather than experts. can do.
그 점에서 전문가의 평정이 필요한 다양한 분야의 평가는 물론, 일반적으로 평가자 간 편차가 큰 언어평가(작문 및 논술 평가, 말하기 평가)에 특히 유용하게 활용할 수 있다.In this regard, it can be especially useful for evaluation in various fields that require expert evaluation, as well as for language evaluation (writing, essay evaluation, and speaking evaluation), which generally has a large variation among evaluators.
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070023346A KR100858605B1 (en) | 2007-03-09 | 2007-03-09 | System of calibration based by fuzz |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070023346A KR100858605B1 (en) | 2007-03-09 | 2007-03-09 | System of calibration based by fuzz |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080082720A KR20080082720A (en) | 2008-09-12 |
| KR100858605B1 true KR100858605B1 (en) | 2008-09-17 |
Family
ID=40021880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070023346A KR100858605B1 (en) | 2007-03-09 | 2007-03-09 | System of calibration based by fuzz |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100858605B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101393154B1 (en) | 2012-07-31 | 2014-05-09 | 한양대학교 산학협력단 | Mutual reinforcement method and system for the trustable online rating system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102289236B1 (en) * | 2019-05-13 | 2021-08-12 | 코리아크레딧뷰로 (주) | Method and apparatus for drawing evaluation reasons from credit evaluation model |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS64996A (en) * | 1987-06-24 | 1989-01-05 | A T R Jido Honyaku Denwa Kenkyusho:Kk | Voice recognition system using vector quantization |
| KR20010085285A (en) * | 2000-02-24 | 2001-09-07 | 위병준 | Method For Providing A Brand Valuation Service |
| KR20020036195A (en) * | 2000-11-08 | 2002-05-16 | 이구택 | method of evaluating the competitiveness of technology and the system of using the same |
| JP2006323784A (en) | 2005-05-20 | 2006-11-30 | Kyoto Univ | Simulation program, simulation method, and simulation device |
-
2007
- 2007-03-09 KR KR1020070023346A patent/KR100858605B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS64996A (en) * | 1987-06-24 | 1989-01-05 | A T R Jido Honyaku Denwa Kenkyusho:Kk | Voice recognition system using vector quantization |
| KR20010085285A (en) * | 2000-02-24 | 2001-09-07 | 위병준 | Method For Providing A Brand Valuation Service |
| KR20020036195A (en) * | 2000-11-08 | 2002-05-16 | 이구택 | method of evaluating the competitiveness of technology and the system of using the same |
| JP2006323784A (en) | 2005-05-20 | 2006-11-30 | Kyoto Univ | Simulation program, simulation method, and simulation device |
Non-Patent Citations (1)
| Title |
|---|
| 퍼지이론을 이용한 학점 전문가시스템연구, 김하균, 배경율, 정보시스템연구, 1996* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101393154B1 (en) | 2012-07-31 | 2014-05-09 | 한양대학교 산학협력단 | Mutual reinforcement method and system for the trustable online rating system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080082720A (en) | 2008-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Salgado | Transforming the area under the normal curve (AUC) into Cohen’sd, Pearson’s rpb, odds-ratio, and natural log odds-ratio: Two conversion tables | |
| Pedersen et al. | Missing data and multiple imputation in clinical epidemiological research | |
| Kou et al. | Enhancing data consistency in decision matrix: Adapting Hadamard model to mitigate judgment contradiction | |
| US8577898B2 (en) | System and method for rating a written document | |
| Xu et al. | Eigenvector method, consistency test and inconsistency repairing for an incomplete fuzzy preference relation | |
| Kull et al. | Novel decompositions of proper scoring rules for classification: Score adjustment as precursor to calibration | |
| US20130290338A1 (en) | Method and apparatus for processing electronic data | |
| CN110413961B (en) | Method and device for text scoring based on classification model and computer equipment | |
| Chan et al. | Question-answering dialogue system for emergency operations | |
| US20230153694A1 (en) | Training data generation method, training data generation device | |
| US11416678B2 (en) | Question group extraction method, question group extraction device, and recording medium | |
| US20190303775A1 (en) | Inference-Based Assignment of Data Type to Data | |
| KR100858605B1 (en) | System of calibration based by fuzz | |
| Hwang et al. | New similarity measures between generalized trapezoidal fuzzy numbers using the Jaccard index | |
| US20230072297A1 (en) | Knowledge graph based reasoning recommendation system and method | |
| JP6683790B1 (en) | Computer, computer control method, and program | |
| Schuberth et al. | Ordinal consistent partial least squares | |
| Jönsson et al. | Benchmarking k-nearest neighbour imputation with homogeneous Likert data | |
| US20080228676A1 (en) | Computing device, method of controlling the computing device, and computer readable medium recording a program | |
| JP2010146222A (en) | Document classification apparatus, document classification method, and program | |
| US20110178966A1 (en) | Method for Matching Elements in Schemas of Databases Using a Bayesian Network | |
| US20200125606A1 (en) | Method of tuning a computer system | |
| Trabelsi et al. | Heuristic method for attribute selection from partially uncertain data using rough sets | |
| Tohira et al. | Validation of a modified table to map the 1998 Abbreviated Injury Scale to the 2008 scale and the use of adjusted severities | |
| US20210264265A1 (en) | Method for optimally promoting decisions and computer program product thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120703 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20130708 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20150816 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20160831 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20170828 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20180827 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20190826 Year of fee payment: 12 |