WO2015167130A1 - 점수 재산정 방법, 이를 수행하는 서버 및 컴퓨터 판독 가능한 기록매체 - Google Patents

점수 재산정 방법, 이를 수행하는 서버 및 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
WO2015167130A1
WO2015167130A1 PCT/KR2015/003121 KR2015003121W WO2015167130A1 WO 2015167130 A1 WO2015167130 A1 WO 2015167130A1 KR 2015003121 W KR2015003121 W KR 2015003121W WO 2015167130 A1 WO2015167130 A1 WO 2015167130A1
Authority
WO
WIPO (PCT)
Prior art keywords
score
evaluation
deviation
scores
evaluator
Prior art date
Application number
PCT/KR2015/003121
Other languages
English (en)
French (fr)
Inventor
박준현
Original Assignee
박준현
원상옥
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20140052226A external-priority patent/KR101497274B1/ko
Priority claimed from KR1020150024283A external-priority patent/KR101969707B1/ko
Application filed by 박준현, 원상옥 filed Critical 박준현
Publication of WO2015167130A1 publication Critical patent/WO2015167130A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a method for re-determining scores evaluated by evaluators in athletic competitions, technical examinations and various evaluations, and a server and a recording medium for performing the same.
  • the high and low score exclusion method has a limitation in that it is not possible to solve the conventional low price bidding practice in which the low price bid is successful in the bidding system.
  • Table 1 shows the average score calculation method according to the evaluation results of “Head-Tail Cut”.
  • the method of calculating the average score of the evaluation result of applying the “Head-Tail Cut” has a limit that cannot be prevented when a plurality of judges give or lower the score by affinity relationship or internal transaction with a player (evaluator).
  • the present invention is to solve the above problems, it is to propose a score re-determination method and a server and a recording medium for performing a fair review by re-determining the scores of each evaluation member according to the deviation.
  • a method for renumbering a score comprising: receiving evaluation scores assigned to a plurality of evaluators by a plurality of evaluators; Calculating an average and a deviation of the first evaluation scores for the first evaluator; Recalculating the first evaluation scores according to the mean and the deviation; Calculating a final evaluation score for the first evaluator from the recalculated first evaluation scores; And calculating the final evaluation scores performed on the first evaluator in parallel with the plurality of evaluators except for the first evaluator.
  • the server is a server for calculating the final evaluation score by re-determining the evaluation scores assigned to a plurality of the evaluator by a plurality of evaluators using a deviation, the server communication unit for receiving the evaluation score; A server storage unit for recalculating the evaluation score and storing an algorithm for calculating the final evaluation score; And a server controller which reads the algorithm, recalculates the received evaluation scores using the deviation, and calculates an average of the recalculated evaluation scores as a final evaluation score. Characterized by performing a score refinancing comprising a.
  • the recording medium is a recording medium for controlling a terminal having a touch screen, the terminal, the step of receiving the evaluation scores assigned to the plurality of subjects by the plurality of evaluators; Calculating an average and a deviation of first evaluation scores for a first evaluator of the plurality of evaluators; Recalculating the first evaluation scores according to the average and the deviation, and calculating a final evaluation score for the first evaluator from the recalculated first evaluation scores; The step of calculating a final evaluation score performed on the first evaluator is performed in parallel on the plurality of evaluators except the first evaluator; Characterized in that a program for executing the program is recorded.
  • the present invention has the advantage that a fair evaluation is possible by re-determining the scores of the judges according to the deviation, equal score values of each judge.
  • the score re-determination method may be applied to the bidding system, through which there is an advantage that can prevent collusion bidding or low price bids of companies.
  • FIG. 1 is a diagram illustrating a ranking system using score re-evaluation according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a terminal according to the present embodiment.
  • FIG. 3 is a block diagram showing an evaluation server for refining the final scores of the evaluators by refining the scores of the evaluators according to the embodiment of the present invention.
  • FIG. 4 is a flow chart illustrating a score recalculation process, in accordance with an embodiment of the invention.
  • FIG. 5 is a diagram for explaining three score recalculation methods according to an embodiment of the present invention.
  • FIG. 6 is a table illustrating a differential score calculation method for each deviation ratio according to an embodiment of the present invention.
  • FIG. 7 is a graph illustrating a method for calculating a differential score for each deviation ratio according to another embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method for recalculating the score according to an embodiment of the present invention.
  • FIG 9 illustrates a method of re-determining a score when the score of the evaluator is higher than the average score according to an embodiment of the present invention.
  • FIG. 10 illustrates a method for re-determining a score when the score of the evaluator is lower than the average score according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a score recalculation process according to another embodiment of the present invention.
  • the terminal described herein may correspond to a mobile phone, a smartphone, a tablet PC, a notebook computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), and navigation.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • FIG. 1 is a diagram illustrating a ranking system using score re-evaluation according to an embodiment of the present invention.
  • a plurality of evaluators 30 who are the subjects of the score evaluation and a plurality of evaluators 10 evaluating and giving a score to the evaluator 30 are given.
  • an evaluation server 20 which re-evaluates the evaluation scores and gives a final evaluation score to the evaluators, and a communication network 40 which provides a passage for transmitting and receiving information in the above-described configurations.
  • the evaluator 30 and the evaluator 10 may use the terminal to access the evaluation server 20 through the application or software related to the ranking or the homepage of the evaluation server 20.
  • the communication network 40 serves to provide a passage for transmitting and receiving between the terminal of the evaluator 30 and the evaluator 10 and the evaluation server 20.
  • the communication network 40 performing such a function is an IP network that provides a data transmission / reception service and a data service without breaking through an Internet protocol (IP), integrating different networks based on IP.
  • IP Internet protocol
  • the IP network may be an All IP network.
  • the communication network 40 may be one of a wired communication network, a mobile communication network, a Wibro (Wireless Broadband) network, a High Speed Downlink Packet Access (HSDPA) network, a satellite communication network, and a Wi-Fi (Wi-Fi, Wireless Fidelity) network.
  • FIG. 2 is a block diagram showing the configuration of a terminal according to the present embodiment.
  • the evaluator 10 and the evaluator 30 may be configured as the terminal 100, and the detailed configuration of the terminal 100 will be described below.
  • the terminal 100 includes a storage unit 120, an A / V input unit 130, an interface unit 140, a user input unit 150, a power supply unit 160, and an output unit. 170, the communication unit 180, and the like.
  • FIG. 2 is not configured only with essential elements of the terminal 100, and the terminal 100 of the present embodiment may further include other components or some of the illustrated components may not be included.
  • the storage unit 120 stores or inputs / outputs data for a program for processing and controlling the control unit 110 (for example, a ranking application, a mathematical algorithm for recalculating scores, and the like). Can serve as a temporary storage for them.
  • the storage unit 120 may include a flash storage unit type, a hard disk type, a multimedia card micro type, a card type storage unit (SD, etc.), a RAM, a static RAM, a ROM, and an EEPROM.
  • Erasable Programmable ROM (PROM), PROM (Programmable ROM), a magnetic storage unit, a magnetic disk may be a storage medium of any one type of optical disk.
  • the output unit 170 of the terminal 100 is a component for generating an output related to sight, hearing, or tactile sense, and may include a touch screen, a speaker, an alarm unit, and a haptic module.
  • the touch screen may display information processed by the terminal 100.
  • the terminal of the evaluator 10 may provide a UI or a GUI for inputting a score.
  • the terminal of the evaluator 30 may provide a UI or a GUI indicating a final evaluation score, a successful bid, a pass or the like.
  • the touch screen may include a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light emitting diode (OLED), a flexible display, a three-dimensional display, and the like.
  • LCD liquid crystal display
  • TFT LCD thin film transistor liquid crystal display
  • OLED organic light emitting diode
  • a flexible display a three-dimensional display, and the like.
  • Some of these displays can be configured to be transparent or light transmissive so that they can be seen from the outside. This may be referred to as a transparent display, and an example of such a transparent display may be TOLED (Transparent OLED).
  • the rear structure of the touch screen may also be configured as a light transmissive structure. In this case, the user may see an object located behind the terminal body through an area occupied by the touch screen of the terminal body.
  • the touch screen may include a sensor (touch sensor) for detecting a touch operation in a mutual layer structure, and the touch sensor may correspond to, for example, a touch film, a touch sheet, or a touch pad. have.
  • a sensor touch sensor
  • the touch sensor may correspond to, for example, a touch film, a touch sheet, or a touch pad. have.
  • Such a touch sensor may be configured to convert a pressure applied to a specific area of the touch screen, a change in capacitance generated in a specific area of the touch screen, or a change in magnetic field generated in a specific area of the touch screen into an electrical input signal.
  • the touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the touch instant.
  • the controller 110 may determine whether there is a touch on the touch screen, which area of the display is touched, whether or not the touch is made with which pressure on which area of the display, and the like.
  • the touch screen may be output together with an input window for inputting a score to the subjects 30 and a numeric input menu.
  • the touch screen controls the numbers of the touched positions as the evaluation score. 180).
  • the communication unit 180 may include any one or more of a broadcast receiving module, a mobile communication module, a wireless internet module, a short range communication module, a location information module, and the like, and may be configured through the communication network 40 using the communication unit 180. It is possible to send and receive data required for the evaluation server 20 and the score calculation.
  • the wireless internet module represents a module for wireless internet access, and may be configured to be built in the terminal 100 or to be externally connected.
  • Wireless Internet technologies may include Wireless Lan (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), and the like.
  • the power supply unit 160 of the terminal receives the external power and the internal power under the control of the controller 110 to supply the power required for the operation of each component.
  • the controller 180 of the terminal may control each of the overall operations of the terminal. For example, the controller 180 may perform control and processing related to input of a score for score calculation, selection of a score calculation method, score recalculation, and the like.
  • the score re-determination is described in the evaluation server 20, but unlike this embodiment, the score refining including the input and output may be made in the terminal 10 corresponding to the evaluation member 10. In this case, the score recalculation may be made in the control unit 110 of the terminal 10 rather than the server control unit of the evaluation server 20.
  • the terminal 10 of the evaluator 10 may be a system for recalculating the score.
  • the scorers 10 or a user associated with the scores of all the judges 10 are input to the single terminal 10, and the terminal 10 performs the score recalculation and then the scores of the respective evaluators 30.
  • the final evaluation score can be calculated.
  • the terminal 100 inputs a score through transmission and reception with the evaluation server 20, receives the score, and outputs the score to the evaluator 10 or the evaluator 30. Shall be.
  • controller 110 may perform a pattern recognition process for recognizing a writing input or a drawing input performed on a touch screen as text and an image, respectively.
  • the power supply unit 160 of the mobile terminal receives the external power and the internal power under the control of the controller 110 to supply the power necessary for the operation of each component.
  • Various embodiments described herein may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.
  • Hardware implementations include Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), Processors, Controllers It may be implemented as any one of an electrical unit for performing micro functions, micro-controllers, micro-processors, and other functions. In some cases, the embodiments described herein may be implemented by the controller 110 itself.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • Processors Controllers It may be implemented as any one of an electrical unit for performing micro functions, micro-controllers, micro-processors, and other functions. In some cases, the embodiments described herein may be implemented by the controller 110 itself.
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules.
  • Each of the software modules may perform one or more functions and operations described herein.
  • Software code may be implemented in software applications written in a suitable programming language. The software code may be stored in the storage 120 and executed / operated by the controller 110.
  • the terminal of the evaluator 10 will be referred to as the evaluator 10 and the terminal of the evaluator 30 will be referred to as the evaluator 30.
  • FIG. 3 is a block diagram showing an evaluation server for refining the final scores of the evaluators by refining the scores of the evaluators according to the embodiment of the present invention.
  • the evaluation server 20 may include a server communication unit 230, a server control unit 210, and a server storage unit 220.
  • the server communication unit 230 of the evaluation server 20 serves to transmit and receive data with the evaluator 10 or the evaluator 30 through the communication network 40.
  • the server storage unit 220 of the evaluation server stores a mathematical algorithm used for the score re-determination, and the like, the login information of the evaluator 10, the login information of the evaluator 30, the property details can be stored in a database. .
  • the server storage unit 220 is a flash storage unit type, hard disk type, multimedia card micro type, card type storage unit (SD, etc.), RAM (RAM), SRAM (Static RAM), ROM (ROM), EEPROM (The storage medium may be any one of an electrically erasable programmable ROM (PROM), a programmable ROM (PROM), a magnetic storage unit, a magnetic disk, and an optical disk.
  • PROM electrically erasable programmable ROM
  • PROM programmable ROM
  • magnetic storage unit a magnetic disk, and an optical disk.
  • the server controller 220 receives the scores for the evaluators 30 from the evaluators 10 through the server communication unit 230, obtains the averages and deviations from the evaluators 10, and then uses the evaluators 10 It serves to re-evaluate score.
  • the server controller 210 receives the scores of the evaluators scored by each evaluator through the server communication unit 230. Then, the average score and the deviation for each evaluation member 10 for each of the evaluator 30 is calculated.
  • the scores of the respective evaluation members 10 are recalculated using the calculated deviation and the average score, and the average of the recalculated scores is calculated according to each of the evaluation members 10, and the final evaluation of the evaluator 30 is performed.
  • the score can be calculated.
  • the scores of the judges 10 having a great difference compared to the average scores in the judges 10 may be recalculated to an appropriate level of score, through which some It is possible to prevent certain evaluators 10 from giving unacceptably high scores or low scores by collaborating with the evaluators 30 or by friendship.
  • the ranking may be determined to the evaluator 30 according to the final evaluation score, and accordingly determined whether or not passed or successful bid
  • the decision result may be transmitted to the server 30 or the evaluation member 10 through the server communication unit 230.
  • the evaluation server 20 can be fairly re-determined the scores of the evaluation members 10, and thus has the advantage that the fair evaluation is possible by calculating the ranking to the fair re-evaluated final evaluation score.
  • FIG. 4 is a flowchart illustrating a score recalculation process by an evaluation server according to an embodiment of the present invention
  • FIG. 5 is a diagram illustrating three score recalculation methods according to an embodiment of the present invention
  • FIG. 7 is a graph showing a differential score calculation method for each deviation ratio according to another embodiment of the present invention.
  • the evaluation server 20 receives the scores for the plurality of evaluators from the plurality of evaluators through the server communication unit 230. (S101)
  • the evaluators 10 may access the evaluation server 20 through their respective terminals 100 and input scores through a touch or keyboard on a touch screen. However, before inputting such scores, an identity verification process of checking whether the evaluator 10 is correct may be performed first.
  • the evaluation server 20 may transmit / receive data about the information input by the evaluator 10 through the server communication unit 230 through an authentication process (for example, a server login or an authentication through an authorized authentication center).
  • the server controller 210 may determine whether the evaluator 10 is correct by searching the evaluator 10 information stored in the server storage unit 220.
  • the server controller 210 receives the scores of the evaluators 10 evaluated for the plurality of evaluators 30 through the server communication unit 230.
  • the server controller 210 calculates an average of scores of the evaluators 10 with respect to the evaluated evaluator 30 and a deviation of each score of the evaluator 10. (S102)
  • the average of N scores corresponding to the evaluators 1 to N for the evaluator 1 is calculated, and the deviation, which is the difference between the calculated average and the scores of the evaluators 1 to N, is calculated.
  • the deviation can be understood as a concept such as variance, standard deviation, in the present embodiment means the absolute value of the variance.
  • the server control unit 210 re-determines the score according to the deviation of each evaluation member 30. (S103)
  • the server control unit 210 may provide such a score re-determination method to be selected by a user of the evaluation server 30 or by a representative of the evaluation member 10.
  • the ratio of the deviation is the deviation of the judge 10 divided by the score of the judge 10
  • the reason for using the ratio of the deviation is that the score of the judges is calculated in detail according to the type of evaluation, the absolute value of the deviation
  • the upper limit reference score which is an excessively scored reference point
  • the lower limit reference score which is an excessively low reference point
  • server controller 210 may re-determine the score of the evaluator 10 for each deviation ratio.
  • the score of the judge 10 may be maintained.
  • the score of the evaluator 10 may be corrected to the score adjustment target. That is, in order to prevent the ranking of the specific evaluation member 10 from being excessively high or low, so that the ranking is influenced only by the score of the specific evaluation member 10, the score of the evaluation member 10 exceeding a predetermined deviation ratio. To adjust.
  • the score of the evaluator 10 when the deviation ratio of the score of the evaluator 10 is between 2-3%, the score of the evaluator 10 can be reduced by 10%.
  • the score of the evaluation member 10 when the score of the evaluation member 10 is 3-4%, the score of the evaluation member 10 can be subtracted 20%. That is, as the score of the evaluator 10 becomes farther from the average, the degree to which the score is adjusted may increase.
  • the score of the evaluator 10 is re-defined by refining the score of the evaluator 10 as the score of the evaluator 10 deviates significantly from the average, thereby achieving a fair examination.
  • the correction value of the score of the judge 10 may be determined by setting the deviation ratio step by step.
  • the acceleration / decrease ratio determined in accordance with the deviation ratio may be linearly set to determine the value of the judge 10. The score can be corrected.
  • the rate of change of the acceleration / decrease ratio according to the deviation ratio may be constant (k1) or gradually increase (K2).
  • the embodiment of increasing the rate of change gradually increases or decreases the rate of excessively deviating scores from the average, thereby further preventing the ranking from being influenced by the score of the specific evaluator 10.
  • the server controller 210 may calculate the final evaluation score by obtaining the average of the recalculated scores.
  • the server controller 30 determines the ranking or acceptance according to the final evaluation score, so that the score re-determination process is completed.
  • Table 2 shows the judges' scores for the subjects.
  • the average rate of final evaluation score was calculated using only the scores of the other evaluators except for the evaluators D, E, F, and C, which were more than 9% of the average deviation after obtaining the ratio of deviation of each evaluator. will be.
  • the evaluator 10 it is possible for the evaluator 10 to set the deviation ratio to be excluded, and this process may be directly changed by the user of the evaluation server 20 or performed through the terminal of the representative evaluator 10.
  • the score of the evaluator 10 corresponding to the predetermined deviation ratio or more is unconditionally excluded, the score of the evaluator 10 who has purely evaluated the evaluator 30 without collusion or friendship is not reflected at all. Can be. In order to prevent such a case, it may be more preferable to add or subtract the score of the evaluator 10 to the final evaluation score even if it has a predetermined deviation ratio or more.
  • FIG. 8 is a flowchart illustrating a method for recalculating the score according to an embodiment of the present invention.
  • the evaluation server 20 receives scores for a plurality of evaluators from a plurality of evaluators through the server communication unit 230.
  • the identity verification procedure as described above may be performed prior to the score transmission.
  • the server controller 210 calculates an average of scores of the evaluators 10 with respect to the evaluated evaluator 30 and a deviation of each score of the evaluator 10. (S301)
  • the average of N scores corresponding to the evaluators 1 to N for the evaluator 1 is calculated, and the absolute value of the deviation (hereinafter, the deviation) is the difference between the calculated average and the scores of the evaluators 1 to N, respectively. .
  • the server control unit 210 re-determines the score according to the deviation of each evaluation member 30.
  • the ranking or acceptance may be determined by the particular judge 10, so set a very high constant rate of deviation set
  • the fair evaluation can be made by removing the score exceeding the predetermined deviation ratio in advance without re-defining it.
  • an addition / decrease ratio constant for the range of the deviation ratio may be set.
  • a user may designate an acceleration / decrease ratio constant as 1 in order not to decelerate when the deviation ratio is 3% or less through the terminal 100, and in case of 3 to 4%, the deceleration ratio may be 0.8, and 4 If it is ⁇ 5%, it can be set as 0.6.
  • setting information necessary for the selected score relocation method may also be set by the user.
  • the information may be stored in the server storage unit 30.
  • score resetting method and setting information may be stored in the server storage unit 30 by default.
  • FIG. 9 illustrates a method for re-determining a score when a judge's score is higher than an average score according to an embodiment of the present invention
  • FIG. 8 illustrates a case where the score of a judge is lower than an average score according to an embodiment of the present invention. Indicate how to redesign your score.
  • the property is determined according to the deviation ratio x and the reduction values a1 to an set according to the average m and the deviation ratio range.
  • the vertex y is calculated.
  • the decrement value or weight corresponding to the deceleration rate is described as a discrete number by describing a1 to anan.
  • the deceleration rate that changes linearly as the deviation ratio increases may also be applicable.
  • the scorer 10 score k can be regarded as a highly reliable score, the score k of the judge 10 is reflected as the property peak score y.
  • m is the average of the judges' scores
  • l is the minimum value of the deviation ratio to be redefined
  • k is the minimum value of the deviation ratio range
  • ak is the reduction value
  • x is the deviation ratio.
  • Equation 1 corresponds to an equation for calculating the recalculated score Y when the evaluator's score is recalculated according to the deviation ratio.
  • Equation 1 a process in which Equation 1 is applied will be described with reference to FIG. 7.
  • the value obtained by subtracting 3, the minimum value of the deviation ratio range from x, and dividing by 100 and multiplying the reduction values a3 and m in the range of 3 to 4% is multiplied by m and m times 0.03, the minimum deviation ratio divided by 100.
  • y can be calculated.
  • m plus 0.03 times m means that the score of the evaluator 10 will be reflected up to the line where the deviation ratio exceeds 3%, and the evaluation score over 3% is multiplied by a3 to decrease. to be.
  • the declining score a3 is used to lower the valuation score so that the valuation is far from the average, and recalculate the fair score.
  • the property vertices y can be calculated by adding m to 0.003m, 0.01 * a3 * m and (x-4) / 100 * a4 * m.
  • the meaning of 0.01 * a3 * m means that the score corresponding to the 3-4% deviation ratio among the scores of the evaluator 10 will be reduced by multiplying the reduction value a3 only, and the score corresponding to the 4-5% deviation ratio is The reduction is multiplied by a4.
  • a4 will be smaller than a3, and multiplying all of the scores of the judges 10 corresponding to the deviation rate of 3 to 5% by a4 is unreasonable, so the deviation ratio corresponds to the deviation ratio of 3 to 4%.
  • the score is multiplied by a3 to reduce the score, and the score corresponding to 4-5% is multiplied by a4 to further reduce the score.
  • y may be calculated when x is 5-6% and 6-7%, and when 7% is exceeded, the score of the evaluator may be excluded from the final evaluation score calculation.
  • m is the average of the judges' scores
  • l is the minimum value of the deviation ratio to be redefined
  • k is the minimum value of the deviation ratio range
  • ak is the reduction value
  • x is the deviation ratio.
  • Equation 2 corresponds to an equation for calculating the recalculated score Y when the evaluator's score is recalculated according to the deviation ratio.
  • Equation 2 Equation 2
  • the scorer 10 score k can be regarded as a highly reliable score, so the score k of the judge 10 is reflected as the property peak score y.
  • the value obtained by subtracting 3, the minimum value of the deviation ratio range from x, and dividing by 100 and multiplying the weights a3 and m in the range of 3 to 4% is multiplied by m and m multiplied by 0.03, the minimum deviation ratio divided by 100 We can subtract y.
  • m minus 0.03 times m means reflecting the score of the evaluator 10 up to the line where the deviation ratio exceeds 3%, and multiplies by a3 for the evaluation score where the deviation ratio exceeds 3%. to be.
  • the weighted score is used to recalculate the score so that the score increases as much as the deviation from the average, thereby calculating a fair score.
  • the property vertices y can be calculated as m minus 0.003m, 0.01 * a3 * m, and (x-4) / 100 * a4 * m.
  • 0.01 * a3 * m means that the score corresponding to the 3-4% deviation ratio among the scores of the evaluator 10 will be increased by multiplying only the weight a3, and the score corresponding to the 4-5% deviation ratio is weighted. multiply it by a4.
  • y may be calculated when x is 5-6% and 6-7%, and when 7% is exceeded, the score of the evaluator may be excluded from the final evaluation score calculation.
  • the server controller 210 calculates the final evaluation score for the evaluator 30 by obtaining the average of the recalculated scores when all the scores of the evaluators 10 for the evaluator 30 are recalculated. . (S305)
  • the final evaluation score calculation will be performed in parallel to each of the evaluator 30, the ranking is determined according to the final evaluation score to the evaluator 30, it may be possible to make a fair ranking.
  • Table 3 shows the evaluation scores made by Judges A to I for players 1 and 2, the rate of deviation of each judge's evaluation scores, the redefined score (average of 3% deduction points), and the final evaluation score. (Average of over 3% is added or decreased).
  • Player 1's final score is 8.691 and Player 2's 8.752.
  • Player 2 has a lower score than Player 1, but according to the final score calculated through this embodiment, Player 2 has a higher score. You can check it.
  • the method of re-determining the score of this invention mentioned above is applicable also to the valuation system which is an average price bidding system.
  • the other embodiment of the present invention is applied to the score re-establishment method only to the system, the ranking and the rest of the embodiment of the present invention is the same bar overlapping description will be omitted.
  • Table 4 shows a case in which the bidding system is executed by calculating the successful bid threshold amount by applying the score refining according to another embodiment of the present invention.
  • the bidding system is a method of determining a company closest to the bidding threshold amount.
  • the bidding amount is recalculated using the deviation ratio and the bidder is excluded from the bidding firm by preventing the bidding bid or the low bidding price.
  • the conventional bidding threshold amount was obtained by dividing the number of effective bidding companies from the total effective bidding amount.
  • the winning bid amount can be obtained as shown in Equation 3.
  • FIG. 11 is a flowchart illustrating a score recalculation process according to another embodiment of the present invention.
  • Table 5 there are the evaluators 1 to 12, and it can be seen that the judges A to I received the scores for evaluating the evaluators.
  • the overestimated non-deviation reference score can be calculated according to the individual highest and lowest scores of the assessors. (S503)
  • the average (B) of the highest scores received by each of the assessors can be obtained and used as a factor for estimating the upper limit reference score excluding excessive deviation (hereinafter referred to as the "upper limit score").
  • the upper limit reference score refers to a score that is a criterion for excluding points from the score re-determination.
  • the average of the lowest scores received by each subject (C) can be obtained and used as a factor for calculating the lower limit reference score except for excessive deviation.
  • the lower limit reference score means scores that exceed the lower limit reference score among the scores of the judges, which are the criteria to be excluded from the score recalculation.
  • the average score is calculated after excluding only the highest score and the lowest score, and when a plurality of judges are assigned by assigning scores, there is a problem in that an unfair evaluation is performed.
  • an embodiment sets an upper limit and a lower limit score based on the scores given to the evaluators by assigning them excessively high or low scores to assign the judge's score suspected to be a related or internal transaction. You can remove it from the hospital. Through this, there is an advantage that the fair review is possible by preventing internal transactions in advance.
  • Equation 4 is an example of calculating an upper limit reference score excluding excessive deviations of subjects.
  • GH is the upper limit reference score
  • A is the mean of the subjects
  • B is the mean of the highest scores of the subjects
  • D is the mean of the subjects.
  • Equation 4 an upper limit reference score excluding excessive deviation of each of the subjects can be calculated.
  • Equation 5 is an example of calculating the lower limit reference score excluding excessive deviation of the subjects.
  • GL is the lower limit reference score
  • A is the mean of the subjects
  • C is the mean of the lowest scores
  • D is the mean of the subjects.
  • the judges 'scores included in the E1 box correspond to the judges' scores below the lower threshold.
  • the judges 'scores included in the E2 box correspond to the judges' scores exceeding the upper threshold.
  • the scores of the subjects can be redefined except for the scores included in the E1 and E2 boxes.
  • the final evaluation score may be calculated using the recalculated score, and then the evaluators may be ranked by the final evaluation score.
  • the average of the scores of the subjects can be calculated as the final score.
  • the score recalculation method according to the embodiment may be performed in a terminal, a server, or the like, thereby satisfying industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

실시예의 점수 재산정 방법은 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계; 상기 복수의 피평가자들 중 제 1 피평가자에 대한 제 1 평가점수들의 평균과 편차를 산출하는 단계; 상기 평균 및 편차에 따라서 상기 제 1 평가점수들을 재산정하는 단계; 재산정된 제 1 평가점수들로부터 상기 제 1 피평가자에 대한 최종 평가점수를 산출하는 단계; 및 상기 제 1 피평가자에 대해 수행된 최종 평가점수 산출하기까지의 단계들이 상기 제 1 피평가자들을 제외한 나머지 상기 복수의 피평가자들에 대해서도 병렬적으로 수행되는 단계; 를 포함하는 것을 특징으로 한다. 이러한 실시예에 따르면, 특정 심사위원에게 큰 점수를 얻는 것보다 전체적인 심사위원들에게 골고루 높은 점수를 얻은 피평가자의 순위를 높게 평가할 수 있어서, 공정한 심사가 가능해지는 장점이 있다.

Description

점수 재산정 방법, 이를 수행하는 서버 및 컴퓨터 판독 가능한 기록매체
본 발명은 운동경기, 기술심사 및 각종평가 등에서 평가위원들이 평가한 점수를 재산정하는 방법과, 이를 수행하는 서버 및 기록매체에 관한 것이다.
운동경기(체조, 피겨스케이팅 등), 기술심사, 각종평가 등에서 평가위원들이 평가에 따른 순위 산정과정이나 다수의 입찰금액에서 낙찰 금액을 선정하는 과정에서 복수개의 평가 또는 입찰금액이 있을 때, 피평가자들에 대한 공정한 순위선정이 요구된다.
그런데, 이러한 순위선정과정에서 평가위원들과 피평가자들 사이에 내부거래나 친소관계에 따라서 특정 평가위원들의 점수가 월등히 높은 점수를 부여하거나 낮은 점수를 부여하였을 때 공정성이 훼손될 우려가 있다.
또한, 공사 등의 입찰 과정에서 낙찰 금액을 선정하는 경우에는, 고질적인 저가 낙찰의 문제에 따른 부실공사의 우려가 있고, 몇몇 낙찰업체들이 담합하여 입찰금액을 제출하였을 때 이를 제재할 방법이 미흡하였다.
종래에는, 이와 같은 문제점을 방지하기 위하여, 평가 점수 또는 입찰 금액에 중에서 최고 및 최저 점수는 제외(“Head-Tail Cut”)한 후 평균점수를 산정하는 방법을 취했다.
그러나, 종래의 방법에 의할 때에도, 담합한 평가위원이 2인 이상인 경우, 담합한 평가위원들이 월등히 높은 점수 또는 낮은 점수를 주게 되면, 평균 점수 산정에 크게 영향을 주어 공정한 평가가 이루어질 수 없는 문제점이 있었다.
특히, 최고 및 최저 점수 제외 방식은 입찰 시스템에서 저가 입찰 금액이 낙찰되는 고질적인 저가낙찰 관행을 해결할 수 없는 한계가 존재하였다.
표 1
Figure PCTKR2015003121-appb-T000001
표1은 “Head-Tail Cut”적용 평가결과에 따른 평균점수 산출 방법이다.
표 1을 참조하면, 위 평가위원 D, E, F가 담합하여“1번”평가대상에 월등히 높은 점수를 준 경우라 볼 수 있다. 이때, Head-Tail Cut방식으로 가장 높은 점수 9.9(평가위원 D)을 제외하면, 단순합계평균을 했을 때와 같이 등위에는 영향을 미치지 못하여 평가대상 “1번”이 1위가 된다.
그런데, 평가위원 9명 중 6명이 “2번”에게 “1번”보다 더 높은 점수를 주었고, 3명만이 “1번”에게 “2번”보다 더 높은 점수를 주었으므로 “2번”이 1위가 되어야 함이 공정하게 평가된 것으로 볼 수 있다.
즉, “Head-Tail Cut”적용 평가결과 평균점수 산정 방법은 복수의 평가위원이 선수(평가대상자)와 친소관계 또는 내부거래로 점수를 높게 주거나 낮게 주는 경우에 이를 방지할 수 없는 한계가 있다.
따라서, 종래의 점수산정방법으로는 몇몇의 평가위원이나 입찰자들이 담합하여 부당하게 점수를 주더라도 등위가 바뀌지 아니하여 부당한 평가가 되는 것을 막을 수 없는 문제점이 있다.
본 발명은 위와 같은 문제점을 해결하기 위한 것으로, 각 평가위원들의 점수를 편차에 따라서 재산정하여 공정한 심사를 하는 점수 재산정방법 및 이를 수행하는 서버 및 기록매체를 제안하고자 한다.
실시예에 따른 점수 재산정 방법은 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계; 제 1 피평가자에 대한 제 1 평가점수들의 평균과 편차를 산출하는 단계; 상기 평균 및 편차에 따라서 상기 제 1 평가점수들을 재산정하는 단계; 재산정된 제 1 평가점수들로부터 상기 제 1 피평가자에 대한 최종 평가점수를 산출하는 단계; 및 상기 제 1 피평가자에 대해 수행된 최종 평가점수 산출하기까지의 단계들이 상기 제 1 피평가자들을 제외한 나머지 상기 복수의 피평가자들에 대해서도 병렬적으로 수행되는 단계를 포함하는 것을 특징으로 한다.
또한, 실시예에 따른 서버는 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 편차를 이용하여 재산정하여 최종 평가점수를 산출하는 서버로서, 상기 평가점수를 수신하는 서버통신부; 상기 평가점수를 재산정하고, 상기 최종 평가점수를 산출하기 위한 알고리즘을 저장하는 서버저장부; 및 상기 알고리즘을 독출하여 상기 수신된 평가점수들을 편차를 이용하여 재산정하고, 상기 재산정된 평가점수들의 평균을 최종 평가점수로 산출하는 서버제어부; 를 포함하는 점수 재산정을 수행하는 것을 특징으로 한다.
마지막으로, 실시예에 따른 기록매체는 터치스크린을 구비한 단말기를 제어하는 기록매체로서,상기 단말기가, 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계; 상기 복수의 피평가들 중 제 1 피평가자에 대한 제 1 평가점수들의 평균과 편차를 산출하는 단계; 상기 평균 및 편차에 따라서 상기 제 1 평가점수들을 재산정하고, 재산정된 제 1 평가점수들로부터 상기 제 1 피평가자에 대한 최종 평가점수를 산출하는 단계; 상기 제 1 피평가자에 대해 수행된 최종 평가점수 산출하기까지의 단계가 상기 제 1 피평가자들을 제외한 나머지 상기 복수의 피평가자들에 대해서도 병렬적으로 수행되는 단계; 를 실행시키기 위한 프로그램을 기록한 것을 특징으로 한다.
본 발명은 평가위원들의 점수를 편차에 따라서 재산정하여, 각각의 평가위원들의 점수 가치를 동등하게 함으로써, 공정한 평가가 가능해지는 장점이 있다.
즉, 친소관계 또는 내부거래에 따라서 일정 선수에게 과다 또는 과소하게 점수를 준 심사위원의 점수를 일정 수준으로 낮추거나 높여 재산정함으로써, 친소관계 또는 내부거래의 효력을 약화시킬 수 있다.
이를 통해, 특정 심사위원에게 큰 점수를 얻는 것 보다 전체적인 심사위원들에게 골고루 높은 점수를 얻은 피평가자의 순위를 높게 평가할 수 있어서, 공정한 심사가 가능해지는 장점이 있다.
본 발명의 다른 측면에서, 점수 재산정 방법은 입찰제에도 적용될 수 있으며, 이를 통해 업체들의 담합입찰이나 저가 낙찰을 막을 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른, 점수 재평가를 이용한 순위산정 시스템을 나타내는 도면이다.
도 2는 본 실시예와 관련되는 단말기의 구성을 보여주는 블록도이다.
도 3은 본 발명의 실시예에 따른, 평가위원들의 점수를 재산정하여 피평가자들의 최종점수를 재산정하는 평가서버를 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른, 점수 재산정 과정을 나타내는 흐름도이다.
도 5는 본 발명의 실시예에 따른, 3가지 점수 재산정방법을 설명하는 도면이다.
도 6은 본 발명의 실시예에 따른, 편차비율별 차등 점수계산방법을 나타내는 표이다.
도 7은 본 발명의 다른 실시예에 따른, 편차비율별 차등 점수계산방법을 나타내는 그래프이다.
도 8은 본 발명의 실시예에 따른, 점수를 가감하여 재산정하는 방법을 나타내는 흐름도이다.
도 9는 본 발명의 실시예에 따른, 평가위원의 점수가 평균 점수보다 높은 경우 점수를 재산정하는 방법을 나타낸다.
도 10은 본 발명의 실시예에 따른, 평가위원의 점수가 평균 점수보다 낮은 경우 점수를 재산정하는 방법을 나타낸다.
도 11은 본 발명의 또 다른 실시예에 따른, 점수 재산정 과정을 나타내는 흐름도이다.
이하에서는, 본 실시예에 대하여 첨부되는 도면을 참조하여 상세하게 살펴보도록 한다. 다만, 본 실시예가 개시하는 사항으로부터 본 실시예가 갖는 발명의 사상의 범위가 정해질 수 있을 것이며, 본 실시예가 갖는 발명의 사상은 제안되는 실시예에 대하여 구성요소의 추가, 삭제, 변경 등의 실시변형을 포함한다고 할 것이다.
본 발명과 관련되는 단말기의 설명에 사용되는 접미수 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 단말기에는 휴대폰, 스마트폰, 태블릿 PC, 노트북 컴퓨터, 디지털방송용 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player) 및 네비게이션 등이 해당될 수 있다.
도 1은 본 발명의 실시예에 따른, 점수 재평가를 이용한 순위산정 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 실시예의 점수 재평가를 이용한 순위산정 시스템은, 점수 산정의 대상이 되는 복수의 피평가자(30)과, 피평가자(30)에게 평가하여 점수를 부여하는 복수의 평가위원(10)과, 평가 점수들을 재산정하여 최종 평가점수를 피평가자들에게 부여하는 평가서버(20)와, 전술한 구성들의 정보 송수신을 위한 통로를 제공하는 통신망(40)으로 구성된다.
여기서, 피평가자(30)와 평가위원(10)은 단말기를 사용하여, 순위 산정에 관한 어플리케이션 또는 소프트웨어나 평가서버(20)의 홈페이지를 통해 평가서버(20)에 접속할 수 있다.
통신망(40)은 피평가자(30)와 평가위원(10)의 단말기와 평가서버(20) 간의 송수신을 위한 통로를 제공하는 역할을 한다. 이와 같은 기능을 수행하는 통신망(40)은 인터넷 프로토콜(IP, Internet Protocol)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망으로, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 일 수 있다. 또한, 통신망(40)은 유선통신망, 이동통신망, Wibro(Wireless Broadband)망, HSDPA(High Speed Downlink Packet Access)망, 위성통신망 및 와이파이(WI-FI, Wireless Fidelity)망 중 하나일 수 있다.
도 2는 본 실시예와 관련되는 단말기의 구성을 보여주는 블록도이다.
평가위원(10)과 피평가자(30)들은 단말기(100)로 구성될 수 있으며, 이러한 단말기(100)의 세부적인 구성에 대하여 설명하면 다음과 같다.
도 2를 참조하면, 단말기(100)는 저장부(120), A/V(Audio/Video) 입력부(130), 인터페이스부(140), 사용자 입력부(150), 전원 공급부(160), 출력부(170), 통신부(180) 등을 포함할 수 있다.
다만, 도 2는 단말기(100)의 필수 요소들로만 구성된 것이 아니며, 본 실시예의 단말기(100)는 다른 구성을 더 포함하거나 도시된 구성들 중 일부는 포함되지 않을 수 있다.
이하에서는 단말기의 각 구성요소를 순서대로 설명한다.
먼저, 저장부(120)는 제어부(110)의 처리 및 제어를 위한 프로그램, (예를 들면, 순위산정 어플리케이션, 점수 재산정을 위한 수학 알고리즘 등)을 위한 데이터가 저장되거나, 입/출력되는 데이터들의 임시 저장을 위한 역할을 할 수 있다.
이러한 저장부(120)는 플래시 저장부 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 저장부(SD 등), 램(RAM), SRAM(Static RAM), 롬(ROM), EEPROM(Electrically Erasable Programmable ROM), PROM(Programmable ROM), 자기 저장부, 자기 디스크, 광 디스크 중 어느 하나의 타입으로 이루어진 저장매체가 될 수 있다.
그리고, 단말기(100)의 출력부(170)는 시각, 청각 또는 촉각과 관련되는 출력을 발생시키기 위한 구성요소로서, 터치 스크린, 스피커(speaker), 알람부 및 햅틱 모듈 등으로 구성될 수 있다.
터치 스크린은 단말기(100)에서 처리되는 정보를 표시할 수 있는다. 예를 들어, 평가위원(10)의 단말기의 경우 점수를 입력하는 UI 또는 GUI를 제공할 수 있다. 그리고 피 평가자(30)의 단말기의 경우에는 최종 평가점수나 낙찰여부 또는 합격여부 등을 나타내는 UI 또는 GUI를 제공할 수 있다.
이러한 터치 스크린은 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT LCD), 유기 발광 다이오드(OLED), 플렉서블 디스플레이, 3차원 디스플레이 등으로 이루어질 수 있다. 이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이것은 투명 디스플레이라 할 수 있으며, 이러한 투명 디스플레이의 예로는 TOLED(Transparent OLED)가 될 수 있다. 그리고, 터치 스크린의 후방 구조 또한 광 투과형 구조로 구성될 수 있으며, 이 경우 사용자는 단말기 바디의 터치 스크린이 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
그리고, 터치 스크린에는 터치 동작을 감지하기 위한 센서(터치 센서)가 상호 레이어 구조를 이루어 구성될 수 있으며, 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태가 해당될 수 있다.
이러한 터치 센서는 터치 스크린의 특정 영역에 가해지는 압력, 또는 터치 스크린의 특정 영역에 발생되는 정전 용량의 변화, 또는 터치 스크린의 특정 영역에 발생되는 자기장 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 터치 센서는 터치되는 위치 및 면적뿐만 아니라, 터치 순간의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 의하여 터치 입력이 감지되는 경우에, 그에 대응하는 신호는 터치 제어기로 보내지며, 터치 제어기는 수신한 신호에 대응되는 데이터를 제어부(110)로 전송한다. 이러한 과정을 통하여, 제어부(110)는 터치 스크린에 터치가 있는지 여부, 디스플레이의 어느 영역에 터치가 이루어졌는지 여부, 디스플레이의 어느 영역에 어느 정도의 필압으로 터치가 이루어졌는지 여부 등을 확인할 수 있다.
예를 들어, 터치스크린은 피평가자(30)들에게 점수를 입력하기 위한 입력창과 숫자입력메뉴가 함께 출력될 수 있으며, 숫자입력메뉴에 터치가 이루어지면 터치가 이루어진 위치의 숫자들을 평가점수로 제어부(180)에 전송할 수 있다.
통신부(180)는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치 정보 모듈 등 중 어느하나 이상을 포함하여 구성될 수 있으며, 통신부(180)를 이용하여 통신망(40)을 통해 평가서버(20)와 점수 산정을 위해 필요한 데이터를 송수신할 수 있다.
여기서, 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 나타내는 것으로서, 단말기(100)에 내장되어 구성되거나 외장 연결가능하도록 구성될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless Lan)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
단말기의 전원 공급부(160)는 제어부(110)의 제어에 따라 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
단말기의 제어부(180)는 단말기의 전체적인 동작 각각을 제어할 수 있는데, 예를 들어, 점수 산정을 위한 점수 입력, 점수 산정방법 선택, 점수 재산정 등에 관련된 제어 및 처리를 수행할 수 있다.
본 실시예에서 점수 재산정은 평가서버(20)에서 이루어지는 것으로 설명하나, 본 실시예와 달리 평가위원(10)에 해당하는 단말기(10)에서 입출력을 포함한 점수 재산정이 이루어질 수 있다. 이러한 경우 평가서버(20)의 서버제어부가 아닌 단말기(10)의 제어부(110)에서 점수 재산정이 이루어질 수 있다.
즉, 평가위원(10)의 단말기 자체(10)가 점수 재산정을 하는 시스템이 될 수 있다. 이러한 경우에는 일 평가위원(10) 또는 이와 관련된 사용자가 모든 평가위원(10)들의 점수들이 단일 단말기(10)에 입력되고, 단말기(10)는 점수 재산정을 수행한 후 각 피평가자(30)들의 최종 평가점수를 산출할 수 있다.
다만, 이하 설명에서 단말기(100)는 평가서버(20)와의 송수신을 통해 점수를 입력하고 점수를 전송 받으며 이를 평가위원(10) 또는 피평가자(30)에 출력하는 경우를 실시예로 한정하여 설명하기로 한다.
그리고, 상기 제어부(110)는 터치 스크린 상에서 행하여지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 수행할 수 있다.
이동 단말기의 전원 공급부(160)는 제어부(110)의 제어에 따라 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에서 설명되는 다양한 실시예는, 예를 들어, 소프트웨어, 하드웨어 또는 이들이 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processors), 기타 기능 수행을 위한 전기적인 유닛 중 어느 하나로 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(110) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 저장부(120)에 저장되고, 제어부(110)에 의하여 실행/동작될 수 있다.
이하에서는 설명의 편의를 위하여, 평가위원(10)의 단말기는 평가위원(10)으로, 피평가자(30)의 단말기는 피평가자(30)로 지칭하기로 한다.
도 3은 본 발명의 실시예에 따른, 평가위원들의 점수를 재산정하여 피평가자들의 최종점수를 재산정하는 평가서버를 나타내는 블록도이다.
도 3을 참조하면, 본 실시예의 평가서버(20)는 서버통신부(230)와, 서버제어부(210)와, 서버저장부(220)를 포함할 수 있다.
평가서버(20)의 서버통신부(230)는 평가위원(10) 또는 피평가자(30)들과 통신망(40)을 통해 데이터를 송수신하는 역할을 한다.
평가서버의 서버저장부(220)는 점수 재산정에 사용되는 수학 알고리즘 등이 저장되며, 평가위원(10)들의 로그인 정보, 피평가자(30)들의 로그인 정보, 재산정한 내역 등도 데이터베이스화하여 저장할 수 있다.
이러한 서버저장부(220)는 플래시 저장부 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 저장부(SD 등), 램(RAM), SRAM(Static RAM), 롬(ROM), EEPROM(Electrically Erasable Programmable ROM), PROM(Programmable ROM), 자기 저장부, 자기 디스크, 광 디스크 중 어느 하나의 타입으로 이루어진 저장매체가 될 수 있다.
그리고, 서버제어부(220)는 서버통신부(230)를 통해 평가위원(10)들로부터 피평가자(30)들에 대한 점수를 전송 받고, 이들에 평균 및 편차를 구한 후, 이를 이용하여 평가위원(10)의 점수를 재산정하는 역할을 한다.
좀더 상세히, 서버제어부(210)는 서버통신부(230)를 통해 각 평가위원들이 채점한 피평가자들의 점수를 수신한다. 그리고, 각 피평가자(30)들에 대해 평균점수와 각 평가위원(10)들에 대한 편차를 산출한다.
그리고, 상기 산출된 편차와 평균점수를 이용하여 각 평가위원(10)들의 점수를 재산정하고, 각 평가위원(10)에 따라서 재산정된 점수들의 평균을 계산하여, 피평가자(30)에 대한 최종 평가점수를 산정할 수 있다.
이때, 점수 재산정 과정에서 편차를 이용하게 되면, 평가위원(10) 들에 평균 점수와 비교해 큰 차이가 나는 평가위원(10)들의 점수는 적정 수준의 점수로 재 산정될 수 있으며, 이를 통해 몇몇 특정 평가위원(10)들이 피평가자(30)들과 담합 하거나 친소관계에 의하여 부당하게 높은 점수를 주거나 낮은 점수를 주는 것을 방지할 수 있다.
그리고, 이러한 점수 재산정이 각 피평가자(30)들(1~N)에게 수행되면, 최종 평가점수에 따라서 피평가자(30)들에 순위가 결정될 수 있으며, 이에 따라서 합격여부 또는 낙찰 여부 등이 결정되어 피평가자(30)들 또는 평가위원(10)에게 결정 결과가 서버통신부(230)를 통해 전송될 수 있다.
이러한 구성을 통하여, 상기 평가서버(20)는 평가위원(10)들의 점수를 공정하게 재산정할 수 있고, 따라서 공정하게 재산정된 최종 평가점수로 순위를 산정하여 공정한 심사가 가능한 장점이 있다.
이하에서는 이와 같은 서버제어부(220)에서 수행되는 점수 재산정 과정을 도 4와 도 5를 참조하여 좀더 상세히 설명한다.
<점수 재산정 방법 실시예>
도 4는 본 발명의 실시예에 따른, 평가서버가 점수 재산정 과정을 나타내는 흐름도이고, 도 5는 본 발명의 실시예에 따른, 3가지 점수 재산정방법을 설명하는 도면이며, 도 6은 본 발명의 실시예에 따른, 편차비율별 차등 점수계산방법을 나타내는 표이고, 도 7은 본 발명의 다른 실시예에 따른, 편차비율별 차등 점수계산방법을 나타내는 그래프이다.
도 4 내지 7을 참조하면, 먼저, 평가서버(20)는 서버통신부(230)를 통해 복수의 평가위원으로부터 복수의 피평가자들에 대한 점수를 전송받는다.(S101)
평가위원(10)들은 각자의 단말기(100)를 통해 평가서버(20)에 접속한 후 터치 스크린에 터치 또는 키보드 등을 통해 점수를 입력할 수 있다. 다만, 이러한 점수 입력 전에는 평가위원(10) 본인이 맞는지 확인하는 본인인증과정이 먼저 수행될 수 있다.
평가서버(20)는 서버통신부(230)를 통해 평가위원(10)이 본인인증과정(예를 들면, 서버 로그인이나 공인인증센터를 통한 본인 인증을 거치기 위해 입력한 정보에 관한 데이터를 송수신할 수 있다. 그리고 서버제어부(210)는 서버저장부(220)에 저장된 평가위원(10) 정보를 검색하여 평가위원(10)이 맞는지 확인할 수 있다.
평가위원(10)임이 확인된 후, 서버제어부(210)는 서버통신부(230)를 통해 복수의 피평가자(30)들에 대해 평가한 평가위원(10)들의 점수를 수신한다.
이하에서는 편의상 단일 피평가자(30)의 점수를 재산정하는 과정을 설명한다. 이러한 점수 재산정은 복수의 피평가자(30)들의 점수들에 각각 병렬적으로 수행되어, 복수의 피평가자(30)들 각각의 최종 평가점수가 산정되는 것으로 이해할 수 있을 것이다.
이후, 서버제어부(210)는 수신된 피평가자(30)에 대한 평가위원(10)들의 점수들에 대한 평균 및 각 평가위원(10) 점수에 대한 편차를 계산한다. (S102)
즉, 피평가자 1에 대한 평가위원 1~N에 해당하는 점수 N개에 대한 평균을 계산하고, 계산된 평균과 평가위원 1~N 각각의 점수에 대한 차이인 편차를 구한다. 이때, 상기 편차는 분산, 표준편차와 같은 개념으로 이해할 수 있으며, 본 실시예에서 편차는 분산의 절대값을 의미한다.
그 다음, 서버제어부(210)는 각 평가위원(30)의 편차에 따라서 점수를 재산정한다. (S103)
편차를 이용하여 점수를 재산정하는 방법으로는 다양한 수학식들이 있을 수 있지만, 본 실시예에서는 일정 편차 이상을 가지면 그 평가위원의 점수를 최종 점수 산정에서 제거하는 방법과, 편차에 크기에 따라서 평가위원 점수를 가감하는 방법을 두가지 경우로 설명한다.
도 5를 보면, 서버제어부(210)는 이러한 점수 재산정 방법을 평가서버(30)의 사용자가 선택하거나 평가위원(10)의 대표가 선택하도록 제공할 수 있다.
먼저, 점수를 재산정하는 방법으로, 일정 편차의 비율 이상을 가지는 평가위원(10)의 점수를 제거할 수 있다.
여기서, 편차의 비율은 평가위원(10)의 편차를 상기 평가위원(10)의 점수로 나눈 것으로, 편차의 비율을 사용하는 이유는 평가 종류에 따라서 평가위원들의 점수가 세부적으로 산정되어 편차의 절대 크기가 작은 경우와 큰 경우가 있을 수 있어서, 편차의 비율을 사용하여 점수를 과도 또는 과소하게 준 경우를 명확히 가리기 위함이다.
이때, 편차를 고려하여 과도하게 점수를 준 기준이되는 상한기준점수를 산출하고, 과소하게 준 기준이되는 하한기준점수를 산출하여, 상한기준점수를 초과하거나 하한기준점수에 미달되는 평가위원의 점수를 점수 재산정에서 제외할 수도 있다.
또는, 서버제어부(210)는 편차비율별로 평가위원(10)의 점수를 재산정할 수 있다.
예를 들어, 평가위원(10)의 점수의 편차비율이 2% 이하일 때, 평가위원(10)의 점수는 유지될 수 있다.
그러나 평가위원(10)의 점수의 편차비율이 2%를 초과할 때부터는 점수조정대상으로, 평가위원(10)의 점수가 보정될 수 있다. 즉, 특정 평가위원(10)의 점수가 과다하게 높거나 낮게 부여되어서, 특정 평가위원(10)의 점수만으로 순위가 좌우되는 것을 방지하기 위하여, 일정 편차비율을 초과하는 평가위원(10)의 점수를 조정하는 것이다.
자세히, 평가위원(10)의 점수의 편차비율이 2~3% 사이일 때는, 평가위원(10)의 점수를 10% 감산할 수 있다.
그리고 평가위원(10)의 점수가 3~4%일 때는, 평가위원(10)의 점수를 20% 감산할 수 있다. 즉, 평가위원(10)의 점수가 평균에 비해 점점 멀어질수록 점수 조정되는 정도가 커질 수 있다.
즉, 실시예는 평가위원(10)의 점수가 평균에 비해 크게 벗어날수록 더욱 큰 보정을 가하여 평가위원(10)의 점수를 재산정하므로써, 공정한 심사를 도모할 수 있다.
도 6처럼, 편차비율을 단계적으로 정하여 평가위원(10)의 점수의 보정 수치를 정할 수 있으나, 도 7과 같이, 편차비율에 따라서 정해지는 가감비율을 선형적으로 설정하여 평가위원(10)의 점수를 보정할 수 있다.
이때, 편차비율에 따른 가감비율의 변화율은 일정하거나(k1) 또는 점차 증가(K2)할 수 있다. 변화율을 점차 증가시킴는 실시예는 평균에서 과다하게 벗어난 점수의 가감비율을 크게 증가시켜, 특정 평가위원(10)의 점수에 의해 순위가 좌우되는 것을 더욱 방지할 수 있다.
이후, 서버제어부(210)는 재산정된 점수들의 평균을 구하여 최종 평가점수를 산출할 수 있다. (S104) 마지막으로, 최종 평가점수 산출이 각 피평가자(30)들에게 수행된 후, 서버제어부(30)는 최종 평가점수에 따라서 순위 또는 합격 여부 등을 결정함으로써, 점수 재산정 과정은 완료된다. (S105)
표 2
Figure PCTKR2015003121-appb-T000002
표 2는 피평가자에 대한 평가위원의 점수를 나타낸다.
표 2를 참조하면, 각 평가위원들의 편차 비율을 구한 후 평균 편차에서 9%이상 벗어난 평가위원 D, E, F, C를 제외하고 나머지 평가위원들의 점수만을 이용하여 최종 평가점수인 평균을 계산한 것이다.
즉, 평가위원 A, B, C, H, I들이 평가한 점수는 고르게 분포해 있으며, 이에 비하여 평가위원 D, E, F, C는 과도하게 점수를 높게 주거나 낮게 주었으므로, 친소관계나 담합의 여지가 있어 이를 제외하고 최종 점수를 산정함으로써 공정성을 확보하려는 것이다.
이때, 제외가 되는 편차비율을 평가위원(10)이 설정할 수 있도록 할 수 있으며, 이 과정은 평가서버(20)의 사용자가 직접 바꾸거나 대표 평가위원(10)의 단말을 통해 수행될 수 있다.
다만, 일정 편차비율 이상에 해당하는 평가위원(10)의 점수를 무조건 적으로 제외하게 되면, 담합이나 친소관계 없이 순수하게 피평가자(30)를 평가한 평가위원(10)의 점수가 전혀 반영되지 않을 수 있다. 이러한 경우를 방지하기 위하여, 일정 편차비율 이상을 가지더라도 평가위원(10)의 점수를 어느 정도 가감하여 최종 평가점수에 반영하는 방법이 더 바람직할 수 있다.
이하에서는 큰 편차를 가지는 평가위원(10)의 점수를 가감하여 최종 점수에 반영하는 점수 재산정 방법에 대해 설명한다.
도 8은 본 발명의 실시예에 따른, 점수를 가감하여 재산정하는 방법을 나타내는 흐름도이다.
도 8을 참조하면, 먼저, 평가서버(20)는 서버통신부(230)를 통해 복수의 평가위원으로부터 복수의 피평가자들에 대한 점수를 전송 받는다.
점수 전송 이전에는, 앞서 설명한 바와 같은 본인인증절차가 수행될 수 있다.
이후, 서버제어부(210)는 수신된 피평가자(30)에 대한 평가위원(10)들의 점수들에 대한 평균 및 각 평가위원(10) 점수에 대한 편차를 계산한다. (S301)
즉, 피평가자 1에 대한 평가위원 1~N에 해당하는 점수 N개에 대한 평균을 계산하고, 계산된 평균과 평가위원 1~N 각각의 점수에 대한 차이이인 편차의 절대값(이하 편차)을 구한다.
그 다음, 서버제어부(210)는 각 평가위원(30)의 편차에 따라서 점수를 재산정한다.
다만, 본 실시예에서도 편차비율이 과다하게 초과되는 경우, 점수 재산정에서 제거할 수도 있다. (S302)
즉, 특정 평가위원(10)의 점수가 일반적인 평가위원(10)의 점수에 비해 너무 많이 차이나면 특정 평가위원(10)에 의하여 순위 또는 합격 여부가 좌우될 수 있으므로 아주 높게 설정된 일정 편차비율을 설정하여, 일정 편차비율을 초과한 점수를 재산정하지 않고 사전에 제거함으로써, 공정한 평가를 내릴 수 있다. (S303)
그리고, 일정 편차비율보다 낮은 경우 평가위원(10)의 점수들도 평균 점수에 비해 큰 차이가 있는 경우에는, 이를 재산정한다. (S304)
점수를 재산정하기 위하여, 먼저, 편차비율의 범위에 대한 가감비율상수가 설정될 수 있다.
예를 들어, 사용자는 단말기(100)를 통해 3% 이하의 편차 비율인 경우 가감하지 않기 위하여 가감비율상수를 1로 지정할 수 있으며, 3~4%인 경우 가감비율을 0.8로 할 수 있고, 4~5%인 경우 0.6으로 지정할 수 있다.
즉, 다양한 점수 재산정 방법 선택할 때, 선택된 점수 재산정 방법에서 필요한 설정정보들(예를 들면, 평가위원의 점수를 제거하는 편차비율, 가감비율 등)도 함께 사용자에 의해 설정될 수 있으며, 이러한 정보들은 서버저장부(30)에 저장될 수 있다. 물론, 점수 재산정 방법과 설정 정보들은 서버저장부(30)에 디폴트로 저장되는 경우도 가능할 것이다.
도 9 내지 10을 참조하여, 좀더 상세히 편차의 비율에 따라 점수를 가감하는 방법에 대해 설명한다.
도 9는 본 발명의 실시예에 따른, 평가위원의 점수가 평균 점수보다 높은 경우 점수를 재산정하는 방법을 나타내고, 도 8은 본 발명의 실시예에 따른, 평가위원의 점수가 평균 점수보다 낮은 경우 점수를 재산정하는 방법을 나타낸다.
도 9를 참조하면, 평가위원(10)의 점수 k가 평가위원(10) 점수들의 평균 m보다 큰 경우에, 편차비율 x 와 평균 m과 편차비율범위에 따라서 설정된 경감치 a1~an 에 따라서 재산정점수 y가 산출된다.
이때, 가감비율에 해당하는 경감치 또는 가중치를 a1~an으로 기재하여 이산적인 수로 기술하나, 편차비율이 증가함에 따라서 선형적으로 변하는 가감비율도 해당될 수 있다.
좀더 상세히, 편차비율 x가 3% 보다 작은 경우, 그 평가위원(10) 점수 k는 신뢰도가 높은 점수로 볼 수 있으므로, 상기 평가위원(10)의 점수 k는 그대로 재산정점수 y로 반영된다.
수학식 1
Figure PCTKR2015003121-appb-M000001
여기서, m은 평가위원 점수의 평균, l은 재산정되는 편차비율의 최솟값, k는 편차비율 범위의 최솟값, ak는 경감치, x는 편차비율을 나타낸다.
수학식 1은 편차비율에 따라서 평가위원의 점수가 재산정될 때, 재산정된 점수 Y를 산출하는 식에 해당한다.
좀더 상세히, 수학식 1이 적용되는 과정을 도 7을 예를 들어 설명한다.
편차비율 x가 3~4%인 경우, 3%를 벗어나는 편차에 대해서는 감소시킬 필요가 있다. 그러므로, x에서 편차비율 범위의 최솟값인 3을 뺀 후 100으로 나누고 3~4%의 범위에 해당하는 경감치a3과 m을 곱하여 얻은 값에 m과 m에 편차비율 최솟값 나누기 100인 0.03을 곱한 값을 더하여 y를 산출할 수 있다.
여기서, m과 0.03 곱하기 m을 더한 값은 평가위원(10)의 점수를 편차비율이 3%넘어가는 선까지는 그대로 반영하겠다는 것이고, 편차비율이 3% 넘어서는 평가점수에 대해서는 a3을 곱하여 감소시키겠다는 의미이다.
즉, 경감치 a3을 이용하여 평가점수가 평균에서 많이 벗어난 만큼 평가점수를 낮추어 재산정하여, 공정한 재산정점수를 산출하려는 것이다.
편차비율 x가 4~5%인 경우, 재산정점수 y는 m에 0.003m과, 0.01*a3*m과, (x-4)/100*a4*m을 더한 값으로 산출할 수 있다.
여기서, 0.01*a3*m의 의미는 평가위원(10)의 점수 중 3~4% 편차비율에 해당하는 점수는 경감치 a3만 곱하여 감소시키겠다는 것이고, 4~5% 편차비율에 해당하는 점수는 경감치 a4를 곱하여 감소시키겠다는 것이다.
즉, a4는 a3보다 작을 것인데, 3~5% 편차비율에 해당하는 평가위원(10)의 점수를 모두 a4를 곱하는 것은 불합리하므로, 평가위원(10)의 점수 중 편차비율 3~4%에 해당하는 점수는 a3을 곱하여 덜 감소시키고, 4~5%에 해당하는 점수는 a4를 곱하여 더 감소시키기 위함이다.
이러한 과정으로, x가 5~6%인 경우와 6~7%인 경우에 y를 산출할 수 있을 것이며, 7% 넘어서는 경우에는 평가위원의 점수를 최종 평가점수 산정에서 제외할 수 있다.
도 10을 참조하면 평가위원(10)의 점수 k가 평가위원(10) 점수들의 평균 m보다 작은 경우에 편차비율 x 와 평균 m과 편차비율범위에 따라서 설정된 가중치 a1~an 에 따라서 재산정점수 y를 산출하는 과정이다.
수학식 2
Figure PCTKR2015003121-appb-M000002
여기서, m은 평가위원 점수의 평균, l은 재산정되는 편차비율의 최솟값, k는 편차비율 범위의 최솟값, ak는 경감치, x는 편차비율을 나타낸다.
수학식 2는 편차비율에 따라서 평가위원의 점수가 재산정될 때, 재산정된 점수 Y를 산출하는 식에 해당한다.
좀더 상세히, 수학식 2가 적용되는 과정을 도 8을 예를 들어 설명한다.
편차비율 x가 3% 보다 작은 경우, 그 평가위원(10) 점수 k는 신뢰도가 높은 점수로 볼 수 있으므로, 상기 평가위원(10)의 점수 k는 그대로 재산정점수 y로 반영된다.
편차비율 x가 3~4%인 경우, 편차비율 3%를 벗어나는 평가위원(10)의 점수에 대해서는 증가시킬 필요가 있다. 그러므로, x에서 편차비율 범위의 최솟값인 3을 뺀 후 100으로 나누고 3~4%의 범위에 해당하는 가중치 a3과 m을 곱하여 얻은 값에 m과 m에 편차비율 최솟값 나누기 100인 0.03을 곱한 값을 빼서 y를 산출할 수 있다.
여기서, m에서 0.03 곱하기 m을 뺀 값은 평가위원(10)의 점수를 편차비율이 3% 넘어가는 선까지는 그대로 반영하겠다는 것이고, 편차비율이 3% 넘어서는 평가점수에 대해서는 a3을 곱하여 증가시키겠다는 의미이다.
즉, 가중치 a3을 이용하여 평가점수가 평균에서 많이 벗어난 만큼 평가점수를 증가되도록 재산정하여, 공정한 점수를 산출하려는 것이다.
편차비율 x가 4~5%인 경우, 재산정점수 y는 m에서 0.003m과, 0.01*a3*m과, (x-4)/100*a4*m을 뺀 값으로 산출할 수 있다.
여기서, 0.01*a3*m의 의미는 평가위원(10)의 점수 중 3~4% 편차비율에 해당하는 점수는 가중치 a3만 곱하여 증가시키겠다는 것이고, 4~5% 편차비율에 해당하는 점수는 가중치 a4를 곱하여 증가시키겠다는 것이다.
이러한 과정으로, x가 5~6%인 경우와 6~7%인 경우에 y를 산출할 수 있을 것이며, 7% 넘어서는 경우에는 평가위원의 점수를 최종 평가점수 산정에서 제외할 수 있다.
마지막으로, 서버제어부(210)는 이와 같이 피평가자(30)에 대한 평가위원(10)들의 점수가 모두 재산정되면, 재산정된 점수들의 평균을 구하여 피평가자(30)에 대해 최종 평가점수를 산출한다. (S305)
이러한 최종 평가점수 산출은 각 피평가자(30)들에게 모두 병렬적으로 수행될 것이며, 피평가자(30)들에 최종 평가점수에 따라서 순위가 결정됨으로써, 공정한 순위 선정이 가능할 수 있다.
표 3
Figure PCTKR2015003121-appb-T000003
표 3은 피평가자인 1번과 2번 선수에 대해 심사위원 A 내지 I가 내린 평가 점수와, 각 심사위원 평가점수의 편차비율과, 재산정된 점수(3%초과 가감점 평균)와, 최종 평가점수(3%초과 가감점 평균)을 나타낸다.
표 3을 참조하면, 1번 선수에 대해 심사위원 D, E, F의 평가점수는 편차비율이 7%초과하였으므로 최종 평가점수산정에서 제외되었고, 심사위원 A, B, I는 편차비율이 3% 이하이므로 그대로 반영되었으며, 심사위원 C, E, H의 점수는 재산정된다.
최종 평가점수를 보면, 1번 선수의 최종 평가점수는 8.691이고 2번 선수는 8.752임을 알 수 있다.
전술한 바와 같이, 종래 기술인 Head-Tail Cut에 의하여 순위가 가려진다면 2번 선수가 1번 선수보다 점수가 낮지만, 본 실시예를 통하여 산정된 최종 점수에 의하면 2번 선수의 점수가 더 높은 것을 확인할 수 있다.
이를 통해, 친소관계 또는 내부거래에 따라서 일정 선수에게 과다 또는 과소하게 점수를 준 심사위원의 점수를 일정 수준으로 낮추거나 높여 재산정함으로써, 친소관계 또는 내부거래의 효력을 약화시킬 수 있다.
즉, 특정 심사위원에게 큰 점수를 얻는 것 보다 전체적인 심사위원들에게 골고루 높은 점수를 얻은 피평가자의 순위를 높게 평가하여, 공정한 심사가 가능해 진다.
<다른 실시예>
전술한 본 발명의 점수를 재산정하는 방법은, 평균가격낙찰제인 부찰제에도 적용 가능하다.
이러한 본 발명의 다른 실시예는 점수 재산정 방법을 부찰제에만 적용한 것으로, 본 발명의 일 실시예의 순위산정과 나머지 부분은 동일한바 중복되는 설명은 생략하기로 한다.
표 4는 본 발명의 다른 실시예에 따른, 점수 재산정을 적용하여 낙찰기준금액을 산출함으로써, 부찰제를 실행한 경우를 나타낸다.
표 4
Figure PCTKR2015003121-appb-T000004
부찰제는 낙찰 기준금액에 이하로 가장 근접한 업체를 결정하는 방법인데, 편차비율을 이용하여 낙찰 기준금액을 재산정하고 일정편차비율 이상은 낙찰업체에서 제외함으로써, 담합입찰이나 저가 낙찰을 막을 수 있다.
좀더 상세히, 종래의 낙찰기준금액은 유효입찰금액합계에서 유효입찰업체수를 나누어 구했다.
그러나, 본 실시예에서는 낙찰기준금액을 수학식 3과 같이 구할 수 있다.
수학식 3
Figure PCTKR2015003121-appb-M000003
이렇게 편차비율을 이용하여 낙찰기준금액을 계산하게 되면, 일정 업체들이 내부거래를 통해 금액을 일정 수준으로 정하여 입찰하는 담합 입찰을 방지할 수 있다.
또한, 예정가격이상금액의 입찰업체와, 유효입찰 평균과의 일정편차비율 이상인 업체를 제한함으로써, 입찰방식의 고질적인 문제인 저가입찰을 방지할 수 있다.
<또 다른 실시예>
이하, 도 11을 참조하여 본 발명의 또 다른 실시예를 설명한다. 이때, 전술한 실시예들과 중복되는 설명은 생략하기로 한다.
도 11은 본 발명의 또 다른 실시예에 따른, 점수 재산정 과정을 나타내는 흐름도이다.
먼저, 복수의 평가위원으로부터 복수의 피평가자들에 대한 점수를 수신한다. (S501)
표 5
예를 들어, 표 5를 보면, 1번부터 12번까지의 피평가자들이 있으며, 심사위원 A~I가 피평가자들을 평가한 점수가 수신된 것을 알 수 있다.
다음, 피평가자의 평균점수 및 모든 피평가자들의 평균점수의 평균을 산출한다. (S502)
자세히, 표 5를 참조하면, 1번부터 12번까지의 피평가자들의 각각의 평균점수(D)를 산출할 수 있다.
표 6
Figure PCTKR2015003121-appb-T000006
또한, 표 6을 참조하면, 피평가자들의 평균점수의 평균(A)을 산출할 수 있다.
이후, 피평가자들의 개별 최고점수 및 최저점수에 따라서 과대편차제외 기준점수를 산정할 수 있다. (S503)
자세히, 피평가자들 각각이 받은 최고점수들의 평균(B)을 구하여, 이를 과대편차제외 상한기준점수(이하, “상한기준점수”)의 산정 요소로 사용할 수 있다. 이때, 상한기준점수란 심사위원들의 점수 중 상한기준점수를 넘는 점수들은 점수 재산정에서 제외하는 기준이 되는 점수를 의미한다.
표 7
Figure PCTKR2015003121-appb-T000007
예를 들어, 표 7과 같이 1번에 상한기준점수가 9.331로 산출된 경우, 9.331 이상의 점수를 부여한 심사위원 D,E,F의 점수는 점수 재산정시 제외될 것이다.
또한, 피평가자들 각각이 받은 최저점수들의 평균(C)을 구하여, 이를 과대편차제외 하한기준점수의 산정 요소로 사용할 수 있다. 이때, 하한기준점수란 심사위원들의 점수 중 하한기준점수를 넘는 점수들은 점수 재산정에서 제외하는 기준이 되는 점수를 의미한다.
종래의 헤드-테일 방식은 가장 높은 점수와 가장 낮은 점수만을 제외한 후 평균을 계산하여, 복수의 심사위원이 점수를 담합하여 부여할 경우, 부당한 평가가 이루어지는 문제가 있다.
실시예는, 이러한 문제점을 방지하고자 심사위원들이 피평가자들에게 부여한 점수를 통해 상한기준과 하한기준점수를 정하여 과다하게 높거나 낮은 점수를 부여하여 친소관계 또는 내부거래로 의심되는 심사위원의 점수를 재산정에서 제외할 수 있다. 이를 통해, 내부거래를 사전에 방지하여, 공정한 심사가 가능해지는 장점이 있다.
좀더 상세히, 상한기준점수와 하한기준점수를 산출하는 과정을 설명한다.
수학식 4는 피평가자들의 과대편차제외 상한기준점수를 산출하는 일례이다.
수학식 4
Figure PCTKR2015003121-appb-M000004
여기서, GH는 상한기준점수, A는 피평가자들의 평균의 평균, B는 피평가자들의 최고점수의 평균 및 D는 피평가자들의 평균이다.
이러한 수학식 4에 의하여, 피평가자들 각각의 과대편차제외 상한기준점수가 산정될 수 있다.
즉, 1번 내지 12번 각각의 상한기준점수를 산출하고, 상한기준점수를 초과한 심사위원의 점수를 제외하여, 심사의 공정성을 확보할 수 있다.
수학식 5는 피평가자들의 과대편차제외 하한기준점수를 산출하는 일례이다.
수학식 5
Figure PCTKR2015003121-appb-M000005
여기서, GL은 하한기준점수, A는 피평가자들의 평균의 평균, C는 피평가자들의 최저점수의 평균 및 D는 피평가자들의 평균이다.
이러한 수학식 5에 의하여, 피평가자들 각각의 과대편차제외 하한기준점수가 산정될 수 있다.
즉, 1번 내지 12번 각각의 하한기준점수를 산출하고, 하한기준점수 미만의 심사위원의 점수를 제외하여, 심사의 공정성을 확보할 수 있다.
따라서, 과대편차제외 기준점수를 통해, 피평가자들의 점수를 재산정할 수 있다. (S504)
표 5를 보면, E1 박스 내에 포함된 심사위원의 점수는 하한기준점수 미만의 심사위원 점수에 해당한다. 또한, E2 박스 내에 포함된 심사위원의 점수는 상한기준점수를 초과한 심사위원 점수에 해당한다.
즉, E1과 E2 박스 내에 포함된 점수들을 제외하고 피평가자들의 점수를 재산정할 수 있다.
이후, 이렇게 재산정된 점수로 최종 평가점수 산출한 후 최종 평가점수로 피평가자들의 순위 산정할 수 있다. (S505, S506)
자세히, E1과 E2 박스 내에 포함된 점수들을 제외하고, 피평가자들의 점수의 평균을 최종 평가점수로 산출할 수 있다.
표 8
구분 편차 적용평균 점수 등위
1번 8.540 5
3번 8.744 2
5번 8.950 1
8번 8.633 3
6번 8.613 4
4번 8.533 6
2번 8.350 9
10번 8.411 8
7번 8.417 7
9번 8.078 10
12번 7.917 11
11번 7.886 12
그리고 표 8과 같이 최종 평가점수로 각 피평가자들의 순위를 매김으로서, 공정하게 피평가자들의 순위를 산정할 수 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 실시예의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 실시예를 한정하는 것이 아니며, 실시예가 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 실시예의 범위에 포함되는 것으로 해석되어야 할 것이다.
실시예에 따른 점수 재산정 방법은 단말기, 서버 등에서 수행될 수 있으므로, 산업상 이용가능성을 만족한다.

Claims (20)

  1. 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계;
    상기 복수의 피평가자들 중 제 1 피평가자에 대해 부여한 상기 복수의 평가위원들의 제 1 평가점수들의 평균과 편차를 산출하는 단계;
    상기 평균 및 편차에 따라서 상기 제 1 평가점수들을 재산정하는 단계;
    상기 재산정된 제 1 평가점수들로부터 상기 제 1 피평가자에 대한 최종 평가점수를 산출하는 단계; 및
    상기 제 1 피평가자에 대해 수행된 최종 평가점수 산출하기까지의 단계들이 상기 제 1 피평가자들을 제외한 나머지 상기 복수의 피평가자들에 대해서도 병렬적으로 수행되는 단계; 를 포함하는 점수 재산정 방법.
  2. 제 1 항에 있어서,
    상기 최종 평가점수로 상기 피평가자들의 순위를 산정하는 단계를 더 포함하는 점수 재산정 방법.
  3. 제 1 항에 있어서,
    상기 편차는 분산의 절대값을 평가점수로 나눈 편차비율인 점수 재산정 방법.
  4. 제 3 항에 있어서,
    상기 평가점수 재산정 단계는,
    기설정된 편차비율 이상을 가지는 평가점수를 제외하고 상기 최종 평가점수를 재산정하는 단계인 점수 재산정 방법.
  5. 제 3 항에 있어서,
    상기 평가점수 재산정 단계는, 상기 편차비율의 범위마다 설정된 가감비율상수를 이용하여 평가점수를 재산정하는 단계인 점수 재산정 방법.
  6. 제 1 항에 있어서,
    상기 복수의 평가위원들이 평가점수를 입력하기 전에, 평가위원임을 확인하는 인증 절차를 수행하는 단계가 더 포함되는 점수 재산정 방법.
  7. 제 1 항에 있어서,
    상기 편차는 분산의 절대값을 평가점수로 나눈 편차비율이고,
    상기 편차비율에 따른 가감비율 값을 이용하여 평가점수를 재산정하는 단계인 점수 재산정 방법.
  8. 제 7 항에 있어서,
    상기 편차비율에 따른 가감비율의 변화율은 일정하거나 증가하는 점수 재산정 방법.
  9. 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계;
    상기 복수의 피평가자들 각각의 평균점수를 산출하는 단계;
    상기 복수의 피평가자들의 최고점수 및 최저점수를 추출하는 단계;
    상기 최고점수들의 평균, 상기 최저점수들의 평균 및 상기 복수의 피평가자들 각각의 평균점수에 따라서 과대편차제외 상한기준점수와 과대편차제외 하한기준점수를 산정하는 단계; 및
    상기 과대편차제외 상한기준점수와 상기 과대편차제외 하한기준점수를 통해 상기 복수의 피평가자들의 점수를 재산정하는 단계;를 포함하는 점수 재산정 방법.
  10. 제 9 항에 있어서,
    상기 최고점수들의 평균과 상기 최저점수들의 평균을 산출하는 단계를 더 포함하는 점수 재산정 방법.
  11. 제 10 항에 있어서,
    상기 복수의 피평가자들의 평균점수의 평균을 산출하는 단계를 더 포함하는 점수 재산정 방법.
  12. 제 11 항에 있어서,
    상기 과대편차제외 상한기준점수는 수학식 4를 통해 산출되는 점수 재산정 방법.
    [수학식 4]
    Figure PCTKR2015003121-appb-I000001
    여기서, GH는 상한기준점수, A는 피평가자들의 평균의 평균, B는 피평가자들의 최고점수의 평균 및 D는 피평가자들의 평균이다.
  13. 제 12 항에 있어서,
    상기 과대편차제외 하한기준점수는 수학식 5를 통해 산출되는 점수 재산정 방법.
    수학식 5
    Figure PCTKR2015003121-appb-I000002
    여기서, GL은 하한기준점수, A는 피평가자들의 평균의 평균, B는 피평가자들의 최고점수의 평균 및 D는 피평가자들의 평균이다.
  14. 제 9 항에 있어서,
    상기 점수를 재산정하는 단계는,
    상기 과대편차제외 상한기준점수를 초과하는 상기 평가위원의 점수와, 상기 과대편차제외 하한기준점수 미만의 상기 평가위원의 점수를 제외하고, 상기 피평가자들의 최종 평가점수를 산출하는 단계인 점수 재산정 방법.
  15. 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 편차를 이용하여 재산정하여 최종 평가점수를 산출하는 서버로서,
    상기 평가점수를 수신하는 서버통신부;
    상기 평가점수를 재산정하고, 상기 최종 평가점수를 산출하기 위한 알고리즘을 저장하는 서버저장부; 및
    상기 알고리즘에 따라서 상기 수신된 평가점수들을 편차를 이용하여 재산정하고, 상기 재산정된 평가점수들의 평균을 최종 평가점수로 산출하는 서버제어부; 를 포함하는 점수 재산정을 수행하는 서버.
  16. 제 15 항에 잇어서,
    상기 서버제어부는
    상기 복수의 피평가자들 중 제 1 피평가자에 대한 제 1 평가점수들의 평균과 편차를 산출하는 단계;
    상기 평균 및 편차에 따라서 상기 제 1 평가점수들을 재산정하는 단계;
    재산정된 제 1 평가점수들로부터 상기 제 1 피평가자에 대한 최종 평가점수를 산출하는 단계; 및
    상기 제 1 피평가자에 대해 수행된 최종 평가점수 산출하기까지의 단계들이 상기 제 1 피평가자들을 제외한 나머지 상기 복수의 피평가자들에 대해서도 병렬적으로 수행되는 단계; 를 통해 상기 최종 평가점수를 산출하는 점수 재산정을 수행하는 서버.
  17. 제 16 항에 있어서,
    상기 편차는 분산의 절대값을 평가점수로 나눈 편차비율인 점수 재산정 방법.
  18. 제 17 항에 있어서,
    상기 평가점수 재산정 단계는,
    기설정된 편차비율 이상을 가지는 상기 평가위원의 평가점수를 제외하고 상기 최종 평가점수를 재산정하는 단계인 점수 재산정 방법.
  19. 제 16 항에 있어서,
    상기 평가점수 재산정 단계는, 상기 편차비율의 범위마다 설정된 가감비율상수를 이용하여 평가점수를 재산정하는 단계인 점수 재산정 방법.
  20. 단말기에서 판독 가능한 기록매체로서,
    상기 단말기가,
    복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계;
    상기 복수의 피평가들 중 제 1 피평가자에 대한 제 1 평가점수들의 평균과 편차를 산출하는 단계;
    상기 평균 및 편차에 따라서 상기 제 1 평가점수들을 재산정하고, 재산정된 제 1 평가점수들로부터 상기 제 1 피평가자에 대한 최종 평가점수를 산출하는 단계;
    상기 제 1 피평가자에 대해 수행된 최종 평가점수 산출하기까지의 단계가 상기 제 1 피평가자들을 제외한 나머지 상기 복수의 피평가자들에 대해서도 병렬적으로 수행되는 단계를 실행시키기 위한 프로그램을 기록한 기록 매체.
PCT/KR2015/003121 2014-04-30 2015-03-30 점수 재산정 방법, 이를 수행하는 서버 및 컴퓨터 판독 가능한 기록매체 WO2015167130A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0052226 2014-04-30
KR20140052226A KR101497274B1 (ko) 2014-04-30 2014-04-30 점수 재산정 방법, 이를 수행하는 서버 및 기록매체
KR1020150024283A KR101969707B1 (ko) 2015-02-17 2015-02-17 점수 재산정 방법과 컴퓨터 판독 가능한 기록 매체
KR10-2015-0024283 2015-02-17

Publications (1)

Publication Number Publication Date
WO2015167130A1 true WO2015167130A1 (ko) 2015-11-05

Family

ID=54358816

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/003121 WO2015167130A1 (ko) 2014-04-30 2015-03-30 점수 재산정 방법, 이를 수행하는 서버 및 컴퓨터 판독 가능한 기록매체

Country Status (1)

Country Link
WO (1) WO2015167130A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327326A (zh) * 2016-08-30 2017-01-11 北京小米移动软件有限公司 信用评级的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196432A (ja) * 2001-12-26 2003-07-11 Fujitsu Ltd 評価支援装置、評価支援方法、及び評価支援プログラム
KR20090131834A (ko) * 2008-06-19 2009-12-30 주식회사마우스닷컴 온라인상에서의 인재 관리 서비스 제공 시스템 및 방법
JP2011134041A (ja) * 2009-12-24 2011-07-07 Rakuten Inc 評価開示システム
KR101085944B1 (ko) * 2008-12-29 2011-12-01 (주)애드크림 온라인 기반 광고 평가 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196432A (ja) * 2001-12-26 2003-07-11 Fujitsu Ltd 評価支援装置、評価支援方法、及び評価支援プログラム
KR20090131834A (ko) * 2008-06-19 2009-12-30 주식회사마우스닷컴 온라인상에서의 인재 관리 서비스 제공 시스템 및 방법
KR101085944B1 (ko) * 2008-12-29 2011-12-01 (주)애드크림 온라인 기반 광고 평가 시스템
JP2011134041A (ja) * 2009-12-24 2011-07-07 Rakuten Inc 評価開示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327326A (zh) * 2016-08-30 2017-01-11 北京小米移动软件有限公司 信用评级的方法及装置

Similar Documents

Publication Publication Date Title
WO2014025186A1 (en) Method for providing message function and electronic device thereof
WO2019156314A1 (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
WO2017074078A1 (en) Method for operating electronic device and electronic device for supporting the same
WO2014084498A2 (ko) 웹사이트와 어플에서의 회원 간 만남주선 시스템
WO2016204466A1 (en) User authentication method and electronic device supporting the same
WO2017039341A1 (en) Display apparatus and control method thereof
WO2014175622A1 (en) Method for displaying and electronic device thereof
WO2015065001A1 (ko) 다양한 캐릭터를 이용하여 리듬 게임 서비스를 제공하기 위한 방법 및 시스템
WO2015072670A1 (en) System and method of sharing profile image card for communication
WO2018082484A1 (zh) 一种电子设备的截屏方法、系统及电子设备
EP3455808A1 (en) Schedule management method and electronic device adapted to the same
WO2016171367A1 (ko) 리타게팅 광고 상품 추천 사용자 장치와 서비스 제공 장치, 그를 포함하는 광고 상품 추천 시스템, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
WO2016143983A1 (en) Method and device for radiating light used to capture iris
WO2019151804A1 (ko) 추천 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
WO2015170832A1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
WO2015182966A1 (en) Method for controlling display and electronic device
WO2017012200A1 (zh) 基于电子诊疗单的诊疗机构识别方法和网络医院平台
WO2017012201A1 (zh) 基于电子诊疗单的科室识别方法和网络医院平台
WO2014038828A1 (en) Method and apparatus for executing application in device
WO2021177695A1 (en) Electronic device for providing transaction information and operating method thereof
WO2018084326A1 (ko) 실시간 상담을 제공하기 위한 방법 및 서버
WO2016039509A1 (ko) 단말기 및 그 동작 방법
WO2018129960A1 (zh) 闪屏处理方法、装置、存储介质及电子设备
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2018129978A1 (zh) 信息处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15786747

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15786747

Country of ref document: EP

Kind code of ref document: A1