KR20180117286A

KR20180117286A - Method and Apparatus for pricing based on machine learning

Info

Publication number: KR20180117286A
Application number: KR1020170050194A
Authority: KR
Inventors: 김현영
Original assignee: (주)마켓디자이너스
Priority date: 2017-04-19
Filing date: 2017-04-19
Publication date: 2018-10-29
Also published as: KR102109583B1

Abstract

A machine learning based price estimation method is provided. A technical problem to be solved by the present invention is to provide a price estimation method that can accurately estimate the value for a product using a machine learning model. A method of estimating a price for a product to be priced is performed by a price estimation apparatus. The method comprises the steps of: constructing a machine learning based evaluation error prediction model by learning evaluation history data of a product for which pricing has been previously performed, wherein the evaluation error prediction model is a model for outputting a prediction evaluation error for each evaluator in response to an input of detailed product information; designating a plurality of evaluators in response to a request to estimate a price for the product to be priced, wherein some of the evaluators are designated based on the prediction evaluation error for each evaluator predicted by the evaluation error prediction model; obtaining an evaluation price for the product to be priced from terminals of the plurality of evaluators; calculating a weight for each evaluator for each of the plurality of evaluators by using a predictor evaluation error of each evaluator for each of the plurality of evaluators; and estimating a final evaluation price for the product to be priced by using the obtained evaluation price and the weight of each evaluator.

Description

TECHNICAL FIELD [0001] The present invention relates to a method and an apparatus for calculating a price based on machine learning,

본 발명은 기계 학습 기반의 가격 산정 방법 및 장치에 관한 것이다. 보다 자세하게는, 기계 학습 모델을 이용하여 가격 산정 대상 상품의 가격을 산정함으로써, 상품 가치 평가의 신뢰성 및 정확성을 향상시키는 가격 산정 방법 및 장치에 관한 것이다.The present invention relates to a machine learning-based pricing method and apparatus. More particularly, the present invention relates to a pricing method and apparatus for improving the reliability and accuracy of a product value evaluation by calculating a price of a pricing target product using a machine learning model.

기계 학습(machine learning)은 인공 지능(artificial intelligence; AI)의 한 분야로, 주어진 데이터 기반으로 컴퓨터가 학습할 수 있도록 하는 알고리즘 또는 기술을 말한다. 컴퓨터 네트워크 기술 및 스토리지 기술의 발달로 대량의 데이터가 축적됨에 따라, 최근 데이터 드리븐(data-driven) 모델링 기법인 기계 학습 기술이 다양한 분야에 접목되어 활용되고 있다.Machine learning is a field of artificial intelligence (AI) that refers to an algorithm or technique that allows a computer to learn on a given data base. As computer network technology and storage technology have developed, a large amount of data has been accumulated. Recently, machine learning technology, which is a data-driven modeling technique, has been used in various fields.

도 1에 도시된 바와 같이, 기계 학습 기술은 데이터 분석 및 예측, 영상 인식, 음성 인식, 자연어 처리, 보안 등 다양한 분야의 기술에 접목되어 해당 분야의 기술 수준을 크게 향상시켰다. 이러한 기술들에 힘입어 자율 주행이 가능한 스마트카(smart car), 인공 지능 로봇(AI robot), 핀테크(fintech), 헬스케어(health care), 전자상거래, 국방 등 광범위한 분야에서 과거에는 구현할 수 없었던 제품과 서비스들이 실용화되고 있다.As shown in FIG. 1, the machine learning technology has been improved to a level of technology in various fields such as data analysis and prediction, image recognition, speech recognition, natural language processing, and security. These technologies can be used in the past in a wide range of fields such as self-propelled smart cars, AI robots, fintech, health care, e-commerce and defense. Products and services that have never existed are being put to practical use.

그러나, 전자상거래 분야에서, 특정 상품의 가격을 산정하기 위한 목적으로 기계 학습 기술이 활용된 예는 없는 실정이다. 또한, 전자 상거래 분야에서 온라인을 통한 정보 습득이 보편화 되었음에도 불구하고, 소비자에게 정확한 가격 정보가 제공되지 못하고 있는 실정이다. 특히, 중고차와 같이 상품의 가치 평가가 어려운 상품의 경우, 현재 실거래 가격 데이터가 제공되지 않고 있으며, 산정된 가격에 대한 소비자의 신뢰성이 매우 낮은 상황이다.However, in the field of e-commerce, there is no example in which machine learning technology is used for the purpose of calculating the price of a specific commodity. Also, in spite of the fact that online information acquisition is common in the field of e-commerce, accurate price information is not provided to consumers. Particularly, in the case of a product such as a used car whose value is difficult to evaluate, the actual transaction price data is not provided at present, and the reliability of the consumer for the calculated price is very low.

따라서, 기계 학습 기술을 활용하여 가격 산정 대상 상품의 가격을 산정함으로써, 상품 가치 평가의 신뢰성 및 정확성을 향상시키는 방법이 요구된다.Therefore, there is a need for a method of improving the reliability and accuracy of the valuation of a commodity by estimating the price of the commodity to be priced using the machine learning technology.

한국공개특허 제10-2013-0000180호 (2013.01.02 공개)Korean Patent Laid-Open No. 10-2013-0000180 (published on Mar. 01, 2013)

본 발명이 해결하고자 하는 기술적 과제는, 기계 학습 모델을 이용하여 상품의 가치를 정확하게 산정할 수 있는 가격 산정 방법을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method of calculating a price of a product using a machine learning model.

본 발명이 해결하고자 하는 다른 기술적 과제는, 가격 산정 대상 상품의 가치를 평가함에 있어서, 일정 수준 이하의 가격 오차를 담보할 수 있는 가격 산정 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a price calculation method that can guarantee a price error below a certain level in evaluating the value of a price calculation target product.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 기계 학습 모델을 이용하여, 복수의 평가자 중에서 가격 산정 대상 상품의 가치 평가에 적합한 최적의 평가자를 지정하는 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a method for designating an optimum evaluator suitable for valuation of a price to be valuated among a plurality of evaluators using a machine learning model.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 기계 학습 모델 및 복수의 평가자에 의해 결정된 평가 가격을 기초로 최종 평가 가격의 정확도를 향상시킬 수 있는 가격 산정 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a pricing method capable of improving the accuracy of a final evaluation price based on a machine learning model and an evaluation price determined by a plurality of evaluators.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 가격 산정 방법은, 가격 산정 장치에 의해 수행되는 가격 산정 대상 상품의 가격 산정 방법에 있어서, 가격 산정이 기 수행된 상품에 대한 평가 이력 데이터를 학습하여 기계 학습 기반의 평가 오차 예측 모델을 구축하되, 상기 평가 오차 예측 모델은 상품 상세 정보의 입력에 응답하여 평가자 별 예측 평가 오차를 출력하는 모델인 것인, 단계, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하되, 상기 복수의 평가자 중 일부의 평가자는 상기 평가 오차 예측 모델에 의해 예측된 평가자 별 예측 평가 오차를 기초로 지정된 것인, 단계, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 단계, 상기 복수의 평가자 각각의 평가자 별 예측 평가 오차를 이용하여, 상기 복수의 평가자 각각에 대한 평가자 별 가중치를 산출하는 단계 및 상기 획득된 평가 가격 및 상기 평가자 별 가중치를 이용하여, 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of calculating a price of a target price to be priced by a price calculation device, the method comprising: Wherein the evaluation error prediction model is a model for outputting a predictor evaluation error for each evaluator in response to input of the product detail information, Wherein a plurality of evaluators are designated in response to a price calculation request for a plurality of evaluators, wherein the evaluator of some of the plurality of evaluators is specified based on the evaluator-by-evaluator evaluation error estimated by the evaluation error prediction model, Obtaining an evaluation price of the product to be priced from the terminal of the evaluator of each of the plurality of evaluators Calculating a weight for each evaluator for each of the plurality of evaluators by using a predictor evaluation error for each evaluator, and calculating a final evaluation price of the price target product using the obtained evaluation price and the weight for each evaluator Step < / RTI >

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 가격 산정 방법은, 가격 산정 장치에 의해 수행되는 가격 산정 대상 상품의 가격 산정 방법에 있어서, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 단계, 상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 단계, 상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 단계, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 단계 및 상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of calculating a price of a target product, the method comprising: Performing a first evaluation process of specifying a plurality of evaluators and obtaining an evaluation price of the pricing target product from the terminals of the plurality of evaluators in response to the first evaluation process, Calculating a first evaluation error with the first evaluation error, designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value, and evaluating a second evaluation Performing an evaluation process on the evaluation price obtained through the first evaluation process and the second evaluation process; Calculating a second evaluation error based on the evaluation value obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold value, And calculating an evaluation price.

일 실시예에서, 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계는, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격과 상기 평가 가격을 결정한 평가자 각각의 예측 평가 오차를 기초로 산출된 평가자 별 가중치를 이용하여, 상기 최종 평가 가격을 산정하는 단계를 포함하되, 상기 평가자 각각의 예측 평가 오차는, 상기 상품 상세 정보를 기계 학습 기반의 평가 오차 예측 모델에 입력하여 예측된, 상기 가격 산정 대상 상품에 대한 평가자 별 평가 오차를 가리키고, 상기 평가 오차 예측 모델은, 기 산정된 상품에 관한 정보 및 상기 기 산정된 상품의 최종 평가 가격과 평가자에 의해 결정된 상기 기 산정된 상품의 평가 가격과의 차이를 가리키는 실제 평가 오차로 구성된 평가자 별 평가 이력 데이터를 학습하여 구축된 모델일 수 있다.In one embodiment, the step of calculating the final valuation price of the pricing target product may include calculating the estimated valuation error of each of the evaluators determining the valuation price and the evaluation price obtained through the first evaluation process and the second evaluation process And estimating the final evaluation price using the weights calculated by the evaluator based on the evaluation values of the evaluator, wherein the prediction evaluation error of each of the evaluators is obtained by inputting the product detail information into the evaluation error prediction model of the machine learning basis Wherein the evaluation error prediction model indicates an evaluation error of each evaluator for the price calculation target product, the evaluation error prediction model includes information on the estimated product, a final evaluation price of the previously calculated product, Evaluator's evaluation history data consisting of the actual evaluation error indicating the difference from the evaluation price is learned Tarred can be a model.

상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 가격 산정 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 오퍼레이션, 상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 오퍼레이션, 상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 오퍼레이션, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 오퍼레이션 및 상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 오퍼레이션을 포함할 수 있다.According to another aspect of the present invention, there is provided a pricing apparatus including at least one processor, a network interface, a memory for loading a computer program executed by the processor, Wherein the computer program further comprises a step of assigning a plurality of evaluators in response to the request for price calculation of the price calculation target product and acquiring an evaluation price of the price calculation target product from the terminals of the plurality of evaluators 1 evaluation process, an operation for calculating a first evaluation error based on the evaluation price obtained through the first evaluation process, a step of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value From the terminal of the additional evaluator, An operation of calculating a second evaluation error based on the evaluation value obtained through the first evaluation process and the second evaluation process and the operation of calculating a second evaluation error by using the second evaluation error, And an operation of calculating a final valuation price of the price-valued product based on the evaluation value obtained through the first evaluation process and the second evaluation process when the price is less than the threshold value.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 가격 산정 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 단계, 상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 단계, 상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 단계, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 단계 및 상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계를 실행시키기 위하여 기록 매체에 저장될 수 있다.According to another aspect of the present invention, there is provided a computer program for a pricing system, the pricing computer program comprising: a computing device for specifying a plurality of evaluators in response to a pricing request for the pricing target product, Calculating a first evaluation error based on an evaluation price obtained through the first evaluation process, performing a first evaluation process of obtaining an evaluation price of the pricing target product from the terminals of the plurality of evaluators, Performing a second evaluation process of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold and acquiring an evaluation price of the product to be priced from the terminal of the additional evaluator; Calculating a second evaluation error based on the process and the evaluation price obtained through the second evaluation process And calculating the final valuation price of the price-valued product based on the evaluation value obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold value And can be stored in a recording medium.

상술한 본 발명에 따르면, 평가 가격 간의 평가 오차를 일정 수준 이하로 보장하기 위해 평가 프로세스가 반복될 수 있다. 이에 따라, 가격 산정 대상 상품의 가격이 정확하게 산정되는 효과가 있다.According to the present invention described above, the evaluation process can be repeated to ensure that the evaluation error between evaluation prices is below a certain level. Thus, there is an effect that the price of the price calculation target product is accurately calculated.

또한, 기 수행된 평가자 별 평가 이력을 기초로 구축된 기계 학습 기반 평가 오차 예측 모델을 이용하여, 가격 산정 대상 상품에 대하여 예측 평가 오차가 낮은 평가자가 상기 가격 산정 대상 상품의 평가자로 지정될 수 있다. 이에 따라, 개별 평가 오차가 감소하고, 평가 프로세스의 반복 또한 최소화되는 바, 신속하고 정확한 가격 산정 서비스가 제공되는 효과가 있다.Further, an evaluator having a lower prediction error in the price calculation target product may be designated as the evaluator of the price calculation target product, using the machine learning based evaluation error prediction model constructed based on the evaluation history of each evaluator performed in the past . As a result, the individual evaluation error is reduced and the repetition of the evaluation process is minimized, so that there is an effect that a quick and accurate pricing service is provided.

또한, 기 산정된 상품에 관한 정보 및 상기 기 산정된 상품의 최종 평가 가격을 기초로 구축된 기계 학습 기반 가격 예측 모델이 평가자로 활용될 수 있다. 이에 따라, 평가자에게 소요되는 인건비, 상품의 가치 평가에 소요되는 시간 비용 등의 제반 비용이 절감되는 효과가 있다.Further, the machine learning based price prediction model built on the basis of the information on the manufactured product and the final evaluation price of the previously calculated product can be utilized as the evaluator. As a result, it is possible to reduce costs such as personnel expenses required for the evaluator and time costs required to evaluate the value of the product.

또한, 평가 오차 예측 모델을 통해 산출된 예측 평가 오차를 기초로 가격 산정 대상 상품에 대한 평가자 별 가중치가 결정될 수 있고, 상기 평가자 별 가중치 및 평가자 별 평가 가격의 가중평균을 통해, 상기 가격 산정 대상 상품의 최종 평가 가격이 책정될 수 있다. 이를 통해, 예측 평가 오차가 낮은 평가자에 의해 결정된 평가 가격이 최종 평가 가격에 많은 영향을 미치게 되는 바, 최종 평가 가격의 정확도가 향상되는 효과가 있다.In addition, a weight for each evaluator can be determined for the pricing target product based on the predictive evaluation error calculated through the evaluation error prediction model, and the weighted average of the evaluator's weight and the evaluator's weighted average, The final evaluation price of the product may be set. As a result, the evaluation price determined by the evaluator having a low prediction error greatly affects the final evaluation price, thereby improving the accuracy of the final evaluation price.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood to those of ordinary skill in the art from the following description.

도 1은 기계 학습 기술이 적용되는 다양한 분야를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가격 산정 시스템의 구성도이다.
도 3은 본 발명의 다른 실시예에 따른 가격 산정 장치의 기능 블록도이다.
도 4는 본 발명의 또 다른 실시예에 가격 산정 장치의 하드웨어 구성도이다.
도 5는 본 발명의 또 다른 실시예에 따른 가격 산정 방법의 순서도이다.
도 6 내지 도 7c는 본 발명의 몇몇 실시예에서 참조될 수 있는, 기계 학습 기반의 평가자 지정 방법을 설명하기 위한 도면이다.
도 8a 내지 도 9b는 본 발명의 몇몇 실시예에서 참조될 수 있는, 기계 학습 기반의 가격 예측 모델이 활용되는 예를 설명하기 위한 도면이다.
도 10은 본 발명의 몇몇 실시예에서 참조될 수 있는, 최종 평가 가격 산정 방법을 설명하기 위한 도면이다.1 is a diagram for explaining various fields to which a machine learning technique is applied.
2 is a configuration diagram of a price calculation system according to an embodiment of the present invention.
3 is a functional block diagram of a pricing apparatus according to another embodiment of the present invention.
4 is a hardware configuration diagram of a pricing apparatus according to another embodiment of the present invention.
5 is a flowchart of a method of calculating a price according to another embodiment of the present invention.
Figs. 6 to 7C are diagrams for describing a machine learning-based evaluator designation method, which can be referred to in some embodiments of the present invention.
Figures 8A-B illustrate examples in which a machine learning based pricing prediction model is utilized, which may be referenced in some embodiments of the present invention.
10 is a diagram for explaining a final evaluation price calculation method, which may be referred to in some embodiments of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise. The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.

이하, 도면들을 참조하여 본 발명의 몇몇 실시예들을 설명한다.Some embodiments of the present invention will now be described with reference to the drawings.

도 2는 본 발명의 일 실시예에 따른 가격 산정 시스템(10)의 구성도이다.2 is a configuration diagram of a price calculation system 10 according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 실시예에 따른 가격 산정 시스템(10)은 가격 산정 서비스를 제공하는 서비스 제공 서버(100, 이하 '가격 산정 장치'로 명명함), 검사자 단말(200) 및 복수의 평가자 단말(300)을 포함할 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다.2, the pricing system 10 according to the present embodiment includes a service providing server 100 (hereinafter referred to as a 'pricing device') that provides a pricing service, a tester terminal 200, and a plurality The evaluator terminal 300 of FIG. However, it should be understood that the present invention is not limited to the above-described embodiments, and that various changes and modifications may be made without departing from the scope of the present invention.

가격 산정 장치(100)는 가격 산정 대상 상품에 대한 가격 산정 서비스를 제공하는 컴퓨팅 장치이다. 상기 가격 산정 대상 상품은 가치 평가의 대상이 되는 상품을 의미한다. 이하의 몇몇 실시예들에서, 상기 가격 산정 대상 상품은 중고차인 경우를 예로 들어 설명할 수 있으나, 상기 가격 산정 대상 상품은 가치 평가가 가능하다면 어떠한 종류의 상품이 되더라도 무방하다.The price calculation device 100 is a computing device that provides a pricing service for a pricing target product. The price calculation target product means a product to be evaluated. In some embodiments below, the pricing target product may be a used car as an example. However, the pricing target product may be any kind of product as long as it is possible to evaluate the value.

상기 컴퓨팅 장치는 예를 들어 데스크탑 등의 고정형 컴퓨팅 장치일 수 있다. 단, 이에 국한되는 것은 아니며 상기 컴퓨팅 장치는 컴퓨팅 기능 및 통신 기능이 구비된 모든 종류의 장치를 포함할 수 있다.The computing device may be a fixed computing device, such as, for example, a desktop. However, the present invention is not limited thereto, and the computing device may include all kinds of devices having a computing function and a communication function.

가격 산정 장치(100)는 사용자 단말(미도시)로부터 수신된 가격 산정 요청에 응답하여, 가격 산정 대상 상품에 대한 평가 프로세스를 수행하고, 최종 평가 가격을 제공하게 된다.In response to the price calculation request received from the user terminal (not shown), the price calculation device 100 performs an evaluation process on the price to be priced and provides a final evaluation price.

일 실시예에서, 사용자 단말(미도시)은 검사자 단말(200)과 별도의 단말로 구성될 수 있다. 이와 같은 경우, 가격 산정 장치(100)는 상기 사용자 단말로부터의 가격 산정 요청에 응답하여, 검사자 단말(200)로 가격 산정 대상 상품에 대한 검사 요청을 송신하고, 검사 결과인 가격 산정 대상 상품의 상품 상세 정보를 수신할 수 있다. 본 실시예에서는, 별도의 검사자(inspector)가 존재하므로 보다 상세하고 전문적인 상품 상세 정보가 수신될 수 있고, 이에 따라 상품 가치 평가의 정확도가 향상될 수 있다. 가격 산정 대상 상품이 중고차와 같이 상품의 외관 또는 사양만으로 가치 평가가 수행되기 어려운 상품의 경우, 본 실시예와 같이 전문적인 검사자를 두는 것이 바람직할 수 있다.In one embodiment, the user terminal (not shown) may be configured as a separate terminal from the tester terminal 200. In this case, the price calculation device 100 transmits an inspection request for the pricing target product to the inspector terminal 200 in response to the pricing request from the user terminal, Detailed information can be received. In this embodiment, since there is a separate inspector, more detailed and more detailed merchandise detail information can be received, and thus the accuracy of the merchandise value evaluation can be improved. In the case of a product whose price calculation target is a product such as a used car whose valuation is difficult to be performed only by the appearance or specification of the product, it may be preferable to provide a professional inspector as in the present embodiment.

다른 실시예에서, 사용자 단말은 검사자 단말(200)은 동일한 단말로 구성될 수 있다. 이와 같은 경우, 가격 산정 장치(100)는 사용자 단말(200)로부터 가격 산정 요청 및 상품 상세 정보를 수신하여, 평가 프로세스를 수행하게 된다. 본 실시예에서는, 사용자가 가격 산정 대상 상품의 상품 상세 정보를 입력하게 되므로, 가격 산정 장치(100)는 정형화된 정보 입력 양식을 제공하는 것이 바람직할 수 있다.In another embodiment, the user terminal may be configured with the same terminal as the tester terminal 200. [ In this case, the price calculation apparatus 100 receives the price calculation request and the product detail information from the user terminal 200, and performs the evaluation process. In this embodiment, since the user inputs the item detail information of the item to be priced, it is preferable that the price calculation apparatus 100 provides a formatted information input form.

몇몇 실시예에서, 상기 상품 상세 정보는 상품의 가치 평가에 영향을 미칠 수 있는 복수의 속성 정보로 구성될 수 있다. 예를 들어, 가격 산정 대상 상품이 중고차인 경우, 복수의 속성 정보는 브랜드, 연식, 주행 거리, 연료 종류, 색상 등을 포함할 수 있다. 또한, 상기 상품 상세 정보는 해당 상품의 스틸 이미지(still image), 영상 이미지 등의 형식을 포함할 수 있으며, 어떠한 형식에 국한되지 않는다.In some embodiments, the product detail information may comprise a plurality of attribute information that may affect the valuation of the product. For example, when the price calculation target product is a used car, the plurality of attribute information may include a brand, a model year, a mileage, a fuel type, a color, and the like. In addition, the product detail information may include a still image of the product, a video image, and the like, and is not limited to any format.

가격 산정 대상 상품의 평가 프로세스를 살펴보면, 가격 산정 장치(100)는 소정의 평가자 지정 알고리즘을 이용하여 평가자를 지정한다. 또한, 가격 산정 장치(100)는 지정된 평가자 단말(300)로 평가 요청을 송신하며, 평가자에 의해 결정된 평가 가격을 수신한다. 이때, 상기 평가 가격은 상품 상세 정보를 기초로 평가자(valuator)에 의해 평가된 상기 가격 산정 대상 상품의 가격을 의미한다. 상기 평가 프로세스에서, 가격 산정 장치(100)가 평가자를 지정하는 방법에 대한 자세한 설명은 도 6 내지 도 7c를 참조하여 후술한다.The price calculation apparatus 100 designates an evaluator using a predetermined evaluator designation algorithm. Further, the price calculation device 100 transmits the evaluation request to the specified evaluator terminal 300, and receives the evaluation price determined by the evaluator. In this case, the evaluation price means a price of the price calculation target product, which is evaluated by a valuator based on the product detail information. A detailed description of how the price calculation apparatus 100 designates the evaluator in the evaluation process will be described later with reference to Figs. 6 to 7C.

본 발명의 실시예에 따르면, 가격 산정 장치(100)는 복수의 평가 가격 간의 평가 오차에 따라 상기 평가 프로세스를 반복하여 수행할 수 있다. 또한, 본 발명의 실시예에 따르면, 가격 산정 장치(100)는 상기 평가 프로세스를 통해 획득된 복수의 평가 가격을 종합적으로 고려하여 최종 평가 가격을 산정할 수 있다. 이와 같은 과정을 통해, 가격 산정 장치(100)는 일정 수준 이하의 평가 오차 및 최종 평가 가격의 정확성을 담보할 수 있다. 이에 대한 자세한 설명은 도 5를 참조하여 후술하도록 한다.According to the embodiment of the present invention, the price calculation apparatus 100 can repeat the evaluation process according to the evaluation error between a plurality of evaluation prices. Further, according to the embodiment of the present invention, the price calculation apparatus 100 can calculate the final evaluation price by comprehensively considering the plurality of evaluation prices obtained through the evaluation process. Through such a process, the price calculation apparatus 100 can guarantee the accuracy of the evaluation error below the certain level and the final evaluation price. A detailed description thereof will be given later with reference to Fig.

본 발명의 몇몇 실시예들에 따르면, 가격 산정 장치(100)는 상품 가치 평가의 신뢰성 및 정확성을 향상시키기 위해 기계 학습 모델을 활용한다.According to some embodiments of the present invention, the pricing device 100 utilizes a machine learning model to improve the reliability and accuracy of the valuation of the commodity value.

일 실시예에서, 가격 산정 장치(100)는 기 산정된 가격 산정 대상 상품에 대한 평가 이력 데이터를 학습하여 구축된 평가 오차 예측 모델을 활용하여 평가자를 지정할 수 있다. 이를 통해, 가격 산정 장치(100)는 해당 상품을 평가하기에 적합한 최적의 평가자를 지정할 수 있고, 보다 정확한 가치 평가가 가능하며, 평가 프로세스의 반복은 최소화될 수 있다. 이에 대한 자세한 설명은 도 6 내지 도 7c를 참조하여 후술한다.In one embodiment, the price calculation apparatus 100 can designate an evaluator by utilizing an evaluation error prediction model constructed by learning evaluation history data on a previously calculated price calculation target product. Thereby, the price calculation apparatus 100 can designate an optimum evaluator suitable for evaluating the product, more accurate value evaluation is possible, and the repetition of the evaluation process can be minimized. A detailed description thereof will be described later with reference to Figs. 6 to 7C.

다른 실시예에서, 가격 산정 장치(100)는 최종 평가 가격 산정을 보다 정확하게 산정하기 위해 상기 평가 오차 예측 모델을 활용할 수 있다. 보다 구체적으로, 가격 산정 장치(100)는 상기 평가 오차 예측 모델의 출력 값인 예측 평가 오차를 이용하여 평가 가격 산정에 이용되는 평가자 별 가중치를 산출하고, 상기 평가자 별 가중치 및 해당 평가자의 평가 가격의 가중 평균(weighted average)을 통해 가격 산정 대상 상품의 최종 평가 가격을 산정할 수 있다. 이때, 상기 평가 오차 예측 모델이 현재 가격 산정 대상 상품에 대하여 예측한 해당 평가자의 평가 오차를 의미한다. 본 실시예에서, 가중 평균을 활용함으로써, 예측 평가 오차가 낮은 평가자의 평가 가격이 최종 평가 가격에 더 많은 영향을 미치도록 할 수 있다. 이에 따라, 가격 산정 대상 상품에 대하여 보다 정확한 가치 평가가 이루어질 수 있다. 이에 대한 자세한 설명은 도 10을 참조하여 후술하도록 한다.In another embodiment, the pricing device 100 may utilize the estimation error prediction model to more accurately estimate the final valuation price. More specifically, the price calculation apparatus 100 calculates a weight for each evaluator used in calculating the evaluation price using the predictive evaluation error, which is an output value of the evaluation error prediction model, and calculates a weight for each evaluator and a weight A weighted average can be used to estimate the final valuation price of the price-rated product. Here, the evaluation error prediction model means an evaluation error of the evaluator predicted for the current price calculation target product. In the present embodiment, by utilizing the weighted average, it is possible to make the valuation price of the evaluator having a low prediction evaluation error more affects the final evaluation price. Accordingly, a more accurate value evaluation can be performed on the price calculation target product. A detailed description thereof will be given later with reference to Fig.

또 다른 실시예에서, 가격 산정 장치(100)는 가격 산정 서비스를 제공함에 따라 축적된 평가 이력 데이터를 학습하여 적어도 하나의 기계 학습 기반의 가격 예측 모델을 구축하고, 상기 가격 예측 모델을 또 하나의 평가자로 활용할 수 있다. 이에 따라, 상품의 가치 평가에 소요되는 평가자의 인건비, 평가에 소요되는 시간 비용 등 가격 산정 서비스를 제공하는데 요구되는 제반 비용을 크게 절감될 수 있다. 이에 대한 자세한 설명은 도 8a 내지 도 9b를 참조하여 후술하도록 한다.In yet another embodiment, the pricing system 100 learns the accumulated evaluation history data by providing the pricing service and constructs at least one machine learning-based pricing prediction model, It can be used as an evaluator. Accordingly, the cost required to provide the pricing service, such as the labor cost of the evaluator and the time required for the evaluation, which are required to evaluate the value of the product, can be greatly reduced. A detailed description thereof will be described later with reference to Figs. 8A to 9B.

검사자 단말(200)은 가격 산정 장치(100)로부터 검사 요청을 수신하고 가격 산정 장치(100)로 상품 상세 정보를 송신하는 검사자의 단말이다. 검사자 단말(200)은 예를 들어 노트북, 스마트폰 등의 모바일 컴퓨팅 장치로 구현될 수 있다. 단, 이에 국한되는 것은 아니며, 연산 수단 및 통신 수단이 구비된 어떠한 종류의 장치로 구현되더라도 무방하다.The inspector terminal 200 is a terminal of the inspector who receives the inspection request from the price calculation device 100 and transmits the product detail information to the price calculation device 100. The inspector terminal 200 may be implemented as a mobile computing device, for example, a notebook computer, a smart phone, or the like. However, the present invention is not limited to this, and it may be implemented by any kind of apparatus equipped with a computing means and a communication means.

평가자 단말(300)은 가격 산정 장치(100)로부터 가격 산정 대상 상품에 대한 평가 요청을 수신하고, 평가자에 의해 입력된 평가 가격을 가격 산정 장치(100)로 송신하는 평가자의 단말이다. 평가자 단말(300)은 복수의 평가자 단말(300a 내지 300c)를 포함할 수 있다. 본 실시예에서, 복수의 평가자 단말(300a 내지 300c) 중 가격 산정 장치(100)에 의해 지정된 평가자의 단말이 평가 프로세스에 참여하게 된다.The evaluator terminal 300 is an evaluator terminal that receives an evaluation request for a price calculation target product from the price calculation device 100 and transmits the evaluation price input by the evaluator to the price calculation device 100. [ The evaluator terminal 300 may include a plurality of evaluator terminals 300a to 300c. In this embodiment, the terminal of the evaluator specified by the price calculation apparatus 100 among the plurality of evaluator terminals 300a to 300c participates in the evaluation process.

평가자 단말(300)은 예를 들어 노트북, 스마트폰 등의 모바일 컴퓨팅 장치로 구현될 수 있다. 단, 이에 국한되는 것은 아니며, 연산 수단 및 통신 수단이 구비된 어떠한 종류의 장치로 구현되더라도 무방하다.The evaluator terminal 300 may be implemented as a mobile computing device, for example, a notebook computer, a smart phone, or the like. However, the present invention is not limited to this, and it may be implemented by any kind of apparatus equipped with a computing means and a communication means.

가격 산정 장치(100), 검사자 단말(200) 및 평가자 단말(300)은 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.The pricing device 100, the tester terminal 200, and the evaluator terminal 300 can communicate through the network. Here, the network may be any kind of wired / wireless network such as a local area network (LAN), a wide area network (WAN), a mobile radio communication network, a wibro Can be implemented.

지금까지 도 2를 참조하여 본 발명의 일 실시예에 따른 가격 산정 시스템(10)에 대하여 설명하였다. 다음으로, 본 발명의 다른 실시예에 따른 가격 산정 장치(100)의 구성 및 동작에 대하여 도 3 내지 도 4를 참조하여 설명한다.The pricing system 10 according to an embodiment of the present invention has been described with reference to FIG. Next, the configuration and operation of the pricing apparatus 100 according to another embodiment of the present invention will be described with reference to Figs. 3 to 4. Fig.

도 3은 본 발명의 또 다른 실시예에 따른 가격 산정 장치(100)의 기능 블록도이다.3 is a functional block diagram of a pricing apparatus 100 according to another embodiment of the present invention.

도 3을 참조하면, 가격 산정 장치(100)는 통신부(110), 평가자 지정부(120), 가격 타당성 검증부(130), 가격 결정부(140), 평가 오차 예측부(150) 및 가격 예측부(160)를 포함할 수 있다. 다만, 도 3에는 본 발명의 실시예와 관련있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.3, the price calculation apparatus 100 includes a communication unit 110, an evaluator designation unit 120, a price validity verification unit 130, a price determination unit 140, an evaluation error prediction unit 150, Unit 160 may be included. 3, only the components related to the embodiment of the present invention are shown. Accordingly, those skilled in the art will recognize that other general-purpose components may be included in addition to those shown in FIG.

각 구성 요소의 동작을 살펴보면, 통신부(110)는 사용자 단말, 검사자 단말(200) 및 평가자 단말(300)과 각종 데이터를 송수신한다. 이를 위해, 통신부(110)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.In operation of each component, the communication unit 110 transmits / receives various data to / from the user terminal, the tester terminal 200, and the evaluator terminal 300. For this, the communication unit 110 may include a communication module well known in the technical field of the present invention.

구체적으로, 통신부(110)는 사용자 단말 또는 검사자 단말로부터 가격 산정 요청, 상품 상세 정보 등을 수신하고, 평가자 단말로부터 가격 산정 대상 상품에 대한 평가 가격을 수신할 수 있다. 또한, 통신부(110)는 검사자 단말로 검사 요청을 송신하고, 평가자 단말로 평가 요청 및 상품 상세 정보를 송신하며, 사용자 단말로 상기 가격 산정 대상 상품에 대한 최종 평가 가격을 송신할 수 있다.Specifically, the communication unit 110 receives a price calculation request, product detail information, and the like from the user terminal or the tester terminal, and receives the evaluation price for the price to be priced from the evaluator terminal. In addition, the communication unit 110 may transmit an inspection request to the inspector terminal, transmit the evaluation request and the product detail information to the evaluator terminal, and transmit the final evaluation price for the price target product to the user terminal.

평가자 지정부(120)는 통신부(110)에 의해 수신된 가격 산정 요청에 응답하여 평가 프로세스를 수행할 평가자를 지정한다. 구체적으로, 평가자 지정부(120)는 랜덤하게 평가자를 지정할 수 있고, 평가 오차 예측부(150)가 제공하는 평가자 별 예측 평가 오차를 이용하여 평가자를 지정할 수도 있다. 또한, 평가 프로세스 별로 복수의 평가자가 지정될 수 있고, 적어도 하나의 평가자가 지정될 수도 있다. 평가자 지정부(120)가 평가자를 지정하는 방법에 대한 자세한 설명은 도 5 내지 도 7c를 참조하여 후술하도록 한다.The evaluator designation unit 120 designates an evaluator to perform the evaluation process in response to the price calculation request received by the communication unit 110. [ Specifically, the evaluator designation unit 120 can designate the evaluator at random and designate the evaluator using the evaluator-specific predictive evaluation error provided by the evaluation error predicting unit 150. [ Further, a plurality of evaluators may be designated for each evaluation process, and at least one evaluator may be designated. A detailed description of how the evaluator designation unit 120 designates the evaluator will be described later with reference to Figs. 5 to 7C.

가격 타당성 검증부(130)는 통신부(110)에 의해 수신된 평가 가격에 대한 검증을 수행한다. 구체적으로, 가격 타당성 검증부(130)는 수신된 평가 가격 중과 가격 산정 대상 상품의 시세 가격의 범위를 비교하여, 상기 시세 가격의 범위에 속하지 않는 평가 가격을 평가 오차 계산 또는 최종 평가 가격 산정에서 제외할 수 있다. 이때, 상기 시세 가격의 범위는 예를 들어 웹 크롤링(web crawling), 기 산정된 가격 산정 대상 상품에 대한 최종 평가 가격 등을 기초로 결정될 수 있다. 단, 적정한 시세 가격을 결정할 수 없는 경우, 해당 과정은 생략될 수도 있다.The price validity verification unit 130 performs verification of the evaluation price received by the communication unit 110. [ Specifically, the price validity verifying unit 130 compares the quoted price of the received evaluation price with the quoted price of the price target product, and excludes the evaluation price not included in the quoted price range from the evaluation error calculation or the final evaluation price calculation can do. At this time, the range of the ticker price may be determined on the basis of, for example, a web crawling, a final evaluation price for the estimated price of the product to be evaluated, and the like. However, if the appropriate quotation price can not be determined, the process may be omitted.

가격 타당성 검증부(130)는 나머지 평가 가격에 대한 평가 오차를 계산한다. 상기 평가 오차는 예를 들어 분산, 표준 편차를 이용하여 계산될 수 있으나, 다른 어떠한 방식이 이용되어도 무방하다. 평가 가격이 두 개인 경우, 가격 타당성 검증부(130)는 평가 가격의 차이로 상기 평가 오차를 계산할 수도 있다.The price validity verification unit 130 calculates an evaluation error for the remaining evaluation price. The evaluation error may be calculated using, for example, the variance and the standard deviation, but any other method may be used. When there are two evaluation prices, the price validity verification unit 130 may calculate the evaluation error by the difference of the evaluation prices.

본 발명의 실시예에 따르면, 가격 타당성 검증부(130)가 계산한 평가 오차에 따라 평가 프로세스가 반복하여 수행될 수 있다. 즉, 상기 평가 오차가 임계 값 이상인 경우, 평가자 지정부(120)는 적어도 하나의 추가 평가자를 지정할 수 있고, 가격 타당성 검증부(130)는 상기 적어도 하나의 추가 평가자의 단말로부터 수신한 평가 가격을 포함하여 평가 오차를 계산할 수 있다. 이와 같은 과정은, 계산된 평가 오차가 상기 임계 값 미만이 될 때까지 등의 조건에 따라 반복 수행될 수 있다. 이에 대한 자세한 설명은 도 5를 참조하여 후술하도록 한다.According to the embodiment of the present invention, the evaluation process can be repeatedly performed according to the evaluation error calculated by the price validity verification unit 130. [ That is, when the evaluation error is equal to or greater than the threshold value, the evaluator identifier designation unit 120 can designate at least one additional evaluator, and the price validity verification unit 130 compares the evaluation price received from the terminal of the at least one additional evaluator Can be used to calculate the evaluation error. Such a process can be repeatedly performed according to conditions such as until the calculated evaluation error becomes less than the threshold value. A detailed description thereof will be given later with reference to Fig.

가격 결정부(140)는 가격 타당성 검증부(130)로부터 획득된 평가 가격을 종합하여 가격 산정 대상 상품에 대한 최종 평가 가격을 결정한다. 상기 최종 평가 가격은 예를 들어 산술 평균, 가중 평균 등의 기법으로 결정될 수 있다. 상기 가중 평균의 가중치는 평가 오차 예측부(150)가 제공한 예측 평가 오차를 기초로 산출될 수 있다. 가격 결정부(140)가 최종 평가 가격을 결정하는 방법에 대한 자세한 설명은 도 10을 참조하여 후술하도록 한다.The price determination unit (140) synthesizes the evaluation prices obtained from the price validity verification unit (130) to determine final evaluation prices for the price calculation target products. The final valuation price may be determined by techniques such as, for example, arithmetic mean, weighted average, and the like. The weights of the weighted averages can be calculated based on the prediction evaluation error provided by the estimation error prediction unit 150. [ A detailed description of how the pricing unit 140 determines the final evaluation price will be described later with reference to FIG.

평가 오차 예측부(150)는 기계 학습 기반의 평가 오차 예측 모델을 구축하고, 상기 평가 오차 예측 모델을 이용하여 평가자 별 예측 평가 오차를 산출한다. 상기 평가자 별 예측 평가 오차는 평가자를 지정하거나, 최종 평가 가격을 산정하는데 활용될 수 있다. 이에 대한 자세한 설명은 도 6 내지 도 7c, 도 10을 참조하여 후술하도록 한다.The evaluation error predicting unit 150 constructs a machine learning based evaluation error prediction model and calculates a predictive evaluation error for each evaluator using the evaluation error prediction model. The evaluator-specific predictive evaluation error may be used to designate an evaluator or to estimate a final evaluation price. A detailed description thereof will be described later with reference to Figs. 6 to 7C and Fig.

가격 예측부(160)는 기계 학습 기반의 가격 예측 모델을 구축하고, 상기 가격 예측 모델을 이용하여 가격 산정 대상 상품에 대한 예측 평가 가격을 산출한다. 본 발명의 실시예에 따르면, 가격 예측부(160)는 서로 다른 기계 학습 알고리즘을 기반으로 하는 복수의 가격 예측 모델을 구축할 수 있고, 각각의 가격 예측 모델이 한 명의 평가자 역할을 수행할 수 있다. 이에 대한 자세한 설명은 도 8a 내지 도 9b를 참조하여 후술하도록 한다.The price predicting unit 160 constructs a machine learning based price prediction model and calculates a predicted evaluation price for the price target product using the price prediction model. According to the embodiment of the present invention, the price prediction unit 160 can construct a plurality of price prediction models based on different machine learning algorithms, and each price prediction model can perform a role of one evaluator . A detailed description thereof will be described later with reference to Figs. 8A to 9B.

도 3의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.Each component in FIG. 3 may refer to software or hardware such as an FPGA (Field Programmable Gate Array) or an ASIC (Application-Specific Integrated Circuit). However, the components are not limited to software or hardware, and may be configured to be addressable storage media, and configured to execute one or more processors. The functions provided in the components may be implemented by a more detailed component, or may be implemented by a single component that performs a specific function by combining a plurality of components.

이하, 도 4를 참조하여 본 발명의 또 다른 실시예에 따른 가격 산정 장치(100)의 하드웨어 구성에 대하여 설명한다.Hereinafter, a hardware configuration of the price calculation apparatus 100 according to another embodiment of the present invention will be described with reference to FIG.

도 4를 참조하면, 가격 산정 장치(100)는 하나 이상의 프로세서(101), 버스(105), 네트워크 인터페이스(107), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 가격 산정 소프트웨어(109a)를 저장하는 스토리지(109)를 포함할 수 있다. 다만, 도 4에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 4에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.4, the pricing apparatus 100 includes at least one processor 101, a bus 105, a network interface 107, a memory 103 for loading a computer program executed by the processor 101 And a storage 109 for storing price calculation software 109a. 4, only the components related to the embodiment of the present invention are shown. Accordingly, those skilled in the art will recognize that other general-purpose components may be included in addition to those shown in FIG.

프로세서(101)는 가격 산정 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 가격 산정 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.The processor 101 controls the overall operation of each configuration of the pricing apparatus 100. [ The processor 101 includes a central processing unit (CPU), a microprocessor unit (MPU), a microcontroller unit (MCU), a graphics processing unit (GPU), or any type of processor well known in the art . The processor 101 may also perform operations on at least one application or program to perform the method according to embodiments of the present invention. The pricing device 100 may include one or more processors.

메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 가격 산정 방법을 실행하기 위하여 스토리지(109)로부터 하나 이상의 프로그램(109a)을 로드할 수 있다. 도 4에서 메모리(103)의 예시로 RAM이 도시되었다.The memory 103 stores various data, commands and / or information. The memory 103 may load one or more programs 109a from the storage 109 to perform the pricing method according to embodiments of the present invention. RAM is shown as an example of the memory 103 in Fig.

버스(105)는 가격 산정 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(105)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The bus 105 provides the inter-component communication function of the pricing device 100. [ The bus 105 may be implemented as various types of buses such as an address bus, a data bus, and a control bus.

네트워크 인터페이스(107)는 가격 산정 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(107)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(107)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.The network interface 107 supports wired / wireless Internet communication of the price calculation device 100. In addition, the network interface 107 may support various communication methods other than Internet communication. To this end, the network interface 107 may comprise a communication module well known in the art.

스토리지(109)는 상기 하나 이상의 프로그램(109a) 및 평가 이력 데이터(109b)를 비임시적으로 저장할 수 있다. 도 4에서 상기 하나 이상의 프로그램(109a)의 예시로 가격 산정 소프트웨어(109a)가 도시되었다.The storage 109 may non-provisionally store the one or more programs 109a and the evaluation history data 109b. In FIG. 4, pricing software 109a is illustrated as an example of one or more programs 109a.

평가 이력 데이터(109b)는 기 산정된 가격 대상 상품에 대한 평가 이력을 의미한다. 평가 이력 데이터(109b)는 평가 오차 예측 모델 및 가격 예측 모델의 학습 데이터셋으로 이용될 수 있다. 구체적으로 평가 이력 데이터(109b)는 기 산정된 가격 대상 상품의 상세 상품 정보, 평가 프로세스 별 평가 오차, 평가자 별 실제 평가 오차, 최종 평가 가격 등을 포함한다. 여기서, 평가 프로세스 별 평가 오차는 각 평가 프로세스 별로 계산된 평가 가격의 분산, 표준 편차 등의 평가 오차를 의미하고, 상기 평가자 별 실제 평가 오차는 최종 평가 가격과 해당 평가자에 의해 결정된 평가 가격과의 차이를 의미한다.The evaluation history data 109b indicates the evaluation history of the estimated price target product. The evaluation history data 109b may be used as a learning data set of the evaluation error prediction model and the price prediction model. Specifically, the evaluation history data 109b includes detailed product information of the estimated price target product, evaluation error of each evaluation process, actual evaluation error of each evaluator, final evaluation price, and the like. Here, the evaluation error according to the evaluation process means an evaluation error such as the variance and standard deviation of the evaluation price calculated for each evaluation process, and the actual evaluation error according to the evaluator is the difference between the final evaluation price and the evaluation price determined by the evaluator .

스토리지(109)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage 109 may be a nonvolatile memory such as ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), flash memory, etc., hard disk, removable disk, And any form of computer-readable recording medium known in the art.

가격 산정 소프트웨어(109a)는 본 발명의 실시예에 따른 가격 산정 방법을 수행할 수 있다. 구체적으로, 가격 산정 소프트웨어(109a)는 메모리(103)에 로드되어, 하나 이상의 프로세서(101)에 의해, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 오퍼레이션, 상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 오퍼레이션, 상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 오퍼레이션, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 오퍼레이션 및 상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 오퍼레이션을 포함할 수 있다. 이외에도, 가격 산정 소프트웨어(109a)는 후술되는 몇몇 실시예들에 따른 방법 또는 동작들을 실행할 수 있다.The price calculation software 109a may perform the price calculation method according to the embodiment of the present invention. More specifically, the price calculation software 109a is loaded into the memory 103 and specifies, by one or more processors 101, a plurality of evaluators in response to a request for price calculation for the price calculation target product, An operation of performing a first evaluation process of obtaining an evaluation price of the product to be priced from the terminal of the evaluator of the first evaluation process, an operation of calculating a first evaluation error based on the evaluation price obtained through the first evaluation process, An operation of performing a second evaluation process of designating at least one additional evaluator when the one evaluation error is equal to or greater than the threshold and acquiring an evaluation price of the product to be priced from the terminal of the additional evaluator; An operation of calculating a second evaluation error based on the evaluation price obtained through the second evaluation process And an operation of calculating a final valuation price of the price-valued product based on the evaluation value obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold value have. In addition, pricing software 109a may perform methods or operations in accordance with some embodiments described below.

지금까지, 도 3 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 가격 산정 장치(100)의 구성 및 동작에 대하여 설명하였다. 이하에서는, 도 5 내지 도 10을 참조하여 본 발명의 또 다른 실시예에 따른 가격 산정 방법에 대하여 상세하게 설명한다.Up to now, the configuration and operation of the price calculation apparatus 100 according to the embodiment of the present invention have been described with reference to FIG. 3 to FIG. Hereinafter, a method of calculating a price according to another embodiment of the present invention will be described in detail with reference to FIGS. 5 to 10. FIG.

본 발명의 실시예에 따른 가격 산정 방법의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 본 발명의 다른 실시예에 따른 가격 산정 장치(100)일 수 있다. 단, 설명의 편의를 위해 상기 가격 산정 방법에 포함되는 각 동작의 주체는 생략될 수 있다. 한편, 가격 산정 방법의 각 단계는 가격 산정 소프트웨어(109a)가 프로세서(101)에 의해 실행됨으로써, 가격 산정 장치(100)에서 수행되는 오퍼레이션으로 구현될 수도 있다.Each step of the pricing method according to an embodiment of the present invention may be performed by a computing device. For example, the computing device may be a pricing device 100 according to another embodiment of the present invention. However, for convenience of explanation, the subject of each operation included in the above-mentioned price calculation method may be omitted. Each step of the price calculation method may be implemented as an operation performed in the price calculation apparatus 100 by executing the price calculation software 109a by the processor 101. [

본 발명의 실시예에 따른 가격 산정 방법은 가격 산정 요청에 응답하여 수행되는 제1 평가 프로세스와 평가 가격의 평가 오차에 따라 수행되는 제2 평가 프로세스를 포함한다. 상기 평가 오차는 한 단계의 평가 프로세스가 종료될 때마다(e.g. 제1 평가 프로세스 종료 후, 첫 번째 제2 평가 프로세스 종료 후, 두 번째 제2 평가 프로세스 종료 후 등) 다시 계산된다. 본 발명의 실시예에 따르면, 상기 제2 평가 프로세스는 상기 평가 오차에 따라 수행되지 않을 수 있고, 여러 번 반복하여 수행될 수도 있다. 제1 평가 프로세스 및 제2 평가 프로세스는 모두 평가자 지정 단계와 평가 가격 획득 단계를 포함하여 구성된다.A method of calculating a price according to an embodiment of the present invention includes a first evaluation process performed in response to a request for price calculation and a second evaluation process performed in accordance with an evaluation error of an evaluation price. The evaluation error is calculated again every time one evaluation process ends (e.g., after the end of the first evaluation process, after the completion of the first evaluation process, after the completion of the second evaluation process, etc.). According to an embodiment of the present invention, the second evaluation process may not be performed according to the evaluation error, and may be performed repeatedly several times. The first evaluation process and the second evaluation process all include an evaluator designation step and an evaluation price acquisition step.

도 5를 참조하여, 본 발명의 실시예에 따른 가격 산정 방법을 보다 구체적으로 설명한다. 도 5는 본 발명의 실시예에 따른 가격 산정 방법의 순서도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.The pricing method according to the embodiment of the present invention will be described in more detail with reference to FIG. 5 is a flowchart of a method of calculating a price according to an embodiment of the present invention. However, it should be understood that the present invention is not limited thereto and that some steps may be added or deleted as needed.

도 5를 참조하면, 가격 산정 장치(100)는 가격 산정 대상 상품에 대한 가격 산정 요청과 상품 상세 정보를 수신한다(S100). 전술한 바와 같이, 일 실시예에서, 상기 가격 산정 요청과 상기 상품 상세 정보는 사용자 단말과 검사자 단말로부터 각각 수신될 수 있다. 다른 실시예에서, 상기 가격 산정 요청과 상기 상품 상세 정보는 모두 사용자 단말로부터 수신된 것일 수 있다.Referring to FIG. 5, the price calculation device 100 receives a price calculation request and product detail information for a price calculation target product (S100). As described above, in one embodiment, the pricing request and the item detail information may be received from the user terminal and the tester terminal, respectively. In another embodiment, both the pricing request and the item detail information may be received from a user terminal.

가격 산정 장치(100)는 상기 가격 산정 요청에 응답하여, 제1 평가 프로세스를 수행한다. 상기 제1 평가 프로세스에서, 가격 산정 장치(100)는 복수의 평가자를 지정하고(S200), 지정된 복수의 평가자의 단말로부터 각각의 평가자에 의해 결정된 평가 가격을 수신한다(S300). 단, 지정된 평가자가 가격 산정 장치(100) 내부에서 동작하는 기계 학습 모델인 경우, 가격 산정 장치(100)는 상기 기계 학습 모델로부터 예측된 평가 가격을 획득하게 된다. 가격 산정을 위해 기계 학습 모델이 활용되는 실시예는 도 8a 내지 도 9b를 참조하여 후술하도록 한다. 또한, 평가자 지정 단계(S200)에 대한 자세한 설명도 도 6 내지 도 7c를 참조하여 후술하도록 한다.The price calculation device 100 performs a first evaluation process in response to the request for price calculation. In the first evaluation process, the price calculation apparatus 100 designates a plurality of evaluators (S200), and receives the evaluation prices determined by the respective evaluators from the terminals of the plurality of evaluators (S300). However, when the designated evaluator is a machine learning model operating in the price calculation apparatus 100, the price calculation apparatus 100 obtains the estimated evaluation price from the machine learning model. An embodiment in which a machine learning model is used for price estimation will be described later with reference to Figs. 8A to 9B. Further, a detailed description of the evaluator designation step (S200) will be described later with reference to Figs. 6 to 7C.

일 실시예에서, 가격 산정 장치(100)는 상기 지정된 복수의 평가자 단말로 딥링크(deep link)가 포함된 푸시 알림 메시지를 송신할 수 있다. 이때, 상기 딥링크는 가격 대상 산정 상품에 관한 정보가 포함된 페이지의 링크를 포함한다. 따라서, 딥링크를 통해 상기 가격 대상 산정 상품에 관한 정보가 평가자 단말에 곧바로 표시될 수 있다. 본 실시예에 따르면, 평가자의 신속한 참여가 유도될 수 있는 바, 가격 산정 서비스가 신속하게 제공될 수 있다.In one embodiment, the price calculation apparatus 100 may transmit a push notification message including a deep link to the specified plurality of the evaluator terminals. At this time, the deep link includes a link of a page including information on a price target estimation product. Thus, information on the price target product can be displayed directly on the evaluator terminal through the deep link. According to the present embodiment, since the quick participation of the evaluator can be induced, the pricing service can be provided quickly.

제1 평가 프로세스가 종료되면, 가격 산정 장치(100)는 제1 평가 프로세스를 통해 획득된 복수의 평가 가격을 기초로 평가 오차를 계산한다(S400). 예를 들어, 상기 평가 오차는 분산 또는 표준 편차를 이용하여 계산될 수 있다. 또 다른 예로, 평가 가격이 2 개인 경우, 상기 평가 오차는 평가 가격의 차이로 계산될 수도 있다. 단, 이에 국한되는 것은 아니며 어떠한 방식으로 계산되어도 무방하다.When the first evaluation process ends, the price calculation apparatus 100 calculates the evaluation error based on the plurality of evaluation prices obtained through the first evaluation process (S400). For example, the evaluation error may be calculated using variance or standard deviation. As another example, when the evaluation price is two, the evaluation error may be calculated as the difference of the evaluation price. However, it is not limited to this and may be calculated in any way.

일 실시예에서, 평가 오차 계산 단계(S400) 이전에, 개별 평가 가격에 대한 타당성 검사(미도시)가 수행될 수 있다. 예를 들어, 상기 타당성 검사는 개별 평가 가격이 웹 크롤링(web crawling) 또는 과거 평가 이력 데이터를 기초로 산출된 가격 산정 대상 상품의 시세 가격 범위(최소 시세 가격 ~ 최대 시세 가격)에 속하는지를 검사하는 방식으로 수행될 수 있다. 또한, 검사 결과, 시세 가격의 범위에 속하지 않는 개별 평가 가격은 단계(S400)의 평가 오차 계산에서 제외될 수 있다. 단, 실시예에 따라, 가격 산정 대상 상품에 대한 신뢰성 있는 시세 가격을 획득할 수 없는 경우라면 상기 타당성 검사는 생략되어도 무방하다.In one embodiment, prior to the evaluation error calculation step (S400), a plausibility check (not shown) for the individual evaluation price may be performed. For example, the validity check may be performed to check whether the individual evaluation price belongs to a quotation price range (minimum quotation price to maximum quotation price) of the price-calculated product calculated based on web crawling or past evaluation history data . &Lt; / RTI > In addition, as a result of the inspection, the individual evaluation price that does not fall within the scope of the quoted price can be excluded from the evaluation error calculation in step S400. However, according to the embodiment, the validity check may be omitted if it is not possible to obtain a reliable quotation price for the price calculation target product.

단계(S400)에서 평가 오차가 계산되면, 가격 산정 장치(100)는 제2 평가 프로세스의 수행 여부를 판단하기 위해 상기 평가 오차와 임계 값을 비교한다(S500). 이때, 상기 임계 값은 기 설정된 고정 값일 수 있고, 가격 산정 대상 상품의 시세에 따라 달라지는 변동 값일 수도 있다.When the evaluation error is calculated in step S400, the price calculation device 100 compares the evaluation error with the threshold value to determine whether to perform the second evaluation process (S500). At this time, the threshold value may be a predetermined fixed value or a fluctuation value depending on the price of the price calculation target product.

비교 결과, 상기 평가 오차가 임계 값 미만인 경우, 가격 산정 장치(100)는 제2 평가 프로세스를 수행하지 않고 최종 평가 가격을 산정한다(S700). 이미 복수의 평가자로부터 신뢰도 높은 평가 가격이 획득된 바, 더 이상의 평가 프로세스를 수행할 필요가 없기 때문이다. 반대의 경우, 가격 산정 장치(100)는 제2 평가 프로세스를 수행하게 된다. 즉, 상기 제2 평가 프로세스는 평가 오차를 줄임으로써 최종 평가 가격의 신뢰도를 높이기 위해 수행되는 평가 프로세스로 이해될 수 있다.If the evaluation error is less than the threshold value, the price calculation apparatus 100 does not perform the second evaluation process and calculates the final evaluation price (S700). Since a reliable evaluation price has been already obtained from a plurality of evaluators, it is not necessary to perform the further evaluation process. In the opposite case, the price calculation apparatus 100 performs the second evaluation process. That is, the second evaluation process can be understood as an evaluation process performed to increase the reliability of the final evaluation price by reducing the evaluation error.

상기 제2 평가 프로세스에서, 가격 산정 장치(100)는 이전에 지정된 평가자를 제외하고 적어도 하나의 추가 평가자를 지정하고, 추가 평가자의 단말로부터 평가 가격을 수신한다(S600). 물론, 상기 추가 평가자가 가격 산정 장치(100) 내부에서 동작하는 기계 학습 모델인 경우, 상기 기계 학습 모델로부터 예측 평가 가격을 획득하게 된다. 이에 대한 자세한 설명은, 도 8a 내지 도 9b를 참조하여 후술한다. 또한, 추가 평가자 지정 단계(S600)에 대한 자세한 설명 또한 도 6 내지 도 7b를 참조하여 후술하도록 한다.In the second evaluation process, the price calculation apparatus 100 designates at least one additional evaluator except for the previously designated evaluator, and receives the evaluation price from the terminal of the additional evaluator (S600). Of course, when the additional evaluator is a machine learning model operating in the price calculation apparatus 100, the predicted evaluation price is obtained from the machine learning model. A detailed description thereof will be described later with reference to Figs. 8A to 9B. A detailed description of the additional evaluator designation step (S600) will also be described later with reference to Figs. 6 to 7B.

제2 평가 프로세스가 종료되면, 가격 산정 장치(100)는 제1 평가 프로세스 및 제2 평가 프로세스를 통해 획득된 복수의 평가 가격을 기초로 평가 오차를 다시 계산한다(S400). 다시 계산된 평가 오차가 임계 값 미만인 경우, 가격 산정 장치(100)는 제1 평가 프로세스 및 제2 평가 프로세스를 통해 획득된 복수의 평가 가격을 기초로 가격 산정 대상 상품에 대한 최종 평가 가격을 산정한다(S700). 최종 평가 가격 산정 단계(S700)에 대한 자세한 설명은 도 10를 참조하여 후술하도록 한다.When the second evaluation process ends, the price calculation apparatus 100 recalculates the evaluation error based on the plurality of evaluation prices obtained through the first evaluation process and the second evaluation process (S400). If the re-calculated evaluation error is less than the threshold value, the price calculation device 100 calculates a final evaluation price for the price calculation target product based on the plurality of evaluation prices obtained through the first evaluation process and the second evaluation process (S700). A detailed description of the final evaluation price calculation step S700 will be described later with reference to FIG.

참고로, 본 발명의 실시예에 따르면, 가격 산정 대상 상품이 중고차인 경우, 상기 중고차의 차량 번호를 이용하여 사고 이력을 조회하고, 상기 조회 결과에 따라, 상기 최종 평가 가격을 조정할 수 있다. 예를 들어, 사고 이력이 있는 중고차인 경우, 상기 최종 평가 가격은 더 낮은 가격으로 조정될 수 있다. 이때, 상기 중고차의 차량 번호는 상품 상세 정보에 포함될 수 있다. 또한, 상기 중고차의 차량 번호가 중고차의 이미지에 포함되어 있는 경우, 상기 중고차의 차량 번호는 컴퓨터 비전 알고리즘을 통해 상기 중고차의 이미지로부터 자동으로 추출될 수 있다.For reference, according to the embodiment of the present invention, when the price calculation target product is a used car, the accident history is inquired using the car number of the used car, and the final valuation price can be adjusted according to the inquiry result. For example, in case of a used car having an accident history, the final evaluation price can be adjusted to a lower price. At this time, the vehicle number of the used car may be included in the product detail information. If the car number of the used car is included in the image of the used car, the car number of the used car may be automatically extracted from the image of the used car through the computer vision algorithm.

가격 산정 장치(100)는 평가 오차가 여전히 임계 값을 초과하는 경우, 제2 평가 프로세스를 한번 더 수행할 수 있다. 즉, 가격 산정 장치(100)는 이전에 지정된 평가자를 제외한 적어도 하나의 추가 평가자를 더 지정하고, 추가 평가자에 의해 결정된 평가 가격을 포함하여 다시 평가 오차를 계산한다. 본 발명의 실시예에 따르면, 상기 제2 평가 프로세스는 소정의 조건을 만족할 때까지 반복하여 수행될 수 있다.The price calculation apparatus 100 may perform the second evaluation process once again if the evaluation error still exceeds the threshold value. That is, the price calculation apparatus 100 further specifies at least one additional evaluator other than the previously designated evaluator, and calculates the evaluation error again including the evaluation price determined by the additional evaluator. According to the embodiment of the present invention, the second evaluation process can be repeatedly performed until a predetermined condition is satisfied.

일 실시예에서, 제2 평가 프로세스는 평가 오차가 임계 값 미만이 될 때까지 반복하여 수행될 수 있다. 본 실시예에 따르면, 임계 값 미만의 오차가 보장되는 바, 최종 산정 가격 또한 일정 수준의 신뢰도 및 정확도가 보장될 수 있다.In one embodiment, the second evaluation process may be performed iteratively until the evaluation error is below the threshold value. According to this embodiment, since an error less than the threshold value is guaranteed, the final estimated price can also be guaranteed to a certain level of reliability and accuracy.

다른 실시예에서, 제2 평가 프로세스는 임계 값 조건 또는 기 설정된 최대 반복 횟수 조건 중 어느 하나의 조건을 만족할 때까지 반복하여 수행할 수 있다. 본 실시예에 따르면, 제2 평가 프로세스가 과도하게 반복 수행되는 것이 방지될 수 있다.In another embodiment, the second evaluation process can be repeatedly performed until the condition of either the threshold condition or the predetermined maximum number of repetition condition is satisfied. According to the present embodiment, it is possible to prevent the second evaluation process from being performed excessively repeatedly.

지금까지, 도 5를 참조하여, 본 발명의 실시예에 따른 가격 산정 방법에 대하여 설명하였다. 상술한 바에 따르면, 가격 산정 장치(100)는 제1 평가 프로세스 외에 제2 평가 프로세스를 추가로 수행하여 평가 오차를 줄일 수 있다. 또한, 상술한 평가 프로세스를 통해 복수의 평가 결과가 반영된 평가 가격을 최종 평가 가격으로 산정하게 된다. 따라서, 가격 산정 대상 상품의 가치가 정확하게 책정되는 효과가 있다.Up to now, the pricing method according to the embodiment of the present invention has been described with reference to Fig. According to the above description, the price calculation apparatus 100 may further perform the second evaluation process in addition to the first evaluation process to reduce the evaluation error. In addition, the evaluation price reflecting the plurality of evaluation results through the above-described evaluation process is calculated as the final evaluation price. Therefore, there is an effect that the value of the price calculation target product is accurately set.

이하, 본 발명의 몇몇 실시예들에 따른 평가자 지정 방법에 대하여 상세하게 설명한다. 후술하는 평가자 지정 방법은 제1 평가 프로세스에 포함된 평가자 지정 단계(S200) 또는 제2 평가 프로세스에 포함된 평가자 지정 단계(S600)에 각각 적용될 수 있다.Hereinafter, an evaluator designation method according to some embodiments of the present invention will be described in detail. The evaluator designation method described later can be applied to the evaluator designation step S200 included in the first evaluation process or to the evaluator designation step S600 included in the second evaluation process, respectively.

일 실시예에 따른 평가자 지정 방법을 설명한다. 본 실시예에서, 가격 산정 장치(100)는 랜덤 지정 알고리즘을 이용하여 평가자를 지정한다. 상기 랜덤 지정 알고리즘이 이용되는 경우, 일부 평가자가 집중적으로 지정되는 경우가 방지될 수 있는 바, 평가자 별로 평가 이력 데이터를 고르게 수집하는데 유용할 수 있다. 본 실시예에 따르면, 상태 비유지(stateless) 방식으로 평가자 지정이 수행되므로, 간이한 구현이 가능하다는 장점이 있다.An evaluator designation method according to an embodiment will be described. In this embodiment, the price calculation apparatus 100 designates the evaluator using a random assignment algorithm. When the random assignment algorithm is used, it is possible to prevent the case where some evaluators are designated intensively, and thus it may be useful to collect the evaluation history data evenly for each evaluator. According to the present embodiment, the evaluator designation is performed in a stateless manner, so that there is an advantage that a simple implementation is possible.

다른 실시예에 따른 평가자 지정 방법을 설명한다. 본 실시예에서, 가격 산정 장치(100)는 기계 학습 기반 제1 지정 알고리즘을 이용하여 평가자를 지정한다. 상기 기계 학습 기반 제1 지정 알고리즘은 평가 이력 데이터를 기초로 학습된 제1 평가 오차 예측 모델을 이용하는 알고리즘이다. 예를 들어, 도 6에 도시된 바와 같이 가격 산정 장치(100)는 제1 평가 오차 예측 모델에 의해 산출된 예측 평가 오차가 낮은 n명(단, n은 1이상의 자연수)의 평가자를 지정할 수 있다(S210. S220).An evaluator designation method according to another embodiment will be described. In this embodiment, the price calculation apparatus 100 specifies an evaluator using a machine learning-based first designation algorithm. The machine learning based first designation algorithm is an algorithm that uses the first evaluation error prediction model learned based on the evaluation history data. For example, as shown in FIG. 6, the price calculation apparatus 100 may designate an evaluator of n (n is a natural number of 1 or more) evaluators with low predictive evaluation errors calculated by the first evaluation error prediction model (S210, S220).

상기 제1 평가 오차 예측 모델은 평가자 별로 가격 산정 대상 상품에 대한 예측 평가 오차를 출력하는 기계 학습 모델이다. 본 실시예에서, 상기 제1 평가 오차 예측 모델은 예를 들어 (상품, 실제 평가 오차)로 구성된 평가 이력 데이터를 학습함으로써 평가자 별로 구축될 수 있다. 여기서, 실제 평가 오차는 평가자의 평가 가격과 최종 평가 가격의 차이를 의미할 수 있다. 예를 들어, '평가자 A'의 평가 이력에서 '중고차'에 대하여 실제 평가 오차가 작게 나타난 경우, 이를 학습한 제1 평가 오차 예측 모델은 가격 산정 대상 상품이 '중고차'인 경우 '평가자 A'의 예측 평가 오차를 낮은 값으로 출력하게 된다.The first evaluation error prediction model is a machine learning model for outputting a prediction evaluation error for a pricing target product for each evaluator. In the present embodiment, the first evaluation error prediction model can be constructed for each evaluator by learning evaluation history data composed of (product, actual evaluation error), for example. Here, the actual evaluation error may mean the difference between the evaluation price of the evaluator and the final evaluation price. For example, when the actual evaluation error is small for the 'used car' in the evaluation history of the 'evaluator A', the first estimation error prediction model that has learned the evaluation results is that the evaluator A ' The prediction evaluation error is output at a low value.

본 실시예에 따르면, 상기 기계 학습 기반 제1 지정 알고리즘은 상기 랜덤 지정 알고리즘과 달리 예측 평가 오차를 관리하므로 상태 유지(stateful) 방식으로 동작한다. 따라서, 상기 기계 학습 기반 제1 지정 알고리즘을 이용하는 경우 상기 랜덤 지정 알고리즘에 비해 컴퓨팅 비용 및 저장 비용이 더 소요될 수 있으나, 개별 평가 가격의 정확도는 향상될 수 있다. 또한, 상기 개별 평가 가격의 정확도 향상에 따라 제2 평가 프로세스의 반복 횟수가 줄어들게 되므로, 신속하게 가격 산정 서비스게 제공되는 효과가 있다.According to the present embodiment, the machine learning based first specification algorithm operates in a stateful manner because it manages prediction error of prediction, unlike the random assignment algorithm. Therefore, when the machine learning based first designation algorithm is used, the computation cost and the storage cost may be increased as compared with the random assignment algorithm, but the accuracy of the individual evaluation price can be improved. In addition, since the number of repetitions of the second evaluation process is reduced as the accuracy of the individual evaluation price is improved, there is an effect that the price estimation service can be provided quickly.

또 다른 실시예에 따른 평가자 지정 방법을 설명한다. 본 실시예에서, 가격 산정 장치(100)는 기계 학습 기반 제2 지정 알고리즘을 이용하여 평가자를 지정한다. 상기 기계 학습 기반 제2 지정 알고리즘은 평가 이력 데이터를 기초로 학습된 제2 평가 오차 예측 모델을 이용하는 알고리즘이다. 예를 들어, 도 6에 도시된 바와 같이 가격 산정 장치(100)는 제2 평가 오차 예측 모델에 의해 예측된 예측 평가 오차가 낮은 n명(단, n은 1이상의 자연수)의 평가자를 지정할 수 있다(S210. S220).The evaluator designation method according to another embodiment will be described. In this embodiment, the price calculation apparatus 100 designates the evaluator using a machine learning-based second designation algorithm. The machine learning based second designation algorithm is an algorithm that uses a second evaluation error prediction model learned based on the evaluation history data. For example, as shown in FIG. 6, the price calculation apparatus 100 can designate n evaluators (n is a natural number equal to or greater than 1) having low predictive evaluation errors predicted by the second evaluation error prediction model (S210, S220).

상기 제2 평가 오차 예측 모델은 예를 들어 (속성 a₁, 속성 a₂, ... , 속성 a_n, 실제 평가 오차)로 구성된 평가 이력 데이터를 학습함으로써 평가자 별로 구축될 수 있다. 여기서, 속성 a₁ 내지 속성 a_n은 상품 A에 대한 속성들로 상품 상세 정보를 구성하는 데이터를 의미한다. 즉, 상기 제2 평가 오차 예측 모델은 상기 제1 평가 오차 예측 모델보다 세분화된 정보인 상품 상세 정보를 학습한 기계 학습 모델로 이해될 수 있다. 상기 제2 평가 오차 예측 모델은 상품 상세 정보가 입력되면 평가자 별로 예측 평가 오차를 출력할 수 있다. 예를 들어, '평가자 A'의 평가 이력에서 연식이 '2010년 ~ 2012년', 주행 거리가 '5만km ~ 10만 km'인 중고차에 대하여 실제 평가 오차가 작게 나타난 경우, 이를 학습한 제2 평가 오차 예측 모델은 가격 산정 대상 상품이 연식 '2011년', 주행 거리 '5만km'인 중고차인 경우 '평가자 A'의 예측 평가 오차를 낮은 값으로 출력하게 된다.The second evaluation error prediction model can be constructed for each evaluator by learning evaluation history data composed of (attribute a ₁ , attribute a ₂ , ..., attribute a _n , actual evaluation error), for example. Here, the attributes a ₁ to a _n denote data constituting the product detail information with the attributes for the product A. That is, the second evaluation error prediction model can be understood as a machine learning model that learns product detail information that is information subdivided from the first evaluation error prediction model. The second evaluation error prediction model can output a prediction evaluation error for each evaluator when the detailed product information is input. For example, if the evaluation results of 'Evaluator A' show that the evaluation error is small for the used car whose year is '2010 ~ 2012' and the mileage is 50,000 ~ 100,000 km, 2 evaluation error prediction model outputs the predictive evaluation error of 'Evaluator A' as a low value when the price target product is a used car having a year 2011 and a mileage 50,000 km.

본 실시예에 따르면, 상기 기계 학습 기반 제2 지정 알고리즘 또한 상태 유지(stateful) 방식으로 동작한다. 단, 상기 기계 학습 기반 제2 지정 알고리즘은 상기 기계 학습 기반 제1 지정 알고리즘과 비교하여 학습 데이터의 차원이 크게 증가했기 때문에, 컴퓨팅 비용 및 저장 비용이 더욱 많이 요구될 수 있다. 물론, 개별 평가 가격의 정확도는 더욱 향상될 수 있다.According to this embodiment, the machine learning based second designation algorithm also operates in a stateful manner. However, since the machine learning based second designation algorithm greatly increases the dimension of the learning data as compared with the machine learning based first designation algorithm, the computation cost and the storage cost can be more demanded. Of course, the accuracy of the individual evaluation price can be further improved.

참고로, 기계 학습 분야의 당업자라면 학습 데이터의 차원이 높은 경우 차원의 저주(curse of dimensionality) 문제가 발생할 수 있다는 사실을 인지할 것이다. 따라서, 실시예에 따라 상기 제2 평가 오차 예측 모델을 구축하기 전에 당해 기술 분야에서 널리 알려진 차원 감소 알고리즘이 수행될 수 있다. 예를 들어 가격 산정 장치(100)는 주성분 분석(principal component analysis; PCA)을 통해 평가 이력 데이터의 차원을 감소시키고, 차원이 감소된 학습 데이터를 학습하는 방식으로 제2 평가 오차 예측 모델을 구축할 수 있다.For reference, those skilled in the art of machine learning will recognize that a high level of learning data can cause a curse of dimensionality problem. Therefore, a dimension reduction algorithm that is well known in the art can be performed before building the second evaluation error prediction model according to the embodiment. For example, the price calculation apparatus 100 may reduce the dimension of the evaluation history data through principal component analysis (PCA) and construct a second evaluation error prediction model by learning the reduced learning data .

상술한 상기 제1 평가 지수 예측 모델 및 제2 평가 오차 예측 모델은 어떠한 기계 학습 모델로 구현되어도 무방하다. 실시예에 따라, 가격 산정 장치(100)는 k-접합 교차 검증 기법(k-fold cross validation)을 통해 평가자 별로 성능이 우수한 기계 학습 모델을 선정하여 상기 제1 평가 오차 예측 모델 및 상기 제2 평가 오차 예측 모델을 구축할 수도 있을 것이다.The first evaluation index prediction model and the second evaluation error prediction model described above may be implemented by any machine learning model. According to the embodiment, the price calculation apparatus 100 selects a machine learning model having excellent performance for each evaluator through a k-fold cross validation, and calculates the first evaluation error prediction model and the second evaluation evaluation model An error prediction model may be constructed.

한편, 본 발명의 일 실시예에 따르면, 평가 프로세스 별로 적어도 일부는 서로 다른 지정 알고리즘이 적용될 수 있다. 예를 들어, 제1 평가 프로세스의 평가자 지정 단계(S200)에는 랜덤 지정 알고리즘이 적용되고, 제2 평가 프로세스의 평가자 지정 단계(S600)에는 기계 학습 기반 제1 지정 알고리즘 및 기계 학습 기반 제2 지정 알고리즘(이하, 통칭하는 경우 '기계 학습 기반 지정 알고리즘'으로 명명함)적용될 수 있다. 본 실시예에 따르면, 랜덤 지정 알고리즘을 통해 평가자 별로 균일하게 분포된 평가 이력 데이터가 수집될 수 있다. 수집된 평가 이력 데이터는 평가 오차 예측 모델 등의 기계 학습 모델을 구축하는데 이용될 수 있다. 또한, 본 실시예에 따르면, 기계 학습 기반 지정 알고리즘에서 예측 평가 오차가 고려된다. 이에 따라, 제2 평가 프로세스의 반복이 최소화될 수 있다.According to an embodiment of the present invention, at least some different assignment algorithms may be applied to each evaluation process. For example, a random assignment algorithm is applied to an evaluator designation step (S200) of the first evaluation process, and an evaluator designation step (S600) of the second evaluation process includes a machine learning based first designating algorithm and a machine learning based second designating algorithm (Hereinafter collectively referred to as a " machine learning basis designation algorithm "). According to the present embodiment, the evaluation history data uniformly distributed by the evaluator can be collected through the random assignment algorithm. The collected evaluation history data can be used to build a machine learning model such as an evaluation error prediction model. Further, according to the present embodiment, a prediction evaluation error is considered in the machine learning based designation algorithm. Thus, the repetition of the second evaluation process can be minimized.

본 발명의 다른 실시예에 따르면, 평가 프로세스 중 k 번째(단, k는 1 이상의 자연수) 평가 프로세스를 통해 산출된 제1 평가 오차와 k+1 번째 평가 프로세스를 통해 산출된 제2 평가 오차의 비교 결과를 토대로 지정 알고리즘이 변경될 수 있다. 예를 들어, 제2 평가 오차가 제1 평가 오차보다 크고, k+1 번째 평가 프로세스에서 랜덤 지정 알고리즘 또는 기계 학습 기반 제1 지정 알고리즘이 적용된 경우, k+2 번째 평가 프로세스에서는 기계 학습 기반 제1 지정 알고리즘 또는 기계 학습 기반 제2 지정 알고리즘이 적용될 수 있다. 이를 통해, 제2 평가 프로세스의 과도한 반복이 방지될 수 있다.According to another embodiment of the present invention, a comparison is made between the first evaluation error calculated through the k-th evaluation process (k is a natural number equal to or greater than 1) and the second evaluation error calculated through the (k + 1) The assignment algorithm can be changed based on the result. For example, when the second evaluation error is larger than the first evaluation error and the random assignment algorithm or the machine learning based first assignment algorithm is applied in the (k + 1) th evaluation process, the k + A designation algorithm or a machine learning-based second designation algorithm may be applied. Through this, excessive repetition of the second evaluation process can be prevented.

지금까지, 본 발명의 몇몇 실시예들에 따른 평가자 지정 방법에 대하여 설명하였다. 이하, 도 7a 내지 도 7c를 참조하여, 복수의 지정 알고리즘을 운영하는 본 발명의 몇몇 실시예들에 대하여 설명한다.Up to now, an evaluator designation method according to some embodiments of the present invention has been described. Hereinafter, referring to Figs. 7A to 7C, some embodiments of the present invention for operating a plurality of assignment algorithms will be described.

전술한 본 발명의 몇몇 실시예들에 따르면, 기계 학습 기반 지정 알고리즘은 기계 학습 기반의 평가 오차 예측 모델을 기초로 동작하는 알고리즘이다. 즉, 기계 학습 기반 지정 알고리즘을 이용하기 위해서는 평가 오차 예측 모델의 학습이 선행되어야 한다. 그러나, 가격 산정 서비스를 제공하는 초기에는 축적된 평가 이력 데이터가 많지 않으므로, 일정량의 평가 이력 데이터가 축적되기 전까지는 상기 기계 학습 기반의 지정 알고리즘이 활용되기 어렵다.According to some embodiments of the present invention described above, the machine learning based designation algorithm is an algorithm that operates based on a machine learning based evaluation error prediction model. In other words, in order to use the machine learning-based designation algorithm, learning of the evaluation error prediction model should be preceded. However, since there are not many accumulated evaluation history data at the beginning of providing the pricing service, the above-mentioned machine learning-based designation algorithm is difficult to be utilized until a certain amount of evaluation history data is accumulated.

따라서, 본 발명의 실시예에 따르면, 가격 산정 장치(100)는 도 7a에 도시된 바와 같이 랜덤 지정 알고리즘 및 기계 학습 기반 지정 알고리즘을 운영할 수 있다. 도 7a에 도시된 그래프에서, x축은 시간을 나타내고, y축은 점유 비율을 나타낸다. 즉, 그래프의 상단은 복수의 지정된 평가자 중에서 랜덤 지정 알고리즘에 의해 지정된 평가자의 점유 비율이고, 그래프의 하단은 복수의 지정된 평가자 중에서 기계 학습 기반 지정 알고리즘에 의해 지정된 평가자의 점유 비율을 의미한다. 이하, 도 7a를 참조하여 설명한다.Therefore, according to the embodiment of the present invention, the price calculation apparatus 100 can operate a random assignment algorithm and a machine learning based assignment algorithm as shown in FIG. 7A. In the graph shown in Fig. 7A, the x-axis represents time and the y-axis represents occupancy rate. That is, the top of the graph is the occupancy rate of the evaluator designated by the random assignment algorithm among a plurality of designated evaluators, and the bottom of the graph represents the occupancy rate of the evaluator specified by the machine learning based designation algorithm among a plurality of designated evaluators. Hereinafter, a description will be given with reference to FIG.

본 실시예에서, 가격 산정 장치(100)는 제1 시점(T₁)까지 랜덤 지정 알고리즘을 이용하여 평가자를 지정한다. 즉, 제1 시점(T₁)까지의 기간은 랜덤 지정을 통해 평가 이력 데이터를 축적하는 기간으로 이해될 수 있다. 제1 시점(T₁)이후부터, 가격 산정 장치(100)는 랜덤 지정 알고리즘과 기계 학습 기반 지정 알고리즘을 혼용하여 평가자를 지정할 수 있다. 단, 평가 이력 데이터가 축적될수록, 평가 오차 예측 모델의 정확도는 향상될 것이므로, 제2 시점(T₂)까지, 가격 산정 장치(100)는 기계 학습 기반 지정 알고리즘의 점유 비율을 점차 늘려갈 수 있다.In this embodiment, the price calculation apparatus 100 designates the evaluator using a random assignment algorithm up to the first time point T ₁ . That is, the period up to the first time point T ₁ can be understood as a period for accumulating the evaluation history data through random designation. After the first time point T ₁ , the price calculation apparatus 100 can designate the evaluator by intermingling the random assignment algorithm and the machine learning based assignment algorithm. However, as the evaluation history data accumulates, the accuracy of the evaluation error prediction model will be improved, so that until the second time point T ₂ , the price calculation apparatus 100 can gradually increase the occupation rate of the machine learning basis designation algorithm.

본 실시예에서, 제2 시점(T₂) 이후에도, 가격 산정 장치(100)는 소정의 점유 비율로 랜덤 지정 알고리즘을 이용한다. 기계 학습 기반 지정 알고리즘만을 이용하는 경우 예측 평가 오차가 낮은 일부 평가자만이 지정되게 되는 바, 일부 평가자에게 편중된 평가 이력 데이터가 생성되기 때문이다. 따라서, 가격 산정 장치(100)는 제2 시점(T₂) 이후에도, 랜덤 지정 알고리즘을 일정 비율로 이용함으로써 편중된 평가 이력 데이터가 생성되는 것을 방지하고, 예측 평가 오차가 높은 평가자에게는 예측 평가 오차를 향상시킬 기회를 부여할 수 있다. 아울러, 전술한 바에 따르면 복수의 평가 가격을 기초로 최종 평가 가격을 산정하는 바, 랜덤 지정된 평가자의 평가 가격에 다소 오차가 있더라도 최종 평가 가격의 신뢰도 저하에 큰 영향을 미치지 않는다.In the present embodiment, even after the second time point T ₂ , the price calculation apparatus 100 uses a random assignment algorithm with a predetermined occupation ratio. When only the machine learning-based designation algorithm is used, only some evaluators having a low prediction error are designated, and biased evaluation history data is generated for some evaluators. Therefore, the price calculation apparatus 100 can prevent the biased evaluation history data from being generated by using the random assignment algorithm at a certain rate even after the second time point T ₂ , and to provide the predictive evaluation error to the evaluator with a high prediction error It is possible to give opportunities to improve. In addition, according to the above description, since the final evaluation price is calculated based on the plurality of evaluation prices, even if there is some error in the evaluation price of the randomly designated evaluator, the reliability of the final evaluation price is not greatly affected.

본 실시예에서, 가격 산정 장치(100)는 평가 오차 예측 모델의 평균 오차 또는 학습 데이터인 평가자 별 평가 이력 데이터 개수의 평균 및 분산 중 적어도 하나를 기초로 기계 학습 기반 지정 알고리즘의 점유 비율을 조정할 수 있다. 상기 평균 오차는 예를 들어 k-접합 교차 검증 기법을 통해 산출될 수 있고, 가격 산정 장치(100)는 상기 평균 오차가 낮을수록 기계 학습 기반 지정 알고리즘의 점유 비율을 증가시킬 수 있다.In this embodiment, the price calculation apparatus 100 can adjust the occupancy rate of the machine learning based specifying algorithm based on at least one of the average error and the average of the evaluation error prediction model or the evaluation server have. The average error may be calculated, for example, by a k-junction cross validation technique, and the price calculation apparatus 100 may increase the occupancy rate of the machine learning based designation algorithm as the average error is low.

또한, 가격 산정 장치(100)는 평가자 별 학습 데이터 개수(#)의 평균이 크고, 분산이 작을수록 기계 학습 기반 지정 알고리즘의 점유 비율을 증가시킬 수 있다. 예를 들어, 도 7b 및 도 7c에 도시된 그래프를 비교하면, 도 7b에 도시된 그래프가 평가자 별 학습 데이터 개수의 평균이 높고, 분산이 작은 경우를 나타내는 것을 알 수 있다. 즉, 평가자 별 학습 데이터 개수의 평균이 높고, 분산이 작다는 것은 평가자 별로 학습 데이터가 고르게 분포되어 있고, 학습 데이터의 양이 많다는 것을 의미한다. 고른 분포를 갖는 다수의 학습 데이터를 학습한 기계 학습 모델은 일반적으로 예측의 정확도가 높으므로, 본 실시예에서 가격 산정 장치(100)는 이를 통해 기계) 학습 기반 지정 알고리즘의 점유 비율을 조정할 수 있다.In addition, the price calculation apparatus 100 can increase the occupancy rate of the machine learning based designation algorithm as the average of the number of learning data # (#) per evaluator is larger and the variance is smaller. For example, by comparing the graphs shown in Figs. 7B and 7C, it can be seen that the graph shown in Fig. 7B shows a case where the average of the number of pieces of learning data per evaluator is high and the variance is small. That is, the fact that the average of the number of learning data per evaluator is high and the variance is small means that the learning data is distributed evenly for each evaluator and the amount of learning data is large. Since the accuracy of prediction is generally high in a machine learning model that has learned a large number of learning data having an even distribution, the price calculation apparatus 100 can adjust the occupancy rate of the machine learning based designation algorithm .

지금까지, 도 6 내지 도 7b를 참조하여, 기계 학습 기반 평가 오차 예측 모델을 활용한 평가자 지정 알고리즘에 대한 몇몇 실시예에 대하여 설명하였다. 이하에서는, 평가자 지정을 위해 활용된 평가 오차 예측 모델 외에 또 다른 기계 학습 모델을 활용하는 몇몇 실시예들에 대하여 도 8a 내지 도 9b를 참조하여 설명한다. 이하의 명세서에서, 이해의 편의를 제공하기 위해 '제1 평가자'는 기계 학습 모델이 아닌 평가자, '제2 평가자'는 가격 예측 모델로 구현된 평가자라는 의미로 사용한다. 또한, 평가자는 상기 제1 평가자 및 상기 제2 평가자를 포함하는 의미로 사용하고, 평가자 지정 알고리즘에 의해 지정된 평가자는 평가 프로세스에 참여하는 평가자라는 의미에서 '참여 평가자'라는 용어를 사용하도록 한다.Up to now, with reference to Figs. 6 to 7B, some embodiments of an evaluator designation algorithm utilizing a machine learning based evaluation error prediction model have been described. In the following, some embodiments that utilize another machine learning model in addition to the evaluation error prediction model utilized for evaluator designation will be described with reference to Figs. 8A to 9B. In the following description, the 'first evaluator' is used as an evaluator, not the machine learning model, and the 'second evaluator' is used as an evaluator implemented as a price prediction model. Also, the evaluator uses the meaning including the first evaluator and the second evaluator, and the evaluator specified by the evaluator designation algorithm uses the term " participant evaluator " in the sense of the evaluator participating in the evaluation process.

몇몇 실시예에서, 도 8a에 도시된 바와 같이 가격 산정 장치(100)는 기계 학습 기반의 가격 예측 모델을 평가자로 이용하여 최종 평가 가격을 산정할 수 있다. 상기 가격 예측 모델은 예를 들어 (속성 a₁, 속성 a₂, ... , 속성 a_n, 최종 평가 가격)로 구성된 상품 별 평가 이력 데이터를 학습함으로써 상품 별로 구축될 수 있다. 상기 가격 예측 모델은 어떠한 기계 학습 모델로 구현되어도 무방하다. 실시예에 따라, 가격 산정 장치(100)는 k-접합 교차 검증 기법(k-fold cross validation)을 통해 상품 별로 서로 다른 기계 학습 기반의 가격 예측 모델 중에서 성능이 우수한 모델을 선정하는 방식으로 상기 가격 예측 모델을 구축할 수도 있을 것이다.In some embodiments, as shown in FIG. 8A, the price calculation device 100 may use a machine learning-based price prediction model as an evaluator to estimate a final evaluation price. The price prediction model can be constructed for each product by learning product-specific evaluation history data composed of (attribute a ₁ , attribute a ₂ , ..., attribute a _n , final evaluation price), for example. The price prediction model may be implemented by any machine learning model. According to the embodiment, the price calculation apparatus 100 selects a model having superior performance among different machine learning-based price prediction models for each product through k-fold cross validation, You can build a predictive model.

일 실시예에서, 도 8b에 도시된 바와 같이 n명(단, n은 2 이상의 자연수)의 참여 평가자를 지정하는 경우, 가격 산정 장치(100)는 제1 평가자 중에서 n-k명(단, k는 n보다 작은 자연수)의 참여 평가자를 지정하고(S230), 제2 평가자 중에서 나머지 k명의 참여 평가자를 지정할 수 있다(S240). 이때, 참여 평가자로 지정된 k명의 제2 평가자는 예를 들어 서로 다른 기계 학습 모델에 기반한 것일 수 있다. 본 실시예에서, 상기 k의 값은 기 설정된 고정 값일 수 있고, 가격 예측 모델의 평균 오차 등에 따라 달라지는 변동 값일 수도 있다. 즉, 실시예에 따라, k는 평균 오차가 임계 값 이하인 가격 예측 모델의 개수를 의미할 수 있고, 가격 예측 모델의 학습이 성숙되어 평균 오차가 줄어들수록 상기 k의 값은 증가될 수 있다.In one embodiment, when assigning n participants (where n is a natural number of 2 or more) as shown in FIG. 8B, the price calculation apparatus 100 calculates nk names (where k is n (S230), and the participating evaluators of the remaining k of the second evaluators may be designated (S240). At this time, the k second evaluators designated as participant evaluators may be based, for example, on different machine learning models. In the present embodiment, the value of k may be a predetermined fixed value, or may be a fluctuation value that varies depending on an average error of the price prediction model or the like. That is, according to the embodiment, k may mean the number of price prediction models whose mean error is less than or equal to the threshold value, and the value of k may increase as the learning of the price prediction model matures and the average error decreases.

다른 실시예에서, 제2 평가자 각각에 대해서 평가 오차 예측 모델이 제1 평가자와 동일하게 구축될 수 있다. 본 실시예에서, 가격 산정 장치(100)는 도 8a에 도시된 평가자 풀 내의 제1 평가자 및 제2 평가자 중에서 예측 평가 오차가 낮은 제1 평가자 및/또는 제2 평가자를 참여 평가자로 지정할 수 있다. 본 실시예에서는, 제2 평가자의 예측 평가 오차가 제1 평가자의 예측 평가 오차보다 낮아지는 경우, 제1 평가자의 개입 없이 기계 학습 모델만으로 상술한 가격 산정 방법이 수행될 수도 있다. 이와 같은 경우, 상품의 가치 평가에 소요되는 평가자의 인건비, 시간 비용 등 가격 산정 서비스에 요구되는 제반 비용이 크게 절감될 수 있다.In another embodiment, an evaluation error prediction model may be constructed for each of the second evaluators in the same manner as the first evaluator. In the present embodiment, the price calculation apparatus 100 can designate the first evaluator and / or the second evaluator having a low prediction error in the evaluator pool shown in FIG. 8A as the participant evaluator among the first and second evaluators. In the present embodiment, when the predictive evaluation error of the second evaluator is lower than the predictive evaluation error of the first evaluator, the above-described price calculation method may be performed only with the machine learning model without involvement of the first evaluator. In such a case, the cost required for the pricing service, such as the labor cost and the time cost of the evaluator, which is required to evaluate the value of the product, can be greatly reduced.

이하에서는, 가격 산정 장치(100)가 시간의 흐름에 따라 제1 평가자와 제2 평가자를 참여 평가자로 운영하는 몇몇 실시예에 대하여 설명하도록 한다.Hereinafter, the pricing apparatus 100 will explain some embodiments in which the first evaluator and the second evaluator operate as participant evaluators according to the passage of time.

본 발명의 실시예에 따르면, 가격 산정 장치(100)는 도 9a에 도시된 바와 같이 평가자 지정을 수행할 수 있다. 도 9에 도시된 그래프의 의미는 도 7a에 도시된 그래프와 동일하다. 이하, 도 9a를 참조하여 설명한다.According to the embodiment of the present invention, the price calculation apparatus 100 can perform the evaluator designation as shown in FIG. 9A. The meaning of the graph shown in Fig. 9 is the same as the graph shown in Fig. 7A. This will be described below with reference to FIG. 9A.

본 실시예에서, 가격 산정 장치(100)는 제1 시점(T₁)까지 랜덤 지정 알고리즘을 이용하여 제1 평가자를 참여 평가자로 지정한다. 즉, 제1 시점(T₁)까지의 기간은 제1 평가자만을 참여 평가자로 지정하여 평가 이력 데이터를 축적하는 기간으로 이해될 수 있다. 제1 시점(T₁)이후부터, 가격 산정 장치(100)는 제1 평가자와 제2 평가자를 함께 참여 평가자로 지정할 수 있다. 이때, 평가자 지정 알고리즘은 전술한 지정 알고리즘이 적절하게 조합되어 이용될 수 있을 것이다.In this embodiment, the price calculation apparatus 100 designates the first evaluator as a participant evaluator using a random assignment algorithm up to the first point in time T ₁ . That is, the period up to the first time point T ₁ can be understood as a period in which only the first evaluator is designated as the participant evaluator to accumulate the evaluation history data. From the first point in time (T ₁ ), the pricing apparatus 100 can designate the first evaluator and the second evaluator together as the participant evaluator. At this time, the evaluator designation algorithm may be appropriately combined with the designation algorithm described above.

본 실시예에서, 평가 이력 데이터가 축적될수록, 가격 예측 모델의 정확도는 향상될 것이므로, 제2 시점(T₂)까지, 가격 산정 장치(100)는 참여 평가자 중에서 제2 평가자가 차지하는 점유 비율을 점차 늘려갈 수 있다.In this embodiment, as the evaluation history data is accumulated, the accuracy of the price prediction model will be improved. Therefore, until the second time point T ₂ , the price calculation device 100 gradually increases the occupancy rate occupied by the second evaluator, Can increase.

본 실시예에서, 제2 시점(T₂) 이후에도, 가격 산정 장치(100)는 소정의 점유 비율로 제1 평가자를 참여 평가자로 지정할 수 있다. 제1 평가자에 의해 결정된 평가 가격 데이터를 지속적으로 축적할 필요가 있기 때문이다. 예를 들어, 시간에 따라 가격 산정 대상 상품의 시세에 변동이 있을 수 있기 때문에, 가격 예측 모델은 꾸준하게 학습이 수행되어야 하고, 이를 위해 제1 평가자에 의해 결정된 평가 가격을 계속해서 축적할 필요가 있다.In the present embodiment, even after the second time point T ₂ , the price calculation device 100 can designate the first evaluator as a participant evaluator with a predetermined occupancy rate. It is necessary to continuously accumulate the evaluation price data determined by the first evaluator. For example, since the price of a price-based product may fluctuate over time, the price prediction model needs to be steadily performed, and it is necessary to continuously accumulate the valuation price determined by the first valuer .

도 9b는 가격 예측 모델과 복수의 평가자 지정 알고리즘을 운영하는 실시예를 도시하고 있다. 전술한 바와 같이, 평가자 풀에서 제1 평가자 및/또는 제2 평가자를 참여 평가자로 지정하는 경우, 운영 정책에 따라 어떠한 지정 알고리즘이 적용되어도 무방하나, 이해의 편의를 위해 도 9b에 도시된 일 실시예에 대하여 설명하도록 한다. 도 9b 도시된 그래프의 의미는 도 7a 및 도 9a에 도시된 그래프와 동일하다.FIG. 9B shows an embodiment of operating a price prediction model and a plurality of evaluator designation algorithms. As described above, when designating the first evaluator and / or the second evaluator as the participant evaluator in the evaluator pool, any designation algorithm may be applied according to the operational policy. However, for convenience of understanding, An example will be described. The meaning of the graph shown in Fig. 9B is the same as the graph shown in Figs. 7A and 9A.

도 9b를 참조하면, 가격 산정 장치(100)는 제1 시점(T₁)까지 랜덤 지정 알고리즘을 이용하여 제1 평가자를 참여 평가자로 지정한다. 이를 통해, 제 1 시점(T₁)까지 평가 이력 데이터가 축적될 수 있다. 단, 제1 시점(T₁) 이후에도, 랜덤 지정 알고리즘을 이용하여 제1 평가자가 참여 평가자로 지정될 수 있다. 이는, 가격 산정 대상 상품의 시세 변동을 고려하여 새로운 평가 이력 데이터가 수집될 필요가 있기 때문이다.Referring to FIG. 9B, the price calculation apparatus 100 designates the first evaluator as a participant evaluator using a random assignment algorithm up to a first time point T ₁ . Thus, the evaluation history data can be accumulated until the first time point T ₁ . However, even after the first time point T ₁ , the first evaluator may be designated as a participant evaluator using a random assignment algorithm. This is because new evaluation history data needs to be collected in consideration of the price fluctuation of the price calculation target product.

제1 시점(T₁) 이후부터, 참여 평가자의 일부는 기계 학습 기반 지정 알고리즘을 이용하여 지정된 제1 평가자일 수 있다. 즉, 제1 시점(T₁) 이후부터, 보다 양질의 평가 이력 데이터가 축적될 수 있다. 이에 대한 설명은 도 7a을 참조하여 설명한 사항과 중복되므로 생략한다.From a first point in time (T ₁ ), some of the participant assessors may be designated first evaluators using a machine learning based specification algorithm. That is, from the first time point T ₁ onward, more good evaluation history data can be accumulated. The description thereof will be omitted because it is duplicated in the description with reference to FIG. 7A.

제2 시점(T₂) 이후부터, 축적된 평가 이력 데이터를 학습한 가격 예측 모델, 즉 제2 평가자가 참여 평가자로 지정될 수 있다. 제2 평가자에 대한 평가 오차 예측 모델은 아직 구축되지 않은 바, 제2 평가자는 랜덤 지정 알고리즘을 이용하여 지정될 수 있다. 제2 시점(T₂) 이후부터, 참여 평가자로 지정된 제2 평가자에 대한 실제 평가 오차가 평가 이력 데이터로 축적되게 된다.From the second time point T ₂ onward, the pricing prediction model in which the accumulated evaluation history data is learned, that is, the second evaluator can be designated as the participant evaluator. Since an evaluation error prediction model for the second evaluator has not yet been established, the second evaluator can be specified using a random assignment algorithm. After the second time point (T ₂ ), the actual evaluation error for the second evaluator designated as the participant evaluator is accumulated in the evaluation history data.

제2 평가자에 대한 실제 평가 오차를 학습하여, 평가 오차 예측 모델이 구축되면, 제2 평가자를 참여 평가자로 지정하기 위해, 기계 학습 기반 지정 알고리즘을 이용될 수 있다. 예를 들어, 제3 시점(T₃) 이후부터 기계 학습 기반 지정 알고리즘을 이용하여 제2 평가자가 참여 평가자 중 일부로 지정될 수 있다.A machine learning based designation algorithm can be used to learn the actual evaluation error for the second evaluator so that, when the evaluation error prediction model is built, to designate the second evaluator as a participant evaluator. For example, from a third time point (T ₃ ) onward, a second evaluator may be designated as part of the participant evaluators using a machine learning based specification algorithm.

한편, 제3 시점(T3) 이후에도, 랜덤 지정 알고리즘을 이용한 제1 평가자 및/또는 제2 평가자가 참여 평가자로 지정될 수 있다. 이는 전술한 바와 같이, 편향되지 않은 평가 이력 데이터를 계속해서 수집하고, 가격 산정 대상 상품의 시세 변동에 유연하게 대응하기 위해서이다.On the other hand, even after the third time point T3, the first evaluator and / or the second evaluator using the random assignment algorithm can be designated as the participant evaluator. This is to continuously collect the uneventuated evaluation history data and to flexibly cope with the fluctuation of the price of the price target product as described above.

도 9b에 도시된 실시예는 가격 예측 모델과 복수의 지정 알고리즘을 운영하는 일 예에 불과함에 유의하여야 한다. 본 발명의 다른 실시예에 따르면, 가격 산정 장치(100)는 얼마든지 다른 조합을 통해 참여 평가자를 지정할 수 있다.It should be noted that the embodiment shown in FIG. 9B is merely an example of operating the price prediction model and a plurality of designating algorithms. According to another embodiment of the present invention, the pricing device 100 may designate a participating evaluator through any other combination.

지금까지, 기계 학습 기반의 가격 예측 모델을 활용하는 몇몇 실시예들에 대하여 도 8a 내지 도 9b를 참조하여 설명하였다. 이하에서는, 가격 산정 대상 상품에 대한 최종 평가 가격을 산정하는 단계(S700)에 대하여 상세하게 설명하도록 한다.Up to now, several embodiments utilizing a machine learning based price prediction model have been described with reference to Figures 8A-B. Hereinafter, the step S700 of calculating the final evaluation price for the price calculation target product will be described in detail.

일 실시예에서, 가격 산정 장치(100)는 기 수행된 평가 프로세스에서 획득된 평가 가격을 산술 평균하여 가격 산정 대상 상품의 최종 평가 가격을 산정할 수 있다. 이때, 상기 산술 평균은 평가 가격 전부에 대해서 수행될 수 있고, 일부에 대해서도 수행될 수도 있다. 예를 들어, 가격 산정 장치(100)는 획득된 평가 가격 중에서 개별 평가 오차(e.g. 전체 평가 가격의 평균 - 평가 가격)가 임계 값 이상인 일부 평가 가격을 제외하고, 나머지 일부 평가 가격에 대한 산술 평균을 통해 최종 평가 가격을 산정할 수 있다.In one embodiment, the pricing device 100 may calculate the final valuation price of the pricing target product by arithmetically averaging the valuation pricing obtained in the previously performed evaluation process. At this time, the arithmetic mean may be performed for all of the evaluation prices, or may be performed for some of them. For example, the price estimating apparatus 100 may calculate an arithmetic average of the remaining evaluation prices, excluding some evaluation prices whose individual evaluation errors (e. G., The average evaluation price of the total evaluation prices) The final evaluation price can be calculated.

다른 실시예에서, 가격 산정 장치(100)는 전술한 기계 학습 모델 중 평가 오차 예측 모델을 이용하여 최종 가격을 산정할 수 있다. 구체적으로, 도 10에 도시된 바와 같이, 가격 산정 장치(100)는 평가 오차 예측 모델을 이용하여 기 지정된 평가자 각각의 예측 평가 오차를 산출할 수 있다(S701). 다음으로, 가격 산정 장치(100)는 예측 평가 오차를 기초로 기 지정된 평가자 각각의 가중치를 결정하고, 상기 가중치 및 상기 평가 가격의 가중 평균(weighted average)을 통해 최종 평가 가격을 산정할 수 있다(S720). 본 실시예에 따르면, 예측 평가 오차가 낮은 평가자에게 더 높은 가중치가 부여됨으로써, 해당 평가자의 평가 가격이 최종 산정 가격에 더 많은 영향을 미치게 된다. 따라서, 예측 평가 오차에 관계 없이 동일한 가중치가 부여되는 산술 평균에 비해 더 정확하게 최종 평가 가격이 산정될 수 있다.In another embodiment, the price calculation apparatus 100 may estimate the final price using the evaluation error prediction model among the above-described machine learning models. Specifically, as shown in FIG. 10, the price calculation apparatus 100 can calculate the predictive evaluation error of each of the previously designated evaluators using the evaluation error prediction model (S701). Next, the price calculation apparatus 100 may determine a weight of each of the previously determined evaluators based on the prediction evaluation error, and calculate the final evaluation price based on the weight and the weighted average of the evaluation prices ( S720). According to the present embodiment, a higher weight is given to the evaluator having a low prediction error, so that the evaluation price of the evaluator has a greater influence on the final estimated price. Therefore, the final evaluation price can be calculated more accurately than the arithmetic mean given the same weight regardless of the prediction evaluation error.

지금까지 도 1 내지 도 10을 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The concepts of the invention described above with reference to Figures 1 to 10 can be implemented in computer readable code on a computer readable medium. The computer readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) . The computer program recorded on the computer-readable recording medium may be transmitted to another computing device via a network such as the Internet and installed in the other computing device, thereby being used in the other computing device.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although the operations are shown in the specific order in the figures, it should be understood that the operations need not necessarily be performed in the particular order shown or in a sequential order, or that all of the illustrated operations must be performed to achieve the desired result. In certain situations, multitasking and parallel processing may be advantageous. Moreover, the separation of the various configurations in the above-described embodiments should not be understood as such a separation being necessary, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products .

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I can understand that. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

Claims

A method for calculating a price of a product to be priced, which is performed by a price calculation device,
The evaluation error prediction model is constructed based on the machine learning by learning the evaluation history data of the product on which the price has been calculated. The evaluation error prediction model is a model for outputting the estimation error of the evaluator in response to the input of the product detail information , &Lt; / RTI >
Wherein a plurality of evaluators are designated in response to a price calculation request for the price calculation target product, wherein a plurality of evaluators are selected from among a plurality of evaluators, , step;
Obtaining an evaluation price of the pricing target product from the terminals of the plurality of evaluators;
Calculating a weight for each evaluator for each of the plurality of evaluators by using a predictor evaluation error of each evaluator for each of the plurality of evaluators; And
And calculating a final evaluation price of the price calculation target merchandise using the obtained evaluation price and the weight of the evaluator.
Price calculation method.

The method according to claim 1,
Wherein at least one of the plurality of evaluators is a machine learning-based price prediction model,
Wherein the price prediction model is a model constructed by learning evaluation history data composed of product detailed information of the previously performed goods and final evaluation prices of the previously performed goods.
Price calculation method.

The method according to claim 1,
Wherein the plurality of evaluators are randomly designated except for the part of the evaluators,
The occupancy rate of the part of the evaluators among the plurality of evaluators increases with time.
Price calculation method.

A method for calculating a price of a product to be priced, which is performed by a price calculation device,
Performing a first evaluation process of designating a plurality of evaluators in response to a request for price calculation for the product to be priced and obtaining an evaluation price of the product to be priced from the terminals of the plurality of evaluators;
Calculating a first evaluation error based on an evaluation price obtained through the first evaluation process;
Performing a second evaluation process of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value and obtaining an evaluation price of the price to be evaluated from the terminal of the additional evaluator;
Calculating a second evaluation error based on the evaluation price obtained through the first evaluation process and the second evaluation process; And
And calculating a final evaluation price of the price calculation target product based on the evaluation price obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold value As a result,
Price calculation method.

5. The method of claim 4,
And repeating the second evaluation process until the second evaluation error becomes less than the threshold value when the second evaluation error is equal to or greater than the threshold value.
Price calculation method.

5. The method of claim 4,
Wherein the plurality of evaluators or the at least one additional evaluator are randomly designated.
Price calculation method.

5. The method of claim 4,
Wherein said plurality of evaluators or said at least one additional evaluator is specified based on a evaluator evaluation error of each evaluator for said price calculation target product,
The predictor evaluation error of each evaluator indicates an estimated evaluation error of each evaluator by inputting the product detail information of the price calculation target product into the evaluation error prediction model of the machine learning based,
Wherein the evaluation error prediction model includes an evaluation error prediction module that is configured by an evaluator consisting of actual product evaluation information indicating the difference between the product detailed information of the manufactured product and the estimated evaluation price of the previously calculated product determined by the evaluator Wherein the evaluation history data is a model constructed by learning evaluation history data.
Price calculation method.

5. The method of claim 4,
Wherein the plurality of evaluators or the at least one additional evaluator comprises:
Is designated using a random assignment algorithm until a first point in time,
From the first time point, using a designation algorithm of either a machine learning based designation algorithm or the random assignment algorithm,
As time passes, the occupancy rate of the evaluator designated by the machine learning-based designation algorithm increases,
Wherein the sum of the occupancy rate of the evaluator specified by the machine learning-based assignment algorithm and the occupancy rate of the evaluator specified by the random assignment algorithm is constant.
Price calculation method.

9. The method of claim 8,
The occupancy rate of the evaluator specified by the machine learning-based assignment algorithm from the second time point after the first time point and the occupancy rate of the evaluator specified by the random assignment algorithm are constant.
Price calculation method.

9. The method of claim 8,
Wherein the occupancy rate of the evaluator specified by the machine learning-
Is adjusted based on the average and variance of the number of pieces of learning data for each evaluator used for learning.
Price calculation method.

5. The method of claim 4,
Wherein at least one of the plurality of evaluators or the at least one additional evaluator is a machine learning based price prediction model,
Wherein the price prediction model is a model constructed by learning evaluation history data composed of product detailed information of a product calculated based on the product and final evaluation prices of the previously calculated product,
Price calculation method.

12. The method of claim 11,
Wherein the occupancy rate of the price prediction model among the plurality of evaluators or the at least one additional evaluator is
Characterized in that it increases with time,
Price calculation method.

5. The method of claim 4,
The step of calculating the final valuation price of the price-
Calculating the final evaluation price using the evaluation value obtained through the first evaluation process and the second evaluation process and the weight of the evaluator based on the evaluation evaluation error of each evaluator who has determined the evaluation price, Including,
Wherein the predictive evaluation error of each of the evaluators indicates an evaluation error of each evaluator for the predicted price calculation target product by inputting the detailed product information of the price calculation target product into an evaluation error prediction prediction model based on the machine learning,
Wherein the evaluation error prediction model is a model constructed by learning evaluator-specific evaluation history data composed of product detailed information of the manufactured product and final evaluation prices of the previously calculated product,
Price calculation method.

5. The method of claim 4,
Wherein the terminals of the plurality of evaluators and the terminal of the at least one additional evaluator are mobile terminals,
The mobile terminal receives a push notification indicating an evaluation request for the pricing target product,
Wherein the push notification includes a deep link of a page that includes product detail information of the pricing target product.
Price calculation method.

One or more processors;
Network interface;
A memory for loading a computer program executed by the processor; And
And a storage for storing the computer program,
The computer program comprising:
Performing a first evaluation process of designating a plurality of evaluators in response to a request for price calculation for the product to be priced and obtaining an evaluation price of the product to be priced from the terminals of the plurality of evaluators;
Calculating a first evaluation error based on an evaluation price obtained through the first evaluation process;
Performing a second evaluation process of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value and acquiring an evaluation price of the product to be priced from the terminal of the additional evaluator;
Calculating a second evaluation error based on an evaluation price obtained through the first evaluation process and the second evaluation process; And
And an operation of calculating a final evaluation price of the price to be priced based on the evaluation price obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold,
Price calculation device.

Coupled to the computing device,
Performing a first evaluation process of designating a plurality of evaluators in response to a request for price calculation for the product to be priced and obtaining an evaluation price of the product to be priced from the terminals of the plurality of evaluators;
Calculating a first evaluation error based on an evaluation price obtained through the first evaluation process;
Performing a second evaluation process of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value and obtaining an evaluation price of the price to be evaluated from the terminal of the additional evaluator;
Calculating a second evaluation error based on the evaluation price obtained through the first evaluation process and the second evaluation process; And
Calculating a final valuation price of the subject merchandise based on the evaluation price obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold; Stored in the medium,
Computer program.