KR20180117286A - Method and Apparatus for pricing based on machine learning - Google Patents
Method and Apparatus for pricing based on machine learning Download PDFInfo
- Publication number
- KR20180117286A KR20180117286A KR1020170050194A KR20170050194A KR20180117286A KR 20180117286 A KR20180117286 A KR 20180117286A KR 1020170050194 A KR1020170050194 A KR 1020170050194A KR 20170050194 A KR20170050194 A KR 20170050194A KR 20180117286 A KR20180117286 A KR 20180117286A
- Authority
- KR
- South Korea
- Prior art keywords
- evaluation
- price
- evaluator
- product
- error
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0206—Price or cost determination based on market factors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G06N99/005—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0283—Price estimation or determination
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 기계 학습 기반의 가격 산정 방법 및 장치에 관한 것이다. 보다 자세하게는, 기계 학습 모델을 이용하여 가격 산정 대상 상품의 가격을 산정함으로써, 상품 가치 평가의 신뢰성 및 정확성을 향상시키는 가격 산정 방법 및 장치에 관한 것이다.The present invention relates to a machine learning-based pricing method and apparatus. More particularly, the present invention relates to a pricing method and apparatus for improving the reliability and accuracy of a product value evaluation by calculating a price of a pricing target product using a machine learning model.
기계 학습(machine learning)은 인공 지능(artificial intelligence; AI)의 한 분야로, 주어진 데이터 기반으로 컴퓨터가 학습할 수 있도록 하는 알고리즘 또는 기술을 말한다. 컴퓨터 네트워크 기술 및 스토리지 기술의 발달로 대량의 데이터가 축적됨에 따라, 최근 데이터 드리븐(data-driven) 모델링 기법인 기계 학습 기술이 다양한 분야에 접목되어 활용되고 있다.Machine learning is a field of artificial intelligence (AI) that refers to an algorithm or technique that allows a computer to learn on a given data base. As computer network technology and storage technology have developed, a large amount of data has been accumulated. Recently, machine learning technology, which is a data-driven modeling technique, has been used in various fields.
도 1에 도시된 바와 같이, 기계 학습 기술은 데이터 분석 및 예측, 영상 인식, 음성 인식, 자연어 처리, 보안 등 다양한 분야의 기술에 접목되어 해당 분야의 기술 수준을 크게 향상시켰다. 이러한 기술들에 힘입어 자율 주행이 가능한 스마트카(smart car), 인공 지능 로봇(AI robot), 핀테크(fintech), 헬스케어(health care), 전자상거래, 국방 등 광범위한 분야에서 과거에는 구현할 수 없었던 제품과 서비스들이 실용화되고 있다.As shown in FIG. 1, the machine learning technology has been improved to a level of technology in various fields such as data analysis and prediction, image recognition, speech recognition, natural language processing, and security. These technologies can be used in the past in a wide range of fields such as self-propelled smart cars, AI robots, fintech, health care, e-commerce and defense. Products and services that have never existed are being put to practical use.
그러나, 전자상거래 분야에서, 특정 상품의 가격을 산정하기 위한 목적으로 기계 학습 기술이 활용된 예는 없는 실정이다. 또한, 전자 상거래 분야에서 온라인을 통한 정보 습득이 보편화 되었음에도 불구하고, 소비자에게 정확한 가격 정보가 제공되지 못하고 있는 실정이다. 특히, 중고차와 같이 상품의 가치 평가가 어려운 상품의 경우, 현재 실거래 가격 데이터가 제공되지 않고 있으며, 산정된 가격에 대한 소비자의 신뢰성이 매우 낮은 상황이다.However, in the field of e-commerce, there is no example in which machine learning technology is used for the purpose of calculating the price of a specific commodity. Also, in spite of the fact that online information acquisition is common in the field of e-commerce, accurate price information is not provided to consumers. Particularly, in the case of a product such as a used car whose value is difficult to evaluate, the actual transaction price data is not provided at present, and the reliability of the consumer for the calculated price is very low.
따라서, 기계 학습 기술을 활용하여 가격 산정 대상 상품의 가격을 산정함으로써, 상품 가치 평가의 신뢰성 및 정확성을 향상시키는 방법이 요구된다.Therefore, there is a need for a method of improving the reliability and accuracy of the valuation of a commodity by estimating the price of the commodity to be priced using the machine learning technology.
본 발명이 해결하고자 하는 기술적 과제는, 기계 학습 모델을 이용하여 상품의 가치를 정확하게 산정할 수 있는 가격 산정 방법을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method of calculating a price of a product using a machine learning model.
본 발명이 해결하고자 하는 다른 기술적 과제는, 가격 산정 대상 상품의 가치를 평가함에 있어서, 일정 수준 이하의 가격 오차를 담보할 수 있는 가격 산정 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a price calculation method that can guarantee a price error below a certain level in evaluating the value of a price calculation target product.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 기계 학습 모델을 이용하여, 복수의 평가자 중에서 가격 산정 대상 상품의 가치 평가에 적합한 최적의 평가자를 지정하는 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a method for designating an optimum evaluator suitable for valuation of a price to be valuated among a plurality of evaluators using a machine learning model.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 기계 학습 모델 및 복수의 평가자에 의해 결정된 평가 가격을 기초로 최종 평가 가격의 정확도를 향상시킬 수 있는 가격 산정 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a pricing method capable of improving the accuracy of a final evaluation price based on a machine learning model and an evaluation price determined by a plurality of evaluators.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 가격 산정 방법은, 가격 산정 장치에 의해 수행되는 가격 산정 대상 상품의 가격 산정 방법에 있어서, 가격 산정이 기 수행된 상품에 대한 평가 이력 데이터를 학습하여 기계 학습 기반의 평가 오차 예측 모델을 구축하되, 상기 평가 오차 예측 모델은 상품 상세 정보의 입력에 응답하여 평가자 별 예측 평가 오차를 출력하는 모델인 것인, 단계, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하되, 상기 복수의 평가자 중 일부의 평가자는 상기 평가 오차 예측 모델에 의해 예측된 평가자 별 예측 평가 오차를 기초로 지정된 것인, 단계, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 단계, 상기 복수의 평가자 각각의 평가자 별 예측 평가 오차를 이용하여, 상기 복수의 평가자 각각에 대한 평가자 별 가중치를 산출하는 단계 및 상기 획득된 평가 가격 및 상기 평가자 별 가중치를 이용하여, 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of calculating a price of a target price to be priced by a price calculation device, the method comprising: Wherein the evaluation error prediction model is a model for outputting a predictor evaluation error for each evaluator in response to input of the product detail information, Wherein a plurality of evaluators are designated in response to a price calculation request for a plurality of evaluators, wherein the evaluator of some of the plurality of evaluators is specified based on the evaluator-by-evaluator evaluation error estimated by the evaluation error prediction model, Obtaining an evaluation price of the product to be priced from the terminal of the evaluator of each of the plurality of evaluators Calculating a weight for each evaluator for each of the plurality of evaluators by using a predictor evaluation error for each evaluator, and calculating a final evaluation price of the price target product using the obtained evaluation price and the weight for each evaluator Step < / RTI >
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 가격 산정 방법은, 가격 산정 장치에 의해 수행되는 가격 산정 대상 상품의 가격 산정 방법에 있어서, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 단계, 상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 단계, 상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 단계, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 단계 및 상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of calculating a price of a target product, the method comprising: Performing a first evaluation process of specifying a plurality of evaluators and obtaining an evaluation price of the pricing target product from the terminals of the plurality of evaluators in response to the first evaluation process, Calculating a first evaluation error with the first evaluation error, designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value, and evaluating a second evaluation Performing an evaluation process on the evaluation price obtained through the first evaluation process and the second evaluation process; Calculating a second evaluation error based on the evaluation value obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold value, And calculating an evaluation price.
일 실시예에서, 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계는, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격과 상기 평가 가격을 결정한 평가자 각각의 예측 평가 오차를 기초로 산출된 평가자 별 가중치를 이용하여, 상기 최종 평가 가격을 산정하는 단계를 포함하되, 상기 평가자 각각의 예측 평가 오차는, 상기 상품 상세 정보를 기계 학습 기반의 평가 오차 예측 모델에 입력하여 예측된, 상기 가격 산정 대상 상품에 대한 평가자 별 평가 오차를 가리키고, 상기 평가 오차 예측 모델은, 기 산정된 상품에 관한 정보 및 상기 기 산정된 상품의 최종 평가 가격과 평가자에 의해 결정된 상기 기 산정된 상품의 평가 가격과의 차이를 가리키는 실제 평가 오차로 구성된 평가자 별 평가 이력 데이터를 학습하여 구축된 모델일 수 있다.In one embodiment, the step of calculating the final valuation price of the pricing target product may include calculating the estimated valuation error of each of the evaluators determining the valuation price and the evaluation price obtained through the first evaluation process and the second evaluation process And estimating the final evaluation price using the weights calculated by the evaluator based on the evaluation values of the evaluator, wherein the prediction evaluation error of each of the evaluators is obtained by inputting the product detail information into the evaluation error prediction model of the machine learning basis Wherein the evaluation error prediction model indicates an evaluation error of each evaluator for the price calculation target product, the evaluation error prediction model includes information on the estimated product, a final evaluation price of the previously calculated product, Evaluator's evaluation history data consisting of the actual evaluation error indicating the difference from the evaluation price is learned Tarred can be a model.
상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 가격 산정 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 오퍼레이션, 상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 오퍼레이션, 상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 오퍼레이션, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 오퍼레이션 및 상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 오퍼레이션을 포함할 수 있다.According to another aspect of the present invention, there is provided a pricing apparatus including at least one processor, a network interface, a memory for loading a computer program executed by the processor, Wherein the computer program further comprises a step of assigning a plurality of evaluators in response to the request for price calculation of the price calculation target product and acquiring an evaluation price of the price calculation target product from the terminals of the plurality of evaluators 1 evaluation process, an operation for calculating a first evaluation error based on the evaluation price obtained through the first evaluation process, a step of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value From the terminal of the additional evaluator, An operation of calculating a second evaluation error based on the evaluation value obtained through the first evaluation process and the second evaluation process and the operation of calculating a second evaluation error by using the second evaluation error, And an operation of calculating a final valuation price of the price-valued product based on the evaluation value obtained through the first evaluation process and the second evaluation process when the price is less than the threshold value.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 가격 산정 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 단계, 상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 단계, 상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 단계, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 단계 및 상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계를 실행시키기 위하여 기록 매체에 저장될 수 있다.According to another aspect of the present invention, there is provided a computer program for a pricing system, the pricing computer program comprising: a computing device for specifying a plurality of evaluators in response to a pricing request for the pricing target product, Calculating a first evaluation error based on an evaluation price obtained through the first evaluation process, performing a first evaluation process of obtaining an evaluation price of the pricing target product from the terminals of the plurality of evaluators, Performing a second evaluation process of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold and acquiring an evaluation price of the product to be priced from the terminal of the additional evaluator; Calculating a second evaluation error based on the process and the evaluation price obtained through the second evaluation process And calculating the final valuation price of the price-valued product based on the evaluation value obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold value And can be stored in a recording medium.
상술한 본 발명에 따르면, 평가 가격 간의 평가 오차를 일정 수준 이하로 보장하기 위해 평가 프로세스가 반복될 수 있다. 이에 따라, 가격 산정 대상 상품의 가격이 정확하게 산정되는 효과가 있다.According to the present invention described above, the evaluation process can be repeated to ensure that the evaluation error between evaluation prices is below a certain level. Thus, there is an effect that the price of the price calculation target product is accurately calculated.
또한, 기 수행된 평가자 별 평가 이력을 기초로 구축된 기계 학습 기반 평가 오차 예측 모델을 이용하여, 가격 산정 대상 상품에 대하여 예측 평가 오차가 낮은 평가자가 상기 가격 산정 대상 상품의 평가자로 지정될 수 있다. 이에 따라, 개별 평가 오차가 감소하고, 평가 프로세스의 반복 또한 최소화되는 바, 신속하고 정확한 가격 산정 서비스가 제공되는 효과가 있다.Further, an evaluator having a lower prediction error in the price calculation target product may be designated as the evaluator of the price calculation target product, using the machine learning based evaluation error prediction model constructed based on the evaluation history of each evaluator performed in the past . As a result, the individual evaluation error is reduced and the repetition of the evaluation process is minimized, so that there is an effect that a quick and accurate pricing service is provided.
또한, 기 산정된 상품에 관한 정보 및 상기 기 산정된 상품의 최종 평가 가격을 기초로 구축된 기계 학습 기반 가격 예측 모델이 평가자로 활용될 수 있다. 이에 따라, 평가자에게 소요되는 인건비, 상품의 가치 평가에 소요되는 시간 비용 등의 제반 비용이 절감되는 효과가 있다.Further, the machine learning based price prediction model built on the basis of the information on the manufactured product and the final evaluation price of the previously calculated product can be utilized as the evaluator. As a result, it is possible to reduce costs such as personnel expenses required for the evaluator and time costs required to evaluate the value of the product.
또한, 평가 오차 예측 모델을 통해 산출된 예측 평가 오차를 기초로 가격 산정 대상 상품에 대한 평가자 별 가중치가 결정될 수 있고, 상기 평가자 별 가중치 및 평가자 별 평가 가격의 가중평균을 통해, 상기 가격 산정 대상 상품의 최종 평가 가격이 책정될 수 있다. 이를 통해, 예측 평가 오차가 낮은 평가자에 의해 결정된 평가 가격이 최종 평가 가격에 많은 영향을 미치게 되는 바, 최종 평가 가격의 정확도가 향상되는 효과가 있다.In addition, a weight for each evaluator can be determined for the pricing target product based on the predictive evaluation error calculated through the evaluation error prediction model, and the weighted average of the evaluator's weight and the evaluator's weighted average, The final evaluation price of the product may be set. As a result, the evaluation price determined by the evaluator having a low prediction error greatly affects the final evaluation price, thereby improving the accuracy of the final evaluation price.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood to those of ordinary skill in the art from the following description.
도 1은 기계 학습 기술이 적용되는 다양한 분야를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가격 산정 시스템의 구성도이다.
도 3은 본 발명의 다른 실시예에 따른 가격 산정 장치의 기능 블록도이다.
도 4는 본 발명의 또 다른 실시예에 가격 산정 장치의 하드웨어 구성도이다.
도 5는 본 발명의 또 다른 실시예에 따른 가격 산정 방법의 순서도이다.
도 6 내지 도 7c는 본 발명의 몇몇 실시예에서 참조될 수 있는, 기계 학습 기반의 평가자 지정 방법을 설명하기 위한 도면이다.
도 8a 내지 도 9b는 본 발명의 몇몇 실시예에서 참조될 수 있는, 기계 학습 기반의 가격 예측 모델이 활용되는 예를 설명하기 위한 도면이다.
도 10은 본 발명의 몇몇 실시예에서 참조될 수 있는, 최종 평가 가격 산정 방법을 설명하기 위한 도면이다.1 is a diagram for explaining various fields to which a machine learning technique is applied.
2 is a configuration diagram of a price calculation system according to an embodiment of the present invention.
3 is a functional block diagram of a pricing apparatus according to another embodiment of the present invention.
4 is a hardware configuration diagram of a pricing apparatus according to another embodiment of the present invention.
5 is a flowchart of a method of calculating a price according to another embodiment of the present invention.
Figs. 6 to 7C are diagrams for describing a machine learning-based evaluator designation method, which can be referred to in some embodiments of the present invention.
Figures 8A-B illustrate examples in which a machine learning based pricing prediction model is utilized, which may be referenced in some embodiments of the present invention.
10 is a diagram for explaining a final evaluation price calculation method, which may be referred to in some embodiments of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise. The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.
이하, 도면들을 참조하여 본 발명의 몇몇 실시예들을 설명한다.Some embodiments of the present invention will now be described with reference to the drawings.
도 2는 본 발명의 일 실시예에 따른 가격 산정 시스템(10)의 구성도이다.2 is a configuration diagram of a
도 2에 도시된 바와 같이, 본 실시예에 따른 가격 산정 시스템(10)은 가격 산정 서비스를 제공하는 서비스 제공 서버(100, 이하 '가격 산정 장치'로 명명함), 검사자 단말(200) 및 복수의 평가자 단말(300)을 포함할 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다.2, the
가격 산정 장치(100)는 가격 산정 대상 상품에 대한 가격 산정 서비스를 제공하는 컴퓨팅 장치이다. 상기 가격 산정 대상 상품은 가치 평가의 대상이 되는 상품을 의미한다. 이하의 몇몇 실시예들에서, 상기 가격 산정 대상 상품은 중고차인 경우를 예로 들어 설명할 수 있으나, 상기 가격 산정 대상 상품은 가치 평가가 가능하다면 어떠한 종류의 상품이 되더라도 무방하다.The
상기 컴퓨팅 장치는 예를 들어 데스크탑 등의 고정형 컴퓨팅 장치일 수 있다. 단, 이에 국한되는 것은 아니며 상기 컴퓨팅 장치는 컴퓨팅 기능 및 통신 기능이 구비된 모든 종류의 장치를 포함할 수 있다.The computing device may be a fixed computing device, such as, for example, a desktop. However, the present invention is not limited thereto, and the computing device may include all kinds of devices having a computing function and a communication function.
가격 산정 장치(100)는 사용자 단말(미도시)로부터 수신된 가격 산정 요청에 응답하여, 가격 산정 대상 상품에 대한 평가 프로세스를 수행하고, 최종 평가 가격을 제공하게 된다.In response to the price calculation request received from the user terminal (not shown), the
일 실시예에서, 사용자 단말(미도시)은 검사자 단말(200)과 별도의 단말로 구성될 수 있다. 이와 같은 경우, 가격 산정 장치(100)는 상기 사용자 단말로부터의 가격 산정 요청에 응답하여, 검사자 단말(200)로 가격 산정 대상 상품에 대한 검사 요청을 송신하고, 검사 결과인 가격 산정 대상 상품의 상품 상세 정보를 수신할 수 있다. 본 실시예에서는, 별도의 검사자(inspector)가 존재하므로 보다 상세하고 전문적인 상품 상세 정보가 수신될 수 있고, 이에 따라 상품 가치 평가의 정확도가 향상될 수 있다. 가격 산정 대상 상품이 중고차와 같이 상품의 외관 또는 사양만으로 가치 평가가 수행되기 어려운 상품의 경우, 본 실시예와 같이 전문적인 검사자를 두는 것이 바람직할 수 있다.In one embodiment, the user terminal (not shown) may be configured as a separate terminal from the
다른 실시예에서, 사용자 단말은 검사자 단말(200)은 동일한 단말로 구성될 수 있다. 이와 같은 경우, 가격 산정 장치(100)는 사용자 단말(200)로부터 가격 산정 요청 및 상품 상세 정보를 수신하여, 평가 프로세스를 수행하게 된다. 본 실시예에서는, 사용자가 가격 산정 대상 상품의 상품 상세 정보를 입력하게 되므로, 가격 산정 장치(100)는 정형화된 정보 입력 양식을 제공하는 것이 바람직할 수 있다.In another embodiment, the user terminal may be configured with the same terminal as the
몇몇 실시예에서, 상기 상품 상세 정보는 상품의 가치 평가에 영향을 미칠 수 있는 복수의 속성 정보로 구성될 수 있다. 예를 들어, 가격 산정 대상 상품이 중고차인 경우, 복수의 속성 정보는 브랜드, 연식, 주행 거리, 연료 종류, 색상 등을 포함할 수 있다. 또한, 상기 상품 상세 정보는 해당 상품의 스틸 이미지(still image), 영상 이미지 등의 형식을 포함할 수 있으며, 어떠한 형식에 국한되지 않는다.In some embodiments, the product detail information may comprise a plurality of attribute information that may affect the valuation of the product. For example, when the price calculation target product is a used car, the plurality of attribute information may include a brand, a model year, a mileage, a fuel type, a color, and the like. In addition, the product detail information may include a still image of the product, a video image, and the like, and is not limited to any format.
가격 산정 대상 상품의 평가 프로세스를 살펴보면, 가격 산정 장치(100)는 소정의 평가자 지정 알고리즘을 이용하여 평가자를 지정한다. 또한, 가격 산정 장치(100)는 지정된 평가자 단말(300)로 평가 요청을 송신하며, 평가자에 의해 결정된 평가 가격을 수신한다. 이때, 상기 평가 가격은 상품 상세 정보를 기초로 평가자(valuator)에 의해 평가된 상기 가격 산정 대상 상품의 가격을 의미한다. 상기 평가 프로세스에서, 가격 산정 장치(100)가 평가자를 지정하는 방법에 대한 자세한 설명은 도 6 내지 도 7c를 참조하여 후술한다.The
본 발명의 실시예에 따르면, 가격 산정 장치(100)는 복수의 평가 가격 간의 평가 오차에 따라 상기 평가 프로세스를 반복하여 수행할 수 있다. 또한, 본 발명의 실시예에 따르면, 가격 산정 장치(100)는 상기 평가 프로세스를 통해 획득된 복수의 평가 가격을 종합적으로 고려하여 최종 평가 가격을 산정할 수 있다. 이와 같은 과정을 통해, 가격 산정 장치(100)는 일정 수준 이하의 평가 오차 및 최종 평가 가격의 정확성을 담보할 수 있다. 이에 대한 자세한 설명은 도 5를 참조하여 후술하도록 한다.According to the embodiment of the present invention, the
본 발명의 몇몇 실시예들에 따르면, 가격 산정 장치(100)는 상품 가치 평가의 신뢰성 및 정확성을 향상시키기 위해 기계 학습 모델을 활용한다.According to some embodiments of the present invention, the
일 실시예에서, 가격 산정 장치(100)는 기 산정된 가격 산정 대상 상품에 대한 평가 이력 데이터를 학습하여 구축된 평가 오차 예측 모델을 활용하여 평가자를 지정할 수 있다. 이를 통해, 가격 산정 장치(100)는 해당 상품을 평가하기에 적합한 최적의 평가자를 지정할 수 있고, 보다 정확한 가치 평가가 가능하며, 평가 프로세스의 반복은 최소화될 수 있다. 이에 대한 자세한 설명은 도 6 내지 도 7c를 참조하여 후술한다.In one embodiment, the
다른 실시예에서, 가격 산정 장치(100)는 최종 평가 가격 산정을 보다 정확하게 산정하기 위해 상기 평가 오차 예측 모델을 활용할 수 있다. 보다 구체적으로, 가격 산정 장치(100)는 상기 평가 오차 예측 모델의 출력 값인 예측 평가 오차를 이용하여 평가 가격 산정에 이용되는 평가자 별 가중치를 산출하고, 상기 평가자 별 가중치 및 해당 평가자의 평가 가격의 가중 평균(weighted average)을 통해 가격 산정 대상 상품의 최종 평가 가격을 산정할 수 있다. 이때, 상기 평가 오차 예측 모델이 현재 가격 산정 대상 상품에 대하여 예측한 해당 평가자의 평가 오차를 의미한다. 본 실시예에서, 가중 평균을 활용함으로써, 예측 평가 오차가 낮은 평가자의 평가 가격이 최종 평가 가격에 더 많은 영향을 미치도록 할 수 있다. 이에 따라, 가격 산정 대상 상품에 대하여 보다 정확한 가치 평가가 이루어질 수 있다. 이에 대한 자세한 설명은 도 10을 참조하여 후술하도록 한다.In another embodiment, the
또 다른 실시예에서, 가격 산정 장치(100)는 가격 산정 서비스를 제공함에 따라 축적된 평가 이력 데이터를 학습하여 적어도 하나의 기계 학습 기반의 가격 예측 모델을 구축하고, 상기 가격 예측 모델을 또 하나의 평가자로 활용할 수 있다. 이에 따라, 상품의 가치 평가에 소요되는 평가자의 인건비, 평가에 소요되는 시간 비용 등 가격 산정 서비스를 제공하는데 요구되는 제반 비용을 크게 절감될 수 있다. 이에 대한 자세한 설명은 도 8a 내지 도 9b를 참조하여 후술하도록 한다.In yet another embodiment, the
검사자 단말(200)은 가격 산정 장치(100)로부터 검사 요청을 수신하고 가격 산정 장치(100)로 상품 상세 정보를 송신하는 검사자의 단말이다. 검사자 단말(200)은 예를 들어 노트북, 스마트폰 등의 모바일 컴퓨팅 장치로 구현될 수 있다. 단, 이에 국한되는 것은 아니며, 연산 수단 및 통신 수단이 구비된 어떠한 종류의 장치로 구현되더라도 무방하다.The
평가자 단말(300)은 가격 산정 장치(100)로부터 가격 산정 대상 상품에 대한 평가 요청을 수신하고, 평가자에 의해 입력된 평가 가격을 가격 산정 장치(100)로 송신하는 평가자의 단말이다. 평가자 단말(300)은 복수의 평가자 단말(300a 내지 300c)를 포함할 수 있다. 본 실시예에서, 복수의 평가자 단말(300a 내지 300c) 중 가격 산정 장치(100)에 의해 지정된 평가자의 단말이 평가 프로세스에 참여하게 된다.The
평가자 단말(300)은 예를 들어 노트북, 스마트폰 등의 모바일 컴퓨팅 장치로 구현될 수 있다. 단, 이에 국한되는 것은 아니며, 연산 수단 및 통신 수단이 구비된 어떠한 종류의 장치로 구현되더라도 무방하다.The
가격 산정 장치(100), 검사자 단말(200) 및 평가자 단말(300)은 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.The
지금까지 도 2를 참조하여 본 발명의 일 실시예에 따른 가격 산정 시스템(10)에 대하여 설명하였다. 다음으로, 본 발명의 다른 실시예에 따른 가격 산정 장치(100)의 구성 및 동작에 대하여 도 3 내지 도 4를 참조하여 설명한다.The
도 3은 본 발명의 또 다른 실시예에 따른 가격 산정 장치(100)의 기능 블록도이다.3 is a functional block diagram of a
도 3을 참조하면, 가격 산정 장치(100)는 통신부(110), 평가자 지정부(120), 가격 타당성 검증부(130), 가격 결정부(140), 평가 오차 예측부(150) 및 가격 예측부(160)를 포함할 수 있다. 다만, 도 3에는 본 발명의 실시예와 관련있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.3, the
각 구성 요소의 동작을 살펴보면, 통신부(110)는 사용자 단말, 검사자 단말(200) 및 평가자 단말(300)과 각종 데이터를 송수신한다. 이를 위해, 통신부(110)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.In operation of each component, the
구체적으로, 통신부(110)는 사용자 단말 또는 검사자 단말로부터 가격 산정 요청, 상품 상세 정보 등을 수신하고, 평가자 단말로부터 가격 산정 대상 상품에 대한 평가 가격을 수신할 수 있다. 또한, 통신부(110)는 검사자 단말로 검사 요청을 송신하고, 평가자 단말로 평가 요청 및 상품 상세 정보를 송신하며, 사용자 단말로 상기 가격 산정 대상 상품에 대한 최종 평가 가격을 송신할 수 있다.Specifically, the
평가자 지정부(120)는 통신부(110)에 의해 수신된 가격 산정 요청에 응답하여 평가 프로세스를 수행할 평가자를 지정한다. 구체적으로, 평가자 지정부(120)는 랜덤하게 평가자를 지정할 수 있고, 평가 오차 예측부(150)가 제공하는 평가자 별 예측 평가 오차를 이용하여 평가자를 지정할 수도 있다. 또한, 평가 프로세스 별로 복수의 평가자가 지정될 수 있고, 적어도 하나의 평가자가 지정될 수도 있다. 평가자 지정부(120)가 평가자를 지정하는 방법에 대한 자세한 설명은 도 5 내지 도 7c를 참조하여 후술하도록 한다.The
가격 타당성 검증부(130)는 통신부(110)에 의해 수신된 평가 가격에 대한 검증을 수행한다. 구체적으로, 가격 타당성 검증부(130)는 수신된 평가 가격 중과 가격 산정 대상 상품의 시세 가격의 범위를 비교하여, 상기 시세 가격의 범위에 속하지 않는 평가 가격을 평가 오차 계산 또는 최종 평가 가격 산정에서 제외할 수 있다. 이때, 상기 시세 가격의 범위는 예를 들어 웹 크롤링(web crawling), 기 산정된 가격 산정 대상 상품에 대한 최종 평가 가격 등을 기초로 결정될 수 있다. 단, 적정한 시세 가격을 결정할 수 없는 경우, 해당 과정은 생략될 수도 있다.The price
가격 타당성 검증부(130)는 나머지 평가 가격에 대한 평가 오차를 계산한다. 상기 평가 오차는 예를 들어 분산, 표준 편차를 이용하여 계산될 수 있으나, 다른 어떠한 방식이 이용되어도 무방하다. 평가 가격이 두 개인 경우, 가격 타당성 검증부(130)는 평가 가격의 차이로 상기 평가 오차를 계산할 수도 있다.The price
본 발명의 실시예에 따르면, 가격 타당성 검증부(130)가 계산한 평가 오차에 따라 평가 프로세스가 반복하여 수행될 수 있다. 즉, 상기 평가 오차가 임계 값 이상인 경우, 평가자 지정부(120)는 적어도 하나의 추가 평가자를 지정할 수 있고, 가격 타당성 검증부(130)는 상기 적어도 하나의 추가 평가자의 단말로부터 수신한 평가 가격을 포함하여 평가 오차를 계산할 수 있다. 이와 같은 과정은, 계산된 평가 오차가 상기 임계 값 미만이 될 때까지 등의 조건에 따라 반복 수행될 수 있다. 이에 대한 자세한 설명은 도 5를 참조하여 후술하도록 한다.According to the embodiment of the present invention, the evaluation process can be repeatedly performed according to the evaluation error calculated by the price
가격 결정부(140)는 가격 타당성 검증부(130)로부터 획득된 평가 가격을 종합하여 가격 산정 대상 상품에 대한 최종 평가 가격을 결정한다. 상기 최종 평가 가격은 예를 들어 산술 평균, 가중 평균 등의 기법으로 결정될 수 있다. 상기 가중 평균의 가중치는 평가 오차 예측부(150)가 제공한 예측 평가 오차를 기초로 산출될 수 있다. 가격 결정부(140)가 최종 평가 가격을 결정하는 방법에 대한 자세한 설명은 도 10을 참조하여 후술하도록 한다.The price determination unit (140) synthesizes the evaluation prices obtained from the price validity verification unit (130) to determine final evaluation prices for the price calculation target products. The final valuation price may be determined by techniques such as, for example, arithmetic mean, weighted average, and the like. The weights of the weighted averages can be calculated based on the prediction evaluation error provided by the estimation
평가 오차 예측부(150)는 기계 학습 기반의 평가 오차 예측 모델을 구축하고, 상기 평가 오차 예측 모델을 이용하여 평가자 별 예측 평가 오차를 산출한다. 상기 평가자 별 예측 평가 오차는 평가자를 지정하거나, 최종 평가 가격을 산정하는데 활용될 수 있다. 이에 대한 자세한 설명은 도 6 내지 도 7c, 도 10을 참조하여 후술하도록 한다.The evaluation
가격 예측부(160)는 기계 학습 기반의 가격 예측 모델을 구축하고, 상기 가격 예측 모델을 이용하여 가격 산정 대상 상품에 대한 예측 평가 가격을 산출한다. 본 발명의 실시예에 따르면, 가격 예측부(160)는 서로 다른 기계 학습 알고리즘을 기반으로 하는 복수의 가격 예측 모델을 구축할 수 있고, 각각의 가격 예측 모델이 한 명의 평가자 역할을 수행할 수 있다. 이에 대한 자세한 설명은 도 8a 내지 도 9b를 참조하여 후술하도록 한다.The
도 3의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.Each component in FIG. 3 may refer to software or hardware such as an FPGA (Field Programmable Gate Array) or an ASIC (Application-Specific Integrated Circuit). However, the components are not limited to software or hardware, and may be configured to be addressable storage media, and configured to execute one or more processors. The functions provided in the components may be implemented by a more detailed component, or may be implemented by a single component that performs a specific function by combining a plurality of components.
이하, 도 4를 참조하여 본 발명의 또 다른 실시예에 따른 가격 산정 장치(100)의 하드웨어 구성에 대하여 설명한다.Hereinafter, a hardware configuration of the
도 4를 참조하면, 가격 산정 장치(100)는 하나 이상의 프로세서(101), 버스(105), 네트워크 인터페이스(107), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 가격 산정 소프트웨어(109a)를 저장하는 스토리지(109)를 포함할 수 있다. 다만, 도 4에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 4에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.4, the
프로세서(101)는 가격 산정 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 가격 산정 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.The
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 가격 산정 방법을 실행하기 위하여 스토리지(109)로부터 하나 이상의 프로그램(109a)을 로드할 수 있다. 도 4에서 메모리(103)의 예시로 RAM이 도시되었다.The
버스(105)는 가격 산정 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(105)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The
네트워크 인터페이스(107)는 가격 산정 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(107)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(107)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.The
스토리지(109)는 상기 하나 이상의 프로그램(109a) 및 평가 이력 데이터(109b)를 비임시적으로 저장할 수 있다. 도 4에서 상기 하나 이상의 프로그램(109a)의 예시로 가격 산정 소프트웨어(109a)가 도시되었다.The
평가 이력 데이터(109b)는 기 산정된 가격 대상 상품에 대한 평가 이력을 의미한다. 평가 이력 데이터(109b)는 평가 오차 예측 모델 및 가격 예측 모델의 학습 데이터셋으로 이용될 수 있다. 구체적으로 평가 이력 데이터(109b)는 기 산정된 가격 대상 상품의 상세 상품 정보, 평가 프로세스 별 평가 오차, 평가자 별 실제 평가 오차, 최종 평가 가격 등을 포함한다. 여기서, 평가 프로세스 별 평가 오차는 각 평가 프로세스 별로 계산된 평가 가격의 분산, 표준 편차 등의 평가 오차를 의미하고, 상기 평가자 별 실제 평가 오차는 최종 평가 가격과 해당 평가자에 의해 결정된 평가 가격과의 차이를 의미한다.The
스토리지(109)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The
가격 산정 소프트웨어(109a)는 본 발명의 실시예에 따른 가격 산정 방법을 수행할 수 있다. 구체적으로, 가격 산정 소프트웨어(109a)는 메모리(103)에 로드되어, 하나 이상의 프로세서(101)에 의해, 상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 오퍼레이션, 상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 오퍼레이션, 상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 오퍼레이션, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 오퍼레이션 및 상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 오퍼레이션을 포함할 수 있다. 이외에도, 가격 산정 소프트웨어(109a)는 후술되는 몇몇 실시예들에 따른 방법 또는 동작들을 실행할 수 있다.The
지금까지, 도 3 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 가격 산정 장치(100)의 구성 및 동작에 대하여 설명하였다. 이하에서는, 도 5 내지 도 10을 참조하여 본 발명의 또 다른 실시예에 따른 가격 산정 방법에 대하여 상세하게 설명한다.Up to now, the configuration and operation of the
본 발명의 실시예에 따른 가격 산정 방법의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 본 발명의 다른 실시예에 따른 가격 산정 장치(100)일 수 있다. 단, 설명의 편의를 위해 상기 가격 산정 방법에 포함되는 각 동작의 주체는 생략될 수 있다. 한편, 가격 산정 방법의 각 단계는 가격 산정 소프트웨어(109a)가 프로세서(101)에 의해 실행됨으로써, 가격 산정 장치(100)에서 수행되는 오퍼레이션으로 구현될 수도 있다.Each step of the pricing method according to an embodiment of the present invention may be performed by a computing device. For example, the computing device may be a
본 발명의 실시예에 따른 가격 산정 방법은 가격 산정 요청에 응답하여 수행되는 제1 평가 프로세스와 평가 가격의 평가 오차에 따라 수행되는 제2 평가 프로세스를 포함한다. 상기 평가 오차는 한 단계의 평가 프로세스가 종료될 때마다(e.g. 제1 평가 프로세스 종료 후, 첫 번째 제2 평가 프로세스 종료 후, 두 번째 제2 평가 프로세스 종료 후 등) 다시 계산된다. 본 발명의 실시예에 따르면, 상기 제2 평가 프로세스는 상기 평가 오차에 따라 수행되지 않을 수 있고, 여러 번 반복하여 수행될 수도 있다. 제1 평가 프로세스 및 제2 평가 프로세스는 모두 평가자 지정 단계와 평가 가격 획득 단계를 포함하여 구성된다.A method of calculating a price according to an embodiment of the present invention includes a first evaluation process performed in response to a request for price calculation and a second evaluation process performed in accordance with an evaluation error of an evaluation price. The evaluation error is calculated again every time one evaluation process ends (e.g., after the end of the first evaluation process, after the completion of the first evaluation process, after the completion of the second evaluation process, etc.). According to an embodiment of the present invention, the second evaluation process may not be performed according to the evaluation error, and may be performed repeatedly several times. The first evaluation process and the second evaluation process all include an evaluator designation step and an evaluation price acquisition step.
도 5를 참조하여, 본 발명의 실시예에 따른 가격 산정 방법을 보다 구체적으로 설명한다. 도 5는 본 발명의 실시예에 따른 가격 산정 방법의 순서도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.The pricing method according to the embodiment of the present invention will be described in more detail with reference to FIG. 5 is a flowchart of a method of calculating a price according to an embodiment of the present invention. However, it should be understood that the present invention is not limited thereto and that some steps may be added or deleted as needed.
도 5를 참조하면, 가격 산정 장치(100)는 가격 산정 대상 상품에 대한 가격 산정 요청과 상품 상세 정보를 수신한다(S100). 전술한 바와 같이, 일 실시예에서, 상기 가격 산정 요청과 상기 상품 상세 정보는 사용자 단말과 검사자 단말로부터 각각 수신될 수 있다. 다른 실시예에서, 상기 가격 산정 요청과 상기 상품 상세 정보는 모두 사용자 단말로부터 수신된 것일 수 있다.Referring to FIG. 5, the
가격 산정 장치(100)는 상기 가격 산정 요청에 응답하여, 제1 평가 프로세스를 수행한다. 상기 제1 평가 프로세스에서, 가격 산정 장치(100)는 복수의 평가자를 지정하고(S200), 지정된 복수의 평가자의 단말로부터 각각의 평가자에 의해 결정된 평가 가격을 수신한다(S300). 단, 지정된 평가자가 가격 산정 장치(100) 내부에서 동작하는 기계 학습 모델인 경우, 가격 산정 장치(100)는 상기 기계 학습 모델로부터 예측된 평가 가격을 획득하게 된다. 가격 산정을 위해 기계 학습 모델이 활용되는 실시예는 도 8a 내지 도 9b를 참조하여 후술하도록 한다. 또한, 평가자 지정 단계(S200)에 대한 자세한 설명도 도 6 내지 도 7c를 참조하여 후술하도록 한다.The
일 실시예에서, 가격 산정 장치(100)는 상기 지정된 복수의 평가자 단말로 딥링크(deep link)가 포함된 푸시 알림 메시지를 송신할 수 있다. 이때, 상기 딥링크는 가격 대상 산정 상품에 관한 정보가 포함된 페이지의 링크를 포함한다. 따라서, 딥링크를 통해 상기 가격 대상 산정 상품에 관한 정보가 평가자 단말에 곧바로 표시될 수 있다. 본 실시예에 따르면, 평가자의 신속한 참여가 유도될 수 있는 바, 가격 산정 서비스가 신속하게 제공될 수 있다.In one embodiment, the
제1 평가 프로세스가 종료되면, 가격 산정 장치(100)는 제1 평가 프로세스를 통해 획득된 복수의 평가 가격을 기초로 평가 오차를 계산한다(S400). 예를 들어, 상기 평가 오차는 분산 또는 표준 편차를 이용하여 계산될 수 있다. 또 다른 예로, 평가 가격이 2 개인 경우, 상기 평가 오차는 평가 가격의 차이로 계산될 수도 있다. 단, 이에 국한되는 것은 아니며 어떠한 방식으로 계산되어도 무방하다.When the first evaluation process ends, the
일 실시예에서, 평가 오차 계산 단계(S400) 이전에, 개별 평가 가격에 대한 타당성 검사(미도시)가 수행될 수 있다. 예를 들어, 상기 타당성 검사는 개별 평가 가격이 웹 크롤링(web crawling) 또는 과거 평가 이력 데이터를 기초로 산출된 가격 산정 대상 상품의 시세 가격 범위(최소 시세 가격 ~ 최대 시세 가격)에 속하는지를 검사하는 방식으로 수행될 수 있다. 또한, 검사 결과, 시세 가격의 범위에 속하지 않는 개별 평가 가격은 단계(S400)의 평가 오차 계산에서 제외될 수 있다. 단, 실시예에 따라, 가격 산정 대상 상품에 대한 신뢰성 있는 시세 가격을 획득할 수 없는 경우라면 상기 타당성 검사는 생략되어도 무방하다.In one embodiment, prior to the evaluation error calculation step (S400), a plausibility check (not shown) for the individual evaluation price may be performed. For example, the validity check may be performed to check whether the individual evaluation price belongs to a quotation price range (minimum quotation price to maximum quotation price) of the price-calculated product calculated based on web crawling or past evaluation history data . ≪ / RTI > In addition, as a result of the inspection, the individual evaluation price that does not fall within the scope of the quoted price can be excluded from the evaluation error calculation in step S400. However, according to the embodiment, the validity check may be omitted if it is not possible to obtain a reliable quotation price for the price calculation target product.
단계(S400)에서 평가 오차가 계산되면, 가격 산정 장치(100)는 제2 평가 프로세스의 수행 여부를 판단하기 위해 상기 평가 오차와 임계 값을 비교한다(S500). 이때, 상기 임계 값은 기 설정된 고정 값일 수 있고, 가격 산정 대상 상품의 시세에 따라 달라지는 변동 값일 수도 있다.When the evaluation error is calculated in step S400, the
비교 결과, 상기 평가 오차가 임계 값 미만인 경우, 가격 산정 장치(100)는 제2 평가 프로세스를 수행하지 않고 최종 평가 가격을 산정한다(S700). 이미 복수의 평가자로부터 신뢰도 높은 평가 가격이 획득된 바, 더 이상의 평가 프로세스를 수행할 필요가 없기 때문이다. 반대의 경우, 가격 산정 장치(100)는 제2 평가 프로세스를 수행하게 된다. 즉, 상기 제2 평가 프로세스는 평가 오차를 줄임으로써 최종 평가 가격의 신뢰도를 높이기 위해 수행되는 평가 프로세스로 이해될 수 있다.If the evaluation error is less than the threshold value, the
상기 제2 평가 프로세스에서, 가격 산정 장치(100)는 이전에 지정된 평가자를 제외하고 적어도 하나의 추가 평가자를 지정하고, 추가 평가자의 단말로부터 평가 가격을 수신한다(S600). 물론, 상기 추가 평가자가 가격 산정 장치(100) 내부에서 동작하는 기계 학습 모델인 경우, 상기 기계 학습 모델로부터 예측 평가 가격을 획득하게 된다. 이에 대한 자세한 설명은, 도 8a 내지 도 9b를 참조하여 후술한다. 또한, 추가 평가자 지정 단계(S600)에 대한 자세한 설명 또한 도 6 내지 도 7b를 참조하여 후술하도록 한다.In the second evaluation process, the
제2 평가 프로세스가 종료되면, 가격 산정 장치(100)는 제1 평가 프로세스 및 제2 평가 프로세스를 통해 획득된 복수의 평가 가격을 기초로 평가 오차를 다시 계산한다(S400). 다시 계산된 평가 오차가 임계 값 미만인 경우, 가격 산정 장치(100)는 제1 평가 프로세스 및 제2 평가 프로세스를 통해 획득된 복수의 평가 가격을 기초로 가격 산정 대상 상품에 대한 최종 평가 가격을 산정한다(S700). 최종 평가 가격 산정 단계(S700)에 대한 자세한 설명은 도 10를 참조하여 후술하도록 한다.When the second evaluation process ends, the
참고로, 본 발명의 실시예에 따르면, 가격 산정 대상 상품이 중고차인 경우, 상기 중고차의 차량 번호를 이용하여 사고 이력을 조회하고, 상기 조회 결과에 따라, 상기 최종 평가 가격을 조정할 수 있다. 예를 들어, 사고 이력이 있는 중고차인 경우, 상기 최종 평가 가격은 더 낮은 가격으로 조정될 수 있다. 이때, 상기 중고차의 차량 번호는 상품 상세 정보에 포함될 수 있다. 또한, 상기 중고차의 차량 번호가 중고차의 이미지에 포함되어 있는 경우, 상기 중고차의 차량 번호는 컴퓨터 비전 알고리즘을 통해 상기 중고차의 이미지로부터 자동으로 추출될 수 있다.For reference, according to the embodiment of the present invention, when the price calculation target product is a used car, the accident history is inquired using the car number of the used car, and the final valuation price can be adjusted according to the inquiry result. For example, in case of a used car having an accident history, the final evaluation price can be adjusted to a lower price. At this time, the vehicle number of the used car may be included in the product detail information. If the car number of the used car is included in the image of the used car, the car number of the used car may be automatically extracted from the image of the used car through the computer vision algorithm.
가격 산정 장치(100)는 평가 오차가 여전히 임계 값을 초과하는 경우, 제2 평가 프로세스를 한번 더 수행할 수 있다. 즉, 가격 산정 장치(100)는 이전에 지정된 평가자를 제외한 적어도 하나의 추가 평가자를 더 지정하고, 추가 평가자에 의해 결정된 평가 가격을 포함하여 다시 평가 오차를 계산한다. 본 발명의 실시예에 따르면, 상기 제2 평가 프로세스는 소정의 조건을 만족할 때까지 반복하여 수행될 수 있다.The
일 실시예에서, 제2 평가 프로세스는 평가 오차가 임계 값 미만이 될 때까지 반복하여 수행될 수 있다. 본 실시예에 따르면, 임계 값 미만의 오차가 보장되는 바, 최종 산정 가격 또한 일정 수준의 신뢰도 및 정확도가 보장될 수 있다.In one embodiment, the second evaluation process may be performed iteratively until the evaluation error is below the threshold value. According to this embodiment, since an error less than the threshold value is guaranteed, the final estimated price can also be guaranteed to a certain level of reliability and accuracy.
다른 실시예에서, 제2 평가 프로세스는 임계 값 조건 또는 기 설정된 최대 반복 횟수 조건 중 어느 하나의 조건을 만족할 때까지 반복하여 수행할 수 있다. 본 실시예에 따르면, 제2 평가 프로세스가 과도하게 반복 수행되는 것이 방지될 수 있다.In another embodiment, the second evaluation process can be repeatedly performed until the condition of either the threshold condition or the predetermined maximum number of repetition condition is satisfied. According to the present embodiment, it is possible to prevent the second evaluation process from being performed excessively repeatedly.
지금까지, 도 5를 참조하여, 본 발명의 실시예에 따른 가격 산정 방법에 대하여 설명하였다. 상술한 바에 따르면, 가격 산정 장치(100)는 제1 평가 프로세스 외에 제2 평가 프로세스를 추가로 수행하여 평가 오차를 줄일 수 있다. 또한, 상술한 평가 프로세스를 통해 복수의 평가 결과가 반영된 평가 가격을 최종 평가 가격으로 산정하게 된다. 따라서, 가격 산정 대상 상품의 가치가 정확하게 책정되는 효과가 있다.Up to now, the pricing method according to the embodiment of the present invention has been described with reference to Fig. According to the above description, the
이하, 본 발명의 몇몇 실시예들에 따른 평가자 지정 방법에 대하여 상세하게 설명한다. 후술하는 평가자 지정 방법은 제1 평가 프로세스에 포함된 평가자 지정 단계(S200) 또는 제2 평가 프로세스에 포함된 평가자 지정 단계(S600)에 각각 적용될 수 있다.Hereinafter, an evaluator designation method according to some embodiments of the present invention will be described in detail. The evaluator designation method described later can be applied to the evaluator designation step S200 included in the first evaluation process or to the evaluator designation step S600 included in the second evaluation process, respectively.
일 실시예에 따른 평가자 지정 방법을 설명한다. 본 실시예에서, 가격 산정 장치(100)는 랜덤 지정 알고리즘을 이용하여 평가자를 지정한다. 상기 랜덤 지정 알고리즘이 이용되는 경우, 일부 평가자가 집중적으로 지정되는 경우가 방지될 수 있는 바, 평가자 별로 평가 이력 데이터를 고르게 수집하는데 유용할 수 있다. 본 실시예에 따르면, 상태 비유지(stateless) 방식으로 평가자 지정이 수행되므로, 간이한 구현이 가능하다는 장점이 있다.An evaluator designation method according to an embodiment will be described. In this embodiment, the
다른 실시예에 따른 평가자 지정 방법을 설명한다. 본 실시예에서, 가격 산정 장치(100)는 기계 학습 기반 제1 지정 알고리즘을 이용하여 평가자를 지정한다. 상기 기계 학습 기반 제1 지정 알고리즘은 평가 이력 데이터를 기초로 학습된 제1 평가 오차 예측 모델을 이용하는 알고리즘이다. 예를 들어, 도 6에 도시된 바와 같이 가격 산정 장치(100)는 제1 평가 오차 예측 모델에 의해 산출된 예측 평가 오차가 낮은 n명(단, n은 1이상의 자연수)의 평가자를 지정할 수 있다(S210. S220).An evaluator designation method according to another embodiment will be described. In this embodiment, the
상기 제1 평가 오차 예측 모델은 평가자 별로 가격 산정 대상 상품에 대한 예측 평가 오차를 출력하는 기계 학습 모델이다. 본 실시예에서, 상기 제1 평가 오차 예측 모델은 예를 들어 (상품, 실제 평가 오차)로 구성된 평가 이력 데이터를 학습함으로써 평가자 별로 구축될 수 있다. 여기서, 실제 평가 오차는 평가자의 평가 가격과 최종 평가 가격의 차이를 의미할 수 있다. 예를 들어, '평가자 A'의 평가 이력에서 '중고차'에 대하여 실제 평가 오차가 작게 나타난 경우, 이를 학습한 제1 평가 오차 예측 모델은 가격 산정 대상 상품이 '중고차'인 경우 '평가자 A'의 예측 평가 오차를 낮은 값으로 출력하게 된다.The first evaluation error prediction model is a machine learning model for outputting a prediction evaluation error for a pricing target product for each evaluator. In the present embodiment, the first evaluation error prediction model can be constructed for each evaluator by learning evaluation history data composed of (product, actual evaluation error), for example. Here, the actual evaluation error may mean the difference between the evaluation price of the evaluator and the final evaluation price. For example, when the actual evaluation error is small for the 'used car' in the evaluation history of the 'evaluator A', the first estimation error prediction model that has learned the evaluation results is that the evaluator A ' The prediction evaluation error is output at a low value.
본 실시예에 따르면, 상기 기계 학습 기반 제1 지정 알고리즘은 상기 랜덤 지정 알고리즘과 달리 예측 평가 오차를 관리하므로 상태 유지(stateful) 방식으로 동작한다. 따라서, 상기 기계 학습 기반 제1 지정 알고리즘을 이용하는 경우 상기 랜덤 지정 알고리즘에 비해 컴퓨팅 비용 및 저장 비용이 더 소요될 수 있으나, 개별 평가 가격의 정확도는 향상될 수 있다. 또한, 상기 개별 평가 가격의 정확도 향상에 따라 제2 평가 프로세스의 반복 횟수가 줄어들게 되므로, 신속하게 가격 산정 서비스게 제공되는 효과가 있다.According to the present embodiment, the machine learning based first specification algorithm operates in a stateful manner because it manages prediction error of prediction, unlike the random assignment algorithm. Therefore, when the machine learning based first designation algorithm is used, the computation cost and the storage cost may be increased as compared with the random assignment algorithm, but the accuracy of the individual evaluation price can be improved. In addition, since the number of repetitions of the second evaluation process is reduced as the accuracy of the individual evaluation price is improved, there is an effect that the price estimation service can be provided quickly.
또 다른 실시예에 따른 평가자 지정 방법을 설명한다. 본 실시예에서, 가격 산정 장치(100)는 기계 학습 기반 제2 지정 알고리즘을 이용하여 평가자를 지정한다. 상기 기계 학습 기반 제2 지정 알고리즘은 평가 이력 데이터를 기초로 학습된 제2 평가 오차 예측 모델을 이용하는 알고리즘이다. 예를 들어, 도 6에 도시된 바와 같이 가격 산정 장치(100)는 제2 평가 오차 예측 모델에 의해 예측된 예측 평가 오차가 낮은 n명(단, n은 1이상의 자연수)의 평가자를 지정할 수 있다(S210. S220).The evaluator designation method according to another embodiment will be described. In this embodiment, the
상기 제2 평가 오차 예측 모델은 예를 들어 (속성 a1, 속성 a2, ... , 속성 an, 실제 평가 오차)로 구성된 평가 이력 데이터를 학습함으로써 평가자 별로 구축될 수 있다. 여기서, 속성 a1 내지 속성 an은 상품 A에 대한 속성들로 상품 상세 정보를 구성하는 데이터를 의미한다. 즉, 상기 제2 평가 오차 예측 모델은 상기 제1 평가 오차 예측 모델보다 세분화된 정보인 상품 상세 정보를 학습한 기계 학습 모델로 이해될 수 있다. 상기 제2 평가 오차 예측 모델은 상품 상세 정보가 입력되면 평가자 별로 예측 평가 오차를 출력할 수 있다. 예를 들어, '평가자 A'의 평가 이력에서 연식이 '2010년 ~ 2012년', 주행 거리가 '5만km ~ 10만 km'인 중고차에 대하여 실제 평가 오차가 작게 나타난 경우, 이를 학습한 제2 평가 오차 예측 모델은 가격 산정 대상 상품이 연식 '2011년', 주행 거리 '5만km'인 중고차인 경우 '평가자 A'의 예측 평가 오차를 낮은 값으로 출력하게 된다.The second evaluation error prediction model can be constructed for each evaluator by learning evaluation history data composed of (attribute a 1 , attribute a 2 , ..., attribute a n , actual evaluation error), for example. Here, the attributes a 1 to a n denote data constituting the product detail information with the attributes for the product A. That is, the second evaluation error prediction model can be understood as a machine learning model that learns product detail information that is information subdivided from the first evaluation error prediction model. The second evaluation error prediction model can output a prediction evaluation error for each evaluator when the detailed product information is input. For example, if the evaluation results of 'Evaluator A' show that the evaluation error is small for the used car whose year is '2010 ~ 2012' and the mileage is 50,000 ~ 100,000 km, 2 evaluation error prediction model outputs the predictive evaluation error of 'Evaluator A' as a low value when the price target product is a used car having a year 2011 and a mileage 50,000 km.
본 실시예에 따르면, 상기 기계 학습 기반 제2 지정 알고리즘 또한 상태 유지(stateful) 방식으로 동작한다. 단, 상기 기계 학습 기반 제2 지정 알고리즘은 상기 기계 학습 기반 제1 지정 알고리즘과 비교하여 학습 데이터의 차원이 크게 증가했기 때문에, 컴퓨팅 비용 및 저장 비용이 더욱 많이 요구될 수 있다. 물론, 개별 평가 가격의 정확도는 더욱 향상될 수 있다.According to this embodiment, the machine learning based second designation algorithm also operates in a stateful manner. However, since the machine learning based second designation algorithm greatly increases the dimension of the learning data as compared with the machine learning based first designation algorithm, the computation cost and the storage cost can be more demanded. Of course, the accuracy of the individual evaluation price can be further improved.
참고로, 기계 학습 분야의 당업자라면 학습 데이터의 차원이 높은 경우 차원의 저주(curse of dimensionality) 문제가 발생할 수 있다는 사실을 인지할 것이다. 따라서, 실시예에 따라 상기 제2 평가 오차 예측 모델을 구축하기 전에 당해 기술 분야에서 널리 알려진 차원 감소 알고리즘이 수행될 수 있다. 예를 들어 가격 산정 장치(100)는 주성분 분석(principal component analysis; PCA)을 통해 평가 이력 데이터의 차원을 감소시키고, 차원이 감소된 학습 데이터를 학습하는 방식으로 제2 평가 오차 예측 모델을 구축할 수 있다.For reference, those skilled in the art of machine learning will recognize that a high level of learning data can cause a curse of dimensionality problem. Therefore, a dimension reduction algorithm that is well known in the art can be performed before building the second evaluation error prediction model according to the embodiment. For example, the
상술한 상기 제1 평가 지수 예측 모델 및 제2 평가 오차 예측 모델은 어떠한 기계 학습 모델로 구현되어도 무방하다. 실시예에 따라, 가격 산정 장치(100)는 k-접합 교차 검증 기법(k-fold cross validation)을 통해 평가자 별로 성능이 우수한 기계 학습 모델을 선정하여 상기 제1 평가 오차 예측 모델 및 상기 제2 평가 오차 예측 모델을 구축할 수도 있을 것이다.The first evaluation index prediction model and the second evaluation error prediction model described above may be implemented by any machine learning model. According to the embodiment, the
한편, 본 발명의 일 실시예에 따르면, 평가 프로세스 별로 적어도 일부는 서로 다른 지정 알고리즘이 적용될 수 있다. 예를 들어, 제1 평가 프로세스의 평가자 지정 단계(S200)에는 랜덤 지정 알고리즘이 적용되고, 제2 평가 프로세스의 평가자 지정 단계(S600)에는 기계 학습 기반 제1 지정 알고리즘 및 기계 학습 기반 제2 지정 알고리즘(이하, 통칭하는 경우 '기계 학습 기반 지정 알고리즘'으로 명명함)적용될 수 있다. 본 실시예에 따르면, 랜덤 지정 알고리즘을 통해 평가자 별로 균일하게 분포된 평가 이력 데이터가 수집될 수 있다. 수집된 평가 이력 데이터는 평가 오차 예측 모델 등의 기계 학습 모델을 구축하는데 이용될 수 있다. 또한, 본 실시예에 따르면, 기계 학습 기반 지정 알고리즘에서 예측 평가 오차가 고려된다. 이에 따라, 제2 평가 프로세스의 반복이 최소화될 수 있다.According to an embodiment of the present invention, at least some different assignment algorithms may be applied to each evaluation process. For example, a random assignment algorithm is applied to an evaluator designation step (S200) of the first evaluation process, and an evaluator designation step (S600) of the second evaluation process includes a machine learning based first designating algorithm and a machine learning based second designating algorithm (Hereinafter collectively referred to as a " machine learning basis designation algorithm "). According to the present embodiment, the evaluation history data uniformly distributed by the evaluator can be collected through the random assignment algorithm. The collected evaluation history data can be used to build a machine learning model such as an evaluation error prediction model. Further, according to the present embodiment, a prediction evaluation error is considered in the machine learning based designation algorithm. Thus, the repetition of the second evaluation process can be minimized.
본 발명의 다른 실시예에 따르면, 평가 프로세스 중 k 번째(단, k는 1 이상의 자연수) 평가 프로세스를 통해 산출된 제1 평가 오차와 k+1 번째 평가 프로세스를 통해 산출된 제2 평가 오차의 비교 결과를 토대로 지정 알고리즘이 변경될 수 있다. 예를 들어, 제2 평가 오차가 제1 평가 오차보다 크고, k+1 번째 평가 프로세스에서 랜덤 지정 알고리즘 또는 기계 학습 기반 제1 지정 알고리즘이 적용된 경우, k+2 번째 평가 프로세스에서는 기계 학습 기반 제1 지정 알고리즘 또는 기계 학습 기반 제2 지정 알고리즘이 적용될 수 있다. 이를 통해, 제2 평가 프로세스의 과도한 반복이 방지될 수 있다.According to another embodiment of the present invention, a comparison is made between the first evaluation error calculated through the k-th evaluation process (k is a natural number equal to or greater than 1) and the second evaluation error calculated through the (k + 1) The assignment algorithm can be changed based on the result. For example, when the second evaluation error is larger than the first evaluation error and the random assignment algorithm or the machine learning based first assignment algorithm is applied in the (k + 1) th evaluation process, the k + A designation algorithm or a machine learning-based second designation algorithm may be applied. Through this, excessive repetition of the second evaluation process can be prevented.
지금까지, 본 발명의 몇몇 실시예들에 따른 평가자 지정 방법에 대하여 설명하였다. 이하, 도 7a 내지 도 7c를 참조하여, 복수의 지정 알고리즘을 운영하는 본 발명의 몇몇 실시예들에 대하여 설명한다.Up to now, an evaluator designation method according to some embodiments of the present invention has been described. Hereinafter, referring to Figs. 7A to 7C, some embodiments of the present invention for operating a plurality of assignment algorithms will be described.
전술한 본 발명의 몇몇 실시예들에 따르면, 기계 학습 기반 지정 알고리즘은 기계 학습 기반의 평가 오차 예측 모델을 기초로 동작하는 알고리즘이다. 즉, 기계 학습 기반 지정 알고리즘을 이용하기 위해서는 평가 오차 예측 모델의 학습이 선행되어야 한다. 그러나, 가격 산정 서비스를 제공하는 초기에는 축적된 평가 이력 데이터가 많지 않으므로, 일정량의 평가 이력 데이터가 축적되기 전까지는 상기 기계 학습 기반의 지정 알고리즘이 활용되기 어렵다.According to some embodiments of the present invention described above, the machine learning based designation algorithm is an algorithm that operates based on a machine learning based evaluation error prediction model. In other words, in order to use the machine learning-based designation algorithm, learning of the evaluation error prediction model should be preceded. However, since there are not many accumulated evaluation history data at the beginning of providing the pricing service, the above-mentioned machine learning-based designation algorithm is difficult to be utilized until a certain amount of evaluation history data is accumulated.
따라서, 본 발명의 실시예에 따르면, 가격 산정 장치(100)는 도 7a에 도시된 바와 같이 랜덤 지정 알고리즘 및 기계 학습 기반 지정 알고리즘을 운영할 수 있다. 도 7a에 도시된 그래프에서, x축은 시간을 나타내고, y축은 점유 비율을 나타낸다. 즉, 그래프의 상단은 복수의 지정된 평가자 중에서 랜덤 지정 알고리즘에 의해 지정된 평가자의 점유 비율이고, 그래프의 하단은 복수의 지정된 평가자 중에서 기계 학습 기반 지정 알고리즘에 의해 지정된 평가자의 점유 비율을 의미한다. 이하, 도 7a를 참조하여 설명한다.Therefore, according to the embodiment of the present invention, the
본 실시예에서, 가격 산정 장치(100)는 제1 시점(T1)까지 랜덤 지정 알고리즘을 이용하여 평가자를 지정한다. 즉, 제1 시점(T1)까지의 기간은 랜덤 지정을 통해 평가 이력 데이터를 축적하는 기간으로 이해될 수 있다. 제1 시점(T1)이후부터, 가격 산정 장치(100)는 랜덤 지정 알고리즘과 기계 학습 기반 지정 알고리즘을 혼용하여 평가자를 지정할 수 있다. 단, 평가 이력 데이터가 축적될수록, 평가 오차 예측 모델의 정확도는 향상될 것이므로, 제2 시점(T2)까지, 가격 산정 장치(100)는 기계 학습 기반 지정 알고리즘의 점유 비율을 점차 늘려갈 수 있다.In this embodiment, the
본 실시예에서, 제2 시점(T2) 이후에도, 가격 산정 장치(100)는 소정의 점유 비율로 랜덤 지정 알고리즘을 이용한다. 기계 학습 기반 지정 알고리즘만을 이용하는 경우 예측 평가 오차가 낮은 일부 평가자만이 지정되게 되는 바, 일부 평가자에게 편중된 평가 이력 데이터가 생성되기 때문이다. 따라서, 가격 산정 장치(100)는 제2 시점(T2) 이후에도, 랜덤 지정 알고리즘을 일정 비율로 이용함으로써 편중된 평가 이력 데이터가 생성되는 것을 방지하고, 예측 평가 오차가 높은 평가자에게는 예측 평가 오차를 향상시킬 기회를 부여할 수 있다. 아울러, 전술한 바에 따르면 복수의 평가 가격을 기초로 최종 평가 가격을 산정하는 바, 랜덤 지정된 평가자의 평가 가격에 다소 오차가 있더라도 최종 평가 가격의 신뢰도 저하에 큰 영향을 미치지 않는다.In the present embodiment, even after the second time point T 2 , the
본 실시예에서, 가격 산정 장치(100)는 평가 오차 예측 모델의 평균 오차 또는 학습 데이터인 평가자 별 평가 이력 데이터 개수의 평균 및 분산 중 적어도 하나를 기초로 기계 학습 기반 지정 알고리즘의 점유 비율을 조정할 수 있다. 상기 평균 오차는 예를 들어 k-접합 교차 검증 기법을 통해 산출될 수 있고, 가격 산정 장치(100)는 상기 평균 오차가 낮을수록 기계 학습 기반 지정 알고리즘의 점유 비율을 증가시킬 수 있다.In this embodiment, the
또한, 가격 산정 장치(100)는 평가자 별 학습 데이터 개수(#)의 평균이 크고, 분산이 작을수록 기계 학습 기반 지정 알고리즘의 점유 비율을 증가시킬 수 있다. 예를 들어, 도 7b 및 도 7c에 도시된 그래프를 비교하면, 도 7b에 도시된 그래프가 평가자 별 학습 데이터 개수의 평균이 높고, 분산이 작은 경우를 나타내는 것을 알 수 있다. 즉, 평가자 별 학습 데이터 개수의 평균이 높고, 분산이 작다는 것은 평가자 별로 학습 데이터가 고르게 분포되어 있고, 학습 데이터의 양이 많다는 것을 의미한다. 고른 분포를 갖는 다수의 학습 데이터를 학습한 기계 학습 모델은 일반적으로 예측의 정확도가 높으므로, 본 실시예에서 가격 산정 장치(100)는 이를 통해 기계) 학습 기반 지정 알고리즘의 점유 비율을 조정할 수 있다.In addition, the
지금까지, 도 6 내지 도 7b를 참조하여, 기계 학습 기반 평가 오차 예측 모델을 활용한 평가자 지정 알고리즘에 대한 몇몇 실시예에 대하여 설명하였다. 이하에서는, 평가자 지정을 위해 활용된 평가 오차 예측 모델 외에 또 다른 기계 학습 모델을 활용하는 몇몇 실시예들에 대하여 도 8a 내지 도 9b를 참조하여 설명한다. 이하의 명세서에서, 이해의 편의를 제공하기 위해 '제1 평가자'는 기계 학습 모델이 아닌 평가자, '제2 평가자'는 가격 예측 모델로 구현된 평가자라는 의미로 사용한다. 또한, 평가자는 상기 제1 평가자 및 상기 제2 평가자를 포함하는 의미로 사용하고, 평가자 지정 알고리즘에 의해 지정된 평가자는 평가 프로세스에 참여하는 평가자라는 의미에서 '참여 평가자'라는 용어를 사용하도록 한다.Up to now, with reference to Figs. 6 to 7B, some embodiments of an evaluator designation algorithm utilizing a machine learning based evaluation error prediction model have been described. In the following, some embodiments that utilize another machine learning model in addition to the evaluation error prediction model utilized for evaluator designation will be described with reference to Figs. 8A to 9B. In the following description, the 'first evaluator' is used as an evaluator, not the machine learning model, and the 'second evaluator' is used as an evaluator implemented as a price prediction model. Also, the evaluator uses the meaning including the first evaluator and the second evaluator, and the evaluator specified by the evaluator designation algorithm uses the term " participant evaluator " in the sense of the evaluator participating in the evaluation process.
몇몇 실시예에서, 도 8a에 도시된 바와 같이 가격 산정 장치(100)는 기계 학습 기반의 가격 예측 모델을 평가자로 이용하여 최종 평가 가격을 산정할 수 있다. 상기 가격 예측 모델은 예를 들어 (속성 a1, 속성 a2, ... , 속성 an, 최종 평가 가격)로 구성된 상품 별 평가 이력 데이터를 학습함으로써 상품 별로 구축될 수 있다. 상기 가격 예측 모델은 어떠한 기계 학습 모델로 구현되어도 무방하다. 실시예에 따라, 가격 산정 장치(100)는 k-접합 교차 검증 기법(k-fold cross validation)을 통해 상품 별로 서로 다른 기계 학습 기반의 가격 예측 모델 중에서 성능이 우수한 모델을 선정하는 방식으로 상기 가격 예측 모델을 구축할 수도 있을 것이다.In some embodiments, as shown in FIG. 8A, the
일 실시예에서, 도 8b에 도시된 바와 같이 n명(단, n은 2 이상의 자연수)의 참여 평가자를 지정하는 경우, 가격 산정 장치(100)는 제1 평가자 중에서 n-k명(단, k는 n보다 작은 자연수)의 참여 평가자를 지정하고(S230), 제2 평가자 중에서 나머지 k명의 참여 평가자를 지정할 수 있다(S240). 이때, 참여 평가자로 지정된 k명의 제2 평가자는 예를 들어 서로 다른 기계 학습 모델에 기반한 것일 수 있다. 본 실시예에서, 상기 k의 값은 기 설정된 고정 값일 수 있고, 가격 예측 모델의 평균 오차 등에 따라 달라지는 변동 값일 수도 있다. 즉, 실시예에 따라, k는 평균 오차가 임계 값 이하인 가격 예측 모델의 개수를 의미할 수 있고, 가격 예측 모델의 학습이 성숙되어 평균 오차가 줄어들수록 상기 k의 값은 증가될 수 있다.In one embodiment, when assigning n participants (where n is a natural number of 2 or more) as shown in FIG. 8B, the
다른 실시예에서, 제2 평가자 각각에 대해서 평가 오차 예측 모델이 제1 평가자와 동일하게 구축될 수 있다. 본 실시예에서, 가격 산정 장치(100)는 도 8a에 도시된 평가자 풀 내의 제1 평가자 및 제2 평가자 중에서 예측 평가 오차가 낮은 제1 평가자 및/또는 제2 평가자를 참여 평가자로 지정할 수 있다. 본 실시예에서는, 제2 평가자의 예측 평가 오차가 제1 평가자의 예측 평가 오차보다 낮아지는 경우, 제1 평가자의 개입 없이 기계 학습 모델만으로 상술한 가격 산정 방법이 수행될 수도 있다. 이와 같은 경우, 상품의 가치 평가에 소요되는 평가자의 인건비, 시간 비용 등 가격 산정 서비스에 요구되는 제반 비용이 크게 절감될 수 있다.In another embodiment, an evaluation error prediction model may be constructed for each of the second evaluators in the same manner as the first evaluator. In the present embodiment, the
이하에서는, 가격 산정 장치(100)가 시간의 흐름에 따라 제1 평가자와 제2 평가자를 참여 평가자로 운영하는 몇몇 실시예에 대하여 설명하도록 한다.Hereinafter, the
본 발명의 실시예에 따르면, 가격 산정 장치(100)는 도 9a에 도시된 바와 같이 평가자 지정을 수행할 수 있다. 도 9에 도시된 그래프의 의미는 도 7a에 도시된 그래프와 동일하다. 이하, 도 9a를 참조하여 설명한다.According to the embodiment of the present invention, the
본 실시예에서, 가격 산정 장치(100)는 제1 시점(T1)까지 랜덤 지정 알고리즘을 이용하여 제1 평가자를 참여 평가자로 지정한다. 즉, 제1 시점(T1)까지의 기간은 제1 평가자만을 참여 평가자로 지정하여 평가 이력 데이터를 축적하는 기간으로 이해될 수 있다. 제1 시점(T1)이후부터, 가격 산정 장치(100)는 제1 평가자와 제2 평가자를 함께 참여 평가자로 지정할 수 있다. 이때, 평가자 지정 알고리즘은 전술한 지정 알고리즘이 적절하게 조합되어 이용될 수 있을 것이다.In this embodiment, the
본 실시예에서, 평가 이력 데이터가 축적될수록, 가격 예측 모델의 정확도는 향상될 것이므로, 제2 시점(T2)까지, 가격 산정 장치(100)는 참여 평가자 중에서 제2 평가자가 차지하는 점유 비율을 점차 늘려갈 수 있다.In this embodiment, as the evaluation history data is accumulated, the accuracy of the price prediction model will be improved. Therefore, until the second time point T 2 , the
본 실시예에서, 제2 시점(T2) 이후에도, 가격 산정 장치(100)는 소정의 점유 비율로 제1 평가자를 참여 평가자로 지정할 수 있다. 제1 평가자에 의해 결정된 평가 가격 데이터를 지속적으로 축적할 필요가 있기 때문이다. 예를 들어, 시간에 따라 가격 산정 대상 상품의 시세에 변동이 있을 수 있기 때문에, 가격 예측 모델은 꾸준하게 학습이 수행되어야 하고, 이를 위해 제1 평가자에 의해 결정된 평가 가격을 계속해서 축적할 필요가 있다.In the present embodiment, even after the second time point T 2 , the
도 9b는 가격 예측 모델과 복수의 평가자 지정 알고리즘을 운영하는 실시예를 도시하고 있다. 전술한 바와 같이, 평가자 풀에서 제1 평가자 및/또는 제2 평가자를 참여 평가자로 지정하는 경우, 운영 정책에 따라 어떠한 지정 알고리즘이 적용되어도 무방하나, 이해의 편의를 위해 도 9b에 도시된 일 실시예에 대하여 설명하도록 한다. 도 9b 도시된 그래프의 의미는 도 7a 및 도 9a에 도시된 그래프와 동일하다.FIG. 9B shows an embodiment of operating a price prediction model and a plurality of evaluator designation algorithms. As described above, when designating the first evaluator and / or the second evaluator as the participant evaluator in the evaluator pool, any designation algorithm may be applied according to the operational policy. However, for convenience of understanding, An example will be described. The meaning of the graph shown in Fig. 9B is the same as the graph shown in Figs. 7A and 9A.
도 9b를 참조하면, 가격 산정 장치(100)는 제1 시점(T1)까지 랜덤 지정 알고리즘을 이용하여 제1 평가자를 참여 평가자로 지정한다. 이를 통해, 제 1 시점(T1)까지 평가 이력 데이터가 축적될 수 있다. 단, 제1 시점(T1) 이후에도, 랜덤 지정 알고리즘을 이용하여 제1 평가자가 참여 평가자로 지정될 수 있다. 이는, 가격 산정 대상 상품의 시세 변동을 고려하여 새로운 평가 이력 데이터가 수집될 필요가 있기 때문이다.Referring to FIG. 9B, the
제1 시점(T1) 이후부터, 참여 평가자의 일부는 기계 학습 기반 지정 알고리즘을 이용하여 지정된 제1 평가자일 수 있다. 즉, 제1 시점(T1) 이후부터, 보다 양질의 평가 이력 데이터가 축적될 수 있다. 이에 대한 설명은 도 7a을 참조하여 설명한 사항과 중복되므로 생략한다.From a first point in time (T 1 ), some of the participant assessors may be designated first evaluators using a machine learning based specification algorithm. That is, from the first time point T 1 onward, more good evaluation history data can be accumulated. The description thereof will be omitted because it is duplicated in the description with reference to FIG. 7A.
제2 시점(T2) 이후부터, 축적된 평가 이력 데이터를 학습한 가격 예측 모델, 즉 제2 평가자가 참여 평가자로 지정될 수 있다. 제2 평가자에 대한 평가 오차 예측 모델은 아직 구축되지 않은 바, 제2 평가자는 랜덤 지정 알고리즘을 이용하여 지정될 수 있다. 제2 시점(T2) 이후부터, 참여 평가자로 지정된 제2 평가자에 대한 실제 평가 오차가 평가 이력 데이터로 축적되게 된다.From the second time point T 2 onward, the pricing prediction model in which the accumulated evaluation history data is learned, that is, the second evaluator can be designated as the participant evaluator. Since an evaluation error prediction model for the second evaluator has not yet been established, the second evaluator can be specified using a random assignment algorithm. After the second time point (T 2 ), the actual evaluation error for the second evaluator designated as the participant evaluator is accumulated in the evaluation history data.
제2 평가자에 대한 실제 평가 오차를 학습하여, 평가 오차 예측 모델이 구축되면, 제2 평가자를 참여 평가자로 지정하기 위해, 기계 학습 기반 지정 알고리즘을 이용될 수 있다. 예를 들어, 제3 시점(T3) 이후부터 기계 학습 기반 지정 알고리즘을 이용하여 제2 평가자가 참여 평가자 중 일부로 지정될 수 있다.A machine learning based designation algorithm can be used to learn the actual evaluation error for the second evaluator so that, when the evaluation error prediction model is built, to designate the second evaluator as a participant evaluator. For example, from a third time point (T 3 ) onward, a second evaluator may be designated as part of the participant evaluators using a machine learning based specification algorithm.
한편, 제3 시점(T3) 이후에도, 랜덤 지정 알고리즘을 이용한 제1 평가자 및/또는 제2 평가자가 참여 평가자로 지정될 수 있다. 이는 전술한 바와 같이, 편향되지 않은 평가 이력 데이터를 계속해서 수집하고, 가격 산정 대상 상품의 시세 변동에 유연하게 대응하기 위해서이다.On the other hand, even after the third time point T3, the first evaluator and / or the second evaluator using the random assignment algorithm can be designated as the participant evaluator. This is to continuously collect the uneventuated evaluation history data and to flexibly cope with the fluctuation of the price of the price target product as described above.
도 9b에 도시된 실시예는 가격 예측 모델과 복수의 지정 알고리즘을 운영하는 일 예에 불과함에 유의하여야 한다. 본 발명의 다른 실시예에 따르면, 가격 산정 장치(100)는 얼마든지 다른 조합을 통해 참여 평가자를 지정할 수 있다.It should be noted that the embodiment shown in FIG. 9B is merely an example of operating the price prediction model and a plurality of designating algorithms. According to another embodiment of the present invention, the
지금까지, 기계 학습 기반의 가격 예측 모델을 활용하는 몇몇 실시예들에 대하여 도 8a 내지 도 9b를 참조하여 설명하였다. 이하에서는, 가격 산정 대상 상품에 대한 최종 평가 가격을 산정하는 단계(S700)에 대하여 상세하게 설명하도록 한다.Up to now, several embodiments utilizing a machine learning based price prediction model have been described with reference to Figures 8A-B. Hereinafter, the step S700 of calculating the final evaluation price for the price calculation target product will be described in detail.
일 실시예에서, 가격 산정 장치(100)는 기 수행된 평가 프로세스에서 획득된 평가 가격을 산술 평균하여 가격 산정 대상 상품의 최종 평가 가격을 산정할 수 있다. 이때, 상기 산술 평균은 평가 가격 전부에 대해서 수행될 수 있고, 일부에 대해서도 수행될 수도 있다. 예를 들어, 가격 산정 장치(100)는 획득된 평가 가격 중에서 개별 평가 오차(e.g. 전체 평가 가격의 평균 - 평가 가격)가 임계 값 이상인 일부 평가 가격을 제외하고, 나머지 일부 평가 가격에 대한 산술 평균을 통해 최종 평가 가격을 산정할 수 있다.In one embodiment, the
다른 실시예에서, 가격 산정 장치(100)는 전술한 기계 학습 모델 중 평가 오차 예측 모델을 이용하여 최종 가격을 산정할 수 있다. 구체적으로, 도 10에 도시된 바와 같이, 가격 산정 장치(100)는 평가 오차 예측 모델을 이용하여 기 지정된 평가자 각각의 예측 평가 오차를 산출할 수 있다(S701). 다음으로, 가격 산정 장치(100)는 예측 평가 오차를 기초로 기 지정된 평가자 각각의 가중치를 결정하고, 상기 가중치 및 상기 평가 가격의 가중 평균(weighted average)을 통해 최종 평가 가격을 산정할 수 있다(S720). 본 실시예에 따르면, 예측 평가 오차가 낮은 평가자에게 더 높은 가중치가 부여됨으로써, 해당 평가자의 평가 가격이 최종 산정 가격에 더 많은 영향을 미치게 된다. 따라서, 예측 평가 오차에 관계 없이 동일한 가중치가 부여되는 산술 평균에 비해 더 정확하게 최종 평가 가격이 산정될 수 있다.In another embodiment, the
지금까지 도 1 내지 도 10을 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The concepts of the invention described above with reference to Figures 1 to 10 can be implemented in computer readable code on a computer readable medium. The computer readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) . The computer program recorded on the computer-readable recording medium may be transmitted to another computing device via a network such as the Internet and installed in the other computing device, thereby being used in the other computing device.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although the operations are shown in the specific order in the figures, it should be understood that the operations need not necessarily be performed in the particular order shown or in a sequential order, or that all of the illustrated operations must be performed to achieve the desired result. In certain situations, multitasking and parallel processing may be advantageous. Moreover, the separation of the various configurations in the above-described embodiments should not be understood as such a separation being necessary, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products .
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I can understand that. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
Claims (16)
가격 산정이 기 수행된 상품에 대한 평가 이력 데이터를 학습하여 기계 학습 기반의 평가 오차 예측 모델을 구축하되, 상기 평가 오차 예측 모델은 상품 상세 정보의 입력에 응답하여 평가자 별 예측 평가 오차를 출력하는 모델인 것인, 단계;
상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하되, 상기 복수의 평가자 중 일부의 평가자는 상기 평가 오차 예측 모델에 의해 예측된 평가자 별 예측 평가 오차를 기초로 지정된 것인, 단계;
상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 단계;
상기 복수의 평가자 각각의 평가자 별 예측 평가 오차를 이용하여, 상기 복수의 평가자 각각에 대한 평가자 별 가중치를 산출하는 단계; 및
상기 획득된 평가 가격 및 상기 평가자 별 가중치를 이용하여, 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계를 포함하는 것을 특징으로 하는,
가격 산정 방법.A method for calculating a price of a product to be priced, which is performed by a price calculation device,
The evaluation error prediction model is constructed based on the machine learning by learning the evaluation history data of the product on which the price has been calculated. The evaluation error prediction model is a model for outputting the estimation error of the evaluator in response to the input of the product detail information , ≪ / RTI >
Wherein a plurality of evaluators are designated in response to a price calculation request for the price calculation target product, wherein a plurality of evaluators are selected from among a plurality of evaluators, , step;
Obtaining an evaluation price of the pricing target product from the terminals of the plurality of evaluators;
Calculating a weight for each evaluator for each of the plurality of evaluators by using a predictor evaluation error of each evaluator for each of the plurality of evaluators; And
And calculating a final evaluation price of the price calculation target merchandise using the obtained evaluation price and the weight of the evaluator.
Price calculation method.
상기 복수의 평가자 중에서 적어도 하나의 평가자는, 기계 학습 기반의 가격 예측 모델이고,
상기 가격 예측 모델은, 상기 기 수행된 상품의 상품 상세 정보 및 상기 기 수행된 상품의 최종 평가 가격으로 구성된 평가 이력 데이터를 학습하여 구축된 모델인 것을 특징으로 하는,
가격 산정 방법.The method according to claim 1,
Wherein at least one of the plurality of evaluators is a machine learning-based price prediction model,
Wherein the price prediction model is a model constructed by learning evaluation history data composed of product detailed information of the previously performed goods and final evaluation prices of the previously performed goods.
Price calculation method.
상기 복수의 평가자 중 상기 일부의 평가자를 제외한 나머지 평가자는 랜덤(random)하게 지정되되,
시간이 지남에 따라, 상기 복수의 평가자 중에서 상기 일부의 평가자가 차지하는 점유 비율이 높아지는 것을 특징으로 하는,
가격 산정 방법.The method according to claim 1,
Wherein the plurality of evaluators are randomly designated except for the part of the evaluators,
The occupancy rate of the part of the evaluators among the plurality of evaluators increases with time.
Price calculation method.
상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 단계;
상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 단계;
상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 단계;
상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 단계; 및
상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계를 포함하는 것을 특징으로 하는,
가격 산정 방법.A method for calculating a price of a product to be priced, which is performed by a price calculation device,
Performing a first evaluation process of designating a plurality of evaluators in response to a request for price calculation for the product to be priced and obtaining an evaluation price of the product to be priced from the terminals of the plurality of evaluators;
Calculating a first evaluation error based on an evaluation price obtained through the first evaluation process;
Performing a second evaluation process of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value and obtaining an evaluation price of the price to be evaluated from the terminal of the additional evaluator;
Calculating a second evaluation error based on the evaluation price obtained through the first evaluation process and the second evaluation process; And
And calculating a final evaluation price of the price calculation target product based on the evaluation price obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold value As a result,
Price calculation method.
상기 제2 평가 오차가 상기 임계 값 이상인 경우, 상기 제2 평가 오차가 상기 임계 값 미만이될 때까지, 상기 제2 평가 프로세스를 반복하여 수행하는 단계를 더 포함하는 것을 특징으로 하는,
가격 산정 방법.5. The method of claim 4,
And repeating the second evaluation process until the second evaluation error becomes less than the threshold value when the second evaluation error is equal to or greater than the threshold value.
Price calculation method.
상기 복수의 평가자 또는 상기 적어도 하나의 추가 평가자는, 랜덤(random)하게 지정된 것을 특징으로 하는,
가격 산정 방법.5. The method of claim 4,
Wherein the plurality of evaluators or the at least one additional evaluator are randomly designated.
Price calculation method.
상기 복수의 평가자 또는 상기 적어도 하나의 추가 평가자는, 상기 가격 산정 대상 상품에 대한 평가자 별 예측 평가 오차를 기준으로 지정된 것이고,
상기 평가자 별 예측 평가 오차는, 상기 가격 산정 대상 상품의 상품 상세 정보를 기계 학습 기반의 평가 오차 예측 모델에 입력하여 예측된 평가자 별 평가 오차를 가리키며,
상기 평가 오차 예측 모델은, 기 산정된 상품의 상품 상세 정보 및 상기 기 산정된 상품의 최종 평가 가격과 평가자에 의해 결정된 상기 기 산정된 상품의 평가 가격과의 차이를 가리키는 실제 평가 오차로 구성된 평가자 별 평가 이력 데이터를 학습하여 구축된 모델인 것을 특징으로 하는,
가격 산정 방법.5. The method of claim 4,
Wherein said plurality of evaluators or said at least one additional evaluator is specified based on a evaluator evaluation error of each evaluator for said price calculation target product,
The predictor evaluation error of each evaluator indicates an estimated evaluation error of each evaluator by inputting the product detail information of the price calculation target product into the evaluation error prediction model of the machine learning based,
Wherein the evaluation error prediction model includes an evaluation error prediction module that is configured by an evaluator consisting of actual product evaluation information indicating the difference between the product detailed information of the manufactured product and the estimated evaluation price of the previously calculated product determined by the evaluator Wherein the evaluation history data is a model constructed by learning evaluation history data.
Price calculation method.
상기 복수의 평가자 또는 상기 적어도 하나의 추가 평가자는,
제1 시점 이전까지 랜덤 지정 알고리즘을 이용하여 지정되고,
상기 제1 시점 이후부터 기계 학습 기반의 지정 알고리즘 또는 상기 랜덤 지정 알고리즘 중 어느 하나의 지정 알고리즘을 이용하여 지정되되,
시간이 지날수록 상기 기계 학습 기반의 지정 알고리즘에 의해 지정된 평가자의 점유 비율이 증가하고,
상기 기계 학습 기반의 지정 알고리즘에 의해 지정된 평가자의 점유 비율과 상기 랜덤 지정 알고리즘에 의해 지정된 평가자의 점유 비율의 합은 일정한 것을 특징으로 하는,
가격 산정 방법.5. The method of claim 4,
Wherein the plurality of evaluators or the at least one additional evaluator comprises:
Is designated using a random assignment algorithm until a first point in time,
From the first time point, using a designation algorithm of either a machine learning based designation algorithm or the random assignment algorithm,
As time passes, the occupancy rate of the evaluator designated by the machine learning-based designation algorithm increases,
Wherein the sum of the occupancy rate of the evaluator specified by the machine learning-based assignment algorithm and the occupancy rate of the evaluator specified by the random assignment algorithm is constant.
Price calculation method.
상기 제1 시점 이후인 제2 시점부터 상기 기계 학습 기반의 지정 알고리즘에 의해 지정된 평가자의 점유 비율과 상기 랜덤 지정 알고리즘에 의해 지정된 평가자의 점유 비율은 일정한 것을 특징으로 하는,
가격 산정 방법.9. The method of claim 8,
The occupancy rate of the evaluator specified by the machine learning-based assignment algorithm from the second time point after the first time point and the occupancy rate of the evaluator specified by the random assignment algorithm are constant.
Price calculation method.
상기 기계 학습 기반의 지정 알고리즘에 의해 지정된 평가자의 점유 비율은,
학습에 이용된 평가자 별 학습 데이터 개수의 평균 및 분산을 기초로 조정되는 것을 특징으로 하는,
가격 산정 방법.9. The method of claim 8,
Wherein the occupancy rate of the evaluator specified by the machine learning-
Is adjusted based on the average and variance of the number of pieces of learning data for each evaluator used for learning.
Price calculation method.
상기 복수의 평가자 또는 상기 적어도 하나의 추가 평가자 중에서 적어도 하나의 평가자는, 기계 학습 기반의 가격 예측 모델이고,
상기 가격 예측 모델은, 기 산정된 상품의 상품 상세 정보 및 상기 기 산정된 상품의 최종 평가 가격으로 구성된 평가 이력 데이터를 학습하여 구축된 모델인 것을 특징으로 하는,
가격 산정 방법.5. The method of claim 4,
Wherein at least one of the plurality of evaluators or the at least one additional evaluator is a machine learning based price prediction model,
Wherein the price prediction model is a model constructed by learning evaluation history data composed of product detailed information of a product calculated based on the product and final evaluation prices of the previously calculated product,
Price calculation method.
상기 복수의 평가자 또는 상기 적어도 하나의 추가 평가자 중에서 상기 가격 예측 모델이 차지하는 점유 비율은
시간이 지날수록 증가되는 것을 특징으로 하는,
가격 산정 방법.12. The method of claim 11,
Wherein the occupancy rate of the price prediction model among the plurality of evaluators or the at least one additional evaluator is
Characterized in that it increases with time,
Price calculation method.
상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계는,
상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격과 상기 평가 가격을 결정한 평가자 각각의 예측 평가 오차를 기초로 산출된 평가자 별 가중치를 이용하여, 상기 최종 평가 가격을 산정하는 단계를 포함하되,
상기 평가자 각각의 예측 평가 오차는, 상기 가격 산정 대상 상품의 상품 상세 정보를 기계 학습 기반의 평가 오차 예측 모델에 입력하여 예측된 상기 가격 산정 대상 상품에 대한 평가자 별 평가 오차를 가리키고,
상기 평가 오차 예측 모델은, 기 산정된 상품의 상품 상세 정보 및 상기 기 산정된 상품의 최종 평가 가격으로 구성된 평가자 별 평가 이력 데이터를 학습하여 구축된 모델인 것을 특징으로 하는,
가격 산정 방법.5. The method of claim 4,
The step of calculating the final valuation price of the price-
Calculating the final evaluation price using the evaluation value obtained through the first evaluation process and the second evaluation process and the weight of the evaluator based on the evaluation evaluation error of each evaluator who has determined the evaluation price, Including,
Wherein the predictive evaluation error of each of the evaluators indicates an evaluation error of each evaluator for the predicted price calculation target product by inputting the detailed product information of the price calculation target product into an evaluation error prediction prediction model based on the machine learning,
Wherein the evaluation error prediction model is a model constructed by learning evaluator-specific evaluation history data composed of product detailed information of the manufactured product and final evaluation prices of the previously calculated product,
Price calculation method.
상기 복수의 평가자의 단말 및 상기 적어도 하나의 추가 평가자의 단말은, 모바일 단말이고,
상기 모바일 단말은, 상기 가격 산정 대상 상품에 대한 평가 요청을 가리키는 푸시 알림을 수신하며,
상기 푸시 알림은 상기 가격 산정 대상 상품의 상품 상세 정보가 포함된 페이지의 딥링크(deep link)를 포함하는 것을 특징으로 하는,
가격 산정 방법.5. The method of claim 4,
Wherein the terminals of the plurality of evaluators and the terminal of the at least one additional evaluator are mobile terminals,
The mobile terminal receives a push notification indicating an evaluation request for the pricing target product,
Wherein the push notification includes a deep link of a page that includes product detail information of the pricing target product.
Price calculation method.
네트워크 인터페이스;
상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리; 및
상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
상기 컴퓨터 프로그램은,
상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 오퍼레이션;
상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 오퍼레이션;
상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 오퍼레이션;
상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 오퍼레이션; 및
상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 오퍼레이션을 포함하는,
가격 산정 장치.One or more processors;
Network interface;
A memory for loading a computer program executed by the processor; And
And a storage for storing the computer program,
The computer program comprising:
Performing a first evaluation process of designating a plurality of evaluators in response to a request for price calculation for the product to be priced and obtaining an evaluation price of the product to be priced from the terminals of the plurality of evaluators;
Calculating a first evaluation error based on an evaluation price obtained through the first evaluation process;
Performing a second evaluation process of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value and acquiring an evaluation price of the product to be priced from the terminal of the additional evaluator;
Calculating a second evaluation error based on an evaluation price obtained through the first evaluation process and the second evaluation process; And
And an operation of calculating a final evaluation price of the price to be priced based on the evaluation price obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold,
Price calculation device.
상기 가격 산정 대상 상품에 대한 가격 산정 요청에 응답하여, 복수의 평가자를 지정하고, 상기 복수의 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제1 평가 프로세스를 수행하는 단계;
상기 제1 평가 프로세스를 통해 획득된 평가 가격을 기초로 제1 평가 오차를 계산하는 단계;
상기 제1 평가 오차가 임계 값 이상인 경우, 적어도 하나의 추가 평가자를 지정하고, 상기 추가 평가자의 단말로부터 상기 가격 산정 대상 상품의 평가 가격을 획득하는 제2 평가 프로세스를 수행하는 단계;
상기 제1 평가 프로세스 및 상기 제2 평가 프로세스 통해 획득된 평가 가격을 기초로 제2 평가 오차를 계산하는 단계; 및
상기 제2 평가 오차가 상기 임계 값 미만인 경우, 상기 제1 평가 프로세스 및 상기 제2 평가 프로세스를 통해 획득된 평가 가격을 기초로 상기 가격 산정 대상 상품의 최종 평가 가격을 산정하는 단계를 실행시키기 위하여 기록 매체에 저장된,
컴퓨터 프로그램.Coupled to the computing device,
Performing a first evaluation process of designating a plurality of evaluators in response to a request for price calculation for the product to be priced and obtaining an evaluation price of the product to be priced from the terminals of the plurality of evaluators;
Calculating a first evaluation error based on an evaluation price obtained through the first evaluation process;
Performing a second evaluation process of designating at least one additional evaluator when the first evaluation error is equal to or greater than the threshold value and obtaining an evaluation price of the price to be evaluated from the terminal of the additional evaluator;
Calculating a second evaluation error based on the evaluation price obtained through the first evaluation process and the second evaluation process; And
Calculating a final valuation price of the subject merchandise based on the evaluation price obtained through the first evaluation process and the second evaluation process when the second evaluation error is less than the threshold; Stored in the medium,
Computer program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170050194A KR102109583B1 (en) | 2017-04-19 | 2017-04-19 | Method and Apparatus for pricing based on machine learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170050194A KR102109583B1 (en) | 2017-04-19 | 2017-04-19 | Method and Apparatus for pricing based on machine learning |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180117286A true KR20180117286A (en) | 2018-10-29 |
KR102109583B1 KR102109583B1 (en) | 2020-05-28 |
Family
ID=64101211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170050194A KR102109583B1 (en) | 2017-04-19 | 2017-04-19 | Method and Apparatus for pricing based on machine learning |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102109583B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200064023A (en) * | 2018-11-28 | 2020-06-05 | 주식회사 리테일영 | System and method for calculating Expected standard price of crop cultivation |
KR20210026315A (en) * | 2019-08-29 | 2021-03-10 | 케이비캐피탈 주식회사 | Used car selling management system |
CN113256325A (en) * | 2021-04-21 | 2021-08-13 | 北京巅峰科技有限公司 | Second-hand vehicle valuation method, system, computing device and storage medium |
US11321654B2 (en) | 2020-04-30 | 2022-05-03 | International Business Machines Corporation | Skew-mitigated evolving prediction model |
KR102488527B1 (en) * | 2022-03-22 | 2023-01-17 | 주식회사 알앤티컴퍼니 | A vegan products trading platform based on a neural network |
KR102606090B1 (en) * | 2022-06-21 | 2023-11-24 | 주식회사 허브넷컴퍼니 | Agricultural product price analysis system based expert |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102374309B1 (en) * | 2020-06-04 | 2022-03-15 | 주식회사 나인스 | Electronic system apparatus for recommending par value of discount coupon based on artificial intelligence and operating method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040005738A (en) * | 2003-12-06 | 2004-01-16 | 학교법인 고황재단 | Forecasting Stock Prices Using Multiple Regrssion Methods |
JP2005135287A (en) * | 2003-10-31 | 2005-05-26 | National Agriculture & Bio-Oriented Research Organization | Prediction device, method, and program |
KR20130000180A (en) | 2011-06-22 | 2013-01-02 | 김서준 | Method and system for price determination |
KR20130052398A (en) * | 2011-11-11 | 2013-05-22 | 현대중공업 주식회사 | Cost prediction system for marine pipeline construction and method thereof |
-
2017
- 2017-04-19 KR KR1020170050194A patent/KR102109583B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005135287A (en) * | 2003-10-31 | 2005-05-26 | National Agriculture & Bio-Oriented Research Organization | Prediction device, method, and program |
KR20040005738A (en) * | 2003-12-06 | 2004-01-16 | 학교법인 고황재단 | Forecasting Stock Prices Using Multiple Regrssion Methods |
KR20130000180A (en) | 2011-06-22 | 2013-01-02 | 김서준 | Method and system for price determination |
KR20130052398A (en) * | 2011-11-11 | 2013-05-22 | 현대중공업 주식회사 | Cost prediction system for marine pipeline construction and method thereof |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200064023A (en) * | 2018-11-28 | 2020-06-05 | 주식회사 리테일영 | System and method for calculating Expected standard price of crop cultivation |
KR20210026315A (en) * | 2019-08-29 | 2021-03-10 | 케이비캐피탈 주식회사 | Used car selling management system |
US11321654B2 (en) | 2020-04-30 | 2022-05-03 | International Business Machines Corporation | Skew-mitigated evolving prediction model |
CN113256325A (en) * | 2021-04-21 | 2021-08-13 | 北京巅峰科技有限公司 | Second-hand vehicle valuation method, system, computing device and storage medium |
KR102488527B1 (en) * | 2022-03-22 | 2023-01-17 | 주식회사 알앤티컴퍼니 | A vegan products trading platform based on a neural network |
KR102606090B1 (en) * | 2022-06-21 | 2023-11-24 | 주식회사 허브넷컴퍼니 | Agricultural product price analysis system based expert |
Also Published As
Publication number | Publication date |
---|---|
KR102109583B1 (en) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20180117286A (en) | Method and Apparatus for pricing based on machine learning | |
US11521221B2 (en) | Predictive modeling with entity representations computed from neural network models simultaneously trained on multiple tasks | |
KR101936029B1 (en) | Valuation method based on deep-learning and apparatus thereof | |
US20180108048A1 (en) | Method, apparatus and system for recommending contents | |
CN110717824A (en) | Method and device for conducting and calculating risk of public and guest groups by bank based on knowledge graph | |
Cirillo et al. | Dynamic discrete choice models for transportation | |
US20150221040A1 (en) | Residual risk analysis system, method and computer program product therefor | |
KR101794027B1 (en) | Automated valuation system and method of property price based on an ensemble learning technique | |
KR102453582B1 (en) | Method and system for ai demand forcasting | |
CN107958297B (en) | Product demand prediction method and product demand prediction device | |
CN113723652A (en) | Service data processing method and device, electronic equipment and storage medium | |
CN111353094A (en) | Information pushing method and device | |
Liu et al. | How long has it been since the last deal? Consumer promotion timing expectations and promotional response | |
CN113506143A (en) | Commodity discount generation method, device, equipment and computer readable storage medium | |
US11704598B2 (en) | Machine-learning techniques for evaluating suitability of candidate datasets for target applications | |
CN116797235A (en) | Method and device for processing consumption information, storage medium and computer equipment | |
CN111859289A (en) | Transaction conversion rate estimation method and device for vehicle, electronic device and medium | |
CN111724176A (en) | Shop traffic adjusting method, device, equipment and computer readable storage medium | |
CN115829624A (en) | Price prediction method and device based on store periodic copybook and related medium | |
US20210065227A1 (en) | Information processing method and information processing apparatus | |
CN115049458A (en) | Commodity pushing method and device based on user crowd modeling, medium and equipment | |
Babiloni et al. | Stock control analytics: a data-driven approach to compute the fill rate considering undershoots | |
Ivaldi | A structural analysis of expectation formation: based on business surveys of French manufacturing industry | |
CN113822371A (en) | Training packet model, and method and device for grouping time sequence data | |
JP7407883B1 (en) | Information processing system, information processing method, and information processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
J301 | Trial decision |
Free format text: TRIAL NUMBER: 2018101004873; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20181130 Effective date: 20200220 |
|
S901 | Examination by remand of revocation | ||
GRNO | Decision to grant (after opposition) | ||
GRNT | Written decision to grant |