KR102609681B1 - Method for determining product planning reflecting user feedback and Apparatus thereof - Google Patents
Method for determining product planning reflecting user feedback and Apparatus thereof Download PDFInfo
- Publication number
- KR102609681B1 KR102609681B1 KR1020230002680A KR20230002680A KR102609681B1 KR 102609681 B1 KR102609681 B1 KR 102609681B1 KR 1020230002680 A KR1020230002680 A KR 1020230002680A KR 20230002680 A KR20230002680 A KR 20230002680A KR 102609681 B1 KR102609681 B1 KR 102609681B1
- Authority
- KR
- South Korea
- Prior art keywords
- product
- feedback
- evaluation
- word
- determining
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011156 evaluation Methods 0.000 claims abstract description 82
- 238000013210 evaluation model Methods 0.000 claims abstract description 45
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006872 improvement Effects 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000002245 particle Substances 0.000 claims description 5
- 239000000463 material Substances 0.000 description 12
- 244000134552 Plantago ovata Species 0.000 description 8
- 235000003421 Plantago ovata Nutrition 0.000 description 8
- 239000009223 Psyllium Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 239000010903 husk Substances 0.000 description 8
- 229940070687 psyllium Drugs 0.000 description 8
- 230000037213 diet Effects 0.000 description 7
- 235000005911 diet Nutrition 0.000 description 7
- 238000012356 Product development Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000004806 packaging method and process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 244000269722 Thea sinensis Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06315—Needs-based resource requirements planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
Abstract
사용자 피드백 반영 제품계획 결정 장치에 의해 수행되는, 사용자 피드백 반영 제품계획 결정 방법이 개시된다. 본 발명의 일 실시예에 따르면, 상기 결정 방법은, 제품을 구매한 사용자의 사용자 피드백을 획득하는 단계와 미리 학습된 언어모델을 이용하여, 상기 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류하는 단계와 미리 학습된 평가모델을 이용하여, 상기 제품 피드백 중, 긍정요소 및 부정요소 중 적어도 하나의 평가요소를 추출하는 단계와 상기 추출된 평가요소를 기초로 상기 제품에 대한 평가 등급을 결정하는 단계와 상기 결정된 평가 등급 기초로, 제품계획을 결정하는 단계를 포함할 수 있다.A method for determining a product plan reflecting user feedback, which is performed by a device for determining a product plan reflecting user feedback, is disclosed. According to one embodiment of the present invention, the decision method includes obtaining user feedback from a user who purchased the product and classifying product feedback and non-product feedback on the user feedback using a pre-learned language model. and using a pre-learned evaluation model to extract at least one evaluation element among positive and negative elements from the product feedback and determining an evaluation grade for the product based on the extracted evaluation elements. It may include the step of determining a product plan based on the determined evaluation grade.
Description
본 발명은 사용자의 피드백 반영 제품계획 결정 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 사용자 피드백을 자연어 처리를 통해 유형화하고, 이를 바탕으로 제품계획을 결정하는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and device for determining a product plan that reflects user feedback. More specifically, it relates to a method and device for typifying user feedback through natural language processing and determining a product plan based on it.
제품 거래에서 전자상거래가 차지하는 비중이 높아지고, 온라인 마케팅이 기법이 보편화됨에 따라, 판매자는 기획한 제품에 대한 소비자 반응을 즉각적으로 출시와 동시에 확인할 수 있게 되었다.As the proportion of e-commerce in product transactions increases and online marketing techniques become more common, sellers can now check consumer reactions to their planned products immediately upon launch.
이에 따라, 소비자 반응을 분석하고, 제품 개발에 반영하기 위한 마케팅 방법이 개시되고 있다. 이러한 방법은, 판매자 입장에서 실제 구매 경험을 가진 소비자의 의견을 바탕으로 제품 개선의 기회를 가질 수 있다는 장점을 지닌다. 반면, 이 같은 마케팅 방법은, 게시판 댓글, 전화 또는 웹 링크를 통한 설문 등 다양한 종류의 소비자 의견 데이터를 수집 및 유형화하는데 많은 비용과 시간이 요구되고, 수집 및 유형화된 소비자 의견 데이터의 내용을 객관적으로 분석하기 어렵다는 한계점을 가진다.Accordingly, marketing methods are being launched to analyze consumer responses and reflect them in product development. This method has the advantage of allowing sellers the opportunity to improve products based on the opinions of consumers who have actual purchasing experience. On the other hand, this marketing method requires a lot of money and time to collect and type various types of consumer opinion data, such as bulletin board comments, phone calls, or web link surveys, and objectively analyzes the contents of the collected and typed consumer opinion data. It has the limitation that it is difficult to analyze.
특히, 트렌드가 급변하는 제품군의 경우, 소비자 의견에 대한 객관적 분석이 어렵거나, 소비자 의견을 신제품에 반영에 소요되는 시간이 길어질 수록, 소비자 의견 관련 데이터 수집의 의미가 퇴색되는 문제가 발생한다.In particular, in the case of product lines where trends change rapidly, objective analysis of consumer opinions is difficult or the longer it takes to reflect consumer opinions in new products, the more the meaning of collecting data related to consumer opinions fades.
본 발명이 해결하고자 하는 기술적 과제는, 사용자의 피드백을 효과적으로 수집하고 유형화하기 위한 방법 및 그 장치를 제공하는 것이다.The technical problem to be solved by the present invention is to provide a method and device for effectively collecting and typifying user feedback.
구체적으로 본 발명이 해결하고자 하는 기술적 과제는, 음성 또는 텍스트 형태로 수집되는 사용자의 피드백에서 제품 피드백과 비제품 피드백을 식별할 수 있는 방법 및 그 장치를 제공하는 것이다.Specifically, the technical problem to be solved by the present invention is to provide a method and device for distinguishing product feedback and non-product feedback from user feedback collected in voice or text form.
본 발명이 해결하고자 하는 다른 기술적 과제는, 제품 피드백 상의 소재 피드백을 기초로, 소재 관심 강도 및 소재 관심 지속력을 분석하는 방법 및 그 장치를 제공하는 것이다. 특히, 소재에 대한 사용자 피드백을 긍정 또는 부정 피드백으로 분류함에 있어, 언어모델로 댓글 상에서 표현이 안된 미기재 요소를 확률적으로 예측함으로써, 긍정 또는 부정 피드백을 분류할 수 있는 방법 및 그 장치를 제공하는 것이다. Another technical problem to be solved by the present invention is to provide a method and device for analyzing the intensity of interest in a material and the persistence of interest in a material based on material feedback on product feedback. In particular, in classifying user feedback about a material as positive or negative feedback, a method and device for classifying positive or negative feedback is provided by probabilistically predicting unstated elements that are not expressed in comments using a language model. will be.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 소재 피드백을 기초로, 제품 생산량, 제품 개선 및 신제품 개발 등 제품계획에 있어 최적 가이드를 제공하는 방법 및 그 장치를 제공하는 것이다. Another technical problem that the present invention seeks to solve is to provide a method and device for providing optimal guidance in product planning, such as product production volume, product improvement, and new product development, based on material feedback.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 사용자 피드백 반영 제품계획 결정 방법은, 제품을 구매한 사용자의 사용자 피드백을 획득하는 단계와 미리 학습된 언어모델을 이용하여, 상기 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류하는 단계와 미리 학습된 평가모델을 이용하여, 상기 제품 피드백 중, 긍정요소 및 부정요소 중 적어도 하나의 평가요소를 추출하는 단계와 상기 추출된 평가요소를 기초로 상기 제품에 대한 평가 등급을 결정하는 단계와 상기 결정된 평가 등급 기초로, 제품계획을 결정하는 단계를 포함할 수 있다.A method for determining a product plan reflecting user feedback according to an embodiment of the present invention to solve the above problem includes obtaining user feedback from a user who purchased the product and using a pre-learned language model to determine the product plan based on the user feedback. Classifying feedback and non-product feedback, extracting at least one evaluation element among positive elements and negative elements from the product feedback using a pre-learned evaluation model, and based on the extracted evaluation elements, the product It may include determining an evaluation grade for and determining a product plan based on the determined evaluation grade.
일 실시예에 따르면, 상기 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류하는 단계는, 상기 미리 학습된 언어모델을 이용하여, 상기 사용자 피드백 상의 단어들에 대하여, 상기 제품과의 관련성을 확률 연산을 통해 스코어링하는 단계와 상기 스코어링한 결과, 미리 설정된 기준 이상의 스코어가 할당된 단어를 제1 그룹핑하는 단계와 상기 제1 그룹핑된 단어를 제품 피드백으로 결정하는 단계와 상기 제1 그룹핑된 단어 외의 단어들을 제2 그룹핑하는 단계와 상기 제2 그룹핑된 단어를 비제품 피드백으로 결정하는 단계를 포함할 수 있다.According to one embodiment, the step of classifying product feedback and non-product feedback in the user feedback involves calculating the relevance to the product for words in the user feedback using the pre-trained language model. A step of scoring, and as a result of the scoring, a first grouping of words to which a score higher than a preset standard is assigned, a step of determining the first grouped words as product feedback, and a step of selecting words other than the first grouped words. 2 It may include the step of grouping and the step of determining the second grouped word as non-product feedback.
일 실시예에 따르면, 상기 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류하는 단계는, 상기 미리 학습된 언어모델을 이용하여, 상기 사용자 피드백 상의 단어들에 대하여, 상기 제품과의 관련성을 확률 연산을 통해 스코어링하는 단계와 상기 스코어링한 결과, 미리 설정된 기준 이상의 스코어가 할당된 단어를 제1 그룹핑하는 단계와 상기 제1 그룹핑된 단어를 제품 피드백으로 결정하는 단계와 상기 사용자 피드백 상의 단어들에 대하여, 미리 등록된 비제품 단어 필터 통해 추출되는 단어를 제2 그룹핑하는 단계와 상기 제2 그룹핑된 단어를 비제품 피드백으로 결정하는 단계를 포함할 수 있다.According to one embodiment, the step of classifying product feedback and non-product feedback in the user feedback involves calculating the relevance to the product for words in the user feedback using the pre-trained language model. A step of scoring and, as a result of the scoring, a first grouping of words to which a score higher than a preset standard is assigned, a step of determining the first grouped words as product feedback, and words in the user feedback in advance. It may include second grouping words extracted through a registered non-product word filter and determining the second grouped words as non-product feedback.
일 실시예에 따르면, 상기 적어도 하나의 평가요소를 추출하는 단계는, 상기 제품 피드백 상에서, 상기 제품에 대응되는 기준 단어를 결정하는 단계와 상기 제품 피드백에 속하는 단어에 대한 품사를 결정하는 단계와 상기 기준 단어와 상기 제품 피드백에 속하는 단어 사이의 거리 및 상기 결정된 품사를 기초로, 상기 제품 피드백에 속하는 단어 중, 평가요소를 결정하는 단계와 상기 미리 학습된 평가모델을 이용하여, 상기 평가요소가 긍정요소인지 부정요소인지 분류하는 단계를 포함할 수 있다.According to one embodiment, the step of extracting the at least one evaluation element includes determining a reference word corresponding to the product in the product feedback and determining a part of speech for a word belonging to the product feedback. A step of determining an evaluation element among words belonging to the product feedback based on the distance between a reference word and a word belonging to the product feedback and the determined part of speech, and using the pre-learned evaluation model, wherein the evaluation element is positive. It may include a step of classifying whether it is an element or a negative element.
일 실시예에 따르면, 상기 평가요소가 긍정요소인지 부정요소인지 분류하는 단계는, 상기 평가요소 중 미리 설정된 개수 이상의 단어가 긍정요소 또는 부정요소로 분류되지 않는 경우, 미리 학습된 제1 예측모델을 이용하여, 상기 기준 단어의 전 또는 후에 배치될 수 있는 적어도 하나의 단어를 확률적으로 제1 예측하는 단계와 상기 제1 예측된 적어도 하나의 단어를 포함하는, 가상의 제1 제품 피드백을 생성하는 단계와 상기 평가모델을 이용하여, 상기 생성된 제1 제품 피드백에 속하는 단어가 긍정요소인지 부정요소인지 분류하는 단계를 포함할 수 있다.According to one embodiment, the step of classifying whether the evaluation element is a positive element or a negative element includes, when a preset number of words or more among the evaluation elements are not classified as a positive element or a negative element, using a pre-trained first prediction model. Probabilistically predicting at least one word that can be placed before or after the reference word, and generating a virtual first product feedback including the first predicted at least one word. It may include the step of classifying whether a word belonging to the generated first product feedback is a positive element or a negative element using the step and the evaluation model.
일 실시예에 따르면, 상기 미리 학습된 제1 예측모델을 이용하여, 상기 기준 단어의 전 또는 후에 배치될 수 있는 적어도 하나의 단어를 확률적으로 예측하는 단계는, 상기 제1 예측모델과 다른 미리 학습된 제2 예측모델을 이용하여, 상기 기준 단어의 전 또는 후에 배치될 수 있는 적어도 하나의 단어를 확률적으로 제2 예측하는 단계와 상기 제2 예측된 적어도 하나의 단어를 포함하는, 가상의 제2 제품 피드백을 생성하는 단계와 상기 평가모델을 이용하여, 상기 생성된 제2 제품 피드백에 속하는 단어가 긍정요소인지 부정요소인지 분류하는 단계를 포함할 수 있다. According to one embodiment, the step of probabilistically predicting at least one word that can be placed before or after the reference word using the pre-learned first prediction model may include predicting at least one word that can be placed before or after the reference word in advance, using the first prediction model learned in advance. Using a learned second prediction model, probabilistically predicting at least one word that can be placed before or after the reference word, and including the second predicted at least one word, a virtual It may include generating second product feedback and classifying whether a word belonging to the generated second product feedback is a positive element or a negative element using the evaluation model.
일 실시예에 따르면, 상기 평가모델에 의한 분류 결과, 상기 제1 제품 피드백에 속하는 단어 및 상기 제2 제품 피드백에 속하는 단어 중, 어느 하나는 긍정요소로 분류되고, 나머지 하나는 부정요소로 분류되는 경우, 상기 제1 제품 피드백과 상기 제2 제품 피드백을 기초로, 상기 평가모델을 재학습시키는 단계를 더 포함할 수 있다. According to one embodiment, as a result of classification by the evaluation model, among words belonging to the first product feedback and words belonging to the second product feedback, one is classified as a positive element and the other is classified as a negative element. In this case, the step of retraining the evaluation model based on the first product feedback and the second product feedback may be further included.
일 실시예에 따르면, 상기 평가모델에 의한 분류 결과, 상기 제1 제품 피드백에 속하는 단어 및 상기 제2 제품 피드백에 속하는 단어 중, 어느 하나는 긍정요소로 분류되고, 나머지 하나는 부정요소로 분류되는 경우, According to one embodiment, as a result of classification by the evaluation model, among words belonging to the first product feedback and words belonging to the second product feedback, one is classified as a positive element and the other is classified as a negative element. case,
상기 평가모델을 이용하여, 상기 제1 예측모델이 제1 예측한 단어와 상기 제2 예측모델이 제2 예측한 단어 중, 확률 값이 큰 단어에 대하여 긍정요소인지 부정요소인지 분류하는 단계를 더 포함할 수 있다.Using the evaluation model, among the words first predicted by the first prediction model and the words second predicted by the second prediction model, a word with a high probability value is further classified as a positive element or a negative element. It can be included.
일 실시예에 따르면, 상기 제2 예측모델은, 상기 사용자 피드백에 포함된 조사 및 접속사 중 적어도 하나와 짝을 이뤄 상기 기준 단어의 전 또는 후에 배치될 수 있는 긍정요소 및 부정요소에 대하여 미리 학습된 모델일 수 있다.According to one embodiment, the second prediction model is pre-trained for positive and negative elements that can be placed before or after the reference word in pair with at least one of the particles and conjunctions included in the user feedback. It could be a model.
일 실시예에 따르면, 상기 제품계획을 결정하는 단계는, 미리 설정된 기간 동안, 상기 사용자 피드백의 증감 정보를 기초로 상기 제품에 대한 트렌드 지속력을 판단하는 단계와 상기 트렌드 지속력이 미리 설정된 기준 이상인 경우, 상기 제품 피드백 중, 긍정요소 및 부정요소의 비율에 따라, 상기 제품의 개선, 추가 생산, 할인 판매 및 판매 종료 중 적어도 하나를 가이드하는 최적 제품계획 가이드를 생성하는 단계를 포함할 수 있다. According to one embodiment, the step of determining the product plan includes determining trend sustainability for the product based on increase/decrease information of the user feedback during a preset period, and if the trend sustainability is greater than or equal to a preset standard, It may include generating an optimal product plan guide that guides at least one of improvement, additional production, discount sales, and end of sale of the product, depending on the ratio of positive and negative elements among the product feedback.
일 실시예에 따르면, 상기 제품에 대한 트렌드 지속력을 판단하는 단계는, 상기 제품의 속성을 기초로, 상기 제품 관련 키워드를 결정하는 단계와 네트워크 인터페이스를 통해, 외부 장치 상의 상기 결정된 키워드 관련 게시 콘텐츠를 수집하는 단계와 상기 게시 콘텐츠의 증감 정보를 기초로 상기 트렌드 지속력을 판단하는 단계를 포함할 수 있다.According to one embodiment, the step of determining the trend sustainability for the product includes determining a keyword related to the product based on the attributes of the product and posting content related to the determined keyword on an external device through a network interface. It may include a step of collecting and determining the sustainability of the trend based on the increase/decrease information of the posted content.
일 실시예에 따르면, 상기 적어도 하나의 평가요소를 추출하는 단계는, 상기 미리 학습된 평가모델을 이용하여, 상기 분류된 비제품 피드백 중, 긍정요소 및 부정요소 중 적어도 하나의 평가요소를 추출하는 단계를 포함하고, 상기 제품에 대한 평가 등급을 결정하는 단계는, 상기 비제품 피드백의 긍정요소 및 부정요소를 기초로, 상기 평가 등급을 갱신하는 단계를 포함하고, 기 제품계획을 결정하는 단계는, 상기 비제품 피드백의 평가요소를 기초로, 상기 제품에 대한 최적 제품계획 가이드를 생성하는 단계를 포함할 수 있다.According to one embodiment, the step of extracting the at least one evaluation element includes extracting at least one evaluation element among positive elements and negative elements from among the classified non-product feedback using the pre-learned evaluation model. The step of determining the evaluation grade for the product includes updating the evaluation grade based on positive and negative elements of the non-product feedback, and the step of determining the existing product plan includes updating the evaluation grade based on positive and negative elements of the non-product feedback. , It may include generating an optimal product planning guide for the product based on the evaluation elements of the non-product feedback.
일 실시예에 따르면, 상기 제품에 대한 평가 등급을 결정하는 단계는, 기 제품에 대한 판매 인터페이스로부터 상기 제품의 사용자 구매 정보, 상기 사용자 피드백을 남긴 사용자의 전체 피드백 중, 상기 제품에 대한 피드백 비율, 상기 제품에 대한 사용자 피드백의 증감 정보, 상기 판매 인터페이스에 신규 유입 대비 이탈 사용자 비율 정보, 상기 제품을 복수회 구매한 사용자의 재구매 비율, 상기 제품에 대한 사용자 피드백 기간 중 적어도 하나의 정보를 기초로, 상기 평가 등급을 갱신하는 단계를 포함할 수 있다. According to one embodiment, the step of determining the evaluation grade for the product includes user purchase information of the product from a sales interface for the product, a feedback ratio for the product among the total feedback of users who left the user feedback, Based on at least one of information on the increase or decrease in user feedback for the product, information on the ratio of users leaving the sales interface compared to new users, the repurchase rate of users who purchased the product multiple times, and the user feedback period for the product, It may include updating the evaluation grade.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 사용자 피드백 반영 제품계획 결정 장치는, 하나 이상의 프로세서와 상기 제품을 구매한 사용자의 사용자 피드백을 획득하기 위한 네트워크 인터페이스와 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리와 상기 컴퓨터 프로그램을 저장하는 스토리지와 최적 제품계획 가이드를 출력하는 디스플레이부를 포함하되, 상기 컴퓨터 프로그램은, 상기 사용자 피드백을 획득하는 오퍼레이션과 미리 학습된 언어모델을 이용하여, 상기 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류하는 오퍼레이션과 미리 학습된 평가모델을 이용하여, 상기 제품 피드백 중, 긍정요소 및 부정요소 중 적어도 하나의 평가요소를 추출하는 오퍼레이션과 상기 추출된 평가요소를 기초로 상기 제품에 대한 평가 등급을 결정하는 오퍼레이션과 상기 결정된 평가 등급 기초로, 제품계획을 결정하는 오퍼레이션을 포함할 수 있다.A product plan decision device reflecting user feedback according to another embodiment of the present invention to solve the above problem includes one or more processors, a network interface for obtaining user feedback from users who purchased the product, and a computer performed by the processor. It includes a memory for loading a program, storage for storing the computer program, and a display unit for outputting an optimal product planning guide, wherein the computer program uses an operation to obtain the user feedback and a pre-learned language model. , an operation to classify product feedback and non-product feedback on the user feedback, an operation to extract at least one evaluation element among positive elements and negative elements from the product feedback using a pre-learned evaluation model, and the extracted evaluation. It may include an operation for determining an evaluation grade for the product based on the elements and an operation for determining a product plan based on the determined evaluation grade.
본 발명의 일 실시예에 따르면, 사용자 피드백을 저비용, 고효율로 획득 및 판단할 수 있는 효과가 있다.According to one embodiment of the present invention, there is an effect of obtaining and determining user feedback at low cost and high efficiency.
특히, 본 발명의 일 실시예에 따르면, 사용자 피드백을 유형화하여, 사용자 피드백 중 제품 자체에 대한 피드백과 포장, 배송, 서비스 등 제품 외 요소에 대한 피드백을 구별함으로써, 제품 및 서비스 개선 대상을 분명히 파악할 수 있다는 장점이 있다. In particular, according to one embodiment of the present invention, by categorizing user feedback and distinguishing between feedback on the product itself and feedback on factors other than the product such as packaging, delivery, and service, it is possible to clearly identify targets for product and service improvement. There is an advantage to being able to do this.
또한, 본 발명의 일 실시예에 따르면, 사용자 피드백을 전화 또는 웹 링크를 통한 설문, 좋아요/싫어요 이모티콘 선택 페이지, 댓글 뿐만 아니라, 사용자 행동 패턴을 바탕으로 제품에 대한 피드백을 분석할 수 있어, 사용자 피드백 분석에 정확도가 높아지는 장점이 있다.In addition, according to one embodiment of the present invention, user feedback on the product can be analyzed based on user behavior patterns as well as surveys through phone calls or web links, like/dislike emoticon selection pages, and comments. This has the advantage of increasing accuracy in feedback analysis.
본 발명의 다른 실시예에 따르면, 제품에 이용된 소재와 제품 디자인 및 제품 종류 중 소비자 반응에 영향을 주는 요인을 판단할 수 있는 효과가 있다. 또한, 소재에 대한 소비자 관심 강도와 소비자 관심 지속력을 분석하여, 추가 생산, 제품 개선 및 신제품 개발 등에 최적 가이드를 제공할 수 있게 된다.According to another embodiment of the present invention, it is possible to determine factors affecting consumer response among the materials used in the product, product design, and product type. In addition, by analyzing the intensity of consumer interest in the material and the sustainability of consumer interest, it is possible to provide optimal guidance for additional production, product improvement, and new product development.
이 같은 판단을 통해, 소재에 대한 소비자 선호도가 높은 경우, 동일 소재를 다른 종류의 제품에 적용한 신제품 개발 계획 수립에 활용할 수 있는 장점이 있다.Through this judgment, if consumer preference for a material is high, there is an advantage that it can be used to establish a new product development plan that applies the same material to different types of products.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 일 실시예에 따른 사용자의 피드백 반영 제품계획 결정 시스템의 예시도이다.
도 2는 본 발명의 다른 실시예에 따른 사용자의 피드백 반영 제품계획 결정 장치의 예시도이다.
도 3은 본 발명의 또 다른 실시예에 따른 사용자의 피드백 반영 방법의 순서도이다.
도 4 는 본 발명의 몇몇 실시예에서 참조되는, 사용자 피드백의 요소를 설명하기 위한 예시이다.
도 5 는 본 발명의 몇몇 실시예에서 참조되는, 사용자 피드백 중 제품 피드백과 비제품 피드백을 구별하는 방법의 순서도이다.
도 6 은 본 발명의 몇몇 실시예에서 참조되는, 사용자 피드백의 예시이다.
도 7 내지 도 8은 본 발명의 몇몇 실시예에서 참조되는, 제품 피드백에 대한 예측모델을 설명하기 위한 예시이다.
도 9는 본 발명의 몇몇 실시예에서 참조되는, 제품 피드백에 대한 예측모델과 평가모델의 구조를 설명하기 위한 예시이다.
도 10은 본 발명의 몇몇 실시예에서 참조되는, 최적 제품계획 가이드 생성 과정의 예시이다.Figure 1 is an exemplary diagram of a product plan decision system that reflects user feedback according to an embodiment of the present invention.
Figure 2 is an exemplary diagram of a product plan determination device reflecting user feedback according to another embodiment of the present invention.
Figure 3 is a flowchart of a method for reflecting user feedback according to another embodiment of the present invention.
Figure 4 is an example to explain elements of user feedback, which are referenced in some embodiments of the present invention.
Figure 5 is a flowchart of a method for distinguishing between product feedback and non-product feedback among user feedback, which is referenced in some embodiments of the present invention.
Figure 6 is an example of user feedback, referenced in some embodiments of the present invention.
7 to 8 are examples for explaining a prediction model for product feedback, which is referenced in some embodiments of the present invention.
Figure 9 is an example to explain the structure of a prediction model and an evaluation model for product feedback, which are referenced in some embodiments of the present invention.
Figure 10 is an example of an optimal product planning guide generation process, referenced in some embodiments of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely intended to ensure that the disclosure of the present invention is complete and to provide common knowledge in the technical field to which the present invention pertains. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings that can be commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined. The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context.
이하, 본 명세서에서, 사용자의 피드백 반영 제품계획 결정 시스템은, 제품계획 결정 시스템 또는 시스템으로 약칭될 수 있으며, 사용자의 피드백 반영 제품계획 결정 장치와 방법은, 각각 제품계획 결정 장치, 제품계획 결정 방법 또는, 상기 결정 장치와 상기 결정 방법으로 약칭될 수도 있다. Hereinafter, in this specification, the product plan decision system reflecting user feedback may be abbreviated as a product plan decision system or system, and the product plan decision device and method reflecting user feedback are, respectively, a product plan decision device and a product plan decision method. Alternatively, it may be abbreviated as the decision device and the decision method.
또한, 본 명세서에서, 제품계획이란, 기업이 판매목표를 효과적으로 실현하기 위하여 소비자의 욕구 또는 구매력 등에 합치되도록 제품의 개발, 가격, 품질, 디자인, 포장, 상표 등을 기획하는 활동을 말한다.In addition, in this specification, product planning refers to activities in which a company plans product development, price, quality, design, packaging, trademark, etc. to match consumer needs or purchasing power in order to effectively realize sales goals.
본 명세서에서, 사용자 피드백은, 전화설문의 텍스트 변환 정보, 서면설문, 웹링크 상의 설문, 호불호를 표시하는 이모티콘 표시, 5점 척도 점수표에 대한 사용자 입력 중 적어도 하나를 포함한다.In this specification, user feedback includes at least one of text conversion information from a telephone survey, a written survey, a survey on a web link, an emoticon indicating likes or dislikes, and user input on a 5-point scale scorecard.
본 명세서에서, 사용자 피드백 상의 긍정요소는 제품계획 결정 장치에 의해 긍정평가를 받게 되는 단어, 부정요소는 부정평가를 받게 되는 단어를 의미한다.In this specification, positive elements in user feedback refer to words that are evaluated positively by the product plan decision device, and negative elements refer to words that receive negative evaluations.
도 1은 본 발명의 일 실시예에 따른 사용자의 피드백 반영 제품계획 결정 시스템의 예시도이다.Figure 1 is an exemplary diagram of a product plan decision system that reflects user feedback according to an embodiment of the present invention.
도 1을 참조하면, 제품계획 결정 시스템(10)은, 제품계획 결정 장치(100)와 제품 판매 장치(200) 및 외부 장치(300)를 포함할 수 있다.Referring to FIG. 1 , the product plan decision system 10 may include a product plan decision device 100, a product sales device 200, and an external device 300.
제품계획 결정 장치(100)는 제품 판매 장치(200) 및 외부 장치(300)는 네트워크(50)를 통해 상호간 데이터 통신을 수행하는 컴퓨팅 장치이다.The product plan determination device 100 is a computing device that performs data communication with the product sales device 200 and the external device 300 through a network 50 .
제품계획 결정 장치(100)는, 본 발명의 일 실시예에 따른, 제품계획 결정 방법을 수행하며, 상기 제품계획 결정 방법에 따른 최적 제품계획 결정 가이드를 생성할 수 있다.The product plan determination device 100 may perform a product plan determination method according to an embodiment of the present invention and generate an optimal product plan decision guide according to the product plan determination method.
제품 판매 장치(200)는, 제품 판매 인터페이스를 소비자에게 제공하고, 본 발명의 일 실시예에 따른 사용자 피드백을 수신할 수 있다. The product sales device 200 may provide a product sales interface to consumers and receive user feedback according to an embodiment of the present invention.
외부 장치(300)는, 제품에 대한 정보를 게시하는 다양한 웹페이지를 운영하는 서버 장치로서, 제품 소비자의 홈페이지, 제품 구매가 이뤄지는 오픈 마켓 페이지, 소비자의 SNS의 페이지, 블로그 등 다양한 웹페이지 중 적어도 하나를 운영한다.The external device 300 is a server device that operates various web pages that post information about products, and is at least one of various web pages such as the product consumer's homepage, an open market page where product purchases are made, a consumer's SNS page, and a blog. run one
제품계획 결정 장치(100)는, 제품에 대한 사용자 피드백을 기초로, 제품의 인기, 소비자 평가, 제품의 트렌드 부합여부 등을 판단할 수 있다. 이를 위해, 제품계획 결정 장치(100)는 제품 판매 장치(200)로부터 사용자 피드백을 수신하거나, 외부 장치(300)가 운영 중인 웹페이지 상에서, 제품 관련 정보를 획득할 수 있다. 예를 들어, 제품계획 결정 장치(100)는, 제품 관련 정보를 크롤링하고, 이미지, 텍스트 등 크롤링된 정보로부터 제품에 대한 인기, 관심이 지속되는지 여부 등을 판단할 수 있다. 제품의 인기 및/또는 제품에 대한 관심의 지속여부를 트렌드 지속력이라 칭하기로 한다.The product plan decision device 100 may determine the popularity of the product, consumer evaluation, and whether the product conforms to trends, etc., based on user feedback about the product. To this end, the product plan determination device 100 may receive user feedback from the product sales device 200 or obtain product-related information on a web page operated by the external device 300. For example, the product plan determination device 100 may crawl product-related information and determine whether popularity or interest in the product continues from the crawled information such as images and text. The popularity of a product and/or whether interest in the product continues is referred to as trend sustainability.
본 발명의 일 실시예에 따르면, 제품계획 결정 장치(100)는, 미리 설정된 기간 동안, 획득되는 사용자 피드백의 증감 정보를 기초로 제품에 대한 트렌드 지속력을 판단할 수 있다. 즉, 제품계획 결정 장치(100)는 미리 설정된 단위 기간 별 제품 판매 장치(200) 및/또는 외부 장치(300)로부터 획득되는 사용자 피드백의 양의 증감을 기초로, 트렌드 지속력을 판단할 수 있다. According to an embodiment of the present invention, the product plan determination device 100 may determine the sustainability of a trend for a product based on the increase/decrease information of user feedback obtained during a preset period. That is, the product plan determination device 100 may determine trend sustainability based on an increase or decrease in the amount of user feedback obtained from the product sales device 200 and/or the external device 300 for each preset unit period.
본 발명의 다른 실시예에 따르면, 제품계획 결정 장치(100)는 사용자 피드백 외에, 웹페이지 상의 검색 트래픽양을 기초로 트렌드 지속력을 판단할 수도 있다.According to another embodiment of the present invention, the product plan determination device 100 may determine trend sustainability based on the amount of search traffic on a web page in addition to user feedback.
이를 위해, 제품계획 결정 장치(100)는, 제품의 속성을 기초로, 제품 관련 키워드를 결정하고, 네트워크(50)를 통해, 외부 장치(300)에 의해 운영되는 웹페이지로부터 결정된 키워드 관련 게시 콘텐츠를 수집할 수 있다. 예를 들어, 제품이 전통차 기반의 다이어트 식품인 경우, 제품계획 결정 장치(100)는, 전통차의 명칭, 분말, 환, 엑기스와 같은 다이어트 제품의 타입, 다이어트 제품의 명칭 등을 키워드로 결정하고, 이를 포함하는 웹페이지를 검색 및 수집할 수 있다.To this end, the product plan decision device 100 determines product-related keywords based on the attributes of the product, and posts content related to the keywords determined from a web page operated by the external device 300 through the network 50. can be collected. For example, if the product is a traditional tea-based diet food, the product plan decision device 100 determines the name of the traditional tea, the type of diet product such as powder, pill, or extract, and the name of the diet product as keywords, Web pages containing this can be searched and collected.
제품계획 결정 장치(100)는, 키워드 관련 게시 콘텐츠의 증감 정보를 기초로 트렌드 지속력을 판단할 수도 있다.The product plan determination device 100 may determine trend sustainability based on increase/decrease information of keyword-related posted content.
제품계획 결정 장치(100)는, 트렌드 지속력이 미리 설정된 기준 이상인 경우, 제품의 개선, 추가 생산, 할인 판매 및 판매 종료 중 적어도 하나를 가이드하는 최적 제품계획 가이드를 생성할 수 있다.If the trend sustainability is higher than a preset standard, the product plan determination device 100 may generate an optimal product plan guide that guides at least one of product improvement, additional production, discount sales, and end of sales.
제품계획은, 제품 피드백 중, 긍정요소 및 부정요소의 비율에 따라, 제품에 대한 추가 생산, 또는 생산 종료, 재고 판매, 폐기, 판매 종료 등 구체적으로 가이드될 수 있다. Product planning can be specifically guided by additional production of the product, end of production, sale of inventory, disposal, end of sale, etc., depending on the ratio of positive and negative elements among product feedback.
또 다른 실시예에 따르면, 제품계획 결정 장치(100)는, 사용자 피드백, 사용자 피드백의 증감, 외부 장치(300)로부터 획득되는 게시 콘텐츠 증감뿐만 아니라, 포장, 배송, 수리 등 제품 외 요소 및/또는 사용자의 제품 관련 행동을 기초로, 제품에 대한 평가를 수행하고 제품에 대한 평가 등급을 결정할 수도 있다.According to another embodiment, the product plan decision device 100 not only includes user feedback, increase/decrease of user feedback, increase/decrease of posted content obtained from the external device 300, but also factors other than the product such as packaging, delivery, and repair, and/or Based on the user's product-related behavior, an evaluation of the product may be performed and an evaluation grade for the product may be determined.
예를 들어, 제품계획 결정 장치(100)는, 사용자의 제품 판매 장치(200) 이용 로그, 친구 추천 이벤트 참여 여부, 탈퇴 등 액션을 바탕으로 제품 선호도를 분석할 수도 있다.For example, the product plan decision device 100 may analyze product preferences based on actions such as the user's use log of the product sales device 200, participation in a friend recommendation event, and withdrawal.
또한, 제품 판매 장치(200)가 제공하는 제품에 대한 판매 인터페이스로부터 제품의 사용자 구매 정보, 사용자 피드백을 남긴 사용자의 전체 피드백 중, 상기 제품에 대한 피드백 비율, 제품에 대한 사용자 피드백의 증감 정보, 상기 판매 인터페이스에 신규 유입 대비 이탈 사용자 비율 정보, 상기 제품을 복수회 구매한 사용자의 재구매 비율, 상기 제품에 대한 사용자 피드백 기간 중 적어도 하나의 정보를 기초로 상기 제품에 대한 평가 등급을 결정할 수도 있다.In addition, from the sales interface for the product provided by the product sales device 200, user purchase information of the product, the ratio of feedback for the product among the total feedback of users who left user feedback, information on increase/decrease in user feedback for the product, The evaluation level for the product may be determined based on at least one of the following: information on the ratio of new incoming to outgoing users in the sales interface, the repurchase rate of users who have purchased the product multiple times, and the user feedback period for the product.
또한, 제품계획 결정 장치(100)는, 제품을 구매해서 사용한 기간 별 선호도를 기초로 제품을 평가할 수 있으며, 제품의 종류에 따라 긍정 또는 부정 댓글을 1번만 작성한 사람의 피드백에 가중치를 높게 설정할 수도 있다. 또한, 외부 장치(300)와 제품 판매 장치(200) 모두 운영하는 웹페이지 상에서, 다른 피드백 없이, 제품 관련 댓글만 다는 사람에게 가중치를 높게 설정할 수 있다.In addition, the product plan decision device 100 can evaluate a product based on preference for each period of time the product has been purchased and used, and can also set a high weight on the feedback of a person who has written a positive or negative comment only once depending on the type of product. there is. Additionally, on a web page operated by both the external device 300 and the product sales device 200, a high weight can be set to people who only leave product-related comments without any other feedback.
제품계획 결정 장치(100)의 세부 구성, 각 구성의 기능 및 동작은 도 2에서 상세히 설명한다. 도 2는 본 발명의 다른 실시예에 따른 사용자의 피드백 반영 제품계획 결정 장치의 예시도이다.The detailed configuration of the product plan decision device 100 and the functions and operations of each component are explained in detail in FIG. 2. Figure 2 is an exemplary diagram of a product plan determination device reflecting user feedback according to another embodiment of the present invention.
도 2를 참조하면, 제품계획 결정 장치(100)는, 하나 이상의 프로세서(101), 제품을 구매한 사용자의 사용자 피드백을 획득하기 위한 네트워크 인터페이스(102), 프로세서에 의하여 수행되는 컴퓨터 프로그램(105)을 로드(load)하는 메모리(103), 컴퓨터 프로그램(105)을 저장하는 스토리지(104) 및 최적 제품계획 가이드를 출력하는 디스플레이부(106)를 포함할 수 있다.Referring to FIG. 2, the product plan determination device 100 includes one or more processors 101, a network interface 102 for obtaining user feedback from users who purchased the product, and a computer program 105 executed by the processor. It may include a memory 103 for loading, a storage 104 for storing the computer program 105, and a display unit 106 for outputting an optimal product planning guide.
프로세서(101)는 제품계획 결정 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), AP(Application Processor) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. The processor 101 controls the overall operation of each component of the product plan determination device 100. The processor 101 may be configured to include a Central Processing Unit (CPU), Micro Processor Unit (MPU), Micro Controller Unit (MCU), Application Processor (AP), or any type of processor well known in the art of the present invention. You can. Additionally, the processor 101 may perform operations on at least one application or program to execute methods according to embodiments of the present invention.
네트워크 인터페이스(102)는 제품계획 결정 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(102)는 공중 통신망인 인터넷 외에 다양한 통신 방식을 지원할 수도 있다. 또한, 네트워크 인터페이스(102)는 제품 판매 장치(200) 및 외부 장치(300)와의 연결을 제공할 수도 있다. 이를 위해, 네트워크 인터페이스(102)는 본 발명의 기술 분야에 잘 알려진 통신 모듈 및 접속 단자 중 적어도 하나를 포함하여 구성될 수 있다. The network interface 102 supports wired and wireless Internet communication of the product plan decision device 100. Additionally, the network interface 102 may support various communication methods in addition to the Internet, which is a public communication network. Additionally, the network interface 102 may provide connection with the product sales device 200 and an external device 300. To this end, the network interface 102 may be configured to include at least one of a communication module and a connection terminal well known in the technical field of the present invention.
본 발명의 실시예에 따르면, 네트워크 인터페이스(102)는 본 발명이 속한 기술분야에서 널리 알려진 인공 신경망과 인터페이스를 형성할 수도 있다.According to an embodiment of the present invention, the network interface 102 may form an interface with an artificial neural network well known in the technical field to which the present invention pertains.
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들을 실행하기 위하여 스토리지(104)로부터 하나 이상의 프로그램(105)을 로드(load)할 수 있다. 도 2에서 메모리(103)는 예를 들어 RAM일 수 있다.The memory 103 stores various data, instructions and/or information. Memory 103 may load one or more programs 105 from storage 104 to execute embodiments of the present invention. The memory 103 in FIG. 2 may be RAM, for example.
스토리지(104)는 상기 하나 이상의 프로그램(105), 기준 RPM 값, 라이더 개인 정보를 비임시적으로 저장할 수 있다. 도 2에서 상기 하나 이상의 프로그램(105)의 예시로 제품계획 결정 소프트웨어(105)가 도시되었다. 라이딩 경험 제공 소프트웨어(105)는, 제품계획 결정 프로그램으로 칭해질 수도 있다. Storage 104 may non-temporarily store the one or more programs 105, reference RPM values, and rider personal information. In Figure 2, product plan determination software 105 is shown as an example of the one or more programs 105. The riding experience providing software 105 may also be referred to as a product planning decision program.
스토리지(104)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage 104 is a non-volatile memory such as Read Only Memory (ROM), Erasable Programmable ROM (EPROM), Electrically Erasable Programmable ROM (EEPROM), flash memory, a hard disk, a removable disk, or a device well known in the art to which the present invention pertains. It may be configured to include any known type of computer-readable recording medium.
제품계획 결정 소프트웨어(105)는 본 발명의 실시예에 따라, 제품계획 결정 장치(100)의 프로세서(101)가 각 오퍼레이션을 실행시킴으로써, 제품계획 결정 방법이 실시되도록 할 수 있다.According to an embodiment of the present invention, the product plan determination software 105 can enable the product plan determination method to be implemented by having the processor 101 of the product plan determination device 100 execute each operation.
특히, 본 발명의 실시예에 따르면, 제품계획 결정 소프트웨어(105)는 사용자 피드백 상의 제품 피드백, 비제품 피드백을 구별하기 위한 언어모델을 포함할 수 있으며, 사용자 피드백 상의 제품에 대한 평가가 긍정적인지 부정적인지 판단하기 위한 생성하기 위한 평가모델을 포함할 수 있다.In particular, according to an embodiment of the present invention, the product planning decision software 105 may include a language model for distinguishing between product feedback and non-product feedback in user feedback, and whether the evaluation of the product in the user feedback is positive or negative. It may include an evaluation model to create a cognitive judgment.
본 발명의 실시예에 따른 언어모델은, 문장이 얼마나 자연스러운지 확률적으로 계산함으로써 문장 내 특정 위치에 출현하기 적합한 단어를 확률적으로 예측하는 모델로서, 미리 학습된 인공신경망 기반의 언어 모델을 포함한다. 예를 들어, 언어모델은, BERT, GPT와 같은 인공신경망 기반의 자연어처리를 수행하기 위한 알고리즘을 포함할 수 있다. 다른 실시예에서, 상기 언어모델은, 인공신경망 기반의 언어모델 아닌 통계학적 언어 모델을 포함할 수도 있다.The language model according to an embodiment of the present invention is a model that probabilistically predicts words suitable to appear in a specific position in a sentence by probabilistically calculating how natural the sentence is, and includes a pre-trained artificial neural network-based language model. do. For example, a language model may include an algorithm for performing natural language processing based on an artificial neural network, such as BERT or GPT. In another embodiment, the language model may include a statistical language model rather than an artificial neural network-based language model.
일 실시예에서, 상기 언어모델은, 사용자 피드백 상에서, 제품에 대한 단어와, 제품 외의 요소에 대한 단어를 확률적으로 연산할 수 있다.In one embodiment, the language model may probabilistically calculate words for products and words for elements other than products from user feedback.
본 발명의 실시예에 따른 평가모델은, 상기 언어모델의 일종일 수 있다. 일 실시예에서, 평가모델은, 사용자 피드백 상에서, 제품에 대한 평가가 긍정적인지 부정적인지 판단하기 위하여, 미리 학습된 인공신경망 기반의 언어모델을 포함할 수 있다. The evaluation model according to an embodiment of the present invention may be a type of the language model. In one embodiment, the evaluation model may include a pre-trained artificial neural network-based language model to determine whether the evaluation of the product is positive or negative based on user feedback.
상기 평가모델은, 복수의 인공 신경망을 포함하거나, 네트워크(50)를 통해 연결될 수 있다.The evaluation model may include a plurality of artificial neural networks or may be connected through a network 50.
특히, 본 발명의 일 실시예에 따르면, 제품계획 결정 장치(100)는, 상기 평가모델에 포함되거나 개별적으로 스토리지(104)에 저장된 적어도 하나의 예측모델을 이용하여, 사용자 피드백 상에 표현되어 있지 않은 단어라도, 제품과 관련된 단어를 기준으로 소정의 위치에 배치될 수 있는 단어를 확률적으로 연산할 수 있다. In particular, according to one embodiment of the present invention, the product plan determination device 100 uses at least one prediction model included in the evaluation model or individually stored in the storage 104, which is not expressed on the user feedback. Even if it is a word that is not a word, it is possible to probabilistically calculate words that can be placed in a predetermined position based on words related to the product.
본 발명의 다른 실시예에 따르면, 언어모델 및/또는 평가모델은 스토리지(104)에 저장될 수 있으며, 제품계획 결정 소프트웨어(105)에 통합되어 구비될 수도 있다.According to another embodiment of the present invention, the language model and/or evaluation model may be stored in the storage 104 and may be integrated into the product plan decision software 105.
디스플레이부(106)는, 본 발명의 실시예에 따른 최적 제품계획 결정 가이드를 출력한다. 일 예로, 디스플레이부(106)는 터치패널을 구비하여, 터치입력으로 입력을 수신하고, 각종 인터페이스를 영상으로 출력하는 출력부로 기능할 수도 있다.The display unit 106 outputs an optimal product plan decision guide according to an embodiment of the present invention. As an example, the display unit 106 may include a touch panel and function as an output unit that receives input through touch input and outputs various interfaces as images.
도 3은 본 발명의 또 다른 실시예에 따른 사용자의 피드백 반영 제품계획 결정 방법의 순서도이다. 또한, 도 4 는 본 발명의 몇몇 실시예에서 참조되는, 사용자 피드백의 요소를 설명하기 위한 예시이다.Figure 3 is a flowchart of a method for determining a product plan based on user feedback according to another embodiment of the present invention. Additionally, Figure 4 is an example to explain elements of user feedback, which are referenced in some embodiments of the present invention.
이하, 사용자 피드백 반영 제품계획 결정 방법의 각 단계는, 제품계획 결정 장치(100)로부터 수행된다. 구체적으로, 프로세서(101)가 프로그램(105)의 각 오퍼레이션을 실행함에 따라, 하기 각 단계가 수행된다.Hereinafter, each step of the product plan determination method reflecting user feedback is performed by the product plan determination device 100. Specifically, as the processor 101 executes each operation of the program 105, the following steps are performed.
도 3을 참조하면, 제품계획 결정 장치(100)는 도 2의 네트워크 인터페이스(101)를 통해, 제품을 구매한 사용자의 사용자 피드백을 획득할 수 있다(S10). 도 4에서, 사용자 피드백의 피드백 요소(401, 402)가 예로써 도시되었다. 피드백 요소(401, 402)는 적어도 하나의 사용자 피드백 상에 포함된 단어, 구문, 문장 중 적어도 하나를 포함할 수 있다.Referring to FIG. 3, the product plan determining device 100 may obtain user feedback from a user who purchased the product through the network interface 101 of FIG. 2 (S10). In Figure 4, feedback elements 401 and 402 of user feedback are shown by way of example. The feedback elements 401 and 402 may include at least one of words, phrases, and sentences included in at least one user feedback.
도 4를 참조하면, 피드백 요소(401)은, 제품의 소재, 재질, 색상, 사이즈, 효과, 가격과 같은 제품속성에 관한 내용의 피드백을 포함한다. 이를 제품 피드백이라 칭할 수 있다. Referring to FIG. 4, the feedback element 401 includes feedback on product attributes such as product material, material, color, size, effect, and price. This can be called product feedback.
또한, 피드백 요소(402)는, 배송, 포장, AS, 설치, 쿠폰, 환불처리 등 제품 외의 요소, 즉, 비제품 속성에 관한 피드백을 포함한다. 이를 비제품 피드백이라 칭할 수 있다. Additionally, the feedback element 402 includes feedback on elements other than the product, that is, non-product attributes, such as delivery, packaging, after-sales service, installation, coupons, and refund processing. This can be called non-product feedback.
상기 제품속성, 비제품 속성에 관한 내용은, 숫자, 느낌표, 마침표, 접속사, 조사, 형용사, 부사 등으로 표현되고 있다.Content regarding the product attributes and non-product attributes are expressed by numbers, exclamation points, periods, conjunctions, particles, adjectives, adverbs, etc.
제품계획 결정 장치(100)는 미리 학습된 언어모델을 이용하여, 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류할 수 있다(S20). The product plan decision device 100 can classify product feedback and non-product feedback in user feedback using a pre-learned language model (S20).
즉, 제품계획 결정 장치(100)는, 상기 언어모델을 이용하여, 사용자 피드백에 포함된 단어를 제품 피드백과 비제품 피드백으로 분류할 수 있다.That is, the product plan determination device 100 can classify words included in user feedback into product feedback and non-product feedback using the language model.
일 실시예에 따르면, 제품계획 결정 장치(100)의 언어모델은 사용자 피드백 상에서 토픽을 추출하는 알고리즘을 적어도 하나 포함할 수 있다. 예를 들어, 언어모델은 LDA(Latent Dirichlet Allocation)를 구비하여, 제품 또는 제품을 지칭하는 기준 단어를 식별할 수 있다. 제품계획 결정 장치(100)는 제품 또는 기준 단어를 기초로, 제품 피드백과 비제품 피드백이 분류될 수 있다. According to one embodiment, the language model of the product plan determination device 100 may include at least one algorithm for extracting topics from user feedback. For example, the language model may be equipped with LDA (Latent Dirichlet Allocation) to identify products or reference words that refer to products. The product plan decision device 100 may classify product feedback and non-product feedback based on products or standard words.
상기 제품 피드백과 비제품 피드백의 분류 방법은, 도 5를 참조하여 후술한다.A method of classifying the product feedback and non-product feedback will be described later with reference to FIG. 5.
제품계획 결정 장치(100)는 미리 학습된 평가모델을 이용하여, 상기 제품 피드백 중, 긍정요소 및 부정요소 중 적어도 하나의 평가요소를 추출할 수 있다(S30). The product plan decision device 100 may extract at least one evaluation element among positive elements and negative elements from the product feedback using a pre-learned evaluation model (S30).
제품계획 결정 장치(100)는 추출된 평가요소를 기초로 상기 제품에 대한 평가 등급을 결정하고(S40), 결정된 평가 등급 기초로, 제품계획을 결정할 수 있다(S50).The product plan determination device 100 may determine an evaluation grade for the product based on the extracted evaluation elements (S40) and determine a product plan based on the determined evaluation grade (S50).
도 5 는 본 발명의 몇몇 실시예에서 참조되는, 사용자 피드백 중 제품 피드백과 비제품 피드백을 구별하는 방법의 순서도이다.Figure 5 is a flowchart of a method for distinguishing between product feedback and non-product feedback among user feedback, which is referenced in some embodiments of the present invention.
제품계획 결정 장치(100)는 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류할 수 있다.The product plan decision device 100 may classify user feedback into product feedback and non-product feedback.
제품계획 결정 장치(100)는 미리 학습된 언어모델을 이용하여, 사용자 피드백 상의 단어들에 대하여, 제품과의 관련성을 확률 연산을 통해 스코어링할 수 있다(S501). The product plan decision device 100 may use a pre-learned language model to score the relevance of the words in the user feedback to the product through probability calculation (S501).
일 실시예에서, 제품계획 결정 장치(100)는, 문장 내에서, 제품 또는 제품을 지칭하는 기준 단어의 전후로 확률적으로 배치될 수 있는 단어를 예측할 수 있다. In one embodiment, the product plan determination device 100 may predict words that can be probabilistically placed before or after a product or a reference word referring to a product within a sentence.
이때, 제품계획 결정 장치(100)는 사용자 피드백에 기재된 실제 단어와 상기 예측된 단어와의 미리 설정된 기준에 따른 유사도를 판단할 수 있으며, 이를 기초로, 사용자 피드백 상에 기재된 실제 단어에 스코어를 할당할 수 있다. At this time, the product plan determination device 100 may determine the degree of similarity between the actual word written in the user feedback and the predicted word according to a preset standard, and based on this, assign a score to the actual word written in the user feedback. can do.
제품계획 결정 장치(100)는 스코어링한 결과, 미리 설정된 기준 이상의 스코어가 할당된 단어를 제1 그룹핑할 수 있다(S502).As a result of scoring, the product plan determination device 100 may first group words to which a score equal to or higher than a preset standard is assigned (S502).
예를 들어, 도 4의 피드백 요소(401)은, 사용자 피드백 상의 단어 중 미리 설정된 기준 이상의 스코어가 할당된 것으로, 피드백 요소(401)로 그룹핑될 수 있다. 제품계획 결정 장치(100)는 이 같이 제1 그룹핑된 단어를 제품 피드백으로 결정할 수 있다(S503).For example, the feedback element 401 of FIG. 4 is a word in the user feedback to which a score higher than a preset standard is assigned, and may be grouped into the feedback element 401. The product plan decision device 100 may determine the first grouped words as product feedback (S503).
일 실시예에서, 제품계획 결정 장치(100)는 제1 그룹핑된 단어 외의 단어들을 제2 그룹핑할 수 있다. 또는 다른 실시예에서, 제품계획 결정 장치(100)는 사용자 피드백 상의 단어들에 대하여, 미리 등록된 비제품 단어 필터 통해 추출되는 단어를 제2 그룹핑할 수도 있다(S504).In one embodiment, the product plan determining device 100 may group words other than the first grouped words into a second group. Or, in another embodiment, the product plan determination device 100 may second group words extracted through a pre-registered non-product word filter for words in user feedback (S504).
즉, 제품계획 결정 장치(100)는 미리 설정된 기준에 따른 제품 관련성이 높은 단어 외의 단어를 비제품 피드백 단어로 판단하거나, 미리 등록된 마스크로 필터링된 단어를 비제품 피드백 단어로 결정할 수도 있다.That is, the product plan determination device 100 may determine words other than words with high product relevance according to a preset standard as non-product feedback words, or may determine words filtered by a pre-registered mask as non-product feedback words.
예를 들어, 제품계획 결정 장치(100)는, 배송, 포장, AS, 설치, 쿠폰, 환불처리 등 비제품 요소에 대한 단어, 이의 유사어 등을 사전에 마스크로 등록하여 사용자 피드백 상의 단어들을 필터링할 수 있다. 일 실시예에서, 제품계획 결정 장치(100)는 이 같이 필터링된 단어들을 제2 그룹핑할 수도 있으며, 제2 그룹핑된 단어들을 비제품 피드백으로 결정할 수 있다(S505).For example, the product plan decision device 100 registers words for non-product elements such as delivery, packaging, after-sales service, installation, coupons, refund processing, etc., and their similar words as masks in advance to filter words in user feedback. You can. In one embodiment, the product plan determination device 100 may group the filtered words into a second group and determine the second grouped words as non-product feedback (S505).
다시 도 4를 참조하면, 도 4의 피드백 요소(402)는, 제1 그룹핑된 단어 외의 단어이거나, 미리 등록된 마스크로 필터링된 단어로 그룹핑된 것일 수 있다.Referring again to FIG. 4, the feedback element 402 of FIG. 4 may be a word other than the first grouped word, or may be grouped with a word filtered by a pre-registered mask.
도 6 은 본 발명의 몇몇 실시예에서 참조되는, 사용자 피드백의 예시이다. 도 6을 참조하면, 사용자 피드백(600)은, 비제품 피드백(610) 및 제품 피드백(620)으로 분류될 수 있다.Figure 6 is an example of user feedback, referenced in some embodiments of the present invention. Referring to FIG. 6, user feedback 600 may be classified into non-product feedback 610 and product feedback 620.
일 실시예에서, 제품계획 결정 장치(100)는 비제품 피드백(610) 상의 각 단어의 품사를 식별할 수 있다. 일 실시예에서, 제품계획 결정 장치(100)는, 상기 각 단어의 품사를 언어모델을 이용하여 식별할 수 있다.In one embodiment, the product plan determination device 100 may identify the part of speech of each word in the non-product feedback 610. In one embodiment, the product plan determination device 100 may identify the part of speech of each word using a language model.
제품계획 결정 장치(100)는, 비제품 요소인 '배송'(612)을 식별하고, 비제품 피드백의 속성과 관련된, '빠른'(611)을 식별할 수 있다. 또한, 제품계획 결정 장치(100)는, 비제품 요소인 배송(612)에 대한 긍정평가 또는 부정평가를 위한 평가요소로, '정말'(613), '감사'(614)와 같은 단어를 식별할 수 있다.The product plan determination device 100 may identify 'delivery' 612, which is a non-product element, and identify 'fast' 611, which is related to the attribute of non-product feedback. In addition, the product plan decision device 100 identifies words such as 'really' (613) and 'thank you' (614) as evaluation factors for positive or negative evaluation of delivery (612), a non-product element. can do.
제품계획 결정 장치(100)는, 비제품 요소인 '배송'(612)을 기준 단어로 결정하고, '배송'(612)을 꾸미는 부사인 '빠른'(611)과 '배송'(612)으로부터 미리 설정된 거리 내에 배치되는 '감사'(614)를 평가요소로 결정할 수 있다. 제품계획 결정 장치(100)는, '정말'(613)에 대한 판단을 긍정 부정도 아닌 보류로 정할 수 있으나, 평가모델에 따라서는 '정말'(613)을 평가요소로 결정할 수도 있다.The product plan decision device 100 determines 'delivery' (612), a non-product element, as the standard word, and selects 'fast' (611) and 'delivery' (612), which are adverbs that decorate 'delivery' (612). 'Gratitude' 614 placed within a preset distance can be determined as an evaluation factor. The product plan decision device 100 may determine the judgment of 'really' (613) as a hold rather than positive or negative, but depending on the evaluation model, it may also determine 'really' (613) as an evaluation factor.
다른 실시예에서, 제품계획 결정 장치(100)는 제품 피드백(620) 상의 각 단어의 품사를 식별할 수 있다. 일 실시예에서, 제품계획 결정 장치(100)는, 상기 각 단어의 품사를 언어모델을 이용하여 식별할 수 있다.In another embodiment, the product plan determination device 100 may identify the part of speech of each word in the product feedback 620. In one embodiment, the product plan determination device 100 may identify the part of speech of each word using a language model.
제품계획 결정 장치(100)는, 제품 요소인 브랜드 명칭 '푸응'(626)과 제품의 소재인 '차전자피'(627)를 식별할 수 있다. 제품계획 결정 장치(100)는, 제품 자체인 '푸응'(626) 및/또는 '차전자피'(627)을 기준 단어로 결정할 수 있다.The product plan decision device 100 can identify the brand name 'Pung' (626), which is a product element, and 'psyllium husk' (627), which is the material of the product. The product plan decision device 100 may determine the product itself, 'pung' (626) and/or 'psyllium husk' (627), as the reference word.
제품계획 결정 장치(100)는, 제품 피드백의 속성과 관련된, '효과'(628), '봤다'(629)을 식별할 수 있다. 또한, 제품계획 결정 장치(100)는, 이어진 문장에서, '일단'(630), '1주일간'(631), '효과'(632), '진짜'(633), '좋네요'(634), '계속'(635), '효과'(636), '재구매의사'(637)와 같은 단어를, 기준 단어(626, 627)에 대한 긍정평가 또는 부정평가를 위한 평가요소로 결정할 수 있다. The product plan decision device 100 may identify ‘effect’ (628) and ‘seen’ (629) related to the attributes of product feedback. In addition, the product plan decision device 100, in the following sentences, uses words such as ‘for now’ (630), ‘for a week’ (631), ‘effect’ (632), ‘real’ (633), and ‘good’ (634). , 'continue' (635), 'effect' (636), and 'repurchase intention' (637) can be determined as evaluation factors for positive or negative evaluation of the standard words (626, 627).
다른 실시예에서, 제품계획 결정 장치(100)는, 타제품 명칭 'OO'(621)과, '도'(622), '좋다고'(623), 문장부호 중 물음표 '??'(624), '광고'(625)와 같이 제품과 비교되어, 제품에 대한 긍정평가 또는 부정평가를 내릴 수 있는 단어를 평가요소로 결정할 수도 있다.In another embodiment, the product plan decision device 100 includes other product names 'OO' (621), 'Do' (622), 'Good' (623), question mark '??' (624) among punctuation marks, Words such as 'advertisement' (625) that can be compared to a product and give a positive or negative evaluation of the product can be determined as evaluation factors.
구체적으로, 제품계획 결정 장치(100)는 제품 피드백 또는 비제품 피드백 상의 단어들 중, 평가요소로 결정된 단어에 대하여, 기준 단어와 매치되어, 하나의 문장 속에서, 상기 기준 단어로부터 소정의 거리 내에 확률적으로 배치될 수 있는 긍정평가 단어와 부정평가 단어를 예측할 수 있다.Specifically, the product plan decision device 100 matches a word determined as an evaluation element among words in product feedback or non-product feedback with a standard word, and within a predetermined distance from the standard word in one sentence. It is possible to predict positive and negative words that can be placed probabilistically.
일 실시예에서, 제품계획 결정 장치(100)는 예측된 긍정평가 단어와 상기 결정된 단어가 미리 설정된 기준에 따른 유사도를 갖는 경우, 상기 결정된 단어를 긍정평가 단어로 분류할 수 있다. In one embodiment, the product plan determination device 100 may classify the determined word as a positive evaluation word when the predicted positive evaluation word and the determined word have a degree of similarity according to a preset standard.
다른 실시예에서, 제품계획 결정 장치(100)는 예측된 부정평가 단어와 상기 결정된 단어가 미리 설정된 기준에 따른 유사도를 갖는 경우, 상기 결정된 단어를 부정평가 단어로 분류할 수 있다. In another embodiment, the product plan determination device 100 may classify the determined word as a negatively evaluated word when the predicted negatively evaluated word and the determined word have a degree of similarity according to a preset standard.
한편, 상기 조사인 '도'(622), 문장부호인 물음표 '??'(624), '일단'(630), '1주일간'(631)에 대하여, 제품계획 결정 장치(100)는, 긍정 부정도 아닌 보류 대상으로 결정할 수 있으나, 미리 학습된 평가모델의 종류에 따라 상기 평가요소를 긍정요소 또는 부정요소로 분류할 수도 있다. Meanwhile, for the above survey 'degree' (622), the punctuation mark '??' (624), 'for now' (630), and 'for a week' (631), the product plan decision device 100, It can be decided as a pending target rather than a positive or negative one, but the evaluation element can also be classified as a positive element or a negative element depending on the type of evaluation model learned in advance.
도 7 내지 도 8은 본 발명의 몇몇 실시예에서 참조되는, 제품 피드백에 대한 예측모델을 설명하기 위한 예시이다. 7 to 8 are examples for explaining a prediction model for product feedback, which is referenced in some embodiments of the present invention.
도 7 및 도 8을 참조하면, 제품계획 결정 장치(100)는, 사용자 피드백(700)에 대하여, 제1 예측모델(720)을 이용하여 가상의 제1 제품 피드백(710)을 생성할 수 있다. 또한, 제2 예측모델(820)을 이용하여, 가상의 제2 제품 피드백(800)을 생성할 수도 있다.Referring to FIGS. 7 and 8 , the product plan determination device 100 may generate a virtual first product feedback 710 using the first prediction model 720 with respect to the user feedback 700. . Additionally, a virtual second product feedback 800 may be generated using the second prediction model 820.
제품계획 결정 장치(100)는 제1 예측모델 및 제2 예측모델 중 적어도 하나를 저장할 수 있다. The product plan determination device 100 may store at least one of a first prediction model and a second prediction model.
제1 예측모델 및 제2 예측모델은, 상술한 언어모델의 일종으로, 제품에 대한 기준 단어와 하나의 문장 내에서, 상기 기준 단어의 전후에 확률적으로 배치될 수 있는 단어를 예측하는 모델이다.The first prediction model and the second prediction model are a type of language model described above, and are models that predict a standard word for a product and words that can be probabilistically placed before and after the standard word in one sentence. .
본 발명의 실시예에 따르면, 제2 예측모델은, 제1 예측모델의 확률 연산에 있어, 사용자 피드백에 포함된 조사 및 접속사에 가중치를 둔 모델이다.According to an embodiment of the present invention, the second prediction model is a model that weights the particles and conjunctions included in the user feedback in the probability calculation of the first prediction model.
다시 말해, 제2 예측모델은, 사용자 피드백 상의 기준 단어 중 적어도 하나와 짝을 이뤄 상기 기준 단어의 전 또는 후에 배치될 수 있는 긍정요소 및 부정요소에 대하여 미리 학습된 모델이다. In other words, the second prediction model is a model trained in advance for positive and negative elements that pair with at least one of the reference words in the user feedback and can be placed before or after the reference word.
또 다른 실시예에 따르면, 도 7 및 도 8을 참조하면, 제품계획 결정 장치(100)는 기준 단어로 차전자피(701)를 결정하고, 복수개의 제품 피드백에 대한 평가요소를 분류할 수 있다.According to another embodiment, referring to FIGS. 7 and 8, the product plan determination device 100 may determine psyllium husk 701 as a reference word and classify evaluation factors for a plurality of product feedbacks.
일 예로, 제품계획 결정 장치(100)는 기준 단어로 '차전자피'(701)를 결정하고, 그 외 '맛'(702), '별론데'(703), '다이어트용'(704)를 평가요소로 결정할 수 있다.As an example, the product plan decision device 100 determines 'psyllium husk' (701) as the standard word, and evaluates other words such as 'taste' (702), 'not good' (703), and 'for diet' (704). It can be determined by element.
다른 예로, 제품계획 결정 장치(100)는 LDA 알고리즘 등 언어모델을 이용하여, 기준 단어로 '차전자피'(701) 외에, '차전자피'(701)의 속성과 관련된 2개의 주제, '맛'(702)과 '다이어트용'(704)을 결정할 수도 있다.As another example, the product plan decision device 100 uses a language model such as the LDA algorithm to select, in addition to 'psyllium husk' (701) as the standard word, two topics related to the properties of 'psyllium husk' (701), 'taste' (702) ) and ‘for diet’ (704).
이를 통해, 차전자피의 '맛'(702)에 대하여 '별론데'(703)라는 평가가 결정될 수 있으나, 다이어트용(704)에 대한 평가의 경우, 제품계획 결정 장치(100)는 사용자 피드백(700) 상에 다른 평가요소가 존재하지 않으므로 이를 긍정요소 또는 부정요소로 분류할 수 없다.Through this, an evaluation of 'not great' (703) can be determined for the 'taste' (702) of psyllium husk, but in the case of an evaluation for diet (704), the product plan decision device 100 uses user feedback (700). ), there are no other evaluation factors, so it cannot be classified as a positive or negative factor.
일 실시예에 따르면, 제품계획 결정 장치(100)는 미리 설정된 개수 이상의 단어가 분류되지 않는 경우, 미리 학습된 제1 예측모델(720)을 이용하여, 기준 단어 차전자피(701) 또는 다이어트용(704)의 전 또는 후에 배치될 수 있는 적어도 하나의 단어를 확률적으로 제1 예측할 수 있다.According to one embodiment, when more than a preset number of words are not classified, the product plan determination device 100 uses the pre-learned first prediction model 720 to select the reference word psyllium husk 701 or diet 704. ), at least one word that can be placed before or after can be first predicted probabilistically.
도 7에서, 특히 영역(711)상에, 적어도 하나의 단어(730)가 제1 예측된 경우가 도시되었다. In Figure 7, a case in which at least one word 730 is first predicted is shown, particularly on region 711.
실제 사용자 피드백(700)에는 표현되지 않았으나, 제품계획 결정 장치(100)는 적어도 하나의 단어(730)가 영역(711) 상에 배치된 가상의 제1 제품 피드백(710)을 생성할 수 있다.Although not expressed in the actual user feedback 700, the product plan determination device 100 may generate a virtual first product feedback 710 in which at least one word 730 is placed on the area 711.
본 발명의 실시예에 따르면, 미리 학습된 평가모델(740)을 이용하여, 제품계획 결정 장치(100)는 생성된 가상의 제1 제품 피드백(710)에 속하는 단어가 긍정요소인지 부정요소인지 분류할 수 있다. According to an embodiment of the present invention, using the pre-learned evaluation model 740, the product plan decision device 100 classifies whether a word belonging to the generated virtual first product feedback 710 is a positive element or a negative element. can do.
적어도 하나의 단어(730) 중, 그냥, 시험삼아, 한번 등의 단어는, 확률적으로 영역(711)에 배치될 수는 있으나, 여전히 긍정요소인지 부정요소인지 분류하기 어려운 단어이다.Among at least one word 730, words such as just, just for a test, once, etc. can be placed probabilistically in the area 711, but it is still difficult to classify them as positive or negative elements.
이를 개선하기 위해, 도 8을 참조하면, 제품계획 결정 장치(100)는 가상의 제2 제품 피드백(800)을 생성하는데 있어, 제2 예측모델(820)을 이용하여, 은(811), 데(812), 그래도(813)과 같은, 조사, 접속사 등에 가중치를 부여함으로써, 영역(810)에 배치될 수 있는 적어도 하나의 단어(830)를 확률적으로 제2 예측할 수 있다. To improve this, referring to FIG. 8, the product plan determination device 100 uses the second prediction model 820 to generate the virtual second product feedback 800, By assigning weights to particles, conjunctions, etc., such as (812) and still (813), at least one word (830) that can be placed in the region (810) can be secondly predicted probabilistically.
특히, 도 7의 적어도 하나의 단어(730) 대비, 도 8의 적어도 하나의 단어(830)는 긍정요소인지 부정요소인지에 대한 분류 가능성이 높아졌다.In particular, compared to at least one word 730 in FIG. 7, the possibility of classifying at least one word 830 in FIG. 8 as a positive or negative element has increased.
본 발명의 실시예에 따르면, 미리 학습된 평가모델(840)을 이용하여, 제품계획 결정 장치(100)는 생성된 가상의 제2 제품 피드백(800)에 속하는 단어가 긍정요소인지 부정요소인지 분류할 수 있다. According to an embodiment of the present invention, using the pre-learned evaluation model 840, the product plan decision device 100 classifies whether a word belonging to the generated virtual second product feedback 800 is a positive element or a negative element. can do.
도 7 및 도 8에 예시된 평가요소, '맛' 외에도, 본 발명의 실시예에 따르면, 다양한 형용사, 동사, 부사가 평가요소로 결정될 수도 있다. 예를 들어, '목넘김'과 같은 촉감도 평가요소가 될 수 있으며, 언어모델 및/또는 평가모델로 반복 식별되는 단어, 발생 빈도수가 높은 단어를 우선적인 평가요소로 결정될 수도 있다. In addition to the evaluation element 'taste' illustrated in FIGS. 7 and 8, according to an embodiment of the present invention, various adjectives, verbs, and adverbs may be determined as evaluation factors. For example, tactile sensations such as 'throbbing' can also be an evaluation factor, and words that are repeatedly identified by a language model and/or evaluation model, and words with a high frequency of occurrence, may be determined as priority evaluation factors.
도 9는, 본 발명의 몇몇 실시예에서 참조되는, 제품 피드백에 대한 예측모델과 평가모델의 구조를 설명하기 위한 예시이다. Figure 9 is an example to explain the structure of a prediction model and an evaluation model for product feedback, which are referenced in some embodiments of the present invention.
도 9를 참조하면, 제품계획 결정 장치(100)는 예측모델을 평가모델을 기준으로 경쟁시키는 방법이 구조(900)에 의해 개시된다. Referring to FIG. 9, the product plan determination device 100 discloses a method of competing prediction models based on an evaluation model in structure 900.
제품계획 결정 장치(100)는 사용자 피드백을 기초로, 제1 예측모델(720)과 제2 예측모델(820) 각각을 이용하여, 병렬적으로 가상의 제품 피드백을 생성할 수 있다. The product plan determination device 100 may generate virtual product feedback in parallel using each of the first prediction model 720 and the second prediction model 820 based on user feedback.
가상의 제품 피드백 중, 제1 제품 피드백(931), 제2 제품 피드백(932)이 생성될 수 있다. Among virtual product feedbacks, first product feedback 931 and second product feedback 932 may be generated.
구체적으로, 제품계획 결정 장치(100)는 기준 단어(910)과 상기 예측모델(720, 820)을 통해 예측된 단어(920)를 결합하여 가상의 제품 피드백을 생성할 수 있다. 특히, 제2 예측모델(820)의 경우, 가중치를 부여하여, 예측된 단어(920)의 범위를 단어(921)로 좁힐 수 있다.Specifically, the product plan determination device 100 may generate virtual product feedback by combining the reference word 910 and the word 920 predicted through the prediction models 720 and 820. In particular, in the case of the second prediction model 820, the range of the predicted word 920 can be narrowed to the word 921 by assigning weights.
제1 제품 피드백(931), 제2 제품 피드백(932)은, 평가모델(940)에 의해 긍정요소 또는 부정요소로 분류될 수 있다.The first product feedback 931 and the second product feedback 932 may be classified into positive or negative elements by the evaluation model 940.
평가모델(940)에 의한 분류 결과, 제1 제품 피드백(931)에 속하는 단어 및 제2 제품 피드백(932)에 속하는 단어 중, 어느 하나는 긍정요소로 분류되고, 나머지 하나는 부정요소로 분류되는 경우가 발생할 수 있다.As a result of classification by the evaluation model 940, among the words belonging to the first product feedback 931 and the words belonging to the second product feedback 932, one is classified as a positive element and the other is classified as a negative element. Cases may arise.
즉, 제1 제품 피드백(931)과 제2 제품 피드백(932)에 대한 평가모델(940)의 분류 결과가 다른 경우이다. That is, this is a case where the classification results of the evaluation model 940 for the first product feedback 931 and the second product feedback 932 are different.
이와 같은 경우, 일 실시예에 따르면, 제품계획 결정 장치(100)는 제1 제품 피드백(931)과 제2 제품 피드백(932)을 기초로, 평가모델(940)을 재학습시킬 수 있다. In this case, according to one embodiment, the product plan determination device 100 may retrain the evaluation model 940 based on the first product feedback 931 and the second product feedback 932.
일 실시예에서, 제품계획 결정 장치(100)는 제1 제품 피드백(931)과 제2 제품 피드백(932)에 대한 분류 결과가 동일해질 때까지 재학습을 반복할 수 있다. In one embodiment, the product plan determination device 100 may repeat re-learning until the classification results for the first product feedback 931 and the second product feedback 932 are the same.
다른 실시예에서, 제1 제품 피드백(931)에 속하는 단어 및 제2 제품 피드백(932)에 속하는 단어 중, 어느 하나는 긍정요소로 분류되고, 나머지 하나는 부정요소로 분류되는 경우에, 제품계획 결정 장치(100)는 제1 예측모델(720)이 제1 예측한 단어와 제2 예측모델(820)이 제2 예측한 단어 중, 확률 값이 큰 단어에 대하여, 평가모델(940)을 이용하여 긍정요소인지 부정요소인지 분류할 수 있다. 즉, 확률 값이 큰 단어를 평가요소로 결정하고, 긍정요소인지 부정요소인지 분류하는 것이다.In another embodiment, when one of the words belonging to the first product feedback 931 and the words belonging to the second product feedback 932 is classified as a positive element and the other is classified as a negative element, the product plan The decision device 100 uses the evaluation model 940 for words with a high probability value among the words first predicted by the first prediction model 720 and the words second predicted by the second prediction model 820. Thus, it can be classified as a positive or negative element. In other words, words with a high probability value are determined as evaluation elements and classified as positive elements or negative elements.
도 10은 본 발명의 몇몇 실시예에서 참조되는, 최적 제품계획 가이드 생성 과정의 예시이다. Figure 10 is an example of an optimal product planning guide generation process, referenced in some embodiments of the present invention.
도 10을 참조하면, 사용자 피드백은, 제품 피드백과 비제품 피드백으로 분류되고, 각각은 긍정 또는 부정요소인 평가요소를 포함한다.Referring to FIG. 10, user feedback is classified into product feedback and non-product feedback, and each includes evaluation elements that are either positive or negative elements.
이때, 제품계획 결정 장치(100)는 외부 장치(300)로부터 수집된 정보를 바탕으로 제품의 트렌드에 대한 지속력에 대한 판단 및/또는 사용자의 행동 패턴을 바탕으로, 사용자 피드백을 최종 분류할 수 있다.At this time, the product plan decision device 100 may determine the sustainability of the product trend based on information collected from the external device 300 and/or final classify the user feedback based on the user's behavior pattern. .
특히, 본 발명의 실시예에 따르면, 제품계획 결정 장치(100)는, 미리 학습된 평가모델을 이용하여, 분류된 비제품 피드백 중, 긍정요소 및 부정요소 중 적어도 하나의 평가요소를 추출할 수 있다. In particular, according to an embodiment of the present invention, the product plan decision device 100 can extract at least one evaluation element among positive elements and negative elements from classified non-product feedback using a pre-learned evaluation model. there is.
또한, 제품계획 결정 장치(100)는 제품에 대한 평가 등급을 결정 시, 비제품 피드백의 긍정요소 및 부정요소를 기초로 평가 등급을 갱신할 수도 있다.Additionally, when determining the evaluation grade for a product, the product plan decision device 100 may update the evaluation grade based on positive and negative elements of non-product feedback.
이에 따라, 제품계획 결정 장치(100)는 제품계획을 결정 시, 비제품 피드백의 평가요소를 반영하여 제품에 대한 최적 제품계획 가이드를 생성할 수 있다. 즉, 제품계획 결정 장치(100)는, 제품 피드백뿐만 아니라, 비제품 피드백도 고려하여, 제품계획 최적 가이드를 생성할 수 있다.Accordingly, when determining a product plan, the product plan determination device 100 may reflect evaluation factors of non-product feedback and generate an optimal product plan guide for the product. That is, the product plan determination device 100 can generate an optimal product plan guide by considering not only product feedback but also non-product feedback.
제품계획 결정 장치(100)의 이용자는, 제품계획 최적 가이드를 통해, 제품에 대한 추가 생산, 재고 정리, 마케팅, 할인 판매, 리브랜딩, 제품 개선, 서비스 개선, 신 제품 개발을 고려할 수 있게 된다.The user of the product plan decision device 100 can consider additional product production, inventory reorganization, marketing, discount sales, rebranding, product improvement, service improvement, and new product development through the product plan optimal guide.
지금까지 첨부된 도면을 참조하여 설명된 본 발명의 실시예에 따른 제품계획 생성/결정 장치(100) 및/또는 프로세서(101)의 결정 및/또는 연산 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 송신되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 PC와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치를 모두 포함한다.The decision and/or calculation methods of the product plan generation/determination device 100 and/or the processor 101 according to embodiments of the present invention described with reference to the accompanying drawings so far are implemented in computer-readable code. It can be performed by executing a computer program. The computer program can be transmitted from a first computing device to a second computing device through a network such as the Internet, installed on the second computing device, and thereby used on the second computing device. The first computing device and the second computing device include both server devices, stationary computing devices such as desktop PCs, and mobile computing devices such as laptops, smartphones, and tablet PCs.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the attached drawings, those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.
10: 제품계획 결정 시스템
100: 제품계획 결정 장치
200: 제품 판매 장치
50: 네트워크
300: 외부 장치10: Product planning decision system
100: Product planning decision device
200: Product sales device
50: network
300: external device
Claims (14)
제품을 구매한 사용자의 사용자 피드백을 획득하는 단계;
미리 학습된 언어모델을 이용하여, 상기 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류하는 단계;
미리 학습된 평가모델을 이용하여, 상기 제품 피드백 상에서, 상기 제품에 대응되는 기준 단어를 결정하는 단계;
상기 제품 피드백에 속하는 단어에 대한 품사를 결정하는 단계;
상기 기준 단어와 상기 제품 피드백에 속하는 단어 사이의 거리 및 상기 결정된 품사를 기초로, 상기 제품 피드백에 속하는 단어 중, 평가요소를 결정하는 단계;
상기 미리 학습된 평가모델을 이용하여, 상기 평가요소가 긍정요소인지 부정요소인지 분류하는 단계;
상기 분류된 긍정요소 및 부정요소 중 적어도 하나를 기초로 상기 제품에 대한 평가 등급을 결정하는 단계; 및
상기 결정된 평가 등급 기초로, 제품계획을 결정하는 단계;를 포함하되,
상기 평가요소가 긍정요소인지 부정요소인지 분류하는 단계는,
상기 평가요소 중 미리 설정된 개수 이상의 단어가 긍정요소 또는 부정요소로 분류되지 않는 경우, 미리 학습된 제1 예측모델을 이용하여, 상기 기준 단어의 전 또는 후에 배치될 수 있는 적어도 하나의 단어를 확률적으로 제1 예측하고, 상기 제1 예측모델과 다른 미리 학습된 제2 예측모델을 이용하여, 상기 기준 단어의 전 또는 후에 배치될 수 있는 적어도 하나의 단어를 확률적으로 제2 예측하는 단계;
상기 제1 예측된 적어도 하나의 단어를 포함하는, 가상의 제1 제품 피드백을 생성하고, 상기 제2 예측된 적어도 하나의 단어를 포함하는, 가상의 제2 제품 피드백을 생성하는 단계;
상기 평가모델을 이용하여, 상기 생성된 제1 제품 피드백에 속하는 제1 예측된 단어와 상기 생성된 제2 제품 피드백에 속하는 제2 예측된 단어 각각이 긍정요소인지 부정요소인지 분류하는 단계; 및
상기 평가모델에 의한 분류 결과, 상기 제1 제품 피드백에 속하는 상기 제1 예측된 단어 및 상기 제2 제품 피드백에 속하는 상기 제2 예측된 단어 중, 어느 하나는 긍정요소로 분류되고, 나머지 하나는 부정요소로 분류됨에 따라, 상기 제1 제품 피드백과 상기 제2 제품 피드백에 대한 분류 결과가 달라지는 경우, 상기 제1 제품 피드백과 상기 제2 제품 피드백을 기초로, 상기 평가모델을 재학습시키는 단계;를 포함하고,
상기 제품계획을 결정하는 단계는,
상기 제품에 대한 트렌드 지속력에 대한 판단 및 상기 비제품 피드백의 평가요소를 기초로, 상기 제품의 개선, 추가 생산, 할인 판매 및 판매 종료 중 적어도 하나를 가이드하는 제품계획 가이드를 생성하는 단계를 포함하는,
사용자 피드백 반영 제품계획 결정 방법.In a method for determining a product plan reflecting user feedback, which is performed from a product plan determining device reflecting user feedback,
Obtaining user feedback from users who purchased the product;
Classifying product feedback and non-product feedback in the user feedback using a pre-learned language model;
Using a pre-learned evaluation model, determining a reference word corresponding to the product in the product feedback;
determining a part of speech for a word belonging to the product feedback;
determining an evaluation element among words belonging to the product feedback based on the distance between the reference word and the word belonging to the product feedback and the determined part of speech;
Classifying whether the evaluation element is a positive element or a negative element using the pre-learned evaluation model;
determining an evaluation grade for the product based on at least one of the classified positive and negative factors; and
Including, determining a product plan based on the determined evaluation grade,
The step of classifying whether the evaluation element is a positive element or a negative element is,
If more than a preset number of words among the evaluation elements are not classified as positive elements or negative elements, at least one word that can be placed before or after the reference word is probabilistically selected using the first prediction model learned in advance. making a first prediction and probabilistically making a second prediction of at least one word that can be placed before or after the reference word using a pre-trained second prediction model different from the first prediction model;
generating virtual first product feedback including the first predicted at least one word, and generating virtual second product feedback including the second predicted at least one word;
Using the evaluation model, classifying each of the first predicted word belonging to the generated first product feedback and the second predicted word belonging to the generated second product feedback as a positive element or a negative element; and
As a result of classification by the evaluation model, among the first predicted word belonging to the first product feedback and the second predicted word belonging to the second product feedback, one is classified as a positive element, and the other is classified as a negative element. When the classification results for the first product feedback and the second product feedback are different as they are classified into elements, retraining the evaluation model based on the first product feedback and the second product feedback; Contains,
The step of determining the product plan is,
Based on the judgment of trend sustainability for the product and evaluation factors of the non-product feedback, generating a product plan guide that guides at least one of improvement, additional production, discount sales, and end of sale of the product. ,
How to determine product plans based on user feedback.
상기 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류하는 단계는,
상기 미리 학습된 언어모델을 이용하여, 상기 사용자 피드백 상의 단어들에 대하여, 상기 제품과의 관련성을 확률 연산을 통해 스코어링하는 단계;
상기 스코어링한 결과, 미리 설정된 기준 이상의 스코어가 할당된 단어를 제1 그룹핑하는 단계;
상기 제1 그룹핑된 단어를 제품 피드백으로 결정하는 단계;
상기 제1 그룹핑된 단어 외의 단어들을 제2 그룹핑하는 단계; 및
상기 제2 그룹핑된 단어를 비제품 피드백으로 결정하는 단계를 포함하는,
사용자 피드백 반영 제품계획 결정 방법.According to claim 1,
The step of classifying product feedback and non-product feedback in the user feedback is,
Using the pre-trained language model, scoring words in the user feedback for relevance to the product through probability calculation;
As a result of the scoring, first grouping words to which a score equal to or higher than a preset standard is assigned;
determining the first grouped words as product feedback;
second grouping words other than the first grouped words; and
Including determining the second grouped word as non-product feedback,
How to determine product plans based on user feedback.
상기 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류하는 단계는,
상기 미리 학습된 언어모델을 이용하여, 상기 사용자 피드백 상의 단어들에 대하여, 상기 제품과의 관련성을 확률 연산을 통해 스코어링하는 단계;
상기 스코어링한 결과, 미리 설정된 기준 이상의 스코어가 할당된 단어를 제1 그룹핑하는 단계;
상기 제1 그룹핑된 단어를 제품 피드백으로 결정하는 단계;
상기 사용자 피드백 상의 단어들에 대하여, 미리 등록된 비제품 단어 필터 통해 추출되는 단어를 제2 그룹핑하는 단계; 및
상기 제2 그룹핑된 단어를 비제품 피드백으로 결정하는 단계를 포함하는,
사용자 피드백 반영 제품계획 결정 방법.According to claim 1,
The step of classifying product feedback and non-product feedback in the user feedback is,
Using the pre-trained language model, scoring words in the user feedback for relevance to the product through probability calculation;
As a result of the scoring, first grouping words to which a score equal to or higher than a preset standard is assigned;
determining the first grouped words as product feedback;
Second grouping words extracted through a pre-registered non-product word filter for words in the user feedback; and
Including determining the second grouped word as non-product feedback,
How to determine product plans based on user feedback.
상기 평가모델에 의한 분류 결과, 상기 제1 제품 피드백에 속하는 단어 및 상기 제2 제품 피드백에 속하는 단어 중, 어느 하나는 긍정요소로 분류되고, 나머지 하나는 부정요소로 분류되는 경우,
상기 평가모델을 이용하여, 상기 제1 예측모델이 제1 예측한 단어와 상기 제2 예측모델이 제2 예측한 단어 중, 확률 값이 큰 단어에 대하여 긍정요소인지 부정요소인지 분류하는 단계를 더 포함하는,
사용자 피드백 반영 제품계획 결정 방법.According to claim 1,
As a result of classification by the evaluation model, if one of the words belonging to the first product feedback and the words belonging to the second product feedback is classified as a positive element and the other is classified as a negative element,
Using the evaluation model, among the words first predicted by the first prediction model and the words second predicted by the second prediction model, a word with a high probability value is further classified as a positive element or a negative element. containing,
How to determine product plans based on user feedback.
상기 사용자 피드백에 포함된 조사 및 접속사 중 적어도 하나와 짝을 이뤄 상기 기준 단어의 전 또는 후에 배치될 수 있는 긍정요소 및 부정요소에 대하여 미리 학습된 모델인,
사용자 피드백 반영 제품계획 결정 방법.The method of claim 1, wherein the second prediction model is:
A model trained in advance for positive and negative elements that can be placed before or after the reference word in pair with at least one of the particles and conjunctions included in the user feedback,
How to determine product plans based on user feedback.
미리 설정된 기간 동안, 상기 사용자 피드백의 증감 정보를 기초로 상기 제품에 대한 트렌드 지속력을 판단하는 단계; 및
상기 트렌드 지속력이 미리 설정된 기준 이상인 경우, 상기 제품 피드백 중, 긍정요소 및 부정요소의 비율에 따라, 제품계획 가이드를 생성하는 단계를 포함하는,
사용자 피드백 반영 제품계획 결정 방법.The method of claim 1, wherein the step of generating a product planning guide for the product comprises:
Determining trend sustainability for the product based on increase/decrease information of the user feedback during a preset period of time; and
When the trend sustainability is greater than a preset standard, generating a product planning guide according to the ratio of positive and negative elements among the product feedback,
How to determine product plans based on user feedback.
상기 제품에 대한 트렌드 지속력을 판단하는 단계는,
상기 제품의 속성을 기초로, 상기 제품 관련 키워드를 결정하는 단계;
네트워크 인터페이스를 통해, 외부 장치 상의 상기 결정된 키워드 관련 게시 콘텐츠를 수집하는 단계; 및
상기 게시 콘텐츠의 증감 정보를 기초로 상기 트렌드 지속력을 판단하는 단계를 포함하는,
사용자 피드백 반영 제품계획 결정 방법.According to claim 10,
The step of determining the sustainability of the trend for the product is,
determining keywords related to the product based on the attributes of the product;
collecting published content related to the determined keyword on an external device through a network interface; and
Including the step of determining the trend sustainability based on the increase/decrease information of the posted content,
How to determine product plans based on user feedback.
상기 미리 학습된 평가모델을 이용하여, 상기 분류된 비제품 피드백 중, 긍정요소 및 부정요소 중 적어도 하나의 평가요소를 추출하는 단계를 포함하고,
상기 제품에 대한 평가 등급을 결정하는 단계는,
상기 비제품 피드백의 긍정요소 및 부정요소를 기초로, 상기 평가 등급을 갱신하는 단계를 포함하는,
사용자 피드백 반영 제품계획 결정 방법.The method of claim 1, wherein the step of extracting at least one evaluation element comprises:
Using the pre-trained evaluation model, extracting at least one evaluation element among positive elements and negative elements from the classified non-product feedback,
The step of determining the evaluation grade for the product is,
Comprising the step of updating the evaluation grade based on positive and negative elements of the non-product feedback,
How to determine product plans based on user feedback.
상기 제품에 대한 판매 인터페이스로부터 상기 제품의 사용자 구매 정보, 상기 사용자 피드백을 남긴 사용자의 전체 피드백 중, 상기 제품에 대한 피드백 비율, 상기 제품에 대한 사용자 피드백의 증감 정보, 상기 판매 인터페이스에 신규 유입 대비 이탈 사용자 비율 정보, 상기 제품을 복수회 구매한 사용자의 재구매 비율, 상기 제품에 대한 사용자 피드백 기간 중 적어도 하나의 정보를 기초로, 상기 평가 등급을 갱신하는 단계를 포함하는,
사용자 피드백 반영 제품계획 결정 방법.The method of claim 1, wherein determining the evaluation grade for the product comprises:
User purchase information of the product from the sales interface for the product, the ratio of feedback for the product among the total feedback of users who left the user feedback, information on increase/decrease in user feedback for the product, and the number of new inflows versus exits to the sales interface. Comprising the step of updating the evaluation grade based on at least one of user ratio information, repurchase rate of users who purchased the product multiple times, and user feedback period for the product,
How to determine product plans based on user feedback.
제품을 구매한 사용자의 사용자 피드백을 획득하기 위한 네트워크 인터페이스;
상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리;
상기 컴퓨터 프로그램을 저장하는 스토리지 및
최적 제품계획 가이드를 출력하는 디스플레이부를 포함하되,
상기 컴퓨터 프로그램은,
상기 사용자 피드백을 획득하는 오퍼레이션;
미리 학습된 언어모델을 이용하여, 상기 사용자 피드백 상에서 제품 피드백과 비제품 피드백을 분류하는 오퍼레이션;
미리 학습된 평가모델을 이용하여, 상기 제품 피드백 상에서, 상기 제품에 대응되는 기준 단어를 결정하는 오퍼레이션;
상기 제품 피드백에 속하는 단어에 대한 품사를 결정하는 오퍼레이션;
상기 기준 단어와 상기 제품 피드백에 속하는 단어 사이의 거리 및 상기 결정된 품사를 기초로, 상기 제품 피드백에 속하는 단어 중, 평가요소를 결정하는 오퍼레이션;
상기 미리 학습된 평가모델을 이용하여, 상기 평가요소가 긍정요소인지 부정요소인지 분류하는 오퍼레이션;
상기 분류된 긍정요소 및 부정요소 중 적어도 하나를 기초로 상기 제품에 대한 평가 등급을 결정하는 오퍼레이션; 및
상기 결정된 평가 등급 기초로, 제품계획을 결정하는 오퍼레이션;을 포함하되,
상기 평가요소가 긍정요소인지 부정요소인지 분류하는 오퍼레이션은,
상기 평가요소 중 미리 설정된 개수 이상의 단어가 긍정요소 또는 부정요소로 분류되지 않는 경우, 미리 학습된 제1 예측모델을 이용하여, 상기 기준 단어의 전 또는 후에 배치될 수 있는 적어도 하나의 단어를 확률적으로 제1 예측하고, 상기 제1 예측모델과 다른 미리 학습된 제2 예측모델을 이용하여, 상기 기준 단어의 전 또는 후에 배치될 수 있는 적어도 하나의 단어를 확률적으로 제2 예측하는 오퍼레이션;
상기 제1 예측된 적어도 하나의 단어를 포함하는, 가상의 제1 제품 피드백을 생성하고, 상기 제2 예측된 적어도 하나의 단어를 포함하는, 가상의 제2 제품 피드백을 생성하는 오퍼레이션;
상기 평가모델을 이용하여, 상기 생성된 제1 제품 피드백에 속하는 제1 예측된 단어와 상기 생성된 제2 제품 피드백에 속하는 제2 예측된 단어 각각이 긍정요소인지 부정요소인지 분류하는 오퍼레이션; 및
상기 평가모델에 의한 분류 결과, 상기 제1 제품 피드백에 속하는 상기 제1 예측된 단어 및 상기 제2 제품 피드백에 속하는 상기 제2 예측된 단어 중, 어느 하나는 긍정요소로 분류되고, 나머지 하나는 부정요소로 분류됨에 따라, 상기 제1 제품 피드백과 상기 제2 제품 피드백에 대한 분류 결과가 달라지는 경우, 상기 제1 제품 피드백과 상기 제2 제품 피드백을 기초로, 상기 평가모델을 재학습시키는 오퍼레이션;을 포함하고,
상기 제품계획을 결정하는 오퍼레이션은,
상기 제품에 대한 트렌드 지속력에 대한 판단 및 상기 비제품 피드백의 평가요소를 기초로, 상기 제품의 개선, 추가 생산, 할인 판매 및 판매 종료 중 적어도 하나를 가이드하는 제품계획 가이드를 생성하는 오퍼레이션을 포함하는,
사용자 피드백 반영 제품계획 결정 장치.
One or more processors;
a network interface for obtaining user feedback from users who purchased the product;
a memory that loads a computer program executed by the processor;
Storage for storing the computer program and
Includes a display unit that outputs an optimal product planning guide,
The computer program is,
An operation to obtain the user feedback;
An operation to classify product feedback and non-product feedback on the user feedback using a pre-learned language model;
An operation for determining a reference word corresponding to the product in the product feedback using a pre-learned evaluation model;
An operation to determine a part of speech for a word belonging to the product feedback;
An operation for determining an evaluation element among words belonging to the product feedback based on the distance between the reference word and the word belonging to the product feedback and the determined part of speech;
An operation to classify whether the evaluation element is a positive element or a negative element using the pre-learned evaluation model;
An operation to determine an evaluation level for the product based on at least one of the classified positive and negative factors; and
Including an operation for determining a product plan based on the determined evaluation grade,
The operation to classify whether the evaluation element is a positive element or a negative element is,
If more than a preset number of words among the evaluation elements are not classified as positive elements or negative elements, at least one word that can be placed before or after the reference word is probabilistically selected using the first prediction model learned in advance. an operation to make a first prediction and to probabilistically make a second prediction of at least one word that can be placed before or after the reference word using a pre-trained second prediction model different from the first prediction model;
an operation of generating virtual first product feedback including the at least one first predicted word and generating virtual second product feedback including the at least one second predicted word;
An operation to classify each of the first predicted word belonging to the generated first product feedback and the second predicted word belonging to the generated second product feedback as a positive element or a negative element, using the evaluation model; and
As a result of classification by the evaluation model, among the first predicted word belonging to the first product feedback and the second predicted word belonging to the second product feedback, one is classified as a positive element, and the other is classified as a negative element. When the classification results for the first product feedback and the second product feedback are different as they are classified into elements, an operation to retrain the evaluation model based on the first product feedback and the second product feedback; Contains,
The operation that determines the product plan is,
An operation for generating a product plan guide that guides at least one of improvement, additional production, discount sales, and end of sale of the product based on judgment about the sustainability of the trend for the product and evaluation factors of the non-product feedback. ,
Product planning decision device that reflects user feedback.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230002680A KR102609681B1 (en) | 2023-01-09 | 2023-01-09 | Method for determining product planning reflecting user feedback and Apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230002680A KR102609681B1 (en) | 2023-01-09 | 2023-01-09 | Method for determining product planning reflecting user feedback and Apparatus thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102609681B1 true KR102609681B1 (en) | 2023-12-05 |
Family
ID=89156936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230002680A KR102609681B1 (en) | 2023-01-09 | 2023-01-09 | Method for determining product planning reflecting user feedback and Apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102609681B1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649519A (en) * | 2016-10-17 | 2017-05-10 | 北京邮电大学 | Method of digging and assessing product features |
| KR20200107571A (en) * | 2019-03-08 | 2020-09-16 | 한양대학교 산학협력단 | Method and apparatus for generating product evaluation criteria |
| KR20210044017A (en) * | 2019-10-14 | 2021-04-22 | 한양대학교 산학협력단 | Product review multidimensional analysis method and apparatus |
| KR20210156562A (en) | 2020-06-18 | 2021-12-27 | 주식회사 데일리쥬 | a method for working the shopping mall to reflect thecustomer opinions of goods |
| US20220092651A1 (en) * | 2020-09-23 | 2022-03-24 | Palo Alto Research Center Incorporated | System and method for an automatic, unstructured data insights toolkit |
| KR102468827B1 (en) * | 2022-09-05 | 2022-11-21 | 주식회사 그래마케팅랩 | Method, device and system for sourcing products based on artificial intelligence and providing category-customized review analysis service |
| US20220414719A1 (en) * | 2021-06-28 | 2022-12-29 | Hewlett-Packard Development Company, L.P. | User feedback for product ratings |
-
2023
- 2023-01-09 KR KR1020230002680A patent/KR102609681B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649519A (en) * | 2016-10-17 | 2017-05-10 | 北京邮电大学 | Method of digging and assessing product features |
| KR20200107571A (en) * | 2019-03-08 | 2020-09-16 | 한양대학교 산학협력단 | Method and apparatus for generating product evaluation criteria |
| KR20210044017A (en) * | 2019-10-14 | 2021-04-22 | 한양대학교 산학협력단 | Product review multidimensional analysis method and apparatus |
| KR20210156562A (en) | 2020-06-18 | 2021-12-27 | 주식회사 데일리쥬 | a method for working the shopping mall to reflect thecustomer opinions of goods |
| US20220092651A1 (en) * | 2020-09-23 | 2022-03-24 | Palo Alto Research Center Incorporated | System and method for an automatic, unstructured data insights toolkit |
| US20220414719A1 (en) * | 2021-06-28 | 2022-12-29 | Hewlett-Packard Development Company, L.P. | User feedback for product ratings |
| KR102468827B1 (en) * | 2022-09-05 | 2022-11-21 | 주식회사 그래마케팅랩 | Method, device and system for sourcing products based on artificial intelligence and providing category-customized review analysis service |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Riaz et al. | Opinion mining on large scale data using sentiment analysis and k-means clustering | |
| Liu et al. | Assessing product competitive advantages from the perspective of customers by mining user-generated content on social media | |
| US11694257B2 (en) | Utilizing artificial intelligence to make a prediction about an entity based on user sentiment and transaction history | |
| Thorleuchter et al. | Predicting e-commerce company success by mining the text of its publicly-accessible website | |
| US20190318407A1 (en) | Method for product search using the user-weighted, attribute-based, sort-ordering and system thereof | |
| Aljuhani et al. | A comparison of sentiment analysis methods on Amazon reviews of Mobile Phones | |
| CN109241518B (en) | Network water army detection method based on emotion analysis | |
| CN110163647A (en) | A kind of data processing method and device | |
| Shen et al. | A voice of the customer real-time strategy: An integrated quality function deployment approach | |
| CN111966886A (en) | Object recommendation method, object recommendation device, electronic equipment and storage medium | |
| Park et al. | Spec guidance for engineering design based on data mining and neural networks | |
| KR102609681B1 (en) | Method for determining product planning reflecting user feedback and Apparatus thereof | |
| Srivastava et al. | Supervised semantic analysis of product reviews using weighted k-NN classifier | |
| Elzeheiry et al. | Sentiment analysis for e-commerce product reviews: Current trends and future directions | |
| Thorleuchter et al. | Using Webcrawling of Publicly Available Websites to Assess E-commerce Relationships | |
| KR20220118703A (en) | Machine Learning based Online Shopping Review Sentiment Prediction System and Method | |
| Liu et al. | A new feature selection method for text categorization of customer reviews | |
| JP2018067215A (en) | Data analysis system, control method thereof, program, and recording medium | |
| CN111126033A (en) | Response prediction device and method for article | |
| JP2019194793A (en) | Information processing apparatus and program | |
| KR20200029647A (en) | Generalization method for curated e-Commerce system by user personalization | |
| JP2020154464A (en) | Estimation device, estimation method and estimation program | |
| KR102631127B1 (en) | Platform server and method for providing analysis data thereof | |
| Aishwarya et al. | Summarization and Prioritization of Amazon Reviews based on multi-level credibility attributes | |
| TWI714213B (en) | User type prediction system and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |