KR102146152B1 - 관능 평가 방법 및 그 장치 - Google Patents

관능 평가 방법 및 그 장치 Download PDF

Info

Publication number
KR102146152B1
KR102146152B1 KR1020180000722A KR20180000722A KR102146152B1 KR 102146152 B1 KR102146152 B1 KR 102146152B1 KR 1020180000722 A KR1020180000722 A KR 1020180000722A KR 20180000722 A KR20180000722 A KR 20180000722A KR 102146152 B1 KR102146152 B1 KR 102146152B1
Authority
KR
South Korea
Prior art keywords
word
evaluation
vector value
taste
sensory evaluation
Prior art date
Application number
KR1020180000722A
Other languages
English (en)
Other versions
KR20190083143A (ko
Inventor
김용휘
문현준
최호덕
하진관
민경복
허병석
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020180000722A priority Critical patent/KR102146152B1/ko
Publication of KR20190083143A publication Critical patent/KR20190083143A/ko
Application granted granted Critical
Publication of KR102146152B1 publication Critical patent/KR102146152B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0203Market surveys; Market polls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278Product appraisal

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

제품에 대한 관능 평가 방법 및 그 장치가 개시된다. 관능 평가 방법은, (a) 온라인 또는 SNS에서 입력 조건에 따른 제품 리뷰 데이터를 수집하는 단계; (b) 기설정된 맛 표현 사전을 기초로 상기 제품 리뷰 데이터를 분석하여 평가 후보 요소 워드를 선별하는 단계; (c) 상기 선별된 평가 후보 요소 워드에 대한 벡터값을 도출한 후 벡터 공간에 임베딩하고, 임베딩된 벡터값과 특징 키워드 벡터값간의 유사도롤 각각 계산하여 유사도가 높은 상위 n(자연수)개의 평가 요소 워드를 선별하는 단계; 및 (d) 상기 평가 요소 워드를 상기 맛 표현 사전에 기반하여 감정에 따라 분류하여 제품에 대한 최종 관능 평가 결과를 생성하는 단계를 포함한다.

Description

관능 평가 방법 및 그 장치{ Sensory evaluation method and apparatus}
본 발명은 관능 평가 방법 및 그 장치에 관한 것이다.
식품회사에서 제품의 맛 평가나 특성을 평가하기 위해서 제일 많이 사용하는 방법이 소비자들을 초대하거나 방문하여 직접적인 시식을 통해서 이루어지는 대면조사가 있다.
이러한 방법은 평가를 위한 모집집단 사이즈의 한계 및 비용 문제가 있고 또한 소비자의 취향을 평가하기 위한 적합한 질문을 위한 단어들을 만드는 어려움이 동반된다. 또한, 종래의 방법은 설문(질문)을 작성하는 설문자의 주관적 의도가 개입되는 문제점이 있다.
본 발명은 제품에 대한 관능 평가 방법 및 그 장치를 제공하기 위한 것이다.
본 발명은 온라인 또는 SNS 상에서의 리뷰에서 관능 평가를 위한 비교 항목들을 자동으로 선별하여 제품에 대한 관능 평가를 할 수 있는 관능 평가 방법 및 그 장치를 제공하기 위한 것이다.
본 발명은 기존의 관능 평가에서 설문자의 주관적 의도가 반영되는 것을 원천적으로 차단할 수 있으며, 객관적인 관능 평가를 제공하도록 할 수 있는 관능 평가 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 제품에 대한 관능 평가 방법이 제공된다.
본 발명의 일 실시예에 따르면, 제품에 대한 관능 평가 방법에 있어서, (a) 온라인 또는 SNS에서 입력 조건에 따른 제품 리뷰 데이터를 수집하는 단계; (b) 기설정된 맛 표현 사전을 기초로 상기 제품 리뷰 데이터를 분석하여 평가 후보 요소 워드를 선별하는 단계; (c) 상기 선별된 평가 후보 요소 워드에 대한 벡터값을 도출한 후 벡터 공간에 임베딩하고, 임베딩된 벡터값과 특징 키워드 벡터값간의 유사도롤 각각 계산하여 유사도가 높은 상위 n(자연수)개의 평가 요소 워드를 선별하는 단계; 및 (d) 상기 평가 요소 워드를 상기 맛 표현 사전에 기반하여 감정에 따라 분류하여 제품에 대한 최종 관능 평가 결과를 생성하는 단계를 포함하는 관능 평가 방법이 제공될 수 있다.
상기 (d) 단계는, 상기 맛 표현 사전에 정의된 긍정 또는 부정 워드 데이터에 기초하여 상기 평가 요소 워드를 감정에 따라 분류할 수 있다.
상기 (b) 단계는, 상기 제품 리뷰 데이터에 포함에 포함된 각 워드의 빈도수에 기반하여 상기 평가 후보 요소 워드를 자동으로 선별하되, 상기 평가 후보 요소 워드는 자동으로 선별되는 제품의 관능 평가 비교 요소이다.
상기 (b) 단계는, 상기 맛 표현 사전을 이용하여 형태소 분석을 통해 상기 평가 후보 요소 워드를 추출하되, 상기 제품 리뷰 데이터를 문장 단위로 형태소 분석하되 명사, 형용사, 동사에 해당하는 워드 중 빈도수가 높은 복수의 워드를 평가 후보 요소 워드로 추출하며, 조사와 인칭 대명사에 대응하는 워드는 제외시킬 수 있다.
상기 (c) 단계에서, 상기 평가 요소 워드를 선별하기 이전에, 상기 임베딩된 벡터값 중 빈도수가 높은 워드의 벡터값을 이용하여 딥 러닝 모델을 학습하고, 상기 학습된 딥 러닝 모델에 상기 선별된 평가 후보 요소 워드의 벡터값을 입력하며 무의미한 워드의 벡터값을 제거할 수 있다.
상기 특징 키워드 벡터값은 상세 비교 요소에 따라 동적으로 변경될 수 있다.
본 발명의 다른 측면에 따르면, 제품에 대한 관능 평가를 위한 장치가 제공된다.
본 발명의 일 실시예에 따르면, 온라인 또는 SNS에서 입력 조건에 따른 제품 리뷰 데이터를 수집하는 수집부; 기설정된 맛 표현 사전을 기초로 상기 제품 리뷰 데이터를 분석하여 평가 후보 요소 워드를 선별하는 워드 추출부; 상기 선별된 평가 후보 요소 워드에 대한 벡터값을 도출한 후 벡터 공간에 임베딩하고, 임베딩된 벡터값과 특징 키워드 벡터값간의 유사도롤 각각 계산하여 유사도가 높은 상위 n(자연수)개의 평가 요소 워드를 선별하는 하며, 상기 평가 요소 워드를 상기 맛 표현 사전에 기반하여 감정에 따라 분류하여 제품에 대한 최종 관능 평가 결과를 생성하는 분석부를 포함하는 관능 평가 장치가 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 컴퓨팅 장치에 있어서, 적어도 하나의 어플리케이션을 저장하는 메모리; 상기 메모리에 연동되며, 상기 메모리에 저장된 어플리케이션을 실행하는 프로세서를 포함하되, 상기 프로세서에 의해 실행된 어플리케이션은, (a) 온라인 또는 SNS에서 입력 조건에 따른 제품 리뷰 데이터를 수집하는 단계; (b) 기설정된 맛 표현 사전을 기초로 상기 제품 리뷰 데이터를 분석하여 평가 후보 요소 워드를 선별하는 단계; (c) 상기 선별된 평가 후보 요소 워드에 대한 벡터값을 도출한 후 벡터 공간에 임베딩하고, 임베딩된 벡터값과 특징 키워드 벡터값간의 유사도롤 각각 계산하여 유사도가 높은 상위 n(자연수)개의 평가 요소 워드를 선별하는 단계; 및 (d) 상기 평가 요소 워드를 상기 맛 표현 사전에 기반하여 감정에 따라 분류하여 제품에 대한 최종 관능 평가 결과를 생성하는 단계를 수행하는 것을 특징으로 하는 컴퓨팅 장치가 제공될 수 있다.
본 발명의 일 실시예에 따른 관능 평가 방법 및 장치를 제공함으로써, 온라인 또는 SNS 상에서의 리뷰에서 관능 평가를 위한 비교 항목들을 자동으로 선별하여 제품에 대한 관능 평가를 할 수 있는 이점이 있다.
이를 통해, 본 발명은 기존의 관능 평가에서 설문자의 주관적 의도가 반영되는 것을 원천적으로 차단할 수 있으며, 보다 객관적으로 제품에 대한 관능 평가가 가능케 할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 식품 회사 제품에 대한 관능 평가 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시온라인 또는 SNS 상에서 제품에 대한 리뷰 데이터(제품 리뷰 데이터)를 수집하는 상세 과정을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 형태소 분석을 통해 선별된 워드를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 연속 스킴 그램을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 가중치 적용에 따른 출력층을 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 최종 평가 요소 워드 출력을 예시한 도면.
도 7은 특징 키워드에 상응하여 벡터값에 가중치를 적용하여 최종 선별된 평가 요소 워드의 값을 시각적으로 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 제품 관능 평가 장치의 블록도를 도시한 도면.
도 9는 본 발명의 일 실시예에 따른 딥 러닝 기법을 이용한 CNN 모델 기반의 워드 임베딩 과정을 도시한 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 온라인에서 수집된 빅 데이터를 기반으로 평가 대상 항목을 자동으로 추출한 후 딥 러닝(Deep Learning) 기법을 이용하여 식품 관능 검사를 자동으로 수행하도록 할 수 있는 발명에 관한 것이다. 이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 식품 회사 제품에 대한 관능 평가 방법을 나타낸 순서도이며, 도 2는 본 발명의 일 실시온라인 또는 SNS 상에서 제품에 대한 리뷰 데이터(제품 리뷰 데이터)를 수집하는 상세 과정을 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 형태소 분석을 통해 선별된 워드를 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 연속 스킴 그램을 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 가중치 적용에 따른 출력층을 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 최종 평가 요소 워드 출력을 예시한 도면이며, 도 7은 특징 키워드에 상응하여 벡터값에 가중치를 적용하여 최종 선별된 평가 요소 워드의 값을 시각적으로 도시한 도면이다.
단계 110에서 관능 평가 장치(100)는 온라인 또는 SNS상에서 제품에 대한 리뷰 데이터(이하에서는 제품 리뷰 데이터라 칭하기로 함)를 수집한다.
이때, 관능 평가 장치(100)는 입력 조건에 맞는 제품 리뷰 데이터를 수집할 수 있다. 관능 평가 장치(100)는 특정 제품(예를 들어, 제품 A, 제품 B 등)을 입력 조건으로 입력 받은 후 이에 상응하는 제품 리뷰 데이터를 온라인 또는 SNS 상에서 수집할 수 있다.
예를 들어, 입력 조건으로 제품 A와 제품 B가 관능 평가 장치(100)로 입력되었다고 가정하기로 한다. 관능 평가 장치(100)는 제품 A와 제품 B 각각에 대한 리뷰 데이터를 온라인과 SNS 상에서 수집하여 저장할 수 있다.
또한, 관능 평가 장치(100)는 온라인 또는 SNS 상에서 입력 조건에 따른 제품 리뷰 데이터를 수집시, 각 성별, 나이, 지역 등 온라인 또는 SNS 상의 작성자들에 대한 서브 항목 카테고리를 만들어 추후 각 모집군별 분석을 위해 저장할 수도 있다.
관능 평가 장치(100)가 온라인 또는 SNS 상에서 제품 리뷰 데이터를 수집하는 방법은 매우 다양하나 본 발명의 일 실시예에서는 크롤링 기법을 이용하여 온라인 또는 SNS 상에서 제품 리뷰 데이터(문장)을 수집하는 것을 가정하여 이를 중심으로 설명하기로 한다.
예를 들어, 데이터 크롤링 프로세스(Data Crawling Process)를 기반으로 Python 언어를 이용하여 크롤러를 구현함으로써 입력 조건에 따른 데이터를 수집할 수 있다. 크롤링 프로세스 자체는 이미 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
도 2에는 온라인 또는 SNS 상에서 제품에 대한 리뷰 데이터(제품 리뷰 데이터)를 수집하는 상세 과정이 예시되어 있다.
도 2를 참조하여 제품 리뷰 데이터를 수집하는 방법에 대해 간략하게 설명하기로 한다.
단계 210에서 관능 평가 장치(100)는 시드 URL에 입력 조건(또는 검색어)를 입력하여 제품 리뷰(맛, 향, 평가, 분석 등)를 검색하여 FULL URL을 획득한다.
단계 215에서 관능 평가 장치(100)는 획득된 URL이 오픈되는지 여부를 판단한다. 만일 오픈되지 않는 경우, 단계 210으로 진행한다.
그러나 만일 URL이 오픈되는 경우, 단계 220에서 관능 평가 장치(100)는 획득된 URL을 통해 페이지에 접근한 후 해당 페이지를 크롤링하여 제품 리뷰 데이터로써 DB에 저장한다.
예를 들어, 관능 평가 장치(100)는 획득된 URL의 페이지를 HTML 태그에 기초하여 파싱하여 제품 리뷰 데이터(문장)을 크롤링하여 DB에 저장할 수 있다.
상술한 과정을 마지막 URL에 접근할 때까지 반복하여 수행하며, 데이터를 수집할 수 있다.
도 2에서 설명한 데이터 크롤링 프로세스는 이해와 설명의 편의를 위해 도시한 것일 뿐, 데이터 크롤링 이외에도 다른 방법을 통해 입력 조건에 따른 제품 리뷰 데이터를 수집할 수도 있음은 당연하다.
다시 도 1을 참조하여, 관능 평가 장치(100)에 의해 수집된 제품 리뷰 데이터는 각각 문장 형태일 수 있다.
단계 115에서 관능 평가 장치(100)는 기설정된 맛 표현 사전을 기초로 제품 리뷰 데이터를 분석하여 평가 후보 요소 워드를 각각 선별한다.
이때, 관능 평가 장치(100)는 기설정된 맛 표현 사전에 기초하여 제품 리뷰 데이터를 형태소 분석하여 평가 후보 요소 워드를 선별할 수 있다. 맛 표현 사전에 기초하여 제품 리뷰 데이터를 형태소 분석하는 과정에서 관능 평가 장치(100)는 쓸모 없는 형태소(예를 들어, 조사)를 제거할 수 있다.
형태소 분석시 명사만을 활용하는 것이 일반적이다. 그러나 본 발명의 일 실시예에 따른 관능 평가 장치(100)는 특정 제품 또는 제품들간 비교를 위한 관능 평가를 위한 것으로 명사 이외에도 형용사, 동사에도 의미 있는 워드들이 포함될 수 있다.
따라서, 본 발명의 일 실시예에서는 형태소 분석시 제품 리뷰 데이터 각각에서 명사, 형용사, 동사를 포함하여 평가 후보 요소 워드를 선별할 수 있다.
이와 같이, 명사 이외에 형용사와 동사를 더 선별하여 이용함으로써 형용사와 동사에 의해 명사의 의미가 달라지므로, 이를 통해 선별된 명사에 대한 감정 분석을 유용하게 할 수 있다. 이때, 형태소 분석을 위해 한국어 분석 패키지(KoNLPy)가 이용될 수 있다.
또한, 관능 평가 장치(100)는 제품 리뷰 데이터를 형태소 분석함에 있어, 연산 속도를 높이기 위해 맛 표현 사전을 이용하여 맛 또는 향과 관련된 단어로 제한함으로써 관능 평가에 적합한 유의미한 평가 후보 요소 워드들을 선별할 수 있다.
본 발명의 일 실시예에서는 식품에 대한 관능 평가를 가정하여 설명하므로 맛 표현 사전을 이용하는 것으로 설명하고 있으나, 관능 평가 대상이 달라지는 경우 이용되는 사전 또한 달라질 수 있음은 당연하다.
여기서, 맛 표현 사전은 맛집, 음식, 식사 등 범용적인 맛 표현이 가능한 키워드를 이용하여 수집한 SNS의 맛 평가 데이터와 메뉴판, 요기요, 배달통, 배달의 민족 등 음식 평가 사이트에서 데이터를 수집하여 빈도수를 기반으로 범용적으로 사용되고 있는 맛에 관련된 표현들을 정리한 사전이다.
따라서, 맛 표현 사전은 음식, 식품 등에 대한 맛과 향에 대한 다양한 워드들이 정리되어 있다.
본 발명의 일 실시예에서는 이러한 맛 표현 사전을 기반으로 제품 리뷰 데이터를 형태소 분석하여 식품이나 음식의 평가, 분석 등에 이용된 유의미한 워드를 평가 후보 요소 워드로 선별함으로써 형태소 분석에 따른 연산 속도를 높일 수 있는 이점이 있다.
도 3에는 형태소 분석을 통해 선별된 워드의 일 예가 도시되어 있다.
도 3에서 보여지는 바와 같이, 수집된 제품 리뷰 데이터 중 하나가 "나는 해물 맛이 풍부해서 국물맛이 끝내주는 XX짬뽕 라면을 먹었다"라고 가정하기로 한다.
관능 평가 장치(100)는 해당 제품 리뷰 데이터를 맛 표현 사전에 기초하여 형태소 분석을 통해 도 3에서 보여지는 바와 같이 명사, 형용사, 동사를 중심으로 워드를 선별할 수 있다. 이때, 관능 평가 장치(100)는 인칭에 따른 대명사는 관능 평가에 무의미하므로 제외 워드로 지정하여 선별하지 않을 수 있다.
단계 120에서 관능 평가 장치(100)는 선별된 평가 후보 요소 워드에 대한 벡터값을 도출한 후 벡터 공간에 임베딩한다.
예를 들어, 관능 평가 장치(100)는 선별된 평가 후보 요소 워드에 대한 벡터값을 각각 도출한 후 벡터 공간에 임베딩할 수 있다. 이때, 각 평가 후보 요소 워드에 대한 벡터값은 M(M은 자연수)차원으로 변환될 수 있다. 예를 들어, 각 평가 후보 요소 워드에 대한 벡터값은 10 내지 1000 차원내에서 변환될 수 있다.
본 발명의 일 실시예에서는 워드 임베딩시, Tomas Mikolov가 개발한 연속 스킵 그램 모델을 사용하는 것을 가정하고 있다. 그러나, 이는 일 실시예에 불과할 뿐 이외에도 다른 공지된 기법이 적용될 수도 있음은 당연하다.
이러한, 연속 스킵 그램 모델은 도 4에 도시된 바와 같이, 입력 레이어, 투영 레이어, 히든 레이어와 같이 3개의 레이어로 구성된다. 연속 스킵 그램 모델은 현재 단어(워드)의 이웃에 나타날 수 있는 단어(워드)를 예측할 수 있다. 형태소 분석에서 구축된 말뭉치를 이용하여 동일한 두개의 스킵 그램 모델을 사용하여 스킵 그램 모델을 훈련하고, 각 워드는 64차원 벡터로 표현될 수 있다.
관능 평가 장치(100)는 평가 후보 요소 워드 각각의 벡터값을 기반으로 벡터 공간에 임베딩시, 세부적인 비교 항목들(이하에서는 상세 비교 항목이라 칭하기로 함)에 따라 가중치를 변경할 수 있다. 이때, 관능 평가 장치(100)는 상세 비교 항목에 따라 동일한 가중치가 부여되도록 할 수도 있으며, 각 상세 비교 항목에 따라 가중치를 달리 적용하도록 할 수도 있다(도 5).
또한, 관능 평가 장치(100)는 각 평가 후보 요소 워드에 대한 워드 임베딩 과정에서 무의미한 값이나 중립적인 값을 가지는 워드들을 검출하에 제외시킬 수 있다.
이를 위해, 관능 평가 장치(100)는 딥 러닝 기법을 이용할 수 있다.
예를 들어, 관능 평가 장치(100)는 빈도수가 높은 평가 후보 요소 워드의 워드 임베딩 값(벡터값)을 딥 러닝 모델에 학습한 후 그 외의 임베딩 값들은 학습된 딥 러닝 모델을 통해 분류하여 제거하도록 할 수 있다.
관능 평가 장치(100)는 온라인 또는 SNS 상에서 리뷰 데이터를 전처리하여 각 워드의 빈도를 계산한 후 심리 사전을 반영하여 각 워드의 정서(감정) 값을 추가할 수 있다. 이를 통해, 각 워드의 정서(감정) 값이 포함되도록 한 후 이를 기반으로 워드 임베딩을 위한 벡터값을 수행할 수 있다. 이에 대한 상세 프로세서는 도 9에 도시된 바와 같다.
단계 125에서 관능 평가 장치(100)는 특징 키워드 및 평가 후보 요소 워드간의 유사도를 도출하여 유사도가 높은 상위 n(n은 자연수)개의 평가 요소 워드를 선별한다.
예를 들어, 관능 평가 장치(100)는 하기 수학식 1에 기재된 바와 같이 코사인 유사도를 이용하여 특징 키워드와 각 평가 후보 요소 워드간의 유사도를 각각 도출할 수 있다.
Figure 112018000832725-pat00001
여기서, A, B는 비교할 벡터를 나타내며, N은 총 차원 수를 나타내고, i는 현재 차원을 나타낸다.
일반적으로 음식에 대해 평가하는 경우, 주로 음식의 맛이나 향에 관심이 많으며 사용자들은 온라인 리뷰를 통해 경험을 공유할 수 있다. 따라서, 본 발명의 일 실시예에서는 온라인 리뷰를 통해 "맛" 또는 "향"에 대한 관능 평가를 수행하는 경우, 특징 키워드로 "맛" 또는 "향"을 선택한 후 이에 대한 워드를 선별하여 벡터값으로 나타낼 수 있다. 이를 통해, 각 도출된 벡터값을 이용하여 특징 키워드와 각 워드간의 유사도를 도출하여 유사도가 높은 상위 n개의 워드를 평가 요소 워드로서 추출할 수 있다.
도 6에는 제품 A와 제품 B에 대해 특징 키워드와의 유사도가 높으며, 사용 빈도수가 높은 n개의 평가 요소 워드가 최종 선별된 일 예가 도시되어 있다.
도 7에는 특징 키워드에 상응하여 벡터값에 가중치를 적용하여 최종 선별된 평가 요소 워드의 값을 시각적으로 도시한 일 예가 도시되어 있다. 도 7에서 보여지는 바와 같이, 특징 키워드에 상응하여 유사도가 높은 n개의 평가 요소 워드가 달리 선별될 수 있다.
단계 130에서 관능 평가 장치(100)는 선별된 평가 요소 워드를 맛 표현 사전에 기반하여 감정에 따라 분류하여 제품에 대한 관능 평가 결과를 생성한다. 예를 들어, 관능 평가 장치(100)는 감정 분석 기법을 적용하여 선별된 평가 요소 워드를 감정에 따라 분류한다. 만일 감정 분류가 긍정 및 부정으로 분류된다고 가정하기로 하자. 관능 평가 장치(100)는 감정 분석 기술에 따라 평가 요소 워드를 긍정적 워드와 부정적 워드로 분류할 수 있다.
맛 표현 사전 구축시, 맛 평가 사이트의 추천(찬성) 글에 사용된 워드와 비추천(반대) 글에 사용된 워드 분석을 기반으로 맛 표현 사전 내에 있는 긍정 및 부정 데이터를 사용하여 워드 임베딩값을 이용하여 특정 단어와 그 이웃 단어들의 긍정과 부정 수치를 조사하고 그 결과를 활용하여 긍정적 특징인지 부정적 특징인지를 분석할 수 있다.
이와 같이 감정 분석을 통해 불특정한 식품에 대한 사람들의 평가를 소비자 감정까지 분석할 수 있어 식품에 대한 어떠한 생각을 가지고 있는지 보다 객관적이고 정확한 관능 평가가 가능하도록 할 수 있다.
도 8은 본 발명의 일 실시예에 따른 제품 관능 평가 장치의 블록도를 도시한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 제품에 대한 관능 평가 장치(100)는 수집부(810), 워드 추출부(815), 분석부(820), 메모리(825) 및 프로세서(830)를 포함하여 구성된다.
수집부(810)는 온라인 또는 SNS에서 입력 조건에 따른 제품 리뷰 데이터를 수집하기 위한 수단이다.
워드 추출부(815)는 기설정된 맛 표현 사전을 기초로 제품 리뷰 데이터를 분석하여 평가 후보 요소 워드를 선별하기 위한 수단이다.
분석부(820)는 선별된 평가 후보 요소 워드에 대한 벡터값을 도출한 후 벡터 공간에 임베딩하고, 임베딩된 벡터값과 특징 키워드 벡터값간의 유사도롤 각각 계산하여 유사도가 높은 상위 n(자연수)개의 평가 요소 워드를 선별하는 하며, 상기 평가 요소 워드를 상기 맛 표현 사전에 기반하여 감정에 따라 분류하여 제품에 대한 최종 관능 평가 결과를 생성하기 위한 수단이다. 여기서, 특징 키워드는 상세 비교하고자 하는 요소에 따라 달라질 수 있다.
메모리(825)는 본 발명의 일 실시예에 따른 제품에 대한 관능 평가를 수행하기 위해 필요한 명령어, 어플리케이션, 이 과정에서 파생되는 다양한 데이터 등을 저장하기 위한 수단이다.
프로세서(830)는 본 발명의 일 실시예에 따른 관능 평가 장치(100)의 내부 구성 요소들(예를 들어, 수집부(810), 워드 추출부(815), 분석부(820), 메모리(825) 등)을 제어하기 위한 수단이다.
도 8에서는 각 기능들이 하나의 구성으로 관능 평가 장치(100)에 포함되는 것을 가정하여 이를 중심으로 설명하고 있다. 도한, 각 기능들은 도 1을 참조하여 상세히 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
이외에도, 온라인에서 수집된 빅 데이터를 기반으로 평가 대상 항목을 자동으로 추출한 후 딥 러닝(Deep Learning) 기법을 이용하여 식품 관능 검사를 자동으로 수행할 수 있는 어플리케이션이 구현될 수 있다. 이러한 경우, 어플리케이션이 각 컴퓨팅 장치의 메모리에 저장될 수 있으며, 컴퓨팅 장치의 일 구성인 프로세서에 의해 해당 어플리케이션이 실행되어 도 1에서 설명한 바와 같은 각각의 단계들이 수행될 수도 있다. 이는 이미 도 1에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100: 관능 평가 장치
810: 수집부
815: 워드 추출부
820: 분석부
825: 메모리
830: 프로세서

Claims (9)

  1. 관능 평가 장치가 제품에 대한 관능 평가를 수행하는 방법에 있어서,
    (a) 온라인 또는 SNS에서 입력 조건에 따른 제품 리뷰 데이터를 수집하는 단계;
    (b) 상기 제품 리뷰 데이터를 형태소 분석함에 있어, 기설정된 맛 표현 사전을 기초로 상기 제품 리뷰 데이터를 분석하여 평가 후보 요소 워드를 선별하는 단계-상기 맛 표현 사전은 맛집, 음식, 식사를 포함하는 범용적인 맛 표현이 가능한 키워드를 이용하여 음식 평가 사이트에서 데이터를 수집하여 빈도수를 기반으로 선별된 범용적으로 사용되고 있는 맛과 향에 관련된 유의미한 워드를 포함함;
    (c) 상기 관능 평가를 위해 사용자에 의해 미리 지정된 키워드를 특징 키워드로 선택되며, 상기 특징 키워드에 대한 벡터값인 특징 키워드 벡터값을 도출하고, 상기 선별된 평가 후보 요소 워드에 대한 벡터값을 도출한 후 벡터 공간에 임베딩하며, 상기 임베딩된 벡터값과 상기 특징 키워드 벡터값 사이의 유사도를 각각 계산하여 유사도가 높은 상위 n(자연수)개의 평가 요소 워드를 선별하는 단계; 및
    (d) 상기 평가 요소 워드를 상기 맛 표현 사전에 기반하여 감정에 따라 분류하여 제품에 대한 최종 관능 평가 결과를 생성하는 단계를 포함하되,
    상기 맛 표현 사전은 상기 음식 평가 사이트의 추천 또는 찬성 글에 사용된 워드와 비추천 또는 반대글에 사용된 워드 분석을 기반으로 워드들을 긍정 워드 데이터와 부정 워드 데이터로 더 분류하되,
    상기 벡터값을 상기 벡터 공간에 임베딩시 관능 평가 세부 비교 항목에 따라 가중치를 상이하게 적용하되, 상기 관능 평가 세부 비교 항목은 맛과 향이며,
    상기 (c) 단계에서, 상기 평가 요소 워드를 선별하기 이전에,
    상기 임베딩된 벡터값을 이용하여 딥 러닝 모델을 학습하고, 상기 학습된 딥 러닝 모델에 상기 선별된 평가 후보 요소 워드의 벡터값을 입력하며 무의미한 워드의 벡터값을 제거하며,
    상기 (d) 단계는,
    상기 맛 표현 사전에 정의된 상기 긍정 워드 데이터와 상기 부정 워드 데이터의 워드 임베딩값을 이용하여 긍정 및 부정 중 적어도 하나에 따른 감정으로 분류되는 것을 특징으로 하는 관능 평가 방법.

  2. 삭제
  3. 제1 항에 있어서,
    상기 (b) 단계는,
    상기 제품 리뷰 데이터에 포함에 포함된 각 워드의 빈도수에 기반하여 상기 평가 후보 요소 워드를 자동으로 선별하되,
    상기 평가 후보 요소 워드는 자동으로 선별되는 제품의 관능 평가 비교 요소인 것을 특징으로 하는 관능 평가 방법.
  4. 제1 항에 있어서,
    상기 (b) 단계는,
    상기 맛 표현 사전을 이용하여 형태소 분석을 통해 상기 평가 후보 요소 워드를 추출하되, 상기 제품 리뷰 데이터를 문장 단위로 형태소 분석하되 명사, 형용사, 동사에 해당하는 워드 중 빈도수가 높은 복수의 워드를 평가 후보 요소 워드로 추출하며,
    조사와 인칭 대명사에 대응하는 워드는 제외시키는 것을 특징으로 하는 관능 평가 방법.
  5. 삭제
  6. 삭제
  7. 제1 항에 따른 방법을 수행하기 위해 필요한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
  8. 온라인 또는 SNS에서 입력 조건에 따른 제품 리뷰 데이터를 수집하는 수집부;
    기설정된 맛 표현 사전을 기초로 상기 제품 리뷰 데이터를 분석하여 평가 후보 요소 워드를 선별하는 워드 추출부-상기 맛 표현 사전은 맛집, 음식, 식사를 포함하는 범용적인 맛 표현이 가능한 키워드를 이용하여 음식 평가 사이트에서 데이터를 수집하여 빈도수를 기반으로 선별된 범용적으로 사용되고 있는 맛과 향에 관련된 유의미한 워드를 포함함;
    관능 평가를 위해 사용자에 의해 미리 지정된 키워드를 특징 키워드로 선택되며, 상기 특징 키워드에 대한 벡터값인 특징 키워드 벡터값을 도출하고, 상기 선별된 평가 후보 요소 워드에 대한 벡터값을 도출한 후 벡터 공간에 임베딩하고, 임베딩된 벡터값과 특징 키워드 벡터값간의 유사도를 각각 계산하여 유사도가 높은 상위 n(자연수)개의 평가 요소 워드를 선별하며, 상기 평가 요소 워드를 상기 맛 표현 사전에 기반하여 감정에 따라 분류하여 제품에 대한 최종 관능 평가 결과를 생성하는 분석부를 포함하되,
    상기 맛 표현 사전은 상기 음식 평가 사이트의 추천 또는 찬성 글에 사용된 워드와 비추천 또는 반대글에 사용된 워드 분석을 기반으로 워드들을 긍정 워드 데이터와 부정 워드 데이터로 더 분류하되,
    상기 벡터값을 상기 벡터 공간에 임베딩시, 관능 평가 세부 비교 항목에 따라 가중치를 상이하게 적용하되, 상기 관능 평가 세부 비교 항목은 맛과 향이며,
    상기 분석부는,
    상기 평가 요소 워드를 선별하기 이전에, 상기 임베딩된 벡터값을 이용하여 딥 러닝 모델을 학습하고, 상기 학습된 딥 러닝 모델에 상기 선별된 평가 후보 요소 워드의 벡터값을 입력하며 무의미한 워드의 벡터값을 제거하며,
    상기 맛 표현 사전에 정의된 상기 긍정 워드 데이터 또는 상기 부정 워드 데이터의 워드 임베딩값을 이용하여 긍정 또는 부정에 따른 감정으로 분류되는 것을 특징으로 하는 관능 평가 장치.

  9. 컴퓨팅 장치에 있어서,
    적어도 하나의 어플리케이션을 저장하는 메모리;
    상기 메모리에 연동되며, 상기 메모리에 저장된 어플리케이션을 실행하는 프로세서를 포함하되,
    상기 프로세서에 의해 실행된 어플리케이션은,
    (a) 온라인 또는 SNS에서 입력 조건에 따른 제품 리뷰 데이터를 수집하는 단계;
    (b) 기설정된 맛 표현 사전을 기초로 상기 제품 리뷰 데이터를 분석하여 평가 후보 요소 워드를 선별하는 단계-상기 맛 표현 사전은 맛집, 음식, 식사를 포함하는 범용적인 맛 표현이 가능한 키워드를 이용하여 음식 평가 사이트에서 데이터를 수집하여 빈도수를 기반으로 선별된 범용적으로 사용되고 있는 맛과 향에 관련된 유의미한 워드를 포함함;
    (c) 관능 평가를 위해 사용자에 의해 미리 지정된 키워드를 특징 키워드로 선택되며, 상기 특징 키워드에 대한 벡터값인 특징 키워드 벡터값을 도출하고, 상기 선별된 평가 후보 요소 워드에 대한 벡터값을 도출한 후 벡터 공간에 임베딩하고, 임베딩된 벡터값과 특징 키워드 벡터값간의 유사도를 각각 계산하여 유사도가 높은 상위 n(자연수)개의 평가 요소 워드를 선별하는 단계; 및
    (d) 상기 평가 요소 워드를 상기 맛 표현 사전에 기반하여 감정에 따라 분류하여 제품에 대한 최종 관능 평가 결과를 생성하는 단계를 수행하되,
    상기 맛 표현 사전은 상기 음식 평가 사이트의 추천 또는 찬성 글에 사용된 워드와 비추천 또는 반대글에 사용된 워드 분석을 기반으로 워드들을 긍정 워드 데이터와 부정 워드 데이터로 더 분류하되,
    상기 벡터값을 상기 벡터 공간에 임베딩시 관능 평가 세부 비교 항목에 따라 가중치를 상이하게 적용하되, 상기 관능 평가 세부 비교 항목은 맛과 향이며,
    상기 (c) 단계에서, 상기 평가 요소 워드를 선별하기 이전에,
    상기 임베딩된 벡터값을 이용하여 딥 러닝 모델을 학습하고, 상기 학습된 딥 러닝 모델에 상기 선별된 평가 후보 요소 워드의 벡터값을 입력하며 무의미한 워드의 벡터값을 제거하며,
    상기 (d) 단계는,
    상기 맛 표현 사전에 정의된 상기 긍정 워드 데이터 또는 상기 부정 워드 데이터의 워드 임베딩값을 이용하여 긍정 또는 부정에 따른 감정으로 분류되는 것을 특징으로 하는 컴퓨팅 장치.


KR1020180000722A 2018-01-03 2018-01-03 관능 평가 방법 및 그 장치 KR102146152B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180000722A KR102146152B1 (ko) 2018-01-03 2018-01-03 관능 평가 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180000722A KR102146152B1 (ko) 2018-01-03 2018-01-03 관능 평가 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190083143A KR20190083143A (ko) 2019-07-11
KR102146152B1 true KR102146152B1 (ko) 2020-08-28

Family

ID=67254448

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180000722A KR102146152B1 (ko) 2018-01-03 2018-01-03 관능 평가 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102146152B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102538519B1 (ko) * 2022-06-30 2023-05-31 주식회사 애자일소다 주요 구절 추출을 이용한 관련상품 추천 장치 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348689B1 (ko) * 2019-12-31 2022-01-07 성균관대학교산학협력단 감정점수를 활용한 시퀀스-투-시퀀스 기반의 텍스트 요약
KR102203355B1 (ko) * 2020-01-21 2021-01-18 김종호 상품 체험에 따른 체험정보 추출 시스템 및 방법
KR102579890B1 (ko) * 2020-11-27 2023-09-15 건국대학교 산학협력단 사용자 생성 데이터 기반의 사용자 경험 분석 장치 및 방법
KR102549939B1 (ko) * 2021-01-12 2023-06-30 주식회사 어반베이스 Sns 텍스트 기반의 사용자의 인테리어 스타일 분석 모델 제공 서버, 사용자 단말 및 방법
KR102549937B1 (ko) * 2021-01-12 2023-06-30 주식회사 어반베이스 Sns 텍스트 기반의 사용자의 인테리어 스타일 분석 모델 제공 장치 및 방법
KR102644588B1 (ko) * 2023-06-02 2024-03-07 주식회사 브이랩스 시각장애인이 포함된 평가 그룹을 지원하는 관능 평가 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101814005B1 (ko) * 2017-08-21 2018-01-02 인천대학교 산학협력단 인공지능 기반의 웹 페이지 분석에 기초한 제품 키워드 정보 자동추출 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101005337B1 (ko) * 2008-09-29 2011-01-04 주식회사 버즈니 웹 문서에서의 의견 추출 및 분석 장치 및 그 방법
KR101074215B1 (ko) * 2009-02-27 2011-10-14 에스케이 텔레콤주식회사 여론 분석 장치 및 문서 분석을 통한 여론 평가 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101814005B1 (ko) * 2017-08-21 2018-01-02 인천대학교 산학협력단 인공지능 기반의 웹 페이지 분석에 기초한 제품 키워드 정보 자동추출 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102538519B1 (ko) * 2022-06-30 2023-05-31 주식회사 애자일소다 주요 구절 추출을 이용한 관련상품 추천 장치 및 방법

Also Published As

Publication number Publication date
KR20190083143A (ko) 2019-07-11

Similar Documents

Publication Publication Date Title
KR102146152B1 (ko) 관능 평가 방법 및 그 장치
Huang et al. Fake news detection using an ensemble learning model based on self-adaptive harmony search algorithms
Sampath et al. Data set creation and empirical analysis for detecting signs of depression from social media postings
JP6381775B2 (ja) 情報処理システム及び情報処理方法
Esmaeilzadeh et al. Neural abstractive text summarization and fake news detection
Lima et al. Automatic sentiment analysis of Twitter messages
Singh et al. Natural language processing
Mostafa Machine learning-based sentiment analysis for analyzing the travelers reviews on Egyptian hotels
Kim et al. Automated text analysis based on skip‐gram model for food evaluation in predicting consumer acceptance
KR101319413B1 (ko) 제품 및 서비스 관련 리뷰에 대한 요약 정보 생성 시스템 및 방법
Sarkar et al. Automatic bangla text summarization using term frequency and semantic similarity approach
Kilroy et al. Using machine learning to improve lead times in the identification of emerging customer needs
Liu et al. Unified generative adversarial networks for multiple-choice oriented machine comprehension
Özen et al. Opinion mining in tourism: a study on “Cappadocia home cooking” restaurant
Chaudhuri et al. A computational model for subjective evaluation of novelty in descriptive aptitude
Panchendrarajan et al. Eatery: a multi-aspect restaurant rating system
Wang et al. CA-CD: context-aware clickbait detection using new Chinese clickbait dataset with transfer learning method
Rocklage et al. Text analysis in consumer research: An overview and tutorial
KR101265467B1 (ko) 블로그 문서에서의 경험 문장 추출 방법 및 동사 분류 방법
Shama et al. A meticulous critique on prevailing techniques of aspect-level sentiment analysis
CN110019814A (zh) 一种基于数据挖掘与深度学习的新闻信息聚合方法
Gudumotu et al. A Survey on Deep Learning Models to Detect Hate Speech and Bullying in Social Media
Feria et al. Constructing a word similarity graph from vector based word representation for named entity recognition
Jardim et al. A Multilingual Lexicon-based Approach for Sentiment Analysis in Social and Cultural Information System Data
Farhadloo Statistical Methods for Aspect Level Sentiment Analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant