KR102349589B1 - 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법 및 장치 - Google Patents

스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법 및 장치 Download PDF

Info

Publication number
KR102349589B1
KR102349589B1 KR1020200053240A KR20200053240A KR102349589B1 KR 102349589 B1 KR102349589 B1 KR 102349589B1 KR 1020200053240 A KR1020200053240 A KR 1020200053240A KR 20200053240 A KR20200053240 A KR 20200053240A KR 102349589 B1 KR102349589 B1 KR 102349589B1
Authority
KR
South Korea
Prior art keywords
artificial intelligence
interaction
preference
agent
type
Prior art date
Application number
KR1020200053240A
Other languages
English (en)
Other versions
KR20210091022A (ko
Inventor
이의진
이한수
임윤경
최우혁
김한경
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20210091022A publication Critical patent/KR20210091022A/ko
Application granted granted Critical
Publication of KR102349589B1 publication Critical patent/KR102349589B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Abstract

스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법 및 장치가 제시된다. 본 발명에서 제안하는 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법은 사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의하는 단계, 스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습하는 단계 및 학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 유형 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측하는 단계를 포함한다.

Description

스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법 및 장치{A Method and Apparatus for Automatic Identification of Interaction Preference Styles with Artificial Intelligence Agent Services Using Smart Devices}
아래의 설명은 인공지능 에이전트와 유저 간의 선호되는 상호작용의 유형을 스마트 단말 등을 통해 수집된 데이터 분석을 통해 자동으로 판별하기 위한 방법 및 시스템에 대한 것이다.
오늘날 다양한 분야에서 교육자, 스포츠 트레이너, 비서, 상품 판매자, 상담자 등의 역할을 수행할 수 있는 컴퓨터 에이전트가 제안되고 있다. 또한, 에이전트가 의인화된 형태로 발달하면서 에이전트와의 상호작용은 대인적, 사회적 상호작용과 유사하게 변화되고 있다.
모바일, 컴퓨터 등의 스마트 단말을 통해 에이전트와 사람 간의 자연스러운 상호작용을 통해 지능화된 시스템을 구축하려는 요구가 증가하면서 사람의 심리, 선호도, 감정을 자동으로 분석하고 이해하려는 수요가 늘고 있다.
시장조사전문기관 가트너사의 2016년 4분기 조사에 따르면, 미국 스마트폰 사용자의 42%, 영국 사용자의 32%가 최근 3개월 동안 인공지능 에이전트의 일종인 가상개인비서(Virtual Personal Assistants; VPA)를 사용한 경험이 있으며, 영국과 미국 응답자의 37%는 평균적으로 하루에 한 번 이상 인공지능 에이전트의 일종인 가상개인비서를 사용하는 것으로 조사되었다.
이를 기반으로 가트너사에 따르면, 2019년까지 스마트폰과 사용자 인터랙션의 20%가 음성인식을 기반으로 하는 인공지능 에이전트인 가상개인비서를 통하여 이루어질 것으로 예상하고 있다.
이를 위해 사람이 스마트 단말 또는 컴퓨터 시스템과 상호작용하려면 사람 간의 의사소통처럼 에이전트가 사람의 심리, 성격유형, 탐구추구, 사교적 에이전트 선호도 등을 이해하고 적절하게 반응할 것을 기대하므로 이를 다양한 방법으로 예측하여 이해하는 기능을 갖춰야 하는 기술적 필요성이 증가된다.
따라서 사용자의 다양한 심리, 성격유형, 탐구추구, 사교적 에이전트 선호도, 의외성에 대한 수용도, 자율성에 대한 민감도를 잘 파악하여 에이전트와의 상호작용 선호도를 정의한다면 더욱 효율적인 에이전트 사용이 될 것으로 기대된다.
본 발명이 이루고자 하는 기술적 과제는 사용자가 인공지능 에이전트와 상호작용 시의 선호도 유형을 판별하기 위해 심리 상태, 성격, 성향 등의 정보를 설문 조사를 통해 인공지능 에이전트 상호작용 선호도 유형을 정의하고 모바일 및 웨어러블 센서 등 스마트 단말로부터 수집된 사용자 정보를 활용하여 유형 판별 기계학습 모델을 학습하여 인공지능 에이전트와의 상호작용 시 선호되는 유형을 판별하는 모델을 개발 후 사용자의 생체신호 및 컨택스트 정보를 통해 에이전트 상호작용 선호도 유형을 예측하고 자동 설정하는 기술 및 시스템을 제공하는 것이다.
일 측면에 있어서, 본 발명에서 제안하는 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법은 사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의하는 단계, 스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습하는 단계 및 학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 유형 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측하는 단계를 포함한다.
사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의하는 단계는 사용자의 심리 상태, 성격, 성향을 포함하는 사용자에 관한 정보를 설문을 통해 수집하고, 설문 별 팩터 분석을 통해 인공지능 에이전트와의 상호작용 선호도 유형 평가를 측정하기 위한 메트릭을 정의한 후, 복수의 인공지능 에이전트 유형을 하나의 인공지능 에이전트 유형으로 통합하여 인공지능 에이전트와의 상호작용 시 선호되는 유형을 정의한다.
이때, 수집된 설문 정보에 대한 팩터 분석을 통해 업무 처리 중심의 일꾼형, 관계 지향적인 동반자형 에이전트 선호 유형을 자율적 에이전트, 사회적 에이전트, 반응적 에이전트, 목표 지향성 에이전트 유형을 포함하는 복수의 인공지능 에이전트 유형으로 정의하고, 팩터 분석을 포함하는 통계적 기법을 통해 메트릭을 정의한다.
스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습하는 단계는 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용한 기계학습을 통해 유형 판별 모델을 생성한다.
학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 유형 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측하는 단계는 유형 판별 모델을 이용하여 인공지능 에이전트와 상호작용 선호도를 예측하고, 예측된 인공지능 에이전트와의 상호작용 선호도를 이용하여 인공지능 에이전트와의 상호작용의 유형을 자동으로 설정한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 장치는 사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의하는 선호도 정보 정의부, 스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습하는 선호도 정보 학습부 및 학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측하는 선호도 정보 예측부를 포함한다.
본 발명의 실시예에 따르면 사용자가 인공지능 에이전트와의 상호작용 시 선호되는 유형을 판별하는 모델을 제공할 수 있다. 본 발명을 통해 사용자 입장에서 개개인별의 심리 상태, 성격, 성향 등의 정보에 맞춘 인공지능 에이전트 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 상호작용 선호도 유형 판별 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 메트릭은 팩터 분석 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 장치의 구성을 나타내는 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법을 설명하기 위한 흐름도이다.
제안하는 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법은 사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의하는 단계(110), 스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습하는 단계(120) 및 학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 유형 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측하는 단계(130)를 포함한다.
단계(110)에서, 사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의한다. 사용자의 심리 상태, 성격, 성향을 포함하는 사용자에 관한 정보를 설문을 통해 수집하고, 설문 별 팩터 분석을 통해 인공지능 에이전트와의 상호작용 선호도 유형 평가를 측정하기 위한 메트릭을 정의한다. 이후, 복수의 인공지능 에이전트 유형을 하나의 인공지능 에이전트 유형으로 통합하여 인공지능 에이전트와의 상호작용 시 선호되는 유형을 정의한다.
이때, 수집된 설문 정보를 활용하여 팩터 분석을 통해 일꾼형, 동반자형을 자율적 에이전트, 사회적 에이전트, 반응적 에이전트, 목표 지향성 에이전트 유형을 포함하는 복수의 인공지능 에이전트 유형으로 정의한다. 그리고, 팩터 분석을 포함하는 통계적 기법을 통해 메트릭을 정의한다.
단계(120)에서, 스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습한다. 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용한 기계학습을 통해 유형 판별 모델을 생성한다.
단계(130)에서, 학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 유형 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측한다. 유형 판별 모델을 이용하여 인공지능 에이전트와 상호작용 선호도를 예측하고, 예측된 인공지능 에이전트와의 상호작용 선호도를 이용하여 인공지능 에이전트와의 상호작용의 유형을 자동으로 설정한다.
도 2는 본 발명의 일 실시예에 따른 상호작용 선호도 유형 판별 과정을 설명하기 위한 도면이다.
사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의하는 단계(210)에서는 사용자의 심리 상태, 성격, 성향 등의 정보를 설문으로 수집하고 사용자의 설문 정보인 사용자의 다양한 심리, 성격유형, 사회적 호기심, 사교적 성향 등을 적어도 하나 이상을 파악하여 관련 설문 별 팩터 분석을 통해 인공지능 에이전트 선호 유형 평가를 구체적으로 측정할 수 있는 메트릭을 정의한다. 이후에 여러 개의 차원을 한 가지 차원으로 통합하여 인공지능 에이전트와의 상호작용 시 선호되는 유형을 정의한다.
정의된 인공지능 에이전트와의 상호작용 시 선호되는 유형은 설문으로 수집된 사용자의 심리 상태, 성격, 성향 등의 정보를 사용하여 일꾼형, 동반자형 에이전트 유형을 포함하여 자율적 에이전트, 사회적 에이전트, 반응적 에이전트, 목표 지향성 에이전트 유형 등과 같은 유형으로 다양하게 나눌 수 있다.
인공지능 에이전트 상호작용 선호도를 정의하기 위한 설문 조사의 구체적 실시예로는 인공지능 에이전트 선호 유형 평가, 성격 유형 평가, 사회적 에이전트 지향성 평가, 정보기술 영역 개인 혁신성 평가, 컴퓨터 의인화 기대 성향 평가, 사회적 호기심 성향 평가, 다양성 추구 성향 평가 등을 적어도 하나 이상 포함할 수 있다.
먼저, 심리 상태, 성격, 성향 등의 정보 수집(211) 과정에 있어서, 사용자의 다양한 심리 상태, 성격, 성향 등의 정보 수집에는 1) 성격 유형 평가, 2) 정보기술 영역 개인 혁신성 평가, 3) 사회적 호기심 평가, 4) 사회적 에이전트 지향성 평가, 5) 다양성 추구 성향 평가, 6) 컴퓨터 의인화 기대 성향 평가가 있다.
1) 성격 유형 평가 설문을 통해 신경증, 외향성, 개방성, 우호성, 성실성에 대해 개개인 별 성격 유형을 5가지 요인으로 7가지 척도(1점: 전혀 그렇지 않다, 7점: 매우 그렇다)로 측정하여 2단계 인공지능 에이전트 상호작용 선호도 학습(220)으로 전달한다.
이하에서, 본 발명의 실시예에 따른 첨부된 설문 질문을 참고로 설명한다.
1. 외향적이고, 열정적이다.
2. 비판적이고, 논쟁을 좋아한다.
3. 믿음직스럽고, 자기 절제에 능하다.
4. 불안해하고, 화를 잘 낸다.
5. 새로운 것을 경험하길 좋아하고, 생각이 복잡하다.
6. 내향적이고, 조용하다.
7. 공감을 잘 하고, 다정하다.
8. 무질서하고, 부주의하다.
9. 침착하고, 정서가 안정적이다.
10. 관습적이고, 창의성이 부족하다.
Figure 112020045148413-pat00001
2) 정보기술 영역 개인 혁신성 평가 설문을 통해 새로운 정보 기술에 대한 수용도를 7가지 척도(1점: 매우 그렇지 않다, 7점: 매우 그렇다)로 측정하여 2단계 인공지능 에이전트 상호작용 선호도 학습(220)으로 전달한다.
이하에서, 본 발명의 실시예에 따른 첨부된 설문 질문을 참고로 설명한다.
1. 나는 새로운 정보기술이나 정보기기에 대해 듣게되면 그것을 이용할 방법을 찾는 편이다.
2. 나는 새로운 정보기술이나 정보기기가 나오면 망설이지 않고 이용하는 편이다.
3. 나는 주위 사람들보다 새로운 정보기술이나 정보기기를 먼저 이용해 보는 편이다.
4. 나는 새로운 정보기술이나 정보기기를 이용하는 것을 좋아한다.
Figure 112020045148413-pat00002
3) 사회적 호기심 성향 평가 설문을 통해 사용자의 사회적 호기심을 7가지 척도(1점: 매우 그렇지 않다, 7점: 매우 그렇다)로 측정하여 2단계 인공지능 에이전트 상호작용 선호도 학습(220)으로 전달한다.
이하에서는 본 발명의 실시예에 따른 첨부된 설문 질문을 참고로 설명한다.
내가 선호하는 지능형 에이전트는:
1. 나를 처음 만났을 때, 나에 대해 더 배워가는 것에 관심이 있다.
2. 나에 대해 배우는 것에 관심이 있다.
3. 나에 대해 새롭게 더 알게 되는 것을 좋아한다.
4. 나의 습관에 대해 배우는 것을 좋아한다.
5. 내가 어떻게 행동하는지 알아내는 것을 좋아한다.
6. 나의 생각과 감정에 관심을 가진다.
7. 나의 삶과 관련된 이야기에 관심을 가진다.
Figure 112020045148413-pat00003
4) 사회적 에이전트 지향성 평가 설문을 통해 사회적 에이전트 지향성을 7가지 척도(1점: 전혀 그렇지 않다, 7점: 매우 그렇다)로 측정하여 에이전트와 상호작용 시 선호도 유형 정보를 2단계 인공지능 에이전트 상호작용 선호도 학습 (220)으로 전달한다.
이하에서, 본 발명의 실시예에 따른 첨부된 설문 질문을 참고로 설명한다.
1. "AI 에이전트 또는 챗봇과의 잡담이 즐겁다고 생각한다."
2. "AI 에이전트 또는 챗봇과 잡담하는 것을 좋아한다."
Figure 112020045148413-pat00004
5) 다양성 추구 성향 평가 설문을 통해 사용자의 다양성 추구 성향에 대해 7가지 척도(1점: 매우 그렇지 않다, 7점: 매우 그렇다)로 측정하여 2단계 인공지능 에이전트 상호작용 선호도 학습(220)으로 전달한다.
이하에서, 본 발명의 실시예에 따른 첨부된 설문 질문을 참고로 설명한다.
1. 나는 새로운 것을 시도하기보다 예전부터 해오던 것을 계속하기를 선호한다.
2. 나는 일상 속에서 새로움과 변화를 경험하기를 좋아한다.
3. 위험을 동반하더라도 나는 변화, 다양성, 여행을 제공하는 직업을 선호한다.
4. 나는 계속해서 새로운 아이디어와 경험을 탐색하기를 좋아한다.
5. 나는 계속해서 활동에 변화를 주기를 좋아한다.
6. 지루해지면, 나는 새롭고 익숙하지 않은 경험을 찾기를 좋아한다.
7. 나는 반복적인 일상보다 놀라움과 변화가 있는 일상을 선호한다.
Figure 112020045148413-pat00005
6) 컴퓨터 의인화 기대 성향 평가 설문을 통해 사람들이 인공지능 에이전트에 기대하는 의인화 정도를 7가지 척도(1점: 매우 그렇지 않다, 7점: 매우 그렇다)로 측정하여 2단계 인공지능 에이전트 상호작용 선호도 학습(220)으로 전달함.
이하에서, 본 발명의 실시예를 첨부된 설문 질문을 참고로 설명한다.
1. 소프트웨어 설치가 끝난 후, 컴퓨터가 나에게 '안녕'이라고 말할 경우, 나도 웃으며 안녕이라고 인사를 해줄 것이다.
2. 만약 급하게 완료해야 될 컴퓨터 작업을 하고 있을 경우, 나는 컴퓨터에게 '얼른, 얼른'이라고 말할 것이다.
3. 나에게 온 새로운 메일이 없다고 컴퓨터가 나에게 알려줄 경우, 컴퓨터가 나에게 미안하다고 말해준다면 좋겠다.
4. 컴퓨터가 작업을 잘 완료했을 경우, 나는 '고마워' 또는 '잘했어' 라고 말 할 것이다.
5. 만약 컴퓨터가 작업을 제대로 실행하지 못할 경우, 나는 컴퓨터를 욕할 것이다.
6. 컴퓨터가 내가 한 작업에 칭찬을 해준다면 기쁠 것이다.
7. 만약 내가 소프트웨어 어플리케이션에 어려움을 겪고 있다면, 컴퓨터가 그 어려움을 해결해주는 데에 도움을 준다면 고마울 것이다.
8. 만약 딜레마에 빠져있다면, 나는 컴퓨터에게 해결책을 물어 볼 것이다.
9. 만약 연구실에 있는 한 컴퓨터가 나의 연구분야의 전문가라면, 나는 그 컴퓨터를 더 선호할 것이다.
10. 만약 컴퓨터가 고장 나서 재시작을 해야 한다면, 나는 컴퓨터가 나에게 사과를 하는 것이 그렇지 않은 경우보다 덜 화가 날 것이다.
11. 만약 로딩하는 데 오래 걸리는 컴퓨터가 오래 걸리는 것에 대해 사과를 한다면 나는 덜 조급할 것이다.
12. 내가 컴퓨터 로그아웃을 했을 때, 컴퓨터가 나에게 고마워하며 좋은 하루를 보내길 바란다고 말해준다면 기쁠 것이다.
Figure 112020045148413-pat00006
도 3은 본 발명의 일 실시예에 따른 메트릭은 팩터 분석 과정을 설명하기 위한 도면이다.
다음으로, 설문 정보를 사용 에이전트와의 상호작용 선호도 유형 정의(212) 단계에서, 수집된 설문 정보를 활용하여 팩터 분석을 통해 일꾼형, 동반자형을 자율적 에이전트, 사회적 에이전트, 반응적 에이전트, 목표 지향성 에이전트 유형 등의 다양한 에이전트 유형으로 정의한 후에 이를 구체적으로 측정할 수 있는 메트릭을 선정한다. 그리고, 이를 이용하여 인공지능 에이전트의 선호도 유형을 구분할 수 있다. 메트릭은 팩터 분석과 같은 통계적 기법을 통해 도출할 수 있다.
도 3과 같이, 본 발명의 실시예에 따른 첨부된 방사형 표를 통해 메트릭을 설명할 수 있다. 일꾼형 및 동반자형 유형 요약 정보를 참고로 설명한다.
일꾼형 유형은 수집하는 개인화가 필요한 서비스에 직결된 데이터만을 학습하여, 나에게 개인화된 서비스를 제공하는 지능형 에이전트이다.
동반자형 유형은 삶 전반에 대한 나의 데이터를 학습하여, 나에게 개인화된 서비스를 제공하는 지능형 에이전트이다.
이후, 스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습하는 단계(220)는 스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집(221)하고, 인공지능 에이전트 상호작용 선호도 정의(210)의 심리 상태, 성격, 성향 등의 정보를 설문을 통해 수집(211)한 데이터와 인공지능 에이전트와의 상호작용 선호도 유형 정의(212)를 통해 수집된 데이터를 활용하여 유형 판별 기계학습 모델을 학습(222)하는 과정을 포함한다.
사용자의 생체신호 및 컨텍스트 정보 수집(221) 과정에 있어서, 스마트 워치, 스마트폰 등의 스마트 단말의 센서를 통해 사용자의 심장박동, 맥박, 혈압, 칼로리, 체온, 걸음수 등의 생체신호와 컨텍스트 정보(스마트폰 앱 사용 기록, 가속도 센서, 자이로스코프, 베터리, 전화 및 문자사용 기록, 위치/GPS, 신체활동, 네트워크 사용 정보 등)를 시계열 데이터로 수집하여 신호처리 등의 전처리 과정을 통해 특징 추출을 하는 방법을 제공한다.
사용자 정보를 활용하여 기계 학습을 통한 유형 판별 모델 개발(222) 과정에 있어서, 심리 상태, 성격, 성향 등의 정보 수집(211)과 사용자의 생체신호 및 컨텍스트 정보 수집(221)을 이용하고, 인공지능 에이전트와의 상호작용 선호도 유형 정의(212)를 통해 수집된 정보를 기준으로 기계 학습하여 사용자 정보를 활용한 인공지능 에이전트와의 상호작용 유형 판별 모델을 개발한다. 이때, 개개인의 프라이버시를 고려하여 수집되는 데이터의 종류가 제한적일 수 있다. 따라서, 가용한 수집 데이터에 맞는 다양한 유형 판별 모델을 생성할 수 있다.
학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 유형 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측하는 단계(230)는 사용자 정보를 활용하여 기계 학습을 통한 유형 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측한다. 단계(222)에서 생성된 유형 판별 모델을 사용하여 사용자 선호도를 예측을 위하여 사용자의 생체신호 및 컨택스트 정보를 스마트 단말로부터 적어도 하나 이상 수집한다. 이후, 가용한 수집 데이터에 맞게 미리 학습된 유형 판별 모델을 사용하여 선호도를 예측할 수 있다. 예측된 선호도 정보를 활용하여 인공지능 에이전트와의 상호작용 유형을 자동으로 설정할 수 있다.
먼저, 학습된 선호도 판별 모델을 사용하여 선호도 예측(231) 과정에 있어서, 기계학습을 통해 생성된 유형 판별 모델을 사용하여 인공지능 에이전트와 상호작용 시 사용자의 선호도를 예측한다. 에이전트와의 상호작용 선호도 예측을 위하여 사용자의 생체신호, 컨텍스트 정보를 적어도 하나 이상 수집할 수 있다.
예측된 선호도 정보를 활용하여 에이전트와의 상호작용 유형을 자동으로 설정하는 과정(232)에 있어서, 학습된 선호도 유형 판별 모델을 사용하여 선호도 예측(231) 과정에서 예측된 선호도 정보를 활용하여 인공지능 에이전트와의 상호작용 전 사용자의 선호도에 맞는 유형을 자동 설정하는 알고리즘을 통해 개인별로 맞춤형 인공지능 에이전트 서비스를 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 장치의 구성을 나타내는 도면이다.
제안하는 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 장치(400)는 선호도 정보 정의부(410), 선호도 정보 학습부(420) 및 선호도 정보 예측부(430)를 포함한다.
선호도 정보 정의부(410), 선호도 정보 학습부(420) 및 선호도 정보 예측부(430)는 도 1의 단계들(110~130)을 수행하기 위해 구성될 수 있다.
선호도 정보 정의부(410)는 사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의한다.
선호도 정보 정의부(410)는 사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의한다. 사용자의 심리 상태, 성격, 성향을 포함하는 사용자에 관한 정보를 설문을 통해 수집하고, 설문 별 팩터 분석을 통해 인공지능 에이전트와의 상호작용 선호도 유형 평가를 측정하기 위한 메트릭을 정의한다. 이후, 복수의 인공지능 에이전트 유형을 하나의 인공지능 에이전트 유형으로 통합하여 인공지능 에이전트와의 상호작용 시 선호되는 유형을 정의한다.
이때, 수집된 설문 정보를 활용하여 팩터 분석을 통해 일꾼형, 동반자형을 자율적 에이전트, 사회적 에이전트, 반응적 에이전트, 목표 지향성 에이전트 유형을 포함하는 복수의 인공지능 에이전트 유형으로 정의한다. 그리고, 팩터 분석을 포함하는 통계적 기법을 통해 메트릭을 정의한다.
선호도 정보 학습부(420)는 스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습한다.
선호도 정보 학습부(420)는 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용한 기계학습을 통해 유형 판별 모델을 생성한다.
선호도 정보 예측부(430)는 학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측한다.
선호도 정보 예측부(430)는 유형 판별 모델을 이용하여 인공지능 에이전트와 상호작용 선호도를 예측하고, 예측된 인공지능 에이전트와의 상호작용 선호도를 이용하여 인공지능 에이전트와의 상호작용의 유형을 자동으로 설정한다.
본 발명은 스마트 단말을 활용하여 인간과 상호작용하는 시스템, 어플리케이션 등을 활용한 모든 분야에 적용할 수 있다. 대표적으로 알려진 에이전트로는 거대 다국적 기업의 애플의 '시리', 구글의 '구글 어시스턴트', 아마존의 '알렉사', 마이크로소프트의 '코타나'가 있으며, 국내 기업 또한 삼성전자의 '빅스비', 네이버의 '클로바', 카카오의 '카카오 아이', SK텔레콤의 '누구', KT의 '기가 지니' 등으로 국내 외 다국적 기업 모두가 미래 핵심 사업으로 진출하는 분야이다. 본 발명은 상기에 언급된 모든 서비스에 적용 가능하며, 인공지능 에이전트와 인간과의 상호작용 시 선호도를 판별하여 좀 더 개개인에 맞춘 인공지능 에이전트 서비스를 제공해줄 수 있게 할 것이다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.  예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.  또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의하는 단계;
    스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습하는 단계; 및
    학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 유형 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측하는 단계
    를 포함하고,
    상기 스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습하는 단계는,
    정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용한 기계학습을 통해 유형 판별 모델을 생성하고,
    상기 인공지능 에이전트 상호작용 선호도를 정의하기 위한 설문은 인공지능 에이전트에 관한 선호 유형 평가, 성격 유형 평가, 사회적 에이전트 지향성 평가, 정보기술 영역 개인 혁신성 평가, 컴퓨터 의인화 기대 성향 평가, 사회적 호기심 성향 평가, 다양성 추구 성향 평가 중 적어도 하나 이상을 포함하며,
    상기 예측된 인공지능 에이전트와의 상호작용 선호도 정보를 이용하여 인공지능 에이전트와의 상호작용 전 사용자의 선호도에 따른 유형을 자동 설정하여 개인별 맞춤형 인공지능 에이전트 서비스를 제공하는
    인공지능 에이전트와의 상호작용 선호도 유형 판별 방법.
  2. 제1항에 있어서,
    사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의하는 단계는,
    사용자의 심리 상태, 성격, 성향을 포함하는 사용자에 관한 정보를 설문을 통해 수집하고, 설문 별 팩터 분석을 통해 인공지능 에이전트와의 상호작용 선호도 유형 평가를 측정하기 위한 메트릭을 정의한 후, 복수의 인공지능 에이전트 유형을 하나의 인공지능 에이전트 유형으로 통합하여 인공지능 에이전트와의 상호작용 시 선호되는 유형을 정의하는
    인공지능 에이전트와의 상호작용 선호도 유형 판별 방법.
  3. 제2항에 있어서,
    수집된 설문 정보를 활용하여 팩터 분석을 통해 일꾼형, 동반자형을 자율적 에이전트, 사회적 에이전트, 반응적 에이전트, 목표 지향성 에이전트 유형을 포함하는 복수의 인공지능 에이전트 유형으로 정의하고, 팩터 분석을 포함하는 통계적 기법을 통해 메트릭을 정의하는
    인공지능 에이전트와의 상호작용 선호도 유형 판별 방법.
  4. 삭제
  5. 제1항에 있어서,
    학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 유형 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측하는 단계는,
    유형 판별 모델을 이용하여 인공지능 에이전트와 상호작용 선호도를 예측하고, 예측된 인공지능 에이전트와의 상호작용 선호도를 이용하여 인공지능 에이전트와의 상호작용의 유형을 자동으로 설정하는
    인공지능 에이전트와의 상호작용 선호도 유형 판별 방법.
  6. 사용자에 관한 정보를 설문을 통해 수집하여 인공지능 에이전트와의 상호작용 선호도를 정의하는 선호도 정보 정의부;
    스마트 단말로부터 사용자 생체신호 및 컨텍스트 정보를 수집하고, 정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용하여 인공지능 에이전트와의 상호작용 선호도를 학습하는 선호도 정보 학습부; 및
    학습된 인공지능 에이전트와의 상호작용 선호도 정보에 관한 판별 모델을 이용하여 인공지능 에이전트와의 상호작용 선호도를 예측하는 선호도 정보 예측부
    를 포함하고,
    상기 선호도 정보 학습부는,
    정의된 인공지능 에이전트와의 상호작용 선호도 정보와 수집된 사용자 생체신호 및 컨텍스트 정보를 이용한 기계학습을 통해 유형 판별 모델을 생성하고,
    상기 인공지능 에이전트 상호작용 선호도를 정의하기 위한 설문은 인공지능 에이전트에 관한 선호 유형 평가, 성격 유형 평가, 사회적 에이전트 지향성 평가, 정보기술 영역 개인 혁신성 평가, 컴퓨터 의인화 기대 성향 평가, 사회적 호기심 성향 평가, 다양성 추구 성향 평가 중 적어도 하나 이상을 포함하며,
    상기 예측된 인공지능 에이전트와의 상호작용 선호도 정보를 이용하여 인공지능 에이전트와의 상호작용 전 사용자의 선호도에 따른 유형을 자동 설정하여 개인별 맞춤형 인공지능 에이전트 서비스를 제공하는
    인공지능 에이전트와의 상호작용 선호도 유형 판별 장치.
  7. 제6항에 있어서,
    선호도 정보 정의부는,
    사용자의 심리 상태, 성격, 성향을 포함하는 사용자에 관한 정보를 설문을 통해 수집하고, 설문 별 팩터 분석을 통해 인공지능 에이전트와의 상호작용 선호도 유형 평가를 측정하기 위한 메트릭을 정의한 후, 복수의 인공지능 에이전트 유형을 하나의 인공지능 에이전트 유형으로 통합하여 인공지능 에이전트와의 상호작용 시 선호되는 유형을 정의하는
    인공지능 에이전트와의 상호작용 선호도 유형 판별 장치.
  8. 제7항에 있어서,
    수집된 설문 정보를 활용하여 팩터 분석을 통해 일꾼형, 동반자형을 자율적 에이전트, 사회적 에이전트, 반응적 에이전트, 목표 지향성 에이전트 유형을 포함하는 복수의 인공지능 에이전트 유형으로 정의하고, 팩터 분석을 포함하는 통계적 기법을 통해 메트릭을 정의하는
    인공지능 에이전트와의 상호작용 선호도 유형 판별 장치.
  9. 삭제
  10. 제6항에 있어서,
    선호도 정보 예측부는,
    유형 판별 모델을 이용하여 인공지능 에이전트와 상호작용 선호도를 예측하고, 예측된 인공지능 에이전트와의 상호작용 선호도를 이용하여 인공지능 에이전트와의 상호작용의 유형을 자동으로 설정하는
    인공지능 에이전트와의 상호작용 선호도 유형 판별 장치.
KR1020200053240A 2020-01-13 2020-05-04 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법 및 장치 KR102349589B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200004032 2020-01-13
KR1020200004032 2020-01-13

Publications (2)

Publication Number Publication Date
KR20210091022A KR20210091022A (ko) 2021-07-21
KR102349589B1 true KR102349589B1 (ko) 2022-01-11

Family

ID=77143689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200053240A KR102349589B1 (ko) 2020-01-13 2020-05-04 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102349589B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101912702B1 (ko) * 2017-11-21 2018-10-30 한국과학기술원 스마트 환경에서의 서비스 선호도 분산 학습 방법
KR102039293B1 (ko) * 2019-03-25 2019-10-31 김보언 클러스터링을 이용한 인공지능 기반 질의응답 도출방법, 장치 및 프로그램

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050054381A1 (en) * 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
US8495683B2 (en) * 2010-10-21 2013-07-23 Right Brain Interface Nv Method and apparatus for content presentation in a tandem user interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101912702B1 (ko) * 2017-11-21 2018-10-30 한국과학기술원 스마트 환경에서의 서비스 선호도 분산 학습 방법
KR102039293B1 (ko) * 2019-03-25 2019-10-31 김보언 클러스터링을 이용한 인공지능 기반 질의응답 도출방법, 장치 및 프로그램

Also Published As

Publication number Publication date
KR20210091022A (ko) 2021-07-21

Similar Documents

Publication Publication Date Title
Rafferty et al. From activity recognition to intention recognition for assisted living within smart homes
EP2915319B1 (en) Managing a context model in a mobile device by assigning context labels for data clusters
KR101672864B1 (ko) 사용자 활동 추적 시스템 및 장치
EP2730223B1 (en) Apparatus and method for determining user's mental state
CN109863721B (zh) 数字助理扩展自动排名和选择
KR101830767B1 (ko) 사용자의 감정 인식 장치 및 방법
US10909462B2 (en) Multi-dimensional sensor data based human behaviour determination system and method
JP2018116744A (ja) 自動ハプティック効果調整システム
US20200133211A1 (en) Electronic device and method for controlling electronic device thereof
KR20150069331A (ko) 사용자 라이프 로그 생성 방법 및 시스템
KR20100132868A (ko) 목표 예측 인터페이스 제공 장치 및 그 방법
CN110291542B (zh) 主要原因估计装置、主要原因估计系统以及主要原因估计方法
KR20200039365A (ko) 전자 장치 및 이의 제어 방법
EP3879539A1 (en) System and method of determining personalized wellness measures associated with plurality of dimensions
CN110998507B (zh) 电子装置及其用于提供搜索结果的方法
Vildjiounaite et al. Unsupervised stress detection algorithm and experiments with real life data
CN111798259A (zh) 应用推荐方法、装置、存储介质及电子设备
JP7348230B2 (ja) 生成装置、生成方法、及び生成プログラム
KR102349589B1 (ko) 스마트 단말을 활용한 인공지능 에이전트와의 상호작용 선호도 유형 판별 방법 및 장치
Meyer et al. Detecting developers’ task switches and types
da Penha Natal et al. Activity recognition model based on GPS data, points of interest and user profile
Qin et al. A context-aware do-not-disturb service for mobile devices
Kalpesh et al. Human Physical Activities Based Calorie Burn Calculator Using LSTM
KR102205955B1 (ko) 면접게임을 활용한 면접자 역량평가 추론 시스템 및 방법
US20230033354A1 (en) Context-based saving of data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant