KR102408773B1 - 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법 - Google Patents

온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102408773B1
KR102408773B1 KR1020210182649A KR20210182649A KR102408773B1 KR 102408773 B1 KR102408773 B1 KR 102408773B1 KR 1020210182649 A KR1020210182649 A KR 1020210182649A KR 20210182649 A KR20210182649 A KR 20210182649A KR 102408773 B1 KR102408773 B1 KR 102408773B1
Authority
KR
South Korea
Prior art keywords
emotion
value
occupant
analysis information
emotional
Prior art date
Application number
KR1020210182649A
Other languages
English (en)
Inventor
구충완
이지영
이준수
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020210182649A priority Critical patent/KR102408773B1/ko
Application granted granted Critical
Publication of KR102408773B1 publication Critical patent/KR102408773B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4884Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Engineering & Computer Science (AREA)
  • Psychology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 온열 환경에 따른 재실자의 실시간 감정상태를 객관적으로 분석하기 위한 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법에 관한 것이다.

Description

온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법{ANALYSIS APPARATUS FOR AFFECTIVE STATES OF OCCUPANTS BASED ON THERMAL ENVIRONMANT, AND CONTROL METHOD THEREOF}
본 발명은 온열 환경에 따른 재실자의 실시간 감정상태를 객관적으로 분석하기 위한 방안에 관한 것이다.
ASHRAE(American Society of Heating, Refrigerating and Air-Con. Engineers) 가이드라인에 따르면, 사람들은 약 80-90%의 시간을 실내공간에서 생활하고 있으며, 특히 COVID-19와 같은 팬데믹 상황에서, 재실자가 실내 공간에 머무르는 시간은 점점 더 증대되고 있다.
이에 따라 실내거주환경(IEQ, Indoor Environmental Quality)은 재실자의 생리심리적(physio-psychological) 상태에 직/간접적으로 많은 영향을 미치게 된다.
실내거주환경은 크게 온열 환경(thermal environment), 공기질(indoor air quality), 빛 환경(visual environment), 음 환경(acoustic environment)으로 구분할 수 있는데, 그 중에서, 온열 환경(thermal environment)은 재실자 쾌적성(occupants’ comfort)에 직접적인 영향을 미치는 가장 중요한 요인 중 하나이다.
헌데, 온열 환경이 재실자에게 미치는 영향을 분석한 기존 연구에서는, 주로 재실자의 인지적 능력(cognitive ability)을 다루고 있는 반면, 외부 또는 내부의 자극에 의해 무의식적으로 형성되며, 특히 인간의 상태 또는 행동에 긍정적 또는 부정적으로 영향을 미치게 되는 재실자의 감정상태(affective states)에 대한 접근은 미비한 실정이다.
한편, 본 발명의 배경이 되는 기술은 '대한민국 공개특허공보 10-2014-0114588(2014.09.29)'에 개시되어 있다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 온열 환경에 따른 재실자의 실시간 감정상태를 객관적으로 분석하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 온열 환경 기반 재실자 감정상태 분석장치는, 온열 환경에서 측정된 재실자의 뇌파 데이터로부터 상기 재실자에 대한 감정분석정보를 산출하는 산출부; 및 상기 감정분석정보로부터 확인되는 산출 값에 따라 상기 감정분석정보를 기 도출된 감정원형모델 상에 배치시키며, 상기 감정원형모델 상에 배치된 상기 감정분석정보의 배치 영역에 기초하여 상기 재실자에 대한 감정상태를 분석하는 분석부를 포함하는 것을 특징으로 한다.
구체적으로, 상기 감정원형모델은, 기 정의된 정서적 차원의 2 차원 축이 서로 직교하는 사분면의 형태로 도출되며, 상기 감정분석정보는, 상기 감정원형모델의 사분면 중 어느 하나의 영역에 상기 감정분석정보를 배치시키기 위한 상기 정서적 차원의 2 차원 분석 값을 포함할 수 있다.
구체적으로, 상기 감정분석정보는, 긍정적인 감정(positive emotion)과 부정적인 감정(negative emotion)을 양단으로 하는 1 차원 축 상에서 상기 재실자의 감정의 크기를 가늠하기 위한 산출 값인 감정의 방향 값(Valence)을 포함할 수 있다.
구체적으로, 상기 감정의 방향 값은, 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기와, 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기 간의 차이 값에 기초하여 산출될 수 있다
구체적으로, 상기 감정분석정보는, 활성화 감정(active emotion)과 비활성화 감정(inactive emotion)을 양단으로 하는 1 차원 축 상에서 상기 재실자의 감정의 크기를 가늠하기 위한 산출 값인 감정의 강도 값(Emotional Arousal)을 포함할 수 있다.
구체적으로, 상기 감정분석정보는, 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기와, 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기 간의 합산 값에 기초하여 산출될 수 있다.
구체적으로, 상기 감정원형모델은, 기 정의된 2 이상의 서로 다른 온열 환경 조건에서 측정된 다수의 재실자의 뇌파 데이터를 클러스터링한 각 클러스터의 중심 좌표를 기준으로, 상기 정서적 차원의 2 차원 축이 서로 직교하는 사분면이 정의될 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 온열 환경 기반 재실자 감정상태 분석장치의 동작 방법은, 온열 환경에서 측정된 재실자의 뇌파 데이터로부터 상기 재실자에 대한 감정분석정보를 산출하는 산출단계; 및 상기 감정분석정보로부터 확인되는 산출 값에 따라 상기 감정분석정보를 기 도출된 감정원형모델 상에 배치시키며, 상기 감정원형모델 상에 배치된 상기 감정분석정보의 배치 영역에 기초하여 상기 재실자에 대한 감정상태를 분석하는 분석부를 포함하는 것을 특징으로 한다.
구체적으로, 상기 감정원형모델은, 기 정의된 정서적 차원의 2 차원 축이 서로 직교하는 사분면의 형태로 도출되며, 상기 감정분석정보는, 상기 감정원형모델의 사분면 중 어느 하나의 영역에 상기 감정분석정보를 배치시키기 위한 상기 정서적 차원의 2 차원 분석 값을 포함할 수 있다.
구체적으로, 상기 감정분석정보는, 긍정적인 감정(positive emotion)과 부정적인 감정(negative emotion)을 양단으로 하는 1 차원 축 상에서 상기 재실자의 감정의 크기를 가늠하기 위한 산출 값인 감정의 방향 값(Valence)을 포함할 수 있다.
구체적으로, 상기 감정의 방향 값은, 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기와, 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기 간의 차이 값에 기초하여 산출될 수 있다.
구체적으로, 상기 감정분석정보는, 활성화 감정(active emotion)과 비활성화 감정(inactive emotion)을 양단으로 하는 1 차원 축 상에서 상기 재실자의 감정의 크기를 가늠하기 위한 산출 값인 감정의 강도 값(Emotional Arousal)을 포함할 수 있다.
구체적으로, 상기 감정분석정보는, 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기와, 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기 간의 합산 값에 기초하여 산출될 수 있다.
구체적으로, 상기 감정원형모델은, 기 정의된 2 이상의 서로 다른 온열 환경 조건에서 측정된 다수의 재실자의 뇌파 데이터를 클러스터링한 각 클러스터의 중심 좌표를 기준으로, 상기 정서적 차원의 2 차원 축이 서로 직교하는 사분면이 정의될 수 있다.
이에, 본 발명의 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법에서는 온열 환경에서 재실자의 감정상태를 분석하기 위해 감정원형모델을 도입하며, 이러한 감정원형모델과 더불어 개인의 뇌파 데이터 기반의 감정 인식 방법론을 적용함으로써, 다양한 온열 환경에 따른 재실자의 감정상태를 객관적이고 다각적으로 분석할 수 있다.
도 1은 본 발명의 일 실시예에 따른 온열 환경 기반 재실자 감정상태 분석 환경을 설명하기 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 재실자 감정상태 분석장치의 개략적인구성도.
도 3 및 도 4는 본 발명의 일 실시예에 따른 감정원형모델을 설명하기 위한 예시도.
도 5는 본 발명의 일 실시예에 따른 재실자 감정상태 분석장치의 동작 방법을 설명하기 위한 순서도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.
본 발명의 일 실시예에서는, 온열 환경(thermal environment)에 따른 재실자의 감정상태를 분석하기 위한 기술에 관한 것이다.
실내거주환경(IEQ, Indoor Environmental Quality)은 재실자의 생리심리적(physio-psychological) 상태에 직/간접적으로 많은 영향을 미치게 된다.
실내거주환경은 크게 온열 환경, 공기질(indoor air quality), 빛 환경(visual environment), 음 환경(acoustic environment)으로 구분할 수 있는데, 그 중에서, 온열 환경은 재실자 쾌적성(occupants’ comfort)에 직접적인 영향을 미치는 가장 중요한 요인 중 하나이다.
최근, ISO 7730-2005와 ANSI/ASHRAE Standard 55-2020에서 제안하는 '재실자 온열쾌적성' 지표인 예상 평균 온열감(PMV, Predicted Mean Vote)/예상 불만족도(PPD, Predicted Percentage of Dissatisfied)와 관련하여, 온열 쾌적성에 대한 개인차이 관련 이슈가 부각되고 있다.
이와 관련하여, 기존 접근방식의 현황 및 한계점은 다음의 2가지 관점에서 요약할 수 있다.
첫째, 온열 환경에 따른 재실자의 인지능력(cognitive ability)의 차이 분석이 주를 이루고 있으나, 재실자의 감정 반응(emotional response)에 대한 접근은 미흡한 것으로 나타났다.
둘째, 다양한 온열환경에 대한 재실자의 감정 반응을 객관적이고 다각적으로 분석하기 위하여, 감정원형모델(circumplex model of affect)를 도입할 필요가 있다.
헌데, 이를 활용한 기존의 접근에서는, 주로 시각 또는 청각을 자극체로 하는 활동(예: 음악 감상, 비디오 감상, 게임 체험, 및 VR체험 등)을 수행하는 과정에서의 감정 변화를 분석하였으나, 온열 환경에서 재실자의 감정 반응 분석을 위해 적용된 바는 없다.
이에 본 발명의 일 실시예에서는, 온열 환경에 따른 재실자의 실시간 감정상태를 객관적으로 분석할 수 있는 새로운 방안을 제안하고자 한다.
도 1에서는 본 발명의 일 실시예에 따른 온열 환경 기반 재실자 감정상태 분석 환경을 예시적으로 보여주고 있다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 재실자 감정상태 분석 환경에서는, 온열 환경에 따른 재실자의 감정상태를 분석하는 재실자 감정상태 분석장치(100)를 포함하는 구성을 가질 수 있다.
재실자 감정상태 분석장치(100)는 온열 환경에서 재실자의 감정상태를 분석하기 위해 감정원형모델(circumplex model of affect)을 도입하며, 이러한 감정원형모델과 더불어 개인의 뇌파 데이터 기반 감정 인식 방법론을 적용하는 장치를 일컫는 것으로서, 예컨대, 소프트웨어(예: 애플리케이션)를 탑재한 컴퓨팅장치(예: PC), 또는 유무선 통신망을 통해 접속 가능한 서버의 형태로 구현될 수 있다.
참고로, 이러한 재실자 감정상태 분석장치(100)가 서버의 형태로 구현되는 경우에는, 예컨대, 웹 서버, 데이터베이스 서버, 프록시 서버 등의 형태로 구현될 수 있으며, 네트워크 부하 분산 메커니즘, 내지 서비스 장치가 인터넷 또는 다른 네트워크 상에서 동작할 수 있도록 하는 다양한 소프트웨어 중 하나 이상이 설치될 수 있으며, 이를 통해 컴퓨터화된 시스템으로도 구현될 수 있다.
이상, 본 발명의 일 실시예에 따른 온열 환경 기반 재실자 감정상태 분석 환경에서는, 전술한 구성을 통해서 온열 환경에 따른 재실자의 실시간 감정상태를 객관적으로 분석할 수 있는데, 이하에서는 이를 실현하기 위한 재실자 감정상태 분석장치(100)의 구성을 보다 구체적으로 설명하기로 한다.
이와 관련하여, 도 2는 본 발명의 일 실시예에 따른 재실자 감정상태 분석장치(100)의 개략적인 구성을 보여주고 있다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 재실자 감정상태 분석장치(100)는, 감정원형모델을 도출하는 도출부(110), 재실자에 대한 감정분석정보를 산출하는 산출부(120), 및 재실자의 감정상태를 분석하는 분석부(120)를 포함하는 구성을 가질 수 있다.
이상의 도출부(110), 산출부(120), 및 분석부(130)를 포함하는 재실자 감정상태 분석장치(100)의 전체 구성 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로 구현될 수 있다.
여기서, 소프트웨어 모듈이란, 예컨대, 재실자 감정상태 분석장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 재실자 감정상태 분석장치(100) 내 메모리에 탑재된 형태를 가질 수 있다.
한편, 본 발명의 일 실시예에 따른 온열 환경 기반 재실자 감정상태 분석장치(100)는 전술한 구성 이외에, 유무선 통신망 접속을 지원하기 위한 통신 기능을 담당하는 통신 모듈인 통신부(140)의 구성을 더 포함할 수 있다.
이상 본 발명의 일 실시예에 따른 온열 환경 기반 재실자 감정상태 분석장치(100)는 전술한 구성을 통해서 온열 환경에 따른 재실자의 실시간 감정상태를 객관적으로 분석할 수 있는데, 이하에서는 이를 실현하기 위한 재실자 감정상태 분석장치(100) 내 구성에 대해서 보다 구체적인 설명을 이어 가기로 한다.
도출부(110)는 개실자의 감정상태 분석을 위한 감정원형모델(circumplex model of affect)을 도출하는 기능을 수행한다.
보다 구체적으로, 도출부(110)는 온열 환경이 미치는 재실자의 감정상태 분석을 지원하기 위해 감정원형모델을 도출하게 된다.
이때, 도출부(110)는 기 정의된 정서적 차원의 2 차원 축이 서로 직교하는 사분면의 형태로 감정원형모델을 도출할 수 있다.
여기서, 정서적 차원의 2 차원 축은, 가로 축인 감정의 방향 값(Valence)과, 세로 축인 감정의 강도 값(Emotional Arousal)으로 정의될 수 있다.
이와 관련하여, 도출부(110)는 긍정적인 감정(positive emotion)과 부정적인 감정(negative emotion)을 양단으로 하는 가로 축 상에서 재실자의 감정의 크기를 가늠하기 위한 산출 값으로서 전술한 감정의 방향 값(Valence)을 정의한다.
또한, 도출부(110)는 활성화 감정(active emotion)과 비활성화 감정(inactive emotion)을 양단으로 하는 세로 축 상에서 재실자의 감정의 크기를 가늠하기 위한 산출 값으로 전술한 감정의 강도 값(Emotional Arousal)을 정의한다.
정리하자면, 도출부(110)는 예컨대, 도 3에서와 같이 기 정의된 2 이상의 서로 다른 온열 환경 조건에서 측정된 다수의 재실자의 뇌파 데이터를 클러스터링하며, 각 클러스터(Cluster A, Cluster B, Cluster C, 및 Cluster D)의 중심 좌표를 기준으로, 가로 축인 감정의 방향 값(Valence)과 세로 축인 감정의 강도 값(Emotional Arousal)이 서로 직교하는 사분면을 정의할 수 있다.
여기서, 2 이상의 서로 다른 온열 환경 조건은, 예컨대, PMV -2 (Cool), PMV 0 (Neutral), and PMV +2 (Warm)의 3 가지 조건으로 정의될 수 있고, 클러스터링 기법으로는 K-means 클러스터링 기법이 적용될 수 있으며, 또한, 뇌파 데이터의 경우, 전두엽 채널로부터 측정되는 알파파의 크기로 이해될 수 있다.
나아가, 도출부(110)는 위 방식을 통해서 가로 축인 감정의 방향 값(Valence)과 세로 축인 감정의 강도 값(Emotional Arousal)이 서로 직교하는 형태의 사분면이 정의되면, 예컨대, 도 4에서와 같이 각 사분면의 영역 각각에 대해서 재실자의 감정상태에 관한 언어적 표현(예: Cluster A - "Happy", Cluster B - "Nervous", Cluster C - "Bored", 및 Cluster D - "Relaxed")을 할당할 수 있다.
산출부(120)는 재실자에 대해 감정분석정보를 산출하는 기능을 수행한다.
보다 구체적으로, 산출부(120)는 온열 환경에서 측정된 재실자의 뇌파 데이터로부터 재실자에 대한 감정분석정보를 산출하게 된다.
여기서, 감정분석정보는, 가로 축인 감정의 방향 값(Valence)과 세로 축인 감정의 강도 값(Emotional Arousal)이 서로 직교하는 감정원형모델의 사분면 중 어느 하나의 영역에 그 산출 값에 따라 배치되는 정보로 이해될 수 있다.
이에, 산출부(120)는 긍정적인 감정(positive emotion)과 부정적인 감정(negative emotion)을 양단으로 하는 가로 축 상에서 재실자의 감정의 크기를 가늠하기 위한 산출 값인 감정의 방향 값(Valence)과, 활성화 감정(active emotion)과 비활성화 감정(inactive emotion)을 양단으로 하는 세로 축 상에서 재실자의 감정의 크기를 가늠하기 위한 산출 값인 감정의 강도 값(Emotional Arousal)을 포함하도록 감정분석정보를 산출한다.
특히, 산출부(120)는 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기(left hemisphere alpha power = F3_alpha power)와, 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기(Right hemisphere alpha power = F4_alpha power) 간의 차이 값에 기초하여 감정의 방향 값(Valence)을 산출하게 되며, 이러한, 감정의 방향 값(Valence) 산출은 예컨대, 아래 [수식 1]를 통해서 이루어질 수 있다.
[수식 1]
감정의 방향 값(Valence) = ln(F4_alpha power) - ln(F3_alpha power)
참고로, 위 [수식 1]에 따르면, 감정의 방향 값(Valence)이 크게 산출된다는 것은, 뇌 활동에 반비례하는 알파파 특성을 함께 고려하여 긍정적인 감정(positive emotion)을 지시하는 좌뇌의 활성도가 높다는 것으로 해석될 수 있다.
그리고, 산출부(120)는 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기(left hemisphere alpha power = F3_alpha power)와, 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기(Right hemisphere alpha power = F4_alpha power) 간의 합산 값에 기초하여 감정의 강도 값(Emotional Arousal)을 산출하게 되며, 이러한, 감정의 강도 값(Emotional Arousal) 산출은 예컨대, 아래 [수식 2]를 통해서 이루어질 수 있다.
[수식 2]
감정의 강도 값(Emotional Arousal) = ln(F4_alpha power) + ln(F3_alpha power)
참고로, 위 [수식 2]에 따르면, 감정의 강도 값(Emotional Arousal)이 크게 산출된다는 것은, 뇌 활동에 반비례하는 알파파 특성을 함께 고려하여 좌뇌와 우뇌의 알파파가 모두 높게 나타난 것을 의미하며, 활성화 감정(active emotion 이 감소한다는 것으로 해석될 수 있다.
분석부(130)는 재실자에 대한 감정상태를 분석하는 기능을 수행한다.
보다 구체적으로, 분석부(130)는 감정분석정보의 산출이 완료되면, 감정분석정보로부터 확인되는 산출 값에 따라 감정분석정보를 기 도출된 감정원형모델 상에 적용시킨 결과로부터 재실자에 대한 감정상태를 분석하게 된다.
이때, 분석부(130)는 감정분석정보에 대해 확인되는 2 차원 축의 산출 값인 감정의 방향 값(Valence)과 감정의 강도 값(Emotional Arousal)에 따라, 감정원형모델의 사분면 중 적어도 어느 하나의 영역에 상기 감정분석정보를 배치시키고, 이처럼 감정분석정보가 배치된 영역에 할당되어 있는 언어적 표현을 온열 환경에 따른 재실자의 감정상태(예: "Happy", "Nervous", "Bored", 및 "Relaxed”)로서 해석할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 재실자 감정상태 분석장치(100)의 구성에 따르면, 온열 환경에서 재실자의 인지능력 분석이 주를 기존 기술과는 달리, 온열 환경에서 재실자의 감정상태를 분석하기 위해 감정원형모델을 도입하며, 이러한 감정원형모델과 더불어 개인의 뇌파 데이터 기반의 감정 인식 방법론을 적용함으로써, 다양한 온열 환경에 따른 재실자의 감정상태를 객관적이고 다각적으로 분석할 수 있음을 알 수 있다. 또한, 이처럼 온열 환경에 따른 재실자의 감정상태를 객관적이고 다각적으로 분석할 수 있는 환경이 마련됨에 따라, 공유오피스, 사회복지시설(예: 어린이집, 노인요양시설, 장애인요양시설), 주거공간, 호텔객실, 카페회의공간 등 건물의 실내공간에서 재실자가 만족할 수 있는 실내거주환경을 조성하는데 크게 기여할 수 있음을 알 수 있다.
이하에서는, 도 5을 참조하여 본 발명의 일 실시예에 따른 재실자 감정상태 분석장치(100)의 동작 방법을 설명하기로 한다.
먼저, 도출부(110)는 온열 환경이 미치는 재실자의 감정상태 분석을 지원하기 위해 감정원형모델을 도출한다(S110-S120).
이때, 도출부(110)는 기 정의된 정서적 차원의 2 차원 축이 서로 직교하는 사분면의 형태로 감정원형모델을 도출할 수 있다.
여기서, 정서적 차원의 2 차원 축은, 가로 축인 감정의 방향 값(Valence)과, 세로 축인 감정의 강도 값(Emotional Arousal)으로 정의될 수 있다.
이와 관련하여, 도출부(110)는 긍정적인 감정(positive emotion)과 부정적인 감정(negative emotion)을 양단으로 하는 가로 축 상에서 재실자의 감정의 크기를 가늠하기 위한 산출 값으로서 전술한 감정의 방향 값(Valence)을 정의한다.
또한, 도출부(110)는 활성화 감정(active emotion)과 비활성화 감정(inactive emotion)을 양단으로 하는 세로 축 상에서 재실자의 감정의 크기를 가늠하기 위한 산출 값으로 전술한 감정의 강도 값(Emotional Arousal)을 정의한다.
정리하자면, 도출부(110)는 앞서 예시한, 도 3에서와 같이 기 정의된 2 이상의 서로 다른 온열 환경 조건에서 측정된 다수의 재실자의 뇌파 데이터를 클러스터링하며, 각 클러스터(Cluster A, Cluster B, Cluster C, 및 Cluster D)의 중심 좌표를 기준으로, 가로 축인 감정의 방향 값(Valence)과 세로 축인 감정의 강도 값(Emotional Arousal)이 서로 직교하는 사분면을 정의할 수 있다.
여기서, 2 이상의 서로 다른 온열 환경 조건은, 예컨대, PMV -2 (Cool), PMV 0 (Neutral), and PMV +2 (Warm)의 3 가지 조건으로 정의될 수 있고, 클러스터링 기법으로는 K-means 클러스터링 기법이 적용될 수 있으며, 또한, 뇌파 데이터의 경우, 전두엽 채널로부터 측정되는 알파파의 크기로 이해될 수 있다.
나아가, 도출부(110)는 위 방식을 통해서 가로 축인 감정의 방향 값(Valence)과 세로 축인 감정의 강도 값(Emotional Arousal)이 서로 직교하는 형태의 사분면이 정의되면, 앞서 예시한, 도 4에서와 같이 각 사분면의 영역 각각에 대해서 재실자의 감정상태에 관한 언어적 표현(예: Cluster A - "Happy", Cluster B - "Nervous", Cluster C - "Bored", 및 Cluster D - "Relaxed")을 할당할 수 있다.
그리고 나서, 산출부(120)는 온열 환경에서 측정된 재실자의 뇌파 데이터로부터 재실자에 대한 감정분석정보를 산출한다(S130).
여기서, 감정분석정보는, 가로 축인 감정의 방향 값(Valence)과 세로 축인 감정의 강도 값(Emotional Arousal)이 서로 직교하는 감정원형모델의 사분면 중 어느 하나의 영역에 그 산출 값에 따라 배치되는 정보로 이해될 수 있다.
이에, 산출부(120)는 긍정적인 감정(positive emotion)과 부정적인 감정(negative emotion)을 양단으로 하는 가로 축 상에서 재실자의 감정의 크기를 가늠하기 위한 산출 값인 감정의 방향 값(Valence)과, 활성화 감정(active emotion)과 비활성화 감정(inactive emotion)을 양단으로 하는 세로 축 상에서 재실자의 감정의 크기를 가늠하기 위한 산출 값인 감정의 강도 값(Emotional Arousal)을 포함하도록 감정분석정보를 산출한다.
특히, 산출부(120)는 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기(left hemisphere alpha power = F3_alpha power)와, 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기(Right hemisphere alpha power = F4_alpha power) 간의 차이 값에 기초하여 감정의 방향 값(Valence)을 산출하게 되며, 이러한, 감정의 방향 값(Valence) 산출은 예컨대, 전술한 [수식 1]을 통해서 이루어질 수 있다.
참고로, [수식 1]에 따르면, 감정의 방향 값(Valence)이 크게 산출된다는 것은, 뇌 활동에 반비례하는 알파파 특성을 함께 고려하여 긍정적인 감정(positive emotion)을 지시하는 좌뇌의 활성도가 높다는 것으로 해석될 수 있다.
그리고, 산출부(120)는 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기(left hemisphere alpha power = F3_alpha power)와, 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기(Right hemisphere alpha power = F4_alpha power) 간의 합산 값에 기초하여 감정의 강도 값(Emotional Arousal)을 산출하게 되며, 이러한, 감정의 강도 값(Emotional Arousal) 산출은 전술한 [수식 2]를 통해서 이루어질 수 있다.
참고로, [수식 2]에 따르면, 감정의 강도 값(Emotional Arousal)이 크게 산출된다는 것은, 뇌 활동에 반비례하는 알파파 특성을 함께 고려하여 좌뇌와 우뇌의 알파파가 모두 높게 나타난 것을 의미하며, 활성화 감정(active emotion 이 감소한다는 것으로 해석될 수 있다.
이후, 분석부(130)는 감정분석정보의 산출이 완료되면, 감정분석정보로부터 확인되는 산출 값에 따라 감정분석정보를 기 도출된 감정원형모델 상에 적용시킨 결과로부터 재실자에 대한 감정상태를 분석한다(S140-S160).
이때, 분석부(130)는 감정분석정보에 대해 확인되는 2 차원 축의 산출 값인 감정의 방향 값(Valence)과 감정의 강도 값(Emotional Arousal)에 따라, 감정원형모델의 사분면 중 적어도 어느 하나의 영역에 상기 감정분석정보를 배치시키고, 이처럼 감정분석정보가 배치된 영역에 할당되어 있는 언어적 표현을 온열 환경에 따른 재실자의 감정상태(예: "Happy", "Nervous", "Bored", 및 "Relaxed”)로서 해석할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 재실자 감정상태 분석장치(100)의 동작 방법에 따르면, 온열 환경에서 재실자의 인지능력 분석이 주를 기존 기술과는 달리, 온열 환경에서 재실자의 감정상태를 분석하기 위해 감정원형모델을 도입하며, 이러한 감정원형모델과 더불어 개인의 뇌파 데이터 기반의 감정 인식 방법론을 적용함으로써, 다양한 온열 환경에 따른 재실자의 감정상태를 객관적이고 다각적으로 분석할 수 있음을 알 수 있다. 또한, 이처럼 온열 환경에 따른 재실자의 감정상태를 객관적이고 다각적으로 분석할 수 있는 환경이 마련됨에 따라, 공유오피스, 사회복지시설(예: 어린이집, 노인요양시설, 장애인요양시설), 주거공간, 호텔객실, 카페회의공간 등 건물의 실내공간에서 재실자가 만족할 수 있는 실내거주환경을 조성하는데 크게 기여할 수 있음을 알 수 있다.
한편, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 처리하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.
컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 혹은 이들 중 하나 이상의 조합일 수 있다.
본 명세서에서 "시스템"이나 "장치"라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 애플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다
이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명에 따른 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법에 따르면, 온열 환경에 따른 재실자의 실시간 감정상태를 객관적으로 분석할 수 있다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
100: 재실자 감정상태 분석장치
110: 수집부 120: 산출부

Claims (14)

  1. 온열 환경에서 측정된 재실자의 뇌파 데이터로부터, 긍정적인 감정과 부정적인 감정을 양단으로 하는 감정의 방향 값 축의 산출 값인 감정의 방향 값과, 활성화 감정과 비활성화 감정을 양단으로 하는 감정의 강도 값 축의 산출 값인 감정의 강도 값을 포함하도록 상기 재실자에 대한 감정분석정보를 산출하는 산출부; 및
    상기 감정분석정보의 산출 값에 따라, 상기 감정의 방향 값 축과 상기 감정의 강도 값 축을 포함하는 2차원 좌표축의 형태로 도출된 감정원형모델 상에 상기 감정분석정보를 배치시키며, 상기 감정분석정보의 사분면에 배치된 상기 감정분석정보의 배치 위치에 근거하여 상기 재실자에 대한 감정상태를 분석하는 분석부를 포함하며,
    상기 산출부는,
    재실자에 대해서 전두엽 채널로부터 측정되는 알파파의 크기를 이용하여 상기 감정분석정보를 산출하되, 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기와 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기 간의 차이 값으로 상기 감정의 방향 값을 산출하며, 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기와 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기 간의 합산 값으로 상기 감정의 강도 값을 산출하며,
    상기 감정원형모델은,
    기 정의된 2 이상의 서로 다른 온열 환경 조건에서 측정된 다수의 재실자의 뇌파 데이터를 클러스터링한 각 클러스터의 중심 좌표를 기준으로, 상기 감정의 방향 값 축과 상기 감정의 강도 값 축이 도출되는 것을 특징으로 하는 온열 환경 기반 재실자 감정상태 분석장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 온열 환경에서 측정된 재실자의 뇌파 데이터로부터, 긍정적인 감정과 부정적인 감정을 양단으로 하는 감정의 방향 값 축의 산출 값인 감정의 방향 값과, 활성화 감정과 비활성화 감정을 양단으로 하는 감정의 강도 값 축의 산출 값인 감정의 강도 값을 포함하도록 상기 재실자에 대한 감정분석정보를 산출하는 산출단계; 및
    상기 감정분석정보의 산출 값에 따라, 상기 감정의 방향 값 축과 상기 감정의 강도 값 축을 포함하는 2차원 좌표축의 형태로 도출된 감정원형모델 상에 상기 감정분석정보를 배치시키며, 상기 감정분석정보의 사분면에 배치된 상기 감정분석정보의 배치 위치에 근거하여 상기 재실자에 대한 감정상태를 분석하는 분석단계를 포함하며,
    상기 산출단계는,
    재실자에 대해서 전두엽 채널로부터 측정되는 알파파의 크기를 이용하여 상기 감정분석정보를 산출하되, 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기와 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기 간의 차이 값으로 상기 감정의 방향 값을 산출하며, 긍정적인 감정(positive emotion)을 지시하는 좌 반구의 알파파 크기와 부정적인 감정(negative emotion)을 지시하는 우 반구의 알파파 크기 간의 합산 값으로 상기 감정의 강도 값을 산출하며,
    상기 감정원형모델은,
    기 정의된 2 이상의 서로 다른 온열 환경 조건에서 측정된 다수의 재실자의 뇌파 데이터를 클러스터링한 각 클러스터의 중심 좌표를 기준으로, 상기 감정의 방향 값 축과 상기 감정의 강도 값 축이 도출되는 것을 특징으로 하는 온열 환경 기반 재실자 감정상태 분석장치의 동작 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020210182649A 2021-12-20 2021-12-20 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법 KR102408773B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210182649A KR102408773B1 (ko) 2021-12-20 2021-12-20 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210182649A KR102408773B1 (ko) 2021-12-20 2021-12-20 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102408773B1 true KR102408773B1 (ko) 2022-06-13

Family

ID=81984350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210182649A KR102408773B1 (ko) 2021-12-20 2021-12-20 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102408773B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007006A (ko) * 2015-07-08 2018-01-19 삼성전자주식회사 감정 평가

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007006A (ko) * 2015-07-08 2018-01-19 삼성전자주식회사 감정 평가

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kim M, etc., Effect of thermal sensation on emotional responses as measured through brain waves. Building and Environment. 118, pp.32~39 (2017.03.16.)* *

Similar Documents

Publication Publication Date Title
Cosma et al. Machine learning method for real-time non-invasive prediction of individual thermal preference in transient conditions
Boerstra et al. Comfort and performance impact of personal control over thermal environment in summer: Results from a laboratory study
US10372990B2 (en) System and method for identification of personal thermal comfort
Wu et al. Using electroencephalogram to continuously discriminate feelings of personal thermal comfort between uncomfortably hot and comfortable environments
JP6738555B2 (ja) ロボット制御システム
US20170090584A1 (en) Multi Media Computing Or Entertainment System For Responding To User Presence And Activity
Konis et al. The occupant mobile gateway: a participatory sensing and machine-learning approach for occupant-aware energy management
Aryal et al. Smart desks to promote comfort, health, and productivity in offices: A vision for future workplaces
JP7209766B2 (ja) 業務活動分析装置、業務活動分析方法、及びプログラム。
JP2014174988A (ja) 自動ハプティック効果調整システム
Cha et al. Towards a well-planned, activity-based work environment: Automated recognition of office activities using accelerometers
US20200005668A1 (en) Computer readable recording medium and system for providing automatic recommendations based on physiological data of individuals
Salamone et al. Application of IoT and Machine Learning techniques for the assessment of thermal comfort perception.
US20220076153A1 (en) System and method for optimal sensor placement
Braun et al. The capacitive chair
Van Camp et al. EEG technology for UX evaluation: a multisensory perspective
KR102408773B1 (ko) 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법
JPWO2018179289A1 (ja) エリア別環境管理システム及び方法とプログラム
JP7323449B2 (ja) 患者の状況、ユーザの役割、現在のワークフロー及びディスプレイの近接度に基づいて、ユーザ体験を最適化するためのシステム及び方法
Rasheed et al. The green office environment: New Zealand workers' perception of IEQ
Carchiolo et al. Personalized wellness in smart offices
Ma et al. A user-specific activity pattern generation framework for evidence-based ABW planning
CN115398354A (zh) 动态优化的环境控制系统(ecs)
KR101742369B1 (ko) 사용자 일정표에 기반하여 건강 관리 정보를 제공하는 장치 및 방법
Kaklauskas et al. Affective Internet of Things

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant