KR20020082828A - 실시간 종합 감성 평가 방법 및 그 시스템 - Google Patents

실시간 종합 감성 평가 방법 및 그 시스템 Download PDF

Info

Publication number
KR20020082828A
KR20020082828A KR1020020064146A KR20020064146A KR20020082828A KR 20020082828 A KR20020082828 A KR 20020082828A KR 1020020064146 A KR1020020064146 A KR 1020020064146A KR 20020064146 A KR20020064146 A KR 20020064146A KR 20020082828 A KR20020082828 A KR 20020082828A
Authority
KR
South Korea
Prior art keywords
evaluation
emotional
emotion
time
result
Prior art date
Application number
KR1020020064146A
Other languages
English (en)
Other versions
KR100397188B1 (ko
Inventor
민병찬
Original Assignee
한국표준과학연구원
민병찬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국표준과학연구원, 민병찬 filed Critical 한국표준과학연구원
Priority to KR10-2002-0064146A priority Critical patent/KR100397188B1/ko
Publication of KR20020082828A publication Critical patent/KR20020082828A/ko
Application granted granted Critical
Publication of KR100397188B1 publication Critical patent/KR100397188B1/ko

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0203Market surveys; Market polls

Abstract

생체 신호 평가와 주관적 평가를 기반으로 하여 실시간으로 인간의 감성을 종합적으로 평가하는 방법 및 그 시스템이 개시된다. 본 발명에 따른 인간의 감성 평가를 위한 실시간 종합 감성 평가 방법은, (a) 데이터베이스 구축을 위하여 적어도 실험 내용, 피험자 정보, 측정 척도 설정, 및 생체 신호 측정 기준 설정값 중의 어느 하나를 포함하는 소정의 감성 평가 실험 정보를 입력하는 단계와, (b) 피험자가 느끼는 쾌/불쾌와 긴장/이완 정도를 이차원 평면상에서 입력하는 소정의 입력 수단을 사용하여 인간의 주관적 감성을 입력하는 단계와, (c) 상기 (b) 단계와 동시에 피험자의 몸에 부착된 전극부를 통해 측정되고 생체 신호 측정 시스템에서 증폭 및 노이즈 제거된 실시간 생체 신호를 입력하는 단계, 및 (d) 상기 (a) 단계에서 입력된 두 가지의 주관적 감성값과 생체 신호로부터 평가된 객관적 감성값을 실시간으로 결합하여 시간에 따른 1차원적인 감성 평가를 제시하고, 종합적인 감성 평가 결과를 2차원적으로 제시하여 그 처리 결과를 결과 파일로 생성하여 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 실시간 감성 평가 시스템은 생체신호를 이용한 실시간 객관적 감성 평가와 디지타이저를 이용한 실시간 주관평가는 자극이 제시된 시간에 따른 결과를 실시간으로 유추할 수 있고, 또한 형용사를 이용한 주관적 평가는 실험이 끝난 후 통계 분석까지 자동으로 이루어지게 하여 전체적인 감성평가 결과를 실시간으로 도출할 수 있다.
또한, 본 발명의 실시간 종합감성 평가 시스템은 쾌/불쾌 축과 긴장/이완 축으로 감성을 분리하여 실험 중에 자극시간과 측정시간을 일치시킴으로써, 실제 자극이 일어나는 순간의 감성을 측정할 수 있음은 물론 시간 정보를 내포하고 있는 생체신호와 상호 관련성을 정확하게 유도할 수 있다.

Description

실시간 종합 감성 평가 방법 및 그 시스템 {Real-time integrated sensibility assessments method and system thereof}
본 발명은 인간의 감성을 평가하는 방법 및 그 시스템에 관한 것으로서, 더욱 상세하게는 생체 신호 평가와 주관적 평가를 기반으로 실시간으로 인간의 감성을 평가하는 실시간 종합 감성 평가 방법 및 그 시스템에 관한 것이다.
종래의 일반적인 인간의 감성 평가 방법은 주로 형용사로 이루어진 설문지를 이용한 주관적 평가와 생체 신호를 이용한 객관적 평가로 구분된다.
설문지를 이용한 주관적 평가 방법에서는 먼저 조사 목표를 선정하고, 연구 목표에 맞는 모든 감성 어휘를 추출한 후, 의미 변별(Semantic differential) 기법과 요인 분석을 통해 측정하고자 하는 목표에 가장 알맞는 대표 감성 어휘를 추출하고, 추출된 형용사군으로 이루어진 설문지를 이용하여 주어진 자극에 대한 감성을 평가한다.
하지만, 이러한 주관적 평가 방법은 자극을 제시한 후, 어느 정도의 시간이 경과한 후에 과거의 자극에 대한 감성의 상황을 기억하여 평가하는 것으로 실제 자극이 제시된 순간의 감성을 실시간으로 측정하지 못한다는 문제점이 있다.
더욱이, 이러한 주관적 평가 방법은 감성 자극량이 미약하거나 또는 실험 시간이 길어지는 경우에는 실제 자신이 느꼈던 감성의 변화를 정확히 기억하여 표현하지 못하는 경우가 많다는 문제점이 있다.
또한, 설문지를 이용한 주관적 평가 방법은 시시각각으로 변화는 인간의 감성 변화에 대한 시간적인 정보를 포함하지 못하고 자극 제시 시간 동안의 평균적인 감성 정보만을 내포하고 있다는 문제점이 있다.
또한, 설문지를 이용하여 측정된 주관적인 감성 평가 값들을 통계적으로 분석하고 데이터베이스화 시키기 위해서는 코딩이라는 입력 작업을 통해 디지털화 하게 되는데, 이에 따른 시간적 물질적 낭비가 초래하게 되고, 입력 과정에서 오류를 범할 수 있다는 문제점이 있다.
한편, 생체 신호를 이용한 객관적 평가 방법은 실험 목적에 필요한 생체 신호를 선정하고 자극에 따른 반응 결과를 측정하고 실험이 종료된 후 신호를 분석하여 결과를 도출한다.
하지만, 이러한 생체 신호를 이용한 객관적 평가 방법은 언제나 실험 종료 후, 신호 분석 작업을 통해 결과를 도출하기 때문에, 이에 따른 시간적 물질적 낭비를 초래한다는 문제점이 있다. 또한, 주관적 평가 결과와의 정확한 연관성을 도출하기가 어렵다는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 상술한 문제점들을 감안하여 안출한 것으로서, 설문지를 이용한 주관적인 평가 방법에 비하여 시간에 따라 변하는 인간의 감성을 실시간으로 측정하고 분석할 수 있고, 자극 제시 기간 동안의 전반적인 감성 평가가 가능하게 함으로써, 인간의 감성을 디지타이저를 통해 실시간으로 측정 및 분석하여 피험자가 즉시 알 수 있도록 하고, 또한 설문지를 이용한 주관적 평가의 장점은 살리고 단점은 보완하기 위하여, 입력에서부터 통계적 분석 결과의 도출까지 자동으로 수행되는 자동 주관적 평가도 함께 실시하여 종합적인 주관적 감성 평가가 가능한 실시간 종합 감성 평가 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는 생체 신호의 분석을 실시간으로 자동 분석하도록 하고 주관적 평가 결과와의 결합까지 실시간으로 자동 도출하게 함으로서 시시각각으로 변하는 인간의 감성 변화를 종합적으로 측정하고 분석하여 결과를 도출하고, 도출된 결과 파일을 데이터베이스에 저장함으로서 저장된 정보를 활용할 수 있도록 한 실시간 종합 감성 평가 시스템을 제공하는 것이다.
도 1은 본 발명의 실시예에 따른 실시간 종합 감성 평가 시스템의 구조를 나타낸 블록도.
도 2는 본 발명에 따른 실시간 종합 감성 평가 시스템에서 5점 및 7점 척도의 감성 입력이 가능하도록 그림으로 디자인된 입력보드를 보여주는 예시도.
도 3a 및 도 3b는 종합 감성 평가부(10)의 그래픽 유저 인터페이스부(106: GUI; Graphic User Interface)에 표시되는 동작 화면의 일예를 나타낸 도면.
도 4는 본 발명에 따른 실시간 종합 감성 평가 방법의 주요 단계들을 나타낸 흐름도.
도 5 및 도 6은 본 발명의 실시예에 따른 실시간 종합 감성 평가 시스템에서 평가 프로그램의 동작 화면을 나타낸 예시도.
〈도면의 주요 부분에 대한 부호의 설명〉
10 : 종합 감성 평가부 12 : 디지타이져
122 : 통신 I/F14 : 전극
16 : 증폭/계산부18 : 분석부
19 : 데이터베이스
상기 기술적 과제를 이루기 위한 본 발명에 따른 실시간 종합 감성 평가 방법은 (a) 데이터베이스 구축을 위하여 적어도 실험 내용, 피험자 정보, 측정 척도설정, 및 생체 신호 측정 기준 설정값 중의 어느 하나를 포함하는 소정의 감성 평가 실험 정보를 입력하는 단계; (b) 피험자가 느끼는 쾌/불쾌와 긴장/이완 정도를 이차원 평면상에서 입력하는 소정의 입력 수단을 사용하여 인간의 주관적 감성을 입력하는 단계; (c) 상기 (b) 단계와 동시에 피험자의 몸에 부착된 전극부를 통해 측정되고 생체 신호 측정 시스템에서 증폭 및 노이즈 제거된 실시간 생체 신호를 입력하는 단계; 및 (d) 상기 (a) 단계에서 입력된 두 가지의 주관적 감성값과 생체 신호로부터 평가된 객관적 감성값을 실시간으로 결합하여 시간에 따른 1차원적인 감성 평가를 제시하고, 종합적인 감성 평가 결과를 2차원적으로 제시하여 그 처리 결과를 결과 파일로 생성하여 데이터베이스에 저장하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 (b) 단계는, 피험자가 느끼는 쾌/불쾌와 긴장/이완 정도가 표시된 이차원 평면상에서 입력하는 컴퓨터에 연결된 소정의 입력 수단과, 연속적인 인간의 감성을 5점 또는 7점 척도로 이산화하여 입력시킬 수 있고 상기 입력 수단상에 놓여지는 입력 보드를 사용하여 인간의 주관적 감성을 입력하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 (c) 단계 이후에, (d') 컴퓨터 화면에 나타난 형용사군의 점수를 마우스를 이용하여 인간의 주관적 감성을 입력하는 단계;를 더 포함하는 것이 바람직하다.
또한, 상기 (d') 단계는, 소정의 형용사를 제시하고 측정 척도에 따라 인간의 감성을 단극 또는 양극 척도로 이산화하여 입력하는 단계를 포함하는 것이 바람직하다.
또한, 상기 (d) 단계는, (d-1) 귀속 함수(MemberShip Function)를 기반으로 하는 생체신호별 감성 평가를 수행하여 객관적 감성 결과를 구하는 단계; (d-2) 인간의 주관적 감성 결과와 객관적 감성 결과를 소정의 가중 계수를 사용하여 결합함으로써 종합 감성 평가 결과 데이터를 도출하는 단계; 및 (d-3) 쾌/불쾌와 긴장/이완의 시간에 따른 1차원적인 감성 측정 결과와 측정 완료 후 쾌도 및 긴장도의 평균적인 감성 측정 결과를 2차원 상에 표시하고 결과 파일을 생성하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 (d-3) 단계는, 실험 내용, 피험자 정보, 측정 척도 설정, 생체 신호 측정 기준 설정을 포함하는 정보와, 쾌/불쾌와 긴장/이완의 시간에 따른 1차원적인 감성 측정 결과와, 측정 완료 후 쾌도 및 긴장도의 평균적인 2차원적인 종합 감성 측정 결과를 포함하는 결과 파일을 생성하는 단계;인 것도 가능하다.
또한, 상기 다른 기술적 과제를 이루기 위한 본 발명에 따른 실시간 종합 감성 평가 시스템은 피험자가 느끼는 쾌/불쾌와 긴장/이완 정도를 이차원 평면상에서 클릭함으로써 인간의 주관적 감성을 입력하는 소정의 입력 수단; 상기 입력 수단을 연결하는 통신 I/F; 피험자가 디지타이저를 사용하여 감성 평가값을 입력하는 동시에, 인체의 신호를 측정함으로써 생리 신호를 출력하는 전극; 상기 전극을 통해 측정된 신호를 증폭 및 노이즈 제거하는 증폭/계산부; 및 주관적 감성값과 생체 신호로부터 평가된 객관적 감성값을 실시간으로 결합하여 시간에 따른 1차원적인 감성 평가를 제시하고, 종합적인 감성 평가 결과를 2차원적으로 제시하는 종합 감성 평가부;를 포함하는 것을 특징으로 한다.
또한, 상기 종합 감성 평가부는, 생체 신호 분석을 수행하는 생체 신호 분석부; 및 귀속 함수(MemberShip Function)를 기반으로 하는 생체신호별 감성 평가를 수행하는 감성 평가부;를 포함하는 것이 바람직하다.
또한, 상기 실시간 종합 감성 평가 시스템은 실험 내용, 피험자 정보, 측정 척도 설정, 생체 신호 측정 기준 설정을 포함하는 정보와, 쾌/불쾌와 긴장/이완의 시간에 따른 1차원적인 감성 측정 결과와, 측정 완료 후 쾌도 및 긴장도의 평균적인 2차원적인 종합 감성 측정 결과를 포함하는 결과 파일을 저장하는 데이터베이스;를 더 포함하는 것이 바람직하다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 보다 상세히 설명하기로 한다.
도 1에는 본 발명의 실시예에 따른 실시간 종합 감성 평가 시스템의 구조를 블록도로써 나타내었다. 도 1을 참조하면, 본 발명의 실시예에 따른 실시간 종합 감성 평가 시스템은 종합 감성 평가부(10), 디지타이져(12), 통신 I/F(122), 전극(14), 증폭/계산부(16), 분석부(18), 및 데이터베이스(19)를 구비한다. 종합 감성 평가부(10)는 생체 신호 분석부(102), 감성 평가부(104), 및 그래픽 유저 인터페이스부(106: GUI; Graphic User Interface)를 구비한다. 또한, 증폭/계산부(16)는 증폭부(162)와 계산부(164)를 구비하고, 분석부(18)는 A/D 변환부(182)와 주파수 분석부(184)를 구비한다. 통신 I/F(122)는 디지타이저 연결을 위한 것이며, RS232C 규격의 인터페이스가 사용될 수 있다.
상기와 같은 실시간 종합 감성 평가 시스템의 동작을 설명한다.
상기 실시간 종합 감성 평가 시스템내에서는 본 발명에 따른 실시간 종합 감성 평가 방법이 수행된다. 도 4에는 본 발명에 따른 실시간 종합 감성 평가 방법의 주요 단계들을 흐름도로써 나타내었다. 도 4는 이하에서 수시로 참조된다.
먼저, 프로그램의 시작과 함께 실험자는 디지타이저의 설정여부를 확인한다(단계 S402). 디지타이저의 설정이 되어 있지 않으면 디지타이저의 범위를 설정(단계 S404)한다. 설정이 끝나면 실험자는 실험에 필요한 측정 시간, 척도, 및 평가 방법을 설정한다(단계 S406).
다음으로, 생체신호 측정 기준을 설정한다(단계 S408). 측정준비가 갖추어지면 피험자에게 디지타이저를 제시한 후 실험자극을 제시하기 전에 생리신호 평가를 위한 레퍼런스를 측정한다(단계 S410). 디지타이저 클릭(단계 S412) 전까지는 계속적으로 레퍼런스만을 측정한다.
피험자는 전극(14)을 몸에 부착한 후 디지타이저의 펜 마우스를 손으로 잡고감성 평가를 할 수 있도록 준비를 한다. 실험자는 피험자의 안정상태를 확인한 후 감성 평가에 필요한 자극, 예를 들면 시각, 청각, 후각, 미각, 촉각 등을 제시한다. 자극이 제시되면 피험자는 자극이 제시되는 순간 순간마다 그때의 쾌/불쾌와 긴장/이완상태를 입력 보드 상의 펜 마우스의 이동에 따라 표현한다. 이로써, 실험자극이 제시되면 피험자는 디지타이저를 클릭한다(단계 S412).
디지타이저의 측정과 동시에 피험자의 생리신호 또한 측정 및 분석이 동시에 이루어진다. 즉, 피험자가 디지타이저를 사용하여 감성 평가값을 입력하는 동시에, 전극(14)은 인체의 신호를 측정함으로써 생리 신호를 출력한다. 증폭 계산부(16)는 생리신호를 증폭하여 측정하며, 본 실시예에서는 모델명 MP100의 제품을 사용한다. 분석부(18)는 생리신호를 A/D 컨버터하여 주파수 분석하며, 본 실시예에서는 모델명 DT3010의 제품을 사용한다.
종합 감성 평가부(14)는 개인용 또는 서버용 컴퓨터를 포함하며 예를 들어 윈도우™98 환경에 맞도록 개발된 프로그램으로 구동됨으로써 구현된다. 상기 프로그램은 이후에 설명된 본 발명에 따른 실시간 종합 감성 평가 방법의 주요 단계들을 수행한다.
먼저, 실시간 주관 평가 과정을 설명한다. 도 2에는 본 발명에 따른 실시간 주관적 평가 시스템에서 5점 및 7점 척도의 감성 입력이 가능하도록 그림으로 디자인된 입력보드를 예시적으로 나타내었다. 도 2를 참조하면, 디지타이저를 사용하여 감성의 추이를 최대 100점 척도로 측정하여 감성의 변화를 측정할 수 있으며, 본 실시예에서는 도 2에 도시한 바와 같이, 5점 및 7점 척도로 감성의 변화를 입력한다. 디지타이저 위에 피험자가 자신의 감성을 쉽게 평가할 수 있도록 디자인된 입력 보드(26)를 올리고 피험자가 자신의 감성을 평가하게 한다. 디지타이저는 펜 또는 커서의 위치를 기억하는 절대 포인트 마우스를 칭한다.
입력 보드(26)에 의하여, 디지타이저상에서 포인트 움직임은 쾌/불쾌 축과 긴장/이완 축으로 구분하여 측정된다. 본 실시예에서, 쾌/불쾌 축은 디지타이저의 좌우 축으로 구분하여 측정할 수 있고, 긴장/이완 축은 상하 축으로 구분하여 측정할 수 있다. 이와 같이, 쾌/불쾌, 긴장/이완이 동시에 측정되므로서 감성의 평가에 필요한 요소를 이루는데 충분하게 적용할 수 있다. 디지타이져를 통하여 측정되는 간격은, 예를 들어, 0.1초 간격으로 타이머를 조정하여 측정할 수 있다.
도 3a 및 도 3b에는 종합 감성 평가부(10)의 그래픽 유저 인터페이스부(106: GUI; Graphic User Interface)에 표시되는 동작 화면의 일예를 나타내었다. 실험자는 이와 같이 피험자의 감성 상태를 모니터로 확인하며 실험을 진행한다.
도 3a 및 도 3b를 참조하면, 좌측 상단화면(D10)은 디지타이저의 좌우측변화를 나타내는 것으로 시간에 따른 쾌/불쾌변화를 나타낸다. 좌측 하단화면(D12)은디지타이저의 상하변화를 나타내는 것으로 시간에 따른 긴장/이완변화를 나타낸다. 이와 같이, 실험자가 실험 중 확인할 수 있는 사항은 0.1 초마다 측정되는 1차원적 쾌/불쾌 축의 값 및 그래프와 긴장/이완 축의 값 및 그래프와 실시간으로 측정 및 분석이 진행되는 생체신호 측정 및 분석 값과 그래프이다.
또한, 최 우측의 입력값(D14)은 측정결과를 데이터베이스로 저장할 때 사용되는 주요 키워드이다. 우측 상단화면(D16)은 측정시간에 따른 쾌/불쾌변화의 누적값과 긴장/이완변화의 누적값을 계산하여 백분율로 표시한다. 우측 하단화면(D18)은 자동주관평가 결과를 나타내는 화면으로 요인별 분석이 이루어진 값이다. 상단화면 (D20)은 자동 주관 평가화면으로 사용자의 입력오류를 최소화 하기위해 형용사를 잘보이도록 하였고 척도에 따른 입력버튼(D22)은 마우스의 클릭으로 이루어 지도록하였으며 페이지 전환버튼(D24)는 피험자의 오류 발생시 다시 입력할 수 있도록 하는 버튼이다.
디지타이저가 클릭(단계 S412)되면, 통신 I/F(122)를 통하여 디지타이져 포인트값이 입력(단계 S430)되며, 주관평가를 위해 X, Y축 변화에 따른 감성평가(단계 S432)가 수행된다. 이와 동시에 생체신호 입력(단계 S420)이 이루어진다.
실시간 주관 평가와 동시에 이루어지는 실시간 생체신호 평가는 피험자의 몸에 부착된 전극(14)을 통해 측정되고 측정된 신호는 증폭/계산부(16)에 의하여 증폭 및 노이즈 제거가 이루어진다.
분석부(18)의 A/D 변환부(182)는 증폭 및 노이즈 제거된 신호를 A/D 변환하고, 주파수 분석부(184)는 A/D 변환된 신호를 사용하여 주파수 분석을 수행한다.
결과 데이터는 종합 감성 평가부(10)의 생체 신호 분석부(102)에서 생체 신호 분석이 이루어지고 감성 평가부(104)에 의하여 귀속 함수(MemberShip Function)를 기반으로 하는 생체신호별 감성 평가가 이루어진다. 생체신호별 감성평가는 인간의 긴장/이완 요소를 산출할 수 있도록 심전도 (Electrocardiogram: ECG) 신호로부터 평균 R-R 간격을 측정하고, 피부저항 (Galvanic Skin Resistance : GSR)과 피부온도 (Skin Temperature : SKT)의 신호 진폭 변화를 측정하고, 인간의 쾌/불쾌 요소는 중추신경을 대표하는 뇌파신호 (Electroencephalogram: EEG)의 스펙트럼 분석을 통해 평가 되도록 구성하였다.
생체 신호 입력값은 평균 R-R 간격, GSR과 SKT의 진폭, EEG(FZ,CZ)의 스펙트럼 평가(단계 S422)를 통해 분석한다. 1차적으로 분석된 값은 귀속 함수(Membership Function)에 의한 생체 신호 평가(단계 S424)를 통해 생체신호별 감성평가를 한다. 다음으로, 생체 신호별 감성 평가 결과를 결합(단계 S426)한다.
또한, 감성 평가부(104)는 생체 신호별 감성 평가 결과 데이터들을 뎀스터-샤퍼(Dempster-Shafer) 증거합 법칙을 이용하여 통합하고 생체신호를 이용한 감성평가를 마친다.
이제, 감성 평가부(104)는 생체신호를 이용한 감성평가 결과와 디지타이저를 이용한 감성평가결과에 각각 소정의 가중 계수(Weighting Factor)를 적용하여 최종적으로 이차원상에 감성평가결과를 정량적으로 도출(단계 S440)한다.
다음으로, 실시간 생체 및 주관평가가 이루어진 후 형용사를 이용한 자동주관평가를 한다. 먼저, 형용사를 이용한 자동 주관 평가 결과를 입력(단계 S450)한다. 단계(S450)는 과거 Sheet에 의한 주관평가를 자동화 시킨 것으로 시간에 따른 감성의 변화 척도를 나타낼 수는 없지만 전체적인 감성평가를 할 수 있다. 형용사를 이용한 자동 주관 평가는 감성평가에 적절한 형용사를 추출하여 최종적인 감성 평가 결과의 보충설명이 만들어지도록 하였으며 다양한 감성평가결과가 도출된다.
다음으로, 단계(S440)와 단계(S450)를 통하여 입력된 결과를 이용해 종합 결과를 도출(단계 S460)함으로써, 최종감성평가를 설명하는 지표를 생성한다. 설정된 시간 및 시험자의 주관에 따라 실시간 생체 및 주관 평가는 종료된다. 측정이 끝나면 측정결과 및 분석결과를 데이터베이스에 저장(단계 S470)하며, 출력도 가능하다. 측정 결과는 데이터베이스에 자동 입력됨으로써 보관 및 이용이 용이하며 구축된 데이터베이스는 통계 분석에 이용될 수 있다. 다음으로, 평가가 완료되었는지에대한 선택(단계 S480)에 따라 위 단계들을 반복적으로 수행하거나 평가를 종료한다.
도 5 및 도 6에는 본 발명의 실시예에 따른 실시간 종합 감성 평가 시스템에서 평가 프로그램의 동작 화면의 일예를 나타내었다. 도 5 및 도 6을 참조하면, ECG(D26), SKT(D28), GSR(D30), EEG_CZ(D32), EEG_FZ(D34)는 실시간 측정 생리신호를 나타내는 그래프이다. 생체신호의 1차분석 결과(D36)를 실험자가 볼 수 있도록 화면 가운데 표시하였다. 실시간으로 변화는 생체신호분석결과를 실험자가 관찰함으로 해서 실험의 오류 및 생리신호 변화 추이를 관찰할 수 있다. 또한, 귀속 함수(Membership Function)를 사용하여 최종 분석된 생체신호 결과(D38)를 나타내어 감성변화의 추이를 관찰할 수 있다.
또한, 최종결과화면은 실험종료 후 최종적으로 볼 수 있는 화면으로 실시간 주관평가 결과(D40), 실시간 생체신호 평가결과(D42), 자동주관평가 결과(D44)를 나타내도록 하였으며 통합평가결과(D46)을 통해 자극에 따른 인간의 감성평가를 눈으로 쉽게 확인할 수 있다. 이와 동시에 각 값의 누적값 및 감성의 평균값 등에 의해 분석되어진 결과값을 시간 시간마다 알 수 있도록 프로그램이 구성되어 있다.
상기와 같이 구성된 본 발명의 종합감성 평가 시스템 및 방법에 대한 효과를 설명하면 다음과 같다.
종래의 감성 평가 시스템은 심박(ECG), 뇌파(EEG), 피부온도(SKT), 피부저항(GSR), 및 근전도(EMG) 등을 이용하여 비 실시간으로 생체신호를 분석하고, 실험 전과 후에 실시되는 주관적인 평가 설문지에 의한 주관적 평가로 이루어진다. 반면에, 본 발명에 따른 실시간 감성 평가 시스템은 생체신호를 이용한 실시간 객관적 감성 평가와 디지타이저를 이용한 실시간 주관평가는 자극이 제시된 시간에 따른 결과를 실시간으로 유추할 수 있고, 또한 형용사를 이용한 주관적 평가는 실험이 끝난 후 통계 분석까지 자동으로 이루어지게하여 전체적인 감성평가 결과를 실시간으로 도출한다.
본 발명에 따른 실시간 감성 평가 시스템은 인간의 감성을 평가하는 대표적인 방법을 모두 사용하여 전체적인 종합감성결과를 유출할 수 있으며 기존에 사용되던 개별방식의 오류를 최소화 할 수 있다. 인간의 주관과 시간 정보를 내포하고 있는 생체신호와의 상호 관련성을 유도하기에도 충분하다.
또한, 본 발명의 실시간 종합감성 평가 시스템은 쾌/불쾌 축과 긴장/이완 축으로 감성을 분리하여 실험 중에 자극시간과 측정시간을 일치시킴으로써, 실제 자극이 일어나는 순간의 감성을 측정할 수 있음은 물론 시간 정보를 내포하고 있는 생체신호와 상호 관련성을 정확하게 유도할 수 있다.
따라서, 본 발명에 따른 실시간 종합감성 평가 시스템은 종래의 감성 평가 시스템의 문제인 시간차이에 따른 오차 요인 및 비 설명요소를 제거한다. 또한, 주관의 변화에 따른 생리신호의 변화추이를 관찰할 수 있으며, 전체적인 감성변화를 설명할 수 있고 실시간적으로 결합된 주관적 평가 결과 및 객관적 평가 결과를 저장하여 데이터베이스화 할 수 있다는 장점이 있다.
상기와 같은 실시간 감성 평가 시스템 및 방법은 소비자가 제품을 사용하는 과정 동안의 주관적 평가 및 생체 신호 평가를 통한 종합적인 감성 측정에 적용될 수 있다. 예를 들어, 새로운 자동차를 설계할 때 승차감 또는 안락감은 중점적으로 고려해야 할 요소인데, 실제 자동차 주행 중의 승차감, 안락감, 피로감 등은 시간에 따라 변하게 마련이다. 따라서, 이러한 감성 변화를 주관적으로 그리고 생체 신호를 이용하여 객관적으로 평가하고 그 결과를 종합하여 정확히 인간의 감성을 측정하고 평가할 수 있다면 인간에게 가장 감성적으로 호소할 수 있는 제품을 설계하는데 효과적으로 사용될 수 있다.
즉, 본 발명은 종래의 비실시간으로 주관적 평가와 생체 신호 평가를 구분하여 결과를 도출하고 그 결과를 종합하고 추론하던 방법에 비해 시간에 따라 시시각각으로 변하는 인간의 감성을 실시간으로 주관적 평가와 생체 신호 평가를 동시에 수행하고 아울러 두 결과를 실시간으로 결합하여 종합적인 감성을 평가할 수 있으므로, 정확한 인간의 감성을 측정 및 평가하는데 큰 효과가 있다. 또한, 생성된 결과 파일은 산업계에 적용할 수 있는 데이터베이스의 구축에도 큰 도움이 된다.
이와 같이, 본 발명의 실시간 종합 감성 평가 시스템은 시간에 따라 변하는 인간의 감성 변화를 정확히 도출하고 테이터 베이스화하여 산업계에서 소비자에게 감성적으로 호소할 수 있는 고부가가치 상품을 설계하는데 효과적으로 활용할 수 있다.
이상에서 본 발명은 기재된 구체예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정은 첨부된 특허청구범위에 의하여 정의되는 본 발명의 범위에 속함은 당연한 것이다.
상술한 바와 같이, 본 발명에 따른 실시간 감성 평가 시스템은 생체신호를 이용한 실시간 객관적 감성 평가와 디지타이저를 이용한 실시간 주관평가는 자극이 제시된 시간에 따른 결과를 실시간으로 유추할 수 있고, 또한 형용사를 이용한 주관적 평가는 실험이 끝난 후 통계 분석까지 자동으로 이루어지게 하여 전체적인 감성평가 결과를 실시간으로 도출할 수 있다.
또한, 본 발명의 실시간 종합감성 평가 시스템은 쾌/불쾌 축과 긴장/이완 축으로 감성을 분리하여 실험 중에 자극시간과 측정시간을 일치시킴으로써, 실제 자극이 일어나는 순간의 감성을 측정할 수 있음은 물론 시간 정보를 내포하고 있는 생체신호와 상호 관련성을 정확하게 유도할 수 있다.
따라서, 본 발명에 따른 실시간 종합감성 평가 시스템은 종래의 감성 평가 시스템의 문제인 시간차이에 따른 오차 요인 및 비 설명요소를 제거한다. 또한, 주관의 변화에 따른 생리신호의 변화추이를 관찰할 수 있으며 전체적인 감성변화를 설명할 수 있는 시스템이다. 주관평가 및 객관적평가 결과를 저장하여 데이터베이스화 할 수 있다는 장점이 있다.
상기와 같은 실시간 감성 평가 시스템 및 방법은 소비자가 제품을 사용하는 과정 동안의 주관적 평가 및 생체 신호 평가를 통한 종합적인 감성 측정에 적용될 수 있다. 예를 들어, 새로운 자동차를 설계할 때 승차감 또는 안락감은 중점적으로 고려해야 할 요소인데, 실제 자동차 주행 중의 승차감, 안락감, 피로감 등은 시간에 따라 변하게 마련이다. 따라서, 이러한 감성 변화를 주관적으로 그리고 생체 신호를 이용하여 객관적으로 평가하고 그 결과를 종합하여 정확히 인간의 감성을 측정하고 평가할 수 있다면 인간에게 가장 감성적으로 호소할 수 있는 제품을 설계하는데 효과적으로 사용될 수 있다.
이와 같이, 본 발명의 실시간 종합 감성 평가 시스템은 시간에 따라 변하는인간의 감성 변화를 정확히 도출하고 테이터 베이스화하여 산업계에서 소비자에게 감성적으로 호소할 수 있는 고부가가치 상품을 설계하는데 효과적으로 활용할 수 있다.

Claims (9)

  1. (a) 데이터베이스 구축을 위하여 적어도 실험 내용, 피험자 정보, 측정 척도 설정, 및 생체 신호 측정 기준 설정값 중의 어느 하나를 포함하는 소정의 감성 평가 실험 정보를 입력하는 단계;
    (b) 피험자가 느끼는 쾌/불쾌와 긴장/이완 정도를 이차원 평면상에서 입력하는 소정의 입력 수단을 사용하여 인간의 주관적 감성을 입력하는 단계;
    (c) 상기 (b) 단계와 동시에 피험자의 몸에 부착된 전극부를 통해 측정되고 생체 신호 측정 시스템에서 증폭 및 노이즈 제거된 실시간 생체 신호를 입력하는 단계; 및
    (d) 상기 (a) 단계에서 입력된 두 가지의 주관적 감성값과 생체 신호로부터 평가된 객관적 감성값을 실시간으로 결합하여 시간에 따른 1차원적인 감성 평가를 제시하고, 종합적인 감성 평가 결과를 2차원적으로 제시하여 그 처리 결과를 결과 파일로 생성하여 데이터베이스에 저장하는 단계;를 포함하는 것을 특징으로 하는 인간의 감성 평가를 위한 실시간 종합 감성 평가 방법.
  2. 제1항에 있어서, 상기 (b) 단계는,
    피험자가 느끼는 쾌/불쾌와 긴장/이완 정도가 표시된 이차원 평면상에서 입력하는 컴퓨터에 연결된 소정의 입력 수단과, 연속적인 인간의 감성을 5점 또는 7점 척도로 이산화하여 입력시킬 수 있고 상기 입력 수단상에 놓여지는 입력 보드를사용하여 인간의 주관적 감성을 입력하는 단계;를 포함하는 것을 특징으로 하는 실시간 종합 감성 평가 방법.
  3. 제1항에 있어서, 상기 (c) 단계 이후에,
    (d') 컴퓨터 화면에 나타난 형용사군의 점수를 마우스를 이용하여 인간의 주관적 감성을 입력하는 단계;를 더 포함하는 것을 특징으로 하는 실시간 종합 감성 평가 방법.
  4. 제3항에 있어서, 상기 (d') 단계는,
    소정의 형용사를 제시하고 측정 척도에 따라 인간의 감성을 단극 또는 양극 척도로 이산화하여 입력하는 단계를 포함하는 것을 특징으로 하는 실시간 종합 감성 평가 방법.
  5. 제1항에 있어서, 상기 (d) 단계는,
    (d-1) 귀속 함수(MemberShip Function)를 기반으로 하는 생체신호별 감성 평가를 수행하여 객관적 감성 결과를 구하는 단계;
    (d-2) 인간의 주관적 감성 결과와 객관적 감성 결과를 소정의 가중 계수를 사용하여 결합함으로써 종합 감성 평가 결과 데이터를 도출하는 단계; 및
    (d-3) 쾌/불쾌와 긴장/이완의 시간에 따른 1차원적인 감성 측정 결과와 측정 완료 후 쾌도 및 긴장도의 평균적인 감성 측정 결과를 2차원 상에 표시하고 결과파일을 생성하는 단계;를 포함하는 것을 특징으로 하는 인간의 감성 평가를 위한 실시간 종합 감성 평가 방법.
  6. 제5항에 있어서, 상기 (d-3) 단계는,
    실험 내용, 피험자 정보, 측정 척도 설정, 생체 신호 측정 기준 설정을 포함하는 정보와, 쾌/불쾌와 긴장/이완의 시간에 따른 1차원적인 감성 측정 결과와, 측정 완료 후 쾌도 및 긴장도의 평균적인 2차원적인 종합 감성 측정 결과를 포함하는 결과 파일을 생성하는 단계;인 것을 특징으로 하는 인간의 감성 평가를 위한 실시간 종합 감성 평가 방법.
  7. 피험자가 느끼는 쾌/불쾌와 긴장/이완 정도를 이차원 평면상에서 클릭함으로써 인간의 주관적 감성을 입력하는 소정의 입력 수단;
    상기 입력 수단을 연결하는 통신 I/F;
    피험자가 디지타이저를 사용하여 감성 평가값을 입력하는 동시에, 인체의 신호를 측정함으로써 생리 신호를 출력하는 전극;
    상기 전극을 통해 측정된 신호를 증폭 및 노이즈 제거하는 증폭/계산부; 및
    주관적 감성값과 생체 신호로부터 평가된 객관적 감성값을 실시간으로 결합하여 시간에 따른 1차원적인 감성 평가를 제시하고, 종합적인 감성 평가 결과를 2차원적으로 제시하는 종합 감성 평가부;를 포함하는 것을 특징으로 하는 실시간 감성 평가 시스템.
  8. 제7항에 있어서, 상기 종합 감성 평가부는,
    생체 신호 분석을 수행하는 생체 신호 분석부; 및
    귀속 함수(MemberShip Function)를 기반으로 하는 생체신호별 감성 평가를 수행하는 감성 평가부;를 포함하는 것을 특징으로 하는 실시간 감성 평가 시스템.
  9. 제8항에 있어서,
    실험 내용, 피험자 정보, 측정 척도 설정, 생체 신호 측정 기준 설정을 포함하는 정보와, 쾌/불쾌와 긴장/이완의 시간에 따른 1차원적인 감성 측정 결과와, 측정 완료 후 쾌도 및 긴장도의 평균적인 2차원적인 종합 감성 측정 결과를 포함하는 결과 파일을 저장하는 데이터베이스;를 더 포함하는 것을 특징으로 하는 실시간 감성 평가 시스템.
KR10-2002-0064146A 2002-10-21 2002-10-21 실시간 종합 감성 평가 방법 및 그 시스템 KR100397188B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0064146A KR100397188B1 (ko) 2002-10-21 2002-10-21 실시간 종합 감성 평가 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0064146A KR100397188B1 (ko) 2002-10-21 2002-10-21 실시간 종합 감성 평가 방법 및 그 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR20-2003-0001434U Division KR200304913Y1 (ko) 2003-01-17 2003-01-17 실시간 종합 감성 평가 장치

Publications (2)

Publication Number Publication Date
KR20020082828A true KR20020082828A (ko) 2002-10-31
KR100397188B1 KR100397188B1 (ko) 2003-09-13

Family

ID=27728889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0064146A KR100397188B1 (ko) 2002-10-21 2002-10-21 실시간 종합 감성 평가 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR100397188B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010058877A1 (en) * 2008-11-18 2010-05-27 Korea Railroad Research Institute Measuring system and the method of train ride comfort using bioelectrical signals
KR101386592B1 (ko) * 2012-07-25 2014-04-22 스핀노트 주식회사 선호도 조사가 가능한 설문조사방법 및 설문조사 단말기, 설문조사 단말기를 포함하는 정보제공장치
KR101434624B1 (ko) * 2012-03-30 2014-08-27 단국대학교 산학협력단 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법
KR20190007954A (ko) * 2017-07-14 2019-01-23 상명대학교산학협력단 대중 감성 검출 방법 이를 적용하는 시스템
KR20200042372A (ko) * 2018-10-15 2020-04-23 한국과학기술원 내수용 뇌파를 이용한 감정 자극 판독 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101029480B1 (ko) * 2008-11-18 2011-04-18 한국철도기술연구원 심전도를 이용한 열차 승차감 측정 시스템 및 방법
KR20140073294A (ko) 2012-12-06 2014-06-16 한국전자통신연구원 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법
US11295858B2 (en) 2016-11-28 2022-04-05 Electronics And Telecommunications Research Institute Health data collection device, health evaluation method using the same, and health evaluation system including the health data collection device
CN108245148B (zh) 2016-12-28 2022-08-23 三星电子株式会社 自适应生物信号特征组合设备及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100418434B1 (ko) * 2000-01-21 2004-02-11 김현 스트레스 자동인식 컴퓨터 주변장치 및 이를 이용한스트레스 측정 시스템
KR100401912B1 (ko) * 2000-08-28 2003-10-11 한국표준과학연구원 감성평가시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010058877A1 (en) * 2008-11-18 2010-05-27 Korea Railroad Research Institute Measuring system and the method of train ride comfort using bioelectrical signals
KR101040109B1 (ko) * 2008-11-18 2011-06-09 한국철도기술연구원 생체신호를 이용한 열차 승차감 측정 시스템
KR101434624B1 (ko) * 2012-03-30 2014-08-27 단국대학교 산학협력단 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법
KR101386592B1 (ko) * 2012-07-25 2014-04-22 스핀노트 주식회사 선호도 조사가 가능한 설문조사방법 및 설문조사 단말기, 설문조사 단말기를 포함하는 정보제공장치
KR20190007954A (ko) * 2017-07-14 2019-01-23 상명대학교산학협력단 대중 감성 검출 방법 이를 적용하는 시스템
KR20200042372A (ko) * 2018-10-15 2020-04-23 한국과학기술원 내수용 뇌파를 이용한 감정 자극 판독 방법 및 장치

Also Published As

Publication number Publication date
KR100397188B1 (ko) 2003-09-13

Similar Documents

Publication Publication Date Title
JP3310498B2 (ja) 生体情報解析装置および生体情報解析方法
Khalili et al. Emotion detection using brain and peripheral signals
Buenestado et al. Evaluating acceptance and user experience of a guideline-based clinical decision support system execution platform
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
RU2319444C1 (ru) Способ психологического анализа и устройство для его реализации (варианты)
CN109715049A (zh) 用于创伤性脑损伤的多模态生理刺激和评估的协议和签名
KR100397188B1 (ko) 실시간 종합 감성 평가 방법 및 그 시스템
CN112185493A (zh) 人格偏好诊断装置及基于该装置的项目推荐系统
Jamal et al. Integration of EEG and eye tracking technology: a systematic review
JP2965618B2 (ja) ストレス度判定装置
CN108962397B (zh) 一种基于笔和语音的协同任务神经系统疾病辅助诊断系统
KR200304913Y1 (ko) 실시간 종합 감성 평가 장치
CN109717831B (zh) 一种基于触控手势的非干扰式神经系统疾病辅助检测系统
KR20210117758A (ko) 정신 건강 진단 시스템
WO2022176808A1 (ja) 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP4378455B2 (ja) 心理状態測定装置
Arora et al. Unraveling depression using machine intelligence
JP6207944B2 (ja) 嗜好性評価方法、嗜好性評価装置、及び嗜好性評価プログラム
Zhu et al. Visceral versus verbal: Can we see depression?
Rodrigues et al. Evaluating a new approach to data fusion in wearable physiological sensors for stress monitoring
Ortega et al. Usability Evaluation of BCI Software Applications: A systematic review of the literature
Mallikarjun et al. Manoglanistara-emotional wellness phases prediction of adolescent female students by using brain waves
JP2004138814A (ja) リアルタイム総合感性評価方法及びそのシステム
Sudha et al. Towards non-invasive PTSD diagnosis: Utilising EEG based Emotion Recognition with the DEAP Database
Aledaily et al. A Framework for Usability Testing using EEG Signals with Emotion Recognition

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060828

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee