KR101334894B1

KR101334894B1 - 위치 기반 감성 인식 방법 및 이를 적용하는 시스템

Info

Publication number: KR101334894B1
Application number: KR1020120015535A
Authority: KR
Inventors: 임좌상; 황민철; 김동근; 김진만
Original assignee: 상명대학교서울산학협력단
Priority date: 2012-02-15
Filing date: 2012-02-15
Publication date: 2013-12-05
Also published as: KR20130094383A

Abstract

위치 기반 감성 인식 방법 및 이를 적용하는 시스템에 대해 기술된다. 기술된 방법:은 위치를 이동하는 피험자의 생리 신호를 임의의 시간 간격으로 측정하는 단계; 상기 피험자의 생리 신호가 측정되는 해당 위치의 좌표 정보를 획득하는 단계; 상기 생리 신호를 처리하여 피험자의 위치 별 감성을 인식(평가) 하는 단계; 그리고 상기 피험자의 위치 별 감성에 대한 데이터 베이스를 구축하는 단계; 를 포함한다.

Description

위치 기반 감성 인식 방법 및 이를 적용하는 시스템{recognition method of location based emotion state and system adopting the method}

본 발명은 위치 기반 감성 인식 방법 및 이를 적용하는 시스템에 관한 것으로서, 상세하게 위치 별로 변화하는 피험자의 감성을 데이터 베이스화 하고 이를 응용하는 방법 및 시스템에 관한 것이다.

생리신호를 통해 인간의 감성을 인식하는 것은 쉽지 않다. 감성의 구조와 발생 과정이 아직 불분명하기 때문이다. 그러나, 인체의 생리적 변화를 나타내는 생리신호는, 다른 감성인식방법에 비해 객관적으로 작업 부하(負荷)나 감성을 판단하는 지표로 사용될 수 있다. 따라서 생리신호는 의학과 인간공학 분야를 넘어 개인화 서비스에 사용이 가능하다.

생리신호 측정 연구 대부분은 임의로 설정된 가상 환경 내에서 수행된다. 시내버스 운전자 9명을 대상으로 피로도를 평가한 연구[1]는 실제 도로 영상과 가상의 버스 운행 환경을 조성하여 근전도 신호를 측정하고 분석하였다. 또한 자동차 운전방법에 관한 연구[2]에서는 한 그룹의 성인들을 대상으로 가상의 고속도로 주행 환경을 조성하여 운전대(Steering Wheel)와 조이스틱(Joystick)을 이용한 운전에 따른 근전도, 심전도, 안구운동도, 피부전기저항을 측정하여 분석 하였다.

모바일 생리신호를 측정하기 위해서는 휴대 및 착용 가능한 무선 기반의 측정기기가 필요하다. MIT 미디어 랩에서 개발된 Sensor Stack 시스템[3]은 동일한 움직임을 보여야 하는 댄스 앙상블에서 각 댄서들이 일치된 움직임을 보이는지 무선 인터페이스를 통해 실시간으로 분석한다. EXMOCARE BT2[4]는 손목시계 형태의 바이오 인식기로 생리신호로부터 사람의 심리적 불안, 스트레스 등의 감성을 추론하여 핸드폰이나 인터넷으로 전송한다.

권대규, 김재준, 김경, 이찬기, 김동원 (2009). 시내버스 운전자 생리신호를 통한 피로도의 객관적 평가. 대한기계학회 2009년도 추계학술대회 강연 및 논문 초록집, 2917-2918. 김배영, 구태윤, 배철호, 박정훈, 서명원 (2010). 생리신호 측정기법을 이용한 Joystick 운전방식의 HMI 평가연구. 한국자동차공학회논문집, 18(3), 1-7. R. Aylward, S. D. Lovell, and J. A. Paradiso (2006) A compact, wireless, wearable sensor network for interactive dance ensembles. International Workshop on wearable and implantable Body Sensor Networks, 65 70. Exmocare. Bt2, exmocare's second generation wireless wearable sensor device. available at http://www.exmovere.com/bt2/. J. Posner, A. Russell, and B. S. Peterson, "The circumplex model of affect: An integrative approach to affective neuro science, cognitive development and psychopathology," Cambridge University Press, vol. 17, pp. 715-734, 2005.

본 발명은 지역별로 변화하는 피험자의 감성 변화를 평가하는 위치 기반 감성 인식 방법 및 이를 적용하는 시스템을 제공한다.

본 발명에 따른 감성 인식 방법: 은

위치를 이동하는 피험자의 생리 신호를 임의의 시간 간격으로 측정하는 단계;

상기 피험자의 생리 신호가 측정되는 해당 위치의 좌표 정보를 획득하는 단계;

상기 생리 신호를 처리하여 피험자의 위치 별 감성을 인식(평가) 하는 단계; 그리고

상기 피험자의 위치 별 감성에 대한 데이터 베이스를 구축하는 단계; 를 포함 한다.

본 발명에 따른 위치 기반 감성 인식 시스템: 은

위치를 이동하는 피험자로부터 생리 신호와 해당 위치의 좌표를 임의의 시간간격으로 검출하는 센서 장치;

상기 생리 신호를 이용하여 피험자의 감성을 인식하는 감성 인식 장치; 그리고

상기 피험자의 감성에 대한 데이터 베이스를 구축하는 시스템; 을 포함한다.

본 발명에 따른 방법의 일 실시 예는 상기 피험자의 위치 별 감성을 전자 지도의 해당 좌표 상에 표시하는 시각화 단계를 더 포함하며, 상기 시스템은 상기 피험자의 위치 별 감성을 전자 지도의 해당 좌표 상에 표시하는 시각화 장치를 더 포함한다.

본 발명의 다른 실시 예에 따르면, 상기 생리 신호는 다수의 피험자로부터 검출할 수 있다.

본 발명의 또 다른 실시 예에 따르면,

상기 생리 신호는 PPG 신호를 포함하며,

상기 감성을 인식하는 단계는 PPG 신호를 이용할 수 있으며, 상기 피험자로부터 얻어지는 일정 주기의 PPG 평균값을 기준 값을 설정하고, 상기 기준 값에 대한 피험자의 실시간 PPG 값을 비교하여 감성을 인식할 수 있다.

본 발명의 또 다른 실시 예에 따르면,

상기 피험자로부터 얻어지는 일정 주기의 PPG 평균값을 기준 값을 설정하고, 상기 기준 값에 대한 피험자의 실시간 PPG 값을 비교하여 감성을 인식할 수 있다.

본 발명에 따른 피험자의 위치 기반 감성을 데이터 베이스화 함으로써 다양한 유형 또는 형태의 응용이 가능하다. 예를 들어 전자 지도 상에 감성 상태를 맴핑(mapping) 함으로써 지역별로 차등화되어 나타나는 피험자 또는 피험자 그룹의 감성 상태를 시각적으로 파악하고 이에 대응하는 대안을 효과적으로 구축할 수 있다.

도 1은 본 발명에 따른 위치 기반 감성 평가 방법의 과정을 보이는 흐름도이다.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 위치 기반 감성 평가 방법 및 이를 적용하는 시스템의 실시 예들에 대해 상세히 설명한다.

도 1은 본 발명에 따른 위치 기반 감성 평가 방법의 과정을 보이는 흐름도이다. 본 발명의 일 실시 예에 따른 위치 기반 감성 인식 방법:은 이동 중인 피험자의 생리신호 및 위치정보를 임의 시간 간격으로 수집하는 단계; 수집한 생리신호를 분석하여 피험자의 감성 상태를 인식(평가)하는 단계; 그리고 평가된 위치 별 감성 상태를 응용하는 단계;를 포함한다.

감성 상태에 대한 데이터를 응용 단계에서, 응용의 일 예인 “시각화"는 피험자의 감성 상태 및 위치 정보를 수집하는 서버 시스템을 이용할 수 있다. 서버 시스템은 피험자의 위치 별 감성 상태를 전자 지도 상에 표현하기 위한 수집 정보를 제공한다. 이러한 전자 지도 상에서의 감성 상태 표시에 따르면, 전자 지도 상에 피험자의 위치 변화에 따른 감성 상태 변화 추이가 표현될 수 있다. 한편, 피험자로부터 얻어진 생리 신호로부터는 감성 상태를 판단하고, 이것은 자료화(데이터베이스화) 되어 다른 형태의 “응용"에 이용될 수 있다. 데이터 베이스는 하나 또는 다수의 피험자에 대한 감성 및 위치에 대한 정보를 포함하며, 피험자의 위치 별 감성 변화 자료의 응용(또는 이용)을 위한 자료를 제공한다.

도 1에 도시된 바와 같이, 첫 번째 단계에서, 단말 장치에 의한 생리신호와 위치 데이터의 수집이 수행된다. 생리 신호의 수집은 하나 또는 그 이상의 피험자에 대해 수행되며, 이때에 해당 피험자의 위치 데이터 즉, 경위도(經緯度) 정보도 같이 수집된다. 피험자로부터 얻어진 위치 데이터는 예를 들어, 전자 지도 상에 피험자의 위치 별 감성 상태를 표시하기 좌표로 이용된다. 두 번째 단계에서, 생리 신호를 분석하여 피험자의 감성 상태를 평가(인식)한다. 이러한 감성 상태의 평가는 기존의 방법에 의해 수행된다. 예를 들어, 감성 평가에서, 러셀의 원형 모델[5]을 응용하여 감성 인식을 수행하여, 각성, 이완, 쾌, 불쾌, 각성-쾌, 각성-불쾌, 이완-쾌, 이완-불쾌, 중립 총 9가지 감성을 인식할 수 있다. 그러나, 이하의 본 발명의 실시 예에서는 각성과 이완을 인식하고 이를 응용한다. 그리고, 세 번째 단계에서는 분석된 데이터 베이스화된 후, 적절한 용도로 응용된다. 위치 기반 감성 데이터의 응용에는 시각화 응용 및 비시각화 응용이 포함된다. 시각화 응용은 전자 지도 상에 위치 별로 피험자의 감성 상태를 표시하는 “시각화"가 포함되며, 이러한 시각화와 더불어 감성 상태 데이터를 이용한 비각화 응용이 수행될 수 있다. 비시각화 응용으로서는, 예를 들어, 다수의 피험자들로 이루어진 그룹의 지역별 감성 분포를 분석하고 이를 토대로 지역별 대응 방안 마련 등이 포함될 수 있다.

상기 수집 단계에서 사용되는 단말 장치는 피험자로부터 생리 신호를 검출하고 피험자의 위치 정보를 획득하는 센싱 장치를 포함한다. 또한, 단말 장치는 생리 신호를 분석하는 감성 인식 장치도 포함한다. 상기 센싱 장치는 피험자로부터 생리 신호를 검출하기 위한 센서, 예를 들어 맥파(PPG, Photoplethysmograph) 센서, 피부전기 반응(GSR, Galvanic Skin Response) 센서, 피부 온도(SKT, Skin Temperature) 센서를 포함할 수 있다. 또한 위치 정보를 획득하기 위한 GPS(Global Positioning System) 수신기도 포함할 수 있다.

감성 상태의 평가에 사용되는 생리 신호로서는 PPG, GSR, SKT 신호가 이용될 수 있다. 상기 생리 신호와 위치 정보는 도 2에 도시된 바와 같은 손목 시계형 센싱 장치를 이용하여 검출될 수 있다. 경우에 따라 위치 정보를 검출하는 GPS 수신기는 생리 신호 검출용 센싱 장치와는 별도로 마련되거나, 한편으로는 감성 인식 장치에 내장될 수 도 있다. 한편, 상기 센싱 장치는 생리 신호와 위치 정보를 감성 인식 장치로 송신하기 위한 유선 또는 무선 통신 인터페이스를 포함할 수 있다. 감성 인식 장치는 피험자가 휴대하는 휴대형 단말기의 형태를 가지는 것이 바람직하며, 분석된 결과를 인터넷 망을 통해서 접속할 수 있는 시각화 등의 응용을 위한 서버 시스템으로 전송할 수 도 있다. 상기 무선 통신 인터페이스는 다양한 방식에 의해 구현될 수 있으며, 예를 들어 블루투스 등의 통신 모듈을 구비할 수 있다. 무선 통신 인터페이스는 주기적 또는 비주기적인 임의 시간 간격으로 생리 신호를 감성 인식 장치로 송신한다.

도 3은 인터넷 망(2)을 통한 감성 평가 시스템의 개략적 구조를 예시한다. 도 3에 도시된 바와 같이, 인터넷 망(2)을 통해 서버(1)에 전술한 바와 같이 감성 인식 장치(3)가 다수 접속된다. 각 감성 인식 장치(3)는 센싱 장치(3a)와 함께 다수의 피험자들에게 제공된다. 상기 센싱 장치(3a)는 주기적 또는 비주기적인 임의의 시간 간격으로 생리 신호와 위치 정보를 검출하여 상기 감성 인식 장치로 유선 또는 무선 통신 인터페이스, 예를 들어, 블루투스(bluetooth)를 통해 생리신호와 경위도 정보를 전송한다(생리신호: 4bits/4ms, 경위도 정보: 매 1초). 상기 감성 인식 장치는 센싱 장치로부터의 피험자로부터 생리 신호를 이용해 감성 상태를 평가한 후, 그 결과를 피험자의 위치 정보를 상기 서버 시스템(1)으로 전송한다.

본 발명의 한 실시 예에서, 상기 감성 인식 장치에 의한 감성 인식을 위하여 PPG, GSR, SKT 중 PPG (주파수, 진폭) 신호를 선택하여 사용했다. 감성분석은 실시간으로 처리하도록 기준 값(reference value, Vref)에서의 증감을 판별하는 방식으로 이루어졌다. 기준 값은 초기 30초의 평균 값으로 설정했다 (7500개, 약 7.3KB). 이 후 수신된 생리신호 값(Vcur)은 기준 값(Vref)와 비교하였다 (10초 2500개, 약 2.4KB). 그 차이 값에 따라 감성을 인식하였다 (차이 = (PPG 주파수, PPG 진폭)_기준 - (PPG주파수, PPG진폭)_현재). 각성으로 인식한 경우는 현재 주파수와 진폭이 증가하거나 주파수만 증가한 경우이다. 반면 이완은 주파수가 감소하여 진폭이 증가하거나 또는 주파수만 감소하였을 경우이다. 이러한 과정을 거처 얻어진 감성분석결과는 (감성인식 값, 차이 값, 위치정보)는 임의 의 시간간격, 바람직하게는 주기적으로 서버 시스템(3) 으로 전송하였다.

서버 시스템(감성 시각화 서버, 3)에 수집된 피험자 또는 피험자 그룹의 감성 분석결과는 다양한 형태로 응용될 수 있다. 응용의 일례로서 분석결과를 전자 지도상에 피험자의 위치 별로 감성 상태를 표시하는 것이 있다. 즉, 이동 중인 피험자의 감성 상태의 변화를 시각화하여, 예를 들어, 도 5에 도시된 바와 같이, 특정 지역에서의 감성 변화 및 분포 등을 시각화할 수 있다. 도 5는 경기도 분당에서 광화문까지 (약 29 km) 이동 중에 측정된 생리 신호(감성 상태)의 변화를, 전자 지도의 일종 인 구글 어스(Google Earth) 브라우저(화면)에 표현한 것으로서, 사용자의 생리신호 변화, 즉 감성에 따라 지도에 높고 낮음이 표현되었다. 여기에서 브라우져는 감성 시각화 서버에 인터넷 망을 통해 접속되는 모든 단말기 또는 단말기의 화면을 의미한다. 이를 위하여, 도 2에 도시된 바와 같은 손목시계 형태의 측정기기와 GPS 수신기를 통해 생리신호와 위치데이터를 측정하였고 감성인식장치에서 PPG 데이터를 처리하여 감성을 인식하고 위치정보를 포함하여 서서 시스템으로 전달하였다. 이를 바탕으로 서버 시스템은 KML(Keyhole Markup Language) 파일을 실시간 생성하고, 구글 어스 브라우저는, 서버 시스템에 있는 스크립트 모듈을 주기적으로 갱신하는 정보(refreshInterval 객체)를 갖는 KML을 주기적 또는 비주기적, 바람직하게는 주기적으로 호출하여 피험자의 생리 신호로부터 인식된 감성을 확인했다.

이러한 본 발명은, 이동할 때 변화되는 피험자의 감성을 공유할 수 있는 가능성을 보여줌으로 개인화된 감성 콘텐츠 서비스의 도구 및 미디어 아트 등의 다양한 형태 또는 형식으로 응용될 수 있음을 보여 준다.

이하, 상기와 같은 본 발명의 방법 및 시스템을 이용한 응용 례로서 시각화응용에 대해 보다 구체적으로 설명한다. 아래의 표 1은 실제 적용한 감성 시각화 서버 시스템의 사양을 보인다.

구분	사양
하드웨어	Unbuntu 11.4
소프트웨어	Google Earth Version 6.1
표준기술	XML에 기반하여 KML 2.2와 OGC KML 2.2표준확장을 사용
사용생리신호	PPG( 주파수, 진폭)
감성인식범위	“각성", “이완"

상기 하드웨어에 해당하는 감성 시각화 서버는 감성 인식 장치로부터 PPG 값(기준 값 포함), 좌표 값 및 시각 정보를 수신하다. 어스 브라우저로부터 CGI 프로그램이 호출되면 KML을 생성하다.

어스 브라우저는 “SEED KML" 파일을 로드하며, 특정 시간을 주기로 서버의 CGI 프로그램을 반복 호출하고, 반환된 KML을 구글 지도 상에 지도 상에 출력한다. 상기 어스 브라우저는 상기 서버에 접속된 PC 등과 같은 단말 장치이다.

도 6은 시각화 응용을 위한 시퀀스 다이어그램이다.

도 6은 참조하면, 감성 인식 장치는 PPG 기준 값을 시스템 초기화시 서버로 전송한 후, 감성 인식 종료할 때까지 무한 루우프 내에서, PPG(주파수, 진폭), 경위도 및 시각 정보를 전송하며, 서버를 이들 데이터를 저장한다.

감성 시각화 서버는 역시 감성 시각화 서비스 기간의 무한 루우프 내에서 상기 데이터를 이용하여 시각화 KML 파일을 생성하고, 어스 브라우저에 CGI 프로그램 호출이 있으며, 시각화 KML 파일을 어스 브라우저로 반환한다. 상기 어스 브라우저는 KML 형식의 파일로서 감성 시각화 서버의 CGI 프로그램 호출하여 시각화 KML 파일을 요구하기 위한 프로그램 파일인 “SEED KML"을 로드 하며, SEED KML에서 임의로 정의된 시간 간격을 주기로 감성 시각화 서버 측의 CGI 프로그램을 호출한다. 감성 시각화 서버는 CGI 호출에 대응하여 전술한 바와 같이 시각화 KML 파일을 반환하고, 구글 브라우저는 구글 지도 상에 시각화 KML을 출력한다.

여기에서 상기 데이터의 대해 살펴보면 다음과 같다.

구분	설명
PPG 기준값	1) 시각화에서 생리신호의 높고 낮음을 결정하기 위한 기준 값 생리신호의 일정주기 평균값을 기준값으로 설정 (예: 30초 동안 쌓인 PPG 값의 평균값) 2) 센싱 장치로부터 수신 (블루투스) 3) 감성인식 장치에서 처리되어 감성 시각화 서버로 전송
PPG 값	1) 감성(각성, 이완)을 인식하기 위한 값 2) PPG 기준 값보다 높으면 '각성 ', 낮으면 '이완 '으로 감성인식 3) 센싱 장치로 수신 (블루투스) 4) 감성인식 장치에서 처리되어 감성시각화 서버로 전송
위치 값, 시각	1) 위도, 경도 데이터, 시각 2) 어스 브라우저의 감성 위치 값과 감성 표현 시간으로 사용 3) GPS 수신기로 부터 수신 (블루투스) 4) 감성인식 장치에서 처리되어 감성시각화 서버로 전송

아래는 시각화 KML 파일 생성에 필요한 CGI 프로그램의 코드를 예시한다.

CGI 프로그램 코드

#!/usr/bin/python
beforeLatitude = 현재 수신된 '위도 값'의 이전 값
beforeLongitude = 현재 수신된 '경도 값'의 이전 값
presentLatitude = 현재 수신된 '위도 값'
presentLongitude = 현재 수신된 '경도 값'
presentTime = 현재 수신된 '시간 값'
referencePPG = 초기에 수신된 'PPG 레퍼런스 값'
beforePPG = 현재 수신된 'PPG 값'의 이전 값
presentPPG = 현재 수신된 'PPG 값'

gxTrack_when= 이전 호출에 의해 저장된 '시간 값' 배열
gxTrack_coord = 이전 호출에 의해 저장된 '위/경도 값' 배열
visual_coordinates = 이전 호출에 의해 저장된 시각화 좌표 배열
when = ''''''<when>%s</when>''''''
coord = ''''''<gx:coord >%d %d 40.1999</gx:coord>''''''
coordinates = '''''''<Placemark>
<styleUrl># multiTrack_n </styleUrl>
<TimeStamp>
<when>%s</when>
</TimeStamp>
<LineString>
<extrude>1</extrude>
<gx:altitudeMode>relativeToSeaFloor</gx:altitudeMode>
<coordinates>
%d, %d, %d
%d, %d, %d
</coordinates>
</LineString>
</Placemark>''''''
gxTrack_when += [when % (presentTime)]
gxTrack_coord += [coord % (presentLongitude, presentLatitude)]
visual_coordinates += [coordinates % (presentTime, beforeLongitude, beforeLatitude, beforePPG, presentLongitude, presentLatitude, presentPPG)]
visual_kml = (
'<?xml version="1.0" encoding="UTF-8"?>\n'
'<kml xmlns="http://www.opengis.net/kml/2.2" xmlns:gx="http://www.google.com/kml/ext/2.2">\n'
'<Document>\n'
'<Style id="multiTrack_n">\n'
'<IconStyle>\n'
'<Icon>\n'
'<href>아이콘 URL</href>\n'
'</Icon>\n'
'</IconStyle>\n'
'<LineStyle>\n'
'<color>7f0000ff</color>\n'
'<width>6</width>\n'
'</LineStyle>\n'
'</Style>\n'
'<Folder>\n'
'<name>Tracks</name>\n'
'<Placemark>\n'
'<name>me</name>\n'
'<styleUrl>#multiTrack</styleUrl>\n'
'<gx:Track>\n'
'%s\n'
'%s\n'
'</gx:Track>\n'
'</Placemark>\n'
'%s\n'
'</Folder>\n'
'</Document>\n'
'</kml>
) % (gxTrack_when, gxTrack_coord, visual_coordinates)
print 'Content-Type: application/vnd.google-earth.kml+xml\n'
print visual_kml

아래는 시각화 KML 파일의 일 례이다.

시각화 KML

<?xml version="1.0" encoding="UTF-8"?>
<kml xmlns="http://www.opengis.net/kml/2.2" xmlns:gx="http://www.google.com/kml/ext/2.2">
<Document>
...
<Style id=" multiTrack_n ">
<LineStyle>
<color>7f0000ff</color>
<width>6</width>
<gx:labelVisibility>1</gx:labelVisibility>
</LineStyle>
</Style>
<Folder>
<name>Tracks</name>
<Placemark>
<name>me</name>
<styleUrl>#multiTrack</styleUrl>
<gx:Track>
<when>2011-10-10T08:35:09Z</when>
<when>2011-10-10T08:35:19Z</when>
<when>2011-10-10T08:35:29Z</when>
<when>2011-10-10T08:35:39Z</when>
<when>2011-10-10T08:35:49Z</when>
<when>2011-10-10T08:35:59Z</when>
…
<gx:coord>127.124380 37.384058 40.1999 </gx:coord>
<gx:coord>127.126815 37.385878 40.1999 </gx:coord>
<gx:coord>127.126611 37.386475 40.1999 </gx:coord>
<gx:coord>127.122502 37.390175 40.1999 </gx:coord>
<gx:coord>127.119219 37.392050 40.1999 </gx:coord>
<gx:coord>127.110400 37.391794 40.1999 </gx:coord>
…
</gx:Track>
</Placemark>
<Placemark>
<name>me</name>
<styleUrl>#multiTrack </styleUrl>
<TimeStamp>
<when>2011-10-10T08:35:30Z</when>
</TimeStamp>
<LineString>
<extrude>1</extrude>
<gx:altitudeMode>relativeToSeaFloor</gx:altitudeMode>
<coordinates>
127.124380,37.384058,200
127.126815,37.385878,300
</coordinates>
</LineString>
</Placemark>
<Placemark>
<name>me</name>
<styleUrl>#multiTrack </styleUrl>
<TimeStamp>
<when>2011-10-10T08:36:44Z</when>
</TimeStamp>
<LineString>
<extrude>1</extrude>
<gx:altitudeMode>relativeToSeaFloor</gx:altitudeMode>
<coordinates>
127.126815,37.385878,300
127.126611,37.386475,500
</coordinates>
</LineString>
</Placemark>
…
</Folder>
</Document>
</kml>

위에서 전자 지도, 예를 들어 구글 어스 상에 피험자의 감성 상태를 표현하는 시각화 응용에 대하여 설명하였다.

이하는 상기와 같은 본 발명을 이용하는 방법 및 장치의 가상 사용례; 즉 시나리오를 예시적으로 설명한다.

응용 시나리오 I

1. 응급통제센터 오퍼레이터 A는 이동 중에 있는 환자의 생리신호를 확인하고 위험상황에 있어 환자를 통제한다.
2. 환자 B는 생리신호 측정장치와 인식장치를 착용하여 이동 중이다.
3. B는 버스를 타고 이동 중이다. 좀 전부터 버스운전기사의 난폭운전과 도로상황이 좋지 않아 지속적으로 긴장감을 느끼고 있다.
4. A는 B의 상태를 지도를 통해 확인하고 있다. 좀 전부터 B는 '각성 '상태가 지속되고 있다. '각성 ' 상태가 지속되면 B는 위험한 상태가 된다. 시간이 어느 정도 지나도 B의 상태에 변화가 없자 A는 위험상황으로 인식하여 지도에서 B의 현재 위치를 확인한다.
5. A는 B의 위치와 가장 가까운 구급센터에 비상대기 신호를 보낸다.
6. 위 시나리오에서의 환자는 자신의 상황을 주변에 알릴 수 없거나 알리기 힘든 사람 또는 정신이상으로 자신의 상황을 판단하지 못하는 사람 (예: 언어장애우, 소아마비 환자, 지체장애우, 노약자)으로 한정함.
7. 장점: 환자가 위험한 상태가 되기 전에 위험한 상황을 사전에 인지하여 구급 또는 통제를 할 수 있음.

응용 시나리오 II

1. 도시환경 및 도로환경 개선에 사용
2. 서울시 환경과 A과장은 서울시 환경을 개선하기 위해 N명의 시민을 대상으로 생리신호 데이터와 위치를 수집했다.
3. A는 N명의 데이터를 지도에 출력했다. 지도에는 계절별, 시간대별, 지역별로 서울시의 감성이 시각화 (N개) 되어있다.
4. '각성 ' 값이 높게 나타나는 지역에는 주변환경 개선 정책을 시행하였다.
5. '각성 ' 값이 높게 나타나는 도로에는 교통체중 발생 가능성이 높음으로 해당 시간대에 교통경찰의 대기수를 늘리도록 조치했다.
6. 늦은 저녁시간에 '각성 ' 값이 높게 나타나는 골목길을 조사해보니 가로등 시설이 부족한 것으로 나타났다. 이에 관련 구청에 가로등 설치 예산을 증액해주었다.

1: 감성 시각화 서버 2: 인터넷 망 3: 감성 인식 장치

Claims

위치를 이동하는 피험자의 생리 신호를 임의의 시간 간격으로 측정하는 단계;
상기 피험자의 생리 신호가 측정되는 해당 위치의 좌표 정보를 획득하는 단계;
상기 생리 신호를 처리하여 피험자의 위치 별 감성을 인식(평가) 하는 단계;
상기 피험자의 위치 별 감성에 대한 데이터 베이스를 구축하는 단계; 그리고,
상기 피험자의 위치 별 감성을 전자 지도에 표시하는 시각화 단계; 를 포함하는 감성 인식 방법.
삭제
제 1 항에 있어서,
상기 생리 신호는 다수의 피험자로부터 검출하는 것을 특징으로 하는 감성 인식 방법.
제 1 항에 있어서,
상기 생리 신호는 PPG 신호를 포함하며,
상기 감성을 인식하는 단계는 PPG 신호를 이용하는 것을 특징으로 하는 감성 인식 방법.
제 4 항에 있어서,
상기 피험자로부터 얻어지는 일정 주기의 PPG 평균값을 기준 값을 설정하고, 상기 기준 값에 대한 피험자의 실시간 PPG 값을 비교하여 감성을 인식하는 것을 특징으로 하는 감성 인식 방법.
삭제
제 5 항에 있어서,
상기 생리 신호는 다수의 피험자로부터 검출하는 것을 특징으로 하는 감성 인식 방법.
삭제
위치를 이동하는 피험자로부터 생리 신호와 해당 위치의 좌표를 임의의 시간간격으로 검출하는 센싱 장치;
상기 생리 신호를 이용하여 피험자의 감성을 인식하는 감성 인식 장치; 상기 피험자의 감성에 대한 데이터 베이스를 구축하는 서버 시스템; 그리고,
상기 서버 시스템에 접속하는 것으로 전자 지도를 표시하는 브라우저; 를 구비하고,
상기 서버 시스템은 상기 시각화를 위한 시각화 파일을 생성하고,
상기 브라우저는 시각화 파일을 이용하여 상기 전자 지도에 상기 피험자의 위치별 감성을 표시하도록 되어 있는, 감성 인식 시스템.
삭제
삭제
제 9 항에 있어서,
다수의 피험자에게 제공되는 상기 센싱 장치와 감성 인식 장치를 다수 구비하는 것을 특징으로 하는 감성 인식 시스템.
제 12 항에 있어서,
상기 감성 인식 장치는 상기 피험자로부터 얻어지는 일정 주기의 PPG 평균값을 기준 값을 설정하고, 상기 기준 값에 대한 피험자의 실시간 PPG 값을 비교하여 감성 인식을 수행하는 것을 특징으로 하는 감성 인식 시스템.
삭제
삭제