KR100959723B1 - 뇌파측정을 통한 흥미자극 검출장치 및 자동촬영 방법 - Google Patents

Abstract

본 발명은 뇌파측정을 통한 흥미자극 검출장치 및 자동촬영 방법에 관한 것으로서, 자극에 대한 뇌파의 변화를 측정하는 뇌파측정부; 상기 뇌파측정부에 의해 측정된 시각 자극에 대한 뇌파의 변화를 기록, 저장하는 시각 자극 뇌파 기록 저장부; 뇌파측정부로부터 측정된 뇌파를 상기 시각 자극에 의한 뇌파 기록 저장부의 흥미자극에 대한 뇌파의 변화와 비교함으로써 뇌파 측정부로부터 기록된 뇌파에서 흥미자극 뇌파신호를 검출하는 흥미자극 뇌파 신호검출부; 및 상기 신호검출부에서 검출된 신호를 외부로 송신하는 송신부를 포함하는 흥미자극 검출장치를 제공한다. 바람직하게는 상기 흥미자극 뇌파는 P300 인 것을 특징으로 한다. 또한 본 발명은 흥미자극검출장치를 포함하는 카메라, 스크린 캡쳐 장치 및 레코더를 제공하며, 자극에 대한 뇌파를 측정하는 단계; 흥미자극과 비흥미자극의 뇌파를 비교하여 흥미자극 뇌파신호를 검출하는 단계; 상기 검출된 흥미자극에 따라 자동 촬영을 수행하는 단계를 포함하는 것을 특징으로 하는 흥미자극 자동촬영 방법을 제공한다.

흥미자극, P300, 뇌-컴퓨터 인터페이스(BCI), 뇌파

Description

뇌파측정을 통한 흥미자극 검출장치 및 자동촬영 방법{Detection devices and automatic photographing methods of an interesting visual stimulus through mesuring brain wave}

본 발명은 흥미자극에 대한 뇌파 측정을 통한 흥미자극 검출장치 및 흥미를 느낀 그 순간의 장면을 즉각적으로 촬영하는 방법에 관한 것이다.

과학기술의 발전은 점진적으로 인류의 생활양식을 바꾸고 있으며, 나아가 새로운 문화를 발생시킨다. 이전에는 먼 곳에 있는 사람들과 의사소통하기 위해 편지, 전신, 전화 등의 제한적인 매체를 이용할 수밖에 없었다. 그러나 지금은 인터넷을 통해 다양한 매체를 이용하여 전 세계의 사람들과 항시, 실시간으로 의사소통 할 수 있다. 개인적인 경험들 또한 이전에는 일기나 사진, 비디오라는 매체를 이용하여 제한적으로 기록되고 제한적으로 공유할 수밖에 없었다. 하지만 인터넷의 보급에 이어 디지털 카메라가 개발되고 보편화됨에 따라, 자신의 일상을 사진이나 동영상 등의 시각적인 매체로 간편하게 기록하고 홈페이지나 블로그(blog) 등을 이용하여 활발히 공유할 수 있게 되었다. 과학기술의 발전을 통해 이전에는 볼 수 없었던 새로운 문화 양식이 발생한 것이다.

과학기술이 더욱 발전함에 따라 이제는 사진이나 동영상으로 나의 일상 혹은 의미 있는 순간들을 기록하는 것을 넘어서, 내 일상의 의미 있는 모든 정보들을 상세히 기록하고 이를 활용하기 위한 다양한 연구들이 진행되고 있다. 대표적인 선행 연구 중 하나인 ‘마이크로소프트(Microsoft)’의 ‘마이라이프빗츠(MyLifeBits)’ 프로젝트는 다양한 센서를 이용하여 일상의 세세한 정보들을 기록한다 [1, 2, 3]. 동시에 ‘SenseCam’이라는 배지 형태의 광각 디지털카메라를 사용하여 일상의 모습을 정지 및 동영상 이미지로 상시 기록하여 대용량의 데이터베이스에 저장한다 [4]. 이처럼 자신의 일상의 모습들을 항상 기록한다면 내가 다시 보기 원하는 장면, 혹은 나에게 의미 있는 순간들을 빠짐없이 기록할 수 있을 것이다. 하지만 일상을 24시간 내내 기록한 데이터의 활용을 위해서는, 기록된 영상을 다시 돌려보고 일일이 필요한 장면을 선별하여 편집해야만 한다. 1시간 동안 기록된 데이터를 돌려 보는 데는 최소 1시간 이상의 시간이 걸릴 것이며, 또한 이를 활용하기 위해 편집하는 과정은 더 많은 시간의 투자를 필요로 할 것이다. 이렇게 무작위로 기록된 데이터들은 한 번 기록하고 다시 활용되지 않는 쓸모 없는 데이터가 될 가능성이 많다. 활용도 높은 데이터를 생성하기 위해서는 개개인이 자신의 일상에서 흥미로움을 느끼는 의미 있는 순간들을 파악하고, 그 때의 장면들만을 선별하여 정확하게 기록하는 것이 요구된다. 이를 위해 선행된 각각의 연구들마다 개인이 흥미로움을 느끼는 기록할만한 일상의 순간들을 파악하기 위해 피부 전도율[5], 뇌파의 변화 [6, 7, 8, 9], 심장박동 [10], 빛의 변화와 사람의 움직임 [1, 2, 3, 4] 등 다양한 방법들을 사용하고 있다. 하지만 기존의 방법들은 개인이 흥미로움을 느꼈다는 것 을 직접적으로 파악하는 것이 아니라 주변적인 정황들을 이용하여 유추하는 것으로 그 정밀도와 신뢰도가 떨어진다. 때문에 개인이 주관적으로 느낀 흥미로움을 정확하고 빠르게, 직접적으로 파악할 수 있는 새로운 방법의 개발이 요구되고 있다.

이러한 시점에서 인간의 뇌파를 이용하여 개인에게 의미 있는 순간들을 직접적으로 파악하는 뇌-컴퓨터 인터페이스(Brain-Computer Interface)의 개발 가능성이 대두되고 있다. 인간의 두뇌는 이제까지 개발된 것 중에 가장 우수한 ‘이미지 인식 시스템’으로써 사물을 인식하고 그에 반응하는 전 과정을 자동적으로 수행한다. 특히 인간의 의식보다 약 10배 이상 빠른 속도로 장면들을 인지하기 때문에 의식적으로는 인지하지 못할 정도의 짧은 자극도 무의식 수준에서 인지하여 그에 따른 반응을 나타낼 수 있다[11, 12, 13]. Sutton의 연구 [15] 이후 뇌파 중에서도 특히, P300이 여러 적용분야에서 광범위하게 이용되고 있다[14].

P300 파형은 기초적인 인지 과정을 반영하며, 종종 ‘Oddball’이라는 패러다임을 이용하여 검출 된다[16]. 이 뇌파는 주의를 끄는 자극을 받은 후 약 300ms지점에서 발생하는 양의 파형이다. 일반적으로 청각 자극보다 시각 자극에서 더 강하고 빠른 P300파형이 발생하는 것으로 알려져 있다[14]. P300의 이러한 특성을 이용하여, 개인의 관심을 끄는 시각 자극(visual stimuli)에 대해서만 발생하는‘특정 P300’의 진폭(amplitude)과 잠재(latency)의 분석과 정의를 통해, 일상 생활 중 개인이 흥미를 느끼는 장면을 탐지해 낼 수 있을 것이라 기대한다.

따라서 본 발명은 전체 일상 중에서 개인이 흥미로움을 느낀 기록할만한 가치가 있는 장면만을 선별하여 기록하는 시스템을 개발하는 것을 목표로 한다. 여기 에서의 흥미로움이라 함은, 어떤 대상을 본 후 1초 이내에 발생하는 무의식적이고 자동적인 감정으로써 놀람, 기쁨, 슬픔, 호기심 등을 포함하는 감정 상태를 말한다. 이러한 시스템을 개발하기 위해, 개인에게 흥미로움을 느끼게 하는 ‘흥미 시각 자극’을 볼 때만 발생하는 ‘특정 P300’의 파형을 실험을 통해 정의하고, 이 파형이 감지되는 순간, 항시 착용 가능한 소형 디지털 카메라에 신호를 전달하여, 내가 흥미를 느낀 그 순간의 장면을 즉각적으로 촬영하는 뇌-컴퓨터 인터페이스(Brain-Computer Interface)를 구현하고자 한다.

본 발명은 전체 일상 중에서 개인이 흥미로움을 느낀 기록할만한 가치가 있는 장면만을 선별하여 기록하는 시스템을 개발하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여, 본 발명은 자극에 대한 뇌파의 변화를 측정하는 뇌파측정부; 상기 뇌파측정부에 의해 측정된 시각 자극에 대한 뇌파의 변화를 기록, 저장하는 시각 자극 뇌파 기록 저장부; 뇌파측정부로부터 측정된 뇌파를 상기 시각 자극에 의한 뇌파 기록 저장부의 흥미자극에 대한 뇌파의 변화와 비교함으로써 뇌파 측정부로부터 기록된 뇌파에서 흥미자극 뇌파신호를 검출하는 흥미자극 뇌파 신호검출부; 및 상기 신호검출부에서 검출된 신호를 외부로 송신하는 송신부를 포함하는 흥미자극 검출장치를 제공한다. 바람직하게는 상기 흥미자극 뇌파는 P300 인 것을 특징으로 한다.

상기 뇌파신호의 검출 방법은 자극들에 대한 뇌파의 변화 양상으로부터 각 뇌파들의 시각유발전위(VERP)를 결정하고, 결정된 시각유발전위 내의 최소값 및 뇌파의 P300 값들을 결정한 뒤, 비흥미자극들이 갖는 상기 값들을 결정하고, 그것보다 높게 설정된 값 이상의 값을 갖는 흥미자극 뇌파신호를 분리하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 흥미자극 검출장치를 포함하는 카메라, 스크린 캡쳐 장치 및 레코더를 제공한다. 상세하게는 상기 카메라는 상기 송신부에서 송신된 신호를 수신하 는 수신부; 상기 수신된 신호를 처리하는 디지털 신호 처리부(DSP); 및 상기 디지털 신호 처리부를 통해 처리된 디지털 신호를 받아 촬영을 수행하는 카메라부를 포함하는 흥미자극 자동촬영 카메라를 특징으로 한다.

또한 본 발명은 자극에 대한 뇌파를 측정하는 단계; 흥미자극과 비흥미자극의 뇌파를 비교하여 흥미자극 뇌파신호를 검출하는 단계; 상기 검출된 흥미자극에 따라 자동 촬영을 수행하는 단계를 포함하는 것을 특징으로 하는 흥미자극 자동촬영 방법을 제공한다.

본 발명의 제 1의 양태는 자극에 대한 뇌파의 변화를 측정하는 뇌파측정부; 상기 뇌파측정부에 의해 측정된 시각 자극에 대한 뇌파의 변화를 기록, 저장하는 시각 자극 뇌파 기록 저장부; 뇌파측정부로부터 측정된 뇌파를 상기 시각 자극에 의한 뇌파 기록 저장부의 흥미자극에 대한 뇌파의 변화와 비교함으로써 뇌파 측정부로부터 기록된 뇌파에서 흥미자극 뇌파신호를 검출하는 흥미자극 뇌파 신호검출부; 및 상기 신호검출부에서 검출된 신호를 외부로 송신하는 송신부를 포함하는 흥미자극 검출장치를 제공한다. 바람직하게는 상기 흥미자극 뇌파는 P300 인 것을 특징으로 한다.

상기 뇌파신호의 검출 방법은 자극들에 대한 뇌파의 변화 양상으로부터 각 뇌파들의 시각유발전위(VERP)를 결정하고, 결정된 시각유발전위 내의 최소값 및 뇌파의 P300 값들을 결정한 뒤, 비흥미자극들이 갖는 상기 값들을 결정하고, 그것보다 높게 설정된 값 이상의 값을 갖는 흥미자극 뇌파신호를 분리하는 단계를 포함하 는 것을 특징으로 한다.

본 명세서에 사용된 "P300"이라는 용어는 기초적인 인지과정을 반영하는 뇌파로서, 주의를 끄는 자극을 받은 후 약 300ms 지점에서 발생하는 양의 파형이다. 일반적으로 청각 자극 보다 시각 자극에서 P300 파형의 크기가 더 강하고, 발생 시점이 빨라지는 것으로 알려져 있다.

상기 흥미 자극은 특정 자극으로 제한되지 않는다. 시각, 청각, 후각, 그리고 촉각 중 적어도 하나 이상의 감각 기관을 직접 혹은 간접으로 자극하는 영상 신호, 음성 신호, 향기 또는 사용자의 손과 발 또는 기타 신체를 이용하는 기구, 도구를 포함한다. 바람직하게 상기 흥미 자극은 시각을 통한 자극이다.

상기 신호검출부에 의해 검출되는 유발 전위를 이용한 특징점은 여러 번의 자극에 따라서 유발 전위의 합, 평균, 표준편차, 분산 값을 산출하여 통계적 파라미터를 추출하고, 추출된 통계적 파라미터에 의해 검출되는 것이 바람직하다.

본 발명의 제 2의 양태는 흥미자극 검출장치를 포함하는 카메라, 스크린 캡쳐 장치 및 레코더를 제공한다.

상세하게는 상기 카메라는 상기 송신부에서 송신된 신호를 수신하는 수신부; 상기 수신된 신호를 처리하는 디지털 신호 처리부(DSP); 및 상기 디지털 신호 처리 부를 통해 처리된 디지털 신호를 받아 촬영을 수행하는 카메라부를 포함하는 흥미자극 자동촬영 카메라를 특징으로 한다.

본 발명의 제 3의 양태는 자극에 대한 뇌파를 측정하는 단계; 흥미자극과 비흥미자극의 뇌파를 비교하여 흥미자극 뇌파신호를 검출하는 단계; 상기 검출된 흥미자극에 따라 자동 촬영을 수행하는 단계를 포함하는 것을 특징으로 하는 흥미자극 자동촬영 방법을 제공한다.

이하, 실시예에 의하여 본 발명을 더욱 상세히 설명하고자 한다.

단, 하기 실시예는 본 발명을 예시하는 것일 뿐, 본 발명의 내용이 하기 실시예에 한정되는 것은 아니다.

< 실시예 1 > 흥미자극에 대한 뇌파 측정 채널 선정

(1) 피험자

6명의 건강한 오른손잡이 피험자[M:F(4:2); (평균 나이 27세, 범위 24-31세)]를 대상으로 실험을 수행하였다. 모든 피험자들은 대학 이상의 학위를 갖고 있었으며, 정상 시력을 갖고 있었고, 정신병력이 없었다. KAIST IRB의 지침에 따라 모든 피험자에게서 실험 동의서를 받았다.

(2) 뇌파 측정

뇌파 데이터는 NEUROSCAN 4.3 시스템과 STIM2 S/W를 이용하여 측정되었다. 뇌파는 32채널 뇌파 측정 캡을 이용하여 10-20 채널 시스템에서 측정하였다. 모든 전극의 임피던스는 1000Hz 이상으로 유지되었으며, 하이패스(Highpass) 1Hz가 적용되었다. 또한 일관성 있는 뇌파를 얻기 위해 모든 측정은 오후 1시에서 5시 사이에 이루어졌다.

(3) 실험 방법

피험자들에게는 사람, 전자제품, 자동차, 경치, 패션 등의 다양한 사진들이 보여졌다. 한 번의 실험 트라이얼(Trial)은 총 112장의 사진으로 이루어졌으며, 피험자들은 2개의 실험 트라이얼(Trial)을 통해 총 224장의 사진을 보는 것으로 실험이 진행되었다. 각각의 사진들은 0.5초간 보여졌으며, 사진과 사진 사이에 눈 움직임을 최소화하기 위한 고정 교차(Fixation Cross)가 2초간 보여졌다. 피험자들은 어떤 사진이‘좋건 싫던 간에 흥미가 가서 다시 보고 싶을 경우’, 주어진 3-버튼 패드(button pad)의 버튼을 다시 보고 싶은 사진 다음에 나오는 고정 교차(Fixation Cross)가 보일 때 누르도록 지시받았다. 해당 사진 다음에 나오는 고정 교차(Fixation Cross)에서 버튼을 누르는 이유는, 흥미로운 장면을 볼 때 발생하는 뇌파와 버튼을 누를 때 발생하는 뇌파가 서로 중첩되지 않도록 하여 명확한 뇌파를 얻어내기 위한 실험 디자인이다(도 1).

(4) 실험 자극

사진들은 패션, 스포츠, 제품, 자동차 등의 잡지에서 선택되었다. 그 중에서 컬러이면서 글자가 없고, 하나의 대상을 강조하고 있어서 직관적으로 사진의 대상을 파악할 수 있는 것들로 선정하였다. 사진들은 모두 800X600 픽셀로 크기를 맞추었으며, 모두 포토샵을 이용하여 보정 작업을 거친 후 사용되었다. 또한, 사진들의 평균 밝기를 고정 교차(Fixation Cross)와 맞추어서 사진 밝기에 의한 자극을 최소화했다.

(5) 데이터 분석

1. 1차 실험 수행 후, 피험자가 흥미를 느꼈다고 응답한 자극들(response stimuli)과 비응답 자극들(null-response stimuli)을 각각 자극 제시 시점(0 ms)부터 320 ms까지 합계(summation)를 구하여, 각 피험자의 뇌파 측정 채널별 평균 뇌실 유효 불응기(ventricular effective refractory period; VERP) 그래프를 그린다(도 2).

2. 응답한 자극들(response stimuli)과 비응답 자극들(null-response stimuli) 일 때 뇌파의 차이를 정량적으로 비교하기 위해, 평균 VERP(averaged VERP) 그래프에서 시각 자극 제시 후 0~50 ms, 50~100 ms, 100~150 ms, 250~300 ms 시간대를 잡고, 0~50ms와 100~150ms에서의 뇌파 최소값과 50~100ms와 250~300ms에서의 뇌파 최대값을 구한다.

응답한 자극들(response stimuli)과 비응답 자극들(null-response stimuli) 의 동일 시간대에서의 최대/최소 진폭(amplitude) 값의 차이를 비교한다. 그 중에서, 250~300 ms 시간대에서 응답한 자극들(response stimuli)의 뇌파 최대값이 비응답 자극들(null-response stimuli)일 때 보다, 6명의 피험자들에게서 공통적으로 더 크게 나타나는 채널을 선택한다.

3. 2번의 과정을 통해 선정된 채널에서, 응답한 자극들 평균 VERP(response stimuli averaged VERP) 그래프의 44~83 ms와 94~186ms 시간대의 진폭(amplitude) 최소값을 구하고, 비응답 자극들(null-response stimuli) 일 때 동일 시간대의 진폭(amplitude) 최소값과의 차이를 비교한다.

260~309ms 시간대의 응답한 자극들(response stimuli)의 진폭(amplitude) 최대값과 그 발생 시각을 구한 후, 94~186 ms 시간대의 최소값과 비교하여 진폭(amplitude) 증가량을 구한다. 마찬가지로, 같은 시간대의 비응답 자극들(null-response stimuli) 진폭 수치(amplitude value)의 증가 량을 구하여, 비응답 자극들(null-response stimuli)의 진폭(amplitude) 증가량에 대한 응답한 자극들(response stimuli)에서의 진폭(amplitude) 증가율을 구한다. 증가율이 한 피험자의 전체 채널에서 발생한 증가율의 평균보다 큰 채널(channel)을 애플리케이션(Application)의 제작을 위한 뇌파 측정 채널(channel)로 선정한다(도 3).

(6) 실험결과

1차 실험을 수행한 결과, 전체 시각 자극(visual stimulus) 중, 피험자들이 흥미를 느꼈다고 응답한 시각 자극(visual stimuli)의 수는 표 1과 같다.

< 표 1 > 피험자별 전체 시각 자극에 대한 응답 자극 수

피험자들은 총 224장의 사진 중, 적게는 28개부터 많게는 104개까지의 시각 자극(visual stimulus)에 대해 흥미를 느껴서 다시 보고 싶다고 응답하였다.

전체 시각 자극을 피험자들이 흥미를 느꼈다고 응답한 자극(response stimuli)과 비응답 자극(null-response stimuli)으로 나누고, 각각을 합하여 각 피험자들의 채널별 평균 VERP(averaged VERP) 그래프를 그리고 이를 비교하였다(도 4).

응답한 자극(response stimuli)과 비응답 자극(null-response stimuli) 간의 진폭 수치 차이(amplitude value difference)를 정량적으로 비교하기 위해, 평균 VERP(averaged VERP) 그래프의 0~50 ms, 50~100 ms, 100~150 ms, 250~300ms 시간대에서의 최대 또는 최소 진폭 수치(amplitude value)를 구하였다. 이 값을 이용하 여, 같은 채널, 동일 시간대에서의 응답한 자극(response stimuli)과 비응답 자극(null-response stimuli)의 진폭 수치 차이(amplitude value difference)를 비교하였다(도 5).

위의 분석을 통해, 대부분의 채널의 250~300 ms 시간대, 즉 P300에서 흥미로운 시각 자극(response stimuli)을 보았을 때 그렇지 않은 시각 자극(Null-response stimuli)을 볼 때 보다 큰 진폭(amplitude)의 뇌파가 발생하는 것을 확인할 수 있었다. 향후 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI )의 제작을 위해, 이러한 현상이 전체 6명의 피험자들에게 공통적으로 발생하는 채널을 분석하였다.

채널 = ( 250~300 ms에서의 응답 자극 최대 진폭 수치)-(250~300 ms에서의 비응답 자극 최대 진폭 수치) > 0

분석 결과, 6명의 피험자에게 각각 2번씩 실시한 총 12개의 실험 트라이얼(trial) 중, 10개 이상의 트라이얼(trial)에서 응답한 자극(response stimuli)에 대해 비응답 자극(null-response stimuli)일 때 보다 큰 진폭(amplitude)의 뇌파가 발생한 8개 채널(C4, TP8, T8, FT8, TP7, FCZ, F8, FT7)을 선별해 낼 수 있었다.

< 표 2 > 250~300 ms에서의 비응답 자극(null-response stimuli) 보다 응답한 자극(response stimuli)의 뇌파가 크게 발생하는 채널과 트라이얼 횟수

위의 과정을 통해 선정된 채널들의 응답한 자극(response stimuli)의 평균 VERP(averaged VERP)에서, 44~83 ms와 94~186ms 시간대의 진폭(amplitude) 최소값을 구하여 응답한 자극(response stimuli)일 때의 동일 시간대의 진폭(amplitude) 최소값과의 차이를 비교하였다. 또한, 260~309ms 시간대의 응답한 자극(response stimuli)의 진폭(amplitude) 최대값(P300)과 그 발생 시각을 구하고, 같은 시각의 비응답 자극(null-response stimuli)의 진폭(amplitude) 값을 구하여, 각각 94~186 ms 시간대의 최소값으로부터의 진폭(amplitude) 증가량의 차이를 비교하였다(도 7).

어플리케이션(Application) 구현용 채널 선정을 위해, 각 채널 별로 94~186 ms 시간대의 최소값에서 260~309 ms 시간대의 최대 값(P300)으로의 비응답 자극(null-response stimuli)의 진폭(amplitude) 증가값과 응답한 자극(response stimuli)의 진폭(amplitude) 증가값을 비교하여, 응답한 자극(response stimuli)일 때 진폭(amplitude)의 추가 증가 비율을 구했다. 그 다음, 채널 별로 응답한 자 극(response stimuli)일 경우의 진폭(amplitude) 추가 증가율이 타 채널에서의 평균 증가율보다 크게 발생한 실험 트라이얼(Trial)의 횟수를 측정하였다(표 3).

< 표 3 > 비응답 자극(null-response stimuli)의 진폭(amplitude) 증가량에 대한 응답한 자극(response stimuli)의 진폭(amplitude) 추가 증가율이 타 채널의 평균 증가율 보다 크게 발생한 트라이얼(Trial)의 횟수

위의 결과를 통해, 트라이얼(Trial)의 횟수가 가장 적은 하위 3개 채널(FT8, TP7, FT7)을 채널 선정에서 제외하고 나머지 5개 채널(C4, TP8, T8, FCZ, F8)의 트라이얼(Trial) 별 응답한 자극(response stimuli)에서의 평균 진폭(amplitude) 증가율을 비교하였다.

< 표 4 > C4, TP8, T8, FCZ, F8의 트라이얼(Trial) 별 응답한 자극(response stimuli)에서의 평균 진폭(amplitude) 증가율

그 결과, 평균 증가율이 24.88% 이상인 C4, TP8, T8을 어플리케이션(Application) 제작을 위한 뇌파 측정 채널(channel)로 선정하였다(도 8).

최종 선정된 3개 채널의 트라이얼(Trial) 별 진폭(amplitude) 증가율은 다음과 같다(표 5)

< 표 5 > C4, TP8, T8의 트라이얼(Trial) 별 진폭(amplitude) 증가율

선정된 3개 채널(C4, TP8, T8)에서 보여진 평균 VERP(averaged VERP)의 패턴은 도 9와 같다.

분석 결과를 토대로 하여 흥미로운 시각자극을 보았을 때 발생하는 특정 뇌파를 ‘C4, TP8, T8에서 발생하는, VERP를 동반한, 94~186 ms 시간대의 최소값에서 260~309 ms 시간대의 최대값, 즉 P300으로의 진폭(amplitude) 증가량이 비응답 자극(null-response stimuli) 일 때의 평균 증가 량 보다 24.88% 이상 큰 뇌파’로 정의하였다(도 10).

< 실시예 2 > 실시간 흥미 탐지 알고리즘 개발 및 구현

(1) 시각 자극에 대한 흥미 탐지 알고리즘 개발

시각 자극 제시 후, 50ms에서 100ms로의 뇌파의 진폭(amplitude) 증가량과 100ms에서 150ms으로의 뇌파 진폭(amplitude) 감소량 그리고 응답한 자극(response stimuli) 일 때와 비응답 자극(null-response stimuli) 일 때의 90ms~186ms 시간대의 뇌파 최소값에서 260~309ms 시간대의 뇌파 최대값(P300)으로의 진폭(amplitude) 증가 량의 차이를 비교하여, 특정 시각 자극에 대해 사용자가 흥미를 느꼈음을 파악할 수 있는‘3채널 단일-트라이얼(single-trial) 흥미 탐지 알고리즘’을 개발하였다. 알고리즘은 Visual C++ 6.0을 이용하여 구현되었으며, 알고리즘의 동작 원리는 다음과 같다.

1. 뇌파 측정 앰프를 통해 들어오는 뇌파 데이터를 실시간으로 받아서 모든 포인트들을 배열 데이터로 변환한다.

2. 각각의 포인트를 자극 제시 후 50ms의 값이라 가정을 하고, 그 포인트로부터 약 50ms 후의 포인트 값을 비교하여 뇌파의 진폭(amplitude)이 일정 값 이상 증가한 것을 확인한다. 이 조건이 충족된 경우, 원래의 포인트에서 약 50ms 후의 포인트와 또 거기로부터 약 50ms 후의 포인트의 값을 비교하여 그 값이 일정 값 이상 감소하였을 때, 이 파형을 무엇인가를 보았음을 의미하는 VERP라 가정한다.

3. VERP의 보정을 위해 입력되는 시각 자극의 제시 시점을 이용하여, 앞서 파악한 VERP가 자극 제시 시점에서 500ms 이내에 발생하였을 때, 이것을 해당 시각 자극으로 인해 발생한 VERP라 확정한다.

4. 시각 자극에 의한 VERP가 확정되면, 자극 제시 시점으로부터 94~186ms 시간대의 최소값에서 260~309ms 시간대의 최대값(P300)으로의 뇌파 진폭(amplitude)의 증가 량을 비교하여, 일정 값 이상 증가하였을 때, 이를 해당 사진에 대해 흥미를 느꼈다고 정의한다.

5. 위의 조건을 충족시켰을 때, 사진을 찍으라는 동작 신호를 디지탈 카메라 모듈(Digital Camera Module)에 전달한다. 2~4의 조건에 부합하지 않는 경우 1/256초 후의 포인트로 이동하여 위의 과정을 반복한다.

피험자에 따라 VERP 변화 시점과 진폭(amplitude)의 증가/감소 량의 변화, P300의 발생 시각과 진폭(amplitude) 증가 량이 모두 다르다. 때문에, 시험 트라이얼(Test trial)을 통해 뇌파 변화 및 발생 시점, 변화량 등을 피험자에 따라 달리 설정을 해 주어야 본 연구에서 제안한 알고리즘의 정확한 동작이 가능하다.

(2) 어플리케이션(Application) 제작

개발한 알고리즘을 이용하여 조건이 충족되는 순간, 사진을 찍으라는 신호를 착용 가능한 형태의 디지털 카메라 모듈에 전달하여 흥미를 느낀 장면을 자동으로 촬영하는 개인 이미지 뇌-컴퓨터 인터페이스(Personal Imaging Brain-Computer Interface)를 제작하였다. 본 발명에서 제작한 어플리케이션의 구현을 위해 Pentium 4 3.00GHz 프로세서와 1.5GB RAM의 컴퓨터가 사용되었으며, LAXTHA의 QEEG-8이라는 8채널 앰프를 사용하여 뇌파를 측정하였다. 알고리즘의 조건이 충족 되었을 때, 사진을 찍으라는 신호를 보내는 무선 통신부는 Comfile Technology 사의 ACODE300 블루투스 모듈(Bluetooth Module)과 인터페이스 보드(Interface Board)를 이용하여 구현하였다. 또한, 신호가 전달되었을 때 카메라를 동작시키기 위한 신호처리는 TMS사의‘TMS320F2808 PZ S’DSP를 이용하였다. 마지막으로 사진을 촬영하는 디지탈 카메라 모듈(Digital Camera Module)은 젤리 디지탈 카메라(Jelly Digital Camera)라는 제품을 사용하였다. 이 카메라는 VGA로 640 X 480 픽셀의 사진을 24-bit color로 촬영할 수 있으며, 0.5m부터 무한대로의 고정 초점(fixed focus)를 갖고 있다. 찍힌 사진들은 USB 케이블을 통해 컴퓨터로 전송하여 확인하게 된다(도 11).

(3) 성능 테스트(Performance Test)

본 발명에서 구현한 개인 이미지 뇌-컴퓨터 인터페이스(Personal Imaging Brain-Computer Interface)의 신뢰도를 파악하기 위해 성능 테스트(Performance Test)를 수행하였다.

(4) 피험자

총 10명의 건강한 오른손잡이 피험자[남:여(5:5);(나이 19~27세)]를 대상으로 실험을 수행하였다. 모든 피험자들은 대학 이상의 학위를 갖고 있었으며, 또한, 정상 범위의 시력과, 정신 병력이 없었다. KAIST IRB의 지침에 따라 모든 피험자에게서 실험 동의서를 받았다.

(5) 뇌파 측정

뇌파 데이터는 10-20 시스템의 C4, TP8, T8에서 측정되었다. LAXTHA의 QEEG-8 장비를 이용하였으며, 샘플링 빈도(sampling frequency)는 256 Hz, 필터는 0.6 Hz ~ 46 Hz(-3dB)의 밴드패스(bandpass)가 적용되었다.

(6) 실험 자극

성능평가 실험에서의 시각 자극들은 인터넷을 통해 검색되었으며, 컬러이면서 글자가 인지되지않고, 직관적으로 명확하게 피사체를 인식할 수 있는 것들로 선정되었다. 이 사진들은 눈의 움직임을 최소화하기 위해 모두 640X480 픽셀 사이즈로 변환되었으며, 포토샵 보정을 거쳤다. 또한, 1차 실험과 마찬가지로 사진들과 고정 교차(Fixation Cross)의 밝기 조절을 하여 눈의 자극을 줄였다.

(7) 실험 방법

피험자들에게 사람, 액세서리, 전자제품, 애완동물, 건축물, 자동차, 경치, 패션 등의 다양한 사진들을 보여주었다. 한 번의 실험 트라이얼(Trial)은 총 39장의 사진으로 이루어졌으며, 피험자들은 6개의 실험 트라이얼(Trial)을 통해 총 234장의 사진을 보는 것으로 실험이 진행되었다. 본 실험 전에는 1회의 연습 트라이얼(Trial)이 진행되어 피험자의 적응을 도왔다. 각각의 사진들은 2초간 보였으며, 사진과 사진 사이에 눈 움직임을 최소화하기 위한 고정 교차(Fixation Cross)가 2 초간 제시되었다.

피험자들이 어떤 사진이‘개인의 선호를 떠나, 흥미가 가서 한 번 더 보고 싶을 경우’주어진 응답 패드(response pad)의 버튼을 다시 보고 싶은 사진 다음에 나오는 고정 교차(Fixation Cross)가 보일 때 누른다. 모든 사진을 본 후, 피험자가 흥미롭다고 응답한 사진과 실제 흥미탐지 알고리즘에 탐지된 사진을 비교하고, 개발된 시스템의 성능을 정량화하여 알아본다.

(8) 실험 결과

수행한 알고리즘의 성능 평가에 대한 총 10명의 피험자별 탐지 결과는 표 6과 같다.

< 표 6 > 피험자 별 흥미 자극 탐지 성공률

성능 평가 결과, 피험자들은 전체 2340장의 사진 중에서 943장의 사진에 대해 흥미를 느꼈다고 응답하였다. 흥미 탐지 알고리즘은 전체 2340장의 사진들 중 총 537장의 사진에 대해 피험자가 흥미를 느꼈다고 탐지하였으며, 이 중 240장의 사진이 실제 피험자가 흥미롭다고 응답한 사진이었다. 개발된 시스템의 흥미 탐지 성공률은 가장 높은 경우 53.91%이었으며, 가장 낮은 경우는 30%로 개인차를 확인 할 수 있었다. 전체 10명의 피험자들의 평균 탐지 성공률은 44.69%로 나타났다.

본 발명은 뇌파를 이용하여 사용자가 특정 시각 자극에 대해 흥미를 느꼈음을 직접적으로 파악하고, 이에 해당하는 장면만을 선별하여 기록하는 개인 이미지 뇌-컴퓨터 인터페이스(Brain-Computer Interface; BCI)의 개발에 관한 것이다. 기존에는 기록할만한 일상의 순간들을 파악하기 위해 피부 전도율, 알파/베타 뇌파의 변화, 심장박동, 빛의 변화, 사람의 움직임 등 주변적인 정황을 파악하여 흥미를 느꼈을 것이라 유추한다. 하지만, 본 발명은 인간이 특정 시각 자극에 대해 흥미를 느꼈을 때, P300 진폭 크기의 차이가 발생한다는 것을 확인하고 이를 실시간 탐지하는 알고리즘을 개발함으로써, 인간의 직접적인 흥미 반응을 탐지하고 흥미를 느낀 명확한 순간을 파악할 수 있다. 때문에 흥미를 느낀 장면만을 선별하여 기록함으로써, 검색, 편집 등의 추가 작업 없이 데이터를 바로 활용할 수 있다. 따라서 인간의 직접적인 흥미 반응을 파악하여 기록하는, 데이터의 활용도가 높은 라이프-로그(Life-log) 시스템을 개발에 응용될 수 있다.

[ 참고문헌 ]

[1] Jim Gemmell, Gordon Bell, Roger Lueder, Steven Drucker and Curtis Wong, MyLifeBits: Fulfilling the Memex Vision, ACM Multimedia ’02, December 1-6, 2002, Juan Les Pins, France.

[2] Jim Gemmell, Roger Lueder and Gordon Bell, The MyLifeBits Lifetime Store, ETP’03, November 7, 2003, Berkeley, California, USA.

[3] Gemmell, Jim, Bell, Gordon and Lueder, Roger, MyLifeBits: a personal database for everything, Communications of the ACM, vol. 49, Issue 1, 2006, pp. 88-95.

[4] Gemmell, Jim, Williams, Lyndsay, Wood, Ken, Bell, Gordon and Lueder, Roger, Passive Capture and Ensuing Issues for a Personal Lifetime Store, Proceedings of The First ACM Workshop on Continuous Archival and Retrieval of Personal Experiences (CARPE '04), Oct. 15, 2004, New York, NY, USA, pp. 48-55.

[5] Healey, J. and Picard, R.W., StartleCam: A Cybernetic Wearable Camera. Proceedings of the Second International Symposium on Wearable Computing, Pittsburgh, PA, October 19-20, 1998.

[6] K. Aizawa, K. Ishijima, M. Shiina, Summarizing Wearable Video, In Proc. of IEEE ICIP 2001, 398-401.

[7] Y. Sawahata, K. Aizawa, Wearable Imaging System for Summarizing Personal Experiences, In Proc. of IEEE ICME 2003.

[8] Hori, Tetsuro and Aizawa, Kiyohara, “Context-based video retrieval system for the life-log applications”, Proceedings of the 5th ACM SIGMM international workshop on Multimedia information retrieval, Berkeley, California, USA, 2003.

[9] Kiyoharu Aizawa, Tetsuro Hori, Shinya Kawasaki, Takayuki Ishikawa: Capture and efficient retrieval of life log, in Proceedings of Pervasive Computing 2004 workshop on memory and sharing of experiences, Linz/Vienna, Austria, 2004.

[10] Steve Mann. “Smart Clothing”: Wearable Multimedia Computing and Personal Imaging, Proceedings of ACM Multimedia ‘96, Boston, Mass., USA, Nov. 1996, pp. 163-174.

[11] Lucas Parra, Chris Alvino, Akaysha Tang, Barak Pearlmutter, Nick Yeung, Allen Osman, and Paul Sajda, Linear Spatial Integration for Single-Trial Detection in Encephalography, NeuroImage 17, 223.230, 2002.

[12] Gerson, A., Parra, L., Sajda, P., Cortical origins of response time variability during rapid discrimination of visual objects. NeuroImage 28, 342.353, 2005.

[13] Adam D. Gerson, Lucas C. Parra, and Paul Sajda, Cortically-coupled Computer Vision for Rapid Image Search, IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL. 16, Jun, 2006, pp. 174-179.

[14] J. Katayama, J. Polich. Auditory and visual P300 topography from a 3 stimulus paradigm. Clinical Neurophysiology 110, 1999, 463-468.

[15] S. SUTTON, M. BRAREN, J. ZUBIN AND E.R. JOHN. Evoked potential correlates of stimulus uncertainty. Science Wash. DC 150: 1187.1188, 1965.

[16] M.D. Comerchero, J. Polich. P3a and P3b from typical auditory and visual stimuli. Clinical Neurophysiology 110, 1999, 24-30.

[17] Duncan-Johnson CC, Donchin E. On quantifying surprise: the variation in eventrelated potentials with subjective probability. Psychophysiology 1977; 14:456±467.

[18] Polich J. Habituation of P300 from auditory stimuli. Psychobiology 1989; 17:19±28.

[19] Verleger R, Berg P. The waltzing oddball. Psychophysiology 1991; 28:468±477.

[20] E.Donchin, K. M. Spencer, R. Wijesinghe, The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Trans. Rehabil. Eng., 9, 174-179, 2000.

[21] Schneider, E. Dera, T. Bard, K. Bardins, S. Boening, G. Brand, T. Eye movement driven head-mounted camera: it looks where the eyes look, Systems, Man and Cybernetics, 2005 IEEE International Conference on Publication Date: 10-12 Oct. 2005 Volume: 3, On pages: 2437- 2442 Vol. 3.

[22] Jasper R. Daube, M.D. (1996) Clinical Neurophysiology, New York: Oxford University Press.

[23] Paul D. Leedy, Jeanne Ellis Ormrod (2005) Practical research: planning and design.8th edition, Prentice Hall

도 1은 흥미자극에 대한 뇌파 측정 채널을 선정하기 위한 실험방법을 나타낸다.

도 2는 응답한 자극들(response stimuli)과 비응답 자극들(null-response stimuli)의 시간대별 뇌파의 최대/최소값 비교 개념도를 나타낸다.

도 3은 선정된 채널에서의 뇌파 최소값(A) 및 증가량 비교(B) 개념도를 나타낸다.

도 4는 응답한 자극들(response stimuli)과 비응답 자극들(null-response stimuli)에서의 채널별 뇌실 유효 불응기(ventricular effective refractory period; VERP)를 비교한 그래프이다(피험자 1, 트라이얼 1).

도 5는 응답한 자극들(response stimuli)과 비응답 자극들(null-response stimuli)의 시간대별 최대/최소 진폭 수치 차이를 비교한 그래프이다(피험자 1, 트라이얼 1).

도 6은 250~300 ms에서, 10 트라이얼(trial) 이상 비응답 자극들(null-response stimuli) 보다 응답한 자극들(response stimuli)의 뇌파가 크게 발생한 채널의 위치(location)를 나타낸다.

도 7은 비응답 자극/응답 자극(null-response/response)의 44~83 ms, 94~186ms 시간대의 진폭(amplitude) 차이와 94~186ms에서 260~309 ms으로의 진폭(amplitude) 증가 량의 차이를 비교한 그래프이다(피험자 1, T1).

도 8은 최종 선정된 채널의 위치(location)을 나타낸다.

도 9는 선정된 채널에서 보여진 VERP 패턴을 나타낸다.

도 10은 TP8 채널에서의‘흥미 자극에 대해 발생하는 특정 뇌파’예시를 나타낸다(피험자:1/트라이얼:1).

도 11은 어플리케이션 개념도를 나타낸다.

Claims (8)

1. 자극에 대한 뇌파의 변화를 측정하는 뇌파측정부;

   상기 뇌파측정부에 의해 측정된 시각 자극에 대한 뇌파의 변화를 기록, 저장하는 시각 자극 뇌파 기록 저장부;

   뇌파측정부로부터 측정된 뇌파를 상기 시각 자극에 의한 뇌파 기록 저장부의 흥미자극에 대한 뇌파의 변화와 비교함으로써 뇌파 측정부로부터 기록된 뇌파에서 흥미자극 뇌파신호를 검출하는 흥미자극 뇌파 신호검출부; 및

   상기 신호검출부에서 검출된 신호를 외부로 송신하는 송신부를 포함하는 흥 미자극 검출장치.
2. 제 1 항에 있어서,

   상기 흥미자극 뇌파는 P300 인 것을 특징으로 하는 흥미자극 검출장치.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 뇌파신호의 검출 방법은 자극들에 대한 뇌파의 변화 양상으로부터 각 뇌파들의 시각유발전위(VERP)를 결정하고, 결정된 시각유발전위 내의 최소값 및 뇌파의 P300 값들을 결정한 뒤, 비흥미자극들이 갖는 상기 값들을 결정하고, 그것보다 높게 설정된 값 이상의 값을 갖는 흥미자극 뇌파신호를 분리하는 단계를 포함하는 것을 특징으로 하는 흥미자극 검출장치.
4. 제 1 항의 흥미자극검출장치를 포함하는 카메라.
5. 제 1 항의 흥미자극검출장치를 포함하는 스크린 캡쳐 장치.
6. 제 1 항의 흥미자극검출장치를 포함하는 레코더.
7. 제 4 항에 있어서,

   상기 송신부에서 송신된 신호를 수신하는 수신부;

   상기 수신된 신호를 처리하는 디지털 신호 처리부(DSP); 및

   상기 디지털 신호 처리부를 통해 처리된 디지털 신호를 받아 촬영을 수행하는 카메라부를 포함하는 흥미자극 자동촬영 카메라.
8. 자극에 대한 뇌파를 측정하는 단계;

   흥미자극과 비흥미자극의 뇌파를 비교하여 흥미자극 뇌파신호를 검출하는 단계;

   상기 검출된 흥미자극에 따라 자동 촬영을 수행하는 단계를 포함하는 것을 특징으로 하는 흥미자극 자동촬영 방법.

Images