KR101247748B1

KR101247748B1 - 사용자 집중도 분석장치 및 방법

Info

Publication number: KR101247748B1
Application number: KR1020110042614A
Authority: KR
Inventors: 이민호; 장영민; 권민구
Original assignee: 경북대학교 산학협력단
Priority date: 2011-05-04
Filing date: 2011-05-04
Publication date: 2013-03-26
Also published as: KR20120124772A

Abstract

사용자 집중도 분석 장치 및 방법이 개시된다. 사용자 집중도 분석 장치는, 사용자에게 영상을 제공하는 표시부; 영상에 대한 사용자의 시선 정보를 취득하는 시선정보 취득부; 영상에 대한 사용자의 뇌신경정보를 취득하는 뇌신경정보 취득부; 및 취득된 시선 정보와 뇌신경정보를 이용하여 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단하는 판단부를 포함하는 것을 특징으로 한다.

Description

사용자 집중도 분석장치 및 방법{Apparatus for analysing focus and nonfocus states and method therof}

본 발명은 사용자 집중도 분석장치 및 방법에 관한 것으로, 보다 상세하게는 뇌신경 정보 분석(EEG) 및 시선(안구운동) 패턴 분석을 통해 시각적인 자극에 대한 사용자의 집중도를 체크하여 사용자가 집중 상태인지 또는 비 집중 상태인지 등과 같은 자극에 대한 효과를 분석하는 사용자 집중도 분석장치 및 방법에 관한 것이다.

다양한 형태의 자극의 효과에 관한 정보를 얻기 위한 종래의 방법은 일반적으로 피실험자에게 자극에 반응하여 나타나는 사고와 감정을 파악하기 위한 구두 및 서면 수단을 제공하여 반응 정도를 분석하는 조사작업에 의존하고 있다. 이러한 구두 및 서면 수단에 의한 조사작업은 자극의 효과에 대한 일부 한정된 정보를 제공하지만, 다양한 제약사항을 갖는다. 예를 들면, 피실험자가 주제에 대한 자신의 진짜 사고와 감정을 표현하지 못하거나 표현하지 않을 수 있고, 또 질문이 편향적으로 만들어질 수 있다. 또한, 명확히 표현하지 않는 피실험자 보다 명확히 표현하는 피실험자에게 더 가중치가 매겨질 수 있다.

이러한 문제를 해결하기 위해, 피실험자의 자극에 대한 반응을 측정하기 위해 신경학적 및 신경생리학적 측정치를 사용하는 방법들에 대한 연구가 활발하게 이루어지고 있다.

이러한 방법의 한 예는 목표 자극을 주었을 때 목표 자극에 반응하는 뇌파와 방해 자극을 주었을 때 방해 자극에 반응하는 뇌파를 상호 비교 분석하는 방법이 알려져 있다. 하지만, 이 방법은 뇌신경정보 분석(EEG)과 같은 제한된 중앙 신경계의 신경생리학적 측정에 의존하므로, 의식 상태와 무의식 상태와 같은 뚜렷한 의식 상태 차이를 측정하는 데는 유용한 데이타를 제공하지만, 의식 상태에서의 자극에 대한 미소한 집중 및/또는 비집중 여부를 측정하는 데는 다양한 의미분석과 해석적 오류 때문에 비효율적이고 부정확한 문제점이 있다.

따라서, 의식 상태에서의 자극에 대한 사용자의 미소한 집중 및/또는 비 집중 여부를 효율적이고 정확하게 분석하는 개선된 방법과 장치의 개발이 요구되고 있다.

본 발명은 상술한 바와 같은 종래의 문제점을 감안하여 이를 개선하고자 창출된 것으로, 본 발명의 목적은 뇌신경 정보 분석 및 시선 패턴 분석을 통해 시각적인 자극에 대한 사용자의 집중도를 체크하여 사용자가 집중 상태인지 또는 비 집중 상태인지 등과 같은 자극에 대한 효과를 분석할 수 있게 한 사용자 집중도 분석장치 및 방법을 제공하는 데 있다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시양태에 따르면, 사용자 집중도 분석장치는, 사용자에게 영상을 제공하는 표시부; 영상에 대한 사용자의 시선 정보를 취득하는 시선정보 취득부; 영상에 대한 사용자의 뇌신경정보(EEG)를 취득하는 뇌신경정보 취득부; 및 취득된 시선 정보와 뇌신경정보를 이용하여 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단하는 판단부를 포함하는 것을 특징으로 한다.

시선정보 취득부는, 영상에 대한 사용자의 시선 특징을 검출하는 시선 특징 검출부, 및 추출된 시선 특징에서 시선 패턴을 추출하는 시선 패턴 추출부를 포함할 수 있다. 이때, 시선 특징은 영상의 관심영역(Area of Interest: AOI)별 동공크기, 관심 영역별 눈 깜박임, 관심 영역별 응시시간, 및/또는 관심 영역별 응시횟수를 포함할 수 있다. 또한, 시선 패턴은 사용자 시선이 처음 고정되는 시간, 시선이 특정 관심영역에 맺히는 응시 점, 시선의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에서의 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 특정 관심영역 안에서 시선이 머무는 총 시간, 특정 관심영역에 다시 시선이 머무는 횟수, 특정 관심영역 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수, 및/또는 특정 관심영역에 대한 사용자들의 시선 고정 빈도를 포함할 수 있다.

뇌신경정보 취득부는 사용자의 두피에 부착되고 뇌신경정보(EEG)를 측정하는 두피레벨 전극, 및 측정된 뇌신경정보(EEG)에서 주파수 특징 패턴을 추출하는 주파수 특징패턴 추출부를 포함할 수 있다. 이때, 주파수 특징 패턴은 각각의 해당 주파수가 일정비율 이상 포함되어 나타나는 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및/또는 감마파 패턴을 포함할 수 있다.

뇌신경정보 취득부는 획득한 뇌신경정보를 필터링하여 노이즈를 제거하여 순수 뇌신경정보를 추출하는 노이즈제거부를 더 포함할 수 있다. 노이즈제거부는 획득한 뇌신경정보를 ICA(Independent Component Analysis)와 같은 독립성분 추출, 고정 및 적응적 필터링, 가중 평균(weighted averaging), 벡터와 성분 분리법 등을 통해 이용할 수 있다. 이때, 노이즈는 사용자의 근육 운동, 눈 깜박임, 및 동공의 움직임에 따라 발생한 뇌파신호일 수 있다.

판단부는 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 RAN-LTM(Resource Allocating Network with Long Term Memory) 학습기를 통해 분석 하여 사용자가 집중 상태에 있는지 또는 비 집중 상태에 있는지를 판단할 수 있다. 이때 RAN-LTM 학습기는 시선의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에서의 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 및/또는 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 이용하여 학습한 뉴럴 네트워크를 포함할 수 있다.

본 발명의 또 다른 실시양태에 따르면, 사용자 집중도 분석방법은, 사용자에게 영상을 제공하는 단계; 영상에 대한 사용자의 시선 정보를 취득하는 단계; 영상에 대한 사용자의 뇌신경정보(EEG)를 취득하는 단계; 및 취득된 시선 정보와 뇌신경정보를 이용하여 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단하는 단계를 포함하는 것을 특징으로 한다.

시선 정보를 취득하는 단계는 영상에 대한 사용자의 시선 특징을 검출하는 단계, 및 추출된 시선 특징에서 시선 패턴을 추출하는 단계를 포함할 수 있다.

뇌신경정보(EEG)를 취득하는 단계는, 뇌신경정보(EEG)를 측정하는 단계, 및 측정된 뇌신경정보(EEG)에서 주파수 특징 패턴을 추출하는 단계를 포함할 수 있다.

판단하는 단계는, 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 RAN-LTM(Resource Allocating Network with Long-Term Memory) 학습기를 통해 분석하여 사용자가 집중 상태 인지 또는 비 집중 상태인지를 판단할 수 있다. 이때, RAN-LTM 학습기는 시선의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 및/또는 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 이용하여 학습한 것이 바람직하다.

이상에서 설명한 바와 같이, 본 발명의 실시 예에 따른 사용자 집중도 분석장치 및 방법은 시선 특징과 뇌신경정보로부터 각각 추출된 시선 패턴과 주파수 특징 패턴을 융합적으로 분석하여 사용자가 집중 상태인지 또는 비 집중 상태 인지를 판단한다. 따라서, 본 발명의 사용자 집중도 분석장치 및 방법은 종래의 제한된 중앙 신경계의 신경생리학적 측정방법과 비교하여, 영상에 따른 사용자의 미소한 집중 및/또는 비 집중 여부를 효율적이고 정확하게 분석할 수 있다. 그 결과, 본 발명의 사용자 집중도 분석장치 및 방법은 집중도에 따른 신경 심리학 및 신경 생리학적 차이점과 장애요소를 파악하여 치료하는 의학적 치료 분야, 집중/비 집중에 따른 분야별 학업 성취도 파악 및 새로운 교육의 방법론을 제시할 수 있는 교육분야, 및 사용자의 집중도에 따른 관심 대상과 그 의도를 사용자의 반응 전에 시스템이 스스로 판단하여 사전에 서비스를 제공하는 광고나 마케팅 분야 등에 활용하여 효과를 극대화할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치의 구성을 나타내는 블록도,
도 2는 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치의 동작을 설명하기 위한 도면,
도 3는 도 2의 RAN-LTM 학습기의 동작을 설명하기 위한 도면,
도 4는 도 2의 RAN-LTM 학습기를 선행적으로 학습시키는데 이용된 영상의 예를 나타내는 도면,
도 5는 도 2의 RAN-LTM 학습기를 선행적으로 학습시키는 동작을 설명하기 위한 도면, 및
도 6은 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치의 사용자 집중도 분석 방법의 동작을 설명하기 위한 흐름도이다.

이하 첨부된 도면들을 참조하여 본 발명에 대하여 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치의 구성을 나타내는 블록도이다.

도 1을 참고하면, 본 실시 예에 따른 사용자 집중도 분석장치(100)는 뇌신경 정보 분석 및 시선 패턴 분석을 통해 시각적인 자극에 대한 사용자의 집중도를 체크하여 사용자가 집중 상태인지 또는 비 집중 상태인지 등과 같은 자극에 대한 효과를 분석하기 위한 장치로서, 표시부(110), 시선정보 취득부(120), 저장부(130), 뇌신경정보 취득부(140), 판단부(150), 및 제어부(160)를 포함한다.

표시부(110)는 사용자 집중도 분석장치(100)에서 제공되는 각종 정보를 표시할 수 있다. 구체적으로, 표시부(110)는 저장부(130)에 기저장된 영상을 자극 영상으로서 사용자에게 표시할 수 있다. 이러한 표시부(110)는 CRT, LCD 등과 같은 디스플레이 장치로 구현할 수 있다. 한편, 본 실시 예에서는 사용자 집중도 분석장치(100)가 직접 영상을 표시하는 것으로 설명하였으나, 이러한 영상은 외부 기기에서 표시될 수도 있다.

시선정보 취득부(120)는 표시부(110)에 의해 표시된 영상에 대한 사용자의 시선 정보를 취득한다. 이를 위해, 시선정보 취득부(120)는 시선 특징 검출부(121), 및 시선 패턴 추출부(123)를 포함한다.

시선 특징 검출부(121)는 영상에 대한 사용자의 시선 특징을 검출한다. 구체적으로, 시선 특징 검출부(121)는 촬상 장치(또는 촬영장치)를 이용하여 사용자의 눈을 촬상하고, 촬상된 영상에서 사용자의 동공을 검출하고, 검출된 사용자의 동공 위치에 기초하여 사용자의 시선을 검출하고, 이러한 시선 검출 동작을 연속적으로 수행하여 사용자의 시선 경로(또는 시선 이동)를 검출할 수 있다. 또한, 이때, 시선 특징 검출부(121)는 시선 특징으로서, 자극 영상의 관심영역(Area of Interest: AOI)별 동공크기, 관심 영역별 눈 깜박임 횟수, 관심 영역별 응시시간, 및 관심 영역별 응시횟수를 검출할 수 있다. 검출된 시선 경로와 시선 특징은 저장부(130)에 저장될 수 있다. 한편, 본 실시 예에서는 표시부(110)와 시선 특징 검출부(121)가 별도의 구성인 것으로 설명하였으나, 구현시에는 아이트래킹 장치를 이용하여 하나의 구성으로 구현할 수도 있다.

저장부(130)는 복수의 영상을 저장한다. 그리고 저장부(130)는 시선 특징 검출부(121)에서 검출된 사용자의 시선 경로와 시선 특징에 대한 정보를 저장하거나, 후술할 시선 패턴 추출부(123)에서 추출된 시선 패턴 정보를 저장할 수 있다.

그리고 저장부(130)는 후술할 RAN-LTM(Resource Allocating Network with Long-Term Memory) 학습기의 학습 정보를 저장할 수 있다. 그리고 저장부(130)는 사용자 집중도 분석장치(100) 내부에 장착된 메모리, 예를 들면 ROM, 플래시 메모리나 HDD일 수 있으며, 사용자 집중도 분석장치(100)와 연결된 외장형 HDD 또는 메모리 카드, 예를 들면, 플래시 메모리(Flash Memory: M/S, XD, SD 등)나 USB 메모리 등일 수도 있다.

시선 패턴 추출부(123)는 시선 특징 검출부(121)에 의해 검출된 시선 특징으로부터 시선 패턴을 추출한다. 구체적으로, 시선 패턴 추출부(123)는 시선 특징 검출부(121)에서 검출된 사용자의 시선 경로 및 시선 특징에서 '최초 고정 시간(time to first fixation)', '응시 점', '동공 크기', '눈 깜빡임 횟수', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant)'과 같은 시선 패턴 정보를 추출할 수 있다.

여기서 '최초 고정 시간(time to first fixation)'은 자극(시각적 영상)을 제공받은 이후에 사용자의 시선이 고정될 때까지의 시간, 즉, 사용자 시선의 첫 번째로 고정될 때까지의 시간이고, '응시 점'은 사용자의 시선이 특정 관심영역(AOI)에 맺히는 지점이고, '동공 크기'는 시선의 특정 관심영역(AOI) 응시시 동공 크기이고, '눈 깜빡임 횟수'는 시선의 특정 관심영역(AOI) 응시시 눈의 깜빡임 횟수이고, '고정 길이(fixation length)'은 영상의 특정 관심영역(AOI)에서 사용자의 시선이 머무는 시간이며, '고정 횟수(fixation count)'는 영상의 특정 관심영역(AOI)에서 사용자의 시선이 머무는 횟수이며, '관찰 길이(observation length)'는 특정 관심영역(AOI)에서 사용자의 시선이 머무는 총 시간이고, '관찰 횟수(observation count)'는 특정 관심영역(AOI)에 사용자의 시선이 다시 머무는 횟수이고, '고정 비포(fixation before)'는 특정 관심영역(AOI) 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수이고, '참여율(Paricipant)'은 특정 관심영역(AOI) 내에 적어도 한번 시선이 머물렀던 사용자들의 퍼센테지, 즉, 특정 관심영역(AOI)에 대한 사용자들의 시선 고정 빈도이다. 이러한 시선 패턴 정보 각각을 사용자의 시선 경로 및 시선 특징에서 추출하는 방법은 널리 알려져 있는바, 각각의 시선 패턴 정보를 추출하는 구체적인 방법에 대한 설명은 생략한다.

뇌신경정보 취득부(140)는 영상에 대한 사용자의 뇌신경정보(EEG)를 취득한다. 이를 위해, 뇌신경정보 취득부(140)는 두피레벨 전극(141), 및 주파수 특징패턴 추출부(143)를 포함할 수 있다.

두피레벨 전극(141)은 사용자의 두피에 부착되고 뇌신경정보(EEG)를 측정한다. 구체적으로, 두피레벨 전극(141)은 각각 뇌의 서로 다른 부분과 연계되어 있는 수천 개의 동시적 신경 프로세스로부터 야기되는 전기적 활동(electrical activity)을 나타내는 다른 주파수 범위를 가지는 델타(delta)파, 세타(theta)파, 알파(alpha)파, 베타(beta)파 및 감마(gamma)파를 검출한다.

주파수 특징패턴 추출부(143)는 두피레벨 전극(146)에서 측정된 뇌신경정보(EEG)의 뇌파에서 주파수 특징 패턴을 추출한다. 구체적으로, 주파수 특징패턴 추출부(143)는 주파수 특징 패턴으로서, 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및 감마파 패턴을 검출할 수 있다. 여기서, 각 패턴은 사용자가 영상에 반응하는 동안 측정된 뇌신경정보(EEG)의 뇌파에서 해당 파가 기설정된 일정비율, 예를 들면, 20 % 이상 이상일 때 해당파의 패턴으로 검출할 수 있다. 여기서 기설정된 일정비율은 실험 등에 의하여 결정되는 것이 바람직하며, 고정된 값일 수 있으며, 제공되는 영상 또는 파 마다 다른 값일 수 있다.

여기서, 델타파는 4㎐ 미만으로 분류되고, 숙면 동안 우세한 파이다. 세타파는 3.5 내지 7.5㎐의 주파수를 가지고, 기억, 주의, 감정 및 감각과 관련이 있다. 통상적으로 세타파는 내부 집중(internal-focus) 상태 동안 우세하다. 알파 주파수는 통상적으로 7.5 내지 13㎐ 내에 위치하고, 10㎐ 부근에서 피크를 갖는다. 알파파는 이완(relaxation) 상태 동안 우세하다. 베타파는 14 내지 30㎐의 주파수 범위를 가지고, 운동 제어(motor control), 뇌 영역 간의 장거리 동기화(long range synchronization), 분석적 문제 해결, 판단, 결정 상태 동안 우세하다. 감마파는 30 내지 60㎐에서 발생하고, 특정 인지, 또는 운동 기능을 수행하기 위해 서로 다른 개체군의 뉴런(neuron)을 하나의 네트워크로 결합하는 것 뿐 아니라, 주의와 기억과 관련된다. 두개와 진피층은 이러한 주파수 범위의 파를 감쇠시키기 때문에, 75 ∼ 80㎐ 이상의 뇌파는 검출되기 어렵고, 자극 반응 평가를 위해서 일반적으로 사용되지 않는다.

뇌신경정보 취득부(140)는 두피레벨 전극(146)에서 측정된 뇌신경정보(EEG)를 필터링하여 사용자의 근육 운동, 눈 깜박임, 동공의 움직임에 따라 발생한 뇌파신호인 노이즈를 제거하여 순수 뇌신경정보(EEG)를 추출하는 노이즈 제거부(145)를 더 포함할 수 있다. 본 실시예에서, 노이즈 제거부(145)는 뇌신경정보(EEG)를 ICA와 같은 독립성분 추출 알고리즘을 통해 필터링할 수 있다. 이외에도, 뇌신경정보(EEG)는 고정 및 적응적 필터링, 가중 평균(weighted averaging), 벡터와 성분 분리법 등을 이용하여 필터링될 수 있다.

판단부(150)는 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 이용하여 사용자가 집중상태인지 또는 비 집중상태인지를 판단한다.

구체적으로, 판단부(150)는 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 RAN-LTM 학습기(153; 도 2 및 도 3 참조)를 통해 분석하여 사용자가 집중 상태인 지 또는 비집중 상태인 지를 분류하고 사용자의 집중 여부를 판단한다.

이때, RAN-LTM 학습기(153)는 시선의 영상의 특정 관심영역 응시시 동공 크기('동공 크기'), 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수('눈 깜빡임 횟수'), 특정 관심영역에 대한 시선이 머무는 시간('고정 길이'), 특정 관심영역에 대한 시선이 머무는 횟수('고정 횟수'), 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴(즉, 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및 감마파 패턴) 등에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴(neural) 네트워크 알고리즘을 이용하여 학습한 학습한 뉴럴 네트워크이다.

도 3는 도 2의 RAN-LTM 학습기(153)의 동작을 설명하기 위한 도면이다.

도 3을 참고하면, RAN-LTM 학습기(153)는 복수의 입력 항목(예를 들어, 시선 패턴 정보('동공 크기', '눈 깜빡임 횟수', '고정 길이', '고정 횟수' 등)와 뇌파의 주파수 특징 패턴 정보(델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴, 감마파 패턴 등))를 입력받으며, 뉴럴 네트워크 알고리즘을 이용하여 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단한다.

구체적으로, 집중은 사용자가 특정한 과제 혹은 활동에 일정 시간 동안 연속적으로 주의를 주는 것(즉 ‘지속적 주의’)이라 정의할 수 있다. 이러한 집중은 사용자의 시선 패턴 정보에서 시선의 '고정 길이'와 '고정 횟수', '동공 크기', '눈 깜빡임 횟수' 등으로 그 여부를 판단할 수 있다. 즉, 집중 시 사용자의 시선 패턴 정보는 '동공 크기'가 커지고 '눈 깜빡임 횟수'는 줄어든다. 또한, 시선의 '고정 길이'는 길어지고 '고정 횟수'는 늘어난다. 그리고, 비 집중 시는 위의 집중 시 시선 패턴 정보와 반대의 결과가 나타난다.

사용자의 주파수 특징 패턴 정보에서는 집중 시 세타파 패턴, 베타파 패턴 및 감마파 패턴이 나타날 가능성이 많으며, 비 집중 시에는 델타파 패턴 또는 알파파 패턴이 나타날 가능성이 많다.

그러나, 집중 및 비 집중시 사용자의 '동공 크기', '눈 깜빡임 횟수' 등과 같은 시선 패턴은 환경 또는 상황에 따라 그 수치가 고정된 것이 아니며 또 사용자마다 다르기 때문에, 단순한 사용자의 '동공 크기', '눈 깜빡임 횟수' 등과 같은 시선 패턴 정보만 가지고 집중 또는 비 집중 여부를 판단 하기는 어렵다. 또한, 사용자의 뇌파 주파수 특징 패턴 역시 환경에 따라 불특정하기 때문에, 단순한 주파수 특징 패턴만 가지고 집중 또는 비 집중 여부를 구분하긴 어려운 점이 있다.

이러한 점에서, 뉴럴 네트워크를 이용하여 시선 패턴의 '동공 크기', '눈 깜빡임 횟수', '고정 시간', '고정 횟수' 등과 주파수 특징 패턴(델타파 패턴, 알파파 패턴, 세타파 패턴, 베타파 패턴 및 감마파 패턴)의 유무에 따른 사용자의 집중도 정도를 학습하고, 학습된 뉴럴 네트워크인 RAN-LTM 학습기(153)를 이용하여 사용자의 현재 상태가 집중 상태인지 또는 비 집중 상태인지를 구분할 수 있다.

도 3를 참고하면, RAN-LTM 학습기(153)는 리소스 할당 네트워크(RAN, 154)와 장기 메모리(LTM, 155)를 포함함을 확인할 수 있다.

RAN(154)는 숨겨진 항목의 할당을 자동으로 수행하는 Radial Basis Function(RBF) 네트워크의 확장된 모델이다. 여기서, 입력 항목의 수, 숨겨진 항목의 수 및 출력 항목의 수를 각각 I, J, K로 나타내고, 입력을

, 숨겨진 항목의 출력을

, 출력을

라고 나타내면, 숨겨진 항목의 출력 값 및 출력의 출력값을 다음과 같이 표시할 수 있다.

여기서

이고,

는 j번째 숨겨진 항목의 중심 및 분산이고,

는 j번째 숨겨진 항목으로부터 k번째 출력 항목의 연결 가중치이고,

는 k번째 출력 항목의 바이어스(bias)이다.

LTM(155)는 대표 입-출력 쌍에 대응되는 '메모리 항목(memory items)'이라 불리는 항목을 저장할 수 있다. 이러한 입-출력 쌍은 학습 데이터(tranning data)로부터 선택될 수 있으며, 이들 쌍이 삭제되는 것을 방지하기 위하여 새롭게 주어진 학습 데이터로 학습이 수행될 수 있다.

이러한 학습 알고리즘에서, 메모리 항목은 숨겨진 항목이 할당될 때 생성된다. 즉, RBF 센터 및 대응되는 출력이 메모리 항목으로 저장될 수 있다.

이러한 RAN-LTM 학습기의 학습 알고리즘은 두 단계로 나눠진다. 구체적으로, 숨겨진 항목(예를 들어, RBF 센터의 선택)의 할당 동작과, 숨겨진 항목과 출력 항목 사이의 연결 가중치를 계산하는 동작으로 나눠질 수 있다. 전자의 동작은 메모리 항목이 동시에 생성된다는 점을 제외하고는 일반적인 RAN에서의 동작과 동일하다. 숨겨진 항목이 할당되면, 그 값들은 이후에 고정된다.

따라서, 연결 가중치(

)는 출력 에러에 기초하여 갱신되는 유일한 파라미터가 된다.

에러를 최소화하기 위하여, 다음과 같은 수학식 3과 같은 스퀘어 방법(squares method)이 이용될 수 있다.

여기서, D는 타깃 출력에 대응되는 칼럼 벡터들의 행렬이다.

학습 데이터(x, d)가 주어지고, 메모리 항목(M)

이 생성되어 있다고 가정하면, 타깃 행렬(D)은

이다.

따라서,

는 학습 데이터 및 메모리 항목을 이용하여 수학식 4와 같이 계산될 수 있다.

한편, 수학식 1의 W를 풀기 위하여, 특이값 분해(Singular value Decompostion, SVD)가 이용될 수 있다.

도 4는 도 2의 RAN-LTM 학습기(153)를 선행적으로 학습시키는데 이용된 영상의 예를 나타낸다. 도 4를 참고하면, 상술한 RAN LTM 학습기를 선행적으로 학습시키기 위하여, 비 집중 시의 자극 영상(a, c, e, g)과 집중 시의 자극 영상(b, d, f, h)이 이용된다. 본 실시예에서, 비 집중 시의 자극 영상(a, c, e, g)과 집중 시의 자극 영상(b, d, f, h)은 서로 동일한 영상이 사용될 수 있다.

도 5는 도 2의 RAN-LTM 학습기(153)를 선행적으로 학습시키는 동작을 설명하기 위한 도면이다.

먼저, 제공되는 영상에서 편안한 마음으로 흥미가 가는 곳을 검색하도록 하는 메시지를 사용자에게 표시할 수 있다(step 1).

이어서, 도 4에 도시된 비 집중 시의 자극 영상(a, c, e, 또는 g)과 같은 영상을 사용자에게 표시할 수 있다(step 2).

그 다음, 제공되는 영상 상에서 컵, 사람과 같은 특정한 물체나 영어단어와 같은 특정한 단어를 찾도록 하는 메시지를 사용자에게 표시할 수 있다(step 3).

이어서, 도 4에 도시된 집중 시의 자극 영상(b, d, f, 또는 h)와 같은 영상을 사용자에게 표시할 수 있다.(step 4).

그리고, 이런 과정을 매 회 다른 영상을 선택하여 사용자에게 표시하면서 2~3 회 수행할 수 있다(steps 5-8).

이러한 동작 과정에서, 사용자의 영상에 대한 시선 경로 및 시선 특징을 검출함과 아울러 뇌신경정보(EEG)를 검출하고, 검출된 시선 경로 및 시선 특징을 통해 '동공 크기', '눈 깜빡임 횟수', '고정 시간', '고정 횟수' 등과 같은 시선 패턴을 추출함과 아울러 뇌신경정보(EEG)의 뇌파에서 주파수 특징 패턴을 추출하고, 추출된 시선 패턴 및 주파수 특징 패턴에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 통해 RAN-LTM 학습기(153)에 학습시킬 수 있다.

제어부(160)는 사용자 집중도 분석장치(100)의 각 구성을 제어한다. 구체적으로, 사용자의 검사 명령이 입력되면, 제어부(160)는 저장부(130)에 기저장된 영상이 표시되도록 표시부(110)를 제어할 수 있다. 그리고 제어부(160)는 표시된 영상 상의 사용자의 시선 경로와 시선 특징이 검출되도록 시선 특징 검출부(121)를 제어하고, 검출된 시선 경로와 시선 특징으로부터 시선 패턴 정보가 추출되도록 시선 패턴 추출부(123)를 제어할 수 있다. 또한, 제어부(160)는 사용자의 뇌신경정보(EEG)가 검출되도록 두피레벨 전극(141)을 제어하고, 검출된 뇌신경정보(EEG)로부터 주파수 특징 패턴정보가 추출되도록 주파수 특징 패턴 추출부(143)를 제어할 수 있다. 그리고, 제어부(160)는 추출된 시선 패턴 정보와 뇌파의 주파수 특징 패턴 정보로부터 사용자가 집중 상태인지 또는 비 집중 상태인지가 판단되도록 판단부(150)를 제어할 수 있다. 그리고 제어부(160)는 판단된 사용자의 집중 또는 비 집중 여부가 표시되도록 표시부(110)를 제어할 수 있다.

본 실시 예에서는 판단 결과를 표시부(110)를 통하여 표시하는 동작만을 설명하였으나, 구현시에는 판단 결과가 저장부(130)에 저장되거나, 인쇄 장치를 통하여 인쇄되거나, 특정 장치에 전송되는 형태로도 구현될 수 있다.

따라서, 본 실시 예에 따른 사용자 집중도 분석장치는, 사용자의 시선 특징(시선 패턴)과 사용자의 뇌파의 주파수 특성(주파수 특징 패턴)을 분석하여 사용자의 집중 여부를 파악할 수 있게 된다.

이하 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치(100)의 동작을 도 2 및 도 6을 참조하면 설명하면 다음과 같다.

먼저 표시부(110)는 영상(image)을 사용자에게 표시한다(S10).

영상이 표시되면, 시선 특징 검출부(121)는 영상에 대한 사용자의 시선 경로와 시선 특징을 검출한다. 아울러, 두피레벨 전극(141)은 사용자의 뇌신경정보(EEG)를 검출한다(S20).

시선 경로와 시선 특징이 검출되면, 시선 특징 추출부(123)는 검출된 시선 경로와 시선 특징에서 '최초 고정 시간(time to first fixation)', '응시점', '동공 크기', '눈 깜빡임 횟수', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant)'와 같은 시선 패턴을 추출할 수 있다. 또한, 주파수 특징패턴 추출부(143)는 두피레벨 전극(146)에서 측정된 뇌신경정보(EEG)의 뇌파에서 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및 감마파 패턴과 같은 주파수 특징 패턴을 추출한다(S30).

시선 패턴 정보와 주파수 특징 패턴 정보가 추출되면, 판단부(150)는 시선 패턴 정보와 주파수 특징 패턴 정보를, RAN-LTM 학습기(153)를 이용하여 분석하여 사용자의 집중 상태 여부를 판단할 수 있다(S40).

따라서, 본 실시 예에 다른 사용자 집중도 분석 방법은, 사용자의 시선 패턴 정보와 뇌파의 주파수 특징 패턴 정보를 분석하여 사용자가 집중 상태인지 또는 비집중 상태 인지를 판단할 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100: 사용자 집중도 분석장치 110: 표시부
120: 시선정보 취득부 121: 시선 특징 검출부
123: 시선 패턴 추출부 130: 저장부
140: 뇌신경정보 취득부 141: 두피레벨 전극
143: 주파수 특징 패턴 추출부 145: 노이즈 제거부 150: 판단부 160: 제어부

Claims

사용자에게 영상을 제공하는 표시부;
상기 영상에 대한 상기 사용자의 시선 정보를 취득하는 시선정보 취득부;
상기 영상에 대한 사용자의 뇌신경정보를 취득하는 뇌신경정보 취득부; 및
상기 취득된 시선 정보와 뇌신경정보를 이용하여 상기 사용자가 집중상태인지 또는 비 집중상태인지를 판단하는 판단부를 포함하며,
상기 뇌신경정보 취득부는,
상기 사용자의 두피에 부착되고 상기 뇌신경정보를 측정하는 두피레벨 전극; 및
상기 측정된 뇌신경정보에서 주파수 특징 패턴을 추출하는 주파수 특징 패턴 추출부를 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
제1항에 있어서, 상기 시선정보 취득부는,
상기 영상에 대한 상기 사용자의 시선 특징을 검출하는 시선 특징 검출부; 및
상기 추출된 시선 특징에서 시선 패턴을 추출하는 시선 패턴 추출부를 포함하며,
상기 시선 특징은 상기 영상의 관심 영역별 동공크기, 관심 영역별 눈 깜박임, 관심 영역별 응시시간, 및 관심 영역별 응시횟수 중에서 적어도 하나를 포함하며,
상기 시선 패턴은 상기 사용자의 시선이 처음 고정되는 시간, 시선이 상기 영상의 특정 관심영역에 맺히는 응시 점, 시선의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에서의 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 특정 관심영역 안에서 시선이 머무는 총 시간, 특정 관심영역에 다시 시선이 머무는 횟수, 특정 관심영역 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수, 및 특정 관심영역에 대한 사용자들의 시선 고정 빈도 중에서 적어도 하나를 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
삭제
삭제
삭제
제1항에 있어서, 상기 주파수 특징 패턴은 각각의 해당 주파수가 일정비율 이상 포함되어 나타나는 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및 감마파 패턴 중에서 적어도 하나를 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
제1항에 있어서, 상기 뇌신경정보 취득부는 측정된 뇌신경정보를 필터링하여 노이즈를 제거하여 순수 뇌신경정보를 추출하는 노이즈 제거부를 더 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
제2항에 있어서, 상기 판단부는 상기 추출된 시선 패턴 정보 및 주파수 특징 패턴 정보를 RAN-LTM 학습기를 통해 분석하여 상기 사용자가 상기 집중 상태인지 또는 상기 비 집중 상태인지를 판단하는 것을 특징으로 하는 사용자 집중도 분석장치.
제8항에 있어서, 상기 RAN-LTM 학습기는 시선의 상기 영상의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 시선의 특정 관심영역에 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 및 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴 중에서 적어도 하나에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 이용하여 학습한 뉴럴 네트워크를 포함하는 것을 특징으로 하는 사용자 집중도 분석 장치.
사용자에게 영상을 제공하는 단계;
상기 영상에 대한 상기 사용자의 시선 정보를 취득하는 단계;
상기 영상에 대한 상기 사용자의 뇌신경정보를 취득하는 단계; 및
상기 취득된 시선 정보와 뇌신경정보를 이용하여 상기 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단하는 단계를 포함하며,
상기 뇌신경정보를 취득하는 단계는,
상기 뇌신경정보를 측정하는 단계; 및
상기 측정된 뇌신경정보에서 주파수 특징 패턴을 추출하는 단계를 포함하는 것을 특징으로 하는 사용자 집중도 분석방법.
제10항에 있어서, 상기 시선 정보를 취득하는 단계는,
상기 영상에 대한 상기 사용자의 시선 특징을 검출하는 단계; 및
상기 추출된 시선 특징에서 시선 패턴을 추출하는 단계를 포함하며,
상기 시선 특징은 상기 영상의 관심 영역별 동공크기, 관심 영역별 눈 깜박임, 관심 영역별 응시시간, 및 관심 영역별 응시횟수 중에서 적어도 하나를 포함하며,
상기 시선 패턴은 상기 사용자의 시선이 처음 고정되는 시간, 시선이 상기 영상의 특정 관심영역에 맺히는 응시 점, 시선의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에서의 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 특정 관심영역 안에서 시선이 머무는 총 시간, 특정 관심영역에 다시 시선이 머무는 횟수, 특정 관심영역 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수, 및 특정 관심영역에 대한 사용자들의 시선 고정 빈도 중에서 적어도 하나를 포함하는 것을 특징으로 하는 사용자 집중도 분석방법.
삭제
제11항에 있어서, 상기 판단하는 단계는, 상기 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 RAN-LTM 학습기를 통해 분석하여 상기 사용자가 집중 상태인 지 또는 비 집중 상태인 것으로 판단하는 것을 특징으로 하는 사용자 집중도 분석방법.
제13항에 있어서, 상기 RAN-LTM 학습기는 시선의 상기 영상의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 및 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴 중에서 적어도 하나에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 이용하여 학습한 것을 특징으로 하는 사용자 집중도 분석방법.