KR20120124772A - 사용자 집중도 분석장치 및 방법 - Google Patents

사용자 집중도 분석장치 및 방법 Download PDF

Info

Publication number
KR20120124772A
KR20120124772A KR1020110042614A KR20110042614A KR20120124772A KR 20120124772 A KR20120124772 A KR 20120124772A KR 1020110042614 A KR1020110042614 A KR 1020110042614A KR 20110042614 A KR20110042614 A KR 20110042614A KR 20120124772 A KR20120124772 A KR 20120124772A
Authority
KR
South Korea
Prior art keywords
gaze
user
pattern
information
image
Prior art date
Application number
KR1020110042614A
Other languages
English (en)
Other versions
KR101247748B1 (ko
Inventor
이민호
장영민
권민구
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110042614A priority Critical patent/KR101247748B1/ko
Publication of KR20120124772A publication Critical patent/KR20120124772A/ko
Application granted granted Critical
Publication of KR101247748B1 publication Critical patent/KR101247748B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Ophthalmology & Optometry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

사용자 집중도 분석 장치 및 방법이 개시된다. 사용자 집중도 분석 장치는, 사용자에게 영상을 제공하는 표시부; 영상에 대한 사용자의 시선 정보를 취득하는 시선정보 취득부; 영상에 대한 사용자의 뇌신경정보를 취득하는 뇌신경정보 취득부; 및 취득된 시선 정보와 뇌신경정보를 이용하여 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단하는 판단부를 포함하는 것을 특징으로 한다.

Description

사용자 집중도 분석장치 및 방법{Apparatus for analysing focus and nonfocus states and method therof}
본 발명은 사용자 집중도 분석장치 및 방법에 관한 것으로, 보다 상세하게는 뇌신경 정보 분석(EEG) 및 시선(안구운동) 패턴 분석을 통해 시각적인 자극에 대한 사용자의 집중도를 체크하여 사용자가 집중 상태인지 또는 비 집중 상태인지 등과 같은 자극에 대한 효과를 분석하는 사용자 집중도 분석장치 및 방법에 관한 것이다.
다양한 형태의 자극의 효과에 관한 정보를 얻기 위한 종래의 방법은 일반적으로 피실험자에게 자극에 반응하여 나타나는 사고와 감정을 파악하기 위한 구두 및 서면 수단을 제공하여 반응 정도를 분석하는 조사작업에 의존하고 있다. 이러한 구두 및 서면 수단에 의한 조사작업은 자극의 효과에 대한 일부 한정된 정보를 제공하지만, 다양한 제약사항을 갖는다. 예를 들면, 피실험자가 주제에 대한 자신의 진짜 사고와 감정을 표현하지 못하거나 표현하지 않을 수 있고, 또 질문이 편향적으로 만들어질 수 있다. 또한, 명확히 표현하지 않는 피실험자 보다 명확히 표현하는 피실험자에게 더 가중치가 매겨질 수 있다.
이러한 문제를 해결하기 위해, 피실험자의 자극에 대한 반응을 측정하기 위해 신경학적 및 신경생리학적 측정치를 사용하는 방법들에 대한 연구가 활발하게 이루어지고 있다.
이러한 방법의 한 예는 목표 자극을 주었을 때 목표 자극에 반응하는 뇌파와 방해 자극을 주었을 때 방해 자극에 반응하는 뇌파를 상호 비교 분석하는 방법이 알려져 있다. 하지만, 이 방법은 뇌신경정보 분석(EEG)과 같은 제한된 중앙 신경계의 신경생리학적 측정에 의존하므로, 의식 상태와 무의식 상태와 같은 뚜렷한 의식 상태 차이를 측정하는 데는 유용한 데이타를 제공하지만, 의식 상태에서의 자극에 대한 미소한 집중 및/또는 비집중 여부를 측정하는 데는 다양한 의미분석과 해석적 오류 때문에 비효율적이고 부정확한 문제점이 있다.
따라서, 의식 상태에서의 자극에 대한 사용자의 미소한 집중 및/또는 비 집중 여부를 효율적이고 정확하게 분석하는 개선된 방법과 장치의 개발이 요구되고 있다.
본 발명은 상술한 바와 같은 종래의 문제점을 감안하여 이를 개선하고자 창출된 것으로, 본 발명의 목적은 뇌신경 정보 분석 및 시선 패턴 분석을 통해 시각적인 자극에 대한 사용자의 집중도를 체크하여 사용자가 집중 상태인지 또는 비 집중 상태인지 등과 같은 자극에 대한 효과를 분석할 수 있게 한 사용자 집중도 분석장치 및 방법을 제공하는 데 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시양태에 따르면, 사용자 집중도 분석장치는, 사용자에게 영상을 제공하는 표시부; 영상에 대한 사용자의 시선 정보를 취득하는 시선정보 취득부; 영상에 대한 사용자의 뇌신경정보(EEG)를 취득하는 뇌신경정보 취득부; 및 취득된 시선 정보와 뇌신경정보를 이용하여 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단하는 판단부를 포함하는 것을 특징으로 한다.
시선정보 취득부는, 영상에 대한 사용자의 시선 특징을 검출하는 시선 특징 검출부, 및 추출된 시선 특징에서 시선 패턴을 추출하는 시선 패턴 추출부를 포함할 수 있다. 이때, 시선 특징은 영상의 관심영역(Area of Interest: AOI)별 동공크기, 관심 영역별 눈 깜박임, 관심 영역별 응시시간, 및/또는 관심 영역별 응시횟수를 포함할 수 있다. 또한, 시선 패턴은 사용자 시선이 처음 고정되는 시간, 시선이 특정 관심영역에 맺히는 응시 점, 시선의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에서의 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 특정 관심영역 안에서 시선이 머무는 총 시간, 특정 관심영역에 다시 시선이 머무는 횟수, 특정 관심영역 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수, 및/또는 특정 관심영역에 대한 사용자들의 시선 고정 빈도를 포함할 수 있다.
뇌신경정보 취득부는 사용자의 두피에 부착되고 뇌신경정보(EEG)를 측정하는 두피레벨 전극, 및 측정된 뇌신경정보(EEG)에서 주파수 특징 패턴을 추출하는 주파수 특징패턴 추출부를 포함할 수 있다. 이때, 주파수 특징 패턴은 각각의 해당 주파수가 일정비율 이상 포함되어 나타나는 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및/또는 감마파 패턴을 포함할 수 있다.
뇌신경정보 취득부는 획득한 뇌신경정보를 필터링하여 노이즈를 제거하여 순수 뇌신경정보를 추출하는 노이즈제거부를 더 포함할 수 있다. 노이즈제거부는 획득한 뇌신경정보를 ICA(Independent Component Analysis)와 같은 독립성분 추출, 고정 및 적응적 필터링, 가중 평균(weighted averaging), 벡터와 성분 분리법 등을 통해 이용할 수 있다. 이때, 노이즈는 사용자의 근육 운동, 눈 깜박임, 및 동공의 움직임에 따라 발생한 뇌파신호일 수 있다.
판단부는 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 RAN-LTM(Resource Allocating Network with Long Term Memory) 학습기를 통해 분석 하여 사용자가 집중 상태에 있는지 또는 비 집중 상태에 있는지를 판단할 수 있다. 이때 RAN-LTM 학습기는 시선의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에서의 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 및/또는 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 이용하여 학습한 뉴럴 네트워크를 포함할 수 있다.
본 발명의 또 다른 실시양태에 따르면, 사용자 집중도 분석방법은, 사용자에게 영상을 제공하는 단계; 영상에 대한 사용자의 시선 정보를 취득하는 단계; 영상에 대한 사용자의 뇌신경정보(EEG)를 취득하는 단계; 및 취득된 시선 정보와 뇌신경정보를 이용하여 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단하는 단계를 포함하는 것을 특징으로 한다.
시선 정보를 취득하는 단계는 영상에 대한 사용자의 시선 특징을 검출하는 단계, 및 추출된 시선 특징에서 시선 패턴을 추출하는 단계를 포함할 수 있다.
뇌신경정보(EEG)를 취득하는 단계는, 뇌신경정보(EEG)를 측정하는 단계, 및 측정된 뇌신경정보(EEG)에서 주파수 특징 패턴을 추출하는 단계를 포함할 수 있다.
판단하는 단계는, 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 RAN-LTM(Resource Allocating Network with Long-Term Memory) 학습기를 통해 분석하여 사용자가 집중 상태 인지 또는 비 집중 상태인지를 판단할 수 있다. 이때, RAN-LTM 학습기는 시선의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 및/또는 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 이용하여 학습한 것이 바람직하다.
이상에서 설명한 바와 같이, 본 발명의 실시 예에 따른 사용자 집중도 분석장치 및 방법은 시선 특징과 뇌신경정보로부터 각각 추출된 시선 패턴과 주파수 특징 패턴을 융합적으로 분석하여 사용자가 집중 상태인지 또는 비 집중 상태 인지를 판단한다. 따라서, 본 발명의 사용자 집중도 분석장치 및 방법은 종래의 제한된 중앙 신경계의 신경생리학적 측정방법과 비교하여, 영상에 따른 사용자의 미소한 집중 및/또는 비 집중 여부를 효율적이고 정확하게 분석할 수 있다. 그 결과, 본 발명의 사용자 집중도 분석장치 및 방법은 집중도에 따른 신경 심리학 및 신경 생리학적 차이점과 장애요소를 파악하여 치료하는 의학적 치료 분야, 집중/비 집중에 따른 분야별 학업 성취도 파악 및 새로운 교육의 방법론을 제시할 수 있는 교육분야, 및 사용자의 집중도에 따른 관심 대상과 그 의도를 사용자의 반응 전에 시스템이 스스로 판단하여 사전에 서비스를 제공하는 광고나 마케팅 분야 등에 활용하여 효과를 극대화할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치의 구성을 나타내는 블록도,
도 2는 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치의 동작을 설명하기 위한 도면,
도 3는 도 2의 RAN-LTM 학습기의 동작을 설명하기 위한 도면,
도 4는 도 2의 RAN-LTM 학습기를 선행적으로 학습시키는데 이용된 영상의 예를 나타내는 도면,
도 5는 도 2의 RAN-LTM 학습기를 선행적으로 학습시키는 동작을 설명하기 위한 도면, 및
도 6은 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치의 사용자 집중도 분석 방법의 동작을 설명하기 위한 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명에 대하여 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치의 구성을 나타내는 블록도이다.
도 1을 참고하면, 본 실시 예에 따른 사용자 집중도 분석장치(100)는 뇌신경 정보 분석 및 시선 패턴 분석을 통해 시각적인 자극에 대한 사용자의 집중도를 체크하여 사용자가 집중 상태인지 또는 비 집중 상태인지 등과 같은 자극에 대한 효과를 분석하기 위한 장치로서, 표시부(110), 시선정보 취득부(120), 저장부(130), 뇌신경정보 취득부(140), 판단부(150), 및 제어부(160)를 포함한다.
표시부(110)는 사용자 집중도 분석장치(100)에서 제공되는 각종 정보를 표시할 수 있다. 구체적으로, 표시부(110)는 저장부(130)에 기저장된 영상을 자극 영상으로서 사용자에게 표시할 수 있다. 이러한 표시부(110)는 CRT, LCD 등과 같은 디스플레이 장치로 구현할 수 있다. 한편, 본 실시 예에서는 사용자 집중도 분석장치(100)가 직접 영상을 표시하는 것으로 설명하였으나, 이러한 영상은 외부 기기에서 표시될 수도 있다.
시선정보 취득부(120)는 표시부(110)에 의해 표시된 영상에 대한 사용자의 시선 정보를 취득한다. 이를 위해, 시선정보 취득부(120)는 시선 특징 검출부(121), 및 시선 패턴 추출부(123)를 포함한다.
시선 특징 검출부(121)는 영상에 대한 사용자의 시선 특징을 검출한다. 구체적으로, 시선 특징 검출부(121)는 촬상 장치(또는 촬영장치)를 이용하여 사용자의 눈을 촬상하고, 촬상된 영상에서 사용자의 동공을 검출하고, 검출된 사용자의 동공 위치에 기초하여 사용자의 시선을 검출하고, 이러한 시선 검출 동작을 연속적으로 수행하여 사용자의 시선 경로(또는 시선 이동)를 검출할 수 있다. 또한, 이때, 시선 특징 검출부(121)는 시선 특징으로서, 자극 영상의 관심영역(Area of Interest: AOI)별 동공크기, 관심 영역별 눈 깜박임 횟수, 관심 영역별 응시시간, 및 관심 영역별 응시횟수를 검출할 수 있다. 검출된 시선 경로와 시선 특징은 저장부(130)에 저장될 수 있다. 한편, 본 실시 예에서는 표시부(110)와 시선 특징 검출부(121)가 별도의 구성인 것으로 설명하였으나, 구현시에는 아이트래킹 장치를 이용하여 하나의 구성으로 구현할 수도 있다.
저장부(130)는 복수의 영상을 저장한다. 그리고 저장부(130)는 시선 특징 검출부(121)에서 검출된 사용자의 시선 경로와 시선 특징에 대한 정보를 저장하거나, 후술할 시선 패턴 추출부(123)에서 추출된 시선 패턴 정보를 저장할 수 있다.
그리고 저장부(130)는 후술할 RAN-LTM(Resource Allocating Network with Long-Term Memory) 학습기의 학습 정보를 저장할 수 있다. 그리고 저장부(130)는 사용자 집중도 분석장치(100) 내부에 장착된 메모리, 예를 들면 ROM, 플래시 메모리나 HDD일 수 있으며, 사용자 집중도 분석장치(100)와 연결된 외장형 HDD 또는 메모리 카드, 예를 들면, 플래시 메모리(Flash Memory: M/S, XD, SD 등)나 USB 메모리 등일 수도 있다.
시선 패턴 추출부(123)는 시선 특징 검출부(121)에 의해 검출된 시선 특징으로부터 시선 패턴을 추출한다. 구체적으로, 시선 패턴 추출부(123)는 시선 특징 검출부(121)에서 검출된 사용자의 시선 경로 및 시선 특징에서 '최초 고정 시간(time to first fixation)', '응시 점', '동공 크기', '눈 깜빡임 횟수', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant)'과 같은 시선 패턴 정보를 추출할 수 있다.
여기서 '최초 고정 시간(time to first fixation)'은 자극(시각적 영상)을 제공받은 이후에 사용자의 시선이 고정될 때까지의 시간, 즉, 사용자 시선의 첫 번째로 고정될 때까지의 시간이고, '응시 점'은 사용자의 시선이 특정 관심영역(AOI)에 맺히는 지점이고, '동공 크기'는 시선의 특정 관심영역(AOI) 응시시 동공 크기이고, '눈 깜빡임 횟수'는 시선의 특정 관심영역(AOI) 응시시 눈의 깜빡임 횟수이고, '고정 길이(fixation length)'은 영상의 특정 관심영역(AOI)에서 사용자의 시선이 머무는 시간이며, '고정 횟수(fixation count)'는 영상의 특정 관심영역(AOI)에서 사용자의 시선이 머무는 횟수이며, '관찰 길이(observation length)'는 특정 관심영역(AOI)에서 사용자의 시선이 머무는 총 시간이고, '관찰 횟수(observation count)'는 특정 관심영역(AOI)에 사용자의 시선이 다시 머무는 횟수이고, '고정 비포(fixation before)'는 특정 관심영역(AOI) 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수이고, '참여율(Paricipant)'은 특정 관심영역(AOI) 내에 적어도 한번 시선이 머물렀던 사용자들의 퍼센테지, 즉, 특정 관심영역(AOI)에 대한 사용자들의 시선 고정 빈도이다. 이러한 시선 패턴 정보 각각을 사용자의 시선 경로 및 시선 특징에서 추출하는 방법은 널리 알려져 있는바, 각각의 시선 패턴 정보를 추출하는 구체적인 방법에 대한 설명은 생략한다.
뇌신경정보 취득부(140)는 영상에 대한 사용자의 뇌신경정보(EEG)를 취득한다. 이를 위해, 뇌신경정보 취득부(140)는 두피레벨 전극(141), 및 주파수 특징패턴 추출부(143)를 포함할 수 있다.
두피레벨 전극(141)은 사용자의 두피에 부착되고 뇌신경정보(EEG)를 측정한다. 구체적으로, 두피레벨 전극(141)은 각각 뇌의 서로 다른 부분과 연계되어 있는 수천 개의 동시적 신경 프로세스로부터 야기되는 전기적 활동(electrical activity)을 나타내는 다른 주파수 범위를 가지는 델타(delta)파, 세타(theta)파, 알파(alpha)파, 베타(beta)파 및 감마(gamma)파를 검출한다.
주파수 특징패턴 추출부(143)는 두피레벨 전극(146)에서 측정된 뇌신경정보(EEG)의 뇌파에서 주파수 특징 패턴을 추출한다. 구체적으로, 주파수 특징패턴 추출부(143)는 주파수 특징 패턴으로서, 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및 감마파 패턴을 검출할 수 있다. 여기서, 각 패턴은 사용자가 영상에 반응하는 동안 측정된 뇌신경정보(EEG)의 뇌파에서 해당 파가 기설정된 일정비율, 예를 들면, 20 % 이상 이상일 때 해당파의 패턴으로 검출할 수 있다. 여기서 기설정된 일정비율은 실험 등에 의하여 결정되는 것이 바람직하며, 고정된 값일 수 있으며, 제공되는 영상 또는 파 마다 다른 값일 수 있다.
여기서, 델타파는 4㎐ 미만으로 분류되고, 숙면 동안 우세한 파이다. 세타파는 3.5 내지 7.5㎐의 주파수를 가지고, 기억, 주의, 감정 및 감각과 관련이 있다. 통상적으로 세타파는 내부 집중(internal-focus) 상태 동안 우세하다. 알파 주파수는 통상적으로 7.5 내지 13㎐ 내에 위치하고, 10㎐ 부근에서 피크를 갖는다. 알파파는 이완(relaxation) 상태 동안 우세하다. 베타파는 14 내지 30㎐의 주파수 범위를 가지고, 운동 제어(motor control), 뇌 영역 간의 장거리 동기화(long range synchronization), 분석적 문제 해결, 판단, 결정 상태 동안 우세하다. 감마파는 30 내지 60㎐에서 발생하고, 특정 인지, 또는 운동 기능을 수행하기 위해 서로 다른 개체군의 뉴런(neuron)을 하나의 네트워크로 결합하는 것 뿐 아니라, 주의와 기억과 관련된다. 두개와 진피층은 이러한 주파수 범위의 파를 감쇠시키기 때문에, 75 ? 80㎐ 이상의 뇌파는 검출되기 어렵고, 자극 반응 평가를 위해서 일반적으로 사용되지 않는다.
뇌신경정보 취득부(140)는 두피레벨 전극(146)에서 측정된 뇌신경정보(EEG)를 필터링하여 사용자의 근육 운동, 눈 깜박임, 동공의 움직임에 따라 발생한 뇌파신호인 노이즈를 제거하여 순수 뇌신경정보(EEG)를 추출하는 노이즈 제거부(145)를 더 포함할 수 있다. 본 실시예에서, 노이즈 제거부(145)는 뇌신경정보(EEG)를 ICA와 같은 독립성분 추출 알고리즘을 통해 필터링할 수 있다. 이외에도, 뇌신경정보(EEG)는 고정 및 적응적 필터링, 가중 평균(weighted averaging), 벡터와 성분 분리법 등을 이용하여 필터링될 수 있다.
판단부(150)는 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 이용하여 사용자가 집중상태인지 또는 비 집중상태인지를 판단한다.
구체적으로, 판단부(150)는 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 RAN-LTM 학습기(153; 도 2 및 도 3 참조)를 통해 분석하여 사용자가 집중 상태인 지 또는 비집중 상태인 지를 분류하고 사용자의 집중 여부를 판단한다.
이때, RAN-LTM 학습기(153)는 시선의 영상의 특정 관심영역 응시시 동공 크기('동공 크기'), 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수('눈 깜빡임 횟수'), 특정 관심영역에 대한 시선이 머무는 시간('고정 길이'), 특정 관심영역에 대한 시선이 머무는 횟수('고정 횟수'), 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴(즉, 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및 감마파 패턴) 등에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴(neural) 네트워크 알고리즘을 이용하여 학습한 학습한 뉴럴 네트워크이다.
도 3는 도 2의 RAN-LTM 학습기(153)의 동작을 설명하기 위한 도면이다.
도 3을 참고하면, RAN-LTM 학습기(153)는 복수의 입력 항목(예를 들어, 시선 패턴 정보('동공 크기', '눈 깜빡임 횟수', '고정 길이', '고정 횟수' 등)와 뇌파의 주파수 특징 패턴 정보(델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴, 감마파 패턴 등))를 입력받으며, 뉴럴 네트워크 알고리즘을 이용하여 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단한다.
구체적으로, 집중은 사용자가 특정한 과제 혹은 활동에 일정 시간 동안 연속적으로 주의를 주는 것(즉 ‘지속적 주의’)이라 정의할 수 있다. 이러한 집중은 사용자의 시선 패턴 정보에서 시선의 '고정 길이'와 '고정 횟수', '동공 크기', '눈 깜빡임 횟수' 등으로 그 여부를 판단할 수 있다. 즉, 집중 시 사용자의 시선 패턴 정보는 '동공 크기'가 커지고 '눈 깜빡임 횟수'는 줄어든다. 또한, 시선의 '고정 길이'는 길어지고 '고정 횟수'는 늘어난다. 그리고, 비 집중 시는 위의 집중 시 시선 패턴 정보와 반대의 결과가 나타난다.
사용자의 주파수 특징 패턴 정보에서는 집중 시 세타파 패턴, 베타파 패턴 및 감마파 패턴이 나타날 가능성이 많으며, 비 집중 시에는 델타파 패턴 또는 알파파 패턴이 나타날 가능성이 많다.
그러나, 집중 및 비 집중시 사용자의 '동공 크기', '눈 깜빡임 횟수' 등과 같은 시선 패턴은 환경 또는 상황에 따라 그 수치가 고정된 것이 아니며 또 사용자마다 다르기 때문에, 단순한 사용자의 '동공 크기', '눈 깜빡임 횟수' 등과 같은 시선 패턴 정보만 가지고 집중 또는 비 집중 여부를 판단 하기는 어렵다. 또한, 사용자의 뇌파 주파수 특징 패턴 역시 환경에 따라 불특정하기 때문에, 단순한 주파수 특징 패턴만 가지고 집중 또는 비 집중 여부를 구분하긴 어려운 점이 있다.
이러한 점에서, 뉴럴 네트워크를 이용하여 시선 패턴의 '동공 크기', '눈 깜빡임 횟수', '고정 시간', '고정 횟수' 등과 주파수 특징 패턴(델타파 패턴, 알파파 패턴, 세타파 패턴, 베타파 패턴 및 감마파 패턴)의 유무에 따른 사용자의 집중도 정도를 학습하고, 학습된 뉴럴 네트워크인 RAN-LTM 학습기(153)를 이용하여 사용자의 현재 상태가 집중 상태인지 또는 비 집중 상태인지를 구분할 수 있다.
도 3를 참고하면, RAN-LTM 학습기(153)는 리소스 할당 네트워크(RAN, 154)와 장기 메모리(LTM, 155)를 포함함을 확인할 수 있다.
RAN(154)는 숨겨진 항목의 할당을 자동으로 수행하는 Radial Basis Function(RBF) 네트워크의 확장된 모델이다. 여기서, 입력 항목의 수, 숨겨진 항목의 수 및 출력 항목의 수를 각각 I, J, K로 나타내고, 입력을
Figure pat00001
, 숨겨진 항목의 출력을
Figure pat00002
, 출력을
Figure pat00003
라고 나타내면, 숨겨진 항목의 출력 값 및 출력의 출력값을 다음과 같이 표시할 수 있다.
Figure pat00004
Figure pat00005
여기서
Figure pat00006
이고,
Figure pat00007
는 j번째 숨겨진 항목의 중심 및 분산이고,
Figure pat00008
는 j번째 숨겨진 항목으로부터 k번째 출력 항목의 연결 가중치이고,
Figure pat00009
는 k번째 출력 항목의 바이어스(bias)이다.
LTM(155)는 대표 입-출력 쌍에 대응되는 '메모리 항목(memory items)'이라 불리는 항목을 저장할 수 있다. 이러한 입-출력 쌍은 학습 데이터(tranning data)로부터 선택될 수 있으며, 이들 쌍이 삭제되는 것을 방지하기 위하여 새롭게 주어진 학습 데이터로 학습이 수행될 수 있다.
이러한 학습 알고리즘에서, 메모리 항목은 숨겨진 항목이 할당될 때 생성된다. 즉, RBF 센터 및 대응되는 출력이 메모리 항목으로 저장될 수 있다.
이러한 RAN-LTM 학습기의 학습 알고리즘은 두 단계로 나눠진다. 구체적으로, 숨겨진 항목(예를 들어, RBF 센터의 선택)의 할당 동작과, 숨겨진 항목과 출력 항목 사이의 연결 가중치를 계산하는 동작으로 나눠질 수 있다. 전자의 동작은 메모리 항목이 동시에 생성된다는 점을 제외하고는 일반적인 RAN에서의 동작과 동일하다. 숨겨진 항목이 할당되면, 그 값들은 이후에 고정된다.
따라서, 연결 가중치(
Figure pat00010
)는 출력 에러에 기초하여 갱신되는 유일한 파라미터가 된다.
에러를 최소화하기 위하여, 다음과 같은 수학식 3과 같은 스퀘어 방법(squares method)이 이용될 수 있다.
Figure pat00011
여기서, D는 타깃 출력에 대응되는 칼럼 벡터들의 행렬이다.
학습 데이터(x, d)가 주어지고, 메모리 항목(M)
Figure pat00012
Figure pat00013
이 생성되어 있다고 가정하면, 타깃 행렬(D)은
Figure pat00014
이다.
따라서,
Figure pat00015
는 학습 데이터 및 메모리 항목을 이용하여 수학식 4와 같이 계산될 수 있다.
Figure pat00016
한편, 수학식 1의 W를 풀기 위하여, 특이값 분해(Singular value Decompostion, SVD)가 이용될 수 있다.
도 4는 도 2의 RAN-LTM 학습기(153)를 선행적으로 학습시키는데 이용된 영상의 예를 나타낸다. 도 4를 참고하면, 상술한 RAN LTM 학습기를 선행적으로 학습시키기 위하여, 비 집중 시의 자극 영상(a, c, e, g)과 집중 시의 자극 영상(b, d, f, h)이 이용된다. 본 실시예에서, 비 집중 시의 자극 영상(a, c, e, g)과 집중 시의 자극 영상(b, d, f, h)은 서로 동일한 영상이 사용될 수 있다.
도 5는 도 2의 RAN-LTM 학습기(153)를 선행적으로 학습시키는 동작을 설명하기 위한 도면이다.
먼저, 제공되는 영상에서 편안한 마음으로 흥미가 가는 곳을 검색하도록 하는 메시지를 사용자에게 표시할 수 있다(step 1).
이어서, 도 4에 도시된 비 집중 시의 자극 영상(a, c, e, 또는 g)과 같은 영상을 사용자에게 표시할 수 있다(step 2).
그 다음, 제공되는 영상 상에서 컵, 사람과 같은 특정한 물체나 영어단어와 같은 특정한 단어를 찾도록 하는 메시지를 사용자에게 표시할 수 있다(step 3).
이어서, 도 4에 도시된 집중 시의 자극 영상(b, d, f, 또는 h)와 같은 영상을 사용자에게 표시할 수 있다.(step 4).
그리고, 이런 과정을 매 회 다른 영상을 선택하여 사용자에게 표시하면서 2~3 회 수행할 수 있다(steps 5-8).
이러한 동작 과정에서, 사용자의 영상에 대한 시선 경로 및 시선 특징을 검출함과 아울러 뇌신경정보(EEG)를 검출하고, 검출된 시선 경로 및 시선 특징을 통해 '동공 크기', '눈 깜빡임 횟수', '고정 시간', '고정 횟수' 등과 같은 시선 패턴을 추출함과 아울러 뇌신경정보(EEG)의 뇌파에서 주파수 특징 패턴을 추출하고, 추출된 시선 패턴 및 주파수 특징 패턴에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 통해 RAN-LTM 학습기(153)에 학습시킬 수 있다.
제어부(160)는 사용자 집중도 분석장치(100)의 각 구성을 제어한다. 구체적으로, 사용자의 검사 명령이 입력되면, 제어부(160)는 저장부(130)에 기저장된 영상이 표시되도록 표시부(110)를 제어할 수 있다. 그리고 제어부(160)는 표시된 영상 상의 사용자의 시선 경로와 시선 특징이 검출되도록 시선 특징 검출부(121)를 제어하고, 검출된 시선 경로와 시선 특징으로부터 시선 패턴 정보가 추출되도록 시선 패턴 추출부(123)를 제어할 수 있다. 또한, 제어부(160)는 사용자의 뇌신경정보(EEG)가 검출되도록 두피레벨 전극(141)을 제어하고, 검출된 뇌신경정보(EEG)로부터 주파수 특징 패턴정보가 추출되도록 주파수 특징 패턴 추출부(143)를 제어할 수 있다. 그리고, 제어부(160)는 추출된 시선 패턴 정보와 뇌파의 주파수 특징 패턴 정보로부터 사용자가 집중 상태인지 또는 비 집중 상태인지가 판단되도록 판단부(150)를 제어할 수 있다. 그리고 제어부(160)는 판단된 사용자의 집중 또는 비 집중 여부가 표시되도록 표시부(110)를 제어할 수 있다.
본 실시 예에서는 판단 결과를 표시부(110)를 통하여 표시하는 동작만을 설명하였으나, 구현시에는 판단 결과가 저장부(130)에 저장되거나, 인쇄 장치를 통하여 인쇄되거나, 특정 장치에 전송되는 형태로도 구현될 수 있다.
따라서, 본 실시 예에 따른 사용자 집중도 분석장치는, 사용자의 시선 특징(시선 패턴)과 사용자의 뇌파의 주파수 특성(주파수 특징 패턴)을 분석하여 사용자의 집중 여부를 파악할 수 있게 된다.
이하 본 발명의 일 실시 예에 따른 사용자 집중도 분석장치(100)의 동작을 도 2 및 도 6을 참조하면 설명하면 다음과 같다.
먼저 표시부(110)는 영상(image)을 사용자에게 표시한다(S10).
영상이 표시되면, 시선 특징 검출부(121)는 영상에 대한 사용자의 시선 경로와 시선 특징을 검출한다. 아울러, 두피레벨 전극(141)은 사용자의 뇌신경정보(EEG)를 검출한다(S20).
시선 경로와 시선 특징이 검출되면, 시선 특징 추출부(123)는 검출된 시선 경로와 시선 특징에서 '최초 고정 시간(time to first fixation)', '응시점', '동공 크기', '눈 깜빡임 횟수', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant)'와 같은 시선 패턴을 추출할 수 있다. 또한, 주파수 특징패턴 추출부(143)는 두피레벨 전극(146)에서 측정된 뇌신경정보(EEG)의 뇌파에서 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및 감마파 패턴과 같은 주파수 특징 패턴을 추출한다(S30).
시선 패턴 정보와 주파수 특징 패턴 정보가 추출되면, 판단부(150)는 시선 패턴 정보와 주파수 특징 패턴 정보를, RAN-LTM 학습기(153)를 이용하여 분석하여 사용자의 집중 상태 여부를 판단할 수 있다(S40).
따라서, 본 실시 예에 다른 사용자 집중도 분석 방법은, 사용자의 시선 패턴 정보와 뇌파의 주파수 특징 패턴 정보를 분석하여 사용자가 집중 상태인지 또는 비집중 상태 인지를 판단할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 사용자 집중도 분석장치 110: 표시부
120: 시선정보 취득부 121: 시선 특징 검출부
123: 시선 패턴 추출부 130: 저장부
140: 뇌신경정보 취득부 141: 두피레벨 전극
143: 주파수 특징 패턴 추출부 145: 노이즈 제거부 150: 판단부 160: 제어부

Claims (14)

  1. 사용자에게 영상을 제공하는 표시부;
    상기 영상에 대한 상기 사용자의 시선 정보를 취득하는 시선정보 취득부;
    상기 영상에 대한 사용자의 뇌신경정보를 취득하는 뇌신경정보 취득부; 및
    상기 취득된 시선 정보와 뇌신경정보를 이용하여 상기 사용자가 집중상태인지 또는 비 집중상태인지를 판단하는 판단부를 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
  2. 제1항에 있어서, 상기 시선정보 취득부는,
    상기 영상에 대한 상기 사용자의 시선 특징을 검출하는 시선 특징 검출부; 및
    상기 추출된 시선 특징에서 시선 패턴을 추출하는 시선 패턴 추출부를 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
  3. 제2항에 있어서, 상기 시선 특징은 상기 영상의 관심 영역별 동공크기, 관심 영역별 눈 깜박임, 관심 영역별 응시시간, 및 관심 영역별 응시횟수 중에서 적어도 하나를 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
  4. 제2항에 있어서, 상기 시선 패턴은 상기 사용자의 시선이 처음 고정되는 시간, 시선이 상기 영상의 특정 관심영역에 맺히는 응시 점, 시선의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에서의 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 특정 관심영역 안에서 시선이 머무는 총 시간, 특정 관심영역에 다시 시선이 머무는 횟수, 특정 관심영역 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수, 및 특정 관심영역에 대한 사용자들의 시선 고정 빈도 중에서 적어도 하나를 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
  5. 제2항에 있어서, 상기 뇌신경정보 취득부는,
    상기 사용자의 두피에 부착되고 상기 뇌신경정보를 측정하는 두피레벨 전극; 및
    상기 측정된 뇌신경정보에서 주파수 특징 패턴을 추출하는 주파수 특징 패턴 추출부를 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
  6. 제5항에 있어서, 상기 주파수 특징 패턴은 각각의 해당 주파수가 일정비율 이상 포함되어 나타나는 델타파 패턴, 세타파 패턴, 알파파 패턴, 베타파 패턴 및 감마파 패턴 중에서 적어도 하나를 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
  7. 제5항에 있어서, 상기 뇌신경정보 취득부는 측정된 뇌신경정보를 필터링하여 노이즈를 제거하여 순수 뇌신경정보를 추출하는 노이즈 제거부를 더 포함하는 것을 특징으로 하는 사용자 집중도 분석장치.
  8. 제5항에 있어서, 상기 판단부는 상기 추출된 시선 패턴 정보 및 주파수 특징 패턴 정보를 RAN-LTM 학습기를 통해 분석하여 상기 사용자가 상기 집중 상태인지 또는 상기 비 집중 상태인지를 판단하는 것을 특징으로 하는 사용자 집중도 분석장치.
  9. 제8항에 있어서, 상기 RAN-LTM 학습기는 시선의 상기 영상의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 시선의 특정 관심영역에 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 및 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴 중에서 적어도 하나에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 이용하여 학습한 뉴럴 네트워크를 포함하는 것을 특징으로 하는 사용자 집중도 분석 장치.
  10. 사용자에게 영상을 제공하는 단계;
    상기 영상에 대한 상기 사용자의 시선 정보를 취득하는 단계;
    상기 영상에 대한 상기 사용자의 뇌신경정보를 취득하는 단계; 및
    상기 취득된 시선 정보와 뇌신경정보를 이용하여 상기 사용자가 집중 상태인지 또는 비 집중 상태인지를 판단하는 단계를 포함하는 것을 특징으로 하는 사용자 집중도 분석방법.
  11. 제10항에 있어서, 상기 시선 정보를 취득하는 단계는,
    상기 영상에 대한 상기 사용자의 시선 특징을 검출하는 단계; 및
    상기 추출된 시선 특징에서 시선 패턴을 추출하는 단계를 포함하는 것을 특징으로 하는 사용자 집중도 분석방법.
  12. 제11항에 있어서, 상기 뇌신경정보를 취득하는 단계는,
    상기 뇌신경정보를 측정하는 단계, 및
    상기 측정된 뇌신경정보에서 주파수 특징 패턴을 추출하는 단계를 포함하는 것을 특징으로 하는 사용자 집중도 분석방법.
  13. 제12항에 있어서, 상기 판단하는 단계는, 상기 추출된 시선 패턴 정보와 주파수 특징 패턴 정보를 RAN-LTM 학습기를 통해 분석하여 상기 사용자가 집중 상태인 지 또는 비 집중 상태인 것으로 판단하는 것을 특징으로 하는 사용자 집중도 분석방법.
  14. 제13항에 있어서, 상기 RAN-LTM 학습기는 시선의 상기 영상의 특정 관심영역 응시시 동공 크기, 시선의 특정 관심영역 응시시 눈의 깜빡임 횟수, 특정 관심영역에 시선이 머무는 시간, 특정 관심영역에 시선이 머무는 횟수, 및 특정 관심영역의 자극에 대한 뇌파의 주파수 특징 패턴 중에서 적어도 하나에 따른 사용자의 집중 상태 또는 비 집중 상태를 뉴럴 네트워크 알고리즘을 이용하여 학습한 것을 특징으로 하는 사용자 집중도 분석방법.
KR1020110042614A 2011-05-04 2011-05-04 사용자 집중도 분석장치 및 방법 KR101247748B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110042614A KR101247748B1 (ko) 2011-05-04 2011-05-04 사용자 집중도 분석장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110042614A KR101247748B1 (ko) 2011-05-04 2011-05-04 사용자 집중도 분석장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120124772A true KR20120124772A (ko) 2012-11-14
KR101247748B1 KR101247748B1 (ko) 2013-03-26

Family

ID=47510056

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110042614A KR101247748B1 (ko) 2011-05-04 2011-05-04 사용자 집중도 분석장치 및 방법

Country Status (1)

Country Link
KR (1) KR101247748B1 (ko)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140077694A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 뇌파를 이용한 자폐 범주성 장애 진단 장치 및 그 방법
WO2017104869A1 (ko) * 2015-12-17 2017-06-22 주식회사 룩시드랩스 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법
KR20170120546A (ko) * 2017-10-20 2017-10-31 상명대학교산학협력단 동공 크기 변화를 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치
KR20180028888A (ko) * 2016-09-09 2018-03-19 고려대학교 산학협력단 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법
WO2018088871A1 (ko) * 2016-11-14 2018-05-17 고려대학교 산학협력단 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템
KR20180096434A (ko) * 2017-02-21 2018-08-29 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
WO2019031869A1 (en) * 2017-08-10 2019-02-14 Ewha University - Industry Collaboration Foundation METHOD OF DETERMINING LEARNING SITUATION, AND APPARATUS IMPLEMENTING THE METHOD
KR20190017221A (ko) * 2017-08-10 2019-02-20 이화여자대학교 산학협력단 생리 데이터를 이용한 학습 수준 판단 방법 및 장치
KR20190021752A (ko) * 2017-08-23 2019-03-06 이화여자대학교 산학협력단 사전 지식 및 생리 심리 반응을 이용한 인지 부하 판단 방법 및 인지 부하 판단 장치
KR20190130925A (ko) * 2018-05-15 2019-11-25 연세대학교 원주산학협력단 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템
KR20190140767A (ko) * 2018-06-12 2019-12-20 영남대학교 산학협력단 몰입도 측정장치 및 방법
KR20200030937A (ko) * 2018-09-13 2020-03-23 고려대학교 산학협력단 신경망 및 캡스트럼 기법에 기반한 집중지수 산출 장치 및 방법
KR20200093235A (ko) * 2019-01-28 2020-08-05 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
KR20200113050A (ko) * 2019-03-20 2020-10-06 주식회사 토즈 가상현실을 이용한 집중력 강화시스템
KR20200135431A (ko) * 2018-03-22 2020-12-02 재팬 사이언스 앤드 테크놀로지 에이전시 처리 장치, 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법 및 프로그램
WO2021040181A1 (ko) * 2019-08-29 2021-03-04 주식회사 룩시드랩스 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스
KR20210090879A (ko) * 2020-01-13 2021-07-21 주식회사 비주얼캠프 시선 분석 방법 및 이를 수행하기 위한 장치
CN113440151A (zh) * 2021-08-03 2021-09-28 合肥科飞康视科技有限公司 一种专注力检测系统、检测方法及系统的使用方法
KR20220163690A (ko) 2021-06-03 2022-12-12 한국전자통신연구원 집중도 검사 지원 장치 및 방법
KR20230016448A (ko) 2021-07-26 2023-02-02 한국전자통신연구원 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법 및 장치
KR20240060312A (ko) 2022-10-28 2024-05-08 삼성에스디에스 주식회사 집중도 분석을 위한 학습 장치 및 방법, 집중도 분석 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102235716B1 (ko) * 2016-12-14 2021-04-05 한국전자기술연구원 가상현실을 이용한 학습장애 진단/치유장치, 및 그 방법
KR102595614B1 (ko) 2021-10-21 2023-11-01 한국생산기술연구원 집단감성신호를 이용한 사용자 집중도 변화 장치 및 그 방법
KR20230167668A (ko) * 2022-06-02 2023-12-11 주식회사 크리에이츠 골프 스윙에 관한 피드백 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100386393B1 (ko) * 2000-04-27 2003-06-02 이일근 시청각 자극을 통한 집중력 및 인지능력 강화 방법 및 집중력 및 인지능력 강화 프로그램 제공 시스템
KR20020068681A (ko) * 2001-02-22 2002-08-28 김연호 헤드셋형 휴대용 뇌파측정기를 이용한 집중도와 안정도측정 시스템
KR20100021702A (ko) * 2008-08-18 2010-02-26 이필규 효율적인 모바일/온라인 광고효과 측정을 위하여 시선추적,다중센서 정보를 이용하는 방법, 단말기 및 시스템
JP2010057710A (ja) * 2008-09-04 2010-03-18 Toyota Central R&D Labs Inc 集中度算出装置及びプログラム

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140077694A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 뇌파를 이용한 자폐 범주성 장애 진단 장치 및 그 방법
US10481683B2 (en) 2015-12-17 2019-11-19 Looxid Labs Inc. Eye-brain interface (EBI) system and method for controlling same
WO2017104869A1 (ko) * 2015-12-17 2017-06-22 주식회사 룩시드랩스 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법
US10860097B2 (en) 2015-12-17 2020-12-08 Looxid Labs, Inc. Eye-brain interface (EBI) system and method for controlling same
KR20180028888A (ko) * 2016-09-09 2018-03-19 고려대학교 산학협력단 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법
WO2018088871A1 (ko) * 2016-11-14 2018-05-17 고려대학교 산학협력단 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템
KR20180096434A (ko) * 2017-02-21 2018-08-29 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
WO2019031869A1 (en) * 2017-08-10 2019-02-14 Ewha University - Industry Collaboration Foundation METHOD OF DETERMINING LEARNING SITUATION, AND APPARATUS IMPLEMENTING THE METHOD
KR20190017221A (ko) * 2017-08-10 2019-02-20 이화여자대학교 산학협력단 생리 데이터를 이용한 학습 수준 판단 방법 및 장치
KR20190021752A (ko) * 2017-08-23 2019-03-06 이화여자대학교 산학협력단 사전 지식 및 생리 심리 반응을 이용한 인지 부하 판단 방법 및 인지 부하 판단 장치
KR20170120546A (ko) * 2017-10-20 2017-10-31 상명대학교산학협력단 동공 크기 변화를 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치
US11983309B2 (en) 2018-03-22 2024-05-14 Japan Science And Technology Agency Device and method to acquire timing of blink motion performed by a dialogue device
KR20200135431A (ko) * 2018-03-22 2020-12-02 재팬 사이언스 앤드 테크놀로지 에이전시 처리 장치, 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법 및 프로그램
KR20190130925A (ko) * 2018-05-15 2019-11-25 연세대학교 원주산학협력단 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템
KR20190140767A (ko) * 2018-06-12 2019-12-20 영남대학교 산학협력단 몰입도 측정장치 및 방법
KR20200030937A (ko) * 2018-09-13 2020-03-23 고려대학교 산학협력단 신경망 및 캡스트럼 기법에 기반한 집중지수 산출 장치 및 방법
WO2020159093A1 (ko) * 2019-01-28 2020-08-06 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
US20220067376A1 (en) * 2019-01-28 2022-03-03 Looxid Labs Inc. Method for generating highlight image using biometric data and device therefor
KR20200093235A (ko) * 2019-01-28 2020-08-05 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
JP2022516640A (ja) * 2019-01-28 2022-03-01 ルーシッド ラブス インコーポレイテッド 生体データを利用したハイライト映像生成方法及びその装置
KR20200113050A (ko) * 2019-03-20 2020-10-06 주식회사 토즈 가상현실을 이용한 집중력 강화시스템
WO2021040181A1 (ko) * 2019-08-29 2021-03-04 주식회사 룩시드랩스 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스
JP2022545868A (ja) * 2019-08-29 2022-11-01 ルーシッド ラブス インコーポレイテッド 選好度決定方法及びそれを利用した選好度決定用デバイス
WO2021145515A1 (ko) * 2020-01-13 2021-07-22 주식회사 비주얼캠프 시선 분석 방법 및 이를 수행하기 위한 장치
KR20210090879A (ko) * 2020-01-13 2021-07-21 주식회사 비주얼캠프 시선 분석 방법 및 이를 수행하기 위한 장치
KR20220163690A (ko) 2021-06-03 2022-12-12 한국전자통신연구원 집중도 검사 지원 장치 및 방법
KR20230016448A (ko) 2021-07-26 2023-02-02 한국전자통신연구원 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법 및 장치
CN113440151A (zh) * 2021-08-03 2021-09-28 合肥科飞康视科技有限公司 一种专注力检测系统、检测方法及系统的使用方法
CN113440151B (zh) * 2021-08-03 2024-04-12 合肥科飞康视科技有限公司 一种专注力检测系统、检测方法及系统的使用方法
KR20240060312A (ko) 2022-10-28 2024-05-08 삼성에스디에스 주식회사 집중도 분석을 위한 학습 장치 및 방법, 집중도 분석 장치

Also Published As

Publication number Publication date
KR101247748B1 (ko) 2013-03-26

Similar Documents

Publication Publication Date Title
KR101247748B1 (ko) 사용자 집중도 분석장치 및 방법
US11452475B2 (en) Systems and methods for assessing and improving sustained attention
EP2800507B1 (en) Apparatus for psychiatric evaluation
Hu et al. Real-time sensing of trust in human-machine interactions
US11903720B2 (en) System and method for detecting neurological disease
Trujillo et al. Beauty is in the ease of the beholding: A neurophysiological test of the averageness theory of facial attractiveness
CN108366730B (zh) 对eeg信号进行预处理用于认知负荷测量的方法和系统
US11083398B2 (en) Methods and systems for determining mental load
Mill et al. Empirical validation of directed functional connectivity
JP2015054240A (ja) コンテンツ評価システム及びそれを用いたコンテンツ評価方法
JP2021504093A (ja) 神経障害の検出および一般的認知能力の測定のためのシステムおよび方法
JP2007524448A (ja) 初期の緑内障を検出し、モニタする自動処置方法及び装置
Kaur et al. Using virtual reality to examine the neural and physiological anxiety-related responses to balance-demanding target-reaching leaning tasks
CN112842360B (zh) 一种判断优势眼和非优势眼的方法及系统
CN111743553B (zh) 一种基于眼动数据的情感特征提取方法及系统
Li et al. Data fusion and analysis techniques of neuromarketing
Sinha et al. Artifact removal from EEG signals recorded using low resolution Emotiv device
US11950919B2 (en) System for real-time measurement of the activity of a cognitive function and method for calibrating such a system
Kang et al. Development of intelligent learning tool for improving foreign language skills based on EEG and eye tracker
CN116098587B (zh) 一种基于眼动的认知评估方法、装置、设备及介质
RU2690917C1 (ru) Способ объективного измерения остроты зрения (варианты)
Razi et al. Resting State Electroencephalogram in Autism Spectrum Disorder Identification Based on Neuro-Physiological Interface of Affect (NPIA) Modelling
Gambiraža et al. Classification of Cognitive Load based on Oculometric Features
Niamba et al. A Support Vector Machine Application for the Detection of Pupillary Markers of Cognitive Workload
CN113827238A (zh) 基于虚拟现实和眼动信息的情绪评估方法、装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 8