KR20180076797A

KR20180076797A - 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법

Info

Publication number: KR20180076797A
Application number: KR1020160181349A
Authority: KR
Inventors: 정은준
Original assignee: (주)뮤테이션
Priority date: 2016-12-28
Filing date: 2016-12-28
Publication date: 2018-07-06
Also published as: KR101955583B1

Abstract

본 발명은 학습 중인 학습자의 뇌전도(EEG: Electroencephalogram) 신호와 필요에 따라 안구 움직임을 검출 한 후 학습 시의 집중 여부와 흥미도 변화 또는 기억 여부에 따라 학습 가이드를 가상현실을 통해 표시하여 학습을 보조할 수 있도록 하는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법에 에 관한 것이다.
상기 학습 보조 장치(100)는, 뇌전도 신호와 뇌전도 신호에 대응하는 학습자의 학습자 상태정보를 뇌전도분류정보로 저장하는 뇌전도분류DB부(110); 상기 학습자 상태정보별로 출력되도록 대응되는 학습 가이드 콘텐츠를 저장하는 학습가이드콘텐츠DB부(120); 학습자의 뇌전도 신호를 측정하는 뇌전도센서부(130); 상기 뇌전도센서부(130)에서 측정된 학습자의 뇌전도 신호와 기 설정된 오차 범위 내에서 유사한 패턴을 가지는 뇌전도 신호에 대응하는 학습자 상태정보를 상기 뇌전도분류DB부(110)로부터 추출하여 출력하는 뇌전도분류추출부(150); 상기 뇌전도분류추출부(150))에서 추출된 뇌전도 신호에 대응하는 학습자 상태정보에 대응하는 학습가이드콘텐츠를 상기 학습가이드콘텐츠DB부(120)로부터 추출하여 재생하는 학습가이드콘텐츠재생부(160); 및 상기 학습가이드콘텐츠재생부(160)에서 재생되는 학습가이드콘텐츠를 표시하는 표시부(170);를 포함하여 구성된다.

Description

뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법{STUDY SUPPORT APPARATUS USING EEG AND ARTIFICIAL REALITY AND THE METHOD THEREOF}

본 발명은 학습 보조 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 학습 중인 학습자의 뇌전도(EEG: Electroencephalogram) 신호와 필요에 따라 안구 움직임을 검출 한 후 학습 시의 집중 여부와 흥미도 변화 또는 기억 여부에 따라 학습 가이드를 가상현실을 통해 표시하여 학습을 보조할 수 있도록 하는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법에 에 관한 것이다.

인터넷 기술 및 가상현실 기술의 발달에 따라 가상현실을 이용하여 교육을 수행하는 E-러닝 기술 또한 함께 발전하였다.

일예로, 대한민국 등록특허 제11381594호는 촬영 영상에서 학생 영상을 추출하는 영상 컴퓨터와, 원격지 강사를 촬영한 영상에서 원격지 강사의 영상을 추출하는 원격지 강사 컴퓨터와, 가상공간이 구현된 학습 콘텐츠를 실행하며 원격지 강사 컴퓨터와 실시간 통신을 수행하는 교실 강사 컴퓨터 및 학습 콘텐츠의 가상공간에 학생의 영상 및 강상의 영상을 합성하는 가상현실 컴퓨터를 포함하여 구성되어, 교실의 학생 및 원격지의 강사가 등장하는 가상공간을 구현하여 학생이 학습 콘텐츠에 실제로 들어간 것처럼 느끼면서 가상현실 콘텐츠와 상호작용하는 학습을 지원하도록 하는 가상현실을 이용한 교육 장치 및 방법을 개시한다.

이에 더하여 EEG 기술 또한 급격히 발전하고 있다, 구체적으로, EEG(뇌전도 또는 뇌파도(腦波圖))의 측정과 활용은 뇌과학에서 최근 빈번하게 다루어지는 주제이다. 특정 영역의 채널에서 발생하는 신호가 의미하는 인지적 의미에 대해 기계학습(Machine learning)을 포함한 다양한 데이터 사이언스 기법을 적용하여 분석이 진행되어, 일부 습식 다채널 EEG를 통한 센싱 결과는 다양한 뇌기능을 과학적으로 설명하는 수준에 이르고 있다.

그러나 상술한 종래기술들 중 가상현실을 이용한 교육은 학습자(사용자)의 학습 성과, 학습 중의 집중도 등의 학습자 상태 정보를 측정하여 제공하지 못하므로, 학습자들의 상황별 효율적인 학습을 제공하지 못하는 문제점을 가진다.

또한 상기 EEG 기술은 가상현실을 이용한 학습이나 온라인을 통한 E-러닝 시의 학생들의 효율적인 학습을 위해 적용되지 못하는 문제점을 가진다.

대한민국 등록특허 제11381594호

따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 학습 중인 상자의 뇌전도(EEG: Electroencephalogram) 신호와 필요에 따라 안구 움직임을 검출 한 후 학습 시의 집중, 집중부족, 흥미 상승, 흥미 하락, 학습 후의 기억 또는 잊음에 대한 뇌전도 신호 분류 데이터베이스를 구축한 후, 학습 과정에서 사용자의 뇌전도 신호를 측정하여 분석한 후 대응되는 학습 가이드를 수행하는 것에 의해 오프라인 또는 온라인상의 학습의 효율을 현저히 향상시킬 수 있도록 하는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 인식과 이해 여부 센싱을 통하여 다양한 교육 서비스 분야, 집중 여부 파악을 통한 다양한 경고 이벤트 발생 분야, 사고 내용에 대한 카테고라이징을 통한 다양한 콘텐츠 개인화 분야에 적용할 수 있도록 하는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법을 제공하는 것을 다른 목적으로 한다.

상술한 목적을 달성하기 위한 본 발명의 뇌전도 신호와 가상현실을 이용한 학습 보조 장치(100)(이하, '학습 보조 장치(100)'라 함)는,

뇌전도 신호와 뇌전도 신호에 대응하는 학습자의 학습자 상태정보를 뇌전도분류정보로 저장하는 뇌전도분류DB부(110);

상기 학습자 상태정보별로 출력되도록 대응되는 학습 가이드 콘텐츠를 저장하는 학습가이드콘텐츠DB부(120);

학습자의 뇌전도 신호를 측정하는 뇌전도센서부(130);

상기 뇌전도센서부(130)에서 측정된 학습자의 뇌전도 신호와 기 설정된 오차 범위 내에서 유사한 패턴을 가지는 뇌전도 신호에 대응하는 학습자 상태정보를 상기 뇌전도분류DB부(110)로부터 추출하여 출력하는 뇌전도분류추출부(150);

상기 뇌전도분류추출부(150))에서 추출된 뇌전도 신호에 대응하는 학습자 상태정보에 대응하는 학습가이드콘텐츠를 상기 학습가이드콘텐츠DB부(120)로부터 추출하여 재생하는 학습가이드콘텐츠재생부(160); 및

상기 학습가이드콘텐츠재생부(160)에서 재생되는 학습가이드콘텐츠를 표시하는 표시부(170);를 포함하여 구성될 수 있다.

상기 학습자 상태정보는,

집중, 집중부족, 이해도 높음, 이해도 낮음, 흥미 상승, 흥미 하락, 학습 후의 기억, 학습 후의 잊음으로 분류될 수 있다.

상기 뇌전도분류정보는,

학습자에 대하여 반복적으로 뇌전도 신호와 학습자의 상태 정보를 측정하여 저장하는 것에 의해 대용량 데이터를 생성한 후, 딥러닝(Deep neural network, DNN)을 적용하여 뇌전도 신호 패턴을 추출한 후 뇌전도 신호패턴 별로 학습자 상태정보를 대응시킨 정보일 수 있다.

상기 학습가이드콘텐츠는 가상현실 기반의 영상 정보이고, 상기 표시부(170)는 상기 학습가이드콘텐츠를 표시하는 가상현실표시부로 구성될 수 있다.

상기 학습가이드콘텐츠는,

영상, 3D 모델 영상, 사진, 음성 또는 가상의 선생님의 말풍선 또는 풀이에 도움을 주는 필기의 작성을 포함하는 3D 행동 중 어느 하나에 대한 가상현실 영상일 수 있다.

상기 학습 보조 장치(100)는,

학습자의 눈동자의 움직임을 검출하는 눈동자추적부(140)를 더 포함하여 구성되고,

상기 뇌전도분류DB부(110)는 상기 학습자의 눈동자 움직임 패턴에 대응하는 학습자 상태정보를 더 저장하도록 구성될 수 있다.

상술한 목적을 달성하기 위한 본 발명의 뇌전도 신호와 가상현실을 이용한 학습 보조 방법은,

뇌전도분류DB부(110)가 뇌전도 신호와 뇌전도 신호에 대응하는 학습자의 상태정보를 뇌전도분류정보로 입력받아 저장하여 뇌전도분류DB부(110)를 생성하는 뇌전도분류DB부생성과정(S100);

학습가이드콘텐츠DB부(120)가 상기 학습자 상태정보 별로 출력되도록 대응되는 학습 가이드 콘텐츠를 입력받아 저장하여 학습가이드콘텐츠DB부(120)를 생성하는 학습가이드콘텐츠DB부생성과정(S200);

뇌전도센서부(130)가 학습자의 뇌전도 신호를 측정하는 신호측정과정(S300);

뇌전도분류추출부(150)가 상기 뇌전도센서부(130)에서 측정된 학습자의 뇌전도 신호와 기 설정된 오차 범위 내에서 유사한 패턴을 가지는 뇌전도 신호에 대응하는 학습자 상태정보를 상기 뇌전도분류DB부(110)로부터 추출하여 출력하는 뇌전도분류추출과정(S400);

학습가이드콘텐츠재생부(160)가 상기 뇌전도분류추출과정(S400)에서 추출된 뇌전도 신호에 대응하는 학습자 상태정보에 대응하는 학습가이드콘텐츠를 상기 학습가이드콘텐츠DB부(120)로부터 추출하는 학습가이드콘텐츠추출과정(S500); 및

상기 학습가이드콘텐츠재생부(160)가 추출된 상기 학습가이드콘텐츠를 재생한 후 표시부(170)에 표시하는 학습가이드콘텐츠재생과정(S600);을 포함하여 이루어질 수 있다.

상기 학습자 상태정보는,

상기 뇌전도분류정보는,

학습자에 대하여 반복적으로 뇌전도 신호와 학습자의 상태 정보를 측정하여 저장하는 것에 의해 대용량 데이터를 생성한 후, 딥러닝(Deep neural network, DNN)을 적용하여 뇌전도 신호 패턴을 추출한 후 뇌전도 신호패턴 별로 학습자의 상태 정보를 분류한 후 대응시킨 정보일 수 있다.

상기 신호측정과정(S300)은, 눈동자추적부(140)가 학습자의 눈동자의 움직임을 검출하는 과정을 더 포함하고,

상기 뇌전도분류추출과정(S400)은 상기 눈동자의 움직임 패턴에 대응하는 하습 상태 정보를 추출하는 과정을 더 포함할 수 있다.

상술한 구성을 가지는 본 발명의 뇌전도 및 가상현실을 이용한 학습 보조 장치 및 그 방법은, 학습 중인 상자의 뇌전도(EEG: Electroencephalogram) 신호와 필요에 따라 안구 움직임을 검출 한 후 학습 시의 집중, 집중부족, 이해도 높음, 이해도 낮음, 흥미 상승, 흥미 하락, 학습 후의 기억 또는 잊음에 대한 뇌전도 패턴과 학습자 상태 정보를 매칭하여 데이터베이스를 구축한 후, 학습 과정에서 사용자의 뇌전도 신호를 측정하여 분석한 후 대응되는 학습 가이드를 수행하는 것에 의해 학습의 효율성을 현저히 향상시키는 효과를 제공한다.

또한, 본 발명은 인식과 이해 여부 센싱을 통하여 다양한 교육 서비스 분야, 집중 여부 파악을 통한 다양한 경고 이벤트 발생 분야, 사고 내용에 대한 카테고라이징을 통한 다양한 콘텐츠 개인화 분야를 활성화시키는 효과를 제공한다.

도 1은 본 발명의 실시예에 따르는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치(100)의 기능 블록 구성도.
도 2는 뇌전도분류DB부(110)의 생성의 일 예로서의 단어 학습에 따른 뇌전도 신호의 변화를 나타내는 도면.
도 3은 도 1의 학습 보조 장치(100)의 구현 예로서의 헤어밴드를 나타내는 도면.
도 4는 도 1의 학습 보조 장치(100)의 구현 예로서의 고글을 구비한 헤드셋을 나타내는 도면.
도 5는 도 1의 학습 보조 장치(100)의 구현 예로서의 홀로그램 영상 출력 기능을 가지는 HMD를 나타내는 도면.
도 6은 본 발명의 실시예에 따르는 뇌전도 신호와 가상현실을 이용한 학습 보조 방법의 처리과정을 나타내는 순서도.

하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 1은 본 발명의 실시예에 따르는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치(100)(이하, '학습 보조 장치(100)'라 함)의 기능 블록 구성도이다.

도 1에 도시된 바와 같이, 상기 학습 보조 장치(100)는 뇌전도분류DB부(110), 학습가이드콘텐츠DB부(120), 뇌전도센서부(130), 눈동자추적부(140), 뇌전도분류추출부(150), 학습가이드콘텐츠재생부(160) 및 표시부(170)를 포함하여 구성된다.

상기 뇌전도분류DB부(110)는 뇌전도 신호와 뇌전도 신호에 대응하는 학습자의 학습자 상태정보를 뇌전도분류정보로 저장하는 데이터베이스로 구성된다. 상기 뇌전도분류정보를 구성하는 학습자 상태정보는 학습에 대한 집중, 집중부족, 이해도 높음, 이해도 낮음, 흥미 상승, 흥미 하락, 학습 후의 기억, 학습 후의 잊음 등으로 분류될 수 있다.

상술한 바와 같이 뇌전도 신호와 학습자 상태정보가 대응되도록 분류되는 뇌전도분류정보는, 학습자에 대하여 반복적으로 뇌전도 신호와 학습자 상태정보를 측정하여 저장하는 것에 의해 대용량 데이터를 생성한 후, 딥러닝(Deep neural network, DNN)을 적용하여 뇌전도 신호패턴 별로 학습자 상태 정보를 대응시키는 것에 의해 생성된다.

독일어 학습에 대한 기억 또는 잊음에 대한 뇌전도분류정보 생성의 일 예를 들면, 화면, EEG 측정 하드웨어, 눈동자 추적(eye-tracking) 측정 하드웨어 및 제어 소프트웨어를 구비한 후, 다수의 학습자들을 대상으로 단어 학습 세션을 진행함과 함께 뇌전도 신호를 측정한다. 이 때, 각 세션에서 학습자들은 먼저 단어의 독일어-한국어 의미가 적힌 단어 쌍들을 순차적으로 화면을 통해 접하도록 한다. 인코딩 페이즈(Encoding phase) 단계에서는 EEG 및 눈동자추적(eye-tracking) 신호를 수집하며 일정 개수의 단어 쌍을 먼저 학습자에게 보여준 뒤, 단어 쌍 내 학습자가 학습중인 언어로 된 부분만을 보여주고 학습자 모국어로 단어 쌍을 완성하도록 하는 프리 리콜 테스크(free recall task)를 진행한다. 각 단어 쌍은 일정 횟수 이상 성공적으로 기억 될 때까지 학습을 진행하며, 이 조건이 충족될 때마다 해당 단어 쌍의 학습이 성공적으로 일어난 것으로 정의하고, 새로운 단어 쌍을 학습하도록 추가한다. 이 단계를 종료한 후 다음날, 학습자는 전날 학습하였던 단어 쌍의 한 언어 쪽만을 보고 나머지를 맞추는 테스크(task)를 진행 한다. 이때 성공적으로 기억한 단어 쌍에 대해서는 '기억됨'(remembered), 기억되지 못한 단어 쌍에 대해서는 '잊음'(forgotten) 으로 기록한다. 이후 인코팅 페이즈(encoding phase) 단계에서의 EEG와 이후 기억하였는지, 못하였는지 여부를 레이블(label)로 알고리즘 트레이닝이 진행된다. 또한 EEG와 눈동자추적(eye-tracking) 데이터를 기반으로 각 학습자의 주의 상태를 예측한다.

학습자 상태 정보 중 집중, 집중부족, 이해도 높음, 이해도 낮음, 흥미 상승, 흥미 하락의 경우에도 반복적인 측정에 의해 대용량 데이터를 생성한 후 상술한 딥러닝 기법에 의한 분석에 의해 각각의 뇌전도 신호 패턴을 대응시켜 뇌전도분류정보를 생성한다.

도 2는 뇌전도분류DB부(110)의 생성의 일 예로서의 단어 학습에 따른 뇌전도 신호의 변화를 나타내는 도면이다.

도 2와 같이, 상술한 언어 학습의 경우 문제 제시 후 600-900ms 시점에서 잊은(forgotten) 정보와 기억된(remembered) 정보가 뚜렷한 차이점이 나타나며, 이때의 뇌전도 신호패턴과 학습자의 상태 정보를 대응시켜 뇌전도분류정보로 저장하게 된다.

부가하여, 본 발명의 학습 보조 장치(100)가 눈동자추적 정보를 함께 사용하도록 구성되는 경우 상기 뇌전도분류정보DB부(110)는 상기 학습자의 눈동자 움직임 패턴에 대응하는 학습자 상태정보를 더 저장하도록 구성된다.

다시, 도 1을 참조하면, 상기 학습가이드콘텐츠DB부(120)는 상기 학습자 상태정보별로 출력되도록 대응되는 학습 가이드 콘텐츠를 데이터베이스화하여 저장하도록 구성된다. 이때 저장되는 학습가이드콘텐츠는 영상, 3D 모델 영상, 사진, 음성 또는 가상의 선생님의 말풍선 또는 풀이에 도움을 주는 필기의 작성을 포함하는 3D 행동 중 어느 하나에 대한 가상현실영상일 수 있다. 상술한 학습가이드콘텐츠 예로는 학습자의 상태가 집중부족, 흥미 하락 등의 상태로 나타내는 경우, 경고 영상 및 음성의 출력 등일 수 있다. 또한, 학습자의 이해도가 낮은 경우에는 이해도를 높이기 위해 준비된 보조 설명 콘텐츠일 수 있다.

또한, 상기 학습가이드콘텐츠는 특정 과목 또는 영역의 학습을 위한 학습 영상, 가상현실 영상 또는 온라인 강의 콘텐츠 등을 포함하여 본 발명의 학습 보조 장치(100)를 이용하여 학습자들이 독자적인 학습을 수행할 수 있도록 한다.

상술한 구성을 가지는 뇌전도분류DB부(110)와 상기 학습가이드콘텐츠DB부(120)는 하드디스크 등의 대용량 메모리나 플래시 메모리 등에 저장될 수 있다.

상기 뇌전도센서부(130)는 학습자의 뇌전도 신호를 측정하는 뇌전도센서들을 포함하여 학습자의 뇌전도 신호를 검출하여 뇌전도분류추출부(150)로 출력하도록 구성된다. 상기 뇌전도센서부(130)는 다수의 뇌전도 센서들이 배치 구성되는 헬멧형 또는 뇌전도센서들이 두피에 접촉될 수 있도록 뇌전도센서노드들로 배치 구성되는 헤드밴드 형태, 고글을 구비한 헤드셋의 형태 또는 HMD 형태 등으로 다양하게 구현될 수 있다. 또한, 상기 뇌전도센서부(130)는 이어폰 잭 등을 통해 본 발명의 학습 보조 장치(100)가 탑재된 스마트폰, 태브릿 PC 등의 이동통신 단말기와 연동되도록 구성될 수도 있다.

상기 눈동자추적부(140)는 학습자의 학습 중의 눈동자의 움직임 패턴을 생성할 수 있도록 학습자의 눈동자의 움직임을 추적한 후 눈동자 위치 정보를 출력하도록 구성된다. 상기 눈동자추적부(140)는 고글에 눈동자추적을 위한 센서를 장착하거나, 이동통신 단말기의 표시부의 일부에서 이동통신 단말기를 바라보는 학습자의 눈동자의 위치를 측정하도록 구성될 수 있다. 이때의 눈동자 패턴과 학습자 상태 정보 또한 상술한 언어 학습에서의 뇌전도 신호와 학습자 상태정보의 매칭 방법과 같이, 대용량 데이터를 생성한 후 딥러닝을 적용하여 눈동자의 패턴별로 학습자 상태정보를 매칭하는 것에 의해 매칭되어 생성될 수 있다.

상기 뇌전도분류추출부(150))는 상기 뇌전도센서부(130)에서 측정된 학습자의 뇌전도 신호와 기 설정된 오차 범위 내에서 유사한 패턴을 가지는 뇌전도 신호에 대응하는 학습자 상태정보를 상기 뇌전도분류DB부(110)로부터 추출하여 출력하도록 구성된다. 부가하여, 본 발명의 학습 보조 장치(100)가 눈동자추적 정보를 함께 사용하도록 구성되는 경우, 눈동자추적부(140)가 눈동자 추적정보를 출력하는 경우, 상기 뇌전도분류추출부(150))는 뇌전도분류DB부(110)에서 상기 학습자의 눈동자 움직임 패턴에 대응하는 학습자 상태정보를 함께 추출하여 출력하도록 구성된다.

상기 학습가이드콘텐츠재생부(160)는 상기 뇌전도분류추출부(150))에서 추출된 뇌전도 신호에 대응하는 학습자의 상태 정보에 대응하는 학습가이드콘텐츠를 상기 학습가이드콘텐츠DB부(120)로부터 추출하여 재생하도록 구성된다. 이 경우 상기 학습가이드콘텐츠재생부(160)는 학습을 위한 동영상, 가상현실 영상 또는 인터넷을 통한 온라인 강의 동영상 등의 학습 영상을 출력하도록 구성될 수도 있다.

상기 표시부(170)는 상기 학습가이드콘텐츠재생부(160)에서 재생되는 학습가이드콘텐츠를 표시하도록 구성된다. 본 발명의 학습 보조 장치(100)가 고글을 구비한 헤드셋으로 개발되는 경우, 고글이 상기 표시부(170)가 될 수 있다. 이와 달리 본 발명의 학습 보조 장치(100)가 이동통신 단말기 내에 장착되도록 구성되는 경우 상기 표시부(170)는 이동통신 단말기의 LCD 패널이 될 수도 있다.

도 3 내지 도 5는 상술한 구성을 가지는 학습 보조 장치(100)의 구현 예를 나타내는 도면이다. 구체적으로, 도 3은 도 1의 학습 보조 장치(100)의 구현 예로서의 헤어밴드를 나타내는 도면이고, 도 4는 도 1의 학습 보조 장치(100)의 구현 예로서의 고글을 구비한 헤드셋을 나타내는 도면이며, 도 5는 도 1의 학습 보조 장치(100)의 구현 예로서의 홀로그램 영상 출력 기능을 가지는 HMD를 나타내는 도면이다.

도 3 내지 도 5와 같이, 상기 학습 보조 장치(100)는 뇌전도센서부로 되는 센서노드들과 음성 출력 기능을 가지는 헤어밴드의 형태, 뇌전도센서부로 되는 센서노드들과 디스플레이 기능을 가지는 고글을 구비한 헤드셋의 형태, 홀로그램 영상 출력 기능을 가지는 HMD 형태 등으로 제작될 수 있다.

또한, 본 발명의 학습 보조 장치(100)는 뇌전도분류DB부(110), 학습가이드콘텐츠DB부(120), 눈동자추적부(140), 뇌전도분류추출부(150), 학습가이드콘텐츠재생부(160) 및 가상현실표시부(170)는 이동통신 단말기의 내부에 장착되고, 뇌전도센서부(130)만 케이블 등에 의해 연동하도록 별도의 구성으로 구성되는 방식으로 구현될 수 있다. 이러한 구성에 의해 본 발명은 인터넷 온라인 강의 등의 학습 방식에도 적용될 수 있다.

도 6은 본 발명의 실시예에 따르는 뇌전도 신호와 가상현실을 이용한 학습 보조 방법의 처리과정을 나타내는 순서도이다.

도 6과 같이, 본 발명의 뇌전도 신호와 가상현실을 이용한 학습 보조 방법은, 뇌전도분류DB부생성과정(S100), 학습가이드콘텐츠DB부생성과정(S200), 뇌전도분류추출과정(S400), 학습가이드콘텐츠추출과정(S500) 및 학습가이드콘텐츠재생과정(S600);을 포함하여 이루어질 수 있다.

먼저, 뇌전도분류DB부(110)가 뇌전도 신호와 뇌전도 신호에 대응하는 학습자의 상태정보를 뇌전도분류정보로 입력받아 저장하여 뇌전도분류DB부(110)를 생성하는 뇌전도분류DB부생성과정(S100)을 수행한다. 이때 뇌전도분류정보의 학습자 상태정보는 집중, 집중부족, 이해도 높음, 이해도 낮음, 흥미 상승, 흥미 하락, 학습 후의 기억, 학습 후의 잊음 등으로 분류될 수 있다. 그리고 상기 뇌전도분류정보는 학습자에 대하여 반복적으로 뇌전도 신호와 학습자의 상태 정보를 측정하여 저장하는 것에 의해 대용량 데이터를 생성한 후, 딥러닝(Deep neural network, DNN)을 적용하여 뇌전도 신호별로 학습자 상태정보를 분류한 후 대응시킨 정보일 수 있음은 상술한 바와 같다.

다음으로, 학습가이드콘텐츠DB부(120)가 상기 학습자 상태정보별로 출력되도록 대응되는 학습 가이드 콘텐츠를 입력받아 저장하는 학습가이드콘텐츠DB부(120)를 생성하는 학습가이드콘텐츠DB부생성과정(S200)을 수행한다.

그리고 뇌전도센서부(130)가 학습자의 뇌전도 신호를 측정하는 신호측정과정(S300)을 수행한다. 이때, 상기 학습 보조 방법이 눈동자추적정보를 함께 이용하도록 구성되는 경우, 상기 신호측정과정(S300)에서 눈동자추적부(140)가 학습자의 눈동자 움직임을 검출하는 과정이 더 수행된다.

상기 신호측정과정(S300)이 수행된 이후에는 뇌전도분류추출부(150)가 상기 뇌전도센서부(130)에서 측정된 학습자의 뇌전도 신호와 기 설정된 오차 범위 내에서 유사한 패턴을 가지는 뇌전도 신호에 대응하는 학습자의 학습자 상태정보를 상기 뇌전도분류DB부(110)로부터 추출하여 출력하는 뇌전도분류추출과정(S400)을 수행한다. 이 경우도, 눈동자 추적 정보를 함께 사용하는 경우에는 상기 눈동자의 움직임 패턴에 대응하는 학습자 상태정보를 추출하는 과정이 더 수행된다.

뇌전도분류추출과정(S400)의 수행에 의해 뇌전도분류정보에 대응하는 학습 상태 정보가 추출된 후에는 학습가이드콘텐츠재생부(160)가 상기 뇌전도분류추출과정(S400)에서 추출된 뇌전도 신호에 대응하는 학습자 상태정보에 대응하는 학습가이드콘텐츠를 상기 학습가이드콘텐츠DB부(120)로부터 추출하는 학습가이드콘텐츠추출과정(S500)이 수행된다.

다음으로, 학습가이드콘텐츠재생부(160)는 추출된 학습가이드콘텐츠를 재생한 후 표시부(170)에 표시하는 학습가이드콘텐츠재생과정(S600)을 수행한다.

상술한 본 발명은 EEG와 가상현실을 이용하여 학습자 상태정보를 추출하여 피드백 해줌으로써 학습효율을 현저히 향상시킨다.

이와 함께, 본 발명은 인식과 이해 여부 센싱을 통하여 다양한 교육 서비스 분야, 집중 여부 파악을 통한 다양한 경고 이벤트 발생 분야, 사고 내용에 대한 카테고라이징을 통한 다양한 콘텐츠 개인화 분야에 적용할 수 있다.

이상에서 설명한 것은 본 발명을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 본 발명의 기술적 사상의 범위 내에서 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.

100: 학습 보조 장치

Claims

뇌전도 신호와 뇌전도 신호에 대응하는 학습자의 학습자 상태정보를 뇌전도분류정보로 저장하는 뇌전도분류DB부(110);
상기 학습자 상태정보별로 출력되도록 대응되는 학습 가이드 콘텐츠를 저장하는 학습가이드콘텐츠DB부(120);
학습자의 뇌전도 신호를 측정하는 뇌전도센서부(130);
상기 뇌전도센서부(130)에서 측정된 학습자의 뇌전도 신호와 기 설정된 오차 범위 내에서 유사한 패턴을 가지는 뇌전도 신호에 대응하는 학습자 상태정보를 상기 뇌전도분류DB부(110)로부터 추출하여 출력하는 뇌전도분류추출부(150);
상기 뇌전도분류추출부(150))에서 추출된 뇌전도 신호에 대응하는 학습자 상태정보에 대응하는 학습가이드콘텐츠를 상기 학습가이드콘텐츠DB부(120)로부터 추출하여 재생하는 학습가이드콘텐츠재생부(160); 및
상기 학습가이드콘텐츠재생부(160)에서 재생되는 학습가이드콘텐츠를 표시하는 표시부(170);를 포함하여 구성되는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치.
청구항 1에 있어서, 상기 학습자 상태정보는,
집중, 집중부족, 이해도 높음, 이해도 낮음, 흥미 상승, 흥미 하락, 학습 후의 기억, 학습 후의 잊음으로 분류되는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치.
청구항 1에 있어서, 상기 뇌전도분류정보는,
학습자에 대하여 반복적으로 뇌전도 신호와 학습자의 상태 정보를 측정하여 저장하는 것에 의해 대용량 데이터를 생성한 후, 딥러닝(Deep neural network, DNN)을 적용하여 뇌전도 신호 패턴을 추출한 후 뇌전도 신호패턴 별로 학습자 상태정보를 대응시킨 정보인 뇌전도 신호와 가상현실을 이용한 학습 보조 장치.
청구항 1에 있어서,
상기 학습가이드콘텐츠는 가상현실 기반의 영상 정보이고
상기 표시부(170)는 상기 학습가이드콘텐츠를 표시하는 가상현실표시부로 구성되는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치.
청구항 1에 있어서, 상기 학습가이드콘텐츠는,
영상, 3D 모델 영상, 사진, 음성 또는 가상의 선생님의 말풍선 또는 풀이에 도움을 주는 필기의 작성을 포함하는 3D 행동 중 어느 하나에 대한 가상현실 영상인 뇌전도 신호와 가상현실을 이용한 학습 보조 장치.
청구항 1에 있어서,
학습자의 눈동자의 움직임을 검출하는 눈동자추적부(140)를 더 포함하여 구성되고,
상기 뇌전도분류DB부(110)는 상기 학습자의 눈동자 움직임 패턴에 대응하는 학습자 상태정보를 더 저장하도록 구성되는 뇌전도 신호와 가상현실을 이용한 학습 보조 장치.
뇌전도분류DB부(110)가 뇌전도 신호와 뇌전도 신호에 대응하는 학습자의 상태정보를 뇌전도분류정보로 입력받아 저장하여 뇌전도분류DB부(110)를 생성하는 뇌전도분류DB부생성과정(S100);
학습가이드콘텐츠DB부(120)가 상기 학습자 상태정보 별로 출력되도록 대응되는 학습 가이드 콘텐츠를 입력받아 저장하여 학습가이드콘텐츠DB부(120)를 생성하는 학습가이드콘텐츠DB부생성과정(S200);
뇌전도센서부(130)가 학습자의 뇌전도 신호를 측정하는 신호측정과정(S300);
뇌전도분류추출부(150)가 상기 뇌전도센서부(130)에서 측정된 학습자의 뇌전도 신호와 기 설정된 오차 범위 내에서 유사한 패턴을 가지는 뇌전도 신호에 대응하는 학습자 상태정보를 상기 뇌전도분류DB부(110)로부터 추출하여 출력하는 뇌전도분류추출과정(S400);
학습가이드콘텐츠재생부(160)가 상기 뇌전도분류추출과정(S400)에서 추출된 뇌전도 신호에 대응하는 학습자 상태정보에 대응하는 학습가이드콘텐츠를 상기 학습가이드콘텐츠DB부(120)로부터 추출하는 학습가이드콘텐츠추출과정(S500); 및
상기 학습가이드콘텐츠재생부(160)가 추출된 상기 학습가이드콘텐츠를 재생한 후 표시부(170)에 표시하는 학습가이드콘텐츠재생과정(S600);을 포함하여 이루어지는 뇌전도 신호와 가상현실을 이용한 학습 보조 방법.
청구항 7에 있어서, 상기 학습자 상태정보는,
집중, 집중부족, 이해도 높음, 이해도 낮음, 흥미 상승, 흥미 하락, 학습 후의 기억, 학습 후의 잊음으로 분류되는 뇌전도 신호와 가상현실을 이용한 학습 보조 방법.
청구항 7에 있어서, 상기 뇌전도분류정보는,
학습자에 대하여 반복적으로 뇌전도 신호와 학습자의 상태 정보를 측정하여 저장하는 것에 의해 대용량 데이터를 생성한 후, 딥러닝(Deep neural network, DNN)을 적용하여 뇌전도 신호 패턴을 추출한 후 뇌전도 신호패턴 별로 학습자의 상태 정보를 분류한 후 대응시킨 정보인 뇌전도 신호와 가상현실을 이용한 학습 보조 방법.
청구항 7에 있어서,
상기 신호측정과정(S300)은, 눈동자추적부(140)가 학습자의 눈동자의 움직임을 검출하는 과정을 더 포함하고,
상기 뇌전도분류추출과정(S400)은 상기 눈동자의 움직임 패턴에 대응하는 하습 상태 정보를 추출하는 과정을 더 포함하는 뇌전도 신호와 가상현실을 이용한 학습 보조 방법.