KR102085693B1 - 사용자의 집중력 레벨 결정 방법 및 장치 - Google Patents

Abstract

사용자의 집중력의 레벨을 결정하기 위한 방법 및 장치가 제공된다. 집중력의 레벨을 결정하기 위해 HMD(head mounted display)를 통해 사용자에게 컨텐츠를 제공하고, HMD를 통해 컨텐츠를 시청하는 사용자의 뇌파 정보 및 시선 정보 중 적어도 하나를 획득하며, 제1 뇌파 정보 및 제1 시선 정보 중 적어도 하나에 기초하여 사용자의 집중력 레벨을 결정한다.

Description

사용자의 집중력 레벨 결정 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING CONCENTRATION LEVEL OF USER}

기술 분야는 사용자의 집중력의 레벨을 결정하는 기술에 관한 것으로, 특히, 사용자의 뇌파 정보 및 시선 정보에 기초하여 사용자의 집중력의 레벨을 결정하는 장치 및 방법에 관한 것이다.

발달은 성장에 따른 기능적 발전 과정을 말하는데 대개 일정하고 예측 가능한 양상으로 진행되는 역동적 과정이다. 그리고 발달 장애란 어느 특정 질환 또는 장애를 지칭하는 것이 아니라, 해당하는 나이에 이루어져야 할 발달이 성취되지 않은 상태로, 발달 선별검사에서 해당 연령의 정상 기대치보다 25%가 뒤쳐져 있는 경우를 말한다. 전반적 발달 지연은 대운동(Gross motor), 미세운동(Fine motor), 인지, 언어, 사회성과 일상 생황 중 2가지 이상이 지연된 경우를 말한다. 상술한 바와 같이 발달장애는 나이에 비해 지연된 것이므로 몸으로 익히고 학습함으로써 개선될 수 있다. 이러한 발달장애를 겪고 있는 발달장애인을 치료하기 위해서 치료용 시뮬레이터를 이용하고 있다. 통상 발달장애 치료 방법으로는 선 출원된 등록특허 10-1008541호, [시, 청각 자극을 제공하는 인지능력 향상 장치] 등과 같이 시각 및 청각적으로 자극을 주어 인지능력을 향상시키는 방법, 디스플레이 장치를 통해 시뮬레이션을 제공하여 치료하는 방법, 시각적 자극과 뇌에 물리적인 전정 자극을 주어 치료하는 방법, 및 약물 흡입에 의해 치료하는 방법 등이 적용되고 있다.

일 실시예는 사용자의 집중력의 레벨을 결정하는 장치 및 방법을 제공할 수 있다.

일 실시예는 사용자의 집중력의 레벨을 향상시키는 장치 및 방법을 제공할 수 있다.

일 측면에 따른, 집중력 레벨 결정 방법은, HMD(head mounted display)를 통해 사용자에게 제1 컨텐츠를 제공하는 단계, 상기 HMD를 통해 상기 제1 컨텐츠를 시청하는 상기 사용자의 제1 뇌파 정보 및 제1 시선 정보 중 적어도 하나를 획득하는 단계, 및 상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나에 기초하여 상기 사용자의 집중력 레벨을 결정하는 단계를 포함한다.

상기 HMD를 통해 상기 제1 컨텐츠를 시청하는 상기 사용자의 제1 뇌파 정보 및 제1 시선 정보 중 적어도 하나를 획득하는 단계는, 상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나에 기초하여 상기 제1 컨텐츠 내의 오브젝트를 변화시키는 단계, 및 상기 오브젝트의 변화가 미리 설정된 변화에 대응하는 경우 상기 제1 컨텐츠의 제공을 중단하는 단계를 포함할 수 있다.

상기 오브젝트의 변화는, 상기 오브젝트의 형태 및 상기 오브젝트의 위치 중 적어도 하나가 변화할 수 있다.

상기 제1 컨텐츠 내의 오브젝트를 변화시키는 단계는, 상기 제1 시선 정보에 기초하여 상기 사용자의 시선이 상기 제1 컨텐츠의 복수의 오브젝트들 중 상기 오브젝트에 대응하는지 여부를 결정하는 단계, 및 상기 시선이 상기 오브제트에 대응하는 경우 상기 오브젝트를 변화시키는 단계를 포함할 수 있다.

상기 HMD를 통해 상기 제1 컨텐츠를 시청하는 상기 사용자의 뇌파 정보 및 시선 정보 중 적어도 하나를 획득하는 단계는, 상기 오브젝트의 변화가 미리 설정된 변화에 대응하지 않더라도 상기 제1 컨텐츠에 대해 미리 설정된 타이머가 종료되는 경우 상기 제1 컨텐츠의 제공을 중단하는 단계를 더 포함할 수 있다.

상기 집중력 레벨을 결정하는 방법은, 상기 제1 컨텐츠의 제공이 중단된 경우, 상기 사용자에게 제2 컨텐츠를 제공하는 단계, 및 상기 HMD를 통해 상기 제2 컨텐츠를 시청하는 상기 사용자의 제2 뇌파 정보 및 제2 시선 정보 중 적어도 하나를 획득하는 단계를 더 포함하고, 상기 사용자의 집중력 레벨을 계산하는 단계는, 상기 사용자의 제2 뇌파 정보 및 제2 시선 정보 중 적어도 하나에 기초하여 상기 집중력 레벨을 계산하는 단계를 포함할 수 있다.

상기 사용자의 집중력 레벨을 계산하는 단계는, 상기 제1 뇌파 정보를 복수의 주파수 대역들의 뇌파 신호들로 분할하는 단계, 및 상기 뇌파 신호들 중 타겟 뇌파 신호에 기초하여 상기 집중력 레벨을 계산하는 단계를 포함할 수 있다.

상기 사용자의 집중력 레벨을 계산하는 단계는, 상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나를 입력으로 하는 가중 퍼지 소속함수 기반 심층 신경망(Neural Network with Weighted Fuzzy Membership Function, NEWFM)을 이용하여 상기 집중력 레벨을 계산하는 단계를 포함할 수 있다.

상기 NEWFM은 상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나를 수신한 경우, 타카기-수게노 역 퍼지 값들(takagi-sugeno defuzzification values), 타카기-수게노 역 퍼지 값들의 클래스를 분류한 결과 및 가중 퍼지 소속함수를 출력함으로써 상기 집중력 레벨을 계산할 수 있다.

다른 일 측면에 따른, 사용자의 집중력 레벨을 결정하는 서버는, 사용자의 집중력 레벨을 결정하는 프로그램이 기록된 메모리, 및 상기 프로그램을 수행하는 프로세서를 포함하고, 상기 프로그램은, HMD(head mounted display)를 통해 사용자에게 제1 컨텐츠를 제공하는 단계, 상기 HMD를 통해 상기 제1 컨텐츠를 시청하는 상기 사용자의 제1 뇌파 정보 및 제1 시선 정보 중 적어도 하나를 획득하는 단계, 상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나에 기초하여 상기 사용자의 집중력 레벨을 결정하는 단계를 수행한다.

상기 HMD를 통해 상기 제1 컨텐츠를 시청하는 상기 사용자의 제1 뇌파 정보 및 제1 시선 정보 중 적어도 하나를 획득하는 단계는, 상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나에 기초하여 상기 제1 컨텐츠 내의 오브젝트를 변화시키는 단계, 및 상기 오브젝트의 변화가 미리 설정된 변화에 대응하는 경우 상기 제1 컨텐츠의 제공을 중단하는 단계를 포함할 수 있다.

상기 제1 컨텐츠 내의 오브젝트를 변화시키는 단계는, 상기 제1 시선 정보에 기초하여 상기 사용자의 시선이 상기 제1 컨텐츠의 복수의 오브젝트들 중 상기 오브젝트에 대응하는지 여부를 결정하는 단계, 및 상기 시선이 상기 오브제트에 대응하는 경우 상기 오브젝트를 변화시키는 단계를 포함할 수 있다.

상기 사용자의 집중력 레벨을 계산하는 단계는, 상기 제1 뇌파 정보를 복수의 주파수 대역들의 뇌파 신호들로 분할하는 단계, 및 상기 뇌파 신호들 중 타겟 뇌파 신호에 기초하여 상기 집중력 레벨을 계산하는 단계를 포함할 수 있다.

상기 사용자의 집중력 레벨을 계산하는 단계는, 상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나를 입력으로 하는 가중 퍼지 소속함수 기반 심층 신경망(Neural Network with Weighted Fuzzy Membership Function, NEWFM)을 이용하여 상기 집중력 레벨을 계산하는 단계를 포함할 수 있다.

상기 NEWFM은 상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나를 수신한 경우, 타카기-수게노 역 퍼지 값들(takagi-sugeno defuzzification values), 타카기-수게노 역 퍼지 값들의 클래스를 분류한 결과 및 가중 퍼지 소속함수를 출력함으로써 상기 집중력 레벨을 계산할 수 있다.

사용자의 집중력의 레벨을 결정하는 장치 및 방법이 제공될 수 있다.

사용자의 집중력의 레벨을 향상시키는 장치 및 방법이 제공될 수 있다.

도 1은 일 예에 따른 사용자의 집중력의 레벨을 결정하는 시스템의 구성도이다.
도 2는 일 실시예에 따른 서버의 구성도이다.
도 3은 일 실시예에 따른 사용자의 집중력의 레벨을 결정하는 방법의 흐름도이다.
도 4는 일 예에 따른 사용자의 집중력에 오브젝트가 변화하는 컨텐츠를 도시한다.
도 5는 일 예에 따른 오브젝트의 변화에 기초하여 뇌파 정보 및 시선 정보를 획득하는 방법의 흐름도이다.
도 6은 일 예에 따른 시선 정보에 기초하여 컨텐츠 내의 오브젝트를 변화시키는 방법의 흐름도이다.
도 7은 일 예에 따른 컨텐츠를 시청하는 사용자의 시선 정보를 나타낸다.
도 8은 일 예에 따른 뇌파 정보 및 뇌파 정보에 기초하여 복수의 주파수 대역들의 분할된 뇌파 신호들을 도시한다.
도 9는 일 예에 따른 사용자에게 제2 컨텐츠를 제공하고, 사용자의 제2 뇌파 및 제2 시선 정보를 획득하는 방법의 흐름도이다.
도 10은 일 예에 따른 뇌파 신호들에 기초하여 집중력 레벨을 계산하는 방법의 흐름도이다.
도 11은 일 예에 따른 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 방법의 흐름도이다.
도 12 내지 14는 일 예에 따른 가중 퍼지 소속함수 기반 심층 신경망을 도시한다.
도 15는 일 예에 따른 사용자 장치의 구성도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 일 예에 따른 사용자의 집중력의 레벨을 결정하는 시스템의 구성도이다.

일 측면에 따르면, 시스템(100)은 사용자의 집중력의 레벨을 결정하는 서버(110), 컨텐츠를 출력하는 사용자 장치(120), 및 의료 기관의 분석 단말(130)을 포함할 수 있다.

서버(110)는 사용자 장치(120)로 사용자의 집중력의 레벨을 결정할 수 있도록 미리 제작된 컨텐츠를 제공할 수 있다. 예를 들어, 컨텐츠는 가상 현실(virtual reality: VR) 컨텐츠일 수 있다. 컨텐츠에 대해 아래에서 도 4를 참조하여 상세하게 설명된다.

사용자 장치는 HMD(head mounted display)(120)을 포함할 수 있고, HMD(120)에 처리 장치가 없는 경우, HMD(120)와 연결될 수 있는 사용자 단말(130)을 더 포함할 수 있다. HMD(120)는 컨텐츠가 출력되는 동안, 컨텐츠에 대해 작용하는 사용자의 반응을 측정할 수 있다. VR 컨텐츠가 HMD(120)를 통해 제공되는 경우, 사용자는 몰입감 있게 컨텐츠를 시청할 수 있다.

일 측면에 따른, HMD(120)는 카메라를 포함하고, 카메라를 이용하여 사용자의 시선 정보를 생성할 수 있다. 예를 들어, 카메라는 적외선 카메라일 수 있고, 적외선 카메라가 사용됨으로써 HMD를 통해 내부가 밀폐되는 어두운 상황에서도 사용자의 눈(구체적으로, 눈동자)의 움직임이 감지될 수 있다.

추가적으로, HMD(120)는 뇌파 센서를 더 포함하고, 뇌파 센서를 이용하여 사용자의 뇌파 정보를 생성할 수 있다.

서버(110)는 사용자 장치(120)로부터 시선 정보 및 뇌파 정보를 획득하고, 이에 기초하여 사용자의 집중력의 레벨을 결정한다.

서버(110)는 시선 정보, 뇌파 정보 및 집중력의 레벨을 분석 단말(130)로 전송할 수 있다. 예를 들어, 분석 단말(130)의 사용자는 의사일 수 있고, 의사는 전송된 정보들에 기초하여 사용자에게 제공되는 컨텐츠의 내용을 조정하거나, 집중력의 레벨을 결정하는 알고리즘을 조정할 수 있다. 예를 들어, 정보들에 기초하여 의사가 진단한 집중력의 레벨에 비해, 알고리즘을 통해 결정된 집중력의 레벨이 높은 경우, 사용자(또는 의사)는 집중력의 레벨이 낮춰지도록 알고리즘을 조정할 수 있다.

아래에서 도 2 내지 15를 참조하여 사용자의 집중력의 레벨을 결정하는 방법이 상세하게 설명된다.

도 2는 일 실시예에 따른 서버의 구성도이다.

서버(200)는 통신부(210), 프로세서(220) 및 메모리(230)를 포함한다. 예를 들어, 서버(200)는 도 1을 참조하여 전술된 서버(110)일 수 있다.

통신부(210)는 프로세서(220) 및 메모리(230)와 연결되어 데이터를 송수신한다. 통신부(210)는 외부의 다른 장치와 연결되어 데이터를 송수신할 수 있다. 이하에서 "A"를 송수신한다라는 표현은 "A를 나타내는 정보(information) 또는 데이터"를 송수신하는 것을 나타낼 수 있다.

통신부(210)는 서버(200) 내의 회로망(circuitry)으로 구현될 수 있다. 예를 들어, 통신부(210)는 내부 버스(internal bus) 및 외부 버스(external bus)를 포함할 수 있다. 다른 예로, 통신부(210)는 서버(200)와 외부의 장치를 연결하는 요소일 수 있다. 통신부(210)는 인터페이스(interface)일 수 있다. 통신부(210)는 외부의 장치로부터 데이터를 수신하여, 프로세서(220) 및 메모리(230)에 데이터를 전송할 수 있다.

프로세서(220)는 통신부(210)가 수신한 데이터 및 메모리(230)에 저장된 데이터를 처리한다. "프로세서"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.

프로세서(220)는 메모리(예를 들어, 메모리(230))에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(220)에 의해 유발된 인스트럭션들을 실행한다.

메모리(230)는 통신부(210)가 수신한 데이터 및 프로세서(220)가 처리한 데이터를 저장한다. 예를 들어, 메모리(230)는 프로그램(또는 어플리케이션, 소프트웨어)을 저장할 수 있다. 저장되는 프로그램은 사용자의 집중력의 레벨을 결정할 수 있도록 코딩되어 프로세서(220)에 의해 실행 가능한 신텍스(syntax)들의 집합일 수 있다.

일 측면에 따르면, 메모리(230)는 하나 이상의 휘발성 메모리, 비휘발성 메모리 및 RAM(Random Access Memory), 플래시 메모리, 하드 디스크 드라이브 및 광학 디스크 드라이브를 포함할 수 있다.

메모리(230)는 서버(200)를 동작 시키는 명령어 세트(예를 들어, 소프트웨어)를 저장한다. 서버(200)를 동작 시키는 명령어 세트는 프로세서(220)에 의해 실행된다.

통신부(210), 프로세서(220) 및 메모리(230)에 대해, 아래에서 도 3 내지 도 14를 참조하여 상세히 설명된다.

도 3은 일 실시예에 따른 사용자의 집중력의 레벨을 결정하는 방법의 흐름도이다.

아래의 단계들(310 내지 330)은 도 2를 참조하여 전술된 서버(200)에 의해 수행된다.

단계(310)에서, 서버(200)는 사용자 장치를 통해 사용자에게 컨텐츠를 제공한다. 예를 들어, 사용자 장치의 HMD를 통해 사용자에게 컨텐츠가 제공될 수 있다. 사용자 장치는 컨텐츠가 사용자에게 제공되는 동안, 컨텐츠에 대한 사용자의 반응을 획득할 수 있다. 사용자의 반응은 뇌파 정보 및 시선 정보일 수 있다. 사용자의 집중력을 테스트하기 위한 다양한 컨텐츠들이 미리 제작되고, 사용자에게 제공될 수 있다

도 4는 일 예에 따른 사용자의 집중력에 오브젝트가 변화하는 컨텐츠를 도시한다.

일 측면에 따르면, 컨텐츠는 디스플레이된 오브젝트를 변화시키는 컨텐츠일 수 있다. 예를 들어, 컨텐츠는 제1 오브젝트(411) 위에 놓여진 제2 오브젝트(412)의 위치를 변화시키는 컨텐츠일 수 있다. 사용자에게 초기 제공되는 컨텐츠의 제1 상태(410)에서, 사용자는 제2 오브젝트(412)를 움직이게 하기 위해 제2 오브젝트(412)에 집중할 수 있다. 사용자의 집중은 사용자의 뇌파를 변화시키고, 사용자의 시선이 제2 오브젝트(412)를 향한다. 사용자가 집중한 것으로 결정된 경우, 제2 오브젝트(412)의 위치가 변화되는 제2 상태(420)가 제공될 수 있다. 제2 상태(420)에서 제2 오브젝트(412)의 위치는 사용자의 집중의 정도에 따라 달라질 수 있다.

일 측면에 따라, 컨텐츠 내의 오브젝트의 위치가 변화하는 실시예가 도시되었으나, 다른 예로, 사용자가 날아다니는 컨텐츠, 물건을 옮기는 컨텐츠, 발화하는 컨텐츠, 오브젝트 투시 컨텐츠 등과 같이 초능력을 사용하는 컨텐츠가 고려될 수 있고, 기재된 실시예로 한정되지 않는다.

다른 일 측면에 따라, 컨텐츠는 순차 기억 컨텐츠, 숫자 기억 컨텐츠, 패턴 기억 컨텐츠, 얼굴 기억 컨텐츠 등일 수 있다. 컨텐츠에는 사용자의 기억을 방해하는 요소가 추가될 수 있다. 예를 들어, 소리, 플래시 라이트가 방해 요소로서 추가될 수 있다.

또 다른 일 측면에 따라, 컨텐츠는 제시된 문구의 사이에 조건에 맞는 카드를 찾는 컨텐츠일 수 있다. 상기의 컨텐츠는 논리적 추론이 요구되고, 사용자의 시선 추적을 통해 사용자의 논리 추론의 개인적 패턴이 도출될 수 있다. 상기의 컨텐츠를 통해 사용자가 어려워하는 부분이 파악될 수 있고, 그에 따른 인덱스가 수립될 수 있다.

또 다른 일 측면에 따라, 컨텐츠는 공간 지각을 위한 컨텐츠일 수 있다. 난이도에 따라 공간의 복잡도가 증가될 수 있다.

또 다른 일 측면에 따라, 컨텐츠는 사용자에게 가상 현실을 제공하는 컨텐츠일 수 있다. 예를 들어, 컨텐츠 내의 상황이 교실 수업, 시험 시간과 같은 특별한 상황으로 설정되고, 상황 내에서 문제를 해결하는 컨텐츠가 제공될 수 있다. 설정된 상황을 통해 문제를 해결함으로써 현실에서의 적응력을 높일 수 있다.또 다른 일 측면에 따라, 컨텐츠는 퀴즈와 같이 문제를 해결하는 방식으로 사용자에게 제공될 수 있다. 예를 들어, 복수 개의 오브젝트들이 사용자에게 출력되고, 사용자에게 출력된 오브젝트들의 순서를 배열하도록 요구하는 컨텐츠가 제공될 수 있다. 사용자는 복수 개의 오브젝트들의 배열 순서를 집중하여 관찰하고, 시선에 따른 선택을 통해 오브젝트를 배열할 수 있다. 추가적으로, 시선에 따른 오브젝트의 선택은 사용자로부터 획득된 뇌파 정보를 통해 발생한다. 예를 들어, 시선이 오브젝트에 대응하더라도, 뇌파 정보를 통해 집중력 레벨이 일정 수준 이상이 되지 않으면 오브젝트의 선택은 발생하지 않을 수 있다. 퀴즈와 같은 문제를 해결하는 방식을 제공하는 컨텐츠는 기재된 실시예로 한정되지 않고, 다양한 방식으로 제작될 수 있다.

사용자는 HMD를 통해 출력되는 오브젝트들만 시청하므로, 컨텐츠 이외의 다른 외부 환경에 영향을 덜 받을 수 있다. 또한, 컨텐츠가 1인칭 시점으로 제작되므로 사용자의 체감도 및 몰입도가 향상된다.

다시 도 3을 참조하면, 단계(320)에서, 서버(200)는 사용자의 뇌파 정보 및 시선 정보를 획득한다. 예를 들어, 서버(200)는 사용자 장치가 생성한 뇌파 정보 및 시선 정보를 사용자 장치로부터 수신할 수 있다. 사용자의 뇌파 정보 및 시선 정보를 획득하는 방법에 대해, 아래에서 도 5 내지 도 8을 참조하여 상세히 설명된다.

도 5는 일 예에 따른 오브젝트의 변화에 기초하여 뇌파 정보 및 시선 정보를 획득하는 방법의 흐름도이다. 일 측면에 따르면, 단계(320)는 아래의 단계들(510 및 520)을 포함할 수 있다.

단계(510)에서, 서버(200)는 뇌파 정보 및 시선 정보에 기초하여 컨텐츠 내의 오브젝트를 변화시킬 수 있다. 획득된 뇌파 정보 및 시선 정보가 컨텐츠에 대해 미리 설정된 조건들에 부합하는 경우, 그 정도에 따라 오브젝트가 변화될 수 있다. 오브젝트를 변화시키는 방법에 대해, 아래에서 도 6을 참조하여 상세히 설명된다.

다른 일 측면에 따르면, 사용자의 시선이 대응하는 오브젝트가 컨텐츠의 미리 설정된 위치(예를 들어, 출력되는 컨텐츠의 화면의 중앙)에 위치하도록 컨텐츠가 제공될 수 있다. 즉, 화면에 출력된 오브젝트들이 복수 개이고, 사용자가 복수의 오브젝트들 중 제1 오브젝트에 시선을 집중하는 경우, 제1 오브젝트가 화면의 중앙에 출력되도록 컨텐츠의 화면이 변형될 수 있다. 즉, 사용자의 시선에 따라 컨텐츠의 화면이 다르게 렌더링될 수 있다.

단계(520)에서, 서버(200)는 오브젝트의 변화가 미리 설정된 변화에 대응하는 경우 컨텐츠의 제공을 중단한다. 예를 들어, 오브젝트가 미리 설정된 위치로 이동한 경우, 컨텐츠가 종료될 수 있다. 사용자가 빠르고, 강하게 집중할수록 컨텐츠가 빨리 종료될 수 있다. 컨텐츠의 제공 시간이 사용자의 집중력 레벨을 결정하기 위해 이용될 수 있다.

도시되지는 않았지만, 단계(320)는 오브젝트의 변화가 미리 설정된 변화에 대응하지 않더라도 컨텐츠에 대해 미리 설정된 타이머가 종료되는 경우 컨텐츠의 제공을 중단할 수 있다. 즉, 시간 내에 컨텐츠의 목표에 도달하지 못한 경우 컨텐츠가 종료될 수 있다.

도 6은 일 예에 따른 시선 정보에 기초하여 컨텐츠 내의 오브젝트를 변화시키는 방법의 흐름도이다. 일 측면에 따르면, 단계(510)는 아래의 단계들(610 및 620)을 포함할 수 있다.

단계(610)에서, 서버(200)는 시선 정보에 기초하여 사용자의 시선이 컨텐츠의 복수의 오브젝트들 중 오브젝트에 대응하는지 여부를 결정한다. 도 4의 예에서, 사용자의 시선이 복수의 오브젝트들(411 및 412) 중 제2 오브젝트(412)에 대응하는지가 결정될 수 있다. 시선 정보에 기초하여 사용자의 시선이 컨텐츠의 복수의 오브젝트들 중 오브젝트에 대응하는지 여부를 결정하는 방법에 대해 아래에서 도 7을 참조하여 상세히 설명된다.

단계(620)에서, 서버(200)는 시선이 오브젝트에 대응하는 경우 오브젝트를 변화시킨다. 예를 들어, 시선이 오브젝트에 대응하고, 뇌파 정보에 기초하여 사용자가 집중한 것으로 결정된 경우 오브젝트가 변화될 수 있다.

도 7은 일 예에 따른 컨텐츠를 시청하는 사용자의 시선 정보를 나타낸다.

예를 들어, 시선 정보(710)는 컨텐츠를 시청하는 사용자의 게이즈 플랏(gaze plot) 또는 히트 맵(heat map)일 수 있다. 게이즈 플랏(gaze plot)은 컨텐츠의 특정 위치에서 머무른 시선의 위치, 수선, 시간 등을 나타낼 수 있다. 시간은 원의 크기로 나타날 수 있다. 히트 맵은 컨텐츠의 시선이 어떻게 분포하는지가 나타날 수 있다.

예를 들어, 사용자가 복수의 오브젝트들 중 타겟 오브젝트(712)에 시선을 집중하는 경우, 타겟 오브젝트(712)를 중심으로 기록들(713)이 집중될 수 있다. 기록들(713)의 집중도가 미리 설정된 값 이상인 경우, 사용자의 시선이 타겟 오브젝트(712)에 대응하는 것으로 결정될 수 있다.

도 8은 일 예에 따른 뇌파 정보 및 뇌파 정보에 기초하여 복수의 주파수 대역들의 분할된 뇌파 신호들을 도시한다.

사용자 장치의 뇌파 센서를 통해 생성된 뇌파 정보(810)는 아날로그 신호일 수 있다. 뇌파의 특징을 추출하기 위해서는 뇌파 정보(810)의 처리가 필요하다. 예를 들어, 뇌파 정보(810)를 푸리에 변환(Fourier transform)함으로써 복수의 주파수 대역들로 뇌파 신호들(820)이 분할될 수 있다.

뇌파의 특징은 특정 주파수에서 나타나는 성분(또는 파워(power))의 크기로 나타날 수 있다. 1 ~ 4 Hz의 주파수 대역은 델타(δ) 유형이고, 수면(sleeping), 휴식(repair), 복잡한 문제가 해결된 시(complex problem solving)에 나타나는 특징일 수 있다. 4 ~ 8 Hz의 주파수 대역은 쎄타(θ) 유형이고, 창의성(creativity), 인싸이트(insight), 깊은 상태(deep states) 시에 나타나는 특징일 수 있다. 8 ~ 12 Hz의 주파수 대역은 알파(α) 유형이고, 명상(meditation) 시에 나타나는 특징일 수 있다. 13 ~ 21 Hz의 주파수 대역은 베타(β) 유형이고, 생각(thinking), 집중(focusing) 시에 나타나는 특징일 수 있다. 12 ~ 15 Hz의 주파수 대역은 SMR 유형이고, 정신적 조심성(mental alertness), 육체적 긴장이완(physical relaxation) 시에 나타내는 특징일 수 있다. 20 ~ 32 Hz의 주파수 대역은 감마(γ) 유형이고, 인지적 처리(Cognitive processing), 배움(learning) 시에 나타나는 특징일 수 있다.

일 실시예에 따른, 뇌파 집중력 지표가 아래의 [수학식 1]로 계산될 수 있다.

[수학식 1]

[수학식 1]에서, T는 집중력 지표이고, SMR은 뇌파 신호들(820) 중 SMR 유형에 대한 성분의 크기, β는 베타 유형에 대한 성분의 크기, 쎄타 유형에 대한 성분의 크기일 수 있다.

사용자에게 컨텐츠가 제공되는 집중력 지표가 실시간적으로 계산될 수 있고, 집중력 지표에 따라 컨텐츠 내의 오브젝트가 변화될 수 있다. 예를 들어, 집중력 지표가 큰 경우, 오브젝트가 크게 변화될 수 있다. 집중력 지표가 미리 설정된 값 이상인 경우, 컨텐츠의 목표가 달성되고, 컨텐츠가 종료될 수 있다.

도 9는 일 예에 따른 사용자에게 제2 컨텐츠를 제공하고, 사용자의 제2 뇌파 및 제2 시선 정보를 획득하는 방법의 흐름도이다.

일 측면에 따르면, 아래의 단계들(910 및 920)는 도 3을 참조하여 전술된 단계(320)가 수행된 후 추가로 수행될 수 있다.

단계(910)에서, 서버(200)는 제1 컨텐츠의 제공이 중단(또는 종료)된 경우 사용자에게 제2 컨텐츠를 제공한다. 예를 들어, 제2 컨텐츠는 제1 컨텐츠와 동일한 유형일 수 있다. 다른 예로, 제2 컨텐츠는 제1 컨텐츠와 상이한 유형일 수 있다. 제1 컨텐츠 및 제2 컨텐츠는 도 4를 참조하여 설명된 컨텐츠들일 수 있으나, 기재된 실시예로 한정되지 않는다.

단계(920)에서, 서버(200)는 사용자의 제2 뇌파 정보 및 제2 시선 정보를 획득한다.

도시되지는 않았으나, 일 예에 따르면, 제2 컨텐츠의 제공이 중단된 경우에도 추가적인 컨텐츠들이 연속적으로 제공될 수 있다. 사용자의 집중력의 레벨을 결정하기 위해 필요한 개수의 컨텐츠들이 제공될 수 있다.

다시 도 3을 참조하면, 단계(330)에서, 서버(200)는 뇌파 정보 및 시선 정보에 기초하여 사용자의 집중력 레벨을 결정한다. 뇌파 정보 및 시선 정보에 기초하여 사용자의 집중력 레벨을 결정하는 방법에 대해, 아래에서 도 10 내지 14를 참조하여 상세히 설명된다.

일 측면에 따르면, 미리 설정된 복수의 레벨들 중 어느 하나의 레벨이 결정될 수 있다. 예를 들어, 복수의 레벨들은 중증 ADHD 환자 레벨, 경증 ADHD 환자 레벨, 주의 레벨, 및 정상 레벨을 포함할 수 있고, 기재된 실시예로 한정되지 않는다.

결정된 집중력 레벨에 따라 사용자의 현재 상태를 판단할 수 있으며, 사용자가 반복적으로 컨텐츠를 이용하는 경우, 집중력 레벨이 좋은 방향으로 향상될 수 있다. 즉, 사용자는 제공되는 컨텐츠를 통해 집중력을 훈련할 수 있다.

도 10은 일 예에 따른 뇌파 신호들에 기초하여 집중력 레벨을 계산하는 방법의 흐름도이다.

일 측면에 따르면, 도 3을 참조하여 전술된 단계(330)는 아래의 단계들(1010 및 1020)을 포함할 수 있다.

단계(1010)에서, 서버(200)는 뇌파 정보를 복수의 주파수 대역들의 뇌파 신호들로 분할한다. 예를 들어, 도 8을 참조하여 설명된 바와 같이, 뇌파 정보(810)를 푸리에 변환함으로써 복수의 주파수 대역들로 뇌파 신호들(820)이 분할될 수 있다.

단계(1020)에서, 서버(200)는 뇌파 신호들 중 타겟 뇌파 신호에 기초하여 집중력 레벨을 계산한다. 예를 들어, 타겟 뇌파 신호는 도 8을 참조하여 전술된 뇌파 신호들(820) 중 SMR 유형, 베타 유형 및 쎄타 유형을 포함할 수 있다.

일 측면에 따르면, 타겟 뇌파 신호에 기초하여 미리 설정된 복수의 레벨들 중 어느 하나의 레벨이 결정될 수 있다. 예를 들어, 복수의 레벨들은 중증 ADHD 환자 레벨, 경도 ADHD 환자 레벨, 주의 레벨, 및 정상 레벨을 포함할 수 있고, 기재된 실시예로 한정되지 않는다.

일 실시예에 따르면, 집중력 레벨은 집중력 레벨을 계산하기 위해 미리 훈련된 신경망 또는 알고리즘을 통해 계산될 수 있다. 예를 들어, 집중력 레벨을 계산하기 위해 가중 퍼지 소속함수 기반 심층 신경망(Neural Network with Weighted Fuzzy Membership Function: NEWFM)이 이용될 수 있다. NEWFM는 제1 뇌파 정보 및 제1 시선 정보 중 적어도 하나를 입력으로 하여 집중력 레벨을 출력으로서 계산할 수 있다. NEWFM은 제1 뇌파 정보 및 제1 시선 정보 중 적어도 하나를 수신한 경우, 타카기-수게노 역 퍼지 값들(takagi-sugeno defuzzification values), 타카기-수게노 역 퍼지 값들의 클래스를 분류한 결과 및 가중 퍼지 소속함수를 출력함으로써 집중력 레벨을 계산할 수 있다.

NEWFM를 통한 클래스 분류 방법 및 NEWFM의 구조에 대해 아래에서 도 11 내지 도 14를 참조하여 상세히 설명된다.

도 11은 일 예에 따른 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 방법의 흐름도이다.

일 측면에 따르면, 도 10을 참조하여 전술된 단계(1020)는 아래의 단계들(1110 내지 1160)을 포함할 수 있다. 즉, 단계들(1110 내지 1160)이 수행됨으로써 단계(1020)가 수행될 수 있다.

단계(1110)에서, 서버(200)는 입력 데이터들을 NEWFM에 입력한다. 예를 들어, 입력 데이터들은 타겟 뇌파 신호들을 포함할 수 있다. 또한, 입력 데이터들은 시선 정보를 더 포함할 수 있다.

NEWFM은 n개의 입력 데이터들을 수신하고, 입력 데이터들에 대한 타카기-수게노 역퍼지 값들(takagi-sugeno defuzzification values), 타카기-수게노 역 퍼지값들의 클래스를 분류한 결과 및 가중 퍼지 소속함수를 출력한다. 예를 들어, 입력 데이터들 I₁ 내지 I₁₀이 NEWFM에 입력되면, NEWFM의 출력 결과로 분류한 I₁ 내지 I₁₀의 클래스, I₁ 내지 I₁₀에 대한 타카기-수게노 역 퍼지 값들 및 가중 퍼지 소속함수를 출력한다.

단계(1120)에서, 서버(200)는 출력 데이터들을 복수의 그룹들로 분류한다.

서버(200)는 입력 데이터들의 레코드들의 클래스와 단계(1110)의 결과로 출력된 출력 데이터들의 레코드들의 클래스들을 비교하여, 출력 데이터들을 복수의 그룹들로 분류한다. 출력 데이터들 즉, 출력된 타카기-수게노 퍼지 값들에 대해 분류된 클래스가 대응되는 입력 데이터들의 레코드들의 클래스와 일치하는지 여부에 따라서 출력 데이터들이 제1 및 제2 그룹으로 분류될 수 있다. 여기서, 출력 데이터들은 입력 데이터들에 대응되는 타카기-수게노 역 퍼지 값들이며, 출력 데이터들의 레코드들의 클래스는 NEWFM의 학습과정에서 입력 데이터들의 레코드들에 기반하여 출력된 타카기-수게노 역 퍼지 값들의 클래스를 분류한 결과이다. 예를 들어, 입력 데이터들 I₁ 내지 I₁₀ 중 I₁ 및 I₁₀의 레코드들의 클래스가 출력 데이터들 중 I₁ 및 I₁₀에 대응되는 출력 데이터들의 레코드들의 클래스와 상이한 경우, I₁ 및 I₁₀은 제1 그룹으로 분류되고, I₂ 내지 I₉는 제2 그룹으로 분류될 수 있다. 즉, 제1 그룹은 출력 데이터들의 레코드들의 클래스들 중 레코드의 클래스가 대응되는 입력 데이터들의 각 레코드의 클래스와 상이한 그룹이고, 제2 그룹은 출력 데이터들의 레코드들 중 레코드의 클래스가 대응되는 입력 데이터들의 레코드의 클래스와 동일한 그룹일 수 있다.

단계(1130)에서, 서버(200)는 복수의 그룹들에 포함된 출력 데이터들을 NEWFM에 입력한다. 복수의 그룹들에 포함된 출력 데이터들이 그룹별로 각각 NEWFM들에 입력함으로써, 각 그룹에 대응되는 가중 퍼지 소속함수들이 출력될 수 있다.

단계(1130)에서 제1 및 제2 그룹에 포함된 출력 데이터들이 입력되는 NEWFM은, 단계(1110)에서 입력 데이터들이 입력되는 NEWFM과 동일하지만, NEWFM에 입력되는 데이터들이 입력 데이터들 및 출력 데이터들의 그룹들로 각각 상이하기 때문에 출력되는 결과들이 동일하지 않다.

단계(1140)에서, 서버(200)는 입력 데이터들의 레코드들의 클래스 분류의 정확도를 산출한다.

단계(1130)의 결과로 제1 및 제2 그룹 각각에 대한 가중 퍼지 소속함수들이 출력되고, 출력된 가중 퍼지 소속함수들에 대해 단계(1110)의 입력 데이터들을 대응시킴으로써, 입력 데이터들에 대한 클래스들이 분류될 수 있다.

분류된 입력 데이터들의 레코드들의 클래스들과 입력 데이터들의 실제 클래스들을 비교함으로써 분류된 입력 데이터들의 레코드들에 대한 클래스들의 정확도가 산출될 수 있다. 예를 들어, 입력 데이터들 I₁ 내지 I₁₀의 레코드들의 클래스들과 단계(1130)의 결과로 출력된 I₁ 내지 I₁₀에 대해 분류된 레코드들의 클래스들을 비교한 결과가 제1 정확도로 산출될 수 있다.

단계(1150)에서, 서버(200)는 입력 데이터들 및 복수의 그룹들에 대응되는 NEWFM들 각각에서 출력된 가중 퍼지 소속함수들을 출력한다. 즉, 서버(200)는 단계(1140) 이후, 단계(1110)에서의 입력에 따라 NEWFM에서 출력된 가중 퍼지 소속함수 및 단계(1130)에서의 그룹들에 대응되는 NEWFM들 각각에서 출력된 가중 퍼지 소속함수들을 출력한다. 예를 들어, 출력된 각 가중 퍼지 소속함수는 새로운 데이터들이 입력되는 경우, 각 단계별 함수로 이용되어 새로운 데이터들의 레코드들의 클래스를 높은 정확도로 분류할 수 있다.

단계(1150)가 반복 수행되는 경우, 단계(1150)의 결과로 산출된 정확도, 즉, 가장 마지막으로 산출된 정확도가 직전에 산출된 정확도와 동일한 경우에는 가장 마지막으로 산출된 정확도가 입력 데이터들에 대한 최종 정확도이므로, 이 최종 정확도가 출력될 수 있다.

단계(1160)에서, 서버(200)는 단계(1150)에서 산출된 정확도가 기설정된 조건을 만족하는 경우, 단계(1130)의 결과로 출력된 출력 데이터들을 입력 데이터들로 정의한다. 정의된 입력 데이터가 다시 단계(1110)로 입력됨으로써 단계들(1110 내지 1150)이 반복 수행될 수 있다.

단계(1160)는 입력 데이터들의 레코드들의 클래스 분류의 정확도를 높이기 위한 단계로서, 단계(1140)에서 산출된 정확도가 가장 높아질 때까지 반복하여 수행될 수 있다.

단계(1160)는 단계(1140)에서 정확도를 산출하기 이전에 정확도가 산출된 적이 없는 경우, 또는 단계(1150)의 결과로 산출된 입력 데이터들의 레코드들의 클래스 분류에 대한 정확도가 직전에 산출된 정확도 미만인 경우에 수행될 수 있다. 예를 들어, 단계(1140)를 통해 입력 데이터들 I₁ 내지 I₁₀의 레코드들의 클래스 분류에 대한 제1차 정확도가 산출되었다면, 제1차 정확도를 산출하기 이전에 정확도가 산출된 적이 없는 경우이므로, 단계(1130)의 결과로 산출된 타카기-수게노 역 퍼지 값들을 입력 데이터들로 취급하여, 단계들(1110 내지 1150)가 수행될 수 있다.

또한, 단계(1160)를 통해 산출된 제2차 정확도가 제1차 정확도를 초과하더라도, 산출된 제2차 정확도가 가장 높은 정확도인지 여부는 모르는 상태이기 때문에, 제3차 정확도를 산출하기 위하여 단계들(1110 내지 1150)이 다시 수행될 수 있다.

만일, 산출된 제3차 정확도가 제2차 정확도가 동일한 경우, 제2차 및 제3차 정확도가 가장 높은 정확도로 간주되고, 제3차 정확도가 입력 데이터들의 레코드들에 대한 클래스 분류의 최종 정확도로서 출력될 수 있다.

예를 들어, 실제 ADHD 환자의 뇌파 정보(더욱 구체적으로, 타겟 뇌파 신호들)을 NEWFM을 이용한 클래스 분류 방법의 입력 데이터들로 사용하여, 가중 퍼지 소속함수들이 추출될 경우, 추출된 가중 퍼지 소속함수들은 ADHD 환자에 대한 뇌파 정보에 대해서는 높은 정확도를 가지고 있는 함수들이므로, 클래스가 정의되지 않은 ADHD 환자에 대한 뇌파 정보의 클래스를 분류하기 위한 함수들로써 이용될 수 있다.

도 12 및 14는 일 예에 따른 가중 퍼지 소속함수 기반 심층 신경망을 도시한다.

구체적으로, 도 12는 일 예에 따른 NEWFM을 이용한 클래스 분류 방법의 전체적인 흐름도를 간략히 도시하고, 도 13은 제1차 단계들(1110 내지 1130)의 흐름도를 도시하고, 도 14는 단계(1140)의 흐름도를 도시한다.

아래의 [표 1]은 입력 데이터들(1201)의 값들 및 클래스를 나타내고, [표 2]는 NEWFM(1203)을 통해 출력된 타카기-수게노 역 퍼지 값들에 대한 클래스를 나타내고, [표 3]은 제1 그룹(1205)에 포함된 타카기-수게노 역 퍼지 값들을 나타내고, [표 4]는 제2 그룹(1207)에 포함된 타카기-수게노 역 퍼지 값들을 나타낸다.

input 1	input 2	...	class
1	11		1
2	12		1
3	13		2
4	14		1
5	15		2
6	16		2
7	17		1
8	18		1
9	19		1
10	20		2

1
2
1
1
2
1
1
2
1
1

input 1	input 2	...	class
2	12		1
3	13		2
6	16		2
8	18		1
10	20		2

input 1	input 2	...	class
1	11		1
4	14		1
5	15		2
7	17		1
9	19		1

도 12 내지 14 및 [표 1] 내지 [표 4]를 참조하면, 입력 데이터들(1201)이 NEWFM(1203)에 입력된다.

NEWFM(1203)은 입력 데이터들(1201 및 [표 1])에 대응되는 타카기-수게노 역 퍼지 값들, 타카기-수게노 역 퍼지 값들의 레코드별 클래스 분류 결과([표 2]) 및 가중 퍼지 소속함수를 출력할 수 있다.

레코드별 클래스 분류 결과([표 2])와 입력 데이터들(1201 및 [표 1])의 클래스를 비교한 결과, 입력 데이터들(1201 및 [표 1])에 대한 클래스와 상이한 클래스로 분류된 타카기-수게노 역 퍼지 값들은 제1 그룹(1205 및 [표 3])으로 분류되고, 입력 데이터들(1201 및 [표 1])에 대한 클래스와 상이한 클래스로 분류된 타카기-수게노 역 퍼지 값들은 제2 그룹(1207 및 [표 4])으로 분류된다.

예를 들어, 입력 데이터들(1201 및 [표 1])의 첫 번째 레코드의 실제 클래스와 타카기-수게노 역 퍼지 값들의 첫 번째 레코드의 분류된 클래스가 동일하므로, 타키기-수게노 역 퍼지 값들의 첫 번째 레코드는 제2 그룹(1207 및 [표 4])으로 분류될 수 있다.

다만, 입력 데이터들(1201 및 [표 1])의 두 번째 레코드의 실제 클래스와 타카기-수게노 역 퍼지 값들의 두 번째 레코드의 분류된 클래스가 상이하므로, 타키기-수게노 역 퍼지 값들의 두 번째 레코드는 제1 그룹(1207 및 [표 4])으로 분류될 수 있다.

제1 그룹(1205 및 [표 3]) 및 제2 그룹(1207 및 [표 4])에 포함된 타카기-수게노 역 퍼지 값들을 각 그룹별로 NEWFM(1203)에 입력함으로써, 제1 그룹(1205 및 [표 3])에 대응되는 가중 퍼지 소속함수 및 제2 그룹(1207 및 [표 4])에 대응되는 가중 퍼지 소속함수가 출력될 수 있다.

입력 데이터들(1201 및 [표 1])을 제1 그룹(1205 및 [표 3])에 대응되는 가중 퍼지 소속함수 및 제2 그룹(1207 및 [표 4])에 대응되는 가중 퍼지 소속함수에 각각 대입함으로써, 입력 데이터들(1201 및 [표 1])의 클래스 분류에 대한 정확도가 산출될 수 있다.

산출된 정확도가 기설정된 조건을 만족하는 경우, 단계(1160)를 통해 단계들(1110 내지 1150)이 반복적으로 수행될 수 있다.

단계들(1110 내지 1150)이 반복 수행되는 경우, 제1 그룹(1205 및 [표 3]) 및 제2 그룹(1207 및 [표 4])에 포함된 타카기-수게노 역 퍼지 값들을 각 그룹별로 NEWFM(1203)에 입력한 결과로 출력된 타카기-수게노 역 퍼지 값들이 입력 데이터들(1201 및 [표 1])로 취급될 수 있다.

도 15는 일 예에 따른 사용자 장치의 구성도이다.

일 측면에 따르면, 사용자 장치(1500)는 통신부(1510), 프로세서(1520), 메모리(1530), 뇌파 센서(1540) 및 카메라(1550)를 포함할 수 있다. 사용자 장치(1500)는 도 1을 참조하여 설명된 사용자 장치(120)에 대응할 수 있다. 예를 들어, 사용자 장치(1500)는 HMD일 수 있다.

통신부(1510)는 프로세서(1520), 메모리(1530), 뇌파 센서(1540) 및 카메라(1550)와 연결되어 데이터를 송수신한다. 통신부(1510)는 외부의 다른 장치와 연결되어 데이터를 송수신할 수 있다.

통신부(1510)는 사용자 장치(1500) 내의 회로망으로 구현될 수 있다. 예를 들어, 통신부(1510)는 내부 버스 및 외부 버스를 포함할 수 있다. 다른 예로, 통신부(1510)는 사용자 장치(1500)와 외부의 장치를 연결하는 요소일 수 있다. 통신부(1510)는 인터페이스일 수 있다. 통신부(1510)는 외부의 장치로부터 데이터를 수신하여, 프로세서(1520) 및 메모리(1530)에 데이터를 전송할 수 있다.

프로세서(1520)는 통신부(1510)가 수신한 데이터 및 메모리(1530)에 저장된 데이터를 처리한다. 프로세서(1520)는 메모리(예를 들어, 메모리(1530))에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(1520)에 의해 유발된 인스트럭션들을 실행한다.

메모리(1530)는 통신부(1510)가 수신한 데이터 및 프로세서(1520)가 처리한 데이터를 저장한다. 예를 들어, 메모리(1530)는 프로그램(또는 어플리케이션, 소프트웨어)을 저장할 수 있다. 저장되는 프로그램은 사용자에게 컨텐츠를 제공하고, 뇌파 정보 및 시선 정보를 획득할 수 있도록 코딩되어 프로세서(1520)에 의해 실행 가능한 신텍스들의 집합일 수 있다.

일 측면에 따르면, 메모리(1530)는 하나 이상의 휘발성 메모리, 비휘발성 메모리 및 RAM, 플래시 메모리, 하드 디스크 드라이브 및 광학 디스크 드라이브를 포함할 수 있다.

메모리(1530)는 사용자 장치(1500)를 동작 시키는 명령어 세트(예를 들어, 소프트웨어)를 저장한다. 사용자 장치(1500)를 동작 시키는 명령어 세트는 프로세서(1520)에 의해 실행된다.

뇌파 센서(1540)는 사용자 장치(1500)가 사용자의 머리 부분에 밀착되는 경우, 사용자의 뇌파 정보를 획득할 수 있도록 사용자 장치(1500)에 위치할 수 있다. 구체적으로, 사용자가 사용자 장치(1500)를 착용한 경우, 뇌파 센서(1540)가 사용자의 이마 부위에 위치되도록 사용자 장치(1500)에 배치될 수 있다.

카메라(1550)는 사용자의 눈을 촬영할 수 있는 영상 장치일 수 있다. 카메라(1550)에 의해 생성된 영상에 의해 사용자의 동공의 위치가 결정될 수 있다. 사용자의 동공의 위치에 기초하여 사용자의 시선이 결정될 수 있다. 사용자가 사용자 장치(1500)를 착용한 경우, 사용자의 눈을 촬영할 수 있도록 사용자 카메라(1550)가 사용자 장치(1500)에 배치될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 시스템
110: 서버
120: 사용자 장치
130: 분석 단말

Claims (16)

1. 사용자의 집중력 레벨을 결정하는 서버에 의해 수행되는,
   HMD(head mounted display)를 통해 사용자에게 제1 컨텐츠를 제공하는 단계 - 상기 제1 컨텐츠는 가상 현실(virtual reality: VR) 컨텐츠임 -;
   상기 HMD를 통해 상기 제1 컨텐츠를 시청하는 상기 사용자의 제1 뇌파 정보 및 제1 시선 정보를 획득하는 단계; 및
   상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나에 기초하여 상기 사용자의 집중력 레벨을 결정하는 단계
   를 포함하고,
   상기 사용자의 제1 뇌파 정보 및 제1 시선 정보를 획득하는 단계는,
   상기 제1 시선 정보에 대응하는 상기 제1 컨텐츠 내의 오브젝트를 결정하는 단계;
   상기 제1 뇌파 정보를 복수의 주파수 대역들의 뇌파 신호들로 분할하는 단계 - 상기 복수의 주파수 대역들의 뇌파 신호들은 쎄타(θ) 유형, 베타(β) 유형, 및 SMR 유형을 포함함 -
   상기 쎄타(θ) 유형에 대한 성분의 크기, 상기 베타(β) 유형에 대한 성분의 크기, 및 상기 SMR 유형에 대한 크기를 아래의 [수학식 1]에 적용함으로써 상기 사용자의 집중력 지표를 계산하는 단계;
   상기 계산된 집중력 지표가 미리 설정된 값 이상인 경우 상기 오브젝트를 변화시키는 단계; 및
   상기 오브젝트의 변화가 미리 설정된 변화에 대응하는 경우 상기 제1 컨텐츠의 제공을 중단하는 단계
   를 포함하고,
   상기 사용자의 집중력 레벨을 결정하는 단계는,
   상기 제1 뇌파 정보 및 상기 제1 시선 정보를 입력으로 하는 가중 퍼지 소속함수 기반 심층 신경망(Neural Network with Weighted Fuzzy Membership Function, NEWFM)을 이용하여 상기 집중력 레벨을 계산하는 단계 - 상기 NEWFM은 상기 제1 뇌파 정보 및 상기 제1 시선 정보를 수신한 경우, 타카기-수게노 역 퍼지 값들(takagi-sugeno defuzzification values), 타카기-수게노 역 퍼지 값들의 클래스를 분류한 결과 및 가중 퍼지 소속함수를 출력함으로써 상기 집중력 레벨을 계산함 -
   를 포함하고,
   [수학식 1]
   

   

   
   상기 [수학식 1]에서, T는 상기 집중력 지표이고, SMR은 상기 SMR 유형에 대한 크기이고, β는 상기 베타(β) 유형에 대한 성분이고, θ는 상기 쎄타(θ) 유형에 대한 성분의 크기인,
   집중력 레벨 결정 방법.
   
2. 삭제
3. 제1항에 있어서,
   상기 오브젝트의 변화는,
   상기 오브젝트의 형태 및 상기 오브젝트의 위치 중 적어도 하나가 변화하는,
   집중력 레벨 결정 방법.
   
4. 삭제
5. 제1항에 있어서.
   상기 HMD를 통해 상기 제1 컨텐츠를 시청하는 상기 사용자의 뇌파 정보 및 시선 정보를 획득하는 단계는,
   상기 오브젝트의 변화가 미리 설정된 변화에 대응하지 않더라도 상기 제1 컨텐츠에 대해 미리 설정된 타이머가 종료되는 경우 상기 제1 컨텐츠의 제공을 중단하는 단계
   를 더 포함하는,
   집중력 레벨 결정 방법.
   
6. 제1항에 있어서,
   상기 제1 컨텐츠의 제공이 중단된 경우, 상기 사용자에게 제2 컨텐츠를 제공하는 단계; 및
   상기 HMD를 통해 상기 제2 컨텐츠를 시청하는 상기 사용자의 제2 뇌파 정보 및 제2 시선 정보를 획득하는 단계
   를 더 포함하고,
   상기 사용자의 집중력 레벨을 계산하는 단계는,
   상기 사용자의 제2 뇌파 정보 및 제2 시선 정보 중 적어도 하나에 기초하여 상기 집중력 레벨을 계산하는 단계
   를 더 포함하는,
   집중력 레벨 결정 방법.
   
7. 삭제
8. 삭제
9. 삭제
10. 제1항, 제3항, 제5항, 및 제6항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
    
11. 사용자의 집중력 레벨을 결정하는 서버는,
    사용자의 집중력 레벨을 결정하는 프로그램이 기록된 메모리; 및
    상기 프로그램을 수행하는 프로세서
    를 포함하고,
    상기 프로그램은,
    HMD(head mounted display)를 통해 사용자에게 제1 컨텐츠를 제공하는 단계 - 상기 제1 컨텐츠는 가상 현실(virtual reality: VR) 컨텐츠임 -;
    상기 HMD를 통해 상기 제1 컨텐츠를 시청하는 상기 사용자의 제1 뇌파 정보 및 제1 시선 정보를 획득하는 단계;
    상기 제1 뇌파 정보 및 상기 제1 시선 정보 중 적어도 하나에 기초하여 상기 사용자의 집중력 레벨을 결정하는 단계
    를 수행하고,
    상기 사용자의 제1 뇌파 정보 및 제1 시선 정보를 획득하는 단계는,
    상기 제1 시선 정보에 대응하는 상기 제1 컨텐츠 내의 오브젝트를 결정하는 단계;
    상기 제1 뇌파 정보를 복수의 주파수 대역들의 뇌파 신호들로 분할하는 단계 - 상기 복수의 주파수 대역들의 뇌파 신호들은 쎄타(θ) 유형, 베타(β) 유형, 및 SMR 유형을 포함함 -
    상기 쎄타(θ) 유형에 대한 성분의 크기, 상기 베타(β) 유형에 대한 성분의 크기, 및 상기 SMR 유형에 대한 크기를 아래의 [수학식 1]에 적용함으로써 상기 사용자의 집중력 지표를 계산하는 단계 - ;
    상기 계산된 집중력 지표가 미리 설정된 값 이상인 경우 상기 오브젝트를 변화시키는 단계; 및
    상기 오브젝트의 변화가 미리 설정된 변화에 대응하는 경우 상기 제1 컨텐츠의 제공을 중단하는 단계
    를 포함하고,
    상기 사용자의 집중력 레벨을 결정하는 단계는,
    상기 제1 뇌파 정보 및 상기 제1 시선 정보를 입력으로 하는 가중 퍼지 소속함수 기반 심층 신경망(Neural Network with Weighted Fuzzy Membership Function, NEWFM)을 이용하여 상기 집중력 레벨을 계산하는 단계 - 상기 NEWFM은 상기 제1 뇌파 정보 및 상기 제1 시선 정보를 수신한 경우, 타카기-수게노 역 퍼지 값들(takagi-sugeno defuzzification values), 타카기-수게노 역 퍼지 값들의 클래스를 분류한 결과 및 가중 퍼지 소속함수를 출력함으로써 상기 집중력 레벨을 계산함 -
    를 포함하고,
    [수학식 1]
    

    

    
    상기 [수학식 1]에서, T는 상기 집중력 지표이고, SMR은 상기 SMR 유형에 대한 크기이고, β는 상기 베타(β) 유형에 대한 성분이고, θ는 상기 쎄타(θ) 유형에 대한 성분의 크기인,
    서버.
    
12. 삭제
13. 제11항에 있어서,
    상기 제1 컨텐츠 내의 오브젝트를 변화시키는 단계는,
    상기 제1 시선 정보에 기초하여 상기 사용자의 시선이 상기 제1 컨텐츠의 복수의 오브젝트들 중 상기 오브젝트에 대응하는지 여부를 결정하는 단계; 및
    상기 시선이 상기 오브젝트에 대응하는 경우 상기 오브젝트를 변화시키는 단계
    를 포함하는,
    서버.
14. 삭제
15. 삭제
16. 삭제

Images