KR20200010564A

KR20200010564A - 학습, 검토, 연습 및 암기에서 사용자의 경험을 강화시키기 위한 통찰-기반 인지 보조 장치, 방법 및 시스템

Info

Publication number: KR20200010564A
Application number: KR1020207000908A
Authority: KR
Inventors: 푸-빈 늑유엔
Original assignee: 푸비 코그니티브 네트웍 코퍼레이션
Priority date: 2017-06-13
Filing date: 2018-05-14
Publication date: 2020-01-30
Also published as: US10127825B1; MY202173A; US20180366014A1; US10373510B2; CA3067017C; WO2018231403A1; JP2020527741A; AU2021200339A1; CN111213197A; CA3067017A1; EP3639255A1; CN111213197B; KR102140075B1; EP3639255A4; SG11201911766WA; AU2018283906A1; JP6742545B1

Abstract

사람의 직관-기반 인지 보조 시스템은, 사용자가 카메라-헤드셋으로 착용할 수 있는 하나 이상의 구성요소와, 사용자의 직관적 상태를 캡처하는 하나 이상의 센서와, 비디오를 캡처하는 카메라와, 사용자의 캡처된 직관적 상태에 기초하여 캡처된 비디오에 대한 인지 탐색 맵을 제공하는 프로세서와, 인지 탐색 맵에 링크된 비디오에 노트, 코멘트를 입력하는 입력기와, 상기 정보의 모든 구성요소를 링크와 식별된 인지 맵으로 저장하는 메모리를 포함한다.

Description

학습, 검토, 연습 및 암기에서 사용자의 경험을 강화시키기 위한 통찰-기반 인지 보조 장치, 방법 및 시스템

본 출원은 2017년 6월 13일에 출원된 미국 가출원 제62/518,824호의 우선권을 주장하며, 그 내용은 그 전문이 본원에 참조로 포함된다.

예시적인 실시 예와 일치하는 장치, 방법, 시스템 및 컴퓨터 판독 가능 매체는 인지 기술, 특히 학습 및 메모리 관련 기술에 널리 관련된다.

오늘날 세계의 지식은 매우 빠르게 성장한다. 학생들은 학교와 다른 장소에서 방대한 양의 정보에 의해 도전 받는다. 방대한 양의 정보는 종종 학습 기간 동안 강의 형식으로 학생에게 제공된다

메모리 분야의 연구에 따르면 사람은 단기 메모리에 매우 제한된 양의 지각 정보(sensory information)를 보유할 수 있는 것으로 나타났다. 지각 정보 세그먼트가 사람의 작업 메모리에서 인지 처리 작업(cognitive processing task)을 수신하지 않는 한 몇 초 안에 잊혀진다. 이것은 사람이 지각 정보의 토픽를 좋아하지 않을 때, 뇌의 통증 센터가 활성화되어 지연(procrastination)을 유발할 때 특히 그렇다. 그러한 상황에 있는 사람은 싫어하는 토픽을 공부하는 것이 아니라 더 즐거운 생각에 관심을 기울이는 경향이 있다. 결과적으로 이 사람에게는 학습 결과가 좋지 않다.

연구에 따르면 사람은 여러 덩어리의(chunks of) 정보를 탐색, 스캔, 상관 및 확립함으로써 복잡한 토픽에 대해 보다 포괄적인 이해를 얻을 수 있다. 덩어리(chunk)에는 토픽 내의 여러 상관된 특징에 대한 상관관계가 포함된다. 그리고 새로 확립된 각 덩어리가 그 토픽 및 그 사람의 통찰(insights)에서 다른 덩어리와 다시 상관되는 경우, 토픽에 대한 포괄적인 이해가 이루어지고 통찰 덩어리 네트워크(insight chunk network)를 통해 그 사람의 통찰에 새로운 장기 메모리가 확립된다. 예로써, 2018년 1월 7일에 마지막으로 방문한, http://youtu.be/vd2dtkMINIw에 있는 바바라 오클리(Barbara Oakley)의 "어떻게 배울지를 배우기(Learning How to Learn)"의 지연, 집중 모드(focused mode), 확산 모드(diffused mode) 및 덩어리 방법(chunking method)에 대한 컨텐츠을 보라.

오늘날의 학습 기술에 위의 방법을 적용하기 위해, 학생들은 카메라를 사용하여 학교의 일과 중에 다양한 강의 세션 동안 강의 비디오를 찍을 수 있다. 학생들은 강의 중에 공책이나 노트북컴퓨터에 노트(notes)를 할 수도 있다. 집에서는 비디오를 스크린이나 TV에서 재생한 다음, 해당 에피소드와 노트를 연관시켜 노트의 안내에 따라 한 지점에서 다른 지점으로 또는 토픽에서 토픽로 강의를 검토하고 연습(rehearse)할 수 있다.

그러나 처음부터 끝까지 긴 비디오를 검토하는 데 시간이 오래 걸리고 많은 노력이 필요할 수 있다. 또한, 학생들은 특정 시점이나 이해한 토픽에 대해서만 노트를 할 수 있으며, 혼동스러워하거나 관심이 없는 시점이나 토픽에서 노트가 유실되거나 혼동될 수 있다.

검토할 때 동영상에서 상관된 특정 에피소드에 노트, 코멘트를 추적하고 넣기가 쉽지 않다. 작업을 저장하면 일반적으로 노트, 코멘트 및 관련된 특정 에피소드 간의 링크가 손실된다. 따라서 학습 과정의 효율성과 향후 이렇게 저장된 정보의 사용은 제한적이다.

또한 강의자는 학생들이 지루하거나 졸리거나 혼동스러워하는 시간이나 지점과 학생들이 관심있어 하고 흥분되어 있는 시간이나 지점을 파악하기에는 그 학생들로부터 매우 제한된 피드백 신호를 갖는다.

미국 특허 제9,711,056호

https;//www.youtube.com/watch?v=skyvzMxtLu8&feature=youtu.be에 있는, 퍼블릭 렉춰 로얄 소사이어티 (Public Lecture Royal Society)의, 에릭 알. 칸델(Eric R. Kandel), "우리는 우리가 기억하는 것이다: 메모리와 개성의 생물학적 기초(We are what we remember: memory and the biologicial basis of individuality)". https://www.youtube.com/watch7v-a HfSnQqeyY & t-1846s에 있는 스탠포드 유니버시티(Stanford University)의 프랭크 롱고(Frank Longo)의 "학습 및 메모리: 어떻게 작동하고 언제 실패하나(Learning and Memory: How it Works and When it Fails)". https://voutu.be/gdzmNwTLakgㅇ에 있는 더 로얄 인스티튜션(The Royal Institution)의 엘레노어 맥과이어(Eleanor Maguire)의 "메모리의 신경 과학(The neuroscience of Memory)". https : //youtu.be/vd2dtkMINIw에 있는 바바라 오클리(Barbara Oakley)의 "어떻게 배울지를 배우기(Learning How to Learn)". https://youtu.be/oxZzoVp5jmI에 있는 UCLA 심리학과의 로버트 브욕(Robert Bjork)의 "우리가 배우는 방식 대 우리가 배우는 것을 생각하는 방식(How We Learn Versus How We Think We Learn)".

당해 기술 분야에서, 학생 또는 학생들의 인지 상태를 강의 상에 그리고 강의에 걸쳐 모니터링, 수집 및 표시하여 그들이 검토하기 위해 필요한 지점을 탐색할 필요가 있다. 비디오 강의의 특정 에피소드에 직접 노트, 스케치 및/또는 코멘트을 추가할 필요가 있다. 또한, 강의실에서 녹화된 비디오 강의를 포함하는, 학습 과정의 일부 또는 여러 부분, 구성요소 또는 전체 데이터와, 강의에 걸쳐 또는 강의 중 사용자의 동기화된 인지 성능과, 검토, 연습, 노트, 컨텐츠, 코멘트, 질문, 검색에 걸쳐 또는 그 중에 학생의 동기화된 인지 성능 및 식별된 문서의 컨텐츠에 대한 탐색 시스템을 문서화할 필요가 있다.

또한, 당해 기술 분야에서는, 강의에 관한 더 나은 피드백을 제공함으로써 사용자가 보다 효율적으로 자료를 학습하고 강의자가 강의 과정을 개선할 수 있도록 네트워크를 통해 학습 과정을 교환, 토론 및 개선하여, 강의자가 보다 쉽고 효율적이며 흥미로운 방식으로 자료를 발표하도록 할 필요가 있다. 당해 기술 분야에서는 정보 섭취 프로세스 및 정보 제시 프로세스를 개선할 필요가 있다.

예시적인, 비제한적인 실시 예들에 따르면, 인지 보조 시스템(cognitive assistant system)은 캡처된 동기화된 시각 및 오디오 정보와, 캡처된 동기화된 사용자의 인지 상태 정보와, 디스플레이와, 직관-기반 탐색 맵(intuition-based navigating map)과, 사용자에 의해 입력된 노트 또는 코멘트에 기초하여 제공된다.

예시적인 비제한적 실시 예에 따르면, 직관-기반 탐색 맵은, 서브-윈도우(sub-windows)에 표시되고 사용자의 동기화된 인지 상태로 마킹된 자막 모듈(subtitle modules)을 구현하는 스크립트 윈도우(script window)에 기초하여 제공된다.

예시적인 비제한적 실시 예에 따르면, 캡처된 동기화된 시각 및 오디오 정보는 서브-비디오 또는 에피소드로 분할되며, 서브-비디오 또는 에피소드는 서브-윈도우에 표시된 자막 모듈과 동기화되고 사용자의 동기화된 인지 상태로 마킹된다.

예시적인 비제한적인 실시 예에 따르면, 서브-윈도우에 표시되고 사용자의 동기화된 인지 상태로 마킹된 자막 모듈과 동기화된 서브-비디오는 사용자에 의한 입력으로서 상관된 노트, 코멘트, 스케치 등으로 추가될 수 있다.

예시적이고 비제한적인 실시 예는 종래 기술에서 상술된 단점 및 문제점을 극복할 수 있고, 또한 전술되지 않은 다른 단점 및 문제점에 대한 해결책을 제공하도록 개발될 수 있다. 그러나, 본 발명의 개시의 가르침에 따라 동작하는 방법, 장치, 시스템 및 컴퓨터 판독 가능 매체는 상술된 특정 문제 또는 단점 중 어느 하나를 극복하기 위해 반드시 요구되는 것은 아니다. 하나 이상의 예시적인 실시 예는 전술된 단점을 극복하기 위해 요구되지 않으며 전술된 문제점 중 어느 것도 극복하지 못할 수 있는 것으로 이해된다.

예시적인 실시 예들의 양태에 따르면, 사람의 감정-기반 인지 보조 시스템이 제공되며, 시각 및 오디오 정보 중 적어도 하나를 포함하는 데이터를 환경으로부터 캡쳐하도록 구성된 적어도 하나의 장치와, 장치에 의해 캡처된 데이터에 대응하는 사용자의 감정 상태를 캡처하도록 구성된 적어도 하나의 센서와, 메모리 및 프로세서를 포함하는 검토 장치를 포함한다. 프로세서는, 장치에 의해 캡처된 데이터를 미리 정해진 기준에 따라 복수의 세그먼트로 분할하고, 복수의 세그먼트 각각에 대해서, 복수의 세그먼트 중에서부터 각각의 세그먼트에 대응하는 센서에 의해 캡처된 사용자의 감정 상태의 미리 결정된 구성요소들과 메모리에 저장된 특유의 기준 신호 간의 비교로부터 생성된 상관관계 유형 및 상관관계 레벨을 포함하는, 사용자의 직관적 상태를 결정하되, 특유의 기준 신호는 특유의 직관적 기준 샘플을 나타내고, 적어도 하나의 타임라인을 생성하고, 복수의 세그먼트들 각각에 대한 감정 지시기를 포함하는, 생성된 타임라인을 표시하도록 제어한다. 감정 지시기는 사용자의 결정된 직관적 상태를 가리킨다.

또 다른 예시적인 실시 예에 따르면, 사람의 감정-기반 인지 보조 방법이 제공된다. 방법은, 컴퓨터에 의해, 환경으로부터 캡처된 시각 정보 및 오디오 정보 중 적어도 하나를 포함하는 데이터를 수신하고, 컴퓨터에 의해, 적어도 하나의 센서에 의해 캡처된 데이터에 대응하는 사용자의 감정 상태를 수신하고, 컴퓨터에 의해, 데이터를 미리 정해진 기준에 따라 복수의 세그먼트로 분할하고, 복수의 세그먼트 각각에 대해서, 컴퓨터에 의해, 복수의 세그먼트 중에서부터 각각의 세그먼트에 대응하는 수신된 사용자의 감정 상태의 미리 결정된 구성요소들과 메모리에 저장된 복수의 특유의 기준 신호 간의 비교로부터 생성된 상관관계 유형 및 상관관계 레벨을 포함하는, 사용자의 직관적 상태를 결정한다. 특유의 기준 신호는 특유의 직관적 기준 샘플을 나타낸다. 방법은, 컴퓨터에 의해, 데이터에 대한 적어도 하나의 타임라인을 생성하는 것을 추가로 포함한다. 타임라인은 복수의 세그먼트 각각에 대한, 사용자의 결정된 직관적 상태를 가리키는, 감정 지시기를 포함하고, 컴퓨터에 의해, 생성된 타임라인 및 수신된 데이터의 적어도 일부를 출력한다.

또 다른 예시적인 실시 예에 따르면, 사람의 감정-기반 인지 보조 방법을 저장한 비-일시적 컴퓨터 판독 가능 기록 매체가 제공된다. 상기 방법이 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금, 환경으로부터 캡처된 시각 정보 및 오디오 정보 중 적어도 하나를 포함하는 데이터를 수신하고, 적어도 하나의 센서에 의해 캡처된 데이터에 대응하는 사용자의 감정 상태를 수신하고, 데이터를 미리 결정된 기준에 따라 복수의 세그먼트로 분할하고, 복수의 세그먼트 각각에 대해, 복수의 세그먼트 중에서부터 각각의 세그먼트에 대응하는 수신된 사용자의 감정 상태의 미리 결정된 구성요소들과 메모리에 저장된 복수의 특유의 기준 신호 간의 비교로부터 생성된 상관관계 유형 및 상관관계 레벨을 포함하는, 사용자의 직관적 상태를 결정하게 한다. 특유의 기준 신호는 특유의 직관적 기준 샘플을 나타낸다. 컴퓨터는 추가로 데이터에 대한 적어도 하나의 타임라인을 생성하되, 적어도 하나의 타임라인은 복수의 세그먼트 각각에 대한, 사용자의 결정된 직관적 상태를 가리키는, 감정적 지시기를 포함하고, 생성된 타임라인 및 수신된 데이터의 적어도 일부를 출력한다.

본 명세서에 포함되어 본 명세서의 일부를 구성하는 첨부 도면은 예시적인 실시 예를 예시하고, 상세한 설명과 함께 예시적인 실시 예를 설명하고 예시하는 역할을 한다. 구체적으로는:
도 1a는, 본 발명의 일 실시 예에 따른, 비디오 강의와 같은 사용자의 환경 및 동기화된 인지 상태 지각 데이터를 캡처하는 장치를 도시한 도면이다.
도 1b는, 본 발명의 일 실시 예에 따른, 센서에 의해 캡처되고 사용자의 분류된 인지 상태에 대응하도록 해석된 동기화된 인지 상태 지각 데이터를 나타내는 도면이다.
도 1c는, 본 발명의 일 실시 예에 따른, 교실에서 비디오 강의 및 동기화된 인지 상태 지각 데이터를 캡처하기 위해 실제적으로 사용되는 장치를 나타내는 도면이다.
도 1d는, 본 발명의 일 실시 예에 따른, 사용자의 동기화된 분류된 인지 상태에 기초한, 강의 등의 녹화 컨텐츠의 검토, 연습 및 통합을 나타내는 도면이다.
도 2는, 또 다른 예시적인 실시 예에 따른, 강의 자료 및 지각 데이터를 캡처하는 시스템을 나타내는 블록도이다.
도 3은, 본 발명의 일 실시 예에 따른, 검토 장치를 나타내는 블록도이다.
도 4는, 본 발명의 일 실시 예에 따른, 타임라인 생성 방법을 나타내는 흐름도이다.
도 5는, 본 발명의 일 실시 예에 따른, 사용자의 인지 상태로 컨텐츠를 표시하는 것을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 검토 장치의 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 검토 장치가 비디오 및 오디오 컨텐츠와 지각 데이터를 동기화하는 것을 나타내는 도면이다.
도 8a 및 8b는 본 발명의 일 실시 예에 따른 상관관계 구축 방법을 나타내는 도면이다.
도 9a 내지 9c는 본 발명의 일 실시 예에 따른 컨텐츠를 공부한 후 상관관계를 구축하는 방법을 나타내는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 상관관계 구축 방법 또는 컨텐츠 이해 방법을 나타내는 흐름도이다.
도 11은 본 발명의 또 다른 실시 예에 따른 상관관계 구축 방법을 나타내는 도면이다.
도 12 및 도 13은 또 다른 실시 예에 따른 그룹 설정을 통한 상관관계 구축 방법을 나타내는 도면이다.
도 14는 본 발명의 또 다른 실시 예에 따른 특정 작업에 대한 사용자의 스킬 레벨을 결정하는 방법을 나타내는 도면이다.
도 15는 또 다른 실시 예에 따른 특정 작업에 대한 사용자의 스킬 레벨을 결정하는 방법을 나타내는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다. 예시적인 실시 예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 예시적인 실시 예로 제한되는 것으로 해석되어서는 안된다. 오히려, 예시적인 실시 예는 본 개시가 철저하고 완전하도록 제공되며, 예시적인 개념을 당업자에게 완전히 전달할 것이다. 또한, 공지된 기능 또는 구성은 생략되어 예시적인 실시 예의 명확하고 간결한 설명을 제공할 수 있다. 본 발명의 개념의 진정한 범위를 확인하기 위해 청구범위 및 그 균등물을 참고해야 한다.

예시적인, 비제한적인 실시 예들에 따르면, 인지 보조 시스템(cognitive assistant systme)은, 예를 들면, 캡처된 동기화된 시각 및 오디오 정보(captured synchronized visual and audio information), 캡처된 동기화된 사용자의 인지 상태 정보(captured synchronized user's cognitive states information), 디스플레이(display), 직관 기반 탐색 맵(intuition-based navigating map) 및 사용자에 의해 입력된 노트(note), 코멘트에 기초하여 제공된다.

예시적인, 비제한적인 실시 예들에 따르면, 직관 기반 탐색 맵는 아래에 더 상세히 설명되는 바와 같이, 서브-윈도우에 표시되고 사용자의 동기화된 인지 상태(user's synchronized cognitive states)가 마킹된 자막 모듈(subtitle module)을 구현하는 스크립트 윈도우(script window)에 기초하여 제공된다.

예시적인 비제한적 실시 예에 따르면, 캡처된 동기화된 시각 및 오디오 정보는, 서브-윈도우에 표시된 자막 모듈과 동기화되고 사용자의 동기화된 인지 상태가 마킹된, 서브-비디오(sub-videos) 또는 에피소드(episodes)로 분할된다.

예시적인, 비제한적인 실시 예에 따르면, 서브-윈도우에 표시되고 사용자의 동기화된 인지 상태가 마킹된 자막 모듈과 동기화된 서브-비디오에는 상관된 노트, 코멘트 및/또는 스케치가 추가될 수 있다.

예를 들어, 관련 기술에서, 신경 과학은 모든 인간 정신 기능이, 선언적 및 비-선언적 메모리(declarative and non-declarative memory) 또는 암시적 및 명시적 메모리(implicit and explicit memory)를 포함하는 우리의 메모리 또는 통찰에 기초한다는 것을 보여준다. 예를 들어 도움을 주는 배경 설명을 위해 참조로 통합된, 2017년 12월 11일에 마지막으로 방문한, https;//www.youtube.com/watch?v=skyvzMxtLu8&feature=youtu.be에 있는, 퍼블릭 렉춰 로얄 소사이어티 (Public Lecture Royal Society)의, 에릭 알. 칸델(Eric R. Kandel), "우리는 우리가 기억하는 것이다: 메모리와 개성의 생물학적 기초(We are what we remember: memory and the biologicial basis of individuality)"를 보라.

통찰을 쌓는 과정(또는 학습 과정)에는 의미있는 정보를 작업 메모리로 감지하고, 상관관계 또는 덩어리(chunks)를 설정하고, 반복하거나 연습한 다음 생물학적 과정을 통해 뇌의 다른 영역에 이 정보를 분배하고 저장하는 것이 포함될 수 있다. 종합적인 학습 과정은 새로운 단기 메모리로부터 새로운 장기 메모리를 구축하는 과정이며 이 과정은 다음 세 가지 조건 중 하나 이상이 필요한다: 첫째, 상관관계 설정, 둘째, 반복 및/또는 정서적 자극. 도움을 주는 배경 설명을 위해 참조로 통합된, 예를 들면, 2017년 12월 11일 마지막으로 방문한 https://www.youtube.com/watch7v-a HfSnQqeyY & t-1846s에 있는 스탠포드 유니버시티(Stanford University)의 프랭크 롱고(Frank Longo)의 "학습 및 메모리: 어떻게 작동하고 언제 실패하나(Learning and Memory: How it Works and When it Fails)"와, 2017년 12월 11일 마지막으로 방문한 https://voutu.be/gdzmNwTLakgㅇ에 있는 더 로얄 인스티튜션(The Royal Institution)의 엘레노어 맥과이어(Eleanor Maguire)의 "메모리의 신경 과학(The neuroscience of Memory)"와, 2018년 1월 7일에 마지막으로 방문한 https://youtu.be/vd2dtkMINIw에 있는 바바라 오클리(Barbara Oakley)의 "어떻게 배울지를 배우기(Learning How to Learn)"와, 2018년 1월 10일에 마지막으로 방문한 https://youtu.be/oxZzoVp5jmI에 있는 UCLA 심리학과의 뛰어난 연구 교수인 로버트 브욕(Robert Bjork)의 "우리가 배우는 방식 대 우리가 배우는 것을 생각하는 방식(How We Learn Versus How We Think We Learn)"를 보라.

예를 들어, 도움을 주는 배경 설명을 위해 참조로 통합된 (본 발명의 발명자와 동일한) 늑유엔(Nguyen)의 미국 특허 제9,711,056호는, 인간이 환경을 탐험하고 관찰하는 동안 인간의 장기에 의해 생성된 상이한 유형의 정서적 자극을 캡처, 검출 및 식별하는 것을 기술한다.

그러나, 인간의 학습 능력을 향상시키기 위하여, 관찰과 감정을 캡처하고, 캡처된 자료를 표시하고, 관찰과 통찰 사이의 상관관계를 구축하고, 반복을 수행하고 학습 과정의 정서적 자극을 모니터링할 수 있는 장치, 방법 및 시스템을 구축할 필요가 있다.

프로세스 정보를 동기화된 감정 정보로 캡처한 후 프로세스 개선을 검토함으로써 학습을 향상시킬 수 있는 다른 예가 아래에 제공된다.

골프 교사는 골프 학습자의 스윙을 캡처하기 위해 카메라를 설정할 수 있다. 그런 다음 교사는 소프트웨어를 사용하여 골퍼의 이마의 움직임을 분석하여 스윙, 치핑 또는 퍼팅의 품질을 결정할 수 있다.

그러나 이 방법의 결과는 머리의 움직임이 작고 플레이어가 일반적으로 샷에서 샷으로 이동하는, 카메라 위치에서 머리까지의 거리에 따라 달라지기 때문에 약간의 한계가 있다.

이러한 프로세스를 개선하기 위해 당 업계에 요구가 있다. 예시적인 실시 예에 따르면, 카메라는 골퍼의 머리에 배치되고 카메라는 골프 공이 가장 중요한 요소인 골퍼가 관찰한 것을 캡처한다. 따라서 골퍼는 클럽 헤드가 볼을 타격할 때까지 계속 관찰하고 이마에서 볼까지의 거리를 안정적으로 유지해야 한다.

또한, 스윙하는 동안 동기화된 골퍼의 감정 신호를 캡처할 필요가 있으며, 게임 라운드가 끝난 후 검토 과정에서 골퍼에 대한 분석 및 학습 프로세스를 개선할 수 있다. 예시적인 실시 예에서, 카메라에 의해 수집된 정보는 스윙 또는 퍼팅 동안 골퍼의 집중을 반영하며, 이는 스윙 또는 퍼팅의 품질에 매우 영향을 미친다.

상기 언급되고 본원에 참조로 포함된 미국 특허 제9,711,056호에 기술된 바와 같이, 인간 인지 상태는 사용자로부터 획득된 감정적 및/또는 지각 데이터에 기초하여 캡처될 수 있고 환경 데이터와 동기화될 수 있다. 예를 들어, 도 1a는 일 실시 예에 따른 지각 및 감정 데이터를 캡처하는 장치를 나타낸 도면이다.

도 1a에 도시된 바와 같이, 일 실시 예에 따라 하나 이상의 카메라(11)가 헤드셋(1) 상에 제공될 수 있다. 즉, 예시적인 실시 예에 따라 시각 데이터 및/또는 오디오 데이터를 캡처하기 위해 좌측 카메라, 중앙 카메라 및 우측 카메라(도시되지 않음)가 제공될 수 있다. 예시적인 실시 예에서, 오디오 데이터를 캡처하기 위한 마이크로폰을 포함하는 하나의 비디오 카메라(11)가 헤드셋(1)의 전방에 제공될 수 있다. 이들은 제한이 아닌 예로서 제공된다. 당업자는 시각 데이터 및/또는 오디오 데이터가 사용자의 퍼스날 데이터 어시턴트(personal data assistant) 또는 셀룰러 전화기와 같은 퍼스날 디바이스(personal device)로 캡처될 수 있다는 것을 쉽게 이해할 것이다. 부가적으로, 당업자는 임의의 수의 카메라 및/또는 마이크로폰이 사용될 수 있고 시각적 데이터 및/또는 오디오 데이터가 단일 카메라에 의해, 혹은 복수의 카메라에 의해, 별도의 마이크로폰이나 복수의 마이크로폰에 의해 제공될 수 있음을 쉽게 이해할 것이다. 캡처된 시각 및 오디오 데이터(VI)는 이후 프로세서(도시되지 않음)와 연결된 메모리를 포함하는 전자 보드(10)로 전송될 수 있다.

일 실시 예에서, 전자 보드(10)는 지각 정보 및 감정 정보를 처리하여 사용자의 인지 상태를 생성할 수 있다. 또 다른 예시적인 실시 예에서, 생성된 인지 지각 정보는 헤드셋(1) 상에 제공된 통신 인터페이스(도시되지 않음)를 통해 저장, 모니터링 또는 추가 처리를 위해 다른 원격 장치로 전송될 수 있다. 예를 들어, 헤드셋(1)은 통신 인터페이스(예를 들어, 네트워크 카드, 안테나, 및 기타 당업자에게 공지되거나 이후에 개발될 다른 인터페이스)를 포함하여, 예를 들어, 블루투스, 적외선, WiFi 및/또는 셀룰러 네트워크로 무선으로 데이터를 원격 서버 혹은 추가 스토리지, 처리 또는 모니터링 및 공동 감독(co-supervising)을 위한 클라우드로 전송할 수 있다. 통신 인터페이스는 전자 보드(10)에 내장되거나 헤드셋(1) 상에 별도의 장치로서 제공될 수 있다.

예시적인 실시 예에서, 하나 이상의 감정 센서 또는 인지 상태 센서(13)가 헤드셋(1)에 추가로 제공된다. 도 1a는 4 개의 인지 상태 센서를 도시하는데, 이는 제한이 아니라 일 예로 제공된다. 당업자는 단일 지각 또는 인지 상태 센서가 사용될 수 있지만, 바람직하게는 사용자의인지 상태를 캡처하기 위해 다수의 인지 상태 센서가 제공된다는 것을 쉽게 이해할 것이다. 인지 상태 센서(13)는 헤드셋(1)의 양쪽에 제공될 수 있다. 도 1a에는 사용자의 머리의 한쪽 만이 도시되어 있지만, 다른 쪽은 또한 사용자의 인지 상태를 검출하는 4 개의 인지 상태 센서(13)를 포함할 수 있다. 즉, 예시적인 실시 예에서, 인지 상태는 뇌의 다양한 부분에서의 활동을 검출함으로써 다수의 센서(13)로부터 획득된다.

예시적인 실시 예에 따르면, 인지 상태 센서로부터 획득된 미가공(raw) EEG 신호는 비디오 및 오디오 신호와 결합되고 동기화된다. 예시적인 실시 예에서, 미가공 EEG 신호는 인지 특유 본능 성분(cogntive distinctive instinct components)을 구현한다. 예시적인 실시 예에서, EEG 신호는 특유 기준 신호(distinctive reference signal)에서 필터링되어 탐구/학습 관찰(explorative/learning observations)을 향한 명백한 상태(evident states)에 대한 ET 10 성분과, 명백한 관찰(evident observations)을 향한 자신감있는 상태(confident states)에 대한 ET 9를 검출하여 사용자의 세심한 인지 상태를 얻을 수 있다. 필터의 출력은 사용자의 세심한 상태에 따라 다른 수준에 있다. 즉, EEG 주파수 및 진폭은 사용자의 감정 레벨 또는 인지 상태에 따라 변경된다. 예시적인 실시 예에서, 비활성(inactivity)은 식별된 주파수에서 모든 EEG 성분의 진폭이 미리 결정된 임계 값 미만임을 의미한다. 따라서, 예시적인 실시 예에서, 사용자가 자고 있거나 주의를 기울이지 않는 것으로 결정될 수 있다. 예시적인 실시 예에 따르면, 복수의 인지 상태 센서(13)는도 1b를 참조하여 아래에 더 상세히 설명되는 바와 같이, 각각의 채널 신호(예를 들어 ET9-ET10)를 생성한다. 각각의 채널 신호는 헤드셋(1)을 착용한 사용자의 인지 상태를 결정하는데 사용된다.

EEG는 제한이 아니라 일 예로써 제공된다. 예시적인 실시 예에 따르면, 특정 EEG 성분들과 기준 신호들 간의 식별이 미리 결정된 임계 값 이상 또는 미리 결정된 각각의 임계 값 이상일 때, 이는 사용자가 명백한(상관된, 알려진), 자신감있는(매우 상관관계가 있고 경험한) 등의 식별된 상태에 있다는 것을 의미한다, 일부 예에서, 참조로 포함된 미국 특허 제9,711,056호를 보라.

예시적인 실시 예에 따르면, 인지 상태 센서(13)는 사용자가 원하는, 걱정되는, 명백하거나 자신감있는 것과 같은 사용자의 집행적 감정(executive emotion)을 검출하기 위해 사용자의 전두엽 주위에 위치될 수 있다. 예를 들어, 도 1b에 도시된 바와 같이, 5 개의 인지 상태 센서(13)(S1-S5)가 사용자의 전두엽 주위에 배치되고 각각의 지각 신호(ssl-ss5)를 출력한다. 예시적인 실시 예에서, 센서(S1 및 S3)로부터 검출된 ET 10 신호가 미리 결정된 각각의 임계 값을 초과하여 각각의 신호를 출력하는 경우, 사용자가 명백하다고, 예를 들어 관찰이 알려진 것으로 느끼는 것으로 결정될 수 있다. 센서(S2, S4 및 S5)로부터 검출된 ET 11 신호가 미리 결정된 각각의 임계 값을 초과하여 각각의 신호를 출력하면, 사용자가 편안하다고 느끼고 및/또는 양호한 결과를 기대한다고 느끼는 것으로 결정될 수 있다.

예시적인 실시 예에서, 사용자가 텍스트를 상단에서 하단으로(즉, 상단 라인에서 하단 라인으로) 판독하기 때문에, 음성 신호는 텍스트 라인과 동기식으로 해석된다. 이와 같이, 도 1b에 도시된 예시적인 실시 예에서, 오디오 신호, 즉 음성 출력은 수직선으로 표시되고 타임라인은 또한 텍스트와의 일관성을 위해 수직 방향으로 표시된다.

도 1b는, 예시적인 실시 예에 따라, 30 초 동안 캡처된 음성 신호를 도시한다. 예를 들어, 타임라인(14)은 도 1b의 좌측에 도시되어 있고, 15 초 포인트, 10 초 포인트, 0 초 포인트 및 -15 초 포인트로 도시된 간격으로 나누어진다. 15 초 마킹은 이미 재생된 음성 데이터를 나타내고 -15 초 마킹은 15 초 후에 재생할 음성 데이터를 나타낸다. 0 초 마킹은 출력 중인 음성 데이터의 현재 위치를 나타낸다. 도 1b는 또한 -2s 내지 +ls 및 +9s 내지 +11s에서 낮은 레벨로 2 지속시간(duration)을 갖는 음성 신호(16)를 도시하며, 이는 침묵(silence) 기간 또는 음성 단어(spoken words) 사이의 일시정지(pause)를 나타낸다. 예시적인 실시 예에서, 이들 지속시간은 연속 음성 신호를 독립적인 의미를 구현하는 모듈로 분리한다. 도 1b에 도시된 예시적인 실시 예에 따르면, 음성 데이터(16)는 3 개의 개별 음성 모듈, V1, V2 및 V3으로 분리된다. 예시적인 실시 예에서, 음성 데이터(16)는, 녹음된 음성 억양에 기초하여 검출될 수 있고 진폭에 해당하게 될, 일시정지된 때 또는 문장이 완료될 때와 같이, 녹음된 음성에서 자연스러운 중단 점에 기초하여 3 개의 음성 모듈 V1, V2 및 V3으로 나누어진다.

예시적인 실시 예에 따르면, 나누어진 음성 모듈 또는 세그먼트 V1, V2, V3에 기초하여, 음성 대 텍스트 변환이 수행된다. 즉, 음성 데이터는 텍스트 데이터로 변환되어 사용자에게 표시될 수 있다. 예시적인 실시 예에서, 하나의 텍스트 박스가 각각의 음성 세그먼트 또는 모듈에 제공된다. 예를 들어, 도 1b에 도시된 바와 같이, 음성 신호를 변환하여 얻어진 텍스트는 각각의 텍스트 박스(TB1-TB3)에 표시된다. 즉, 변환된 음성 세그먼트 V1에 대응하는 제1 텍스트가 텍스트 박스 TB1에 표시되고; 변환된 음성 세그먼트 V2에 대응하는 제2 텍스트가 텍스트 박스 TB2에 표시되고; 변환된 음성 세그먼트 V3에 대응하는 제3 텍스트가 텍스트 박스 TB3에 표시된다. 예시적인 실시 예에서, 변환된 음성에 대응하는 텍스트 출력은 도 1b에 도시된 TB1, TB2 및 TB3인 3 개의 대응하는 윈도우에 배치된다. 예시적인 실시 예에서, 표시되는 서브 윈도우의 수는 연속 음성 출력의 분할 동안 생성된 음성 세그먼트의 수에 대응할 것이다. 도 1b에 도시된 바와 같이, 사용자의 인지 상태는 센서(S1, S2 .... S5)로부터 획득된 5 개의 인지 상태 신호(ssl-ss5)(17)로서 표시된다. 이러한 인지 상태 신호는 수직 방향으로 음성 신호와 동기화되어 표시된다. 예시적인 실시 예에 따르면, 인지 상태 신호(ssl-ss5)는 또한 음성 세그먼트 V1 - V3에 대응하는 세그먼트로 나누어진다. 즉, 예시적인 실시 예에서, 인지 상태 신호는 음성 세그먼트에 대응하는 세그먼트로 분석되어 사용자의 감정 상태를 결정한다.

도 1b에 도시된 바와 같이, E1은 15 초 내지 10 초의 시간에 생성된 신호 세그먼트 ss1, ss2, ss3, ss4 및 ss5를 분석하여 얻은, 음성 세그먼트 V1에 대응하는 인지 상태이며, 그 텍스트는 TB1 박스에 표시된다. 예시적인 실시 예에서. E1은 감정 상태 1에 대응하는 것으로 해석되고, 사용자가 음성 세그먼트 V1에 대응하는 적어도 일부의 자료에 대해 다소 졸리거나 확신하지 못함을 나타내기 위해 제1 컬러(예를 들어, 청색)로 마킹될 수 있다. 즉, E1은 사용자가 음성 세그먼트(V1)의 자료에 다소 혼동되는(전적으로 자신감이 있지는 않은) 상태를 나타낸다. E2는 사용자가 TB2로 표시된 컨텐츠를 음성 V2로 듣는 동안 기록된 신호 ssl - ss5로부터 얻어진 인지 상태이다. E2는 감정 상태 2에 대응하는 것으로 해석되고, 사용자가 자료(음성 세그먼트 V2)를 알고 및/또는 이해한다는 것을 나타내기 위해 제2 컬러(예를 들어, 녹색)으로 표시될 수 있다. E3은 사용자가 TB3으로 표시된 컨텐츠를 음성 V3로 듣는 동안 기록된 신호 ssl - ss5로부터 얻어진 감정 상태이다. E3는 감정 상태 3에 해당하는 것으로 해석되고, 사용자가 집중하려고 하지만 아직 자료(음성 세그먼트 V3)를 이해하지 못한다는 것을 나타내기 위해 제3 컬러(예를 들어, 빨간색)으로 표시될 수 있다. 도 1b에 도시된 마킹은 제한이 아닌 단지 일 예로서 제공된다. 다른 실시 예에 따르면, 각 텍스트 박스 TB1 - TB3의 텍스트는 사용자의 결정된 감정 상태 E1 - E3에 기초하여 컬러 코딩될 수 있다. 대안으로서, % 표시, 사용된 다양한 색 내의 색 음영 등을 포함하여 사용자의 상태를 나타내기 위해 다양한 마킹 및 표시기(indicator)가 사용될 수 있다. 일 실시 예에 따르면, 음성 신호(16)는 예를 들어 교실에서 강의를 하는 발표자의 음성일 수 있다. 칠판에 묘사되거나 스크린에 투영된 컨텐츠은 예를 들어 시각적 데이터로서 기록되고 발표자에 의해 출력된 오디오 신호와 동기하여 저장될 수 있다.

도 1c에 도시된 바와 같이, 발표자는 특정 컨텐츠 또는 정보를 제시하는 강의를 사용자에게 제공할 수 있다. 발표자는 칠판에 제시되는 컨텐츠의 예 18을 보여줄 수 있다. 복수의 학생들이 헤드셋(1)을 착용하고 강의를 관찰하고 있을 수 있다. 복수의 학생 각각 또는 일부에 의해 착용된 헤드셋(1) 각각은 발표자의 음성 신호의 각각의 부분에 대해 각각의 사용자의 각각의 인지 상태를 출력할 수 있다. 복수의 사용자/학생들의 복수의 인지 상태는 강의의 이 부분이 혼동스럽거나, 이 부분이 지루하거나, 이 부분이 잘 이해되는 것과 같이 발표자에게 출력을 제공하기 위해 조합될 수 있다. 이 피드백을 사용하여 강의자는 학생들을 혼동스럽게 하는 개념을 단순화하고 잘 이해되는 컨텐츠의 프리젠테이션을 단축함으로써 프리젠테이션 자료를 개선할 수 있다. 이것들은 단지 일 예로써 제시된 것이며 제한적인 것이 아니다.

도 1d는 일 실시 예에 따른 사용자의 분류된 동기화 인지 상태에 따른 강의 등의 녹화 컨텐츠의 검토, 연습 및 통합을 나타내는 도면이다. 도 1d에 도시된 예시적인 실시 예에 따르면, 사용자 또는 학생은 텔레비전과 같은 대형 디스플레이(19a) 및 터치 스크린 또는 스케치 패드(19b)와 같은 별도의 리모콘을 사용하여 강의를 검토 및/또는 공부하고 있다. 터치 스크린(19b)은 iPad, 모바일 단말기, 범용 리모콘 등을 포함할 수 있다. 이들은 제한적인 것이 아니라 일 예로써 제공된다. 예시적인 실시 예에 따르면, 터치 스크린(19b)은 주로 디스플레이 장치(19a)를 제어 및/또는 탐색하기 위한 노트 및/또는 스케치의 입력을 위한 것이며, 주로 이미지 및/또는 비디오를 디스플레이하기 위한 것이 아니다. 예시적인 실시 예에 따르면, 큰 스크린이 이용 가능한 그룹에서 작업 및/또는 집에서 작업할 때 특히 편리하다.

도 1d에 도시된 바와 같이, 디스플레이(19a)는 강의 동안 캡처된 비디오 데이터의 재생을 스크린의 왼쪽 부분에 출력하고, 변환된 대응하는 음성 데이터는 스크린의 중간에 텍스트 세그먼트로서 표시될 수 있고, 초기 강의 동안 캡처된 및/또는 검토 동안 작성된 사용자 노트는 스크린의 오른쪽 부분에서 스크린의 오른쪽에 도시될 수 있으며, 이는 도 8a - 9c를 참조하여 아래에서 더 상세히 설명될 것이다.

도 2는 또 다른 예시적인 실시 예에 따른 강의 자료 및 지각 데이터를 캡처하는 시스템을 나타내는 블록도이다. 도 2에 도시된 바와 같이, 사용자는 강의자가 제공한 예를 들면 토픽 및/또는 노트와 같은 강의를 예를 들면 칠판(21)에 기록한다. 추가로, 사용자는 또한 칠판(21)에 도시된 도해(illustration)과 함께 강의자에 의해 제공된 설명과 같은 오디오 데이터를 기록할 수 있다. 사용자는 스마트 폰(22a), 퍼스날 컴퓨터 또는 노트북(22b), 비디오 레코더(22c) 및 카메라(22n)와 같은 복수의 퍼스날 디바이스(22a ... 22n) 중 하나 이상을 통해 기록할 수 있다. 이들 장치는 단지 예로서 제시된 것이며 제한적인 것이 아니다.

예시적인 실시 예에서, 오디오 및 비디오 데이터는 서버(24)로 직접 출력될 수 있다. 오디오 및 비디오 데이터는 대응하는 타임 스탬프(들)와 함께 서버(24)로 출력되는데, 예를 들어, 10 초마다의 기록이 인터넷, 와이파이(WiFi), 블루투스(Bluetooth) 등과 같은 네트워크를 통해서 서버로 전송된다. 서버(24)는 도 2에 별개 디바이스로 도시되어 있지만, 서버(24)는 퍼스날 디바이스의 처리 용량 및 메모리에 따라 퍼스날 컴퓨터(22b) 또는 일부 다른 퍼스날 디바이스(22a ... 22n)에 위치될 수 있다.

사용자는 사용자의 인지 상태를 모니터링하는 헤드셋(23)을 착용하고 있을 수 있다. 헤드셋(23)은 제한이 아닌 단지 예로서 제공된다. 예시적인 실시 예에서, 사용자는 도 1a을 참조하여 설명된 센서를 통해 사용자의 인지 상태를 측정하기 위해 다수의 센서를 포함할 수 있는 다른 디바이스를 착용할 수 있다. 예시적인 실시 예에서, 센서에 의해 검출된 신호는 사용자의 인지 상태 또는 감정 상태를 결정하기 위해 사용된다.

예시적인 실시 예에서, 도 1b에서 설명된 바와 같이, 인간의 뇌는 사용자가 편안하고 집중하지 않는 동안(ET9 - ET10 - ET11 - ET12) 낮은 탐구 신호(explorative signal)를 출력한다. 낮은 탐구 신호는 사용자가 적극적으로 학습하고 있지 않음을 나타낸다. 다른 한편으로, 예시적인 실시 예에서, 사용자가 관심을 갖고 주의를 기울임에 따라(ET1 - ΕT12) 탐구 신호의 식별된 주파수에서 진폭이 변화한다. 예시적인 실시 예에 따르면, (다른 식별된 주파수 대역에서) 상이한 진폭 대역은 사용자의 상이한 인지 또는 감정 상태를 검출하는 것, 즉 사용자의인지 또는 감정 상태의 변이를 결정하는 것을 제공한다.

예시적인 실시 예에서, 8 채널 EEG 신호가 사용자로부터 캡처될 수 있고, 이러한 캡처된 신호에 기초하여, 사용자가 주의를 기울이고 있는지 여부 및 제시되는 자료의 이해 레벨, 예를 들어, 사용자가 졸리는지 여부, 방황하고 토픽에 주의를 기울이지 않는지 (지루하거나 피곤해 하는 강한 느낌을 갖는지) 여부가 결정될 수 있다. 8 채널 EEG 신호는 단지 예시적인 것으로 제공되며 제한적인 것이 아니다.

일 예에서, 지각 데이터는 헤드셋(23) 내의 메모리 카드에 저장될 수 있다. 다른 일 실시 예에서, 지각 데이터는 네트워크를 통해 서버(24)에 주기적으로 출력될 수 있다. 예를 들어, 네트워크는 인터넷, 와이파이, 블루투스 혹은 유선 네트워크까지 포함할 수 있는데, 예를 들어, 헤드셋은 유선을 통해 퍼스날 디바이스(22a ... 22n)에 위치될 수 있는 서버(24)에 연결될 수 있다. 예시적인 실시 예에서, 예를 들어 10 초 간격으로 누적된 지각 데이터는 추가 처리를 위해 타임 스탬프와 함께 서버(24)로 출력된다.

서버(24)는 도 3을 참조하여 아래에 상세히 설명된 바와 같이 프로세서 및 메모리를 포함한다. 예시적인 실시 예에서, 서버(24)는 오디오/비디오 데이터(이하에서 컨텐츠 혹은 환경 데이터로 기술됨)와 지각 데이터의 타임 스탬프를 비교하여 사용자의 인지 혹은 감정 상태를 생성한 뒤에, 그것이 메모리(25)에 저장될 수 있다. 메모리(25)는 서버(24) 내부에 있거나 원격인 하나 이상의 데이터베이스를 포함할 수 있다.

예시적인 실시 예에서, 도 3에 도시된 바와 같이, 서버(30)는 검토 및/또는 처리 장치로서, 중앙 처리 장치(CPU)일 수 있는 프로세서(31)를 포함하고, 장치 및 그 하드웨어 구성요소를 제어하고 메모리(34)와 같은 하나 이상의 메모리에 저장된 소프트웨어 명령을 실행한다. 예로서, 프로세서(31)는 랜덤 액세스 메모리(RAM: random access memory), 판독 전용 메모리(ROM: read only memory), 하나 이상의 그래픽 프로세스, 인터페이스 등을 포함할 수도 있다. 프로세서(31)의 구성요소들은 버스를 통해 서로 연결될 수 있다. 프로세서(31)는 또한 다양한 형태 및 포맷으로 기록된 혹은 오리지날 비디오 신호를 출력하는 디스플레이(32)에 연결되고 이를 제어한다. 디스플레이(32)는 오디오 사운드를 출력하는 스피커를 포함한다. 이것은 제한이 아니라 예시로서 제공된다. 프로세서(31)는 와이파이 칩, 블루투스 칩, 무선 네트워크 칩 등을 포함할 수 있는 네트워크 인터페이스 또는 네트워크 카드(33)에 연결될 수 있다. 네트워크 카드(33)는 유선 연결을 위한 하나 이상의 포트를 더 포함할 수 있다. 또한, 장치(30)는 프로세서(31)에 의해 실행될 때 프로세서로 하여금 장치(30) 및 그 구성요소를 제어하게 하는 하나 이상의 실행 가능한 명령을 저장할 수 있는 메모리(34)를 포함할 수 있다. 메모리(34)는 디바이스들(22a 내지 22n) 중 하나에 의해 생성된 오디오 및 비디오 데이터(컨텐츠)를 추가로 저장할 수 있다(예를 들어, 도 2를 보라). 장치(30)는 버튼, 키보드, 마우스, USB 포트, 마이크로폰, 제스처 센서 등을 포함할 수 있는 사용자 인터페이스(35)를 더 포함할 수 있다. 사용자 인터페이스(35)는 제스처, 마이크로폰을 통한 오디오, 키보드, 마우스, 터치 스크린 등과 같은 다양한 포맷의 사용자 입력을 수신하고, 이것은 단지 예시적인 것으로 제공되며 제한적인 것이 아니다.

예시적인 실시 예에서, 프로세서(31)는 오디오/비디오 데이터의 타임 스탬프를 지각 데이터의 타임 스탬프와 비교하고 컨텐츠에 대한 타임라인을 생성한다. 도 4는 본 발명의 일 실시 예에 따른 타임라인 생성 방법을 나타내는 흐름도이다. 예시적인 실시 예에서, 시각, 오디어 및 인지 데이터는 시스템의 클록(CPU에 의해 제어 됨)에 의해 동기화될 수 있다. 시스템은 동기화된 시각, 오디오 및 인식 정보를 실시간으로 캡처한 다음 동기화된 원시 자료(raw material)를 일 예로 메모리 카드에 저장한다. 검토할 때, 소프트웨어 애플리케이션은 서로 다른 기준 주파수에서 원시 인지 정보를 필터링하여 실시간으로 서로 다른 기간에 인지 상태를 감지한다. 동기화에 기초하여, 시스템은, 비 일시적 컴퓨터 판독 가능 매체 상에 구현되고 프로세서에 의해 실행되는 소프트웨어 애플리케이션을 사용하여, 실시간으로 강의에 걸쳐서 상이한 사용자의 인지 상태를 추론할 수 있다.

또한, 예시적인 실시 예에서, 검토 동안, 비디오 및 분석된 사용자의 인지 상태는 실시간이 아니라 미리 준비될 수 있다.

도 4에 도시된 바와 같이, 동작 401a에서, 장치는 오디오 및/또는 비디오 데이터와 같은 환경 데이터를 수신하고, 동작 401b에서, 장치는 예를 들어 사용자에 의해 착용된 센서로부터 지각 데이터를 수신한다. 이것들은 단지 예로서 제시된 것이며 제한적인 것이 아니다. 또 다른 실시 예에 따르면, 비디오 및/또는 오디오 컨텐츠는 10 초 간격과 같은 미리 결정된 시간 간격으로 지각 데이터와 함께 제공될 수 있다. 예를 들어,(V, A, E)의 세트는 V가 시각 데이터이고, A가 오디오 데이터를 위한 것이고, E가 사용자의 감정 상태를 위한 것으로, 샘플링 주파수에 의해 동기화될 수 있다.

동작 402에서, 수신된 컨텐츠(비디오/오디오 데이터)는 음성 신호의 연속성에 기초하여 세그먼트들로 분할된다. 예를 들어, 프로세서는 음성 억양에 기초하여 일시정지가 이루어진 곳 또는 문장의 끝을 결정한다. 예시적인 실시 예에 따르면, 세그먼트에 대한 최대 길이는 또한 예를 들어 5 초로 설정될 수 있다. 1 분간 지속되는 음성 데이터에서 일시정지 또는 문장 끝이 발견되지 않으면 음성은 5 초 지점(5 초 간격 블록)으로 분할된다. 이것은 단지 예로서 제시된 것이며 제한적인 것이 아니다. 예시적인 실시 예에서, "명확한" 및 "자신감있는" 주파수는 사용자의 탐구 인지 상태를 검출하기 위해 사용된다. 이 두 가지 주요 신호는 최근 관찰 및 통찰에 대한 사용자의 상관관계를 반영한다. 예를 들어, 알려지거나 알 수 없거나 명백하거나 낯선 상태가 사용되고 있다. 예시적인 실시 예에서, 사랑(love), 무서움(scared), 닫힌(closed), 열린(open)과 같은 생존(survival) 및 생식(reproductive) 영역(예를 들어, ET 1 내지 ET 8)과 관련된 감정 신호는 사용되지 않는다.

동작 403에서, 사용자의 인지 상태는 데이터의 각 세그먼트화된 부분, 즉 각 컨텐츠 부분에 대해, 처리된 지각 데이터에 기초하여 결정된다(ET9-ET10). 전술한 바와 같이, 뇌의 특정 부분(들)상의 센서가 하나 이상의 주파수 대역에서 제1 진폭(작은 진폭)으로 신호를 출력할 때, 장치는 사용자가 혼동스러운지 및/또는 무서워하는지 및/또는 걱정하는지를 결정한다. 한편, 뇌의 다른 부분의 센서가 제2 진폭(큰 진폭)으로 신호를 출력할 때, 장치는 사용자가 자신이 있다고 판단할 수 있다. 일 실시 예에 따르면, 제1 주파수 대역에서 진폭이 높은 신호 및 제2 주파수 대역에서 진폭이 작은 신호는 사용자의 혼동스러운 인지 상태를 나타내는 반면, 제1 주파수 대역에서 진폭이 낮은 신호 및 제2 주파수 대역에서 높은 진폭을 갖는 신호는 사용자의 자신감 있는 상태를 나타낼 수 있다. 모든 센서가 제1 진폭의 신호를 생성하는 경우, 이는 사용자가 수면 중이거나 주의를 기울이지 않음을 나타낼 수 있다. 이것은 예로서 제시된 것이며 제한적인 것이 아니다.

예를 들어, 다른 예시적인 실시 예에 따르면, 지각 데이터는 사용자가 주의를 산만하게 하는(distracted) 것을 결정하기 위해 사용된다(ET-1). 예를 들어, 헤드셋(1)은 사용자가 칠판을 보고 있지만 그의 마음이 프리젠테이션 토픽에서 벗어나거나 다른 무언가(잠자는 중)를 하고 있음을 감지할 수 있다. 카메라가 여전히 강의를 녹화 중이다. 또한, 장치는 이 기간(상기 시간 세그먼트)을 마킹하여 강의의 해당 부분을 사용자가 쉽게 인식하여 예를 들어 수업에서 사용자가 놓친 것을 검토할 수 있도록 한다. 또 다른 예시적인 실시 예에 따르면, 지각 데이터가 사람, 음식 및/또는 오디오/비디오 데이터 이외의 것들과 같은 다른 감정을 유발하면, 사용자의 인지 상태는 다른 생각에 산만하고 강의에 주의를 기울이지 않는 것으로 결정될 수 있다.

동작 404에서, 오디오/비디오 데이터(컨텐츠)는 대응하는 결정된 인지 상태와 동기화되거나 링크되고, 선택적으로 세그먼트화된 오디오 데이터는 디스플레이를 위해 텍스트로 변환될 수 있다. 공정 405에서, 선택적으로 오디오/비디오 데이터 또는 컨텐츠의 대응하는 부분과 함께, 사용자의 인지 또는 감정 상태를 도시하는, 표시될 타임라인이 생성된다. 예시적인 실시 예에서, 타임라인은 강의 동안 획득된 오디오/비디오 컨텐츠를 재생하기 위해 생성될 수 있다. 타임라인은 결정된 사용자의 인지 또는 감정 상태에 기초하여 컬러 코딩될 수 있다. 즉, 타임라인의 일부는 사용자가 자료를 잘 아는 경우 녹색으로 표시될 수 있는 반면, 타임라인의 다른 일부는 사용자가 혼동스럽거나 주의를 기울이지 않은 강의 컨텐츠에 대해 적색으로 표시될 수 있다. 이에 대한 예는 아래에서 자세히 설명한다.

도 5는 본 발명의 일 실시 예에 따른 사용자의 해당 인지 상태로 표시되는 컨텐츠를 나타내는 도면이다.

도 5에 도시된 바와 같이, 컨텐츠(51)는 타임라인(52)과 함께 디스플레이를 통해 사용자에게 표시되며, 타임라인(52)은 현재 표시되고 있는 컨텐츠의 시점을 보여주기 위한 것으로 알려져 있다. 컨텐츠(51)는 비디오 및 오디오 컨텐츠를 포함할 수 있다. 또한, 타임라인(53)이 디스플레이를 통해 사용자에게 제공되고 표시될 수 있다. 타임라인(53)은 오디오 및/또는 비디오 컨텐츠에 대응하는 사용자의 인지 또는 감정 상태를 도시한다. 예로서, 타임라인(53)은 표시된 컨텐츠와 동기화된 사용자의 인지 상태를 도시한다. 사용자의 인지 상태는 사용자가 관심이 없거나 잠든 무관심한 상태(54), 사용자가 출력 컨텐츠에 익숙한 자신감 있는 상태(55) 및 사용자가 제공된 자료를 이해하지 못하는 혼동스러운 상태(56) 중에서 선택된다. 이것들은 단지 예로서 제시된 것이며 제한적인 것이 아니다. 다른 예시적인 실시 예에 따르면, 다양한 인지 상태에 대한 컬러 코딩이 사용될 수 있고 자신감 혹은 혼동의 정도는 컬러의 특정 음영에 해당할 수 있다. 예를 들어, 타임라인(53)상의 짙은 붉은 색은 사용자가 매우 혼동스럽다는 것을 나타낼 수 있고, 핑크색은 사용자가 약간 혼동스럽다는 것을 나타낼 수 있다.

다른 예시적인 실시 예에 따르면, 타임라인(52 및 53)은 단일의 통합된 타임라인으로 결합될 수 있으며, 이는 컨텐츠 및 사용자의 인지 상태와 관련하여 현재 표시되는 시점을 도시한다.

다양한 예시적인 실시 예들에 따르면, 사용자는 혼동스럽거나 놓친 강의 부분(컨텐츠)을 결정하고 이들 부분의 컨텐츠에 대한 검토 세션을 수행할 수 있다. 다양한 실시 예에 따르면, 전체 강의(컨텐츠)를 검토하는 대신, 사용자는 혼동스러운 부분 또는 놓친 부분에 집중할 수 있다. 또한, 강의를 듣는 다수의 사용자의 인지 상태는 강의자에게 피드백을 제공할 수 있다. 예를 들어, 강의의 특정 부분에서 사용자의 70 %가 혼동스러울 경우 강의자는 자료를 수정하거나 단순화하기로 결정할 수 있다. 한편, 사용자(학생)가 강의의 다른 부분에 관심이 없다면, 강의자는 강의를 수정하여 사용자의 주의를 끌 수 있다.

다른 예시적인 실시 예에 따르면, 검토 장치는 강의가 발표된 후 자료의 공부를 용이하게 하도록 구성된다.

도 6은 본 발명의 일 실시 예에 따른 검토 장치의 블록도이다.

도 6에 도시된 바와 같이, 검토 장치(60)는 프로세서(61), 메모리(62) 및 출력기(63)를 포함한다. 메모리(62)는 캡처된 비디오 데이터(62a), 캡처된 오디오 데이터(62b), 캡처된 지각 데이터(62c)를 저장하며, 이는 캡처된 8-채널 EEG 신호이다. 프로세서(61)는, 일 예로 도 7을 참조하여 후술하는 바와 같이, 캡처된 비디오 데이터(62a)를 캡처된 오디오 데이터(62b) 및 캡처된 지각 데이터(62c)와 동기화하도록 구성된 동기화기(61a)를 실행한다. 프로세서(61)는 또한 인지 상태 결정기(61b)를 실행하여 사용자의 인지 상태(ET0-ET10)을 결정하고, 타임라인(들) 생성기(61c)를 실행하여 동기화기(61a) 및 인지 상태 결정기(61b)로부터의 출력을 이용하여 오디오 및 비디오 컨텐츠와 지각 데이터에 대한 하나 이상의 타임라인을 생성하고, 이하에서 더 상세히 설명될 음성-텍스트 변환기(speech to text converter)(61d)를 실행한다. 인지 상태와 함께 주위의 오디오/비디오 컨텐츠가 적어도 하나의 디스플레이 및 스피커를 포함하는 출력기(63)를 통해 사용자에게 출력될 수 있다.

도 7은 본 발명의 일 실시 예에 따른, 검토 장치에 의한 비디오 및 오디오 컨텐츠와 지각 데이터의 동기화를 나타내는 도면이다. 도 7은 원시 입력 데이터의 동기화를 도시한다. 도 7에 도시된 바와 같이, 비디오 데이터(62a)는 타임라인(71, 72)에 걸쳐 디스플레이 상에 표시될 수 있다. 타임라인(71)은 강의의 소정 간격 동안의 타임라인일 수 있다. 예시적인 실시 예에 따르면, 타임라인(71)은 현재 시점(t_n) 및 현재 시점 전후 5 분 동안 제시된다. 타임라인(72)은 컨텐츠의 전체 지속 기간에 대한 타임라인이다. 예시적인 실시 예에 따르면, 타임라인(71 및 72)은 당 업계에 알려진 바와 같이, 현재 보고 있거나 재생되는 강의의 진행을 나타낸다. 도시된 예시적인 실시 예에 따르면, 비디오 데이터(62a)는 시점에 표시되고 타임라인(71 및 72)은 현재 시점(t_n)에서의 지시기(indicator)를 보여준다. 타임라인(71)은 현재 표시된 시점(t_n)으로부터 +5 분 및 -5 분의 지점으로 사용자가 스크롤할 수 있는 10 분 간격의 바(bar)를 갖는다. 타임라인(72)은 강의의 전체 컨텐츠에 대해 동일한 시점(t_n)을 갖는다. 비디오 데이터(62a)와 상관되게, 오디오 데이터(62b)가 제공된다. 오디오 데이터(62b)는 현재 동일한 시점(t_n)에서 출력되고 비디오 데이터(62a)의 30 초 간격에 대응하는 30 초 간격 동안 제공된다. 또한, 타임라인(73)은 현재 시점(t_n)에서의 지시기를 나타낸다. 또한, 지각 데이터(62c)는 오디오 데이터(62b) 및 비디오 데이터(62a)와 동기화된다. 예시적인 실시 예에 따르면, 원래 캡처된(originally captured) 8-채널 EEG CH1-CH8은 동기화기(61a)에 의해 동기화된다. 사용자(62c)의 동기화된 인지 상태 및 동기화된 오디오(62b)는 동일한 타임라인(73)(-15 초 - +15 초)에 도시될 수 있다. 사용자의 인지 상태는 비디오 데이터(62a), 오디오 데이터(62b)와 상관되게 출력된다. 지각 데이터(62c)로부터 결정된 인지 상태는 하나 이상의 타임라인 상에 지시기, 음영, 칼라 등의 형태로 표시될 수 있다. 다른 실시 예에 따르면, 사용자의 인지 상태만을 위한 전용 타임라인이 생성될 수 있다.

예시적인 실시 예에 따르면, 타임라인(73)은 t_n: 30 초 부근에서 가장 가까운 시간 동안이다. 이 30 초 동안의 오디오 정보는 텍스트로 표시되어 t_n 주변의 자세한 인식 능력을 향상시킨다. 타임라인(71)은 약 t_n: 10 분의 중간 부분을 위한 것이다. 이 10 분 동안의 오디오 정보는 사용자의 인지 상태와 함께 표시되어 더 넓은 인식 및 탐색 능력을 향상시킨다. 타임라인(72)는 전체 스토리 비디오를 위한 것으로, 오리지날 비디오에 걸쳐 인지 상태의 히스토리가 표시되어 성능 평가 및 탐색 능력을 향상시킨다.

예시적인 실시 예에 따르면, 사용자의 인지 상태 신호(62c)는 예를 들어 미국특허 제9,711,056호에 기술되고 청구된 인지 특유의 본능 구성요소, 예를 들어, 탐구/학습 관찰을 향한 명백한 상태에 대한 ET10 구성요소, 명백한 관찰을 향한 자신감있는 상태에 대한 ET9, 사물에 대한 관찰을 향한 인지 상태에 대한 ET4, 음식에 대한 관찰을 향한 인지 상태에 대한 EG3를 구현한다. 기준 인지 신호(reference cognitive signal)에 기초하여, 시스템은 사용자의 관찰, 예를 들어 비디오(62a) 및/또는 오디오(62b)에서 인지를 향한 사용자의 상태를 필터링 및 검출할 수 있다. 예로서, ET10 기준 샘플에 의해 데이터(62c)를 필터링함으로써, 시스템은 강의 전체에 걸쳐 사용자의 상태를 식별하고 예로서 3 레벨 시스템에서 등급을 매길 수 있다. 예를 들어, 레벨 1은 사용자가 집중하지 않음(지루함, 졸림, 그의 마음이 다른 곳을 방황하고 있음)을 나타내며, 레벨 2는 사용자가 자신이 있고 자신의 지식이 분명함(상관되고, 알고, 이해됨)을 나타내며, 레벨 3는 사용자가 집중하고 있지만 자료에 대해 혼동스러움(아직 통찰까지는 상관되지 않음)을 나타낸다. 이것은 예로서 제공되어 제한적인 것이 아니다.

도 8a는 일 실시 예에 따른 상관관계 구축 방법을 나타내는 도면이다.

도 8a에 도시된 바와 같이, 사용자는 오리지날 강의의 컨텐츠을 검토하거나 연구하는 과정에 있다. 예시적인 실시 예에 따르면, 음성-텍스트 변환기(speech to text converter)(61d)는 위에서 상세히 설명된 바와 같이 강의자의 음성과 같은 오디오 데이터(81)를 부분들로 분할한다. 또 다른 예시적인 실시 예에 따르면, 오디오 데이터(81)는 음성-텍스 변환기(61d)에 의해 5, 10 또는 15 초 간격으로 분할되는데, 현재 지점(n) 전후의 부분: n-3, n-2, n-1, n, ..., n+3이고, 여기서 n은 오디오 데이터의 현재 부분으로 강의에서 현재 시간 또는 현재 지점(n)에 가장 가까운 30 초의 컨텐츠가 분할되도록 출력된다. 예시적인 실시 예에서, 오디오 컨텐츠는 두 문장 사이(또는 두 의미 사이, 두 의미론 등 사이)의 간격으로 분리된다. 이 오디오 신호에 기초하여, 비디오는 또한 의미에서 개별 비디오로 분할되고, 음성-텍스트 변환기(61d)는 음성 데이터를 해석하여 오디오 데이터를 n-3,...., n+3 부분의 텍스트로 변환한다. 표시된 비디오 이미지(62a)는 표시된 텍스트 부분 n에 대응하고 현재 출력된 비디오 및 오디오 데이터이다. 또한, 현재 표시된 컨텐츠 전후의 오디오 컨텐츠에 대한 텍스트는 n-3, n-2, n-1 및 n+1, n+2 및 n+3 세그먼트 또는 모듈로 제공된다. 예시적인 실시 예에 따르면, 각 부분은 5 초이고, 표시되는 텍스트(81)는 타임라인(73)에 대응한다. 도 8a에서, 타임라인(73)에 의해 도시된 바와 같이 최근의 의미 전후 15 초에 볼 수 있는 상관관계가 있다. 예를 들어, 30 초 비디오의 컨텐츠가 한눈에 볼 수 있도록 제공된다. 30 초의 비디오 컨텐츠가 보여질 수 있고 비디오 컨텐츠와 동기화되도록 스크롤 가능한다. 일 실시 예에 따라 스크롤링이 자동으로 나타날 수 있다. 예시적인 실시 예에 따르면, 사용자는 선행하는 15 초 컨텐츠, 최근 컨텐츠 및 다음의(미래의) 15 초 컨텐츠 사이의 상관관계를 구축하기 위해 한 순간에 30 초 길이의 비디오의 전체 컨텐츠를 볼 수 있다. 관련 기술에서, 시청자는 한 번에 비디오에서 단일 이미지만을 볼 수 있다. 그러나, 예시적인 실시 예에서, 시청자는 우측(87)에 노트(notes), 오디오 데이터(81)의 상부 부분에 도시된 이전 15 초의 컨텐츠 및 하부에 도시된 다음 15 초의 컨텐츠를 동시에 볼 수 있고 또한, 비디오(62a)도 볼 수 있다.

도 8a에서, 타임라인(71 및 88)은 현재 재생되는 컨텐츠 근방의 인지 상태 히스토리를 10 분 간격(중간 부분)에 대해 제공된다. 도 8a의 예시적인 실시 예에 따르면, 타임라인(71 및 88)은 각각 최근 컨텐츠(오리지날) 및 최근 컨텐츠(검토되고 있는) 근방의 10 분 타임라인이다. 따라서, 최근 컨텐츠로부터 보다 넓은 관점 및 상관관계를 갖는 뷰(view)가 제공된다. 유사하게, 예시적인 실시 예에 따르면, 타임라인(72 및 85)은 시청자가 사용자 상태의 전체 스토리를 볼 수 있게 한다. 예시적인 실시 예에 따르면, 보다 일반적인 뷰는 특정 관심 영역에 대한 표시를 제공한다. 도 8a에 도시된 예시적인 실시 예의 디스플레이는 사용자에게 특정 시점부터 더 넓은 장면 및 더 넓은 장면에서 전체 스토리까지(예시적인 실시 예에서 전체 강의 또는 테스트 또는 시험을 위해 공부되는 모든 자료에 대해) 전체적으로 볼 수 있도록 훈련시킨다. 예시적인 실시 예에 따르면, 전체 컨텐츠 또는 강의(들)를 동시에 볼 수 있다. 결과적으로, 사용자는 강의의 다른 관점을 봄으로써 진행상황을 비교하고 평가할 수 있다.

타임라인(71, 88)은 중간에 t가 표시되고, 현재 표시된 시간보다 5 분 전, 현재 표시된 시간이 5 분 후인 타임 바가 제공된다. 또한, 타임라인 생성기(61c)에 의해 생성된 타임라인(72, 85)은 사용자에게 표시되고, 전체 강의(전체 컨텐츠)를 따라 전체 인지 상태 히스토리이다. 현재 출력된 위치 또는 비디오 부분이 시간 t_u로 보여지 전체 컨텐츠에 대해 표시된다. 예시적인 실시 예에 따르면, 타임라인(72 및 85)은 당 업계에 공지된 비디오 제어와 유사하지만 그 위에 사용자의 인지 상태가 마킹되어 있다.

도 8a는 현재 표시된 이미지가 타임라인(72 및 85)에 의해 도시된 전체 컨텐츠의 대략 중간에 있음을 보여준다. 도 8a에 보여진 바와 같이, 사용자는 컨텐츠(강의)를 공부 및/또는 검토하고 있을 수 있다. 따라서, 도 1에 도시된 헤드셋은 또한 검토 시간 동안 사용자에 의해 착용될 수 있다. 예시적인 실시 예에서, 검토 시간 동안 생성된 추가 지각 데이터는 표시되는 컨텐츠(비디오 및 오디오)와 동기화 기(61a)에 의해 동기화되고 타임라인 생성기(61c)는 실시간 검토 중 사용자의 인지 상태를 도시하는 검토 타임라인(85, 88)을 생성할 수 있다. 예시적인 실시 예에 따르면,(검토 시간 동안) 최근 또는 현재 시간에서의 사용자의 인지 상태는 타임라인(85 및 88)에 도시되어 있다. 검토 타임라인(85 및 88)은 실시간으로 업데이트되어 사용자에게 표시되어 검토 중 또는 공부 중인 자료에 대한 이해가 사용자에 의해 쉽게 파악될 수 있다. 일 실시 예에 따르면, 실시간으로 사용자의 인지 상태(86)는 디스플레이 상에 실시간으로 급히 출력될 수 있다. 추가적으로, 동기화기(61a)는 툴 바(89)를 통해 강의(컨텐츠의 오리지날 프리젠테이션) 동안 사용자가 취한 노트(87) 및/또는 컨텐츠의 검토 또는 공부 중에 작성된 노트를 동기화할 수 있다. 일 실시예에 따르면, 통찰로부터의 상관관계는 사용자에 의해 검색, 표시 및 편집될 수 있다.

도 8a에 도시된 예시적인 실시 예에 따르면. 타임라인(71, 72, 85 및 88)은 사용자의 인지 상태를 도시한다. 그러나, 이것은 일 예로 제공되는 것이고 제한이 아니다. 다양한 실시 예들에 따르면, 하나의 타임라인 또는 타임라인의 일부만이 사용자의 인지 상태를 나타낼 수 있다. 예를 들어, 타임라인(72 및 85)만이 오리지날 강의 프리젠테이션 동안 및 검토 동안 사용자의 인지 상태를 보여줄 수 있다. 또한, 도 8a는 칼라 또는 음영을 사용하는 사용자의 인지 상태를 도시하지만, 이는 일 예로 제공되는 것이 제한이 아니다. 당업자는 다른 마킹, 지시기 및 코딩 기술이 사용자의 인지 상태를 나타내는데 사용될 수 있음을 쉽게 이해할 것이다. 예시적인 실시 예에 따르면, 사용자는 타임라인 중 임의의 하나를 통해 스크롤하여 컨텐츠에서 필요한 부분을 탐색할 수 있다. 예시적인 실시 예에서, 예로서, 사용자는 타임라인(72) 또는 타임라인(85) 상의 특정 포인트를 클릭하거나 선택할 수 있고, UI는 선택된 포인트를 포인트 n으로서 사용하여 새로운 스크린으로 전환할 것이다.

도 8b는 본 발명의 다른 실시 예에 따라, 예를 들어 외국어 학생의 가시의 음성 인식 능력을 향상시키기 위해 텍스트와 함께 오디오 신호가 표시되는 것을 나타내는 도면이다. 도 8b에서, 텍스트(81)가 표시되는 것에 더하여, 오디오 데이터(801)는 사용자가 텍스트 포맷으로 컨텐츠를 보는 것 외에 들을 수 있도록 제공된다.

도 9a는 일 실시 예에 따라 컨텐츠를 공부한 후 상관관계를 구축하는 방법을 설명하기 위한 도면이다.

도 9a에 도시된 바와 같이, 사용자가 컨텐츠를 검토한 후, 타임라인 생성기(61c)는 사용자의 인지 상태가 검토 이전보다 전체 컨텐츠의 더 큰 부분을 확신하고 있음을 나타내는 타임라인(95 및 98)을 업데이트한다. 비교를 위해, 타임라인(94)은 사용자가 검토 후와 반대로 컨텐츠(94a)의 더 큰 부분에 대해 혼동스러워하고, 사용자는 타임라인(95)에 도시된 더 작은 부분(95a)에 대해 혼동스러워 함을 보여준다. 도 9a에서, 오리지날 컨텐츠(92)는 사용자가 혼동스러워한다는 것을 나타내는 타임라인(93)이 컬러 음영으로 표시되며, 사용자가 혼동하는 전체 컨텐츠의 일부를 약 28 %로 나타내는 타임라인(94) 다른 음영 부분(94a)으로 표시된다. 컨텐츠을 검토한 후, 사용자는 이제 대부분의 자료 또는 자료의 상당 부분을 이해한다. 검토 후, 타임라인(95)은 사용자의 인지 상태를 확신하는 것으로 도시하고 변환된 텍스트 부분(91)은 이제 자신감 있는 또는 자료/컨텐츠에 대한 사용자의 이해를 나타내는 음영으로 도시된다. 사용자의 현재 상태(96)는 또한 자신감 있는 것으로 도시되어 있다. 결합된 노트(notes)(97)가 사용자에게 보여진다. 컨텐츠의 오리지날 프리젠테이션 동안 작성된 노트(97a) 및 검토 또는 공부 프로세스 동안 작성된 추가 노트(97b)는 동기화기(61a)에 의해 동기화되어 툴바(99)를 사용하여 추가로 편집될 수 있다.

도 9b는 본 발명의 일 실시 예에 따른 서포트 툴(support tool)과 상관관계를 구축하는 것을 나타내는 도면이다. 도 9b에 도시된 바와 같이, 사용자는 타임라인(93 및 94)으로 오리지날 컨텐츠(92)를 보는 것 외에, 전술한 바와 같은 타임라인(95 및 98)이 제공된다. 또한, 사용자는 오디오 데이터(91)의 디스플레이에 도시된 바와 같이, 듣고 있는 단어를 볼 뿐만 아니라 들을 수 있어도 된다. 사용자는 또한 화살표 키(9004)를 사용하여 컨텐츠를 스크롤할 수 있다. 오디오 데이터(91)에서 특정 단어를 선택하거나 강조함으로써, 사용자는 뷰(9003)에서 정의를 제공받을 수 있다. 즉, 예시적 실시 예에서, 뷰(9003)는 사전(9001) 또는 튜토리얼(예를 들어 수학 개념을 공부하는 경우)과 같은 검색 엔진을 포함할 수 있다. 튜토리얼의 유형은 뷰(9001)에 도시되어 있다. 제공된 예에서, 영어 사전 또는 단어에 대한 이미지가 제공될 수 있다. 정의는 노트 섹션(9002)에 도시될 수 있다. 또한, 텍스트에서 용어가 발견되는 곳을 설명하기 위해 타임라인(9003)이 제공될 수 있다. 예시적인 실시 예에 따르면, 강의의 개념 및 의미는 튜토리얼 및 사전과 같은 추가 서포트 툴을 사용하여 개선될 수 있다.

도 9c는 본 발명의 일 실시 예에 따른 서포트 툴과 상관관계를 구축하는 것을 나타내는 도면이다. 도 9c에서, 뷰(9001)에 도시된 튜토리얼에서, 이미지가 선택되고, 그와 같이 개념을 예시하는 이미지가 노트 섹션(9006)에 도시되어 있다. 예시적인 실시 예에 따르면, 예를 들어 영어를 이해하는데 있어서 유학생을 지원하기 위하여 가시적 상관관계 구축 능력을 향상시키는 방법이 제공된다. 예시적인 실시 예에 따르면, 서포트 툴은 이미지 데이터베이스 및 정의 데이터베이스로서 도시되어 있다. 이것은 예시로서 제공된 것이고 제한이 아니다. 예시적인 실시 예에 따르면, 교과서, 인터넷 검색, 및 심지어 관련 연습 및 숙제를 포함하지만 이에 제한되지 않는 다른 서포트 툴이 제공될 수 있다.

도 10은 본 발명의 일 실시 예에 따른 상관관계 구축 방법 또는 컨텐츠 이해 방법을 나타내는 흐름도이다.

도 10에 도시된 바와 같이. 공정 1001에서, 검토 장치는 메모리 캡처된 컨텐츠 및 대응하는 캡처된 인지 상태로부터 검색한다. 캡처된 컨텐츠는 비디오 및/또는 오디오 데이터를 포함할 수 있다. 사용자의 캡처된 인지 상태는 위에서 상세히 설명된 바와 같이 ET0 - ET10을 포함할 수 있다. 결정된 인지 상태는 시청 및/또는 청취된 컨텐츠에 대응하는 하나 이상의 타임라인 상에 보여질 수 있다. 동작 1002에서, 컨텐츠는 시간, 의미론적 의미에 기초하여 또는 사용자에 의해 지정된 바와 같이, 예를 들어 5 초 간격으로 컨텐츠 서브 모듈(부분)로 분할된다. 컨텐츠는 서브 모듈로서 부분적으로 사용자에게 표시될 수 있다. 공정 1003에서 오디오 컨텐츠는 부분 부분으로 연속적으로 텍스트로 변환된다. 검토 중 사용자의 인지 상태는 공정 1004에서 디스플레이로 및/또는 스피커를 통해 출력되는 부분/서브 모듈에 대하여 결정된다. 공정 1005에서, 검토 자료에 대한 사용자의 인지 상태가 생성되어 사용자에게 제시된다. 예시적인 실시 예에 따르면, 검토 동안 사용자의 인지 상태가 결정되고 출력되어 사용자는 자료에 대한 그의 추가적인 이해를 결정할 수 있다.

도 11은 본 발명의 또 다른 실시 예에 따른 상관관계 구축 방법을 나타내는 도면이다. 도 11에 도시된 바와 같이, 오리지날 데이터는 스크린(1100)의 제1 영역(1101)에 표시될 수 있다. 오리지날 데이터(1101)는 미팅, 컨퍼런스, 실험, 스포츠 연습 등에서 기록된 비디오 데이터 및/또는 오디오 데이터 중 어느 하나를 포함할 수 있다. 도 11에 도시된 예시적인 실시 예에서, 오리지날 데이터(1101)는 화학 실험과 같은 실험실 수업 중에 기록된 비디오 데이터(오디오 데이터 없음)이다. 타임라인(1104 및 1105)은 전술한 타임라인과 유사하며 중복을 피하기 위해 여기서 더 설명되지 않는다. 도 11에 도시된 바와 같이, 타임라인(1105)에 사용된 쉐이딩 기술에 대한 사용자의 인지 상태를 나타내는 키 맵(kep map)(1106)이 제공된다. 타임라인(1105)만이 사용자의 감정적 상태로 음영 처리되어 있지만, 당업자라면 타임라인(1104)도 또한 사용자의 인지 상태로 음영 처리될 수 있음을 쉽게 이해할 것이다.

세그먼트화된 데이터는 스크린(1100)의 제2 영역(1102)에 제공된다.

일 실시 예에 따르면, 오리지날 데이터(1101)는 미리 정해진 기준에 따라 세그먼트화될 수 있다. 예로서, 비디오 데이터는 예로서 5 초 간격의 미리 결정된 덩어리(chunk)로 세그먼트화될 수 있다. 제1 프레임, 마지막 프레임, 중간에 있는 프레임 중 하나와 같은 프레임 중 하나는 각각의 세그먼트에 대한 아이콘 또는 이미지로서 사용될 수 있다. 도 11에서, 5 초의 비디오 데이터에 각각 대응하는 데이터 세그먼트(1107)가 제공된다. 복수의 세그먼트 각각을 클릭함으로써, 사용자는 각각의 비디오 세그먼트를 볼 수 있다. 세그먼트는 사용자의 인지 또는 감정 상태에 따라 음영 처리된다. 도 11에 도시된 바와 같이, 스크린(1100)의 제3 영역(1103)은 오리지날 데이터에 대한 사용자 노트, 교수 노트, 교과서 링크, 인터넷 링크, 가이드, 사전 및 튜토리얼을 포함할 수 있다. 따라서, 다양한 데이터 유형이 다양한 기준에 기초하여 세그먼트화되거나 분할된다. 예를 들어, 데이터는 시간 간격(각 5 초)에 기초하여 부분들로 분할될 수 있다. 다른 예시적인 실시 예에 따르면, 데이터의 의미가 분석될 수 있고 장면 변경을 인식할 수 있는 음성 일시정지 또는 이미지 인식 기술을 사용하여 데이터가 부분들로 분할될 수 있다. 이들은 예로서 제공되는 것이고 제한적인 것이 아니다.

또 다른 예시적인 실시 예에 따르면, 학습 프로세스는 그룹 학습을 통해 추가로 향상된다. 예를 들어, 학습 과정을 향상시키기 위해 소셜 네트워킹 애플리케이션 기능이 제공된다. 도 12는 본 발명의 일 실시 예에 따른 소셜 네트워킹 애플리케이션의 사용자 홈 페이지를 나타내는 도면이다. 예시적인 실시 예에서, 페이스 북(Facebook) 또는 트위터(Twitter)와 유사한 소셜 네트워킹 애플리케이션이 학습 프로세스를 향상시키기 위해 이용된다.

도 12를 참조하면, 사용자 홈 스크린(1200)은 예를 들어 스마트 폰과 같은 모바일 디바이스를 통해 사용자에게 표시된다. 사용자의 홈페이지 스크린(1200)에는 사용자의 데이터베이스(1200a)에 저장된 강의 목록이 표시된다. 이 목록에는 강의 토픽이 언제 획득되었는지를 나타내는 타임라인(1200a-1)이 수반된다. 예를 들어, 도 12에 도시된 바와 같이, 강의 토픽(1200a)의 목록은 강의 토픽 N, N-1, N-2, ...... N-8을 포함한다. 이 강의에는 수강되었던 해당 시간이 있다. 도 12에 도시된 바와 같이, 강의 토픽 N은 타임라인(1200a-1)에 도시된 바와 같이 시간/날짜 N(Time/Date N)에 획득되었다. 강의 토픽 N-1은 타임라인(1200a-1)에 도시된 바와 같이 시간/날짜 N-1에서 획득되었다. 강의 토픽 N은 현재 공부된 강의 토픽을 나타내는 타임라인의 현재 위치(상단 위치)에 있다. 토픽 N은 홈 스크린 페이지(1200)의 좌측 부분(1201)에 요약되어 있다. 도 12에 도시된 예시적 실시 ㅇ예에서, 토픽 N은 강의 길이가 1시간 46분이고 시간/날짜 N에 기록된 토픽의 메리가 강의자인 수학 강의이다. 즉, 예시적인 실시 예에서, 홈 스크린 페이지(1200)의 좌측 부분(1201)은 현재 강의 토픽, 즉 토픽 N에 관한 메타데이터(metadata)를 제공한다. 또한, 예시적인 실시 예에 따라, 강의 토픽 N에 대해 타임라인(1201a)이 제공된다. 타임라인(1201a)은 강의 토픽 N의 다양한 부분에서의 자신감 레벨을 나타낸다. 사용자는 사용자의 홈 페이지 스크린(1200)의 하부(1202)에 도시된 바와 같이 강의 토픽 N의 스크립트를 검토할 수 있다. 즉, 하부(1202)는 강의 토픽 N가 텍스트로 변환된 것을 나타낸다. 상단 텍스트 모듈(1202a)은 타임라인(1201a)상의 현재 위치 지시기(1201b)에 의해 표시된 바와 같이, 사용자가 현재 검토하고 있는 강의 토픽 N의 현재 위치에 대응한다. 예시적인 실시 예에 따르면, 사용자는 타임라인(1201a)을 사용하여 스크립트(1202)에서 원하는 부분으로 스크롤할 수 있다. 사용자는 타임라인(1201a)을 스크롤하거나 텍스트 모듈(1202)을 통해 스크롤함으로써 강의 토픽 N의 비디오를 로드하지 않고 강의 토픽 N을 검토할 수 있다. 사용자 홈 페이지 스크린(1200)은 강의 토픽 N에 대응하는 사용자 노트를 표시하기위한 노트 섹션(1203)을 더 포함한다. 예시적인 실시 예에서, 노트 섹션(1203)은 검토되는 강의 토픽 N의 현재 부분에 기초하여, 검토 동안 및/또는 오리지날 강의 동안 입력된 사용자의 노트를 표시할 것이다. 다시 말해서, 노트 섹션(1203)은 타임라인(1201a) 상의 현재 위치 지시기(1201b) 및 검토 중인 현재 텍스트 모듈(1202a)과 동기화된다. 노트 섹션(1203)은 오리지날 강의 동안, 검토 동안 및/또는 사용자 정의 설정에 따라 작성된 노트를 제시할 수 있다. 기본 설정은 현재 위치 지시기(1201b)에 대응하는 모든 이용 가능한 노트를 표시하기 위해 제공될 것이다.

사용자가 다음 토픽에 대한 특징 또는 메타데이터를 보고자할 때, 사용자는 목록(1200a)을 위/아래로 스크롤하고, 영역(1201, 1202 및 1203)은 강의 토픽에 대응하는 토픽의 컨텐츠를 목록의 상단에 제공할 것이다.

또한, 도 12에 도시된 바와 같이, 홈 스크린(1200)은 사용자의 친구들을 위한 디스플레이 컴포넌트 또는 디스플레이 요소를 포함한다. 도 12에 도시된 일 예에서, 친구 1 - 7은 디스플레이 영역(1205)에 도시되고 친구 -1, -2, -3 및 -4는 디스플레이 영역(1206)에 도시된다. 도 12에 도시된 바와 같이, 새로운 포스트(post)가 없는 친구가 디스플레이 영역(1205)에 표시되고, 새로운 포스트가 있는 친구, 즉 사용자가 아직 보지 않은 친구가 디스플레이 영역(1206)에 표시된다. 사용자가 친구(3, 5, 7)의 포스트에 코멘트을 달았으면 그것이 체크 마킹과 같은 디스플레이 지시기로 반영되고 사용자가 친구(2, 4, 6)의 포스트에 코멘트을 달지 않았으면, 이는 체크되지 않은 박스와 같은 다른 지시기를 통해 볼 수 있다.

예시적인 실시 예에서, 특정 토픽를 보고 스크린에 토픽에 해당하는 포스트를 표시하고 및/또는 특정 토픽에 대한 의견이 있는 친구를 가리키도록 포스트가 토픽에 특화된다. 예시적인 실시 예에서, 사용자는 친구의 아이콘을 스와이프하여 그 친구의 하나 이상의 포스트를 볼 수 있다.

도 13을 도시한 바와 같이, 사용자는 강의 토픽 N을 선택하고, 강의 토픽 N은 예시적인 실시 예에 따라 비디오 형태로 영역(1301)에 도시된다. 또한, 영역(1301)에는 타임라인(1301a)이 표시될 수 있다. 즉, 예시적인 실시 예에 따르면, 사용자가 도 12에 도시된 사용자 홈페이지 스크린의 1200a 부분에서 임의의 지점을 선택할 때. 강의 토픽 N의 비디오는 도 13에 도시된 바와 같이 스크린 부분(1301)에서 재생될 것이다. 사용자는 영역 1301, 1302 또는 1303을 터치함으로써 언제든지 비디오를 일시정지/재생할 수 있다. 사용자는 1302를 스크롤하거나 1301a의 타임라인을 조작함으로써 강의 토픽 N의 비디오를 빨리감기, 되감기할 수 있다. 강의 토픽 N의 비디오를 재생하는 동안, 사용자는 스크린 섹션(1305)을 조작함으로써 스스로 만든 노트 및 친구에 의해 작성된 노트 및 친구의 코멘트를 볼 수 있다.

도 13에 도시된 바와 같이, 영역(1301)에서 재생된 강의 토픽 N의 비디오의 오디오는 텍스트로 변환되어 영역(1302)에 표시된다. 영역(1303)에서, 사용자 노트(사용자 설정 및/또는 기본 설정에 따라 친구의 노트를 포함함)가 표시된다. 영역(1304)에는, 사용자에 의한 코멘트(사용자 설정 및/또는 기본 설정에 따른 친구의 코멘트 포함함)가 표시된다. 예를 들어, 친구 n, n-3, n+1, n+3, n+5, n+7은 체크 마킹 디스플레이 지시기를 통해 섹션(1305)에 기재된 바와 같이 강의 토픽 N의 현재 부분(1302a)에 대한 코멘트를 가질 수 있고, 이것은 단지 일 예로 제공되고 제한이 아니다. 또한, 답장을 갖는 영역(1306)이 제공될 수 있다. 도 13에 도시된 예시적인 실시 예에서, 친구 n-1, n-2, n+2, n+4 및 n+6은 사용자 친구의 코멘트(답장)에 대한 코멘트를 가질 수 있다. 예시적인 실시 예에서, 영역(1304)에 표시된 사용자 코멘트는 수업 중에 강의자가 준 집에서 해결해야 할 수학 문제일 수 있다. 이와 같이, 예시적인 실시 예에서, 영역(1306)에 표시된 친구들로부터의 답장은 문제에 대한 해답을 포함할 수 있고, 사용자는 도 13에 도시된 강의 토픽 N 스크린의 영역(1306)에 제공된 답장(Rn)을 검토함으로써 그의 친구들의 다양한 해답을 확인할 수 있다.

예시적인 실시 예에 따르면, 사용자는 친구 표시 영역(1305)에서 친구를 선택함으로써 다양한 친구의 코멘트/응답을 살펴볼(browse) 수 있다. 친구 표시 영역(1305)에서 하나 이상의 친구를 선택함으로써, 사용자는 영역(1306)에서 선택된 친구들이 작성한 답변/코멘트를 보게 될 것이다. 이것은 일 예로 제공되고 제한이 아니다.

도 14는 본 발명의 또 다른 실시 예에 따른 특정 작업에 대한 사용자의 스킬 레벨을 결정하는 방법을 나타내는 도면이다.

도 14에 도시된 바와 같이, 도 1을 참조로 상술한 헤드셋(1) 상의 카메라와 같은 카메라에 의해 캡처된 이미지의 기준 프레임(1410)이 객체(141)의 움직임을 결정하는데 사용될 수 있다. 기준 프레임(1410)에서, 정지된 객체(141)가 중앙에 표시될 수 있다. 즉, 예시적인 실시 예에 따르면, 정지된 객체(141)는 (사용자가 골프를 치는 경우) 골프 공, (사용자가 교실에 있는 경우) 칠판 위의 점 또는 (사용자가 축구를 하는 경우) 축구공과 같이 사용자가 보고 있는 객체일 수 있다. 이러한 정지된 객체는 일 예로 제공되고 제한이 아니다. 복수의 캡처된 이미지를 분석하는 것에 기초하여, 프레임(1410) 내부의 객체(141)의 움직임이 검출된다. 프레임(1410) 내부의 객체(141)의 움직임을 분석함으로써, 사용자의 감정 상태가 감지될 수 있다. 예를 들어, 검출된 객체(141)의 움직임은 사용자의 인지 상태를 반영할 수 있는 사용자의 이마의 움직임을 반영한다. 일 실시 예에 따르면, 검출 방법은 사용자의 추가적인 감정/인지 정보를 검출하여 EEG 신호의 노이즈 영향을 따로 설정할 수 있다.

예시적인 실시 예에서, 정지된 객체(141)가 중심으로부터 방향 141a 및 141b로 이동되면 사용자의 머리의 수평 움직임이 검출된다. 또한, 정지된 객체(141)가도 14에 도시된 바와 같이 중심으로부터 방향 141c 및 141d로 이동하면 사용자의 머리의 수직 움직임이 검출된다. 이미지 프레임의 서브세트, 즉 비디오의 일부를 분석함으로써 움직임이 검출된다. 위에서 더 상세히 설명된 바와 같이, 비디오의 일부는 텍스트-음성 변환을 참조하여 위에서 설명된, 덩어리(chunk) 또는 분할 블록에 대응할 수 있다.

또 다른 예시적인 실시 예에 따르면, 움직임을 결정하는데 사용된 비디오의 일부는 상황에 따라 달라질 수 있다.

예를 들어, 사용자가 칠판의 특정 지점을 보고 있는 경우, 사용자의 머리를 흔들거나 머리를 끄덕이는 움직임이 감지될 수 있다. 즉, 검출된 수평 움직임은 사용자가 머리를 흔들고 있음을 나타내며, 따라서 혼동스러워 보인다. 한편, 머리의 검출된 수직 움직임은 사용자가 제시된 자료를 이해하고 있음을 나타낼 수 있다. 이와 같이, 기준 세트로서 사용될 비디오의 부분은 예를 들어 일시정지될 때까지 사용자의 머리의 검출된 움직임에 의존할 것이다.

또 다른 예시적인 실시 예에 따르면, 움직임을 검출하기 위해 사용될 비디오의 부분은 수행되는 작업에 의존할 수 있다. 사용자가 골프를 치는 경우, 움직임은 작업의 품질을 감지하는 데 도움이 될 수 있다. 예를 들어, 골퍼가 퍼팅할 때, 퍼팅 프로세스 내내 객체(141)는 기준 프레임(1410) 내부에 고정되어 있어야 한다. 퍼팅이 실패한 경우, 골퍼는 정지된 객체(141)가 아래로 이동한 것을 검토하고 볼 수 있고, 따라서 사용자는 퍼팅 동안 그가 머리를 들었다고 결정할 수 있다. 퍼팅 과정에서 그의 움직임을 분석함으로써 퍼팅이 개선될 수 있다.

도 15는 도 14를 참조하여 전술한 본 발명의 일 실시 예에 따른 특정 작업에 대한 사용자의 스킬 레벨 결정 방법을 나타내는 흐름도이다.

도 15에 도시된 바와 같이, 공정 1501에서, 정지된 객체가 검출된다. 예시적인 실시 예에서, 정지된 객체는 골프 공 또는 칠판과 같이 사용자가 보고 있는 중심점과 같은 것으로 당 업계에 공지된 다양한 이미지 인식 기술을 사용함으로써 검출될 수 있다. 공정 1502에서, 정지된 객체에 대해 검출된 움직임에 기초하여 비디오를 덩어리 또는 세그먼트로 분할한다. 예시적인 실시 예에 따르면, 비디오는 이미지 프레임으로부터 이미지 프레임까지 정지된 객체의 움직임을 결정하기 위해 분석된다. 각각의 움직임은 비디오 세그먼트의 덩어리인 것으로 결정될 수 있다. 결정된 덩어리 또는 세그먼트 각각에 대해, 움직임 유형은 동작 1503에서 결정된다. 결정되는 움직임의 유형은 컨텍스트에 기초한다.

예를 들어, 칠판 예와 관련하여, 검출되는 움직임의 유형은 사용자가 혼동스러워하는지(머리를 흔든다) 또는 자신감이 있는지(머리를 끄덕인다)를 나타내는 수평 또는 수직 움직임일 수 있다. 골프 예와 관련하여, 검출되는 움직임의 유형은 골프 공에 대한 헤드의 움직임 및 움직임의 시작부터 골프 공이 닿을 때까지의 타이밍일 수 있다.

공정 1504에서, 결정된 움직임 유형에 적어도 부분적으로 기초하여 사용자의 스킬 레벨 또는 자신감 레벨이 결정된다. 예를 들어, 사용자가 고개를 끄덕이고 지각 데이터가 사용자의 인지 상태가 확실하다는 것을 나타내는 경우, 이러한 요소들을 결합하여 사용자가 제시되는 자료를 알고 이해하고 있다고 판단할 수 있다. 반면에, 사용자의 스윙이 느리다고(오래 걸린다고) 판단되고 골프 공이 프레임으로부터 프레임으로 움직이는 경우, 이러한 요소들이 지각 데이터와 결합되어(이는 사용자의 메모리가 열심히 작동하고 있음을 나타낼 수 있음) 낮은 스킬 레벨을 결정할 수 있다. 예를 들어, 프로 골퍼는 메모리 스킬과 달리 주로 운동 기술을 활용하고, 빠르게 스윙하며, 볼을 계속 주시한다.

예시적인 실시 예에서, 결정된 스킬 레벨은 사용자에게 출력될 수 있거나 공정 1505에서 결정된 스킬 레벨에 기초하여 공정이 수정될 수 있다. 예시적인 실시 예에 따르면, 추가적인 튜토리얼 또는 자료는 결정된 스킬 레벨에 기초하여 사용자에게 제시될 수 있다. 대안으로 강의는 추가적인 일시중지와 함께 느린 속도로 제공될 수 있다. 또 다른 예시적인 실시 예에 따르면, 골프 게임은 사용자가 특정 홀, 특정 움직임, 작업 등에 관한 추가 연습이 필요하다는 것을 나타내기 위해 컬러 코딩될 수 있다. 사용자는 특정 작업을 수행하기 위해 코스 내의 특정 영역으로 안내될 수 있다.

또 다른 예시적인 실시 예에 따르면, 복합적인 작업이 수행되는 경우(예를 들어, 복합적인 기계 또는 장비의 운전), 결정된 스킬 레벨은, 예를 들면 스킬 레벨이 부적절하거나 또는 사용자가 잠들고 있는 것처럼 보이다면, 경보를 출력하거나 심지어 장비를 셧다운하는 데 사용될 수 있다.

예시적인 실시 예들의 양태에 따르면, 사람의 직관-기반 인지 보조 시스템이 제공되는데, 여기에는 동기화된 시각 및 오디오 정보를 포함하는 데이터를 환경으로부터 캡처하도록 구성된 적어도 하나의 장치, 환경으로부터 캡처되고 사용자가 관찰하고 청취한 동기화된 시각 및 오디오 정보에 대응하는 사용자의 직관 상태 또는 인지 상태를 캡처하도록 구성된 적어도 하나의 센서, 캡처된 인지 정보와, 캡처된 동기화된 시각 오디오 정보, 캡처된 사용자의 직관 상태 정보 및 처리된 동기화된 시각 오디오 정보를 포함하는 처리된 인지 정보와, 처리된 사용자의 직관 상태 정보를 표시하도록 구성된 적어도 하나의 디스플레이 장치를 포함한다, 장치는, 캡처된 직관 상태 또는 지각 데이터 및 데이터베이스에 저장된 특유의 기준 신호에 기초하여 사용자의 특유의 직관 상태를 식별하고, 사용자의 식별된 특유의 직관 상태를 식별된 특유의 시각적 직관적 마킹으로 해석하고, 캡처된 동기화된 오디오 정보를 동기화된 텍스트 및 심볼로 해석하고, 일련의 해석된 텍스트 및 심볼을 분리된 연속적인 동기화된 자막 모듈로 덩어리짓고(chunk), 연속적으로 캡처된 동기화된 시각 및 오디오 정보를 연속된 동기화된 자막 모듈에 대응하는 개별적인 연속된 동기화된 비디오로 분할하도록 구성된 프로세서와, 분리된 연속된 동기화된 자막 모듈을 스크립트 윈도우 내의 개별적인 연속적인 자막 서브 윈도우에 디스플레이하는 디스플레이를 포함한다. 프로세서는 또한 사용자의 식별된 특유의 직관 상태에 대응하여 동기화된 식별된 특유의 시각적 직관적 마킹으로 동기화된 자막 윈도우를 표시하도록 구성된다. 장치는 캡처된 동기화된 시각, 오디오, 직관 정보, 처리된 동기화된 시각, 오디오, 직관 정보를 포함하는 동기화된 인지 정보를 저장하는 메모리를 더 포함한다.

다양한 예시적인 실시 예에 따르면, 사용자는 공부하고, 대면 회의, 화상 통화 등을 할 때, 추가로 주의를 필요로 하는 토픽를 쉽게 이해할 수 있다. 다양한 예시적인 실시 예에 따르면, 개인화된(personalized) 노트 및 작성된 코멘트, 사용자에 의해 관찰되고 청취되는 환경에 기초하여 형성된 생각은 환경과 동기화될 수 있다. 이러한 개인화된 대화형 문서, 생각은 사용자의 작업 메모리의 학습 및 생각을 모방할 수 있고, 문서화된 다음 저장되고, 출력되고, 공유되어 사용자가 다양한 "대화 후" 정보 저장 및 교환을 하도록 지원한다. 출력은 이메일, 소셜 미디어 등 다양한 형태를 취할 수 있다.

다양한 예시적인 실시 예의 설명은 예시의 목적으로 제시되었지만, 모든 것을 망라하려는 것이나 개시된 실시 예에만 제한하려는 것은 아니다.

기술된 실시 예의 범위 및 사상을 벗어나지 않고 당업자에게 많은 변경이 명백할 수 있다. 본 명세서에서 사용된 용어는 시장에서 확인된 기술에 대한 실시 예의 원리, 실제 응용 또는 기술적 개선을 가장 잘 설명하거나 당업자가 본 명세서에 개시된 실시 예를 이해할 수 있도록 하기 위해 선택되었다.

예시적인 실시 예에서, 인지 모듈 프로세서는 유형의 컴퓨터 판독 가능 매체에서 구현될 수 있다. 본 명세서에서 사용된 용어 "컴퓨터 판독 가능 매체(computer-readable medium)"는 실행을 위해 프로세서에 명령을 제공하는데 참여하는 임의의 매체를 지칭한다. 컴퓨터 판독 가능 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 이상의 것의 임의의 적절한 조합일 수 있지만, 이에 제한되지는 않는다. 컴퓨터 판독 가능 매체의 보다 구체적인 예(비제한적 리스트)는 다음을 포함할 것이다: 2 개 이상의 와이어를 갖는 전기 접속, 플로피 디스크 또는 플렉서블 디스크와 같은 휴대용 컴퓨터 디스켓, 자기 테이프 또는 임의의 다른 자기 매체, 하드 디스크, RAM(Ramdom Access Memory), ROM(read-only memory), 소거 가능 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 메모리 카드, 기타 메모리 칩 또는 카트리지, 광 섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 임의의 다른 광학 매체, 펀치 카드, 종이 테이프, 구멍 패턴을 갖는 임의의 다른 물리적 매체, 또는 컴퓨터가 이상의 것의 적절한 조합을 판독할 수 있는 임의의 다른 매체.

본 명세서의 맥락에서, 컴퓨터 판독 가능 매체는 명령 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형의 비-일시적 매체(non-transitory medium)일 수 있다.

다른 형태는 신호 매체이며, 예를 들어 베이스 밴드 또는 반송파의 일부로서 컴퓨터 판독 가능 프로그램 코드가 구현된 전파된 데이터 신호(propagated data signal)를 포함할 수 있다. 이러한 전파된 신호는 전자기, 광학 또는 이들의 임의의 적절한 조합을 포함하지만 이에 제한되지 않는 임의의 다양한 형태를 취할 수 있다. 신호 매체는 데이터 버스를 포함하는 와이어를 포함하여 동축 케이블, 구리 와이어 및 광섬유를 포함할 수 있다. 신호 매체는 컴퓨터 판독 가능 저장 매체가 아니며 명령 실행 시스템, 장치 또는 장치에 의해 또는 이와 관련하여 사용하기위한 프로그램을 통신, 전파 또는 수송할 수 있는 임의의 매체 일 수 있다.

컴퓨터 판독 가능 매체 상에 구현된 프로그램 코드는 무선, 유선, 광섬유 케이블, RF 등 또는 이들의 임의의 적절한 조합을 포함하지만 이에 제한되지 않는 임의의 적절한 매체를 사용하여 전송될 수 있다.

예시적인 실시 예의 양태에 대한 동작을 수행하기 위한 컴퓨터 프로그램 코드는 자바(Java), 스몰톡(Smalltalk), 씨플러스플러스(C++), 닷넷(.Net) 등과 같은 객체 지향 프로그래밍 언어 및 통상적인 절차적 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 프로그램 코드는 사용자의 컴퓨터에서 완전히 실행되거나, 독립형 소프트웨어 패키지로서 부분적으로 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터 및 부분적으로는 원격 컴퓨터에서 실행되거나, 원격 컴퓨터 또는 서버에서 완전히 실행될 수 있다. 원격 컴퓨터는 LAN(Local Area Network) 또는 WAN(Wide Area Network)을 포함한 모든 유형의 네트워크를 통해 사용자 컴퓨터에 연결되거나 (예로써 인터넷 서비스 포로바이더를 사용하는 인터넷을 통해) 외부 컴퓨터까지 연결될 수 있다.

컴퓨터 판독 가능 매체는 머신-판독 가능 매체(machine-readable medium)의 일 예일 뿐이며, 여기에 설명된 방법 및/또는 기술 중 임의의 것을 구현하기 위한 명령을 수행할 수 있다. 이러한 매체는 비 휘발성 매체 및 휘발성 매체를 포함하지만 이에 제한되지 않는 많은 형태를 취할 수 있다. 비 휘발성 매체는 예를 들어 광학 또는 자기 디스크를 포함한다. 휘발성 매체에는 동적 메모리가 포함된다.

다양한 형태의 컴퓨터 판독 가능 매체가 하나 이상의 명령의 하나 이상의 시퀀스를 실행을 위해 CPU와 같은 프로세서로 전달하는 데 관여할 수 있다. 예를 들어, 명령은 처음에 원격 컴퓨터의 자기 디스크에 담길 수 있다. 다르게는 원격 컴퓨터가 명령을 동적 메모리에 로드하고 모뎀을 사용하여 전화선을 통해 명령을 보낼 수 있다. 컴퓨터 시스템에 속한 모뎀은 전화선을 통해 데이터를 수신하고 적외선 송신기를 사용하여 데이터를 적외선 신호로 변환할 수 있다. 적외선 검출기는 적외선 신호로 운반된 데이터를 수신할 수 있으며 적절한 회로는 데이터 버스에 데이터를 배치할 수 있다. 버스는 데이터를 휘발성 스토리지로 전달하며, 이 스토리지에서 프로세서가 명령어를 검색하고 실행한다. 휘발성 메모리에 의해 수신된 명령은 프로세서에 의해 실행되기 전 또는 후에 영구 저장 장치에 선택적으로 저장될 수 있다. 명령은 또한 당 업계에 공지된 다양한 네트워크 데이터 통신 프로토콜을 사용하여 인터넷을 통해 컴퓨터 플랫폼으로 다운로드될 수 있다.

도면의 흐름도 및 블록도는 다양한 예시적인 실시 예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 지정된 논리 기능을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현들에서, 블록에서 언급된 기능들은 도면들에서 언급된 순서를 벗어나서 발생할 수 있음에 유의해야 한다. 예를 들어, 연속으로 도시된 2 개의 블록은 실제로 실질적으로 동시에 실행될 수 있거나, 또는 관련된 기능에 따라 2 개의 블록이 때때로 역순으로 실행될 수 있다. 블록도 및/또는 흐름도의 각 블록 및 블록도 및/또는 흐름도의 블록의 조합은 특정 기능 또는 동작을 수행하는 특수 목적의 하드웨어 기반 시스템에 의해서나 특수 목적 하드웨어 및 컴퓨터 명령의 조합에 의해 구현될 수 있다.

본 명세서에서 사용된 용어는 특정 실시 예만을 설명하기 위한 것이며 제한하려는 것이 아니다. 단수의 표현은 문맥 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 사용될 때 용어 "포함하다" 및/또는 "포함하는"은 언급된 특징, 정수, 공정, 동작, 요소 및/또는 구성요소의 존재를 명시하지만 하나 이상의 다른 특징, 정수, 공정, 연산, 요소, 구성요소 및/또는 이들의 그룹의 존재나 추가를 배제하지는 않는다는 것을 이해할 것이다.

이하의 청구항에서의 모든 수단 또는 공정과 기능 요소의 대응하는 구조, 재료, 작용 및 등가물은 구체적으로 청구된 다른 청구된 요소와 조합하여 기능을 수행하기 위한 임의의 구조, 재료 또는 작용을 포함하도록 의도된다.

예시적인 실시 예의 설명은 예시 및 설명의 목적으로 제시되었지만, 어떤 형태로든 철저하거나 제한하려는 것은 아니다. 본 발명의 범위 및 사상을 벗어나지 않고 많은 수정 및 변형이 당업자에게 명백할 것이다. 예시적인 실시 예는 그 동작 및 그 실제 응용을 설명하고, 본 기술 분야의 당업자가 고려되는 특정 용도에 적합한 다양한 변형을 갖는 다양한 실시 예를 이해할 수 있도록 하기 위해 선택되고 설명되었다. 즉, 이들 실시 예에 대한 다양한 변형은 당업자에게 명백할 것이며, 여기에 정의된 일반적인 원리 및 특정 예는 본 발명의 가르침의 사용없이 다른 실시 예에 적용될 수 있다. 예를 들어, 위에서 논의된 상이한 실시 예들의 특징들 중 일부 또는 전부는 단일 실시 예로 결합될 수 있다. 반대로, 위에서 논의된 단일 실시 예의 특징 중 일부는 실시 예에서 삭제될 수 있다. 그러므로, 본 개시는 여기에 설명된 예시적인 실시 예들로 제한되도록 의도된 것이 아니라 청구 범위 및 그 등가물의 특징에 의해 정의된 바와 같이 가장 넓은 범위에 따라야 한다.

Claims

사용자에 의해 관찰된, 동기화된 시각 및 오디오 정보를 포함하는 데이터를 환경으로부터 캡처하도록 구성된 적어도 하나의 장치;
장치에 의해 캡처된 데이터와 동기화된 사용자의 감정 상태를 캡처하도록 구성된 적어도 하나의 센서;
메모리 및 프로세서를 포함하는 검토 장치;를 포함하는 사람의 감정-기반 인지 보조 시스템(personal emotion-based cognitive assistant system)으로서,
상기 프로세서는,
장치에 의해 캡처된 데이터를 미리 정해진 기준에 따라 복수의 세그먼트로 분할하고,
복수의 세그먼트 각각에 대해서, 복수의 세그먼트 중에서부터 각각의 세그먼트에 대응하는 센서에 의해 캡처된 사용자의 감정 상태의 미리 결정된 구성요소들과 메모리에 저장된 특유의 기준 신호 간의 비교로부터 생성된 상관관계 유형 및 상관관계 레벨을 포함하는, 사용자의 직관적 상태를 결정하되, 특유의 기준 신호는 특유의 직관적 기준 샘플을 나타내고,
적어도 하나의 타임라인을 생성하고,
복수의 세그먼트들 각각에 대한 감정 지시기를 포함하는, 생성된 타임라인을 표시하도록 제어하되, 감정 지시기는 사용자의 결정된 직관적 상태를 가리키는 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제1항에 있어서,
데이터는 서로 동기화된 시각 정보 및 오디오 정보를 포함하고,
검토 장치는,
타임라인을 표시하고 비디오 정보를 순차적으로 표시하도록 구성된 디스플레이와,
복수의 세그먼트의 오디오 정보를 동기화된 텍스트 및 심볼로 변환하도록 구성된 음성-텍스트 변환기(speech-to-text converter)를 추가로 포함하되, 오디오 정보는 일시정지 지점에 기초해서나 미리 결정된 길이에 도달했는지에 기초하여 복수의 세그먼트로 분할되고,
프로세서는 복수의 디스플레이 요소를 생성하고, 복수의 디스플레이 요소 각각은 복수의 세그먼트들 중에서부터의 각각의 세그먼트와 음성-텍스트 변환기에 의해 변환된 대응하는 텍스트를 포함하고,
디스플레이는 생성된 복수의 디스플레이 요소 중 적어도 일부를 표시하도록 추가로 구성된 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제2항에 있어서,
디스플레이는,
적어도 두 개의 디스플레이 영역을 표시하며,
캡처된 비디오 정보가 재생되는 제1 영역,
생성된 복수의 디스플레이 요소 중 적어도 일부가 표시되는 제2 영역을 포함하되, 생성된 복수의 디스플레이 요소 중 적어도 일부는, 제1 영역에서 현재 재생되는 비디오의 일부에 대응하는 현재 디스플레이 요소와, 현재 디스플레이 요소에 선행하는 복수의 디스플레이 요소들 중 적어도 하나의 디스플레이 요소와, 현재 디스플레이 요소에 후속하는 복수의 디스플레이 요소들 중 적어도 하나의 디스플레이 요소를 포함하며;
복수의 디스플레이 요소들 각각은, 복수의 디스플레이 요소들 중에서부터 각각의 디스플레이 요소에 대하여 결정된 사용자의 직관 상태를 가리키는, 마킹 및 쉐이딩 중 적어도 하나를 포함하는 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제3항에 있어서,
디스플레이 장치는 사용자 입력을 수신하도록 구성된 사용자 입력 인터페이스를 추가로 포함하고,
사용자 입력 인터페이스를 통해 수신된 사용자 입력이 복수의 디스플레이 요소들 중에서부터 디스플레이 요소를 선택하는 것을 가리키는 것에 응답하여, 프로세서는 선택된 디스플레이 요소를 현재 디스플레이 요소로 설정하고 현재 디스플레이 요소에 선행하는 적어도 하나의 디스플레이 요소와, 현재 디스플레이 요소에 후속하는 적어도 하나의 디스플레이 요소를 결정하고, 디스플레이는 현재 디스플레이 요소와 이렇게 결정된 적어도 하나의 선행 디스플레이 요소와 적어도 하나의 후속 디스플레이 요소를 표시하는 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제4항에 있어서,
프로세서는, 사용자 입력 인터페이스를 통해 수신된 사용자 입력에 기초하여, 복수의 디스플레이 요소에 대한 스크롤(scroll) 기능 및 줌(zoom) 기능 중 적어도 하나를 실행하도록, 디스플레이를 제어하도록 추가로 구성된 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제4항에 있어서,
검토 장치는, 디스플레이의 중앙 윈도우인, 제2 영역에 표시된 디스플레이 요소들과 동기화되는, 사용자에 의한 스케치와 삽입과 상관관계 및 연습의 노트를 제공하도록 구성된 입력기와 추가로 통합된 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제4항에 있어서,
프로세서는, 이미지, 그래프, 텍스트 및 스케치 중 적어도 하나가 현재 디스플레이 요소와 관련이 있는, 이미지, 그래프, 텍스트 및 스케치 중 적어도 하나를 디스플레이의 제3 영역으로 탐색, 검색 및 삽입하도록 추가로 구성되는 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제1항에 있어서,
장치는 사용자의 머리에 착용된 비디오 카메라이고,
검토 장치의 프로세서는,
비디오 카메라에 의해 캡처된 시각 정보의 복수의 이미지에서 정지된 객체를 검출하고,
기준 프레임의 경계 에지에서와 복수의 이미지에 기초하여 검출된 정지된 객체의 움직임을 검출하고,
검출된 움직임에 기초하여 사용자의 인지 또는 감정 상태를 검출하되, 생성된 타임라인은 사용자의 검출된 인지 또는 감정 상태를 포함하고 정지된 객체의 검출된 움직임은 사용자가 수행하고 있는 작업을 가리키는 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제1항에 있어서,
데이터는 서로 동기화된 시각 정보 및 오디오 정보를 포함하고,
검토 장치는,
타임라인을 표시하고 비디오 정보를 순차적으로 표시하도록 구성된 디스플레이와,
복수의 세그먼트의 감정적 모션 정보를 동기화된 스케치 및 심볼로 변환하도록 구성된 모션-스케치 변환기(motion to sketch converter)를 추가로 포함하되, 감정적 모션 정보는 일시정지 지점에 기초해서나 미리 결정된 길이에 도달했는지 여부에 기초하여 복수의 세그먼트로 분할되고,
프로세서는 복수의 디스플레이 요소들을 생성하고, 복수의 디스플레이 요소들 각각은 복수의 세그먼트들 중에서부터의 각각의 세그먼트와 모션-스케치 변환기에 의해 변환된 대응하는 스케치 및 심볼들을 포함하고,
디스플레이는 생성된 복수의 디스플레이 요소 중 적어도 일부를 표시하도록 추가로 구성된 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제1항에 있어서,
프로세서는 사용자가 가입한 소셜 네트워킹 서비스의 복수의 친구를 표시하도록 디스플레이를 제어하도록 추가로 구성된 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
제10항에 있어서,
프로세서는 복수의 세그먼트 중 하나에 대해 복수의 친구 중 적어도 하나에 의한 적어도 하나의 코멘트를 표시하도록 디스플레이를 제어하도록 추가로 구성된 것을 특징으로 하는 사람의 감정-기반 인지 보조 시스템.
컴퓨터에 의해, 사용자에 의해 관찰되는, 환경으로부터 캡처된 시각 정보 및 오디오 정보 중 적어도 하나를 포함하는 데이터를 수신하고;
컴퓨터에 의해, 적어도 하나의 센서에 의해 캡처된 데이터에 대응하는 사용자의 감정 상태를 수신하고;
컴퓨터에 의해, 데이터를 미리 정해진 기준에 따라 복수의 세그먼트로 분할하고;
복수의 세그먼트 각각에 대해서, 컴퓨터에 의해, 복수의 세그먼트 중에서부터 각각의 세그먼트에 대응하는 수신된 사용자의 감정 상태의 미리 결정된 구성요소들과 메모리에 저장된 복수의 특유의 기준 신호 간의 비교로부터 생성된 상관관계 유형 및 상관관계 레벨을 포함하는, 사용자의 직관적 상태를 결정하되, 특유의 기준 신호는 특유의 직관적 기준 샘플을 나타내고,
컴퓨터에 의해, 데이터에 대한 적어도 하나의 타임라인을 생성하되, 적어도 하나의 타임라인은 복수의 세그먼트 각각에 대한, 사용자의 결정된 직관적 상태를 가리키는, 감정 지시기를 포함하고,
컴퓨터에 의해, 생성된 타임라인 및 수신된 데이터의 적어도 일부를 출력하는 것을 특징으로 하는 사람의 감정-기반 인지 보조 방법.
제12항에 있어서,
데이터는 서로 동기화된 시각 정보 및 오디오 정보를 포함하는 것을 특징으로 하는 사람의 감정-기반 인지 보조 방법.
제13항에 있어서,
출력은 생성된 타임라인을 표시하고 비디오 정보를 순차적으로 표시하는 것을 포함하고,
상기 방법은,
복수의 세그먼트의 동기화된 시각 및 오디오 정보를 동기화된 텍스트, 스케치 및 심볼 중 적어도 하나로 변환하되, 동기화된 시각 및 오디오 정보는 일시정지 지점에 기초해서나 미리 결정된 길이에 도달했는지에 기초하여 복수의 세그먼트로 분할되고,
복수의 디스플레이 요소를 생성하되, 복수의 디스플레이 요소 각각은 복수의 세그먼트들 중에서부터의 각각의 세그먼트 및 대응하는 변환된 텍스트, 스케치와 심볼을 포함하고,
생성된 복수의 디스플레이 요소들 중 적어도 일부를 표시하는 것을 특징으로 하는 사람의 감정-기반 인지 보조 방법.
제14항에 있어서,
표시는, 적어도 두 개의 디스플레이 영역을 표시하는 것을 포함하고, 이는
캡처된 비디오 정보가 재생되는 제1 영역,
생성된 복수의 디스플레이 요소들 중 적어도 일부가 표시되는 제2 영역이고,
생성된 복수의 디스플레이 요소 중 적어도 일부는, 제1 영역에서 현재 재생되는 비디오의 일부에 대응하는 현재 디스플레이 요소와, 현재 디스플레이 요소에 선행하는 복수의 디스플레이 요소들 중 적어도 하나의 디스플레이 요소와, 현재 디스플레이 요소를 후속하는 복수의 디스플레이 요소들 중 적어도 하나의 디스플레이 요소를 포함하며,
복수의 디스플레이 요소 각각은, 복수의 디스플레이 요소들 중에서부터 각각의 디스플레이 요소에 대하여 결정된 사용자의 직관 상태를 가리키는, 마킹 및 쉐이딩 중 적어도 하나를 포함하는 것을 특징으로 하는 사람의 감정-기반 인지 보조 방법.
제15항에 있어서,
사용자 입력 인터페이스를 통해 사용자 입력을 수신하는 것을 추가로 포함하고,
수신된 사용자 입력이 복수의 디스플레이 요소들 중에서부터 디스플레이 요소를 선택하는 것을 가리키는 것에 응답하여, 선택된 디스플레이 요소를 현재 디스플레이 요소로 설정하고 현재 디스플레이 요소에 선행하는 적어도 하나의 디스플레이 요소와, 현재 디스플레이 요소에 후속하는 적어도 하나의 디스플레이 요소를 결정하고, 현재 디스플레이 요소와 이렇게 결정된 적어도 하나의 선행 디스플레이 요소와 적어도 하나의 후속 디스플레이 요소를 표시하는 것을 특징으로 하는 사람의 감정-기반 인지 보조 방법.
제16항에 있어서,
수신된 사용자 입력에 기초하여, 복수의 디스플레이 요소에 대한 스크롤 기능 및 줌 기능 중 적어도 하나를 실행하는 것을 추가로 포함하는 것을 특징으로 하는 사람의 감정-기반 인지 보조 방법.
제17항에 있어서,
스크린의 중앙 윈도우인, 제2 영역에 표시된 디스플레이 요소들과 동기화되는, 사용자로부터 입력된 스케치, 상관관계 노트 및 연습 중 적어도 하나를 수신하는 것을 추가로 포함하는 것을 추가로 포함하는 것을 특징으로 하는 사람의 감정-기반 인지 보조 방법.
컴퓨터에 의해 실행될 때, 컴퓨터로 하여금
사용자에 의해 관찰되는, 환경으로부터 캡처된 시각 정보 및 오디오 정보 중 적어도 하나를 포함하는 데이터를 수신하고;
적어도 하나의 센서에 의해 캡처된 데이터에 대응하는 사용자의 감정 상태를 수신하고;
데이터를 미리 결정된 기준에 따라 복수의 세그먼트로 분할하고;
복수의 세그먼트 각각에 대해, 복수의 세그먼트 중에서부터 각각의 세그먼트에 대응하는 수신된 사용자의 감정 상태의 미리 결정된 구성요소들과 메모리에 저장된 복수의 특유의 기준 신호 간의 비교로부터 생성된 상관관계 유형 및 상관관계 레벨을 포함하는, 사용자의 직관적 상태를 결정하되, 특유의 기준 신호는 특유의 직관적 기준 샘플을 나타내고,
데이터에 대한 적어도 하나의 타임라인을 생성하되, 적어도 하나의 타임라인은 복수의 세그먼트 각각에 대한, 사용자의 결정된 직관적 상태를 가리키는, 감정적 지시기를 포함하고,
생성된 타임라인 및 수신된 데이터의 적어도 일부를 출력하게 하는,
사람의 감정-기반 인지 보조 방법을 저장한 비-일시적 컴퓨터 판독 가능 기록 매체.