KR20230056995A - 자가학습 지원 방법 및 이를 수행하는 시스템 - Google Patents

자가학습 지원 방법 및 이를 수행하는 시스템 Download PDF

Info

Publication number
KR20230056995A
KR20230056995A KR1020210140898A KR20210140898A KR20230056995A KR 20230056995 A KR20230056995 A KR 20230056995A KR 1020210140898 A KR1020210140898 A KR 1020210140898A KR 20210140898 A KR20210140898 A KR 20210140898A KR 20230056995 A KR20230056995 A KR 20230056995A
Authority
KR
South Korea
Prior art keywords
information
user
content
learning
collision
Prior art date
Application number
KR1020210140898A
Other languages
English (en)
Inventor
홍성진
신희숙
길연희
백성민
유초롱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210140898A priority Critical patent/KR20230056995A/ko
Priority to US17/727,557 priority patent/US11869382B2/en
Publication of KR20230056995A publication Critical patent/KR20230056995A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

자가학습 지원 방법 및 이를 수행하는 시스템이 개시된다. 다양한 실시예에 따른 자가학습 지원 방법은 콘텐츠를 포함하는 학습 모듈로부터 수신한 콘텐츠 상황 정보 및 상기 콘텐츠에 응답하여 사용자가 입력한 사용자 수행 정보에 기초하여 상기 사용자의 상기 콘텐츠 내에서의 관심객체를 추정하는 동작, 상기 콘텐츠 상황 정보를 분석하는 동작, 추정된 관심객체 및 분석된 콘텐츠 상황 정보에 기초하여 상기 사용자가 상기 콘텐츠를 수행하도록 지원하는 지원 정보의 생성 여부를 결정하는 동작과 상기 생성 여부에 따라 상기 사용자가 상기 콘텐츠를 자가학습할 수 있게 하는 상기 지원 정보를 생성하여 상기 학습 모듈에 출력하는 동작을 포함할 수 있다.

Description

자가학습 지원 방법 및 이를 수행하는 시스템{METHOD FOR SUPPORTING SELF-LEARNING AND SYSTEM PERFOMING THE SAME}
본 발명의 다양한 실시예들은 자가학습 지원 방법 및 이를 수행하는 시스템에 관한 것이다.
비대면 기술이 주목받으면서 가상현실을 이용하여 체험 혹은 훈련 프로그램을 수행하는 콘텐츠가 다양화되고 있다. 사용자가 콘텐츠 내에서 체험 혹은 훈련 프로그램을 원활하게 수행하도록 하기 위해서 콘텐츠 내에서 사용자의 상태에 관한 정보를 수집하고 사용자에게 피드백을 제공할 수 있다.
위에서 설명한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.
콘텐츠 내에서 사용자의 상태에 관한 정보를 수집하기 위해 시선추적 기능을 가진 HMD(head mounted display)를 활용할 수 있다. HMD의 시선추적 기능을 활용하는 방법은 사용자 개개인에 대해 캘리브레이션 작업 및 높은 비용이 요구되어 콘텐츠 내에서 활용하기에 어려움이 있다. 이에, HMD의 시선추적 기능을 사용하지 않으면서도 콘텐츠 내에서 사용자의 상태 정보를 수집하는 기술이 요구될 수 있다. 또한, 수집된 사용자의 상태 정보에 기초하여 피드백을 생성함으로써 사용자의 자가학습을 지원하는 기술이 요구될 수 있다.
다양한 실시예들은 자가학습 콘텐츠 내에서 HMD의 시선추적 기능을 사용하지 않으면서 콘텐츠 내 객체 간의 충돌 좌표를 계산함으로써 사용자의 상태 정보를 수집하고 수집된 정보로부터 판단된 사용자의 인지 상태에 따라 사용자에게 맞춤형 피드백을 지원하는 기술을 제공할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
다양한 실시예에 따른 자가학습 지원 방법은 콘텐츠를 포함하는 학습 모듈로부터 수신한 콘텐츠 상황 정보 및 상기 콘텐츠에 응답하여 사용자가 입력한 사용자 수행 정보에 기초하여 상기 사용자의 상기 콘텐츠 내에서의 관심객체를 추정하는 동작, 상기 콘텐츠 상황 정보를 분석하는 동작, 추정된 관심객체 및 분석된 콘텐츠 상황 정보에 기초하여 상기 사용자가 상기 콘텐츠를 수행하도록 지원하는 지원 정보의 생성 여부를 결정하는 동작과 상기 생성 여부에 따라 상기 사용자가 상기 콘텐츠를 자가학습할 수 있게 하는 상기 지원 정보를 생성하여 상기 학습 모듈에 출력하는 동작을 포함할 수 있다.
상기 자가학습 지원 방법은 상기 지원 정보에 따른 상기 사용자의 응답에 기초하여 상기 지원 정보에 대한 평가를 생성하고 상기 평가에 따라 상기 지원 정보를 갱신하는 동작과 상기 평가 및 갱신된 지원 정보를 데이터베이스에 저장하는 동작을 더 포함할 수 있다.
상기 사용자 수행 정보는 상기 학습 모듈이 시선추적 기능을 가지고 있지 않은 HMD(head mounted display), 및 컨트롤러 장치로부터 수신한 것일 수 있다.
상기 추정하는 동작은 상기 HMD 및 상기 컨트롤러의 위치 정보 및 방향 정보, 상기 콘텐츠에 포함된 하나 이상의 객체들의 위치 정보, 방향 정보, 및 크기 정보로부터 상기 하나 이상의 객체들을 이루는 복수의 유한 평면 중 하나를 충돌 평면으로 선택하는 동작, 상기 충돌 평면의 중심 좌표, 상기 복수의 충돌 좌표, 상기 HMD 및 상기 컨트롤러의 위치, 및 상기 객체의 중심 좌표에 기초하여 복수의 특징 벡터를 생성하는 동작, 복수의 특징 벡터에 기초하여 추정 모델을 생성하는 동작과 상기 추정 모델을 이용하여 상기 사용자의 상기 관심객체를 추정하는 동작을 포함할 수 있다.
상기 충돌 평면으로 선택하는 동작은 상기 HMD 및 상기 컨트롤러의 정면벡터를 추출하는 동작, 상기 콘텐츠에 포함된 객체를 이루는 복수의 유한 평면을 확장한 복수의 무한 평면에 상기 정면벡터가 충돌하는 좌표를 계산하여 상기 복수의 무한 평면 상의 복수의 충돌 좌표를 획득하는 동작과 상기 복수의 유한 평면 중 상기 복수의 충돌 좌표와의 거리가 최소인 유한 평면을 충돌 평면으로 선택하는 동작을 포함할 수 있다.
상기 분석하는 동작은 상기 콘텐츠에 포함된 하나 이상의 수행 단계 중 어느 하나를 세부 단계로 구분하는 동작과 상기 복수의 세부 단계마다 상기 하나 이상의 객체들 중 주요 객체를 정의하고 상기 주요 객체를 이용하여 상기 사용자가 수행할 동작을 정의하는 동작을 포함할 수 있다.
상기 지원 정보의 생성 여부를 결정하는 동작은 상기 사용자가 도움을 요청한 상기 수행 단계 내에서의 제1 소요시간 동안의 특징데이터, 및 상기 사용자가 도움을 요청하지 않은 경우의 상기 수행 단계 내에서의 제2 소요시간 동안의 특징데이터에 기초하여 상기 지원 정보 생성 여부를 결정하는 동작을 포함할 수 있다.
상기 지원 정보는 상기 주요 객체를 찾을 수 있는 위치적 단서 정보와 상기 사용자가 상기 콘텐츠를 수행하기 위해 필요한 동작에 관한 움직임 정보를 포함할 수 있다.
다양한 실시예에 따른 장치는 인스트럭션들을 포함하는 메모리 및 상기 메모리와 전기적으로 연결되고 상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고, 상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는 콘텐츠를 포함하는 학습 모듈로부터 수신한 콘텐츠 상황 정보 및 상기 콘텐츠에 응답하여 사용자가 입력한 사용자 수행 정보에 기초하여 상기 사용자의 상기 콘텐츠 내에서의 관심객체를 추정하고, 상기 콘텐츠 상황 정보를 분석하고, 추정된 관심객체 및 분석된 콘텐츠 상황 정보에 기초하여 상기 사용자가 상기 콘텐츠를 수행하도록 지원하는 지원 정보의 생성 여부를 결정하며, 상기 결정에 따라 상기 사용자가 상기 콘텐츠를 자가학습할 수 있게 하는 상기 지원 정보를 생성하여 상기 학습 모듈에 출력할 수 있다.
상기 프로세서는 상기 사용자의 상기 지원 정보에 따른 응답에 기초하여 상기 지원 정보에 대한 평가를 생성하고 상기 평가에 따라 상기 지원 정보를 갱신하고, 상기 평가 및 갱신된 지원 정보를 데이터베이스에 저장할 수 있다.
상기 사용자 수행 정보는 상기 학습 모듈이 시선추적 기능을 가지고 있지 않은 HMD(head mounted display), 및 컨트롤러 장치로부터 수신한 것일 수 있다.
상기 프로세서는, 상기 HMD 및 상기 컨트롤러의 위치 정보 및 방향 정보, 상기 콘텐츠에 포함된 하나 이상의 객체들의 위치 정보, 방향 정보, 및 크기 정보로부터 상기 하나 이상의 객체들을 이루는 복수의 유한 평면 중 하나를 충돌 평면으로 선택하고, 상기 충돌 평면의 중심 좌표, 상기 복수의 충돌 좌표, 상기 HMD 및 상기 컨트롤러의 위치, 및 상기 객체의 중심 좌표에 기초하여 복수의 특징 벡터를 생성하고, 복수의 특징 벡터에 기초하여 추정 모델을 생성하며, 상기 추정 모델을 이용하여 상기 사용자의 상기 관심객체를 추정할 수 있다.
상기 프로세서는 상기 HMD 및 상기 컨트롤러의 정면벡터를 추출하고, 상기 콘텐츠에 포함된 객체를 이루는 복수의 유한 평면을 확장한 복수의 무한 평면에 상기 정면벡터가 충돌하는 좌표를 계산하여 상기 복수의 무한 평면 상의 복수의 충돌 좌표를 획득하며, 상기 복수의 유한 평면 중 상기 복수의 충돌 좌표와의 거리가 최소인 유한 평면을 충돌 평면으로 선택할 수 있다.
상기 프로세서는 상기 콘텐츠에 포함된 하나 이상의 수행 단계 중 어느 하나를 세부 단계로 구분하고, 상기 복수의 세부 단계마다 상기 하나 이상의 객체들 중 주요 객체를 정의하고 상기 주요 객체를 이용하여 상기 사용자가 수행할 동작을 정의할 수 있다.
상기 프로세서는 상기 사용자가 도움을 요청한 상기 수행 단계 내에서의 제1 소요시간 동안의 특징데이터, 및 상기 사용자가 도움을 요청하지 않은 경우의 상기 수행 단계 내에서의 제2 소요시간 동안의 특징데이터에 기초하여 상기 지원 정보 생성 여부를 결정할 수 있다.
상기 지원 정보는 상기 주요 객체를 찾을 수 있는 위치적 단서 정보와 상기 사용자가 상기 콘텐츠를 수행하기 위해 필요한 동작에 관한 움직임 정보를 포함할 수 있다.
도 1은 다양한 실시예에 따른 전자 장치의 블록도이다.
도 2는 다양한 실시예에 따른 추정 모델을 생성하는 동작을 설명하기 위한 흐름도이다.
도 3은 다양한 실시예에 따른 특징 벡터를 획득하는 동작의 일 예를 설명하기 위한 도면이다.
도 4는 다양한 실시예에 따른 결정 모델을 생성하는 동작을 설명하기 위한 흐름도이다.
도 5는 다양한 실시예에 따른 생성 모듈을 설명하기 위한 흐름도이다.
도 6은 다양한 실시예에 따른, 전자 장치의 다른 예를 나타낸다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 다양한 실시예에 따른 전자 장치의 블록도이다.
도 1을 참조하면, 다양한 실시예에 따르면, 전자 장치(100)는 학습 모듈(110) 및 학습 지원 모듈(120)을 포함할 수 있다. 학습 모듈(110)은 콘텐츠(115), 및 콘텐츠로부터 획득한 콘텐츠 상황 정보(111) 및 사용자가 콘텐츠(115)에 응답하여 입력한 사용자 수행 정보(113)을 포함할 수 있다. 콘텐츠(115)는 가상 환경 내에서 사용자가 학습 및/또는 훈련을 하기 위한 상황을 포함하고, 사용자는 HMD(head mounted display)를 이용하여 밀폐된 환경에서 가상 환경의 시각 및 음성 정보를 수신하고, 컨트롤러를 이용하여 가상 환경에서 손을 활용하는 동작과 대응하는 동작을 수행할 수 있다. HMD 및 컨트롤러의 정보는 실시간으로 추적되며 정보는 3차원 위치 정보 및 방향 정보를 포함할 수 있다.
다양한 실시예에 따르면, 학습 모듈(110)은 콘텐츠 상황 정보(111) 및 사용자 수행 정보(113)를 학습 지원 모듈(120)에 출력할 수 있다. 콘텐츠 상황 정보(111)는 콘텐츠(115)에 포함된 수행해야 하는 학습의 전체 단계, 사용자가 현재 수행하고 있는 단계의 정보, 수행 시간, 및 콘텐츠(115)에 포함된 하나 이상의 객체들의 속성에 관한 정보(예: 위치 정보, 크기 정보, 회전 정보, 형태 정보 등)를 포함할 수 있다. 사용자 수행 정보(113)는 사용자가 콘텐츠(115)를 수행하는 동안 착용한 HMD(head mounted display)와 컨트롤러의 실시간 위치 정보 및 방향 정보를 포함하고, 컨트롤러에 입력한 정보(예: 컨트롤러 버튼 클릭 여부 등)의 정보를 포함할 수 있다. 학습 모듈(110)은 학습 지원 모듈(120)이 콘텐츠 상황 정보(111) 및 사용자 수행 정보(113)에 기초하여 사용자에게 맞춤형으로 생성한 지원 정보를 수신하여 콘텐츠(115)에 반영할 수 있다. 사용자는 콘텐츠 내에서 지원 정보를 활용하여 자가학습을 원활하게 수행할 수 있다.
다양한 실시예에 따르면, 학습 지원 모듈(120)은 콘텐츠 상황 정보(111) 및 사용자 수행 정보(113)에 기초하여 사용자의 자가학습을 돕는 맞춤형 지원 정보를 생성하여 학습 모듈(110)에 출력할 수 있다. 학습 지원 모듈(120)은 관심객체 추정 모듈(121), 상황 정보 분석 모듈(122), 지원 정보 생성 결정 모듈(123), 생성 모듈(124), 평가 모듈(125), 및 데이터베이스(126)을 포함할 수 있다.
다양한 실시예에 따르면, 관심객체 추정 모듈(121)은 콘텐츠 내 가상 환경의 특성상 사용자가 객체와 물리적으로 접촉할 수 없음에도 불구하고, 사용자의 관심 콘텐츠 상황 정보(111) 및 사용자 수행 정보(113)에 기초하여 생성한 추정 모델(127)을 이용하여 사용자의 관심객체를 추정할 수 있다. 추정 모델(127)은 도 2에서 후술한 동작에 의해 생성될 수 있다.
다양한 실시예에 따르면, 관심 객체 추정 모듈(121)은 실시간으로 생성된 특징 벡터를 추정 모델(127)에 입력하여 사용자의 관심객체를 실시간으로 출력(예: 추정)할 수 있다. 특징 벡터는 도 4에서 후술한 동작에 의하여 HMD 및 컨트롤러의 위치에 따라 실시간으로 생성될 수 있다.
다양한 실시예에 따르면, 상황 정보 분석 모듈(122)은 학습 모듈(110)로부터 수신한 콘텐츠 상황 정보(111)를 분석할 수 있다. 상황 정보 분석 모듈(122)은 콘텐츠(115)에 포함된 하나 이상의 수행 단계 중 어느 하나를 복수의 세부 단계로 구분하고, 복수의 세부 단계마다 콘텐츠(115)에 포함된 하나 이상의 객체들 중 콘텐츠(115)의 학습에 직접적으로 연관된 주요 객체를 정의하고 주요 객체를 이용하여 사용자가 수행할 동작을 정의할 수 있다. 상황 정보 분석 모듈(122)은 하나 이상의 객체들을 특성에 따라 분류하여 하나 이상의 객체들로부터 획득한 정보들을 관리할 수 있다. 예를 들어, 콘텐츠(115)가 바리스타 직업 훈련을 위한 '에스프레소 추출 교육'에 관한 것인 경우에는, 하나 이상의 수행 단계 중 하나인 '포터 필터를 마른 천으로 닦는 단계'를 3개의 세부 단계인 제1 세부 단계(예: '포터 필터를 잡는 단계'), 제2 세부 단계(예: '마른 천을 잡는 단계'), 및 제3 세부 단계(예: '두 객체를 잡은 후 마찰을 일으키는 단계')로 구분할 수 있다. 제1 세부 단계의 주요 객체는 포터 필터이고 사용자가 수행할 동작은 잡는 동작이며, 제2 세부 단계의 주요 객체는 마른 천이고 사용자가 수행할 동작은 잡는 동작이며, 제3 세부 단계의 주요 객체는 포터 필터 및 마른 천이고 사용자가 수행할 동작은 잡은 후 충돌시켜 마찰을 일으키는 동작일 수 있다. 상황 정보 분석 모듈(122)은 콘텐츠(115)에 포함된 하나 이상의 객체들을 활용 여부를 기준으로 하여 하나 이상의 집합으로 분류하고(예: 하나 이상의 수행 단계에서 직접적으로 활용되는 객체인 바리스타 객체의 집합 및 활용되지 않는 객체인 배경 객체의 집합), 하나 이상의 수행 단계에서 직접적으로 활용되는 객체(예: 바리스타 객체)의 집합을 현재 단계에서의 활용 여부를 기준으로 하여 하나 이상의 집합으로 분류할 수 있다.
다양한 실시예에 따르면, 지원 정보 생성 결정 모듈(123)은 사용자가 콘텐츠(115)(예: 에스프레소 추출 교육, 용어 교육 등) 내의 수행 단계를 수행하도록 요구할 수 있다. 수행 단계는 사용자의 인지 상태를 판단하기 위하여 추가적으로 콘텐츠(115)에 삽입된 것일 수 있다. 지원 정보 생성 결정 모듈(123)은 사용자가 콘텐츠(115)를 수행하는 동안 관심객체 추정 모듈(121)로부터 사용자의 관심객체에 관한 제1 특징데이터를 수신하고, 상황 정보 분석 모듈(122)로부터 하나 이상의 객체들에 관한 제2 특징데이터를 수신할 수 있다. 제1 특징데이터는 콘텐츠(115)에 포함된 하나 이상의 객체로부터 획득(예: 측정)한 정보(예: 사용자가 특정 시간 동안 바라보는 비율, 횟수, 시간, 전이 등)를 포함하고, 제2 특징데이터는 및 활용 여부에 따라 집합으로 분류한 하나 이상의 객체들로부터 획득(예: 측정)한 집합 별 정보(예: 사용자가 바라보는 비율, 횟수, 시간, 전이 등)를 포함할 수 있다.
다양한 실시예에 따르면, 지원 정보 생성 결정 모듈(123)은 제1 특징데이터 및 제2 특징데이터에 기초하여 생성한 결정 모델(128)을 이용하여 사용자의 자가 학습을 원활하게 하기 위한 지원 정보 생성 여부를 결정할 수 있다. 결정 모델(128)은 도 4에서 후술한 동작에 의해 생성될 수 있다.
다양한 실시예에 따르면, 지원 정보 생성 결정 모듈(123)은 실시간으로 수신한 제1특징데이터 및 제2 특징데이터를 결정 모델(128)에 입력하여 콘텐츠(115) 내에서의 지원 정보 생성 여부를 실시간으로 출력(예: 결정)할 수 있다.
다양한 실시예에 따르면, 생성 모듈(124)은 지원 정보 생성 결정 모듈(123)에 따라 지원 정보를 생성하는 경우에는 도 5를 참조하여 후술한 동작에 의하여 지원 정보를 생성하고, 지원 정보를 학습 모듈(110) 및 평가 모듈(125)에 출력할 수 있다. 평가 모듈(125)은 학습 모듈(110)이 지원 정보를 콘텐츠(115)에 반영한 이후 지원 정보에 따른 사용자의 응답에 기초하여 지원 정보에 대한 평가를 생성할 수 있다. 예를 들어, 평가 모듈(125)은 지원 정보가 콘텐츠(115)에 반영된 시점으로부터 일정 시간 동안 사용자가 학습 지원 모듈(120)이 의도한 목표대로 콘텐츠(115)의 하나 이상의 수행 단계들을 수행하는지를 판단(예: 평가)할 수 있다. 사용자가 의도한 대로 수행하지 않는 경우에는 생성된 지원 정보가 적절하지 않았다고 평가하고, 표현 형식(예: 색상, 형태, 종류 등)을 변경하여 지원 정보를 생성하는 방법을 갱신하고 갱신된 방법을 생성 모듈(124)에 출력할 수 있다. 생성 모듈(124)은 갱신된 방법에 따라 지원 정보를 갱신하여 학습 모델(110)에 출력함으로써, 학습 모듈(110)이 콘텐츠(115)에 새롭게 반영시키도록 할 수 있다. 평가 모듈(125)은 지원 정보에 대한 평가, 갱신된 방법, 및 갱신된 지원 정보를 데이터베이스(126)에 출력하여 저장함으로써 콘텐츠 생성에 활용할 수 있다.
도 2는 다양한 실시예에 따른 추정 모델을 생성하는 동작을 설명하기 위한 흐름도이다.
동작 210 내지 동작 260은 관심객체 추정 모듈(121)이 콘텐츠에 포함된 하나 이상의 객체들 중에서 사용자의 관심객체를 추정하는 추정 모델(127)을 생성하는 동작을 설명하기 위한 것일 수 있다.
동작 210에서, 관심객체 추정 모듈(예: 도 1의 관심객체 추정 모듈(121))은 학습 모듈(예: 도 1의 학습 모듈(110))로부터 콘텐츠 상황 정보(예: 도 1의 콘텐츠 상황 정보(111)) 및 사용자 수행 정보(예: 도 1의 사용자 수행 정보(113))를 수신할 수 있다.
동작 220에서, 관심객체 추정 모듈(121)은 HMD 및 컨트롤러의 위치 정보 및 방향 정보로부터 HMD와 컨트롤러의 정면벡터(forward vector)를 획득할 수 있다. 정면벡터는 HMD 및 컨트롤러의 지역 좌표계(local coordinate)의 한 축이거나 HMD 및 컨트롤러의 지역 좌표계를 회전행렬을 통해 사용자가 정의한 좌표계로 변환시켜 생성한 축일 수 있다.
동작 230에서, 관심객체 추정 모듈(121)은 콘텐츠(예: 도1의 콘텐츠(115))에 포함된 하나 이상의 객체들의 위치 정보, 방향 정보, 및 크기 정보에 기초하여 정면벡터와 콘텐츠(115)에 포함된 하나 이상의 객체들 중 어느 하나의 충돌 좌표를 계산할 수 있다. 관심객체 추정 모듈(121)은 콘텐츠(151)에 포함된 하나 이상의 객체들 중 어느 하나를 이루는 복수의 유한 평면을 확장한 복수의 무한 평면에 정면벡터가 충돌하는 좌표를 계산하여 복수의 무한 평면 상의 복수의 충돌 좌표를 획득할 수 있다.
동작 240에서, 관심객체 추정 모듈(121)은 복수의 유한 평면 중 복수의 충돌 좌표와의 거리가 최소인 유한 평면을 충돌 평면으로 선택할 수 있다.
동작 250에서, 관심객체 추정 모듈(121)은 충돌 평면의 중심 좌표, 복수의 충돌 좌표, HMD 및 컨트롤러의 위치 좌표, 및 객체의 중심 좌표에 기초하여 좌표 간 거리 정보, 각도 정보, 및 프로젝션된 거리 정보를 계산할 수 있다. 관심객체 추정 모듈(121)은 계산된 정보에 기초하여 복수의 특징 벡터를 생성할 수 있다. 복수의 특징 벡터는 1 프레임 이상의 시간 동안 수집된 것일 수 있다.
동작 260에서, 관심객체 추정 모듈(121)은 복수의 특징 벡터 및 계산된 정보에 기초하여 추정 모델(127)을 생성할 수 있다.
도 3은 다양한 실시예에 따른 특징벡터를 획득하는 동작의 일 예를 설명하기 위한 도면이다.
도 3을 참조하면, 다양한 실시예에 따르면, 관심객체 추정 모듈(예: 도 1의 관심객체 추정 모듈(121))은 콘텐츠(예: 도 1의 콘텐츠(115))에 포함된 하나 이상의 객체들 중 어느 하나가 직육면체 형태를 가진 경우에 HMD 및 컨트롤러의 정면벡터와의 충돌 좌표를 계산할 수 있다. 도 3에서는 설명의 편의를 위해 직육면체의 형태를 가진 객체에 대해 3개의 면에 대해 충돌 좌표를 계산하지만, 반드시 이에 한정되는 것은 아니며, 1개 이상의 면에 대해 충돌 좌표를 계산할 수 있으며 객체를 구성하는 모든 면(예: 직육면체의 형태를 가진 객체의 최대 6개의 면)에 대해 충돌 좌표를 계산할 수 있다.
다양한 실시예에 따르면, 관심객체 추정 모듈(121)은 HMD 및 컨트롤러의 위치 정보 및 방향 정보로부터 HMD와 컨트롤러의 정면벡터(forward vector)를 획득할 수 있다. 예를 들어, 정면벡터는 HMD 및 컨트롤러의 지역 좌표계(local coordinate)의 한 축인 z-axis일 수 있다. 관심객체 추정 모듈(121)은 객체를 이루는 복수의 유한 평면(313, 323, 333)을 확장한 복수의 무한 평면에 정면벡터(예: z-axis)가 충돌하는 좌표를 계산하여 복수의 무한 평면 상의 복수의 충돌 좌표(311, 321, 331)를 획득할 수 있다. 관심객체 추정 모듈(121)은 복수의 유한 평면(313, 323, 333) 중 복수의 충돌 좌표(311, 321, 331)와의 거리를 측정하고 측정한 거리(315, 325, 335)를 비교하여, 유한 평면을 확장한 무한 평면 상의 충돌 좌표와의 거리가 최소인 유한 평면을 충돌 평면으로 선택할 수 있다. 예를 들어, back plane(323)을 확장한 무한 평면 상의 충돌 좌표(321)와 back plane(323)의 거리가 최소값이므로 back plane(323)을 충돌 평면으로 선택할 수 있다.
다양한 실시예에 따르면, 관심객체 추정 모듈(121)은 선택된 충돌 평면의 중심(예: backplane(323)의 중심), 충돌 좌표(311, 321, 331), HMD 및 컨트롤러의 위치 좌표(340), 및 객체의 중심 좌표(350)에 기초하여 좌표 간 거리 정보, 각도 정보(360), 및 프로젝션된 거리 정보(315, 325, 335)를 계산할 수 있다. 관심객체 추정 모듈(121)은 계산한 정보에 기초하여 복수의 특징 벡터를 생성할 수 있다. 복수의 특징 벡터는 1 프레임 이상의 시간 동안 수집된 것일 수 있다.
도 4는 다양한 실시예에 따른 결정 모델을 생성하는 동작을 설명하기 위한 흐름도이다.
동작 410 내지 동작 450은 지원 정보 생성 결정 모듈(예: 도 1의 지원 정보 생성 결정 모듈(123))이 사용자의 인지 상태를 판단하여 지원 정보 생성 여부를 결정하는 결정 모델(128)을 생성하는 동작을 설명하기 위한 것일 수 있다.
동작 410에서, 지원 정보 생성 결정 모듈(123)은 사용자가 콘텐츠(예: 도 1의 콘텐츠(115))(예: 에스프레소 추출 교육, 용어 교육 등) 내의 수행 단계를 수행하도록 요구할 수 있다. 수행 단계는 사용자의 인지 상태를 판단하기 위하여 추가적으로 콘텐츠(115)에 삽입된 것일 수 있다.
동작 420에서, 지원 정보 생성 결정 모듈(123)은 사용자가 콘텐츠(115)를 수행하는 동안 관심객체 추정 모듈(예: 도 1의 관심객체 추정 모듈(121))로부터 사용자의 관심객체에 관한 제1 특징데이터를 수신하고, 상황 정보 분석 모듈(예: 도 1의 상황 정보 분석 모듈(122))로부터 하나 이상의 객체들에 관한 제2 특징데이터를 수신할 수 있다. 제1 특징데이터는 콘텐츠(115)에 포함된 하나 이상의 객체로부터 획득(예: 측정)한 정보(예: 사용자가 특정 시간 동안 바라보는 비율, 횟수, 시간, 전이 등)를 포함하고, 제2 특징데이터는 및 활용 여부에 따라 집합으로 분류한 하나 이상의 객체들로부터 획득(예: 측정)한 집합 별 정보(예: 사용자가 바라보는 비율, 횟수, 시간, 전이 등)를 포함할 수 있다.
동작 430에서, 지원 정보 생성 결정 모듈(123)은 사용자가 수행 단계를 수행하는 동안 도움을 요청하거나 이와 대응되는 동작(예: 도움 요청을 나타내는 신호를 HMD 또는 컨트롤러 상에서 입력)을 함으로써 도움을 요청한 수행 단계에서 소요한 시간(예: 제1 소요시간) 및 제1 소요시간 동안의 제1 특징데이터 및 제2 특징데이터를 데이터베이스(예: 도 1의 데이터베이스(126))에 저장할 수 있다.
동작 440에서, 지원 정보 생성 결정 모듈(123)은 사용자가 도움을 요청하지 않은 수행 단계에서 사용자가 수행을 종료한 경우의 소요한 시간(예: 제2 소요시간) 및 제2 소요시간 동안의 제1 특징데이터 및 제2 특징데이터를 저장할 수 있다. 지원 정보 생성 결정 모듈(123)은 사용자가 도움을 요청하지 않은 수행 단계에서 수행을 종료하지 못한 경우에는 관심객체 추정 모듈(121)로부터 제1 특징데이터를 수신(예: 업데이트)하고, 상황 정보 분석 모듈(122)로부터 제2 특징데이터를 수신(예: 업데이트)할 수 있다.
동작 450에서, 지원 정보 생성 결정 모듈(123)은 제1 소요시간 동안의 특징데이터(예: 제1 특징데이터, 제2 특징데이터) 및 제2 소요시간 동안의 특징데이터 간의 통계적 분석을 수행하여 특징데이터로부터 주요 인자를 추출하고, 주요 인자를 데이터베이스(126)에 저장할 수 있다. 지원 정보 생성 결정 모듈(123)은 추출된 주요 인자에 기초하여 지원 정보 생성 여부를 결정하는 결정 모델(128)을 생성할 수 있다. 예를 들어, 주요 인자는 분류된 집합간의 전이 횟수 및 소요시간일 수 있다.
도 5는 다양한 실시예에 따른 생성 모듈을 설명하기 위한 흐름도이다.
동작 510 내지 540은 생성 모듈(124)이 결정 모듈(예: 도 1의 지원 정보 생성 결정 모듈(123))로부터 지원 정보 생성 여부를 수신하여, 지원 정보 생성 결정 모듈(123)이 지원 정보를 생성하기로 결정한 경우에는 상황 정보 분석 모듈(예: 도 1의 상황 정보 분석 모듈(122))에서 정의한 세부 단계의 진행 상황을 반영하여 지원 정보를 생성하는 동작을 설명하기 위한 것일 수 있다.
동작 510에서, 생성 모듈(124)은 상황 정보 분석 모듈(122)이 하나 이상의 집합으로 분류한 객체들을 수신하여 세부 단계에 주요 객체가 존재하는 경우에는 사용자가 주요 객체를 찾았는지 여부를 확인하고, 세부 단계에 주요 객체가 존재하지 않는 경우에는 사용자가 세부 단계의 동작을 올바르게 수행했는지 여부를 확인할 수 있다. 사용자가 올바르게 세부 단계의 동작을 수행하는 경우에는 생성 모듈(124)은 지원 정보를 생성하지 않을 수 있다.
동작 520에서, 생성 모듈(124)은 사용자가 세부 단계의 주요 객체를 찾은 경우에는 사용자의 주요 객체 조작 여부를 확인하고, 사용자가 주요 객체를 찾지 못한 경우에는 명시적 지원 정보를 생성할 수 있다. 명시적 지원 정보는 주요 객체를 찾을 수 있는 위치적 단서 정보(예: 화살표 등)를 포함할 수 있다.
동작 530에서, 생성 모듈(124)은 사용자가 주요 객체를 조작하는 경우에는 사용자가 주요 객체를 조작하여 세부 단계의 동작(예: 상황 정보 분석 모듈(122)이 정의한 주요 객체를 이용하여 수행할 동작)을 올바르게 수행하는지를 확인할 수 있고, 사용자가 주요 객체를 조작하지 못하는 경우에는 명시적 지원 정보를 생성할 수 있다. 명시적 지원 정보는 주요 객체를 찾을 수 있는 위치적 단서 정보(예: 화살표 등)를 포함할 수 있다.
동작 540에서, 생성 모듈(124)은 사용자가 주요 객체를 조작하여 세부 단계의 동작을 올바르게 수행하는 경우에는 지원 정보를 생성하지 않고, 사용자가 동작을 올바르게 수행하지 못하는 경우에는 절차적 지원 정보를 생성할 수 있다. 절차적 지원 정보는 움직임에 대한 정보(예: 동영상 등)을 포함할 수 있다.
도 6은 다양한 실시예에 따른, 전자 장치의 다른 예를 나타낸다.
도 6을 참조하면, 다양한 실시예에 따르면, 전자 장치(600)는 도 1의 전자 장치(100)와 실질적으로 동일할 수 있다.
메모리(610)는 프로세서(630)에 의해 실행가능한 인스트럭션들(예: 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서(630)의 동작 및/또는 프로세서(630)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
프로세서(630)는 메모리(610)에 저장된 데이터를 처리할 수 있다. 프로세서(630)는 메모리(610)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(630)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
프로세서(630)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(630)에 의해 수행되는 동작은 도 1 내지 도 5을 참조하여 설명한 전자 장치(100)의 동작과 실질적으로 동일할 수 있다. 도 1 내지 도 3에서 설명한 전자 장치(100)의 각 구성(예: 학습 모듈(110), 학습 지원 모듈(120))은 프로세서(630)에 의해 실행될 수 있다. 이에, 상세한 설명은 생략하도록 한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 콘텐츠를 포함하는 학습 모듈로부터 수신한 콘텐츠 상황 정보 및 상기 콘텐츠에 응답하여 사용자가 입력한 사용자 수행 정보에 기초하여 상기 사용자의 상기 콘텐츠 내에서의 관심객체를 추정하는 동작;
    상기 콘텐츠 상황 정보를 분석하는 동작;
    추정된 관심객체 및 분석된 콘텐츠 상황 정보에 기초하여 상기 사용자가 상기 콘텐츠를 수행하도록 지원하는 지원 정보의 생성 여부를 결정하는 동작; 및
    상기 생성 여부에 따라 상기 사용자가 상기 콘텐츠를 자가학습할 수 있게 하는 상기 지원 정보를 생성하여 상기 학습 모듈에 출력하는 동작
    을 포함하는, 자가학습 지원 방법.
  2. 제1항에 있어서,
    상기 지원 정보에 따른 상기 사용자의 응답에 기초하여 상기 지원 정보에 대한 평가를 생성하고 상기 평가에 따라 상기 지원 정보를 갱신하는 동작; 및
    상기 평가 및 갱신된 지원 정보를 데이터베이스에 저장하는 동작
    을 더 포함하는, 자가학습 지원 방법.
  3. 제1항에 있어서,
    상기 사용자 수행 정보는,
    상기 학습 모듈이 시선추적 기능을 가지고 있지 않은 HMD(head mounted display), 및 컨트롤러 장치로부터 수신한 것인, 자가학습 지원 방법.
  4. 제3항에 있어서,
    상기 추정하는 동작은,
    상기 HMD 및 상기 컨트롤러의 위치 정보 및 방향 정보, 상기 콘텐츠에 포함된 하나 이상의 객체들의 위치 정보, 방향 정보, 및 크기 정보로부터 상기 하나 이상의 객체들을 이루는 복수의 유한 평면 중 하나를 충돌 평면으로 선택하는 동작;
    상기 충돌 평면의 중심 좌표, 상기 복수의 충돌 좌표, 상기 HMD 및 상기 컨트롤러의 위치, 및 상기 객체의 중심 좌표에 기초하여 복수의 특징 벡터를 생성하는 동작;
    복수의 특징 벡터에 기초하여 추정 모델을 생성하는 동작; 및
    상기 추정 모델을 이용하여 상기 사용자의 상기 관심객체를 추정하는 동작
    을 포함하는, 자가학습 지원 방법.
  5. 제1항에 있어서,
    상기 충돌 평면으로 선택하는 동작은,
    상기 HMD 및 상기 컨트롤러의 정면벡터를 추출하는 동작;
    상기 콘텐츠에 포함된 객체를 이루는 복수의 유한 평면을 확장한 복수의 무한 평면에 상기 정면벡터가 충돌하는 좌표를 계산하여 상기 복수의 무한 평면 상의 복수의 충돌 좌표를 획득하는 동작; 및
    상기 복수의 유한 평면 중 상기 복수의 충돌 좌표와의 거리가 최소인 유한 평면을 충돌 평면으로 선택하는 동작
    을 포함하는, 자가학습 지원 방법.
  6. 제1항에 있어서,
    상기 분석하는 동작은,
    상기 콘텐츠에 포함된 하나 이상의 수행 단계 중 어느 하나를 세부 단계로 구분하는 동작; 및
    상기 복수의 세부 단계마다 상기 하나 이상의 객체들 중 주요 객체를 정의하고 상기 주요 객체를 이용하여 상기 사용자가 수행할 동작을 정의하는 동작
    을 포함하는, 자가학습 지원 방법.
  7. 제6항에 있어서,
    상기 지원 정보의 생성 여부를 결정하는 동작은,
    상기 사용자가 도움을 요청한 상기 수행 단계 내에서의 제1 소요시간 동안의 특징데이터, 및 상기 사용자가 도움을 요청하지 않은 경우의 상기 수행 단계 내에서의 제2 소요시간 동안의 특징데이터에 기초하여 결정 모델을 생성하는 동작; 및
    상기 결정 모델을 이용하여 상기 지원 정보 생성 여부를 결정하는 동작
    을 포함하는, 자가학습 지원 방법.
  8. 제6항에 있어서,
    상기 지원 정보는,
    상기 주요 객체를 찾을 수 있는 위치적 단서 정보; 및
    상기 사용자가 상기 콘텐츠를 수행하기 위해 필요한 동작에 관한 움직임 정보
    를 포함하는, 자가학습 지원 방법.
  9. 인스트럭션들을 포함하는 메모리; 및
    상기 메모리와 전기적으로 연결되고, 상기 인스트럭션들을 실행하기 위한 프로세서
    를 포함하고,
    상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는,
    콘텐츠를 포함하는 학습 모듈로부터 수신한 콘텐츠 상황 정보 및 상기 콘텐츠에 응답하여 사용자가 입력한 사용자 수행 정보에 기초하여 상기 사용자의 상기 콘텐츠 내에서의 관심객체를 추정하고,
    상기 콘텐츠 상황 정보를 분석하고,
    추정된 관심객체 및 분석된 콘텐츠 상황 정보에 기초하여 상기 사용자가 상기 콘텐츠를 수행하도록 지원하는 지원 정보의 생성 여부를 결정하며,
    상기 결정에 따라 상기 사용자가 상기 콘텐츠를 자가학습할 수 있게 하는 상기 지원 정보를 생성하여 상기 학습 모듈에 출력하는, 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 사용자의 상기 지원 정보에 따른 응답에 기초하여 상기 지원 정보에 대한 평가를 생성하고 상기 평가에 따라 상기 지원 정보를 갱신하고,
    상기 평가 및 갱신된 지원 정보를 데이터베이스에 저장하는, 장치.
  11. 제9항에 있어서,
    상기 사용자 수행 정보는,
    상기 학습 모듈이 시선추적 기능을 가지고 있지 않은 HMD(head mounted display), 및 컨트롤러 장치로부터 수신한 것인, 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 HMD 및 상기 컨트롤러의 위치 정보 및 방향 정보, 상기 콘텐츠에 포함된 하나 이상의 객체들의 위치 정보, 방향 정보, 및 크기 정보로부터 상기 하나 이상의 객체들을 이루는 복수의 유한 평면 중 하나를 충돌 평면으로 선택하고,
    상기 충돌 평면의 중심 좌표, 상기 복수의 충돌 좌표, 상기 HMD 및 상기 컨트롤러의 위치, 및 상기 객체의 중심 좌표에 기초하여 복수의 특징 벡터를 생성하고,
    복수의 특징 벡터에 기초하여 추정 모델을 생성하며,
    상기 추정 모델을 이용하여 상기 사용자의 상기 관심객체를 추정하는, 장치.
  13. 제9항에 있어서,
    상기 프로세서는,
    상기 HMD 및 상기 컨트롤러의 정면벡터를 추출하고,
    상기 콘텐츠에 포함된 객체를 이루는 복수의 유한 평면을 확장한 복수의 무한 평면에 상기 정면벡터가 충돌하는 좌표를 계산하여 상기 복수의 무한 평면 상의 복수의 충돌 좌표를 획득하며,
    상기 복수의 유한 평면 중 상기 복수의 충돌 좌표와의 거리가 최소인 유한 평면을 충돌 평면으로 선택하는, 장치.
  14. 제9항에 있어서,
    상기 프로세서는,
    상기 콘텐츠에 포함된 하나 이상의 수행 단계 중 어느 하나를 세부 단계로 구분하고,
    상기 복수의 세부 단계마다 상기 하나 이상의 객체들 중 주요 객체를 정의하고 상기 주요 객체를 이용하여 상기 사용자가 수행할 동작을 정의하는, 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 사용자가 도움을 요청한 상기 수행 단계 내에서의 제1 소요시간 동안의 특징데이터, 및 상기 사용자가 도움을 요청하지 않은 경우의 상기 수행 단계 내에서의 제2 소요시간 동안의 특징데이터에 기초하여 결정 모델을 생성하고, 상기 결정 모델을 이용하여 상기 지원 정보 생성 여부를 결정하는, 장치.
  16. 제14항에 있어서,
    상기 지원 정보는,
    상기 주요 객체를 찾을 수 있는 위치적 단서 정보; 및
    상기 사용자가 상기 콘텐츠를 수행하기 위해 필요한 동작에 관한 움직임 정보
    를 포함하는, 장치.
KR1020210140898A 2021-10-21 2021-10-21 자가학습 지원 방법 및 이를 수행하는 시스템 KR20230056995A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210140898A KR20230056995A (ko) 2021-10-21 2021-10-21 자가학습 지원 방법 및 이를 수행하는 시스템
US17/727,557 US11869382B2 (en) 2021-10-21 2022-04-22 Method of supporting self-learning and system for performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210140898A KR20230056995A (ko) 2021-10-21 2021-10-21 자가학습 지원 방법 및 이를 수행하는 시스템

Publications (1)

Publication Number Publication Date
KR20230056995A true KR20230056995A (ko) 2023-04-28

Family

ID=86056745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210140898A KR20230056995A (ko) 2021-10-21 2021-10-21 자가학습 지원 방법 및 이를 수행하는 시스템

Country Status (2)

Country Link
US (1) US11869382B2 (ko)
KR (1) KR20230056995A (ko)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381594B1 (ko) 2008-12-22 2014-04-10 한국전자통신연구원 가상현실을 이용한 교육 장치 및 방법
KR101776254B1 (ko) 2015-11-05 2017-09-07 대구보건대학교산학협력단 인지훈련 서비스제공시스템
KR102447513B1 (ko) 2016-01-22 2022-09-27 한국전자통신연구원 점증적 대화지식 자가학습 기반 대화장치 및 그 방법
WO2017212333A1 (en) 2016-06-07 2017-12-14 NeuroSteer Ltd. Systems and methods for analyzing brain activity and applications thereof
KR102023024B1 (ko) 2018-11-09 2019-11-04 가천대학교 산학협력단 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템
KR102346681B1 (ko) 2019-01-10 2022-01-03 제이에스씨(주) Vr과 ar을 기반으로 하는 실감체험형 헬스케어 서비스 시스템
KR102280720B1 (ko) 2020-07-15 2021-07-22 공영일 지하철 역사 체험관을 활용한 개인 맞춤형 힐링 체험 서비스 방법 및 그 시스템
KR102266479B1 (ko) 2021-01-12 2021-06-17 (주)이루미에듀테크 온라인 학습 능력 분석을 위한 시선 추적 방법, 장치 및 시스템
US20230083302A1 (en) * 2021-09-12 2023-03-16 Sony Interactive Entertainment Inc. Local environment scanning to characterize physical environment for use in vr/ar

Also Published As

Publication number Publication date
US11869382B2 (en) 2024-01-09
US20230127732A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
JP6999662B2 (ja) 仮想現実環境における情報入力のための３次元グラフィカルユーザインターフェース
CN107766839B (zh) 基于3d卷积神经网络的动作识别方法和装置
US10943401B2 (en) Active visual recognition in mobile augmented reality
EP3811337A1 (en) System for predicting articulated object feature location
CN109062415A (zh) 用于改进眼睛跟踪的场景分析
CN112270399B (zh) 基于深度学习的算子注册处理方法、装置及电子设备
CN113853241A (zh) 用于云游戏的测试即服务
US11928856B2 (en) Computer vision and speech algorithm design service
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
CN111968203A (zh) 动画驱动方法、装置、电子设备及存储介质
EP3457276B1 (en) Network system, method and computer program product for real time data processing
CN115362478A (zh) 用于标记图像之间的空间关系的强化学习模型
US11161029B2 (en) Sport training on augmented/virtual reality devices by measuring hand-eye coordination-based measurements
EP3654205A1 (en) Systems and methods for generating haptic effects based on visual characteristics
EP3639193A1 (en) Human feedback in 3d model fitting
JP6815743B2 (ja) 画像処理装置及びその方法、プログラム
KR20190115161A (ko) 3차원 객체 생성 장치
CN117274370A (zh) 三维位姿确定方法、装置、电子设备和介质
KR20230056995A (ko) 자가학습 지원 방법 및 이를 수행하는 시스템
EP4086853A2 (en) Method and apparatus for generating object model, electronic device and storage medium
US20190130776A1 (en) Interactive Learning Experience
Innamorati et al. Neural re-simulation for generating bounces in single images
CN114489341A (zh) 手势的确定方法和装置、电子设备和存储介质
CN113128436A (zh) 关键点的检测方法和装置
US10360509B2 (en) Apparatus and method for generating an optimal set of choices

Legal Events

Date Code Title Description
E902 Notification of reason for refusal