KR20230164871A - 증강현실 교육 시스템 및 방법 - Google Patents
증강현실 교육 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230164871A KR20230164871A KR1020220064547A KR20220064547A KR20230164871A KR 20230164871 A KR20230164871 A KR 20230164871A KR 1020220064547 A KR1020220064547 A KR 1020220064547A KR 20220064547 A KR20220064547 A KR 20220064547A KR 20230164871 A KR20230164871 A KR 20230164871A
- Authority
- KR
- South Korea
- Prior art keywords
- training
- augmented reality
- learner
- terminal
- service providing
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 252
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000003416 augmentation Effects 0.000 title description 2
- 230000003190 augmentative effect Effects 0.000 claims abstract description 177
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000012732 spatial analysis Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 239000003550 marker Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
증강현실 기술 교육을 위한 증강현실 교육 시스템이 개시된다. 본 발명에 따른 증강현실 교육 시스템은 증강현실 콘텐츠를 이용해 현장 또는 원격으로 적어도 하나의 학습자의 훈련을 지도하기 위하여 상기 학습자의 훈련 과정을 파악하고, 훈련 수행에 필요한 지원 정보인 훈련지원 정보를 생성하는 교수자 단말, 상기 교수자 단말의 요청에 기초하여 상기 증강현실 콘텐츠를 이용한 훈련에 참여하는 교수자 단말과 학습자 단말을 관리하고, 상기 훈련 과정에서 이용되는 훈련 공간을 도출하기 위해 상기 교수자 단말과 학습자 단말이 위치한 훈련 공간을 분석하는 증강현실 서비스 제공서버 및 상기 훈련지원 정보에 기초해 상기 학습자가 훈련 수행한 결과인 콘텐츠 훈련 정보를 상기 증강현실 서비스 제공서버로 전달하는 적어도 하나의 상기 학습자 단말을 포함한다.
Description
본 발명은 증강 현실 서비스의 일종으로 다중사용자 동시 교육에 이용될 수 있는 교수자와 학습자 간 증강 현실 교육 시스템 및 방법에 관한 것이다.
증강 현실(Augmentation Reality; 이하 AR이라 칭함) 서비스를 이용한 교육 방법에 대한 관심이 커지고 있다.
이러한 AR 서비스를 이용한 교육 방법은 수술장에서의 수술 연습, 해부학 실습, 자동차 제조 분야의 시운전, 자동차 수리 및 유지보수 교육 및 훈련 등과 같이 교육에 활용해야 하는 기자재의 비용이 높거나 교육 내용의 위험성이 높은 경우에 더욱 적합하다 여겨지고 있으며, 특히 교수자와 학습자가 같이 참여하는 교육 환경에서 AR 서비스를 이용한 교육 시스템의 보급이 점차 확대되고 있다.
그러나 현재 AR 서비스를 이용한 교육 방법 및 시스템에서는 대부분 산업 및 제조 분야에서 교수자가 학습자의 화면을 공유받아 학습자의 화면에 교수자가 제공하는 교육 및 훈련 관련 콘텐츠를 증강하여 렌더링하는 형태로 이루어지기 때문에 교수자의 의도가 학습자에게 정확하게 전달되기 어렵고, 특히 복잡한 형태의 교육 및 훈련 관련 콘텐츠의 경우는 정확한 전달이 더더욱 어려운 문제가 있다.
아울러, 종래 기술로는 다수의 학습자를 동시에 교육할 때 교수자는 개별 학습자별 피드백 제공이 가능하지만 다른 학습자들은 피드백을 받기 위해 장시간 대기하는 문제가 존재한다. 다수가 동시에 피드백을 받는 경우 일괄적으로 교수자가 생성한 정보 전달만 가능하여, 학습자의 특성(신장 등)이나 사용 기기의 특성(단말 위치, 단말 FOV 등) 등 다양한 특성을 가진 학습자 집단에서는 원하는 훈련 효과를 얻기 어려운 한계가 존재한다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 교수자와 학습자를 포함하는 다중 사용자가 실제와 가상 혼합 환경을 기반으로 하는 증강현실 콘텐츠를 훈련 과정에 사용할 때 가상 객체에 대한 사용자 맞춤형 가이드를 제공하기 위해 교육 공간을 인식하여 훈련에 필요한 가상 객체와 사용자 별 위치를 설정하는 증강현실 교육 시스템 및 방법을 제공하는 데 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강 현실 교육 시스템은 증강현실 콘텐츠를 이용해 현장 또는 원격으로 적어도 하나의 학습자의 훈련을 지도하기 위하여 상기 학습자의 훈련 과정을 파악하고, 훈련 수행에 필요한 지원 정보인 훈련지원 정보를 생성하는 교수자 단말, 상기 교수자 단말의 요청에 기초하여 상기 증강현실 콘텐츠를 이용한 훈련에 참여하는 교수자 단말과 학습자 단말을 관리하고, 상기 훈련 과정에서 이용되는 훈련 공간을 도출하기 위해 상기 교수자 단말과 학습자 단말이 위치한 훈련 공간을 분석하는 증강현실 서비스 제공서버 및 상기 훈련지원 정보에 기초해 상기 학습자가 훈련 수행한 결과인 콘텐츠 훈련 정보를 상기 증강현실 서비스 제공서버로 전달하는 적어도 하나의 상기 학습자 단말을 포함한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강현실 교육 방법은 증강현실 서비스 제공서버가 교수자 단말과 학습자 단말이 위치한 훈련 공간을 분석하는 단계, 상기 증강현실 서비스 제공서버가 상기 훈련 공간 분석 단계의 결과에 기초하여 상기 교수자 단말과 학습자 단말의 훈련 수행 시작 위치를 결정하는 단계, 상기 훈련 수행 시작 위치가 결정되면 상기 교수자 단말이 학습자의 훈련 수행에 필요한 지원 정보인 훈련지원 정보를 생성해서 상기 증강현실 서비스 제공서버로 전달하는 단계, 상기 증강현실 서비스 제공서버가 전달받은 상기 훈련지원 정보를 상기 학습자 단말로 전달하는 단계 및 상기 훈련지원 정보에 기초해 상기 학습자가 훈련 수행한 결과인 콘텐츠 훈련 정보를 상기 학습자 단말이 상기 증강현실 서비스 제공서버로 전달하는 단계를 포함하고, 상기 학습자는 상기 학습자 단말을 이용하여 훈련을 수행한다.
본 발명에 의하면, 대면 및 비대면 환경에서 실제와 가상 혼합 환경을 기반으로 하는 증강현실 콘텐츠를 교육 또는 훈련 과정에 사용하여 교수자가 다수의 학습자에게 동일한 가상객체를 통해 교육을 수행할 때 학습자가 사용하는 기기 종류와 학습자의 신체적 특징에 상관없이 학습자의 위치에 적합한 교육 내용 및 사용자 맞춤형 가이드를 동시에 제공할 수 있다.
또한, AR 콘텐츠 활용에 필요한 공간 설정을 공간 인식을 통해 자동으로 제공하여 실제 교육 현장에서의 AR 콘텐츠 활용 편의성이 증대된다.
도 1은 본 발명의 일 실시예에 따른 증강현실 교육 시스템을 나타내는 구조도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 교육 시스템을 나타내는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 교육 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 시작 위치 결정 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 추천 공간 영역 정보 생성 방법을 나타내는 흐름도이다.
도 6는 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 사용자 상태에 따른 가변적 훈련 조건 설정을 나타내는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 교수자 훈련지원 정보의 보정 방법을 나타내는 흐름도이다.
도 8은 도 1에 도시된 증강현실 교육 시스템의 세부 기능을 도시한 설명도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 교육 시스템을 나타내는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 교육 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 시작 위치 결정 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 추천 공간 영역 정보 생성 방법을 나타내는 흐름도이다.
도 6는 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 사용자 상태에 따른 가변적 훈련 조건 설정을 나타내는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 교수자 훈련지원 정보의 보정 방법을 나타내는 흐름도이다.
도 8은 도 1에 도시된 증강현실 교육 시스템의 세부 기능을 도시한 설명도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 몇몇 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 권리범위는 실시예들로부터 관련되는 본 발명의 기술적 사상에 속하는 모든 변경, 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에만, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 제시되는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 출원에서 사용된 "상기" 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한 본 개시에 따른 방법을 설명하는 단계의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 목적하는 바를 수행하기 위한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있으며, 이상적이거나 과도하게 축소된 형식적인 의미로 해석되지 않아야 할 것이며, 본 명세서에서 어떤 용어의 의미를 정의할 경우 해 용어는 그 정의된 대로 해석되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명은 교수자와 학습자를 포함하는 다중 사용자가 실제와 가상 혼합 환경을 기반으로 하는 증강현실 콘텐츠를 교육 과정에 사용할 때 가상 객체에 대한 사용자 맞춤형 가이드를 제공하기 위해 교육 공간을 인식하여 가상 객체와 사용자 별 위치를 설정하는 증강현실 교육 시스템 및 방법을 제공하는 것을 요지로 한다. 즉, 본 발명은 증강현실 기반 훈련 콘텐츠를 훈련 과정에 사용할 때 교수자가 다수의 학습자에게 동일한 가상 객체를 교육 과정에서 제공시 학습자가 사용하는 기기 종류와 학습자의 신체적 특징에 상관없이 학습자의 위치에 적합한 훈련 내용 및 맞춤 가이드를 동시에 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 교육 시스템을 나타내는 구조도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강현실 교육 시스템(100)은 증강현실 콘텐츠를 이용해 현장 또는 원격으로 학습자의 학습 및/또는 훈련(이하 훈련이라 칭함)을 지도하기 위하여 학습자의 훈련 과정을 파악하고, 훈련에 필요한 훈련 지원 정보를 동적으로 생성하는 기능을 제공하는 교수자의 교수자 단말(110), 교수자의 요청에 따라 증강현실 콘텐츠를 이용한 훈련 과정에 참여하는 교수자와 학습자들을 관리하고, 증강현실 콘텐츠를 활용한 훈련 과정에서 공간을 효과적으로 활용하기 위해 교수자와 학습자가 위치한 훈련 공간을 분석하는 증강현실 서비스 제공서버(135), 및 훈련 정보를 받아 이를 표시하고 훈련과정 수행 결과 정보인 콘텐츠 훈련 정보를 증강현실 서비스 제공서버로 전달하는 적어도 하나의 학습자 단말(155)을 포함한다.
본 발명의 일 실시예에 따른 증강현실 교육 시스템(100)의 교수자 단말(110)은 훈련을 제공하는 교수자가 사용하는 단말로서, 증강현실 서비스를 위한 가상 객체와 훈련 공간을 촬영하는 카메라부(115), 증강현실 서비스 제공서버(135) 및 학습자 단말(155)과의 네트워크 연결 및 데이터 통신을 위한 통신부(120), 공간 분석, 훈련 과정 확인, 객체 상태 정보 생성 등을 수행하는 증강현실 처리부(125), 학습자와 같은 사용자 정보를 저장하는 저장부(130)를 포함한다. 교수자 단말(110)은 스마트폰과 같은 형태일수도 있고, 가상현실기기와 같은 형태일수도 있고 양자가 모두 포함된 형태일 수 있다.
교수자 단말(110)의 카메라부(115)는 단일 또는 스테레오 카메라일 수 있고 또는 깊이를 측정하는 카메라일 수 있고, RGB 이미지 혹은 깊이 이미지를 획득하는 카메라일 수 있다.
교수자 단말(110)의 통신부(120)는 증강현실 서비스 제공서버(135)와 학습자 단말(155)과의 무선 데이터 송수신을 위한 통신 모듈로서, 블루투스, 와이파이, 이동통신 등 통신기술을 이용하여 무선 데이터 송수신을 수행한다.
교수자 단말(110)의 증강현실 처리부(125)는 도 8에 나타내어진 바와 같이 증강현실 서비스 제공서버(135)로부터의 공간 분석 정보에 기초하여 훈련을 수행하기 위한 훈련 수행 시작 위치를 결정한다.
훈련 수행 시작 위치 결정은 도 4의 나타내어진 바와 같이 증강현실 서비스 제공서버(135)의 공간 분석에 기초한 위치 추천 정보가 입력되면(S410), 교수자는 훈련 수행 시작 위치를 선택한다(S420). 선택된 훈련 수행 시작 위치가 임의 위치라면(S430의 예) 증강현실 체험공간에 대한 검사를 실시해서, 증강현실 체험공간이 충족되면(S440의 예) 선택된 훈련 수행 시작 위치를 시작 원점으로 설정하고(S460), 증강현실 마커 위치를 설정한다(S470). 증강현실 체험공간이 충족되지 않으면(S440의 아니오) 경고창을 통해 경고를 출력하고(S450) 다시 적합한 훈련 수행 시작 위치를 찾기 위해 훈련 수행 시작 위치 선택이 재차 수행된다(S420).
선택된 훈련 수행 시작 위치가 임의 위치가 아니라면(S430의 아니라면) 선택된 훈련 수행 시작 위치를 시작 원점으로 설정하고(S460), 증강현실 마커 위치를 설정한다(S470).
이를 위해 교수자 단말(110)의 증강현실 처리부(125)는 증강현실 서비스 제공서버(135)로부터 증강현실 기반 훈련을 제공하기 위해 위치해야 하는 공간 내 특정 지점에 대한 정보인 위치 지원 정보를 전달받아 교수자에게 해당 위치에 서거나 앉도록 안내할 수 있다. 결정된 시작위치나 그 인접한 부분에는 증강현실 마커가 출력되어 배치될 수 있다.
교수자 단말(110)의 증강현실 처리부(125)는 증강현실 서비스 제공서버(135)로부터 훈련 수행능력이 부족한 학습자들의 정보를 제공받아 훈련과정을 확인할 수 있다. 훈련과정 확인을 통해 각 학습자들의 훈련 수행 점수를 확인할 수 있으며, 해당 학습자의 훈련 수행 정도가 3차원으로 출력되도록 할 수 있다.
교수자 단말(110)의 증강현실 처리부(125)는 학습자들에게 특정 훈련 단계를 넘어갈 수 있는 훈련지원 정보를 동적으로 생성할 수 있다. 즉, 교수자는 교수자 단말(110)을 이용하여 해당 훈련 단계에 대한 시범을 보일 수 있고, 이때 교수자 단말(110)의 상태 정보(후술할 '객체 상태 정보'에서 관리)와 훈련 단계의 성공 기준 조건 등을 수집하여 훈련지원 정보 생성에 활용할 수 있다. 일례로, 카세어링(car sharing) 직무 훈련을 수행하면서 차량의 상태점검을 위해 특정한 부분의 사진 촬영 훈련이 요구될 수 있는데, 이때 교수자는 교수자 단말(110)를 들고 이동하여 가상객체 차량 중 특정 부분객체(예: 헤드라이트, 계기판 등)를 촬영했을 때 해당 객체가 차지하는 비율이나 교수자 단말(110)의 3차원 공간상에서 움직임(상하좌우 이동, 각도 변경 등) 등이 포함되는 훈련지원 정보를 동적으로 생성할 수 있다.
교수자 단말(110)의 증강현실 처리부(125)는 교수자 단말(110)의 객체 상태 정보를 생성할 수 있다. 교수자 단말(110)의 객체 상태 정보는 사용 중인 카메라의 FOV(field of view), 초점, 줌(Zoom)상태, 기기의 고유 아이디와 같은 HW 정보와 증강현실 서비스 제공서버(135)의 훈련 공간 분석 결과에 기초한 '위치 결정’에서 정의된 좌표를 기반으로 3차원상에서 교수자 단말(110)을 추적하기 위한 위치, 각도와 같은 교수자 단말(110)의 상태 정보를 포함할 수 있다.
교수자 단말(110)의 저장부(130)는 학습자와 교수자를 포함한 사용자를 구분할 수 있는 아이디와 증강현실 훈련과정에서 같은 동작이 다르게 표현될 수 있는 부분을 고려하기 위한 신장과 같은 사용자 신체 특성 정보를 포함하는 사용자 정보를 저장할 수 있다.
본 발명의 일 실시예에 따른 증강현실 교육 시스템(100)의 증강현실 서비스 제공서버(135)는 교수자 단말(110) 및 학습자 단말(155)과의 네트워크 연결 및 데이터 통신을 위한 통신부(140), 공간 분석, 위치 지원 생성, 훈련 지원 판단, 훈련 지원 보정, 사용자 관리를 수행하는 증강현실 처리부(145), 교수자와 학습자와 같은 사용자 정보를 저장하는 저장부(150)를 포함한다.
증강현실 서비스 제공서버(135)의 통신부(140)는 단말(110)의 통신부(120) 및 학습자 단말(155)과의 무선 데이터 송수신을 위한 통신 모듈로서, 블루투스, 와이파이, 이동통신 등 통신기술을 이용하여 무선 데이터 송수신을 수행한다.
증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 교수자 단말(110)과 학습자 단말(155)의 카메라부로부터 촬영 영상(훈련 공간 이미지 포함)을 입력받아 깊이 획득, 평면 검출, 위치 추천 과정을 수행하고 증강현실 콘텐츠를 수행하기 위한 적절한 공간 생성 추천 정보를 생성하는 공간 분석을 수행한다.
깊이 획득 과정에서는 다중 RGB 이미지에 스테레오 기법을 적용하거나, 단일 RGB 이미지에 딥러닝 모델을 적용할 수 있고, 또한 깊이 획득을 위한 카메라로부터 직접 촬영된 영상에서 깊이 정보를 획득할 수 있다. 평면 검출 과정에서는 획득된 깊이 정보에서 바닥에 해당하는 영역을 검출할 수 있다.
이를 위해 획득한 깊이 정보에서 일정한 간격으로 픽셀을 추출하고, 해당 픽셀의 인접한 픽셀들로부터 수직 벡터와 수평 벡터를 획득하고 외적을 통해 법선 벡터를 생성한 후, 각 위치에 나타난 법선 벡터들 간의 유사도를 비교하고 인접한 영역 간에 클러스터링을 실시한다. 이때 같은 클러스터링으로 소속된 영역은 하나의 평면으로 결정될 수 있으며, 획득한 여러 평면 중 가장 넓은 영역을 가진 부분을 평면으로 검출할 수 있다.
위치 추천 과정은 도 4에 나타내어진 바와 같이 훈련에 요구되는 공간 최소 영역을 확인하고 훈련 수행 시작 위치로 설정하기에 적합한 추천 정보를 제공하며, 최소 영역이 확보되지 않았을 때 장애물의 여부를 판단하고 최소 영역을 확보하기 위한 넓은 장소로의 이동이나 장애물 제거를 유도하는 과정을 수행한다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 위치 추천을 위한 추천 영역을 설정하기 위해 도 5의 본 발명의 일 실시예에 따른 추천 공간 영역 정보 생성 방법에서와 같이 먼저 평면 영역 검출과정에서 평면 영역을 획득(S510)한 후 획득된 평면영역 내에서 일정한 크기를 가진 내접원을 검사한다(S520). 이후 내접원을 만족하는 영역의 크기를 확인(S530)하고, 확인된 영역의 크기가 기준크기보다 크다면(S540의 예) 추천 영역을 설정하고 이를 교수자 단말(110)과 학습자 단말(135)로 제공되도록 한다.
확인된 영역의 크기가 기준크기보다 같거나 작다면(S540의 아니오) 평면 영역 윤곽선의 볼록(convexity) 여부를 검사하고(S560), 볼록하다면(S570의 예) 넓은 장소로 이동하도록 유도해서(S585) 교수자 단말(110) 및/또는 학습자 단말(135)에게 재촬영을 요청하고(S595), 그렇지 않다면(S570의 아니오) 볼록 미충족 영역이 기준크기(내접원 기준크기)보다 큰지 여부를 판단해서 볼록 미충족 영역이 기준크기보다 크다면(S580의 예) 볼록 미충족 영역의 장애물 제거를 요청하여(S590), 교수자 단말(110) 및/또는 학습자 단말(135)에게 재촬영을 요청한다(S595).
볼록 미충족 영역이 기준크기(볼록영역 기준크기)보다 작다면(S580의 아니오) 넓은 장소로의 이동을 유도해서(S585) 교수자 단말(110) 및/또는 학습자 단말(155)에게 재촬영을 요청한다(S595).
본 발명의 일 실시예에 따른 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 교수자나 학습자가 선택한 위치 정보, 증강현실 훈련과정에 참여한 참여자 수, 활용하는 교수자 단말 및 학습자 단말의 상태 정보를 입력 받아 다수 사용자(교수자 및 훈련자)가 동시에 활용할 수 있는 사용자 별 시작위치를 설정할 수 있고, 이를 위해 사용자별 위치 지원 정보를 생성할 수 있다.
일례로 훈련 현장에서 사용자 간 충돌을 최소화하기 위하여 사용자 4명이 참여하는 경우 사용자간 90도 간격을 두고 배치되도록 하고, 6명이 참여하는 경우에는 60도 간격으로 배치될 수 할 수 있다. 또한, 훈련에 사용되는 증강현실 가상객체가 교수자 단말 및 학습자 단말에 전체 모습이 모두 출력되도록 하기 위해 교수자 단말 및 학습자 단말의 FOV와 줌 상태에 따라 증강현실 마커 위치로부터의 거리를 계산하여 사용자 별 시작위치를 설정할 수 있다(이와 동시에 사용자별 위치 지원 정보를 생성할 수 있음).
본 발명의 일 실시예에 따른 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 가변적 훈련 수행 기준 조건을 설정하고, 학습자의 수행능력을 평가하고, 훈련 진행이 미진한 학습자에 대한 훈련지원 정보 제공의 필요 여부를 판단한다. 가변적 훈련 수행 기준 조건은 특정 훈련 목표 달성을 위해 학습자의 신체적 특성(특징이라고도 칭함) 또는 사용하는 학습자 단말에 따라 다양한 조건의 훈련 성공 기준 조건을 설정할 수 있다. 일례로 특정 객체의 촬영에 대한 훈련의 경우 기본적인 성공조건은 특정 위치와 각도에서의 촬영이지만, 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 사용자 상태에 따른 가변적 훈련 조건 설정의 개념도인 도 6에 나타내어진 바와 같이 가변적 훈련 수행 기준 조건은 기본적인 성공조건인 위치와 각도 외 사용자 특성(키, 단말 특성 등)도 포함되도록 훈련 성공조건(객체 포함비율, 객체 내 특정부분 포함여부 등)을 사용자별로 다르게 설정할 수 있다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 훈련자 훈련수행 능력 평가 시 측정한 학습자의 객체 촬영 비율, 촬영 시도 횟수, 촬영 소요 시간, 개인별 평균 촬영 시도 횟수 및 평균 촬영 소요시간, 목표 위치 접근 정도, 객체 촬영 비율의 변화, 및 과거의 훈련 기록 등을 훈련수행 지원 정보 제공 필요 여부 판단이 활용한다.
일례로, 훈련자 훈련수행 능력을 평가하여 훈련지원 정보를 제공할 때 학습자의 과거의 훈련 기록으로부터 단계별 학습자의 목표 소요시간이 초기 설정될 수 있고, 학습자별 훈련 수행 능력을 평가할 때 해당 시간 내 일정한 시간 간격으로 훈련자 위치를 추적하고 목표 위치와의 거리를 측정하고 이를 정량화해서 평가하고, 객체 촬영 시도 시 촬영해야 하는 객체 비율을 측정 후 이를 목표 달성도로 변환해서 이를 훈련수행 능력 판단하는 근거로 활용할 수 있다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 본 발명의 일 실시예에 따른 증강현실 교육 방법에서의 교수자 훈련 지원 정보의 보정 방법을 나타내는 흐름도인 도 7에 나타내어진 바와 같이 교수자 훈련지원 정보를 보정할 수 있다.
교수자 훈련 지원 보정은 교수자가 교수자 단말을 통해 생성한 훈련지원 정보를 학습자의 신장과 같은 신체적 특성과 훈련에 활용되는 개개인의 학습자 단말의 특성을 기반으로 맞춤형 훈련지원 정보로 생성하는 과정이다. 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 생성된 맞춤형 훈련지원 정보를 이를 필요로 하는 학습자들에게 동시에 제공할 수 있다.
도 7에 나타내어진 바와 같이 교수자가 생성한 훈련지원 정보를 보정할 때 객체와 교수자 또는 객체와 훈련자 벡터의 사영정보와 벡터 크기에 따른 2개의 구를 생성하여 훈련자 맞춤형 피드백을 제공한다. 사영정보를 기준으로 인접한 위치를 활용하여 학습자에게 위치에 대한 피드백을 제공할 수 있으며, 벡터의 방향 정보를 통하여 증강현실 콘텐츠를 구동하는 학습자 단말의 각도에 대한 피드백을 제공할 수 있다.
구체적으로는 객체 중심점 기반 지역 좌표를 설정하고(S710), 객체의 중심점에서 교수자 단말을 잇는 벡터 V1을 획득하고(S715), 벡터 V1과 지면의 각도 T1을 계산한다(S720). 다음으로 객체의 중심점과 V1의 크기를 가진 구 R1을 생성하고(S725), 구 R1의 중심점을 지나면서 바닥과 평행한 구 R1의 면을 설정해서(S730) 구 R1의 면으로부터 교수자 단말의 높이(변위) H1을 계산하고(S735), 교수자 키 대비 학습자 키 비율 A를 계산하고(S740), H1*A로 학습자 단말의 높이 H2를 계산한다(S745). 이어서 R1의 면으로부터 변위가 H2이고, 구 R1의 표면에 위치하고, V1의 끝점과 갖는 3D 엑시스(axis) 부호를 갖는 P1을 획득하고(S750), 구 R1의 중심점에서 P1을 잇는 벡터 V2를 설정하고(S755), 교수자와 학습자 단말의 FOV와 줌(Zoom) 상태 차이에 따른 벡터 V2의 크기를 조정하고(S760), 객체의 중심점과 벡터 V2의 크기를 가진 구 R2를 생성하고(S765), 구 R2의 중심점을 지나고 바닥과 평행한 구 R2의 면을 설정하고(S770), 구 R2의 면으로부터 변위가 H2이고, 구 R2의 표면에 위치하고, V2의 끝점과 같은 3D 엑시스(axis) 부호를 갖는 P2를 획득하고(S775), 구 R2의 중심점에서 P2를 잇는 벡터 V3를 설정(S780)한 후 P2를 구 R2의 면으로 사영시킨 위치 및 벡터 V3와 구 R2의 면이 이루는 각도를 활용한 피드백을 제공한다(S785).
본 발명의 일 실시예에 따른 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 현장 또는 원격으로 훈련 또는 훈련에 참여하는 교수자와 학습자가 동일한 훈련 과정의 증강현실 콘텐츠를 활용할 수 있도록 매칭하고, 세션을 관리할 수 있다(이를 사용자 관리라 칭함). 즉, 본 발명의 일 실시예에 따른 증강현실 교육 시스템을 나타내는 개념도인 도 2에 나타내어진 바와 같이 학습자는 교수자와 동일한 훈련 공간에 있을 수도 있고(도 2의 155-1, 155-2의 경우) 교수자와 다른 공간에 있을 수도 있는데(도 2의 155-3의 경우), 본 발명의 일 실시예에 따른 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 원격지 훈련자(도 2의 155-3의 경우)에게도 클라우드 시스템과 같은 기술을 이용하여 원격으로 증강현실 콘텐츠가 제공되도록 하여 교수자와의 훈련에 참여토록 할 수 있다.
또한 본 발명의 일 실시예에 따른 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)는 교수자와 학습자의 사용자 정보와 객체 상태 정보를 수집하고, 학습자의 훈련수행 능력평가 정보를 누적하여 관리할 수 있고, 이를 효과적인 공간 배치와 훈련 평가 및 지원 정보를 보정하기 위한 훈련 지원 보정에 이용할 수 있다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공서버(135)의 저장부(150)는 교수자와 학습자의 사용자 정보와 객체 상태 정보를 파일이나 데이터베이스 형태로 저장할 수 있고 증강현실 서비스 제공서버(135)의 증강현실 처리부(145)에 의해 접근토록 관리될 수 있다.
본 발명의 일 실시예에 따른 증강현실 교육 시스템(100)의 학습자 단말(155)은 훈련을 하는 학습자가 사용하는 단말로서, 증강현실 콘텐츠 기반 훈련과정 수행정보인 콘텐츠 학습 정보를 증강현실 서비스 제공서버(135)로 전달하고, 훈련수행이 미진한 경우 교수자가 동적으로 생성한 맞춤형 훈련지원 정보를 실시간으로 전달받아 해당 훈련 과정을 수행한다. 학습자 단말(155)은 스마트폰과 같은 형태일수도 있고, 가상현실기기와 같은 형태일수도 있고 양자가 모두 포함된 형태일 수 있다.
학습자 단말(155)은 증강현실 서비스를 위한 가상 객체와 훈련 공간을 촬영하는 카메라부(160), 증강현실 서비스 제공서버(135) 및 교수자 단말(110)과의 네트워크 연결 및 데이터 통신을 위한 통신부(170), 증강현실 훈련을 지원하는 증강현실 처리부(175), 및 훈련지원 정보와 객체상태 정보 등을 저장하는 저장부(180)를 포함한다.
학습자 단말(155)의 카메라부(160)는 증강현실 콘텐츠가 출력될 훈련공간을 생성하고 훈련을 진행하기 위한 입력 데이터를 획득하는 카메라로서 단일 또는 스테레오 카메라일 수 있고 또는 깊이를 측정하는 카메라일 수 있고, RGB 이미지 혹은 깊이 이미지를 획득하는 카메라일 수 있다.
학습자 단말(155)의 통신부(170)는 증강현실 서비스 제공서버(135)와 교수자 단말(110)과의 무선 데이터 송수신을 위한 통신 모듈로서, 블루투스, 와이파이, 이동통신 등 통신기술을 이용하여 무선 데이터 송수신을 수행한다.
학습자 단말(155)의 증강현실 처리부(175)는 도 8에 나타내어진 바와 같이 증강현실 서비스 제공서버(135)로부터의 공간 분석 정보에 기초하여 훈련을 수행하기 위한 훈련 수행 시작 위치를 결정한다.
훈련 수행 시작 위치 결정시 동일공간의 훈련자(도 2의 155-1, 155-2)의 훈련 수행 시작 위치는 교수자에 의해 훈련 수행 시작 위치가 결정되고, 훈련 수행 시작 위치 정보가 학습자 단말(155)에게 제공될 수 있고, 원격으로 훈련에 참여하는 훈련자(도 2의 155-3)의 경우 증강현실 서비스 제공서버(135)로부터 추천받은 위치들 가운데 한 영역을 선택하여 훈련 수행 시작 위치를 결정할 수 있다. 이때 결정된 훈련 수행 시작위치나 그 인접한 부분에 증강현실 마커가 배치될 수 있으며, 해당 마커로부터 개별 학습자마다 독립된 가상객체가 생성되어 출력될 수 있다.
학습자 단말(155)의 증강현실 처리부(175)는 증강현실 서비스 제공서버(135)로부터 생성된 훈련 수행 시작 위치를 훈련 수행 위치 지원 정보 형태로 전달받을 수 있다.
학습자 단말(155)의 증강현실 처리부(175)는 훈련을 수행하는 단계에 대한 정보(이를 훈련 수행 단계정보라 칭함)를 포함하고 훈련 수행의 성공과 실패에 대한 기준 정보를 포함하는 콘텐츠 훈련 정보를 생성해서 증강현실 서비스 제공서버(135)로 제공할 수 있다. 훈련 수행 단계정보에는 훈련과정에서 활용되는 주요 가상객체의 위치, 크기, 회전, 형태, 및 수행동작의 종류 등이 포함될 수 있고, 이를 전달받은 증강현실 서비스 제공서버(135)는 학습자의 훈련수행 능력을 파악하고 맞춤형 훈련 지원을 판단하기 위한 정보로 활용할 수 있다.
학습자 단말(155)의 증강현실 처리부(175)는 증강현실 서비스 제공서버(135)로부터 보정된 훈련지원 정보를 전달받을 수 있다. 즉, 교수자의 교수자 단말(110)에서 학습자의 특성에 맞게 생성된 맞춤형 훈련지원 정보가 증강현실 서비스 제공서버(135)로 전달되면, 학습자 단말(155)은 증강현실 서비스 제공서버(135)로부터 이를 제공받아 그에 기초하여 학습자가 적절히 수행하지 못하는 증강현실 콘텐츠를 수행할 수 있도록 가시화하여 학습자에게 제공한다. 이때 학습자의 특성은 학습자의 훈련 능력(교수자 단말이 전달받은 콘텐츠 훈련 정보에 기초하여 학습자의 훈련 능력을 파악함) 및/또는 신장과 같은 신체 정보를 포함한다.
학습자 단말(155)의 증강현실 처리부(175)는 학습자 단말(155)의 상태 정보인 객체 상태 정보를 생성할 수 있다. 학습자 단말(155)의 객체 상태 정보는 사용 중인 카메라의 FOV(field of view), 초점, 줌(Zoom)상태, 기기의 고유 아이디와 같은 HW 정보와 '위치 결정'에서 정의된 좌표를 기반으로 3차원상에서 학습자 단말(155)을 추적하기 위한 위치, 각도와 같은 학습자 단말(155)의 상태 정보를 포함할 수 있다.
학습자 단말(155)의 저장부(180)는 사용자를 구분할 수 있는 아이디와 증강현실 훈련과정에서 같은 동작이 다르게 표현될 수 있는 부분을 고려하기 위한 신장과 같은 사용자 신체 특성 정보를 포함하는 사용자 정보를 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 서비스 제공 방법을 나타내는 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 증강현실 서비스 제공방법은 도 1 및 도 2의 본 발명의 일 실시예에 증강현실 교육 시스템을 이용해서 대면 및 비대면 환경에서 실제와 가상 혼합 환경을 기반으로 하는 증강현실 콘텐츠를 훈련과정에 사용할 때 교수자가 다수의 학습자에게 동일한 가상객체를 통해 훈련 및 교육 제공시 학습자가 사용하는 기기 종류와 학습자의 신체적 특징에 상관없이 학습자의 위치에 적합한 훈련 내용 및 훈련 맞춤 가이드를 동시에 제공하도록 하는 동작의 실시예이다.
교수자 단말(110), 학습자 단말(155), 증강현실 서비스 제공서버(135)간 네트워크 연결을 수행한다(S310). 이때 연결되는 학습자 단말(155)는 복수 개일 수 있고, 교수자 단말(110)과 같은 훈련 공간 또는 다른 훈련 공간에 존재하는 학습자의 학습자 단말일 수 있다.
증강현실 서비스 제공서버(135)가 교수자 단말(110) 및 학습자 단말(155)에 의해 제공된 공간 영상에 기초하여 교수자 단말(110) 및 학습자 단말(155)의 훈련 공간을 분석한다(S320). 이 결과에 따라 교수자와 학습자의 훈련 수행 시작 위치가 결정되고 결정된 훈련 수행 시작 위치를 교수자 단말(110)과 학습자 단말(155)에게 제공한다(교수자 단말과 학습자 단말의 훈련 수행 시작 위치를 결정한다고도 표현할 수 있음).
훈련 수행 시작 위치가 결정되면 교수자 단말(110)에서 학습자를 위한 훈련지원 정보를 생성한다(S330). 생성된 훈련지원 정보는 증강현실 서비스 제공서버(135)를 통해 학습자 단말(155)로 전달된다(S340). 이때 학습자 단말이 복수 개이면 각 학습자 단말의 객체 상태 정보에 기초하여 생성된 훈련지원 정보가 학습자 단말로 전달될 수 있다.
훈련지원 정보 생성시 교수자 단말(110)이 학습자의 객체 촬영 비율, 촬영 시도 횟수, 촬영 소요 시간, 목표 위치 접근 정도, 객체 촬영 비율의 변화, 및 과거의 훈련 기록 중 적어도 하나에 기초하여 훈련지원 정보를 생성할 수 있다.
학습자 단말(155)은 훈련 수행 결과에 대한 정보인 콘텐츠 훈련 정보를 증강현실 서비스 제공서버(135)로 전달하고 증강현실 서비스 제공서버(135)는 이를 분석한다(S350).
분석을 통해 증강현실 서비스 제공서버(135)는 학습자의 훈련 수행 능력을 파악한다(S360). 학습자의 훈련 수행 능력을 파악하고 평가할 때 증강현실 서비스 제공서버(135)가 훈련 목표 달성을 고려하여 학습자의 신체적 특성 및 학습자 단말(155)의 기기 특성 중 적어도 하나에 의해 결정되는 가변적 훈련 수행 기준 조건을 설정해서, 설정된 가변적 훈련 수행 기준 조건에 기초하여 학습자의 훈련 수행 능력을 파악하고 평가할 수 있다.
파악된 학습자의 훈련수행 능력은 교수자 단말(110)로 전달되어 교수자가 해당 학습자의 훈련 정도를 파악해서 해당 학습자의 수준 또는 상태에 적합한 훈련지원 정보를 생성(S370)할 수 있다(이때의 훈련지원 정보를 맞춤형 훈련지원 정보라 칭함).
맞춤형 훈련지원 정보를 생성할 때는 증강현실 서비스 제공서버(135)가 학습자 단말(155)마다 설정된 가변적 훈련 수행 기준 조건에 기초하여 학습자의 훈련 수행 능력을 평가하여 생성할 수 있다.
생성된 맞춤형 훈련지원 정보는 증강현실 서비스 제공서버(135)를 거쳐 학습자 단말(155)로 전달되고 학습자는 학습자 단말(155)를 이용하여 전달된 맞춤형 훈련지원 정보에 기초한 맞춤형 훈련을 수행한다(S380).
이상의 실시예들은 하나 이상의 프로세서, 메모리, 및 저장수단을 포함하는 다양한 형태의 컴퓨팅 수단을 이용하여 구현될 수 있다. 또한 유무선 네트워크에 연결된 네트워크 인터페이스를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다. 상기 프로세서는 메모리 및/또는 저장 유닛에 저장된 처리 명령어를 실행하는 중앙 처리 유닛 또는 반도체 장치일 수 있다. 상기 메모리 및 상기 저장 유닛은 휘발성 저장 매체 또는 비 휘발성 저장 매체를 포함할 수 있다. 예컨대, 상기 메모리는 ROM 및 RAM을 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체에 상주할 수도 있다.
예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상, 본 발명의 바람직한 실시예를 통해 본 발명의 구성에 대하여 상세히 설명하였다. 그러나 전술한 실시예는 예시에 불과한 것으로서, 본 발명의 권리범위를 제한하지 아니한다. 본 발명의 기술분야에 통상의 지식을 가진 자라면 본 명세서의 교시와 시사로부터 본 발명의 기술적 사상의 범주내의 다양한 변형과 변경이 가능할 것이다. 예컨대, 교수자 단말(110)의 증강현실 처리부(125)와 저장부(130)는 하나의 모듈로 통합되어 구현되거나 또는 둘이나 그 이상의 장치로 분할하여 구현될 수 있다. 따라서, 본 발명의 보호범위는 이하의 특허청구범위의 기재에 의하여 정하여짐이 마땅하다.
Claims (14)
- 증강현실 콘텐츠를 이용해 현장 또는 원격으로 적어도 하나의 학습자의 훈련을 지도하기 위하여 상기 학습자의 훈련 과정을 파악하고, 훈련 수행에 필요한 지원 정보인 훈련지원 정보를 생성하는 교수자 단말;
상기 교수자 단말의 요청에 기초하여 상기 증강현실 콘텐츠를 이용한 훈련에 참여하는 교수자 단말과 학습자 단말을 관리하고, 상기 훈련 과정에서 이용되는 훈련 공간을 도출하기 위해 상기 교수자 단말과 학습자 단말이 위치한 훈련 공간을 분석하는 증강현실 서비스 제공서버; 및
상기 훈련지원 정보에 기초해 상기 학습자가 훈련 수행한 결과인 콘텐츠 훈련 정보를 상기 증강현실 서비스 제공서버로 전달하는 적어도 하나의 상기 학습자 단말을 포함하는 증강현실 교육 시스템. - 제1항에 있어서,
상기 교수자 단말이 상기 증강현실 서비스 제공서버로부터 전달받은 상기 콘텐츠 훈련 정보에 기초하여 상기 학습자의 훈련 수행 능력을 파악하고, 상기 학습자의 학습자 단말의 특성 및 상기 학습자의 특성 중 적어도 하나에 기초하여 상기 학습자를 위한 맞춤형 훈련지원 정보를 생성하는 것인 증강현실 교육 시스템. - 제2항에 있어서,
상기 학습자의 특성은 상기 학습자의 훈련 수행 능력 및 신체적 특성 중 적어도 하나를 포함하는 것인 증강현실 교육 시스템. - 제1항에 있어서
상기 증강현실 서비스 제공서버는 상기 교수자 단말 및 학습자 단말 중 적어도 하나가 전달한 훈련 공간 이미지에 기초하여 상기 훈련 공간을 분석하는 것인 증강현실 교육 시스템. - 제4항에 있어서,
상기 교수자 단말 및 학습자 단말은 상기 증강현실 서비스 제공서버의 공간 분석에 기초하여 생성된 훈련 수행 시작 위치 정보를 수신하는 것인 증강현실 교육 시스템. - 제1항에 있어서,
상기 증강현실 서비스 제공서버가 상기 학습자의 훈련 목표 달성을 위해 상기 학습자의 학습자 단말의 특성 및 상기 학습자의 신체적 특성 중 적어도 하나에 의해 결정되는 가변적 훈련 수행 기준 조건에 기초하여 상기 학습자의 훈련 수행 능력을 평가하는 것인 증강현실 교육 시스템. - 제1항에 있어서,
훈련지원 정보는 상기 교수자 단말이 상기 학습자의 객체 촬영 비율, 촬영 시도 횟수, 촬영 소요 시간, 목표 위치 접근 정도, 객체 촬영 비율의 변화, 및 과거의 훈련 기록 중 적어도 하나에 기초하여 생성하는 것인 증강현실 교육 시스템. - 증강현실 서비스 제공서버가 교수자 단말과 학습자 단말이 위치한 훈련 공간을 분석하는 단계;
상기 증강현실 서비스 제공서버가 상기 훈련 공간 분석 단계의 결과에 기초하여 상기 교수자 단말과 학습자 단말의 훈련 수행 시작 위치를 결정하는 단계;
상기 훈련 수행 시작 위치가 결정되면 상기 교수자 단말이 학습자의 훈련 수행에 필요한 지원 정보인 훈련지원 정보를 생성해서 상기 증강현실 서비스 제공서버로 전달하는 단계;
상기 증강현실 서비스 제공서버가 전달받은 상기 훈련지원 정보를 상기 학습자 단말로 전달하는 단계; 및
상기 훈련지원 정보에 기초해 상기 학습자가 훈련 수행한 결과인 콘텐츠 훈련 정보를 상기 학습자 단말이 상기 증강현실 서비스 제공서버로 전달하는 단계를 포함하고,
상기 학습자는 상기 학습자 단말을 이용하여 훈련을 수행하는 것인 증강현실 교육 방법. - 제8항에 있어서,
상기 증강현실 서비스 제공서버가 전달받은 상기 콘텐츠 훈련 정보를 상기 교수자 단말로 전달하는 단계;
상기 교수자 단말이 상기 콘텐츠 훈련 정보에 기초하여 상기 학습자를 위한 맞춤형 훈련지원 정보를 생성하는 단계; 및
상기 교수자 단말이 생성된 상기 맞춤형 훈련지원 정보를 상기 증강현실 서비스 제공서버로 전달하는 단계를 더 포함하는 증강현실 교육 방법. - 제8항에 있어서,
상기 증강현실 서비스 제공서버가 상기 교수자 단말과 학습자 단말이 위치한 훈련 공간을 분석하는 단계는
상기 교수자 단말 및 학습자 단말 중 적어도 하나가 제공한 훈련 공간 이미지에 기초하여 상기 증강현실 서비스 제공서버가 훈련 공간을 분석하는 단계를 포함하는 것인 증강현실 교육 방법. - 제8항에 있어서,
상기 증강현실 서비스 제공서버가 상기 훈련 공간 분석에 기초하여 상기 훈련 수행 시작 위치 정보를 생성하는 단계; 및
상기 증강현실 서비스 제공서버가 생성된 상기 훈련 수행 시작 위치 정보를 상기 교수자 단말 및 학습자 단말에게 전달하는 단계를 더 포함하는 증강현실 교육 방법. - 제9항에 있어서,
상기 학습자를 위한 맞춤형 훈련지원 정보를 생성하는 단계는
상기 증강현실 서비스 제공서버가 상기 학습자 단말마다 설정된 가변적 훈련 수행 기준 조건에 기초하여 상기 학습자의 훈련 수행 능력을 평가하는 단계를 포함하는 것인 증강현실 교육 방법. - 제12항에 있어서,
상기 학습자의 훈련 수행 능력을 평가하는 단계는
상기 증강현실 서비스 제공서버가 훈련 목표 달성을 고려하여 상기 학습자의 신체적 특성 및 학습자 단말의 기기 특성 중 적어도 하나에 의해 결정되는 가변적 훈련 수행 기준 조건을 설정하는 단계; 및
상기 증강현실 서비스 제공서버가 설정된 상기 가변적 훈련 수행 기준 조건에 기초하여 상기 학습자의 훈련 수행 능력을 평가하는 단계를 포함하는 것인 증강현실 교육 방법. - 제8항에 있어서,
상기 훈련지원 정보를 생성하는 단계는
상기 교수자 단말이 상기 학습자의 객체 촬영 비율, 촬영 시도 횟수, 촬영 소요 시간, 목표 위치 접근 정도, 객체 촬영 비율의 변화, 및 과거의 훈련 기록 중 적어도 하나에 기초하여 훈련지원 정보를 생성하는 단계를 포함하는 것인 증강현실 교육 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220064547A KR20230164871A (ko) | 2022-05-26 | 2022-05-26 | 증강현실 교육 시스템 및 방법 |
| US17/943,737 US20230386353A1 (en) | 2022-05-26 | 2022-09-13 | System for education in augmentation reality and method for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220064547A KR20230164871A (ko) | 2022-05-26 | 2022-05-26 | 증강현실 교육 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230164871A true KR20230164871A (ko) | 2023-12-05 |
Family
ID=88876476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220064547A KR20230164871A (ko) | 2022-05-26 | 2022-05-26 | 증강현실 교육 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230386353A1 (ko) |
| KR (1) | KR20230164871A (ko) |
-
2022
- 2022-05-26 KR KR1020220064547A patent/KR20230164871A/ko not_active Application Discontinuation
- 2022-09-13 US US17/943,737 patent/US20230386353A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230386353A1 (en) | 2023-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11600191B2 (en) | System and method for validating honest test taking | |
| US9812027B2 (en) | Anti-cheating device for online examination | |
| CN205334563U (zh) | 一种学生课堂参与度检测系统 | |
| CN109271945B (zh) | 一种在线实现作业批改的方法和系统 | |
| US20190311187A1 (en) | Computerized system and method for continuously authenticating a user's identity during an online session and providing online functionality based therefrom | |
| Purnama et al. | Geometry learning tool for elementary school using augmented reality | |
| US10037708B2 (en) | Method and system for analyzing exam-taking behavior and improving exam-taking skills | |
| KR102202730B1 (ko) | 학습자 행동 분석에 기반한 학습 관리 시스템 | |
| CN112331001A (zh) | 一种基于虚拟现实技术的教学系统 | |
| CN107851329A (zh) | 基于多个模型显示对象 | |
| KR20190125597A (ko) | 홍채인식형 hmd를 이용한 강의 시스템 | |
| KR102711511B1 (ko) | 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| JP2006330464A (ja) | 受講状態判別装置および方法並びにプログラム | |
| US20160180727A1 (en) | Student assessment grading engine | |
| JP2021018649A (ja) | 情報処理装置、出席状況管理方法、およびプログラム | |
| CN115223179A (zh) | 基于答题码的课堂教学数据处理方法和系统 | |
| CN115035542A (zh) | 用于将测试帧序列与参考帧序列进行匹配的系统和方法 | |
| Kim et al. | Virtual reality as a standard in the construction management curriculum | |
| KR20230164871A (ko) | 증강현실 교육 시스템 및 방법 | |
| Gartner et al. | Impact of restricted display size on spatial knowledge acquisition in the context of pedestrian navigation | |
| Cutter et al. | Improving the accessibility of mobile OCR apps via interactive modalities | |
| KR20230115649A (ko) | 아동 청소년용 사회성 및 인지능력 발달을 위한 vr 기반 학습 시스템 및 방법 | |
| Rodrigues et al. | A computer vision based web application for tracking soccer players | |
| CN111126279A (zh) | 一种手势互动方法及手势互动装置 | |
| Bownes | Using motion capture and augmented reality to test aar with boom occlusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |