KR20210146193A - 가상현실을 이용한 원격수업제공방법 - Google Patents

Abstract

본 발명은 가상현실을 이용한 원격수업제공방법을 개시한다. 본 발명에 따른 원격수업제공방법은 HMD를 이용한 가상현실을 이용한 원격수업제공 방법에 있어서, 서비스서버로부터 전송받은 제1 콘텐츠데이터를 디스플레이의 정중앙에 디스플레이하는 단계; 상기 정중앙에 디스플에이된 화면에 중첩된 제2 콘텐츠데이터를 디스플레이하는 단계; 상기 제2 콘텐츠데이터를 사용자기기의 입력장치로부터 입력받은 가상공간 상의 임의의 위치로 이동하는 단계;를 포함한다.

Description

가상현실을 이용한 원격수업제공방법{REMOTE-CLASS PROVIDING METHOD USING VIRTUAL REALITY}

본 발명은 원격수업제공방법에 대한 것으로 보다 구체적으로 가상현실을 이용한 원격수업을 제공하는 가상현실을 이용한 원격수업제공방법에 대한 것이다.

종래 평면의 디스플레이 화면을 활용한 데스크톱 컴퓨터기반 원격교육 서비스는 좁은 화면과 고성능의 하드웨어의 요청으로 대중화하기 어렵고, 원격으로 화상통화 등 방식으로 교육을 진행하더라도 학생 전원이 접속하여 수업을 진행시 음성이 중첩되거나 동일한 공간감각을 제공하지 못하는 점과 같은 불편함이 존재하였다.

한편, 가상현실을 이용하기 위하여 HMD(Head Mounted Display)를 착용하게 되는데, HMD를 착용한 후 얼마간의 시간 동안은 시각, 청각, 촉각 등 인지부조화로 인하여 시스템을 컨트롤하기에 다소 어려움이 따른다.

종래 웹페이지의 로그인 방식은 로그인 아이디와 비밀번호를 입력하는 방식이 주로 사용되었다. HMD의 경우 사용자의 모션트래킹을 위한 컨트롤러를 사용하여 가상공간에서의 키보드를 통해 아이디와 패스워드를 입력하는 방식을 사용할 수 있는데, 기존 컴퓨터에 사용되는 물리적 키보드에 비하여 정보입력시간이 지체될 수 있다.

로그인 수단으로 홍체인식, 지문정보입력 등의 방식을 사용할 수 있으나 생체인식을 위한 하드웨어를 별도로 설계해야 하므로 로그인 방식의 개선을 통한 사용자 경험(User experience) 디자인의 개선이 필요하다.

본 발명은 동시에 다수의 학생과 선생님이 접속가능한 가상의 공간을 구현하고, 교육콘텐츠가 학생이 착용한 사용자기기 상에서 제공됨으로써 실제 수업환경과 유사한 공간감을 전달하는 것을 목적으로 한다.

본 발명은 각각의 학생이 다른 방향을 바라보더라도 착용한 사용자기기에서 디스플레이되는 수업콘텐츠의 내용이 항상 사용자의 시선방향에 머무를 수 있도록 하여 집중력이 흐트러지기 쉬운 원격수업시 집중력 저하를 방지하는 것을 다른 목적으로 한다.

본 발명은 서비스 서버에 접속된 웹사이트(website, web) 또는 어플리케이션(application, app)을 통해 전송된 단순화된 암호정보(JWT 토큰, JSON Web Token)을 통해 가상학습공간에 로그인할 수 있도록 하여 사용자 편의성을 높이는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 기술적과제를 해결하기 위한 본 발명의 일양상에 따른 원격수업제공방법은 HMD(Head Mounted Display)를 이용한 가상현실을 이용한 원격수업제공 방법에 있어서, 상기 방법은, 서비스서버로부터 전송받은 제1 콘텐츠데이터를 디스플레이부의 정중앙에 디스플레이하는 단계; 상기 정중앙에 디스플에이된 화면에 중첩된 제2 콘텐츠데이터를 디스플레이하는 단계; 상기 제2 콘텐츠데이터를 사용자기기의 입력장치로부터 입력받은 가상공간 상의 임의의 위치로 이동하는 단계;를 포함한다.

여기서, 상기 제1 콘텐츠는 상기 사용자기기를 착용한 사용자의 시선방향의 변화가 이루어지더라도 가상공간에서 상기 사용자의 정면에 위치하도록 구비될 수 있다.

여기서, 상기 HMD는 무선 또는 유선 통신 모듈을 포함하고, 상기 무선 또는 유선 통신 모듈을 통해 상기 제1 및 제2 콘텐츠를 수신하도록 구비될 수 있다.

여기서, 상기 서비스서버는 상기 HMD로부터 수신된 암호토큰 정보를 복호화하여 얻은 사용자 정보를 이용하여 원격수업 참여자 데이터베이스 또는 결제정보 데이터베이스에 상기 사용자 정보와 매칭되는 사용자가 존재하는지 조회하는 단계;를 포함할 수 있다.

여기서, 상기 서비스서버는 상기 사용자기기로부터 미리 설정된 주기로 전송되는 중복로그인 확인정보를 수신하여 새로운 암호토큰 정보를 상기 사용자기기로 전송하는 단계;를 포함할 수 있다.

여기서, 상기 서비스서버는 포톤세션(Photon session)테이블에 상기 사용자정보를 이용한 튜플을 생성하여 상기 암호토큰과 상기 새로운 암호토큰에 매칭하여 저장하는 단계;를 포함할 수 있다.

본 발명의 다른 양상에 따른 HMD를 이용한 가상현실에서의 원격수업제공 방법에 있어서, 상기 방법은,서비스서버로부터 전송받은 제1 콘텐츠데이터를 미리 설정된 적어도 하나 이상의 제1 가상공간의 영역에 디스플레이 하는 단계; 상기 제1 가상공간의 영역과 중첩되거나 또는 중첩되지 않은 제2 가상공간의 영역에 제2 콘텐츠데이터를 디스플레이 하는 단계; 상기 서비스서버로부터 수신한 적어도 하나 이상의 제3 사용자를 형상화한 제3 사용자아바타를 제3 가상공간의 영역에 디스플레이 하는 단계;를 포함하고, 상기 제1 가상공간, 제2 가상공간 및 제3 가상공간의 영역은 사용자가 착용한 HMD디스플레이가 제공하는 하나의 가상공간영역에 포함되도록 구비된다.

여기서, 상기 제1 가상공간, 제2 가상공간 및 제3 가상공간 이외에 적어도 하나 이상의 새로운 가상공간 영역에 새로운 콘텐츠데이터가 디스플레이 되는 단계;를 더 포함할 수 있다.

여기서, 상기 제1 및 제2 콘텐츠는 동적이미지, 정적이미지, 소리 및 텍스트 중 어느 하나 이상으로 구비되고, 상기 제1 콘텐츠데이터가 동적이미지를 포함하는 경우, 상기 동적이미지의 재생이 종료되거나 또는 상기 서비스서버로부터 동적이미지 재생중단정보를 수신하는 경우, 상기 제2 콘텐츠데이터가 상기 제1 콘텐츠데이터의 재생역역인 상기 제1 가상공간에 포함되거나 또는 상기 제1 가상공간을 포함하는 영역으로 이동하여 디스플레이되는 단계;를 더 포함할 수 있다.

여기서, 상기 제3 사용자아바타를 제3 가상공간의 영역에 디스플레이 하는 단계는, 상기 서비스서버로부터 상기 제3 사용자의 움직임에 따른 자이로센싱정보를 이용하여 생성된 상기 제3 사용자아바타의 동적이미지를 수신하는 단계; 상기 수신된 동적이미지를 상기 제3 가상공간의 영역에 디스플레이 하는 단계;를 더 포함할 수 있다.

여기서, 상기 제2 콘텐츠데이터는 상기 HMD로부터 생성된 제어정보에 따라 상기 제1 콘텐츠데이터가 디스플레이된 상태에서 독립적으로 제어가능 하도록 구비될 수 있다.

여기서, 상기 제3 가상공간의 영역에 디스플레이 되는 상기 제3 사용자아바타는 상기 제3 사용자의 인적정보에 해당하는 이미지 또는 텍스트 정보를 포함하여 디스플레이되도록 구비될 수 있다.

여기서, 상기 HMD는 오디오 모듈을 더 포함하고, 상기 오디오 모듈은 상기 서비스서버로부터 수신된 마이크제어정보에 의하여 제어되도록 구비될 수 있다.

여기서, 상기 하나의 가상공간영역에는 상기 제1 가상공간, 상기 제2 가상공간과 중첩하지 않도록 상기 HMD의 마이크의 온/오프 제어정보가 디스플레이 되도록 구비될 수 있다.

여기서, 상기 제1 가상공간의 영역은 상기 사용자착용정보를 이용하여 상기 하나의 가상공간영역 내에서 이동가능하도록 구비될 수 있다.

여기서, 상기 제2 가상공간의 영역은 상기 제1 가상공간의 이동에 따라 함께 이동하도록 구비될 수 있다.

본 발명의 또다른 양상에 따르면, HMD를 이용한 가상현실에서의 원격수업제공 방법방법을 실행시키기 위하여 저장매체에 저장된 컴퓨터프로그램이 제공된다.

본 발명의 실시예에 따르면, 본 발명은 동시에 다수의 학생과 선생님이 접속가능한 가상의 공간을 구현하고, 교육콘텐츠가 학생이 착용한 사용자기기 상에서 제공됨으로써 실제 수업환경과 유사한 공간감을 전달하여 원격교육의 몰입도를 증가할 수 있다.

본 발명은 각각의 학생이 다른 방향을 바라보더라도 착용한 사용자기기에서 디스플레이되는 수업콘텐츠의 내용이 항상 사용자의 시선방향에 머무를 수 있도록 하여 집중력이 흐트러지기 쉬운 원격수업시 집중력 저하를 방지할 수 있다.

본 발명은 서비스 서버에 접속된 웹사이트(website, web) 또는 어플리케이션(application, app)을 통해 전송된 단순화된 암호정보(JWT 토큰)을 통해 가상학습공간에 로그인할 수 있도록 하여 사용자가 쉽게 로그인 할 수 있도록 함으로써 사용자 편의성을 높일 수 있다.

본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 사용되기 위한 HMD에 포함될 수 있는 전자장치 구성의 블록도를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 원격수업제공방법의 순서도이다.
도 3은 사용자와 제3 사용자 및 서비스서버에 의한 원격수업제공방법의 시스템도이다.
도 4 내지 도 14는 본 발명의 실시예에 따른 원격수업제공방법의 예시도 또는 설명도이다.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기증을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.

또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 발명의 실시예에 있어서, 사용자 기기라고 함은 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, PDA, 휴대전화, 게임기 등 데이터를 수집, 판독, 처리, 가공, 저장, 표시할 수 있는 모든 계산 수단을 의미한다. 특히, 본 발명의 실시예에 있어서의 사용자 기기는 해독 가능한 코드로 작성된 소프트웨어를 실행시킬 수 있으며, 이를 사용자에게 표시하여 전달할 수 있는 기능을 갖는 장치이다. 또한, 필요에 따라서는 소프트웨어를 자체적으로 저장하기도 하고, 또는 외부로부터 데이터와 함께 읽어 들일 수도 있다.

도 1은 본 발명에 사용되기 위한 HMD에 포함될 수 있는 전자장치 구성의 블록도를 도시한 도면이다.

본 발명의 일 실시 예에 따른 사용자의 HMD(100) 또는 제3 사용자의 HMD(400)는 도 1에 도시된 전자 장치(1401)의 전체 또는 일부를 포함할 수 있다.

도 1을 참조하면, 상기 전자 장치(1401)는 하나 이상의 프로세서(예: AP)(1410), 통신 모듈(1420), 가입자 식별 모듈(1424), 메모리(1430), 센서 모듈(1440), 입력 장치(1450), 디스플레이(1460), 인터페이스(1470), 오디오 모듈(1480), 카메라 모듈(1491), 전력 관리 모듈(1495), 배터리(1496), 인디케이터(1497), 및 모터(1498)를 포함할 수 있다.

프로세서(1410)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(1410)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(1410)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(1410)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(1410)는 도 14에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(1421))를 포함할 수도 있다. 프로세서(1410)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.

통신 모듈(1420)(예: 통신 인터페이스(1370))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(1420)은, 예를 들면, 셀룰러 모듈(1421), WiFi 모듈(1423), 블루투스 모듈(1425), GNSS 모듈(1427), NFC 모듈(1428) 및 RF 모듈(1429)를 포함할 수 있다. 셀룰러 모듈(1421)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(1421)은 가입자 식별 모듈(예: SIM 카드)(1424)을 이용하여 통신 네트워크 내에서 전자 장치(1401)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(1421)은 프로세서(1410)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(1421)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(1421), WiFi 모듈(1423), 블루투스 모듈(1425), GNSS 모듈(1427) 또는 NFC 모듈(1428) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(1429)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(1429)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(1421), WiFi 모듈(1423), 블루투스 모듈(1425), GNSS 모듈(1427) 또는 NFC 모듈(1428) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(1424)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.

메모리(1430)(예: 메모리(1330))는, 예를 들면, 내장 메모리(1432) 또는 외장 메모리(1434)를 포함할 수 있다. 내장 메모리(1432)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 DRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(1434)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(1434)는 다양한 인터페이스를 통하여 전자 장치(1401)와 기능적으로 또는 물리적으로 연결될 수 있다.

센서 모듈(1440)은, 예를 들면, 물리량을 계측하거나 전자 장치(1401)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(1440)은, 예를 들면, 제스처 센서(1440A), 자이로 센서(1440B), 기압 센서(1440C), 마그네틱 센서(1440D), 가속도 센서(1440E), 그립 센서(1440F), 근접 센서(1440G), 컬러(color) 센서(1440H)(예: RGB(red, green, blue) 센서), 생체 센서(1440I), 온/습도 센서(1440J), 조도 센서(1440K), 또는 UV(ultra violet) 센서(1440M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(1440)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(1440)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1401)는 프로세서(1410)의 일부로서 또는 별도로, 센서 모듈(1440)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(1410)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(1440)을 제어할 수 있다.

입력 장치(1450)는, 예를 들면, 회전 입력 장치(1451), 터치 패널(1452), (디지털) 펜 센서(1454), 키(1456), 또는 초음파 입력 장치(1458)를 포함할 수 있다. 터치 패널(1452)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(1452)은 제어 회로를 더 포함할 수도 있다. 터치 패널(1452)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(1454)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(1456)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(1458)는 마이크(예: 마이크(1488))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.

본 발명의 다양한 실시 예에 따라, 상기 회전 입력 장치(1451)는 휠 다이얼 부재, 휠 스크롤 버튼 등과 기능적으로 연결되어 외부로부터의 휠 입력을 수신할 수 있다. 예컨대, 상기 디스플레이(1460)를 통해 선택 객체가 이동하도록 표시될 때, 전자 장치(1401)는 상기 선택 객체가 이동한 위치에 기반하여 휠 입력에 기반하여 어플리케이션 또는 콘텐트의 실행을 제어하는 인터페이스를 표시하고, 상기 인터페이스가 표시된 상태에서 수신된 휠 입력에 기반하여 어플리케이션 또는 콘텐트의 실행이 제어될 수 있다.

디스플레이(1460)(예: 디스플레이(1360))는 패널(1462), 홀로그램 장치(1464), 프로젝터(1466), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(1462)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(1462)은 터치 패널(1452)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(1462)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(1452)과 일체형으로 구현되거나, 또는 터치 패널(1452)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(1464)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(1466)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(1401)의 내부 또는 외부에 위치할 수 있다. 인터페이스(1470)는, 예를 들면, HDMI(1472), USB(1474), 광 인터페이스(optical interface)(1476), 또는 D-sub(D-subminiature)(1478)를 포함할 수 있다. 인터페이스(1470)는, 예를 들면, 도 13에 도시된 통신 인터페이스(1370)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(1470)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.

오디오 모듈(1480)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(1480)의 적어도 일부 구성요소는, 예를 들면, 도 13에 도시된 입출력 인터페이스(1350)에 포함될 수 있다. 오디오 모듈(1480)은, 예를 들면, 스피커(1482), 리시버(1484), 이어폰(1486), 또는 마이크(1488) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(1491)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(1495)은, 예를 들면, 전자 장치(1401)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(1495)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(1496)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(1496)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.

인디케이터(1497)는 전자 장치(1401) 또는 그 일부(예: 프로세서(1410))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(1498)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(1401)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다.

본 발명에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(1401))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.

도 2는 본 발명의 실시예에 따른 원격수업제공방법의 순서도이고, 도 3은 사용자와 제3 사용자 및 서비스서버에 의한 원격수업제공방법의 시스템도이다.

HMD는 무선 또는 유선 통신 모듈을 포함하고, 상기 무선 또는 유선 통신 모듈을 통해 상기 제1 및 제2 콘텐츠를 수신하도록 구비될 수 있다.

우선, 본 발명의 실시예에 따른 원격수업제공방법은 HMD(Head Mounted Display)를 이용한 가상현실을 이용한 원격수업제공 방법으로써, 서비스서버로부터 전송받은 제1 콘텐츠데이터를 디스플레이부의 정중앙에 디스플레이하는 단계를 포함한다.

제1 콘텐츠는 상기 사용자기기를 착용한 사용자의 시선방향의 변화가 이루어지더라도 가상공간에서 상기 사용자의 정면에 위치하도록 구비될 수 있다. 가상공간의 수업을 진행하는 경우 사용자의 시선의 이동에 따라 수업에 사용되는 콘텐츠를 집중할 수 없는 경우가 발생할 수 있으나 시선방향의 변화에 따라 함께 제1 콘텐츠가 공간상에 배치되어 사용자의 시선 정면에 위치하도록 함으로써 수업내용에 대한 집중이 이루어질 수 있도록 할 수 있다.

본발명의 일실시예에 따른 원격수업제공방법에서는 제1 가상영역의 큰 스크린에서는 영상을 보고 문서를 함께 볼 수 있는 기능 제공, 지도교사의 지시에 따라 넘겨서 볼 수 있도록 구비될 수 있고(영상을 보면서 자료를 볼 수 있는 UX), 학급 전체가 함께 볼 수 있는 360도 영상 지원을 지원하여 40명이 동시에 360영상을 감상하도록 구비될 수 있다.

한편, 360도 영상의 감상을 하는 경우 사용자의 시선이 머무는 평면의 제3 사용자 등의 아바타는 콘텐츠 감상을 방해(특정 영역은 옆사람이나 뒷사람에게 가려서 보이지 않는 문제가 있음)할 수 있는데, 이를 해결하기 위해 근처의 몇 명 단위로만 묶여 보이고 나머지가 보이지 않도록 360도 영상을 제공할 수 있다.

기타 코믹스브이社의 VR웹툰 형식인 360 이미지파일들의 연속형태를 이용한 웹툰 원고 포맷인 Vrzip을 지원하도록 하여, 교사가 쉽게 360도 형식의 ppt와 교육자료 제작이 가능하고, 코믹스브이社에서 제작한 교육용 VR웹툰을 볼 수 있도록 함으로써 수업의 적극적 참여를 이끌 수 있다(교사, 학생들이 쉽게 만들어 볼 수 있는 VRzip 지원).

참고로, 코믹스브이社의 VRzip 은 VR웹툰 교육을 통해 초등학생들도 쉽게 제작했던 코믹스브이의 고유 VR콘텐츠 포맷으로 교사들이3D나 별도의 도구를 배우지 않더라도 쉽게 VR전용 교육 자료를 만들 수 있도록 구비되어 있다.

다음으로, 상기 정중앙에 디스플에이된 화면에 중첩된 제2 콘텐츠데이터를 디스플레이하는 단계를 포함한다. 제2 콘텐츠는 제1 콘텐츠를 보완하는 텍스트 등의 자료화면으로 제공될 수 있는데, 제1 콘텐츠를 임의로 종료하거나 또는 제1 콘텐츠의 부연설명이 필요한 경우 제2 콘텐츠가 제1 콘텐츠 중앙의 위치로 이동하게 되어 사용자가 제2 콘텐츠를 통해 학습을 자연스럽게 이어갈 수 있도록 한다.

제2 콘텐츠는 제1 콘텐츠를 가리지 않는 임의의 영역에 디스플레이 되도록 설정된 후 제1 콘텐츠의 종료, 중단 등의 이벤트 발생시 상기 과정을 통해 사용자가 보기 용이한 위치로 이동하도록 구비될 수 있다.

다음으로, 상기 제2 콘텐츠데이터를 사용자기기의 입력장치로부터 입력받은 가상공간 상의 임의의 위치로 이동하는 단계를 포함한다. 열람을 마친 제2 콘텐츠데이터는 사용자의 입력장치 등의 조작에 의하여 가상공간영역의 임의의 위치로 이동할 수 있다. 이를 통해 사용자의 정면에 확보된 가상영역의 공간에 필기가 가능한 필기창이 디스플레이되거나 또는 강의의 음성, 음향 등을 녹음, 재생, 중단하기 위한 메뉴버튼 등이 디스플레이되어 사용자가 개인화된 학습정보를 이용하도록 구비될 수 있다.

도 2는 본 발명의 다른 실시예에 따른 HMD를 이용한 가상현실에서의 원격수업제공 방법의 순서도이다. 보다 구체적으로 원격수업제공방법은 서비스서버로부터 전송받은 제1 콘텐츠데이터를 미리 설정된 적어도 하나 이상의 제1 가상공간의 영역에 디스플레이 하는 단계를 포함한다(S110).

제1 가상공간, 제2 가상공간 및 제3 가상공간의 영역은 사용자가 착용한 HMD디스플레이가 제공하는 하나의 가상공간영역에 포함되도록 구비된다.

도 4를 참고하면 제1 콘텐츠데이터가 제1 가상공간의 영역에 디스플레이 된 것을 확인할 수 있다. 사용자는 가상공간영역의 일정 부분을 차지하는 대형의 디스플레이 공간에 제1 콘텐츠데이터가 제공되므로 일반 모니터장비에 비한 화면보다 학습의 몰입감을 증대할 수 있다. 도 4를 참고하면 제2 콘텐츠가 사용자의 좌측편 가상영역에 디스플레이된 것을 확인할 수 있다. 제1 콘텐츠만으로 전달하기 어려운 정보를 제2 콘텐츠데이터로 제공하므로 사용자는 효과적으로 학습정보를 선택하여 학습할 수 있다. 학습정보는 사용자의 시선방향을 제2 콘텐츠데이터방향으로 돌리게 되면, 도 4의 (B)에 도시된 바와 같이 제2 콘텐츠만을 집중하여 확인할 수 있도록 구비된다.

한편, 제2 콘텐츠데이터는 상기 HMD로부터 생성된 제어정보에 따라 상기 제1 콘텐츠데이터가 디스플레이된 상태에서 독립적으로 제어가능 하도록 구비될 수 있다. 즉, 사용자가 제2 콘텐츠데이터를 스크롤 하거나 확대하여 확인이 가능하도록 구비되어 오프라인환경보다 개선된 학습자료를 이용하도록 할 수 있다.

다음으로, 상기 제1 가상공간의 영역과 중첩되거나 또는 중첩되지 않은 제2 가상공간의 영역에 제2 콘텐츠데이터를 디스플레이 하는 단계를 포함한다(S120).

특히, 상기 제1 및 제2 콘텐츠는 동적이미지, 정적이미지, 소리 및 텍스트 중 어느 하나 이상으로 구비되고, 상기 제1 콘텐츠데이터가 동적이미지를 포함하는 경우, 상기 동적이미지의 재생이 종료되거나 또는 상기 서비스서버로부터 동적이미지 재생중단정보를 수신하는 경우, 상기 제2 콘텐츠데이터가 상기 제1 콘텐츠데이터의 재생역역인 상기 제1 가상공간에 포함되거나 또는 상기 제1 가상공간을 포함하는 영역으로 이동하여 디스플레이되는 단계를 더 포함할 수 있다.

도 5를 참고하면, 제1 콘텐츠데이터가 제2 콘텐츠데이터와 함께 사용자에게 제공되고 있다. 도 5의 (B)를 참고하면, 제1 콘텐츠의 재생이 종료된 경우 즉시, 제2 콘텐츠데이터가 제1 가상영역의 방향으로 이동한 것을 확인할 수 있다. 이처럼, 제1 콘텐츠데이터에 의한 학습이 종료된 이후 제2 콘텐츠데이터에 의한 연속적 학습이 이루어질 수 있도록 별도의 조작을 가하지 않더라도 제2 콘텐츠데이터가 사용자의 전면으로 이동함으로써 학습효율을 증가시킬 수 있다.

다음으로, 상기 서비스서버로부터 수신한 적어도 하나 이상의 제3 사용자를 형상화한 제3 사용자아바타를 제3 가상공간의 영역에 디스플레이 하는 단계를 포함한다(S130).

도 6을 참고하면, 아바타(Avatar) 1이 사용자의 전면에 디스플레이 된 모습과 아바타 2가 사용자의 전면 우측에 디스플레이 된 모습을 확인할 수 있다. 아바타는 실제수업에 참여하는 제3 사용자를 나타내는 것으로 제3 사용자가 실제로 함께 수업을 듣는 것과 같은 현장감을 느낄 수 있도록 한다. 도 6은 단순화된 이미지에 의한 아바타가 도시되었으나, 이에 한정하지 않으며 실제 제3 사용자의 사진이미지 등을 이용하거나 또는 제3 사용자의 실시간 이미지영상을 이용하여 제공될 수 있다.

한편, 상기 제3 사용자아바타를 제3 가상공간의 영역에 디스플레이 하는 단계는, 상기 서비스서버로부터 상기 제3 사용자의 움직임에 따른 자이로센싱정보를 이용하여 생성된 상기 제3 사용자아바타의 동적이미지를 수신하는 단계, 상기 수신된 동적이미지를 상기 제3 가상공간의 영역에 디스플레이 하는 단계를 더 포함할 수 있다.

제3 사용자 역시 사용자가 착용한 HMD와 같은 기능을 구현하는 HMD를 착용하여 수업에 참여하게 될 수 있으며 실제 사용자 또는 제3 사용자의 머리 등의 움직임이 있는 경우에 이러한 정보를 아바타 이미지에 반영함으로써 실제와 같은 수업환경을 제공할 수 있다. 사용자는 학습정보 이외의 노이즈(noise)에 해당하는 제3 사용자의 아바타이미지 움직임을 통해 실제와 같은 교실환경을 느낄 수 있고, 학습에 보다 몰입할 수 있도록 하는 주의의 환기가 이루어질 수 있다.

한편, 상기 제3 가상공간의 영역에 디스플레이 되는 상기 제3 사용자아바타는 상기 제3 사용자의 인적정보에 해당하는 이미지 또는 텍스트 정보를 포함하여 디스플레이되도록 구비될 수 있다. 학급의 어떤 급우가 내 주변에 있는지 확인하기 위하여 사용자의 이미지를 실제 이미지를 활용하는 이외에 급우의 이름, 별명 등 텍스트가 아바타와 함께 제공되도록 하여 사용자가 특정 집단에 소속되어 있다는 점을 느끼도록 하는 한편, 추가되는 데이터의 사용을 제한함으로써 시스템의 속도저하를 방지할 수 있다.

또한, 제1 콘텐츠데이터, 제2 콘텐츠데이터 또는 제3 사용자아바타가 디스플레이되는 상기 제1 가상공간, 제2 가상공간 및 제3 가상공간 이외에 적어도 하나 이상의 새로운 가상공간 영역에 새로운 콘텐츠데이터가 디스플레이 되는 단계를 더 포함할 수 있다.

새로운 가상의 공간에 새로운 학습 콘텐츠데이터가 제시됨으로써 다중 학습교구를 사용자에게 제시하도록 하여, 기존 오프라인에서의 물리적 공간 제약이 없이 필요한 학습정보를 사용자에게 제공할 수 있으므로 학습효율을 크게 증가시킬 수 있다.

새로운 가상의 공간에 새로운 학습 콘텐츠데이터가 제시될 때마다 생성된 새로운 가상의 공간 방향 벡터가 적용된 음성, 음향 정보가 함께 출력될 수 있다.

일반적으로 사람의 장기 기억은 시각정보에 비하여 소리정보에 의존하는 경향이 크므로, 소리정보가 시각화된 새로운 학습콘텐츠데이터와 함께 제공됨으로써 사용자가 오래도록 학습데이터를 기억하는데 도움이 될 수 있다.

상기 HMD는 오디오 모듈을 더 포함하고, 상기 오디오 모듈은 상기 서비스서버로부터 수신된 마이크제어정보에 의하여 제어되도록 구비될 수 있다. 사용자와 복수의 제3 사용자가 접속하여 수업을 받는 경우 각각의 오디오 모듈에 입력된 음성 등이 모두에게 공유되도록 구비될 수 있다. 이 경우, 지나친 음성데이테 등의 입력은 학습을 방해할 수 있다. 아울러, 지도교사의 음성을 집중적으로 전달할 필요가 있는 경우 지도교사는 서비스서버로 마이크제어정보를 전달할 수 있고 마이크제어정보를 통해 오디오 모듈의 마이크 기능이 제어되도록 구비될 수 있다.

상기 하나의 가상공간영역에는 상기 제1 가상공간, 상기 제2 가상공간과 중첩하지 않도록 상기 HMD의 마이크의 온/오프 제어정보가 디스플레이 되도록 구비될 수 있다.

도 7을 참고하면, 마이크 아이콘의 색채가 변경된 것을 확인할 수 있다. (A)는 마이크가 온(on)된 상태이고, (B)는 마이크가 오프(off)된 상태를 나타낸다. 한편, 사용자는 마이크 아이콘을 선택하여 클릭, 터치 등 입력신호를 발생할 수 있는데, 입력신호는 서비스서버로 전송되어 다시 지도교사에게 전달될 수 있다. 이를 통해 사용자가 발언기회를 얻는 경우, 지도교사는 사용자의 마이크를 온(on)할 수 있는 마이크제어정보를 서비스서버에 송신함으로써 사용자의 음성이 지도교사 또는 제3 사용자 등에게 전달될 수 있도록 구비될 수 있다.

여기서, 상기 제1 가상공간의 영역은 상기 사용자착용정보를 이용하여 상기 하나의 가상공간영역 내에서 이동가능하도록 구비될 수 있다. HMD의 경우 사용자의 머리의 움직임에 따라 여러 방향의 가상영역을 디스플레이 할 수 있으므로 제1 가상공간의 영역으로부터 미리 설정한 임의의 영역으로 사용자의 시선이 이동하게 되면, 함께 제1 가상공간의 영역이 이동하여 사용자의 시선에서 제1 콘텐츠데이터가 벗어나지 않도록 구비될 수 있다. 이를 통해 사용자는 오프라인에서 체험하기 어려운 학습몰입효과를 얻을 수 있다. 제2 콘텐츠데이터가 디스플레이되는 제2 가상공간의 영역도 상기 제1 가상공간의 이동에 따라 함께 이동하도록 구비될 수 있다.

본 발명의 다른 실시예에 따르면, 사용자가 원격수업에 접속하기 위한 편의성을 증대하기 위하여 사용자 아이다 및/또는 패스워드를 입력하는 단계와 JWT토큰을 송신 받아 HMD로그인에 사용하도록 구비될 수 있다.

사용자는 사용자의 데스크탑 컴퓨터, 태블릿 컴퓨터 또는 스마트 폰 등 개인화 기기를 통하여 원격수업에 접속하기 위한 로그인 정보를 입력하고 로그인 정보에 의하여 서비스서버가 생성한 별도의 JWT토큰을 수신하고, 간략화된 로그인 정보인 JWT토큰을 HMD 컨트롤러를 통해 입력함으로써 별도의 디스플레이기기인 HMD의 보안성을 높일 수 있다.

이를 위해 서비스서버는 미리 회원가입 등을 통해 확보한 사용자가 입력한 사용자 이름 및/또는 패스워드 정보를 이용하여 JWT토큰을 생성한다.

보다 구체적으로 서비스서버는 원격수업에 접속하기 위하여, 사용자로부터 수신한 사용자이름 및 패스워드 정보를 포함하는 로그인 정보를 이용하여 JWT토근을 생성하는 단계를 수행하고, 생성된 JWT토큰을 사용자에게 전송하는 단계를 수행할 수 있다.

사용자는 HMD를 통해 JWT토큰을 서비스 서버로 재송신하게 되고 서비스서버는 사용자로부터 상기 JWT토큰을 재수신하는 단계가 수행될 수 있다.

이때, 서비스서버는 JWT토큰을 복호화하여 새로운 사용자식별정보를 생성하고 상기 사용자에게 아바타아이디 또는 사용자이름을 전송함으로써 이를 이용하도록 하는 반환하는 단계를 더 수행하게 될 수 있다.

한편, 서비스서버가 JWT토큰을 생성하는 단계는, 사용자 결제정보를 입력하거나 또는 수신하는 단계와 상기 서비스서버는 상기 복호화된 사용자식별정보를 이용하여 상기 로그인 정보를 조회하고, 상기 로그인 정보와 매칭되는 사용자가 상기 입력되거나 또는 수신된 사용자 결제정보에 포함된 것을 확인하는 단계를 거쳐 수행될 수 있다.

결제정보 확인단계는 유료화 강의의 정기적 수강 또는 단기적 수강을 위한 단계로써, 사용자의 결제정보를 서비스서버의 입력수단을 통해 입력하거나 또는 별도의 결제정보처리 서버로부터 수신함으로써 수행될 수 있다.

도시되지는 않았으나, 상기 입력수단은 결제정보를 처리하기 위한 접촉/비접촉식 카드단말기, 텍스트 또는 이미지 입력수단 또는 사용자 생체정보 인식수단 등을 포함할 수 있다. 상기 사용자 생체정보는 홍체, 지문, 정맥분포정보 및 음성정보 중 어느 하나 이상을 포함한 것일 수 있다.

결제정보에 포함된 사용자정보와 매칭되는 것인지 확인하기 위하여 JWT토큰은 복호화되어 사용자식별정보로 변환되어 사용자의 동일성을 식별할 수 있도록 동일하거나 또는 상응하는 알고리즘으로 복호화된 사용자 로그인 정보와 매칭여부를 식별하는데 사용될 수 있다.

사용자는 HMD와 태블릿, 데스크탑 컴퓨터 또는 스마트폰 등에 인접한 상태로 JWT토큰을 수신하고 이를 이용하여 원격수업에 접속할 수 있으므로 HMD 컨트롤러의 사용이 익숙하지 않은 원격수업에 빠른 접속이 가능하다.

이때, JWT토큰은 HMD의 디스플레이에 의하여 생성된 정보입력창 등을 통하거나 또는 HMD의 마이크 또는 카메라 등에 의하여 식별될 수 있는 정보라면 어느 것이든 제한되지 않는다.

상기 JWT토큰은 예를 들면, 한 자리 이상의 숫자 또는 글자가 이용될 수 있다. 또는 태블릿, 데스크탑 컴퓨터 또는 스마트폰을 통해 입력된 사용자의 생체정보로써 음성, 홍체, 정맥혈에 대한 정보 등이 이용될 수 있다.한편, 태블릿, 데스크탑 컴퓨터 또는 스마트폰은 중복 로그인을 방지하기 위하여 일정한 시간 간격으로 서비스서버로 JWT토큰 또는 이를 이용하여 생성된 로그인확인정보를 생성하여 전송하여 로그인 상태확인을 하도록 구비될 수 있다.

상기 로그인 상태확인을 위한 일련의 프로세스는 서비스서버로부터 미리 태블릿, 데스크탑 컴퓨터 또는 스마트폰에 전송된 것일 수 있다.

본 발명의 실시예에 따른 원격수업제공방법은 비대면 기반의 가상현실 교실 속에서 수업을 수행하기 위한 것으로 지도교사는 PC의 SW를 통해 발표 자료와 영상을 공유하고 목소리로 강의를 진행할 수 있도록 구비될 수 있다(교사는 기존 방법대로 강의).

또한, 지도교사와 학생이 웹을 통해 회원가입, 수업 연결, 학생부, 자료관리가 가능하며 교사는 수업에 소속된 학생들의 스마트폰에 알림을 보내는 등의 수업 관리용 웹/모바일 서비스가 제공될 수 있다 (웹/모바일 기반의 수업과 학생 관리).

특히, 가상현실 교실에서 선생님의 수업을 듣고, 큰 화면으로 영상을 시청하고, 선생님이 공유한 문서를 함께 볼 수 있으며, 선생님께 질문하여 실제 교실과 같은 경험이 가능하고, 쉬는 시간에 아바타를 이동하여 친구와 대화가 가능하도록 구비될 수 있다(VR HMD를 이용한 현장감 있는 교실).

도 8을 참고하면, 아바타 1, 아바타 2 및 아바타 3이 쉬는 시간을 이용하여 함께 모여 대화하는 모습이 도시되어 있다. 실제로 쉬는 시간 사용자 및 복수의 제3 사용자가 가상공간의 임의의 영역으로 이동하고 대화를 할 수 있도록 구비될 수 있다. 이때, 대화를 나누는 사용자와 제3 사용자사이의 음성데이터는 임의 선택에 따라 지도교사 또는 기타 다른 제3 사용자에게 공유되거나 또는 공유되지 않도록 구비될 수 있다.

본 발명의 실시예에 따른 원격수업제공방법은 웹 플랫폼을 기반으로 하고 있어, 확장이 용이하고 유투브, 구글드라이브와 같은 기존의 웹기반의 플랫폼들과 API에 기반하여 연동 개발이 용이하며, 오픈API를 통해 플랫폼의 개방화가 가능한 특징을 갖는다(확장성, 개방성이 높은 웹 기반 플랫폼).

아울러, 전용 4k 모바일 VR HMD를 제공하여, 가격이 값싸면서도 높은 품질의 영상과 텍스트를 볼 수 있다(교육에 적합한 저렴한 고해상도 모바일 VR HMD 타겟). 또한, 본 발명의 실시예에 따른 원격수업제공방법은 웹기반의 회원/학생/수업 관리를 하므로 업데이트가 용이하고 별도의 앱 설치가 필요 없도록 구비될 수 있다(접근이 쉬운 웹 서비스). 이를 위하여 학생용 모바일앱을 제공하여, 학생 스마트폰을 통해 교사가 수업에 대한 공지와 알림을 쉽게 할 수 있다. 한편, 한 학급 전체의 학생이 돌아다니며 떠들 수 있는 가상의 교실공간에서 공간 사운드를 지원하여 학생들이 동시에 이야기를 하더라도 공간감을 느끼며 함께 이야기가 가능하며, 쉬는 시간에 이동이 가능하게 하여 실제 교실에서 공간을 느끼도록 할 수 있다. 원격수업의 경우 물리적 접촉이 없는 점을 감안할 때 수업에 참여하는 사용자 등의 학생이 좀더 소속감을 가질 수 있도록 잡담 등을 공유할 수 있도록 구비될 수 있다.

본 발명의 실시예에 따른 원격수업제공방법은 하기의 효과를 제공할 수 있다.

- 교육현장의 활용성

o 교육현장의 수요 부합성

- (미래 비대면 교육의 욕구 증가) 5g시대를 맞아 새로운 디지털 교육에 대한 욕구가 커지고 있으며, 최근 코로나19로 인해 비대면 교육에 대한 욕구가 커지고 있음

- (VR의 높은 교육효과) VR교육은 스탠포드 대학과 덴마크 기술대학의 연구에 의하면 기존 교육보다 76% 이상 학습 효과가 증가하여 교육효과면에서 탁월한 성능 보임

- (극복되어가는 VR HMD시장) 기존 VR HMD의 경우 가격과 어지러움증 등의 이유로 보급이 어려웠으나 2019년부터 보급되기 시작한 올인원 형식의 모바일 VR HMD는 저렴한 가격과 카드보드와 비교할 수 없는 높은 품질로 교육 현장에 보급가능한 수준으로 가격이 하락하였으며 스마트폰이 발전과 함께 빠르게 성능이 향상되고 있음

- (LMS와 교육자료를 제공하는 VR교육 플랫폼) 본 발명에 따른 원격수업제공방법은 교사들이 웹을 통해 학생들을 수업에 참여시켜 커뮤니티로 활용이 가능하며 교과 과정에 맞춘 국내 유/무료 VR자료를 제공과 함께, 교사가 만들어 올릴 수 있는 교육용 수업 자료실을 개발하여 완벽한 LMS를 갖춘 국내 VR교육 플랫폼으로 활용될 수 있음

- (학교의 반에 과목별 선생님이 방문하는 시나리오 그대로) 사회적 문제(예: 코로나19)로 개학이 늦춰진 상황에서 교사들은 학생들에게 개별적으로 VR HMD를 제공하여 비대면 VR강의를 열 수 있음.

한 사람의 강사와 다수의 학생들을 기본으로 하나, 학교에 반별로 한 대의 PC를 배정하고, 각 PC를 반별로 클래스를 만들면, 과목별 교사들이 각 PC에서 번갈아가며 비대면 VR교육을 수행하여 학교 오프라인 교육을 재현할 수 있음

- 제품(서비스)의 해외(개발도상국) 활용 가능성

- (심각해져가는 해외 코로나19) 코로나19의 전염을 차단하지 못하고 있으며, 어린이까지 사망하는 코로나19의 변이(variation)가 WHO에서 언급이 되며, 해외에서는 비대면 교육은 생존수단이 되고 있음. 의료 인프라가 약한 개발도상국에서는 어린이들이 가장 큰 피해자가 될 수 있음

- (낮은 수준의 네트워크에서도 동작) 교사용 PC가 서버가 되는 방식이 아닌 p2p방식이며, 영상을 제외한 다른 문서와 Voip(음성)의 경우 낮은 대역폭을 이용하여 네트워크 인프라가 충분하지 않은 개발도상국에서도 가능

- (PC가 없어도 서비스) PC가 불필요한 통합 VR HMD를 제공, 비교적 낮은 도입 비용으로 원격수업을 제공할 수 있음

- (개발도상국의 낮은 인터넷 속도에서도 이용 가능) 웹은 REST API를 통해 텍스트 수준의 데이터를 주고 받고, 음성은 p2p기반으로 동작하고, 문서를 각자의 VR 기기에 다운로드하여 넘겨 보는 방식으로 수업이 가능하므로 단말간 데이터 이동은 매우 적은 수준으로 인터넷 환경이 원활하지 않는 곳에서도 운용 가능

- 전염병(pandemic) 의료인프라가 취약한 개도국에 더욱 효과적인 K-에듀테크 전파가 될 수 있음

- 모바일 VR은 PC나 노트북과 달리, 이동이 용이 하며 활용 가능성이 높음

- 스마트폰처럼 배터리를 장착하고 있어, 안정적인 전기 공급이 필요 없음

- 개발도상국에 5g등 우수한 한국 무선 인터넷의 진출과 함께 가능

- 개발도상국의 경우 한국과 같은 유선 인터넷보다도 스마트폰 저속 무선인터넷의존도가 높아 고해상도 영상보다 웹툰과 같은 콘텐츠 소비가 높음, 단독 VR HMD의 경우 4G나 5G지원 단말이 출현하여 스마트폰과 같이 개발도상국 보급이 용이함

본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (10)

1. HMD를 이용한 가상현실에서의 원격수업제공 방법에 있어서,
   상기 방법은,
   서비스서버로부터 전송받은 제1 콘텐츠데이터를 미리 설정된 적어도 하나 이상의 제1 가상공간의 영역에 디스플레이 하는 단계;
   상기 제1 가상공간의 영역과 중첩되거나 또는 중첩되지 않은 제2 가상공간의 영역에 제2 콘텐츠데이터를 디스플레이 하는 단계;
   상기 서비스서버로부터 수신한 적어도 하나 이상의 제3 사용자를 형상화한 제3 사용자아바타를 제3 가상공간의 영역에 디스플레이 하는 단계;를 포함하고,
   상기 제1 가상공간, 제2 가상공간 및 제3 가상공간의 영역은 사용자가 착용한 HMD디스플레이가 제공하는 하나의 가상공간영역에 포함되는 것을 특징으로 하는 원격수업제공 방법.
   
2. 제1항에 있어서,
   상기 제1 및 제2 콘텐츠는 동적이미지, 정적이미지, 소리 및 텍스트 중 어느 하나 이상으로 구비되고,
   상기 제1 콘텐츠데이터가 동적이미지를 포함하는 경우, 상기 동적이미지의 재생이 종료되거나 또는 상기 서비스서버로부터 동적이미지 재생중단정보를 수신하는 경우, 상기 제2 콘텐츠데이터가 상기 제1 콘텐츠데이터의 재생역역인 상기 제1 가상공간에 포함되거나 또는 상기 제1 가상공간을 포함하는 영역으로 이동하여 디스플레이되는 단계;를 더 포함하는 것을 특징으로 하는 원격수업제공 방법.
   
3. 제1항에 있어서,
   상기 제3 사용자아바타를 제3 가상공간의 영역에 디스플레이 하는 단계는,
   상기 서비스서버로부터 상기 제3 사용자의 움직임에 따른 자이로센싱정보를 이용하여 생성된 상기 제3 사용자아바타의 동적이미지를 수신하는 단계;
   상기 수신된 동적이미지를 상기 제3 가상공간의 영역에 디스플레이 하는 단계;를 더 포함하는 것을 특징으로 하는 원격수업제공 방법.
   
4. 제1항에 있어서,
   상기 제2 콘텐츠데이터는 상기 HMD로부터 생성된 제어정보에 따라 상기 제1 콘텐츠데이터가 디스플레이된 상태에서 독립적으로 제어가능 하도록 구비된 것을 특징으로 하는 원격수업제공 방법.
   
5. 제1항에 있어서,
   상기 제3 가상공간의 영역에 디스플레이 되는 상기 제3 사용자아바타는 상기 제3 사용자의 인적정보에 해당하는 이미지 또는 텍스트 정보를 포함하여 디스플레이되는 것을 특징으로 하는 원격수업제공 방법.
   
6. 제1항에 있어서,
   상기 원격수업에 접속하기 위하여,
   상기 사용자로부터 수신한 사용자이름 및 패스워드 정보를 포함하는 로그인 정보를 이용하여 JWT토근을 생성하는 단계;
   상기 JWT토큰을 상기 사용자에게 전송하는 단계;
   상기 사용자로부터 상기 JWT토큰을 재수신하는 단계;
   상기 JWT토큰을 복호화하여 사용자식별정보를 생성하고 상기 사용자에게 아바타아이디 또는 상기 사용자이름을 반환하는 단계;를 더 포함하는 것을 특징으로 하는 원격수업제공 방법.
   
7. 제1항에 있어서,
   상기 하나의 가상공간영역에는 상기 제1 가상공간, 상기 제2 가상공간과 중첩하지 않도록 상기 HMD의 마이크의 온/오프 제어정보가 디스플레이 되는 것을 특징으로 하는 원격수업제공 방법.
   
8. 제6항에 있어서,
   JWT토큰을 생성하는 단계는,
   사용자 결제정보를 입력하거나 또는 수신하는 단계;
   상기 서비스서버는 상기 복호화된 사용자식별정보를 이용하여 상기 로그인 정보를 조회하고, 상기 로그인 정보와 매칭되는 사용자가 상기 입력되거나 또는 수신된 사용자 결제정보에 포함된 것을 확인하는 단계;를 더 포함하는 것을 특징으로 하는 원격수업제공 방법.
   
9. 제3항에 있어서,
   상기 제1 가상공간의 영역은 상기 사용자착용정보를 이용하여 상기 하나의 가상공간영역 내에서 이동가능하도록 구비되고,상기 제2 가상공간의 영역은 상기 제1 가상공간의 이동에 따라 함께 이동하도록 구비된 것을 특징으로 하는 원격수업제공 방법.
   
10. 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 저장매체에 저장된 컴퓨터프로그램.

Images