KR20230114091A

KR20230114091A - 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템

Info

Publication number: KR20230114091A
Application number: KR1020220010208A
Authority: KR
Inventors: 백일수
Original assignee: 백일수
Priority date: 2022-01-24
Filing date: 2022-01-24
Publication date: 2023-08-01

Abstract

가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템이 제공되며, 문장을 출력하고, 상기 문장 내 육하원칙 및 문법을 사용자 인터페이스의 선택에 의해 출력하는 사용자 단말 및 적어도 하나의 학습 교재를 VR로 콘텐츠화하는 콘텐츠생성부, 상기 적어도 하나의 학습 교재 내 문장을 프리인코딩(Pre-Encoding)하여 육하원칙분류기 및 문법분류기가 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 추출하도록 설정하는 프리인코딩부, 상기 사용자 단말에서 상기 문장을 출력하면서 상기 사용자 인터페이스로 육하원칙 및 문법에 대응하는 메뉴를 선택하는 경우, 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 식별 및 표시하고 육하원칙명 및 문법명을 출력하는 시각화부를 포함하는 콘텐츠 서비스 제공 서버를 포함한다.

Description

가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템{System FOR PROVIDING LEARNING CONTENTS SERVICE USING VIRTUAL REALITY}

본 발명은 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템에 관한 것으로, 특히 영어 문장 내 육하원칙 및 문법을 식별 및 분류하여 가상현실을 통하여 제공하고, 카메라로 촬영된 문장을 분석하여 분석 결과를 증강시켜 표현할 수 있는 시스템을 제공한다.

4차 산업혁명 시대의 핵심 기술 중 하나인 가상현실(Virtual Reality)은 그 고유한 특성과 장점을 접목한 새로운 형태의 수업 방식과 학습 프로그램을 출현시켰고, 그 효과성에 대한 검증이 교육 등 다양한 분야에서 이뤄지고 있다. 가상현실을 기반으로 한 새로운 교수-학습 형태는 영어교육분야에도 적용되어 학습자에게 동기부여, 흥미유발, 몰입도 향상 등 교육적 기대를 목표로 여러가지 요소를 접목한 애플리케이션을 개발하는 시도가 꾸준히 진행되고 있다. 이러한 교육 현실에서 가상현실 기술을 기반으로 한 영어교육 매체의 등장은 시간, 공간적 제약을 낮출 뿐 아니라 경제적인 부담도 덜어주는 등 다양한 교육적 잠재력과 가능성을 가지고 있다고 볼 수 있다. 가상현실은 크게 몰입형과 비몰입형으로 구분되는데, 주로 HMD(Head-Mounted Display)를 사용하는 가상현실을 몰입형 가상현실이라고 하고 일반적인 모니터, 스크린 기기를 이용하는 것을 비몰입형 가상현실이라 한다.

이때, 가상현실 및 증강현실을 이용하여 문장을 제공하는 방법이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국공개특허 제2020-0064673호(2020년06월08일 공개) 및 한국공개특허 제2010-0118943호(2010년11월08일 공개)에는, 영문법의 어순에 따라 가상현실 환경을 제공할 수 있도록, VR 학습모듈의 언어 및 문법을 조회하고, 사용자에게 제시할 어문 및 시청각 정보의 구현순서를 결정하며, 결정된 순서에 따라 VR 영상을 제공하는 구성과, AR 마커를 이용하여 사용자의 영상과 소품정보를 결합하여 표시하면서 공부가 아닌 놀이를 통해 영어학습을 유도할 수 있는 구성이 각각 개시되어 있다.

다만, 전자의 경우에는 어순에 따라 VR 콘텐츠의 순서만을 변경하는 구성이고, 후자의 경우에도 AR 마커에 영어단어를 증강시켜 표현하는 것 이상의 구성이 없다. 즉, 문장을 독해할 때 각 문장의 육하원칙(5W1H)을 이용하여 구분하고 분석하고, 더 나아가 문법을 이해할 수 있도록 각 문장에서 문법을 안내해주는 것이 중요한데 상술한 구성은 어순 및 영단어 증강 이상의 구성이 존재하지 않는다. 이에, 가상현실을 이용하여 육하원칙 및 문법에 대하여 사용자에게 재미요소(Fun Factor)를 제공하되 사용자가 별도로 단어장을 만들거나 오답노트를 하지 않아도 자동으로 정리하여 보여줄 수 있는 플랫폼의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 육하원칙분류기 및 문법분류기가 문장 내에서 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 찾아 육하원칙명 및 문법명을 표시하고 출력할 수 있도록 프리인코딩(Pre-Encoding)하고, 적어도 하나의 인공지능 알고리즘을 이용하여 카메라로 촬영된 텍스트 상에 육하원칙분류기 및 문법분류기로 추출된 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 증강시켜 표시해주며, 각 영어 교재마다 QR 코드 및 가상의 캐릭터를 설정하여 포켓몬을 모으는 것과 같이 각 영어 교재의 캐릭터를 모을 수 있도록 함으로써 흥미 요소를 제공할 수 있는, 가상현실을 이용한 영어 콘텐츠 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 문장을 출력하고, 상기 문장 내 육하원칙 및 문법을 사용자 인터페이스의 선택에 의해 출력하는 사용자 단말 및 적어도 하나의 학습 교재를 VR로 콘텐츠화하는 콘텐츠생성부, 상기 적어도 하나의 학습 교재 내 문장을 프리인코딩(Pre-Encoding)하여 육하원칙분류기 및 문법분류기가 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 추출하도록 설정하는 프리인코딩부, 상기 사용자 단말에서 상기 문장을 출력하면서 상기 사용자 인터페이스로 육하원칙 및 문법에 대응하는 메뉴를 선택하는 경우, 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 식별 및 표시하고 육하원칙명 및 문법명을 출력하는 시각화부를 포함하는 콘텐츠 서비스 제공 서버를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 육하원칙분류기 및 문법분류기가 문장 내에서 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 찾아 육하원칙명 및 문법명을 표시하고 출력할 수 있도록 프리인코딩(Pre-Encoding)하고, 적어도 하나의 인공지능 알고리즘을 이용하여 카메라로 촬영된 텍스트 상에 육하원칙분류기 및 문법분류기로 추출된 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 증강시켜 표시해주며, 각 영어 교재마다 QR 코드 및 가상의 캐릭터를 설정하여 포켓몬을 모으는 것과 같이 각 영어 교재의 캐릭터를 모을 수 있도록 함으로써 흥미 요소를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 콘텐츠 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 가상현실을 이용한 학습 콘텐츠 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상현실을 이용한 학습 콘텐츠 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

본 명세서에 있어서 육하원칙과 문법의 종류와 설명 및 표시방법은 본 출원인의 한국등록특허 제10-2103027호(2020년04월22일 공고)에 개시되어 있으므로 이를 참조하기로 하고 본 발명에서는 상세히 기재하지 않는다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 가상현실을 이용한 학습 콘텐츠, 예를 들어 영어 문장 학습 콘텐츠 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 가상현실을 이용한 영어 콘텐츠 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100) 및 콘텐츠 서비스 제공 서버(300)를 포함할 수 있다. 다만, 이러한 도 1의 가상현실을 이용한 영어 콘텐츠 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 콘텐츠 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 콘텐츠 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 가상현실을 이용한 영어 콘텐츠 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 VR 또는 AR로 문장을 출력하는 사용자의 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

콘텐츠 서비스 제공 서버(300)는, 가상현실을 이용한 영어 콘텐츠 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 콘텐츠 서비스 제공 서버(300)는, 가상현실 또는 증강현실로 문장을 제공하기 위한 플랫폼을 세팅 및 구축하는 서버일 수 있다. 또한, 콘텐츠 서비스 제공 서버(300)는, 육하원칙분류기 및 문법분류기가 작동될 수 있도록 영어 교재를 프리인코딩하는 서버일 수 있다. 콘텐츠 서비스 제공 서버(300)는, 프리인코딩되지 않은 문장도 증강하여 육하원칙분류결과 및 문법분류결과를 카메라 촬영화면 상에 출력하기 위해 적어도 하나의 인공지능 알고리즘을 이용하는 서버일 수 있다.

여기서, 콘텐츠 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 콘텐츠 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 가상현실을 이용한 영어 콘텐츠 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 콘텐츠 서비스 제공 서버(300)는, 콘텐츠생성부(310), 프리인코딩부(320), 시각화부(330), 증강현실부(340) 및 캐릭터수집부(350)를 포함할 수 있다.

본 발명의 일 실시예에 따른 콘텐츠 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100)로 가상현실을 이용한 영어 콘텐츠 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100)은, 가상현실을 이용한 영어 콘텐츠 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 콘텐츠생성부(310)는, 적어도 하나의 영어 교재를 VR로 콘텐츠화할 수 있다. 메타버스 기반의 어학교육 서비스 플랫폼 개발을 위하여 3D 포인트 클라우드 콘텐츠와 관련한 압축기술, 전송기술 및 3D 렌더딩을 통한 XR(AR/VR) 기반의 콘텐츠를 생성할 수 있으며, 학습효과 측면에서도 XR(AR/VR) 콘텐츠는 학습자가 학습 내용에 몰입하게 하고, 주도적·능동적 학습을 유도함은 물론 학습효과를 높일 수 있도록 서비스 기능을 개발할 수 있다. 메타버스 플랫폼 개념에서도 XR(AR/VR) 기술은 가상세계 구현의 핵심기술로 정의되고 있으며, 교육을 위한 메타버스에 접목하기 위해서는 온라인/오프라인의 동시에 지원이 가능한 솔루션을 요구하고 있다. 이를 위하여 온라인 환경에서는 AR/VR 기술을 적용하고, 오프라인 사용자의 메타버스 환경에 공유를 위해서는 카메라 및 모바일을 활용하여 오프라인 학습자의 메타버스 공간에 입장을 지원할 수 있다.

콘텐츠 제작을 위한 설계, 그래픽 디자인, 3D 모델러, 렌더링, 스캐닝 외에도 콘텐츠 플랫폼, 콘텐츠 큐레이터 기술의 단계적인 추가 개발이 요구되고 있지만 본 발명의 일 실시예에서는 프로토 타입 구성에 초점을 맞출 수 있다. 메타버스 기반 의 어학교육 서비스 플랫폼 구성은 현실세계와 메타버스 세계를 논리적으로 통합하도록 하고, 학습효과를 극대화할 수 있는 DNA(Data Network AI)를 기반으로 서비스를 구성하도록 할 수 있다.

<저작도구>

AR/VR 콘텐츠 제작을 위한 저작도구는 엔진과 시뮬레이터 구성에 필요한 가상 모델링을 디자인하는 기술 및 가상의 인터랙션에 대한 사용자의 평가기술 등을 적용하여 구현할 수 있고, 메타버스 공간의 아바타 의 구성 및 악서세리 부품은 3D 그래픽을 통한 제작을 진행하여 완성할 수 있다. 응용프로그램을 저작하는 도구는 유니티를 활용하여 프로그램을 작성하였으며, 모듈화를 통하여 관리자 기능에서 환경설정이 완성되도록 구현할 수 있다. Photon 서버를 활용하여 다자 간 게임 및 멀티의 아바타가 활동하도록 지원하고, 로컬 서버 기반의 주요 데이터의 관리가 가능하도록 하나의 유기적인 VR을 구성할 수 있다. 시스템 저작 기술 및 실제 구동환경과 유사한 환경을 저작도구 상에 시뮬레이션하여 증강현실 콘텐츠 저작을 효율적으로 제공하는 기술을 포함할 수 있다. 게임엔진으로 개발된 Unity3D 및 Unreal 엔진이 고성능 품질을 제공하는 가상현실 저작도구로 확대 적용할 수 있으며, 추가적인 증강현실 대상 인식 및 객체 추적기술 이용할 수 있다. 실제 환경에 매칭이 되는 가상의 정보를 합성하기 위해서 합성할 대상의 영상정보를 추출하는 기술을 통하여 영상정보(RGB, Depth)에서 객체를 추출한 후 실시간으로 추적하는 기술을 이용할 수 있다.

<플랫폼의 모듈>

메타버스 지원을 위한 플랫폼의 구성은 공통영역, 학습관리 영역, 학습콘텐츠 관리영역으로 구성될 수 있고, 온라인/오프라인 동기화 지원을 위한 부가 지원 서비스로 이루어진다. 서비스 관점에서는 로컬서버 영역과 클라우드 서비스 영역으로 구분하여 서비스를 구성하여 통합이 이루어지는데, 메타버스 서비스의 근간이 되는 학습관리(LMS)시스템과 학습콘텐츠 관리(LCMS)시스템 영역에 대한 고려가 이루어져야 한다. LMS(Learning Management System)은 메타버스 공간에서는 온라인강의, 실시간 강의, 강의자료, 평가관리, 출석 관리, 학습진단 기능을 구성하여 적용하도록 할 수 있다. 온라인/오프라인 출결 관리의 지원을 위하여 카메라 및 스마트폰을 이용한 영상정보와 위치정보를 조합하여 오프라인 사용자를 자동으로 식별하여 메타버스 공간에 아바타 입장이 가능하도록 지원하며, 온라인 사용자는 헤드셋을 통한 메타버스 공간의 아바타 입장이 가능하도록 구성하여 출석에 대한 체크는 물론, 개인 아바타의 참여가 가능하도록 지원한다. LCMS(Learning Contents Management System)은 메타버스 공간에서 활용될 아바타 및 배경씬 등의 3D자료 콘텐츠에 대한 관리를 멀티미디어 콘텐츠 메터데이터의 관리가 가능하도록 구현할 수 있다.

주요 기능 구성은 LAMP(Linux, Apache, Mysql, Php)서버를 기반으로 회원 관리 및 콘텐츠 관리를 위한 로컬서버 환경을 구성하고, 메타버스 공간에서 멀티세션 처리를 위하여 Photon서버 기반의 클라우드 기반으로 서비스 구현하여 플랫폼의 개발환경을 구성하여 서버 영역의 플랫폼을 구성할 수 있다. 클라이언트 환경은 헤드셋 및 모바일을 통한 서비스가 가능하도록 환경을 구성하여, 어학교육 서비스가 이루어질 수 있도록 할 수 있다. 블랜디드 학습을 지원하기 위한 오프라인상의 학습 모니터링 방법으로 스마트기기와 연동하여 화면 미러링 기능을 제공할 수 있고, 콘텐츠의 공유를 통한 판서 기능을 활용한 N-스크린 서비스가 가능하도록 교실 환경의 강의장에서 메타버스 공간의 온라인 접근을 지원하고, 오프라인 환경에서의 메타버스 공간의 모니터링이 가능하도록 구성할 수 있다.

<콘텐츠 구성>

메타버스 기반의 영어 강좌의 서비스 구성을 위해서는 온라인/오프라인 지원이 가능한 서비스를 고려하여 콘텐츠의 서비스 기획이 필요하다. 본 연구에서는 영어 교육을 중심으로 게임형(VR) 교육이 가능하도록 오프라인 교재를 기반으로 콘텐츠를 개발하여 온라인 사용자의 학습이 가능하도록 게임기반 학습 및 아바타 기반의 학습지원을 고려하여 메타버스 공간을 구성할 수 있다. 이러한 서비스는 교실단위 VR학습 지원 장치와 연계하여 온라인/오프라인 학습자의 콘텐츠 공유가 가능하도록 서비스를 구성할 수 있다.

메타버스 기반의 학습지원 모듈의 구성은 영어교육을 중심으로 XR기반의 서비스를 구성하도록 하며, 단원별 다양한 게임 기반의 학습이 가능하도록 구성하여 학습자의 흥미를 부여하고 몰입형 학습이 가능하도록 구성하며, Photon서버 기반의 다자간 참여가 가능한 학습공간을 구성하여 단원별로 캐릭터 기반의 회화연습이 가능하도록 참여 학습을 지원하고, 교재를 병행하여 학습지원이 가능하도록 구성한다. 단원별 새로운 단어를 소개하도록 구성하고, 단원별로 다국어 지원 단어학습 지원 데이터베이스를 활용하여 멀티 게임 학습이 가능하도록 구성하여 학습자의 흥미를 부여하도록 서비스를 구성하며, 게임씬 배경을 다양하게 제작하여 학습자의 지루함을 제거한다. 단원별 취득 점수에 따라 보상의 지원이 가능하도록 게임에서 획득된 점수는 서버에서 수집하여 평균을 구하여 점수화하도록 구성하며, 단원별 평가 점수와 합산하여 아바타의 성장을 지원하여, 레벨에 따라서 아바타가 진화하도록 구성하여 역량 강화기반의 학습모델을 완성할 수 있다.

실감형 학습지원을 위하여 Photon 클라우드 서버를 활용한 본인의 아바타가 참여하는 학습공간을 구성하여 단원별로 아바타 기반의 대화 연습 및 실전 회화가 가능하도록 구성하고, 교수자 아바타가 메타버스 공간에 참여하여 몰입감을 높일 수 있도록 구성할 수 있다. 온라인 참여자는 헤드셋을 통한 접속이 가능하도록 지원하고, 오프라인 학습 참여자를 위하여 영상정보를 인식하여 개인정보 ID를 자동생성하여 메타버스 공간에 오프라인 사용자의 접속을 지원할 수 있으며, 회원관리 DB를 통하여 온라인/오프라인 사용자의 메타버스 공간의 공유가 가능하게 할 수 있다.

아바타 기반의 참여 학습지원 모듈에서도 Photon 서버를 활용하여 구현하였으며, LAMP 서버를 통한 학습자 관리 및 역량 관리가 가능하도록 로컬 DB의 구현을 진행할 수 있다. 클라이언트에서는 HMD를 통한 서비스가 가능하도록 유니티 기반으로 프로그램을 제공할 수 있으며, 3D MAX를 활용한 그래픽 화면을 구성하여 아바타 및 배경씬을 구현할 수 있다.

또, 교재공부하기(Study with Book), 오답노트(Error Note), 강의(Lesson) 및 단어(Vocabulary) 메뉴를 제공할 수 있다. 교재공부하기는, 전체분석탭(Tab), 절의 갯수탭, 주절탭, 종속절탭, 요소분석탭을 포함할 수 있다. 단어 메뉴는, 문장에서 사용자 단말(100)에 문장 내 선택한 단어가 로그로 저장된 내단어(MyVocabulary) 메뉴, 앞 면에는 그림이 뒷 면에는 영어 단어가 기재된 플래쉬 카드를 출력하는 플래쉬 메모리(Flash Memory) 메뉴, 단어와 한글의미를 연결하는 테스트를 진행하는 단어테스트(Vocab Test) 메뉴를 하위 뎁스(Depth)로 포함할 수 있다. 이때, 육하원칙을 구분하기 위해서는 육하원칙 온톨로지를 이용할 수 있고, 문법을 분류하고 구문을 분석하기 위해서는 스탠퍼드의 NLP를 이용할 수 있다. 물론, 상술한 것에 한정되지 않고 다양한 인공지능 알고리즘이 사용될 수 있음은 물론이라 할 것이다.

<육하원칙 온톨로지>

뉴스를 텍스트마이닝하는 기술이 발전하면서 육하원칙(5W1H)에 대응하는 텍스트를 구분하는 기술이 발전하고 있는데 이를 이용하면 각각 프리인코딩을 해두지 않아도 자동으로 육하원칙에 대응하는 텍스트를 추출할 수 있다. 예를 들어, 뉴스 집합이 존재한다면 각각의 집합 내 뉴스에서 육하원칙을 추출하는 방법과 구축되어 있는 온톨로지(Ontology)를 사용하여 육하원칙 온톨로지를 생성할 수 있다. 이것은 이미 추출된 육하원칙의 요소들을 뉴스의 온톨로지로 연결시키는 작업으로 볼 수 있다. 육하원칙을 추출하는 방법은, 뉴스의 핵심문장에서 중요 단어를 뽑는 작업이기 때문에, 육하원칙에 맞추어 중요 단어를 뽑은 후, 이미 구축되어 있는 뉴스 온톨로지의 URI 정보를 가져와 육하원칙 온톨로지를 생성한다. 예를 들어, 뉴스의‘누가’,‘언제’,‘어디서’,‘무엇을’,‘어떻게’,‘왜’ 요소들은 각각‘Who’,‘When’,‘Where’, ‘What’,‘How’,‘Why’의 속성으로 표현되며 URI 혹은 Literal을 가지게 된다. 이때, ‘왜’의 요소는 문장 혹은 절로써 추출 될 수 있다. 이 경우‘왜’의 요소를‘Subject’,‘Predicate’,‘Object’의 Statement를 가지는 온톨로지로 표현할 수 있다.

<스탠퍼드 NLP(Natural Language Process) API>

스탠퍼드 대학 자연언어 처리 연구실에서 제작한 API는 확률적 자연어 파서의 구현과 최적화된 확률 문맥 자유 문법(Probabilistic Context-Free Grammar)으로 구현된 통계적 구문 분석기로 스탠퍼드 파서(Parser)는 주요한 두 가지의 기능으로 나누어 볼 수 있다.

<확률 문맥 자유 문법>

확률 문맥 자유 문법이란 기존의 문맥 자유 문법(Context-Free Grammar)과 비교하여 다시 쓰기 규칙(Re-Writing Rule)이 확률을 가지고 있다는 특징과 기존의 문맥 자유 문법의 형태를 지니는 2형 문법이라고 할 수 있다. 예를 들어, 확률 문맥 자유 문법을 이하 표 1과 같이 정의 할 수 있으며 각각의 생성 규칙 (A→B) 는 P(A→B)의 확률 값을 취한다. 또한 분석 대상이 되는 언어의 모든 문장의 확률 합은 1이며 같은 비 단말 기호의 좌변에 갖는 생성 규칙들의 확률의 합도 1이 된다. 분석된 문장의 확률은 하나의 문장에 대해 여러 개의 Tree가 만들어지며 각각의 Tree에 대한 확률은 그 Tree를 생성할 때 사용된 규칙의 확률 V곱(Production)이다. 따라서 분석된 문장의 확률은 각각의 Tree의 확률 P(w1,n) = P(t1) + P(t2) + .... +P(tm)라 할 수 있다.

PCFG=<W,N,N1,R,D>
W: 단말 기호의 집합 {w1,w2,...,wm}
N: 비단말 기호의 집합 {N1,N2M,...,Nm}
N1: 시작기호
R: 생성규칙의 집합
D: R의 각 규칙에 확률을 주는 함수

<Top-Down 형식의 구문 분석>

구문분석이란 주어진 입력이 올바른 프로그램인가를 검사하고 다음 단계에서 필요한 정보를 구성하는 과정이다.

원시프로그램

스캐너

일련의 토큰

파서

구문분석정보

중간코드생성기

중간코드

표 2와 같이 구문 분석기(Syntax Analyzer) 또는 파서(Parser)가 구문을 분석하고 스캐너에 의해 생성된 토큰을 입력으로 받아 문법적인 검사를 한 후, 중간 코드 생성기가 효과적으로 중간 코드를 생성할 수 있는 형태의 정보를 구성하여 출력 하는 과정을 거친다. 여기서 구문분석기의 결과로 출력되는 구문 분석 정보는 일반적으로 트리 형태이며, 구문 분석 방법은 크게 이진트리를 어떤 순서로 만들어 가느냐에 따라 나뉘게 된다. Top-Down 방식은 루트 노드(Root Node)로부터 시작하여 단말 노드(Terminal Node)로 만들어 나가는 방식으로 시작 심볼로부터 정의된 문법의 생성 규칙 적용하여 S ⇒ ... ⇒ ω로 나타내여 입력 스트링에 대한 좌측 유도하게 된다.

<하이브리드 앱>

하이브리드 앱이란 HTML5로 대변되는 웹기술과 iOS, Android 등의 플랫폼에 종속적인 Native App 기술을 혼용해서 개발한 앱을 의미하며 최근 주목받는 멀티 플랫폼 기반의 앱 개발방법이다. 하이브리드 앱은 웹킷(WebKit) 기술을 바탕으로 HTML5, 자바스크립트, CSS 등으로 만들어지며 뛰어난 확장성과 호환성을 제공한다. 하이브리드 앱의 핵심 기술로는 현재 대부분의 스마트폰은 웹킷 엔진을 탑재한 웹브라우저를 갖고 있다. 또한 해당 소프트웨어 플랫폼 개발환경은 웹킷 기반의 웹브라우저 컴포넌트를 SDK 형태로 제공한다. 하이브리드 애플리케이션의 최종 결과물은 해당 소프트웨어 플랫폼에서 생성하는 네이티브 애플리케이션과 동일하다. 즉, 바이너리 형태의 실행파일이다. 하지만 하이브리드 애플리케이션 개발자는 해당 소프트웨어 플랫폼에 대해 고민할 필요가 없으며 애플리케이션 개발자는 HTML5와 CSS 그리고 자바스크립트만을 이용하여 개발하게 된다. 그러므로 하이브리드 애플리케이션 개발방식은 웹 개발과 동일하다고 보면 된다. 대신 하이브리드 플랫폼에서 제공하는 자바스크립트 API를 통해 스마트폰 하드웨어에 접근할 수 있다는 것이 일반적인 웹 개발방식과의 차이다.

<시스템 구조>

사용자의 입력과 분석된 문장을 전시해 주는 사용자 단말(100)과 사용자로부터 입력받은 문장을 분석하여 결과 값을 송신하는 콘텐츠 서비스 제공 서버(300), 그리고 콘텐츠 서비스 제공 서버(300)와 사용자 단말(100)을 연결하는 통신으로 나누어진다. 각각의 스마트폰 OS는 기본적으로 웹킷 엔진을 탑재한 웹브라우저를 지니고 있다. 이 웹브라우저에서 제약없이 돌아갈 JavaScript API를 이용하여 서버에 연결하고, 데이터를 송·수신하는 코드를 구현한다. 거기에 HTML5로 웹브라우저에서 기본적으로 보여질 Input과 Output 폼들과 컨트롤 속성 등의 전반적인 틀을 완성하여 사용자 단말(100)에 탑재될 하이브리드 애플리케이션을 구현하게 된다.

하이브리드 애플리케이션은 안드로이드 사용자 단말(100)을 포함하여 iOS를 기본 OS(Operation System)으로 사용하는 애플사의 아이폰 시리즈 및 아이패드에서도 구동이 가능하여 넓은 사용자층을 확보 할 수 있다. 직관적이고 간단한 인터페이스를 이용하여 사용자의 편의성을 보장하며, 내부적으로 데이터베이스를 구축하여 분석이 완료된 문장에 대하여 저장을 하며, 저장된 문장을 불러들려 추가적인 학습의 편의성을 제공할 수 있다. 다음으로 입력된 문장의 분석을 담당하는 콘텐츠 서비스 제공 서버(300)는 내부적으로 스탠퍼드 대학의 NLP그룹에서 공개한 구문 분석 API를 사용할 수 있다.

콘텐츠 서비스 제공 서버(300)에서는 기존의 TCP/IP 소켓 통신과 다르게 웹소켓 전용 프로토콜을 지원하는 서버 사이드 스크립트 언어인 node.js를 사용할 수 있다. 이는 리눅스(Linux) 운영체제를 기반으로 node.js 모듈을 이용하여 프로토콜을 연결하고 아파치 톰켓을 이용하여 구동하는 과정을 거쳐 웹 소켓 서버를 구축 한다. 클라이언트(사용자 단말(100))와 콘텐츠 서비스 제공 서버(300) 사이에서의 통신에는 실시간 양방향 통신을 지원하는 웹 소켓이 사용되게 된다. 기존의 방식에서는 서버가 클라이언트에게 전송해주는 푸시(Push)방식이 아니라 클라이언트가 서버에게 요청하는 폴링(Polling)방식 이었다. 결과적으로 실시간으로 연결되어야하는 클라이언트와 서버 사이의 관계에서 클라이언트가 요청한 데이터의 수신 후 비효율적인 재요청을 피할 수 없었다. 이와 같은 비효율적인 재요청을 해결하기 위한 방법으로 콘텐츠 서비스 제공 서버(300)와의 실시간 통신을 지원하는 웹소켓을 이용하여 콘텐츠 서비스 제공 서버(300)의 구문분석 머신과 클라이언트의 사용자 단말(100) 사이의 지속적인 연결을 지향하여 원활한 통신을 가능하도록 설계할 수 있다.

텍스트의 기입 또는 영어 교재 내 문장을 선택하는 것을 시작으로 콘텐츠 서비스 제공 서버(300)로의 전송이 이루어지고 콘텐츠 서비스 제공 서버(300)에서 결과를 바탕으로 CSS파일을 생성하고 최종적인 전시화면은 CSS를 사용자 단말(100)의 화면에 전시한다. 사용자 단말(100)을 통해 분석하고자 하는 문장을 기입하는 기능을 위해서 직접적인 타이핑이 가능하며 붙여넣기 기능을 통해 긴 문장을 쉽게 붙일 수 있고, 문장을 선택하기 위한 더블탭 및 드래그 기능을 더 포함할 수 있다. 콘텐츠 서비스 제공 서버(300)에서 문장의 분석이 완료되고 결과 값을 수신하게 되면 문장의 성분에 따라서 가독성이 높도록 색상의 차별화를 통해 사용자에게 디스플레이될 수 있다. 또, 사용자는 사용자는 문장의 성분별 색상에 대하여 임의 변경이 가능할 수 있는 옵션이 주어진다.

프리인코딩부(320)는, 적어도 하나의 영어 교재 내 문장을 프리인코딩(Pre-Encoding)하여 육하원칙분류기 및 문법분류기가 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 추출하도록 설정할 수 있다. 육하원칙분류기 및 문법분류기는, 적어도 하나의 인공지능 알고리즘으로 학습 및 테스트를 거쳐 모델링된 분류기일 수 있다.

시각화부(330)는, 사용자 단말(100)에서 문장을 출력하면서 사용자 인터페이스로 육하원칙 및 문법에 대응하는 메뉴를 선택하는 경우, 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 식별 및 표시하고 육하원칙명 및 문법명을 출력할 수 있다. 사용자 단말(100)은, 문장을 출력하고, 문장 내 육하원칙 및 문법을 사용자 인터페이스의 선택에 의해 출력할 수 있다.

증강현실부(340)는, 사용자 단말(100)에서 카메라를 턴 온(Turn On)한 후 문장에 대응하는 텍스트가 기재된 객체를 촬영하는 경우, 객체를 OCR(Optical Character Recognition)로 식별하여 텍스트로 인식한 후, 텍스트 내 육하원칙 및 문법을 구분하도록 육하원칙분류기 및 문법분류기를 적용하여 증강현실(Augmented Reality)로 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 식별 및 표시할 수 있다.

캐릭터수집부(350)는, 적어도 하나의 영어 교재마다 적어도 하나의 가상 캐릭터 및 QR 코드를 부여하여 저장하고, 사용자 단말(100)에서 QR 코드를 리딩한 경우 적어도 하나의 교재에 매핑된 적어도 하나의 가상 캐릭터를 취득할 수 있도록 설정할 수 있다. 이는 포켓몬 모으기와 같이 각 영어 교재를 구매할 때마다, 또는 테스트에 통과할 때마다 게임 퀘스트를 깬 보상을 지급받는 개념일 수 있다.

이하, 상술한 도 2의 콘텐츠 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3a 및 도 3b를 참조하면, 본 발명의 일 실시예에 따른 플랫폼은 가상현실, 증강현실, 혼합현실, 확장현실 등의 메타버스(MetaVerse) 플랫폼일 수 있다. 이와 연동되는 각 기계, 예를 들어, 스마트글래스, HMD 등은 공지기술이고 공지기술에 따른 하드웨어를 사용하므로 이에 대해서는 상세히 설명하지 않는다. 본 발명의 일 실시예에 따른 플랫폼은 육하원칙 및 문법을 식별, 구분 및 표시해주는 매직북(가칭)이며, 이를 위한 육하원칙분류기 및 문법분류기를 모델링하여 보유하고 있다. 도 3c를 참조하면, 오프라인 책을 촬영하면서 여기에 나오는 문법, 육하원칙, 단어 등을 찾아볼 수 있도록 증강현실로 구현될 수도 있고, 도 3d와 같이 가상현실로 메타버스 내에서 도 3e와 같이 관련 동영상도 플레이하고 도 4a와 같이 분석된 결과를 표(Table)로도 출력하면서 문장을 분석하고 문법을 완전히 자신의 것으로 만들 수 있도록 도와줄 수 있다. 도 4b와 같이 주부 및 서술부로 나누어 설명해줄 수도 있고, 도 4c와 같이 모르는 단어는 해당 영역을 클릭을 하는 경우, OCR-> 텍스트로 변환-> 텍스트에 대응하는 한국단어뜻 출력 등의 과정으로 단어를 안내해줄 수도 있다. 이는 온라인 교재 뿐만 아니라 오프라인 교재를 사용자가 손으로 촬영하면서 카메라 촬영 화면 상을 선택하는 경우, 증강현실 콘텐츠로 바로 출력을 해주는 방식일 수 있다.

도 4d를 참조하면 단어장을 선택하는 경우, 도 4e와 같이 오프라인 교재를 보면서 증강현실로 안내해줬던 단어 또는 온라인 교재 상에서 사용자가 찾아보았던 단어를 모두 합해서 내단어장 메뉴에 저장한 후 리스트업하여 보여줄 수도 있다. 도 4f와 같이 플래시 카드 형식으로 단어암기를 하도록 할 수도 있고, 도 4g와 같이 단어잇기게임으로 테스트를 진행할 수도 있다. 또 틀린 문법이나 육하원칙, 또는 단어 등에 대하여 도 4h와 같이 자동으로 수집하여 오답노트를 생성해줄 수도 있고, 도 4i와 같이 이러한 사용자 데이터를 수집하여 어떠한 조건을 가진 학생들이 어떠한 부분에 취약한지에 대한 정보를 파악할 수도 있다. 도 4j와 같이 아바타가 오프라인 책을 촬영한 화면 상에서 AR로 증강되어 출력될 수도 있고 이는 포켓몬을 모으는 것과 같이 각 교재를 끝마칠 때마다 또는 교재를 구매할 때마다 책의 QR 코드를 스캔하여 모을 수 있다.

다른 한편, 본 발명의 실시예에서는 학습 과정을 보고서 형태로 사용자에게 제공할 수 있다. 예컨대, 학습 진행 상황을 지속적으로 모니터링할 수 있도록 사용자에게 문자 서비스를 제공할 수 있으며, 주기적으로 학습한 내용이나 암기한 단어들을 팝-퀴즈(pop-quiz) 형식으로 문자로 알림 전송하여 답을 맞추거나 복습 과정을 유도할 수 있다.

또한, 본 발명의 실시예에서는 학습 과정에서 혼합 현실(mixed-reality)을 제공할 수 있다. 예컨대, 앱을 켠 상태로 책 뿐만 아니라 주변 공간의 일부를 비추게 되면, 그 곳에 학습관련 아이템이나 정보 또는 퀴즈가 생성되도록 하여 액티비티와 학습을 접목시킬 수 있다.

또한, 본 발명의 실시예에서는 사용자간의 일 대 일, 또는 일 대 다로 학습 및 토의를 할 수 있는 가상의 메타버스(metaverse) 학습 공간과 학원 제작이 가능하다.

또한, 본 발명의 실시예에서는 학습메이트 역할의 하드웨어와 연동하여 학습 지원이 가능하다.

이와 같은 도 2 내지 도 4의 가상현실을 이용한 영어 콘텐츠 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 가상현실을 이용한 영어 콘텐츠 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 도 1의 가상현실을 이용한 영어 콘텐츠 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 5를 참조하면, 콘텐츠 서비스 제공 서버는, 적어도 하나의 영어 교재를 VR로 콘텐츠화하고(S5100), 적어도 하나의 영어 교재 내 문장을 프리인코딩(Pre-Encoding)하여 육하원칙분류기 및 문법분류기가 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 추출하도록 설정한다(S5200).

그리고, 콘텐츠 서비스 제공 서버는, 사용자 단말에서 문장을 출력하면서 사용자 인터페이스로 육하원칙 및 문법에 대응하는 메뉴를 선택하는 경우, 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 식별 및 표시하고 육하원칙명 및 문법명을 출력한다(S5300).

상술한 단계들(S5100~S5300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 5의 가상현실을 이용한 영어 콘텐츠 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 가상현실을 이용한 영어 콘텐츠 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 가상현실을 이용한 영어 콘텐츠 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 가상현실을 이용한 영어 콘텐츠 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 가상현실을 이용한 영어 콘텐츠 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

문장을 출력하고, 상기 문장 내 육하원칙 및 문법을 사용자 인터페이스의 선택에 의해 출력하는 사용자 단말; 및
적어도 하나의 학습 교재를 VR로 콘텐츠화하는 콘텐츠생성부, 상기 적어도 하나의 학습 교재 내 문장을 프리인코딩(Pre-Encoding)하여 육하원칙분류기 및 문법분류기가 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 추출하도록 설정하는 프리인코딩부, 상기 사용자 단말에서 상기 문장을 출력하면서 상기 사용자 인터페이스로 육하원칙 및 문법에 대응하는 메뉴를 선택하는 경우, 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 식별 및 표시하고 육하원칙명 및 문법명을 출력하는 시각화부를 포함하는 콘텐츠 서비스 제공 서버;
를 포함하는 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템.
제 1 항에 있어서,
상기 육하원칙분류기 및 문법분류기는, 적어도 하나의 인공지능 알고리즘으로 학습 및 테스트를 거쳐 모델링된 분류기인 것을 특징으로 하는 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템.
제 1 항에 있어서,
상기 콘텐츠 서비스 제공 서버는,
상기 사용자 단말에서 카메라를 턴 온(Turn On)한 후 문장에 대응하는 텍스트가 기재된 객체를 촬영하는 경우, 상기 객체를 OCR(Optical Character Recognition)로 식별하여 텍스트로 인식한 후, 상기 텍스트 내 육하원칙 및 문법을 구분하도록 상기 육하원칙분류기 및 문법분류기를 적용하여 증강현실(Augmented Reality)로 육하원칙에 대응하는 텍스트 및 문법에 대응하는 텍스트를 식별 및 표시하는 증강현실부;
를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템.
제 1 항에 있어서,
상기 콘텐츠 서비스 제공 서버는,
교재공부하기(Study with Book), 오답노트(Error Note), 강의(Lesson) 및 단어(Vocabulary) 메뉴를 제공하는 것을 특징으로 하는 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템.
제 3 항에 있어서,
상기 교재공부하기는, 전체분석탭(Tab), 절의 갯수탭, 주절탭, 종속절탭 및 요소분석탭을 포함하는 것을 특징으로 하는 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템.
제 3 항에 있어서,
상기 단어 메뉴는,
상기 문장에서 상기 사용자 단말에 상기 문장 내 선택한 단어가 로그로 저장된 내단어(MyVocabulary) 메뉴,
앞 면에는 그림이 뒷 면에는 영어 단어가 기재된 플래쉬 카드를 출력하는 플래쉬 메모리(Flash Memory) 메뉴;
단어와 한글의미를 연결하는 테스트를 진행하는 단어테스트(Vocab Test) 메뉴;
를 하위 뎁스(Depth)로 포함하는 것을 특징으로 하는 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템.
제 1 항에 있어서,
상기 콘텐츠 서비스 제공 서버는,
상기 적어도 하나의 학습 교재마다 적어도 하나의 가상 캐릭터 및 QR 코드를 부여하여 저장하고, 상기 사용자 단말에서 QR 코드를 리딩한 경우 상기 적어도 하나의 교재에 매핑된 적어도 하나의 가상 캐릭터를 취득할 수 있도록 설정하는 캐릭터수집부;
를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 학습 콘텐츠 서비스 제공 시스템.