KR102395824B1 - 혼합현실(Mixed Reality) 기술과 AI 음성인식 기술을 활용한 중도· 중복장애 아동의 뇌· 인지 발달과정과 의사소통 교육에 필요한 언어학습 시스템 디바이스 및 실전 체험형 언어와 상황 학습 MR 콘텐츠를 제공하는 방법 - Google Patents

Abstract

본 개시는 중도· 증복 장애 아동의 뇌·인지 발달과정에 필요한 의사소통 교육을 위해 혼합현실(Mixed Reality)기술을 활용하여 모사형 객체 및 모사형 환경을 포함하는 모사형 실세계를 구현하고 AI음성인식 기술을 활용하여 사용자의 발음의 정확도를 수치화하여 학생의 현 수준에 맞는 학습 진행이 가능한 언어교육 서비스를 제공할 수 있다.
또한 본 개시는 사용자가 MR 콘텐츠 이용 시 발생할 수 있는 안전사고를 예방하고 거동이 불편한 중도· 중복장애 아동들이 이용할 수 있도록 몸을 지탱해주기 위한 슬링-하네스가 구비되며, 상기 슬링- 하네스는 전후좌우 이동이 가능한 레일시스템에 연결되어 MR 콘텐츠 이용 시 레일의 이동 범위 안에서 자유로운 움직임을 가능하게 할 수 있다.

Description

혼합현실(Mixed Reality) 기술과 AI 음성인식 기술을 활용한 중도· 중복장애 아동의 뇌· 인지 발달과정과 의사소통 교육에 필요한 언어학습 시스템 디바이스 및 실전 체험형 언어와 상황 학습 MR 콘텐츠를 제공하는 방법{Language learning system devices and How to provide language learning MR content}

개시된 MR 언어학습 콘텐츠를 제공하는 방법, MR 언어학습 콘텐츠를 위한 디바이스 및 MR 언어학습 콘텐츠 디바이스를 운영하는 운영체계에 관한 것이다.

혼합현실(MR)은 현실과 가상을 결합하여 실물과 가상 객체들이 공존하는 새로운 환경을 만들고 사용자가 해당 환경과 실시간으로 상호작용을 함으로써 다양한 디지털 정보들을 보다 실감나게 체험할 수 있도록 하는 기술이다. 완전한 가상세계 구축이 현실적으로 어렵기 때문에 현실세계를 기반으로 가상세계를 접목하려는 시도로, 그 중 현실 상황을 중심으로 가상정보를 부가하는 증강현실(Augmented Reality)이 있다.

또한 AI 음성인식 기술은 인식률 및 맥락 이해 향상과 함께 대화 구현 단계에 들어섰다. 음성인식 기술은 개별 숫자, 음절 인식에서 고립단어 인식, 연결단어 인식, 대어휘 연속 음성인식 단계로 발전하면서 빠르게 진화하고 있다. 대어휘 연속 음성인식에서 인체 신경세포 신호 전달 방식과 유사한 딥러닝 기술이 음성인식 전반에 걸쳐 적용되며 인식률이 급속히 개선됐다. 일반 상황이나 발화에 대해 인식 정확도는 90% 이상 높은 수준으로 올라 왔다. 궁극적인 음성인식 AI 목표는 사람과 자연스런 소통이다. 사람이 이해하는 방식으로 대화를 이해하고, 피드백은 추가 지식을 포함하는 등 기계와 사람이 소통하는 가장 편리한 인터페이스로 발전할 전망이다.

대한민국 공개특허번호 제10-2016-0077200(2016년 07월 1일 공개. 언어-관련 장애들의 진단 및 치료를 위한 컴퓨팅 기술들) 대한민국 공개특허번호 제10-1538118(2015년 07월 14일 등록. 언어장애 극복장치 및 이를 이용한 언어장애 극복방법)

삭제

기존 장애 아동의 언어학습은 교습자가 낱말이나 그림이 적힌 단어장을 들어 보이며 읽고 따라하게 하는 방법 등으로 진행되었으나 개시된 실시 예는 MR콘텐츠를 통해 모사형 객체를 아동의 눈앞에 제공하여 사실감과 집중력을 높이고 교습자가 반복적으로 실시하던 내용을 AI 언어인식 기술을 통해 학습자의 발음 상태나 학습 수준에 맞게 교육진행과정을 설정하여 효율적인 언어교육 서비스 방법 및 디바이스를 제공할 수 있다.

또한 개시된 실시 예는 안전상의 문제 등으로 인해 기존에 장애 아동들이 체험할 수 없었던 다양한 상황 교육(예를 들면 혼자 길 건너기, 혼자 물건사기, 대중교통 혼자 이용하기 등)을 MR콘텐츠의 모사형 실세계를 통해 체험할 수 있도록 하여 안전 등에 대한 걱정 없는 상황 교육 서비스 방법 및 디바이스를 제공할 수 있다.

추가적으로 레일시스템과 슬링-하네스를 통해 학습자의 안전을 도모하면서도 정해진 반경 안에서는 자유롭게 움직일 수 있는 서비스 방법 및 디바이스를 제공할 수 있다.

일 실시 예에 따른 MR 언어교육 서비스를 제공하는 방법은 교습자가 학습자에게 전달하고자 하는 교육대상 객체 또는 환경의 마커를 제시하는 단계; 제시한 교육대상 객체 또는 환경의 마커를 디바이스에서 인식하는 단계; 인식한 마커에 대응하는 오브젝트를 디스플레이 하는 단계; 디스플레이 된 오브젝트를 기반으로 언어교육 또는 상황 교육을 진행하고 교육진행과정 동안 학습자의 발음을 분석하여 정확도를 측정하여 반복학습 여부 및 다음 교육 단계로의 진행을 결정하는 단계를 포함할 수 있다.

일 실시 예에 따른 MR 언어교육 서비스를 제공하는 방법에 있어서, 객체 또는 환경의 마커는 디바이스에서 인식되는 객체 또는 환경에 대한 실제 오브젝트를 포함하고, 마커를 제시하는 단계는 종이 또는 목재에 인쇄된 마커를 손으로 제시 하거나 전자 디스플레이로 표시되는 마커를 실행하는 형태로 제시할 수 있다.

일 실시 예에 따른 MR 언어교육 서비스를 제공하는 방법에 있어서, 인식하는 단계는 스마트폰 또는 태블릿 PC 등에 부착된 카메라를 통해 인식되며, 디스플레이 하는 단계는 스마트폰 또는 태블릿 PC의 디스플레이 화면을 통해 이루어질 수 있다.

일 실시 예에 따른 MR 언어교육 서비스를 제공하는 방법에 있어서, 언어교육 또는 상황 교육을 진행하는 단계는 AI 음성인식 엔진을 통해 학습자의 발음을 분석하여 발음의 정확도를 수치화하고 이를 바탕으로 일정 기준 점수 이상인 경우 다음 단계로의 교육을 진행하거나 일정 점수 미만의 경우 기존 학습을 반복하여 진행할 수 있다.

일 실시 예에 따른 MR 언어교육 서비스를 제공하는 디바이스는 바닥과 수직인 4개의 기둥과 상부 기둥으로 구성되는 디바이스 프레임; 프레임의 각 모서리에 구비되는 동작인식 센서; 프레임의 상부 기둥 가로축과 세로축을 따라 움직이는 레일 시스템; 레일 시스템에 연결된 슬링-하네스; 마커를 디스플레이 할 수 있는 빔프로젝트; 마커를 인식할 수 있는 인식장치(스마트폰, 태블릿 PC, HMD 등)로 구성될 수 있다.

본 발명은, 중도· 중복 장애 아동들의 효과적인 언어 교육을 위한 것으로, 신체적 장애나 안전상의 문제로 다양한 객체나 환경을 체험하기 힘든 중도· 중복 장애 아동들에게 MR 콘텐츠를 통해 사실감과 몰입감 높은 객체와 환경을 제시하고AI 언어인식 기술을 통해 반복 교육이 필요한 중도· 중복 장애 아동들의 언어교육의 실효성을 높이는 효과를 갖는다.

도 1은 일 실시 예에 따른 언어학습 시스템 디바이스에서 MR 언어교육 서비스를 제공하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시 예에 따른 언어학습 시스템 디바이스에서 모사형 객체를 통해 MR 언어교육 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 3는 일 실시 예에 따른 언어학습 시스템 디바이스에서 모사형 환경을 통해 MR 언어교육 및 환경교육 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 실전 체험형 언어학습 콘텐츠의 AI 음성인식 흐름도이다.
도 5는 일 실시 예에 따른 실전 체험형 언어학습 콘텐츠의 MR 콘텐츠 제공 흐름도이다.
도 6은 일 실시 예에 따른 실전 체험형 언어학습 콘텐츠의 체험방법 및 콘텐츠 흐름도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. 본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 특성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하도록 한다.

도 1은 일 실시 예에 따른 언어학습 시스템 디바이스(100)의 동작방법의 일 예를 개략적으로 설명하기 위한 도면이다.

일 실시 예에 따른 언어학습 시스템 디바이스(100)는 디바이스 프레임(110), 디바이스 프레임(110)의 상부기둥에는 레일(120)이 구비되어 있고, 상기 레일(120)을 따라 디바이스 프레임(110)의 상부기둥의 가로축과 세로축을 따라 이동이 가능한 레일 시스템(121)이 구비되며, 상기 레일 시스템(121)에 사용자의 몸을 지탱해줄 슬링-하네스(130)가 구비된다.

또한, 언어학습 시스템 디바이스(100)에는 HMD(Head Mounted Display) 장치(140)가 구비되는데, 이 장치는 사용자의 머리 부분에 착용되어, 사용자의 시야에 영상을 제공할 수 있는 디스플레이 장치이다. 일 실시 예에 따른 HMD 장치(140)는 다양한 형태로 구현 될 수 있으며(예를 들면, 고글, 안경, 헬멧, 모자 등) 예시에 한정되는 것은 아니다.

또한 콘텐츠를 작동하기 위한 인터페이스는 콘트롤러(150) 형태 일 수도 있고 음성 명령 형태 일 수 도 있으며, 키보드 형태일 수도 있으나 이에 한정되는 것은 아니다.

도 1을 참조하면 저장장치(200) 내부에 구비된 MR 콘텐츠 저장장치(220)에 저장된 마커(160)이미지가 빔프로젝트(400)를 통해 바닥에 비춰지면 사용자는 HMD 장치(140)을 착용한 상태에서 마커(160)를 응시하게 되고 마커에 대응되는 가상 오브젝트(모사형 객체 또는 모사형 환경)이 HMD 장치(140)를 통해 실행되면 사용자는 MR 콘텐츠 이미지를 볼 수 있으며, 동시에 사용자의 시야각에 들어오는 주변의 실제 공간을 볼 수 있다.

일 실시 예에 따르면 HMD 장치(140)를 착용한 사용자가 시야각에 들어오는 마커(160)를 응시하면 마커(160)에 대응하는 가상 오브젝트가 실제 주변 공간과 중첩되어 사용자의 눈으로 볼 수 있다.

도 2 및 도 3은 언어학습 시스템 디바이스(100)를 통해 언어학습을 진행하는 모습의 일 예를 설명하기 위한 도면이다.

도 2는 일 실시 예에 따라 사용자가 HMD 장치(140)를 착용하고 마커(160)를 응시하여 가상의 오브젝트가 실제 환경과 중첩되어 사용자의 눈에 보이면서 언어학습을 진행할 수 있다. 예를 들면 도2에서 사용자는 가상의 사슴 오브젝트에 관한 정보가 담긴 마커(160)를 응시하여 가상의 사슴 오브젝트가 책상 위에 입체적인 형태로 나타나고 이에 따라 사슴의 이름을 따라 발음을 하는 등의 언어교육이 진행될 수 있다.

도 3은 일 실시 예에 따라 사용자가 HMD 장치(140)를 착용하고 마커(160)를 응시하여 모사형의 환경(180)이 사용자의 눈에 보이면서 환경에 관한 언어학습을 진행할 수 있다. 예를 들면 도 3에서 사용자는 ‘학교’라는 가상의 환경에 관한 정보가 담긴 마커(160)를 응시하여 가상의 학교 환경이 입체적인 형태로 나타나고 이에 따라 ‘학교’에서 발생할 수 있는 ‘새 친구와 인사하기’ 등 환경에 대한 언어교육을 진행할 수 있으며 이 때 동작 인식 센서(300)가 사용자의 동작을 인식하여 상황에 맞는 동작을 하였는지 여부를 판단할 수 있다.

도 4는 실전 체험형 언어학습 콘텐츠의 AI 음성인식기능의 기술 흐름도이다.

도 4에 의한 일 실시예에 따르면 AI 음성인식 장치(210)을 통한 언어교육은 시스템을 통해 사용자에게 질문을 하면 이에 대해 사용자가 대답을 하고 이때 발생하는 음성데이터를 인식하고 분석하여 AI machine learning을 통해 발음완성도와 단어 완성도 등을 평가하여 정답을 추출하고 일정 점수 이상인 경우 다음 질문으로 넘어가고 일정 미만의 점수인 경우 다시 학습을 반복하는 과정을 가질 수 있다.

도 5는 실전 체험형 언어학습 콘텐츠의 MR 콘텐츠 재생에 관한 기술 흐름도이다.

도 5에 의한 일 실시 예에 따르면 MR 콘텐츠 재생을 통한 언어교육은 HMD(140)를 착용한 사용자가 마커를 인식하면 이에 대응하는 3D 데이터와 3D 이지미를 HMD(140) 장치를 통해 사용자가 눈으로 볼 수 있도록 제공할 수 있다.

도 6은 실전 체험형 언어학습 콘텐츠의 체험 방법 및 콘텐츠의 흐름도이다.

도 6에 의한 일 실시 예에 따르면 본 개시의 언어교육 콘텐츠는 HMD(140)를 착용한 사용자가 실전 체험형 언어학습 시스템 디바이스에 들어가 하네스르를 착용하고 객체에 대한 단어 및 발음연습 콘텐츠 또는 상황별 대화학습 콘텐츠 중 하나를 선택하여 콘텐츠를 체험할 수 있다.

예를 들어 단어 및 발음 학습 콘텐츠를 선택한 경우에는 동물, 식물, 과일, 그 외 사물 등의 정보가 담킨 마커를 선택하여 HMD 장치(140)로 응시하면 선택한 마커(160)에 대응되는 가상의 오브젝트가 실행되어 단어 학습 및 발음 학습에 대한 언어교육이 진행될 수 있다. 또한 상황별 대화 학습을 선택하는 경우 식당, 학교, 교통, 쇼핑 등의 정보가 담킨 마커(160)를 선택하여 HMD 장치(140)로 응시하면 선택한 마커(160)에 대응되는 가상의 환경이 구현되어 각 상황에 필요한 대화 및 언어교육이 진행될 수 있다.

전술한 실시 예들은 예시적인 것이며, 한정적이 아닌 것으로 이해될 수 있다. 또한, 흐름도에서 도시한 동작들의 순서에 한정되는 것이 아니며, 다양한 실시 예에 따라, 일부 단계가 생략되거나 부가될 수 있음은 물론, 일부 단계의 순서가 변경될 수 있는 것으로 이해될 수 있다.

한편, 상술한 실시 예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시 예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.

컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.

또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.

본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술 분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일 형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시에서 모든 예들 또는 예시적인 용어, “예를 들어,” “등”의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허 청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.

또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 개시의 실시 예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시 예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.

본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.

예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.

본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재은, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.

상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다.

따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.

또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.

또한 본 명세서에서, "a1, a2 및 a3 중 적어도 하나"라는 기재는, "a1", "a2", "a3", "a1 및 a2", "a1 및 a3", "a2 및 a3", 및 "a1, a2 및 a3" 중에서 한 가지를 나타낸다.

언어학습 시스템 디바이스(100) 디바이스 프레임(110)
레일(120) 레일 시스템(121)
슬링-하네스(130) HMD(140)
콘트롤러(150) 마커(160)
모사형 객체(170) 모사형 환경(180)
저장장치(200) AI 음성인식장치(210)
MR 콘텐츠 저장장치(220) 동작인식센서(300)
빔프로젝트(400)

Claims (7)

1. 구조물 프레임; 레일; 레일 이동장치; 슬링-하네스; HMD; 콘트롤러; AI 음성인식장치; MR 콘텐츠 저장장치; 및 상기 HMD 장치를 통해 MR 콘텐츠를 구현하고 상기 AI 음성인식 장치를 통해 음성인식 언어교육을 실행시키는 프로세서를 포함하고,
   상기 프로세서는 상기 HMD 장치를 통해 인식되는 마커를 인식하여 상기 HMD 장치를 통해 가상의 오브젝트를 만들어 사용자의 눈에 보이게 하며, 상기 마커는 상기 HMD에서 인식되는 장면에 포함된 실제 오브젝트를 포함하고,
   상기 마커의 속성은, 상기 실제 오브젝 등의 종류, 상기 실제 오브젝트가 포함된 장면이 상기 HMD에서 인식된 시간 및 위치 중 적어도 하나를 포함하며,
   상기 마커는 디스플레이 장치에 의해 이미지 형태로 실행되고 상기 마커 이미지를 상기 HMD에서 인식하여 언어교육 MR 콘텐츠를 제공하며,
   상기 프로세서는, 상기 마커가 식별됨에 따라 기 저장된 매핑 데이터베이스로부터 상기 식별된 마커에 대응되는 MR 오브젝트를 추출하며,
   가상의 오브젝트 중 가상의 환경을 통한 상황에 대한 언어교육을 진행하는 동안 동작인식 센서를 통해 사용자의 동작을 인식하여 상황에 맞는 동작을 하였는지 여부가 판별되어 상황에 관한 언어교육 MR 콘텐츠를 제공하며,
   상기 HMD에서 인식되는 객체에 관한 마커에 대응하는 MR 오브젝트를 매핑하고,
   상기 매핑된 오브젝트에 해당하는 단어의 발음, 질문을 제시하며,
   상기 질문에 대하여 사용자가 대답하는 음성 데이터를 수집하여 분석하고,
   수집 및 분석된 음성데이터를 발음 완성도와 단어완성도를 기준으로 평가하고 수치화 하며,
   상기 평가결과를 사용자에게 제시하는 단계를 포함하며,
   상기 HMD에서 인식되는 상황에 관한 마커에 대응하는 MR 오브젝트를 매핑하여 제공하고,
   상기 매핑된 오브젝트에 해당하는 상황에 적절한 대화를 제시하며,
   상기 대화에 대하여 사용자가 대답하는 음성 데이터를 수집하여 분석하고,
   수집 및 분석된 음성데이터를 발음 완성도와 문장완성도를 기준으로 평가하고 수치화 하며,
   상기 평가결과를 사용자에게 제시하는 단계를 포함하는 상황 학습 MR 콘텐츠를 제공하여 학습을 진행할 수 있는 언어교육 MR 콘텐츠를 제공하는 언어학습 시스템 디바이스.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제

Images