KR20230108398A - 혼합현실을 기반 원격 강의 시스템 - Google Patents

혼합현실을 기반 원격 강의 시스템 Download PDF

Info

Publication number
KR20230108398A
KR20230108398A KR1020220003745A KR20220003745A KR20230108398A KR 20230108398 A KR20230108398 A KR 20230108398A KR 1020220003745 A KR1020220003745 A KR 1020220003745A KR 20220003745 A KR20220003745 A KR 20220003745A KR 20230108398 A KR20230108398 A KR 20230108398A
Authority
KR
South Korea
Prior art keywords
student
virtual platform
virtual
avatar
mixed reality
Prior art date
Application number
KR1020220003745A
Other languages
English (en)
Inventor
신수용
김은비
정지수
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020220003745A priority Critical patent/KR20230108398A/ko
Publication of KR20230108398A publication Critical patent/KR20230108398A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Optics & Photonics (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 혼합현실을 기반 원격 강의 시스템에 관한 것으로서, 온라인 접속을 통해 아바타가 자유롭게 돌아다닐 수 있도록 가상의 강의실을 형성하는 가상플랫폼과, 학생이 머리에 착용하면 상기 가상플랫폼을 볼 수 있도록 형성되며 상기 학생을 인식하여 상기 가상플랫폼에 학생 아바타를 형성하고 상기 학생의 움직임에 맞춰 상기 학생 아바타가 따라 움직이도록 제어되는 HMD와, 상기 가상플랫폼의 기능을 제어하고 강의에 필요한 교구 및 자료를 상기 가상플랫폼에 출력할 수 있도록 형성되는 제어테이블과, 교수가 착용할 수 있도록 형성되며 실제 강의실을 촬영하여 상기 가상플랫폼이 상기 실제 강의실의 구조 및 배치와 동기화되도록 하며, 상기 가상플랫폼에 접속된 상기 학생 아바타를 상기 실제 강의실에 표시되도록 형성되는 혼합현실글래스를 포함하는 것을 특징으로 한다.

Description

혼합현실을 기반 원격 강의 시스템{Mixed reality based distance lecture system}
본 발명은 혼합현실을 기반 원격 강의 시스템에 관한 것으로서, 더욱 상세하게는 실제 강의실과 동일한 환경을 적용하여 온라인 원격 강의를 수행할 때 학생의 집중력을 높이고, 교수는 현장에서 학생들을 보며 강의할 수 있도록 하는 혼합현실을 기반 원격 강의 시스템에 관한 것이다.
종래에는 교육을 위하여 강사와 수강자가 같은 장소에 모여야만 했으나, 최근 인터넷 통신 기술의 발달로 말미암아 수강자가 교육 장소에 가지 않고도 집에서 단말기를 이용하여 원격 강의를 수강하는 것이 가능해지고 있다.
특히, 인터넷 통신의 특성상 하나의 콘텐츠를 여러 사람이 다른 시간에 다른 장소에서 요청하여 제공받을 수 있는, 이른바 주문형 서비스(On Demand Service)가 가능하므로 시간 및 장소의 제약 해소라는 본래의 목적이외에 반복학습을 통한 학습효과의 극대화라는 부차적인 성과도 얻을 수 있다.
그러나, 기존의 인터넷을 이용한 원격강의 방법은 교육 자료를 서버에 올려놓고 이를 다운로드 받아 지정된 재생기로 재생하는 방식이다.
즉, 강사가 텍스트 자료들 또는 그림 자료들을 웹사이트에 링크시키면 학생은 상기 자료들을 다운로드하여 사용하는 것이 대부분이었다. 그 결과, 인터넷 상에서 원격강의를 수강하는 수강자 입장에서는 텍스트로 되어 있는 자료를 오프라인에서 읽는 것과 별반 다를 바가 없는 기술에 불과하였다.
이에 따라 인터넷을 이용한 원격교육 시장은 많은 잠재력에도 불구하고 많이 확산되지 못하고 있으며, 이러한 단점을 극복하기 위해 자료의 멀티미디어화와 스트리밍 서비스의 도입 등 여러 가지 방법들이 사용되어 개선된 원격강의 시스템들이 속속 출현하였다.
하지만, 이러한 종래의 시스템들은 일관되지 못한 콘텐츠 제작 방식과 복잡한 강의 제작 과정으로 인해 높은 강의 제작비용 및 장시간의 강의 제작 시간이 소요되는 문제점이 있었다.
또한 최근에는 화상회의 프로그램을 이용하여 원격 강의를 수행하고 있으나, 이러한 원격강의는 학생이 모니터를 쳐다보고만 있어 학습 능력이 떨어지고, 교수도 실제 강의환경과 동떨어진 공간에서 말로만 설명하게 되는 문제점이 있었다.
한국특허 등록번호 제10-2308443호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 온라인에 형성된 가상의 강의실에 학생이 아바타를 통해 직접 출석할 수 있도록 형성되고, 교수는 실제 강의실에 구현된 학생 아바타를 통해 현실감 있는 강의를 구현할 수 있는 혼합현실을 기반 원격 강의 시스템을 제공하는 것이다.
또한 본 발명의 다른 목적은 학생 아바타가 학생의 움직임에 반응하여 동작될 수 있고, 다양한 학생이 혼합현실 강의실에 참여하여 강의를 청강하거나 토의할 수 있는 혼합현실을 기반 원격 강의 시스템을 제공하는 것이다.
또한 본 발명의 다른 목적은 강의 내용을 자동으로 녹화하고, 학생이 필기한 내용을 텍스트 파일로 다운로드 받을 수 있어 원격 강의 종료 후 스스로 복습할 수 있는 혼합현실을 기반 원격 강의 시스템을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 혼합현실을 기반 원격 강의 시스템은 온라인 접속을 통해 아바타가 자유롭게 돌아다닐 수 있도록 가상의 강의실을 형성하는 가상플랫폼과, 학생이 머리에 착용하면 상기 가상플랫폼을 볼 수 있도록 형성되며 상기 학생을 인식하여 상기 가상플랫폼에 학생 아바타를 형성하고 상기 학생의 움직임에 맞춰 상기 학생 아바타가 따라 움직이도록 제어되는 HMD와, 상기 가상플랫폼의 기능을 제어하고 강의에 필요한 교구 및 자료를 상기 가상플랫폼에 출력할 수 있도록 형성되는 제어테이블과, 교수가 착용할 수 있도록 형성되며 실제 강의실을 촬영하여 상기 가상플랫폼이 상기 실제 강의실의 구조 및 배치와 동기화되도록 하며, 상기 가상플랫폼에 접속된 상기 학생 아바타를 상기 실제 강의실에 표시되도록 형성되는 혼합현실글래스를 포함하는 것을 특징으로 한다.
또한 본 발명의 혼합현실을 기반 원격 강의 시스템의 상기 HMD는 상기 학생의 머리에 착용될 수 있도록 형성되고, 착용된 상태에서 상기 학생의 시야각을 차단하여 전면에서 출력되는 상기 가상플랫폼에 시야를 집중할 수 있도록 형성되는 것을 특징으로 한다.
또한 본 발명의 혼합현실을 기반 원격 강의 시스템의 상기 HMD는 상기 학생의 자세, 움직임, 음성 중 어느 하나 이상을 감지하여 상기 학생 아바타에 반영할 수 있도록 형성되는 행동감지부와, 상기 학생이 상기 가상플랫폼에 등록된 학생인지 홍채, 지문, 안면인식 중 어느 하나를 이용하여 인식하는 생체인증부와, 상기 학생의 안면 윤곽, 생김새, 표정 중 어느 하나 이상을 촬영하여 상기 학생 아바타에 3차원으로 출력되는 안면촬영부와, 상기 학생의 손에 쥘 수 있도록 형성되며 상기 학생 아바타의 행동, 감정, 이동 상태를 제어하고, 상기 학생이 필기한 내용을 상기 가상플랫폼에 표현할 수 있도록 형성되는 조작부로 이루어지는 것을 특징으로 한다.
또한 본 발명의 혼합현실을 기반 원격 강의 시스템의 상기 HMD는 상기 가상플랫폼에 접속한 다른 학생 아바타의 음성을 출력할 수 있도록 스피커를 더 포함하며, 상기 스피커는 상기 가상플랫폼에서 상기 학생의 아바타를 기준으로 떨어진 거리에 따라 상기 다른 학생 아바타에서 출력되는 음성의 출력을 서로 다르게 조정하고, 상기 가상플랫폼에서 강의를 진행하거나 발표를 수행하는 특정 아바타의 음성은 거리에 관계없이 일정한 크기로 출력되는 것을 특징으로 한다.
또한 본 발명의 혼합현실을 기반 원격 강의 시스템의 상기 가상플랫폼은 상기 제어테이블을 통해 입력되는 강의 자료 및 교구가 출력되도록 형성되는 가상칠판과, 상기 사용자 아바타가 착석할 수 있도록 형성되며 상부에는 상기 가상칠판에서 출력되는 내용이 표시되고 필기할 수 있도록 형성되는 가상책상과, 강의를 진행하거나 발표를 수행하는 특정 사용자 아바타가 위치될 수 있도록 형성되며, 상기 가상칠판을 제어할 수 있도록 형성되는 가상교탁으로 이루어지는 것을 특징으로 한다.
또한 본 발명의 혼합현실을 기반 원격 강의 시스템의 상기 제어테이블은 상기 가상플랫폼의 동작 상태를 제어하고 강의 형태에 따라 강의모드, 토론모드, 발표모드, 실습모드 중 어느 하나로 변환할 수 있도록 형성되며, 상기 HMD를 통해 인식된 학생의 정보를 기반으로 상기 가상플랫폼에 접속한 학생의 출결상태를 관리하는 것을 특징으로 한다.
또한 본 발명의 혼합현실을 기반 원격 강의 시스템의 상기 혼합현실글래스는 상기 교수의 자세, 움직임, 음성 중 어느 하나 이상을 감지하여 상기 가상플랫폼에 형성된 교수 아바타로 출력하고, 상기 교수가 칠판에 필기한 내용을 촬영하여 상기 가상플랫폼에 표시되도록 하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 혼합현실을 기반 원격 강의 시스템에 의하면, 온라인에 형성된 가상의 강의실에 학생이 아바타를 통해 직접 출석할 수 있도록 형성되고, 교수는 실제 강의실에 구현된 학생 아바타를 통해 현실감 있는 강의를 구현할 수 있는 효과가 있다.
또한 본 발명에 따른 혼합현실을 기반 원격 강의 시스템에 의하면, 학생 아바타가 학생의 움직임에 반응하여 동작될 수 있고, 다양한 학생이 혼합현실 강의실에 참여하여 강의를 청강하거나 토의할 수 있는 효과가 있다.
또한 본 발명에 따른 혼합현실을 기반 원격 강의 시스템에 의하면, 강의 내용을 자동으로 녹화하고, 학생이 필기한 내용을 텍스트 파일로 다운로드 받을 수 있어 원격 강의 종료 후 스스로 복습할 수 있는 효과가 있다.
도 1은 본 발명에 따른 혼합현실을 기반 원격 강의 시스템의 전체적인 구성을 나타낸 구성도.
도 2는 본 발명에 따른 혼합현실을 기반 원격 강의 시스템의 교수가 강의를 진행하는 가상플랫폼을 나타낸 예시도.
도 3은 본 발명에 따른 혼합현실을 기반 원격 강의 시스템의 교수가 가상플랫폼을 제어하는 모습을 나타낸 예시도.
도 4는 본 발명에 따른 혼합현실을 기반 원격 강의 시스템의 가상플랫폼이 토의 모드로 변환된 모습을 나타낸 예시도.
본 발명의 구체적 특징 및 이점들은 이하에서 첨부도면을 참조하여 상세히 설명한다. 이에 앞서 본 발명에 관련된 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 구체적인 설명을 생략하기로 한다.
본 발명은 혼합현실을 기반 원격 강의 시스템에 관한 것으로서, 더욱 상세하게는 실제 강의실과 동일한 환경을 적용하여 온라인 원격 강의를 수행할 때 학생의 집중력을 높이고, 교수는 현장에서 학생들을 보며 강의할 수 있도록 하는 혼합현실을 기반 원격 강의 시스템에 관한 것이다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참고로 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 혼합현실을 기반 원격 강의 시스템의 전체적인 구성을 나타낸 구성도이고, 도 2는 본 발명에 따른 혼합현실을 기반 원격 강의 시스템의 교수가 강의를 진행하는 가상플랫폼을 나타낸 예시도이며, 도 3은 본 발명에 따른 혼합현실을 기반 원격 강의 시스템의 교수가 가상플랫폼을 제어하는 모습을 나타낸 예시도이고, 도 4는 본 발명에 따른 혼합현실을 기반 원격 강의 시스템의 가상플랫폼이 토의 모드로 변환된 모습을 나타낸 예시도이다.
도 1 내지 도 4에 도시된 바와 같이, 본 발명에 따른 혼합현실을 기반 원격 강의 시스템은 온라인 접속을 통해 아바타가 자유롭게 돌아다닐 수 있도록 가상의 강의실을 형성하는 가상플랫폼(200)과, 학생이 머리에 착용하면 가상플랫폼(200)을 볼 수 있도록 형성되며 학생을 인식하여 가상플랫폼(200)에 학생 아바타(20)를 형성하고 학생의 움직임에 맞춰 학생 아바타(20)가 따라 움직이도록 제어되는 HMD(100)와, 가상플랫폼(200)의 기능을 제어하고 강의에 필요한 교구 및 자료를 가상플랫폼(200)에 출력할 수 있도록 형성되는 제어테이블(300)과, 교수가 착용할 수 있도록 형성되며 실제 강의실을 촬영하여 가상플랫폼(200)이 실제 강의실의 구조 및 배치와 동기화되도록 하며, 가상플랫폼(200)에 접속된 학생 아바타(20)를 실제 강의실에 표시되도록 형성되는 혼합현실글래스(400)를 포함하는 것을 특징으로 한다.
또한 HMD(100)는 학생의 머리에 착용될 수 있도록 형성되고, 착용된 상태에서 학생의 시야각을 차단하여 전면에서 출력되는 가상플랫폼(200)에 시야를 집중할 수 있도록 형성되는 것을 특징으로 한다.
혼합현실글래스(400)는 교수의 자세, 움직임, 음성 중 어느 하나 이상을 감지하여 가상플랫폼(200)에 형성된 교수 아바타(10)로 출력하고, 교수가 칠판에 필기한 내용을 촬영하여 가상플랫폼(200)에 표시되도록 하는 것을 특징으로 한다.
가상플랫폼(200)은 다수의 학생이 온라인에 접속하여 상호 호환할 수 있도록 형성되는 가상의 공간을 의미하며, 본 발명에서는 학습을 목적으로 하는 강의가 수행되는 다수 개의 책상과 강의를 위한 칠판을 포함하는 강의실의 형태를 그대로 구현되는 것을 기준으로 한다.
이때 가상플랫폼(200)은 수행되는 수업의 종류에 따라 다르게 형성될 수 있으며, 예를 들어 요가와 같은 강의를 위해 사용되는 강의실은 책상을 없애고 다수 개의 매트가 설치된 형상일 수 있으며 강의실의 종류나 형태는 한정되지 않는다.
가상플랫폼(200)은 각각의 학생이 머리에 착용하여 영상을 즐길 수 있는 HMD(Head mounted Display)(100)를 이용하여 접속할 수 있도록 형성되어 있으며, 필요에 따라 디스플레이 및 제어기능이 포함되는 스마트폰을 통해 접속될 수도 있게 된다.
HMD(100)는 머리에 착용될 수 있도록 형성되어 있으며 내부에는 디스플레이가 마련되어 있어 HMD(100)를 착용한 상태에서는 학생의 안구 전면에 디스플레이가 위치되어 학생이 가상플랫폼(200)을 볼 수 있도록 형성되어 있다.
이때 HMD(100)는 착용된 상태에서 안구 주위에 미착되어 실제 환경에서 유입되는 빛이나 주변 환경이 눈에 들어오지 않도록 차단할 수 있도록 하며, 디스플레이와 안구 사이에는 디스플레이를 확대시키는 렌즈가 마련되어 있어 학생이 실제 가상플랫폼(200)에 있는 듯 한 착각을 일으킬 수 있게 된다.
또한 HMD(100)에는 가상플랫폼(200)에 접속되면 가상플랫폼(200)에 학생 고유의 학생 아바타(20)를 생성하게 되며, 학생 아바타(20)는 HMD(100)의 조작이나 학생의 행동에 맞춰 동작될 수 있게 된다.
제어테이블(300)은 가상플랫폼(200)의 기능을 제어하기 위해 사용되는 하나의 컴퓨터와 같은 제어시스템을 의미하며, 각종 자료를 가상플랫폼(200)에 업로드 하여 필요한 강의 자료나 교구를 가상플랫폼(200)에 출력할 수 있도록 형성된다.
이때 제어테이블(300)은 강의를 진행하는 교수가 사용하게 되고, 강의를 청강하는 학생은 HMD(100)를 이용하여 제어테이블(300)로 온라인으로 접속할 수 있도록 형성된다.
혼합현실글래스(400)는 제어테이블(300)과 무선으로 연결되어 각종 데이터를 송수신할 수 있게 되며, 교수가 안면에 착용할 수 있는 안경형태로 이루어져 있어 투명한 렌즈를 통해 가상플랫폼(200)에 접속된 학생 아바타(20)가 실제 강의실에 표시될 수 있도록 형성되어 있다.
이때 혼합현실글래스(400)에는 카메라가 형성되어 있어 실제 강의실 내부 환경을 촬영할 수 있도록 형성되며, 실제 강의실의 책상 배치구조에 맞춰 가상플랫폼(200)에 구현된 가상책상(220)의 위치를 동기화시켜 실제 강의실과 가상플랫폼(200)이 서로 동일해지도록 제어할 수 있게 된다.
또한 혼합현실글래스(400)를 착용한 교수는 실제 강의실에 입장하여 오프라인 환경에서 실제 수업을 진행할 수 있게 되는데, 가상플랫폼(200)에 접속한 학생 아바타(20)를 혼합현실글래스(400) 렌즈를 통해 실제 책상에 투영시켜 학생이 존재하는 것처럼 표시할 수 있게 된다.
혼합현실글래스(400)는 교수의 자세, 움직임, 음성을 감지할 수 있도록 형성되어 있기 때문에 가상플랫폼(200)에 교수 아바타(10)를 출력하여 교수 아바타(10)의 움직임을 제어할 수 있게 된다.
즉, 교수의 팔 및 다리의 움직임을 감지하여 교수 아바타(10)가 교수와 동일하게 동작될 수 있게 되고, 교수가 내뱉는 말은 실시간으로 학생들이 착용한 HMD(100)로 출력될 수 있게 된다.
이를 통해 교수는 학생들이 실제 강의실에 존재하는 것과 동일한 느낌을 받게 되어 오프라인 강의를 진행할 수 있게 되며, 학생들은 실제 강의실과 동일하게 구현된 가상플랫폼(200)에 접속된 상태에서 교수 아바타(10)를 통해 가상 공간에서 실제와 동일한 느낌의 강의를 받을 수 있게 된다.
또한 필요에 따라 교수가 착용한 혼합현실글래스(400)를 이용하여 가상플랫폼(200)에 접속할 수도 있으며, 가상플랫폼에서 교수 아바타(10)를 통해 수업을 진행할 수도 있다.
즉, 혼합현실강의와 가상현실강의를 선택적으로 진행할 수도 있게 된다.
또한 HMD(100)는 학생의 자세, 움직임, 음성 중 어느 하나 이상을 감지하여 학생 아바타(20)에 반영할 수 있도록 형성되는 행동감지부(110)와, 학생이 가상플랫폼(200)에 등록된 학생인지 홍채, 지문, 안면인식 중 어느 하나를 이용하여 인식하는 생체인증부(120)와, 학생의 안면 윤곽, 생김새, 표정 중 어느 하나 이상을 촬영하여 학생 아바타(20)에 3차원으로 출력되는 안면촬영부(130)와, 학생의 손에 쥘 수 있도록 형성되며 학생 아바타(20)의 행동, 감정, 이동 상태를 제어하고, 학생이 필기한 내용을 가상플랫폼(200)에 표현할 수 있도록 형성되는 조작부(150)로 이루어지는 것을 특징으로 한다.
행동감지부(110)는 HMD(100)를 착용한 학생의 행동 상태를 아바타에 반영하기 위해 사용되는 것으로, 현재 학생의 앉기, 서기, 엎드리기, 눕기 등의 자세와, 걷기, 달리기, 점프, 팔 동작, 손동작 등의 움직임, 학생이 말하는 음성을 감지하여 아바타에 반영하기 위해 사용된다.
이를 위해 행동감지부(110)는 GPS, 자이로센서, 가속도센서, 마이크를 포함하는 센서모듈을 포함할 수 있으며, 각각의 센서에서 감지되는 상태에 맞춰 아바타가 작동될 수 있게 된다.
생체인증부(120)는 HMD(100)의 내부에 형성되어 있으며 학생이 HMD(100)를 착용한 상태에서 학생의 홍채를 촬영하여 학생 정보를 취득하거나, HMD(100)의 외면에 형성되어 HMD(100)를 착용한 상태에서 손가락을 접촉시키면 지문을 인식하여 학생의 정보를 취득하거나, 학생이 HMD(100)를 착용할 때 안면을 인식하여 학생 정보를 취득하기 위해 사용된다.
생체인증부(120)에서 취득된 홍채, 지문, 안면 중 어느 하나의 생체정보는 HMD(100)에 등록되어 있는 학생 정보와 일치되는지 비교 판단하게 되며, HMD(100)에는 사전에 가상플랫폼(200)을 사용하기 위한 학생 정보가 등록되어 있어 동일한 생체정보가 포함된 학생과 생체정보가 매칭되면 해당 학생의 정보 및 아바타를 가상플랫폼(200)에 적용시킬 수 있게 된다.
즉, 공공용도로 사용되거나 집에서 가족이 하나의 HMD(100)를 이용하여 가상플랫폼(200)에 접속할 때 HMD(100)에 학생 정보를 등록되어 있으면, 생체인증부(120)를 이용하여 학생을 자동으로 구별할 수 있게 된다.
학생 정보가 자동으로 구분되면 HMD(100)는 해당 학생이 설정한 아바타를 통해 가상플랫폼(200)에 접속할 수 있게 되며, 가상플랫폼(200)에 형성된 아바타는 학생의 고유정보를 포함하고 있어 출결관리에 자동으로 반영될 수 있게 된다.
안면촬영부(130)는 학생의 안면 윤곽, 생김새, 표정을 촬영하여 가상플랫폼(200)에 형성되는 아바타의 얼굴을 학생 안면과 동일하여 형성되도록 함으로써, 가상플랫폼(200)에 접속한 아바타의 얼굴을 통해 학생을 식별하고 감정을 표현하기 위해 사용된다.
이때 안면촬영부(130)는 생체인증부(120)에서 안면인식을 수행할 때도 사용될 수 있으며, 안면촬영부(130)에서 촬영된 사진은 HMD(100)에 의해 3차원으로 해석되어 아바타에 반영되도록 하는 것이 바람직하다.
또한 필요에 따라 별도의 3차원 촬영을 통해 학생 얼굴을 아바타에 그대로 적용할 수도 있으며, HMD(100)는 학생의 아바타의 체격, 헤어스타일, 옷을 변경할 수 있도록 하여 각각의 아바타가 개성을 가질 수 있도록 하는 것이 바람직하다.
조작부(150)는 학생의 양손에 쥘 수 있도록 형성되어 있으며 다수 개의 버튼이 형성되어 있어 가상플랫폼(200)에 형성된 아바타를 정밀하게 조종하기 위해 사용된다.
이때 조작부(150)는 조작핸들(151)과 필기구(152)로 나누어져 있는데, 조작핸들(151)에는 방향 제어를 위한 조그스틱과 버튼이 마련되어 있어 학생이 직접 움직이지 않아도 아바타를 제어할 수 있게 된다.
필기구(152)는 학생이 움켜쥔 상태에서 필기를 하면 가상플랫폼(200) 내에서 필기한 문장이 출력될 수 있게 되며, 이를 통해 강의 내용을 가상플랫폼(200) 내에서 기재하거나 문제를 풀거나 설명할 수 있게 된다.
조작핸들(151)과 필기구(152)는 내부에 자이로스코프, 가속도계가 형성되어 있어 양손에 쥔 상태에서 학생의 손 위치가 가변되거나 팔이 가변되는 것을 감지할 수 있게 되며, 이를 통해 조작핸들(151)을 통해 아바타를 조작하지 않을 때는 학생의 행동을 그대로 감지하여 아바타에 출력할 수 있게 된다.
또한 필기구(152)는 감압센서를 더 포함하고 있어 학생이 실제 책상에 앉은 상태에서 필기를 할 때 책상과 필기구(152)가 접촉되는 압력에 따라 가상플랫폼(200)에서 입력되는 글자의 굵기가 변화되도록 할 수도 있다.
또한 필기구(152)에는 다수 개의 버튼이 마련되어 있어 연필, 볼펜, 만년필, 크레파스, 색연필, 붓으로 바꾸거나 색상을 변화시켜 사용될 수 있게 된다.
또한 HMD(100)는 가상플랫폼(200)에 접속한 다른 학생 아바타(20)의 음성을 출력할 수 있도록 스피커(140)를 더 포함하며, 스피커(140)는 가상플랫폼(200)에서 학생의 아바타를 기준으로 떨어진 거리에 따라 다른 학생 아바타(20)에서 출력되는 음성의 출력을 서로 다르게 조정하고, 가상플랫폼(200)에서 강의를 진행하거나 발표를 수행하는 특정 아바타의 음성은 거리에 관계없이 일정한 크기로 출력되는 것을 특징으로 한다.
스피커(140)는 가상플랫폼(200)에서 다른 학생이 입력한 소리를 출력하여 학생이 이를 인지할 수 있도록 하기 위한 것으로, 가상플랫폼(200)에서 지원하는 음성데이터를 모두 출력할 수 있도록 형성된다.
예를 들어 다른 학생이 마이크를 통해 가상플랫폼(200)에 입력한 소리를 들을 수 있으며, 가상플랫폼(200)에 형성된 물건이 떨어지거나 부딪히면서 발생되는 소리, 아바타가 감정을 표현할 때 발생하는 박수, 울음, 웃음의 감절 소리나 서로 다른 두 아바타가 손을 마주칠 때 발생하는 소리를 출력할 수 있게 된다.
또한 스피커(140)를 통해 출력되는 소리는 학생을 기준으로 먼 거리에서 발생되는 소리는 작게 출력하고, 학생과 가까운 거리에서 발생되는 소리는 크게 출력되도록 하여 현실감 있게 구현되도록 하는 것이 바람직하다.
또한 강의를 진행하거나 발표를 진행하는 특정 아바타는 거리에 관계없이 각각의 학생 아바타(20)에서 일정한 크기로 출력되도록 하여 가상교탁(210)으로부터 먼 거리에 자리한 학생도 쉽게 인지할 수 있도록 하는 것이 바람직하다.
이때 특정 아바타는 제어테이블(300)을 이용하여 강의를 주도하는 교수에 의해 선택될 수 있으며, 기본적으로 교수 아바타(10)는 거리와 관계없이 음량이 전파되도록 하는 것이 바람직하다.
혼합현실글래스(400)의 경우 HMD(100)에 형성된 기능을 그대로 구현될 수 있도록 형성될 수 있으며, 필요에 따라 혼합현실과 가상현실을 선택적으로 사용할 수 있도록 시야각을 차단하는 구성을 더 포함할 수도 있게 된다.
또한 HMD(100)가 없는 학생의 경우 모바일 단말기나 PC를 이용하여 가상플랫폼(200)에 접속하여 화면을 보면서 강의를 청강할 수 있고, 학생인증을 위해 가상플랫폼(200)은 별도의 아이디와 패스워드, 안면인식, 홍채인식을 통해 가상플랫폼(200)에서 인증될 수 있게 된다.
또한 모바일 단말기나 PC를 통해 접속된 학생은 카메라가 존재하는 경우에는 학생의 얼굴을 촬영하여 학생 아바타(20)에 반영하고 말을 할 수 있으나, 학생 아바타(20)가 움직일 수는 없는 상태로 제한되게 된다.
모바일 단말기를 이용하여 접속한 경우 모바일 단말기의 자이로센서나 가속도센서를 이용하여 모바일 단말기를 좌우로 회전시키는 경우 주위를 살펴볼 수는 있도록 구성되는 것이 바람직하다.
또한 가상플랫폼(200)은 제어테이블(300)을 통해 입력되는 강의 자료 및 교구가 출력되도록 형성되는 가상칠판(230)과, 학생 아바타(20)가 착석할 수 있도록 형성되며 상부에는 가상칠판(230)에서 출력되는 내용이 표시되고 필기할 수 있도록 형성되는 가상책상(220)과, 강의를 진행하거나 발표를 수행하는 특정 아바타가 위치될 수 있도록 형성되며, 가상칠판(230)을 제어할 수 있도록 형성되는 가상교탁(210)으로 이루어지는 것을 특징으로 한다.
가상칠판(230)은 가상플랫폼(200)에 의해 형성된 강의실의 일면에 형성되어 있으며, 제어테이블(300)에 의해 화면이 제어되어 필요한 교구나 강의 자료가 가상칠판(230)을 통해 출력될 수 있도록 형성된다.
이때 가상칠판(230)은 제어테이블(300)에 형성된 터치패널(310)에 의해 제어될 수 있도록 형성되어 있으며, 터치패널(310)에서 입력되는 정보는 가상칠판(230)을 통해 출력되어 강의를 청강하는 각각의 학생이 내용을 확인할 수도 있게 된다.
제어테이블(300)은 도 3과 같이 제어테이블(300)에 형성된 터치패널(310)에 필기하여 제어할 수 있게 되는데, 터치패널(310)에 출력된 화면은 가상칠판(230)과 동기화되어 화면이 출력되도록 구성된다.
이때 터치패널(310)에 교수가 필기구(152)를 접촉시키면 교수 아바타(10)는 가상칠판(230)에서 접촉된 부위를 가리키게 되고, 필기를 하는 경우 교수 아바타(10)는 가상칠판(230)에 필기하면서 문자를 출력하게 된다.
즉, 교수 아바타(10)는 가상칠판(230) 앞에 항상 서있는 상태로 유지되고, 교수가 실제로 일어서지 않아도 아바타는 일어선 상태에서 강의를 진행할 수 있게 되므로 교수의 피로를 줄일 수 있게 된다.
또한 혼합현실글래스(400)를 착용한 교수가 실제 강의실에 형성된 실제 칠판에 필기를 할 때 해당 화면은 실시간으로 전송되어 가상플랫폼(200)에 형성된 가상칠판(230)에 자동으로 반영될 수 있게 된다.
또한 가상칠판(230)은 각각의 학생 아바타(20)가 가상칠판(230) 앞에 위치된 상태에서 필기구(152)를 이용하여 가상칠판(230)에 문자나 그림을 입력할 수도 있게 되므로 실제로 강의하는 형태와 동일하게 사용될 수 있게 된다.
가상책상(220)은 강의를 듣는 학생인 학생이 착석하여 사용할 수 있도록 형성되는 것으로, 가상플랫폼(200)에 접속한 학생 수에 맞춰 가상 책상이 자동으로 형성될 수 있게 된다.
또한 가상책상(220)은 상부에 강의에 필요한 교보재가 출력될 수 있도록 형성되며, 학생들은 필기구(152)를 통해 가상책상(220)에 형성된 교보재에 필기구(152)를 이용하여 필기하거나 정보를 표시할 수 있게 된다.
또한 가상책상(220)은 가상칠판(230)으로부터 멀리 떨어져 있는 학생도 가상칠판(230)에 출력된 정보를 확인할 수 있도록 가상칠판(230)이 출력되도록 구성될 수 있어 가상칠판(230)을 쳐다보지 않고 가상책상(220)을 통해 강의를 들으면서 바로 필기까지 진행할 수 있게 된다.
가상교탁(210)은 강의를 진행하는 교수가 위치되어 강의를 진행하기 위해 사용되는 것으로, 가상교탁(210)에는 제어테이블(300)을 통해 입력된 강의 자료나 발표 자료를 선택하여 가상칠판(230)에 출력하도록 제어할 수 있게 된다.
즉, 가상교탁(210)에 제어테이블(300)을 조작할 수 있는 제어버튼이 마련되어 있어 현실에서 제어테이블(300)을 직접 조작하지 않아도 가상교탁(210)을 통해 제어할 수 있게 되며, 제어테이블(300)에 업로드 된 정보를 가상칠판(230)에 출력하여 원활한 강의가 진행될 수 있게 된다.
또한 가상교탁(210)은 학생이 발표를 진행할 때 학생이 위치되어 발표 자료를 출력하거나 넘길 수 있도록 형성될 수 있는데, 이 경우 교수가 제어테이블(300)의 일부 권한만 넘겨 해당 학생의 발표 자료만 제어할 수 있도록 하는 것이 바람직하다.
또한 제어테이블(300)은 가상플랫폼(200)의 동작 상태를 제어하고 강의 형태에 따라 강의모드, 토론모드, 발표모드, 실습모드 중 어느 하나로 변환할 수 있도록 형성되며, HMD(100)를 통해 인식된 학생의 정보를 기반으로 가상플랫폼(200)에 접속한 학생의 출결상태를 관리하는 것을 특징으로 한다.
제어테이블(300)은 사용되는 강의 종류에 따라 가상플랫폼(200)을 변경할 수 있게 되는데, 강의모드, 토론모드, 발표모드, 실습모드로 구분되어 적용될 수 있으며, 각 모드는 학생들이 앉는 가상책상(220)의 위치가 변경 및 제거되게 된다.
강의 모드나 발표모드는 도 2와 같은 형태로 각각의 학생은 가상칠판(230)을 바라보도록 형성될 수 있으며, 토론모드의 경우 도 4와 같이 팀원들끼리 모여서 앉을 수 있도록 가상착생의 위치를 그룹별로 묶어서 앉도록 변경할 수 있다.
실습모드의 경우 가상책상(220)을 제거하고 각각의 학생 앞에 실습을 위한 교보재가 위치되도록 하여 교보재를 이용하여 학생이 직접 특정 행위를 수행할 수 있도록 형성될 수 있다.
이때 기계장치에 대한 실습인 경우 기계장치가 각 학생들 앞에 구현되고 분해나 조립, 점검을 수행할 수 있으며, 의료와 관련된 실습의 경우 테이블 위에 가상의 사람 더미가 형성된 후 주사를 놓거나 해부하는 등의 실습을 수행할 수 있다.
또한 제어테이블(300)은 HMD(100)를 통해 인식된 학생 정보를 기반으로 가상플랫폼(200)에 접속된 학생의 정보를 취득하여 자동으로 출결관리를 수행할 수 있게 된다.
또한 제어테이블(300)은 데이터서버(320)가 형성되어 있어 강의나 실습시 각 학생의 행동이나 학습상태, 강의 내용을 각각 개별적으로 저장할 수 있으며, 강의가 종료된 후 학생들은 데이터서버(320)에 접근하여 강의 내용을 다운받을 수 있게 된다.
상술한 바와 같이, 본 발명에 따른 혼합현실을 기반 원격 강의 시스템에 의하면, 온라인에 형성된 가상의 강의실에 학생이 아바타를 통해 직접 출석할 수 있도록 형성되고, 교수는 실제 강의실에 구현된 학생 아바타를 통해 현실감 있는 강의를 구현할 수 있고, 학생 아바타가 학생의 움직임에 반응하여 동작될 수 있고, 다양한 학생이 혼합현실 강의실에 참여하여 강의를 청강하거나 토의할 수 있으며, 강의 내용을 자동으로 녹화하고, 학생이 필기한 내용을 텍스트 파일로 다운로드 받을 수 있어 원격 강의 종료 후 스스로 복습할 수 있는
이상과 같이 본 발명은, 바람직한 실시 예를 중심으로 설명하였지만 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 특허청구범위에 기재된 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다. 따라서 본 발명의 범주는 이러한 많은 변형의 예들을 포함하도록 기술된 청구범위에 의해서 해석되어야 한다.
10 : 교수
20 : 학생
100 : HMD
110 : 행동감지부
120 : 생체인증부
130 : 안면촬영부
140 : 스피커
150 : 조작부
151 : 조작핸들
152 : 필기구
200 : 가상플랫폼
210 : 가상교탁
220 : 가상책상
230 : 가상칠판
300 : 제어테이블
310 : 터치패널
320 : 데이터서버
400 : 혼합현실글래스

Claims (7)

  1. 온라인 접속을 통해 아바타가 자유롭게 돌아다닐 수 있도록 가상의 강의실을 형성하는 가상플랫폼과;
    학생이 머리에 착용하면 상기 가상플랫폼을 볼 수 있도록 형성되며 상기 학생을 인식하여 상기 가상플랫폼에 학생 아바타를 형성하고 상기 학생의 움직임에 맞춰 상기 학생 아바타가 따라 움직이도록 제어되는 HMD와;
    상기 가상플랫폼의 기능을 제어하고 강의에 필요한 교구 및 자료를 상기 가상플랫폼에 출력할 수 있도록 형성되는 제어테이블과;
    교수가 착용할 수 있도록 형성되며 실제 강의실을 촬영하여 상기 가상플랫폼이 상기 실제 강의실의 구조 및 배치와 동기화되도록 하며, 상기 가상플랫폼에 접속된 상기 학생 아바타를 상기 실제 강의실에 표시되도록 형성되는 혼합현실글래스;를 포함하는 것을 특징으로 하는
    혼합현실을 기반 원격 강의 시스템.
  2. 제 1항에 있어서,
    상기 HMD는
    상기 학생의 머리에 착용될 수 있도록 형성되고, 착용된 상태에서 상기 학생의 시야각을 차단하여 전면에서 출력되는 상기 가상플랫폼에 시야를 집중할 수 있도록 형성되는 것을 특징으로 하는
    혼합현실을 기반 원격 강의 시스템.
  3. 제 1항에 있어서,
    상기 HMD는
    상기 학생의 자세, 움직임, 음성 중 어느 하나 이상을 감지하여 상기 학생 아바타에 반영할 수 있도록 형성되는 행동감지부와;
    상기 학생이 상기 가상플랫폼에 등록된 학생인지 홍채, 지문, 안면인식 중 어느 하나를 이용하여 인식하는 생체인증부와;
    상기 학생의 안면 윤곽, 생김새, 표정 중 어느 하나 이상을 촬영하여 상기 학생 아바타에 3차원으로 출력되는 안면촬영부와;
    상기 학생의 손에 쥘 수 있도록 형성되며 상기 학생 아바타의 행동, 감정, 이동 상태를 제어하고, 상기 학생이 필기한 내용을 상기 가상플랫폼에 표현할 수 있도록 형성되는 조작부;로 이루어지는 것을 특징으로 하는
    혼합현실을 기반 원격 강의 시스템.
  4. 제 1항에 있어서,
    상기 HMD는
    상기 가상플랫폼에 접속한 다른 학생 아바타의 음성을 출력할 수 있도록 스피커;를 더 포함하며,
    상기 스피커는 상기 가상플랫폼에서 상기 학생의 아바타를 기준으로 떨어진 거리에 따라 상기 다른 학생 아바타에서 출력되는 음성의 출력을 서로 다르게 조정하고,
    상기 가상플랫폼에서 강의를 진행하거나 발표를 수행하는 특정 아바타의 음성은 거리에 관계없이 일정한 크기로 출력되는 것을 특징으로 하는
    혼합현실을 기반 원격 강의 시스템.
  5. 제 1항에 있어서,
    상기 가상플랫폼은
    상기 제어테이블을 통해 입력되는 강의 자료 및 교구가 출력되도록 형성되는 가상칠판과;
    상기 사용자 아바타가 착석할 수 있도록 형성되며 상부에는 상기 가상칠판에서 출력되는 내용이 표시되고 필기할 수 있도록 형성되는 가상책상과;
    강의를 진행하거나 발표를 수행하는 특정 사용자 아바타가 위치될 수 있도록 형성되며, 상기 가상칠판을 제어할 수 있도록 형성되는 가상교탁;으로 이루어지는 것을 특징으로 하는
    혼합현실을 기반 원격 강의 시스템.
  6. 제 1항에 있어서,
    상기 제어테이블은
    상기 가상플랫폼의 동작 상태를 제어하고 강의 형태에 따라 강의모드, 토론모드, 발표모드, 실습모드 중 어느 하나로 변환할 수 있도록 형성되며,
    상기 HMD를 통해 인식된 학생의 정보를 기반으로 상기 가상플랫폼에 접속한 학생의 출결상태를 관리하는 것을 특징으로 하는
    혼합현실을 기반 원격 강의 시스템.
  7. 제 1항에 있어서,
    상기 혼합현실글래스는
    상기 교수의 자세, 움직임, 음성 중 어느 하나 이상을 감지하여 상기 가상플랫폼에 형성된 교수 아바타로 출력하고, 상기 교수가 칠판에 필기한 내용을 촬영하여 상기 가상플랫폼에 표시되도록 하는 것을 특징으로 하는
    혼합현실을 기반 원격 강의 시스템.
KR1020220003745A 2022-01-11 2022-01-11 혼합현실을 기반 원격 강의 시스템 KR20230108398A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220003745A KR20230108398A (ko) 2022-01-11 2022-01-11 혼합현실을 기반 원격 강의 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220003745A KR20230108398A (ko) 2022-01-11 2022-01-11 혼합현실을 기반 원격 강의 시스템

Publications (1)

Publication Number Publication Date
KR20230108398A true KR20230108398A (ko) 2023-07-18

Family

ID=87423797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220003745A KR20230108398A (ko) 2022-01-11 2022-01-11 혼합현실을 기반 원격 강의 시스템

Country Status (1)

Country Link
KR (1) KR20230108398A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308443B1 (ko) 2021-02-19 2021-10-05 유비트론(주) 스마트 첨단 강의 및 녹화 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308443B1 (ko) 2021-02-19 2021-10-05 유비트론(주) 스마트 첨단 강의 및 녹화 시스템

Similar Documents

Publication Publication Date Title
US11983837B2 (en) Cheating deterrence in VR education environments
ES2893410T3 (es) Sistema de instrucción de realidad virtual y aumentada
JP2009145883A (ja) 学習システム、記憶媒体及び学習方法
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP2020080154A (ja) 情報処理システム
CN111477055A (zh) 基于虚拟现实技术的教师培训系统及方法
US20240096227A1 (en) Content provision system, content provision method, and content provision program
Bravo et al. Art activities with Kinect to students with cognitive disabilities: Improving all motor skills
CN115004281A (zh) 视听终端、视听方法、视听系统以及程序
McMenemy et al. A hitchhiker's guide to virtual reality
US11756449B2 (en) System and method for improving reading skills of users with reading disability symptoms
JP7465736B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP2023164439A (ja) 授業コンテンツの配信方法、授業コンテンツの配信システム、端末及びプログラム
KR20230108398A (ko) 혼합현실을 기반 원격 강의 시스템
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP6864041B2 (ja) 情報記憶方法および情報記憶システム
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Cicconi Augmented total theatre: shaping the future of immersive augmented reality representations
JP6733027B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
TWI767633B (zh) 仿真虛擬教室
US11989357B1 (en) Systems and methods to specify interactive page locations by pointing a light beam using a handheld device
US11979448B1 (en) Systems and methods for creating interactive shared playgrounds
JP2021009348A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
TW202424697A (zh) 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統
Munsinger The Usability of Interaction Methods in Augmented Reality

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application