KR102109942B1 - 가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법 - Google Patents

가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법 Download PDF

Info

Publication number
KR102109942B1
KR102109942B1 KR1020180056535A KR20180056535A KR102109942B1 KR 102109942 B1 KR102109942 B1 KR 102109942B1 KR 1020180056535 A KR1020180056535 A KR 1020180056535A KR 20180056535 A KR20180056535 A KR 20180056535A KR 102109942 B1 KR102109942 B1 KR 102109942B1
Authority
KR
South Korea
Prior art keywords
user
virtual reality
experience
supervisor
job
Prior art date
Application number
KR1020180056535A
Other languages
English (en)
Other versions
KR20190131756A (ko
Inventor
이두헌
Original Assignee
주식회사 패러렐월드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 패러렐월드 filed Critical 주식회사 패러렐월드
Priority to KR1020180056535A priority Critical patent/KR102109942B1/ko
Publication of KR20190131756A publication Critical patent/KR20190131756A/ko
Application granted granted Critical
Publication of KR102109942B1 publication Critical patent/KR102109942B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Abstract

가상현실을 이용한 공존 직업 체험 제공 방법이 제공되며, 적어도 하나의 사용자 VR 장치 및 감독자 VR 장치 간을 연결하는 단계, 적어도 하나의 사용자 VR 장치에서 선택된 직업체험 가상현실 콘텐츠를 적어도 하나의 VR 장치 및 감독자 VR 장치에서 실시간 공유되도록 스트리밍하는 단계, 직업체험 가상현실 콘텐츠 내의 가상객체 또는 가상 이벤트에 대응하여 인터렉션하는 적어도 하나의 사용자 VR 장치의 입력 데이터를 수집하는 단계, 수집된 입력 데이터와 기 설정된 기준 데이터를 비교하여 적어도 하나의 사용자의 선택된 직업 간의 적합성을 평가하여 피드백 데이터를 적어도 하나의 사용자 VR 장치 및 감독자 VR 장치로 전송하는 단계, 및 감독자 VR 장치 또는 적어도 하나의 사용자 VR 장치에 의해 실시간으로 변경되는 직업체험 가상현실 콘텐츠가 디스플레이되도록 디스플레이 장치로 데이터를 전송하는 공유되도록 하는 단계를 포함한다.

Description

가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법{SYSTME AND METHOD FOR PROVIDING CO-JOB EXERIENCE SERVICE USING VIRTUAL REALITY}
본 발명은 가상현실을 이용한 공존 직업 체험 제공 방법에 관한 것으로, 감독자에 의해 설정된 직업체험 가상현실 콘텐츠 내에서 복수의 사용자가 직업을 체험할 수 있는 플랫폼을 제공한다.
최근, 사회 환경의 빠르고 다양한 변화들은 어린이와 청소년들의 환경뿐만 아니라 진로 설계에도 많은 영향을 미치고 있다. 직업의 결정에 있어서 큰 역할을 하는 요소에는 스스로의 재능, 적성, 주위의 조언 등 여러 가지 요인들이 있고, 올바른 진로설정을 통해 인생을 계획하고 자아를 실현하는 것은 한 개인의 성장은 물론 사회와 국가적으로 중요한 과업이라 할 수 있다. 이와 함께 개정 교육과정에서 창의적 체험활동의 4개 영역 가운데 진로활동이 자리매김하게 되면서 학교의 교육에서 진로교육에 관한 비중이 높아지게 됨에 따라 다양한 직업체험 프로그램 수업이 시행되고 있다.
이때, 온라인을 통한 가상 세계에서의 현실 체험에 관련하여 가상의 직업 체험을 할 수 있는 플랫폼이 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2012-0103373호(2012년09월19일 공개)에는, 사용자 단말이 가상 세계 서비스 서버에 접속하고, 사용자 단말이 제빵, 제과 및 요리 중 어느 하나의 체험 프로세스를 선택하고, 가상 세계의 상점에서 아이템을 구입하는 이벤트를 실행하는 제 1 이벤트를 실행하고, 제 1 이벤트 실행이 완성된 경우에, 미리 정해진 레시피 정보에 따라 제빵, 제과 및 요리 중 어느 하나의 정해진 항목에 관해서, 그래픽 사용자 인터페이스를 이용하여 순차적으로 가상의 음식물을 제조하는 게임 미션 실행 단계로서, 계량 요소, 시간 요소, 점수 요소를 측정하여 평가하는 게임 미션을 실행하는 제 2 이벤트를 실행하는 구성을 개시한다.
다만, 현재까지의 직업체험 프로그램 수업은 주로 현장방문 프로그램에 의존하여 운영됨으로써 시공간의 제약이 있으며, 특히 강의식 콘텐츠는 개인의 적성에 따른 양방향 체험이 아닌 획일화된 콘텐츠인 경우를 많이 볼 수 있다. 상술한 가상체험 콘텐츠를 이용한다고 할지라도 일반적인 게임형식의 미션 수행 과정으로 주입식 교육으로 편향되는 경향이 있으며, 직업체험의 콘텐츠는 학생들이 흥미로움 속에서 보다 쉽고 다양한 직업을 체험함으로써 다양한 직업관을 형성하고 자신의 재능과 적성을 발견하여 미래의 꿈을 키울 수 있는 기회를 제공하여야 하지만, 실상은 교육인력의 부족과 비용의 문제로 인하여 실제로 체험을 한 후 직업을 선택하는 경우는 극히 드문 것이 현실정이다.
본 발명의 일 실시예는, 가상공간에서 유아 및 청소년에게 직업을 충분히 경험한 후 선택할 수 있도록 실감형 간접체험의 기회를 부여하고, 감독자가 설정한 가상현실 환경과 선택한 콘텐츠에 과제를 제시함으로써 관찰하기, 스스로 발견하기, 논리적으로 생각하기 및 다른사람과 협동하여 체결하기의 일련의 사고 및 행동과정으로 상상력을 자극하고 창의력을 증진시키며 경험세계를 확장시키면서 직업을 선택하는 의사결정과정을 도와줄 수 있는, 가상현실을 이용한 공존 직업 체험 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 적어도 하나의 사용자 VR 장치 및 감독자 VR 장치 간을 연결하는 단계, 적어도 하나의 사용자 VR 장치에서 선택된 직업체험 가상현실 콘텐츠를 적어도 하나의 VR 장치 및 감독자 VR 장치에서 실시간 공유되도록 스트리밍하는 단계, 직업체험 가상현실 콘텐츠 내의 가상객체 또는 가상 이벤트에 대응하여 인터렉션하는 적어도 하나의 사용자 VR 장치의 입력 데이터를 수집하는 단계, 수집된 입력 데이터와 기 설정된 기준 데이터를 비교하여 적어도 하나의 사용자의 선택된 직업 간의 적합성을 평가하여 피드백 데이터를 적어도 하나의 사용자 VR 장치 및 감독자 VR 장치로 전송하는 단계, 및 감독자 VR 장치 또는 적어도 하나의 사용자 VR 장치에 의해 실시간으로 변경되는 직업체험 가상현실 콘텐츠가 디스플레이되도록 디스플레이 장치로 데이터를 전송하는 공유되도록 하는 단계를 포함한다.
본 발명의 다른 일 실시예는, 사용자로부터 선택된 종류의 직업체험 가상현실 콘텐츠를 수신하여 구동하고, 직업체험 가상현실 콘텐츠 내에서 가상객체 또는 가상이벤트와 인터렉션하는 사용자의 음성 또는 모션에 따른 이벤트를 입력받아 이벤트에 대응하는 직업체험 가상현실 콘텐츠를 출력하고, 유무선 네트워크를 통하여 직업체험 가상현실 콘텐츠를 전송하는 적어도 하나의 사용자 VR 장치, 및 적어도 하나의 사용자 VR 장치에서 선택한 종류의 직업체험 가상현실 콘텐츠를 적어도 하나의 사용자 VR 장치에서 구동되도록 제공하고, 적어도 하나의 사용자 VR 장치에서 입력된 음성 또는 모션에 따른 이벤트에 대응하도록 직업체험 가상현실 콘텐츠를 제어하고, 가상객체 또는 가상이벤트와 인터렉션하는 사용자의 음성 또는 모션에 따른 수행 데이터를 수집하여 적어도 하나의 사용자가 선택한 종류의 직업의 적합도를 계산하여 적어도 하나의 사용자 VR 장치로 피드백하고, 적어도 하나의 사용자 VR 장치에서 발생한 이벤트를 실시간으로 공유되도록 업데이트하는 가상현실 서비스 제공 서버를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 가상공간에서 유아 및 청소년에게 직업을 충분히 경험한 후 선택할 수 있도록 실감형 간접체험의 기회를 부여하고, 감독자가 설정한 가상현실 환경과 선택한 콘텐츠에 과제를 제시함으로써 관찰하기, 스스로 발견하기, 논리적으로 생각하기 및 다른사람과 협동하여 체결하기의 일련의 사고 및 행동과정으로 상상력을 자극하고 창의력을 증진시키며 경험세계를 확장시키면서 직업을 선택하는 의사결정과정을 도와줄 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상현실을 이용한 공존 직업 체험 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 가상현실 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 가상현실을 이용한 공존 직업 체험 제공 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 가상현실을 이용한 공존 직업 체험 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상현실을 이용한 공존 직업 체험 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가상현실을 이용한 공존 직업 체험 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 가상현실을 이용한 공존 직업 체험 제공 시스템(1)은, 적어도 하나의 사용자 VR 장치(100), 가상현실 서비스 제공 서버(300), 감독자 VR 장치(400) 및 디스플레이 장치(500)를 포함할 수 있다. 다만, 이러한 도 1의 가상현실을 이용한 공존 직업 체험 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 VR 장치(100)는 네트워크(200)를 통하여 가상현실 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 가상현실 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 VR 장치(100), 감독자 VR 장치(400), 및 디스플레이 장치(500)와 연결될 수 있다. 또한, 감독자 VR 장치(400)는, 네트워크(200)를 통하여 가상현실 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 디스플레이 장치(500)는, 가상현실 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 VR 장치(100)는, 가상현실을 이용한 공존 직업 체험 제공 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 가상현실 상에서 직업체험을 하는 사용자의 단말일 수 있다. 이때, 적어도 하나의 사용자 VR 장치(100)는, 직업체험 가상현실 콘텐츠 내의 가상객체와 인터렉션을 위하여 음성을 입력받거나, 적어도 하나의 센서 감지값을 가상현실 서비스 제공 서버(300)로 전송하거나 적어도 하나의 사용자 VR 장치(100) 내에서 처리하여, 이에 대응하는 직업체험 가상현실 콘텐츠를 출력하는 장치일 수 있다. 그리고, 적어도 하나의 사용자 VR 장치(100)는, ARCS이론에 기반한 직업체험 가상현실 콘텐츠를 제공할 수 있는데, 이는 학습자의 동기모델을 포함하고, 동기모델의 네 요소는 주의집중(Attention), 관련성(Relevance), 자신감(Confidency), 만족감(Satisfaction)을 포함하 수 있다. 먼저, 주의집중은 동기의 요소로서 학습자의 주의를 집중시키고 유지하는 것을 말하고, 관련성은 왜 공부를 해야 하는가에 대한 질문에 해답을 제시하기 위해 학습자체에 즐거움과 가치를 주도록 도와주는 방식으로 결과보다는 과정에 초점을 맞추는 방식이다. 자신감은 성공에 대한 기대 정도로, 자신을 통제함으로써 성공할 수 있다고 믿도록 도와주는 과정을 말한다. 만족감은 내재적, 외재적 강화로 보상해주기 위해 도전감 있는 학습 환경을 제공하는 전략들이 제시된다. 그리고, 적어도 하나의 사용자 VR 장치(100)에서 발생하는 적어도 하나의 입력 이벤트 또는 인터렉션 이벤트는 가상현실 서비스 제공 서버(300)로 전송되어, 직업체험 결과의 피드백을 제공하기 위한 입력 데이터를 제공하는 장치일 수 있다. 그리고, 적어도 하나의 사용자 VR 장치(100)는, 감독자 VR 장치(400)로부터 설정된 가상환경 상에서 원거리 또는 근거리에 존재하는 사용자들이 가상의 콘텐츠를 증강현실 또는 가상현실 환경에서 공유하고, 손동작 등의 모션으로 콘텐츠를 제어할 수 있는 장치일 수 있다. 또한, 적어도 하나의 사용자 VR 장치(100)는, 한 노드에는 사용자 전신의 몸짓 또는 인체의 일부의 몸짓을 추적하는 카메라를 포함하는 HMD(Head Mounted Display)를 구비할 수 있으며, 사용자가 비디오 투시형(Video see-through) HMD를 통하여 상대방의 아바타 등과 작업을 해야 하는 콘텐츠를 볼 수 있도록 하는 장치일 수 있다. 또한, 적어도 하나의 사용자 VR 장치(100)는, 손동작을 이용하여 가상의 물건을 옮기거나 선택하는 작업을 원격의 사용자와 공동으로 수행하도록 하는 장치일 수 있으며, HMD를 통하여 보고 있는 화면으로 원격지의 사용자와 그 아바타, 그리고 손동작을 이용하여 게임이나 교육 콘텐츠에서 설정된 임무를 완성하도록 하는 장치일 수 있다.
여기서, 적어도 하나의 사용자 VR 장치(100)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 VR 장치(100)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 VR 장치(100)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
가상현실 서비스 제공 서버(300)는, 가상현실을 이용한 공존 직업 체험 제공 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 이때, 가상현실 서비스 제공 서버(300)는, 적어도 하나의 사용자 VR 장치(100)에서 직업의 종류가 선택되는 경우, 선택된 종류의 직업을 체험할 수 있는 직업체험 가상현실 콘텐츠를 적어도 하나의 사용자 VR 장치(100)에서 출력되도록 하고, 적어도 하나의 사용자 VR 장치(100)에서 직업체험 가상현실 콘텐츠 내의 가상객체 또는 가상이벤트와 인터렉션한 결과나 입력한 데이터를 실시간으로 수집하여 직업체험 결과에 대한 피드백을 생성하기 위한 입력값으로 이용할 수 있다. 그리고, 가상현실 서비스 제공 서버(300)는, 적어도 하나의 사용자 VR 장치(100)와 감독자 VR 장치(400)를 협업 상태에 따라 데이터 송수신 방향을 제어하고, 감독자 VR 장치(400)에서 설정된 환경이나 태스크를 적어도 하나의 사용자 VR 장치(100) 및 감독자 VR 장치(400)와 연결하여 공유하도록 하고, 적어도 하나의 사용자 VR 장치(100)의 센서로부터 감지된 감지값에 의해 직업체험 가상현실 콘텐츠 내의 객체를 변형 및 변경하고, 감지된 감지값을 이용하여 데이터베이스를 업데이트하며 실시간으로 공유되도록 하는 서버일 수 있다.
여기서, 가상현실 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
감독자 VR 장치(400)는, 가상현실을 이용한 공존 직업 체험 제공 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 감독자의 단말일 수 있다. 그리고, 감독자 VR 장치(400)는, 가상현실 서비스 제공 서버(300)를 통하여 직업체험 가상현실 콘텐츠를 선택하고, 직업체험 가상현실 콘텐츠의 환경을 설정하며, 적어도 하나의 사용자 VR 장치(100)로 과제나 태스크 등을 부여하는 장치일 수 있으며, 각 협업관계가 동등해야 하는지, 데이터 방향은 어떻게 설정해야 하는지 등을 선택하는 장치일 수 있다. 이때, 감독자 VR 장치(400)는, 사용자 VR 장치(100)와 기본적으로 기능이나 구성은 동일할 수 있으나, 제어권한이 주어져 있는 점만 다르므로, 그 상세한 설명은 사용자 VR 장치(100)와 중복으로 설명은 생략하기로 한다.
여기서, 감독자 VR 장치(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 감독자 VR 장치(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 감독자 VR 장치(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
디스플레이 장치(500)는, 적어도 하나의 사용자 VR 장치(100)에서 출력되는 직업체험 가상현실 콘텐츠를 2D, 3D 또는 홀로그램 등으로 출력하는 장치일 수 있다. 이때, 디스플레이 뿐만 아니라 디스플레이 장치(500)는, 적어도 하나의 사용자 VR 장치(100) 및 감독자 VR 장치(400)에서 입력된 음성 등을 스피커 등을 통하여 출력할 수 있음은 자명하다 할 것이다. 이때, 출력되는 포맷의 종류는 한정되지 않으며, 나열된 것들로 인하여 제한되지 않음은 자명하다 할 것이다.
도 2는 도 1의 시스템에 포함된 가상현실 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 가상현실 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 가상현실 서비스 제공 서버(300)는, 연결부(310), 스트리밍부(320), 수집부(330), 전송부(340), 공유부(350)를 포함할 수 있다.
본 발명의 일 실시예에 따른 가상현실 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 VR 장치(100), 감독자 VR 장치(400)로 가상현실을 이용한 공존 직업 체험 제공 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 VR 장치(100), 감독자 VR 장치(400)는, 가상현실을 이용한 공존 직업 체험 제공 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 VR 장치(100), 감독자 VR 장치(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.
2017년 CES(Consumer Technology Association)의 주요 테마는 가상현실, 자동주행자동차, 드론이었는데, 작년 CES에서 가상현실이 차세대 플랫폼으로 주목받으면서 이에 대한 관심은 세계적으로 증대되고 있다. 가상현실 관련 기술, 플랫폼 등 에 대한 연구는 계속적으로 진행되어왔으나, 최근에 들어서는 엔터테인먼트, 게임, 박물관, 군사, 재활, 교육 분야 등에서 다양하게 가상현실을 접목하여 실제적으로 활용하려는 시도들이 늘어나고 있다. 해외의 경우, 항공기 조립 및 도색 공정에 가상현실 기술을 적용하거나, 자동차 수리를 위해 가상현실 기술을 활용하는 등, 다양한 분야에서 가상현실 기술을 접목하여 비용 절감 등의 효과를 경험하고 있다. 이에 비해, 국내의 경우 조종사 훈련, 전투기 시뮬레이션 증에서 가상현실에 활용되고 있으나 그 활용 영역은 아직 제한적이다. 가상현실의 장점은 사용자에게 높은 몰입감과 실재감을 경험하게 할 수 있다는 점이다. 이러한 관점에서 가상현실을 교육 및 훈련에 접목하였을 경우 높은 몰입감과 개별화된 상호작용을 통한 학습 효과 향상을 기대할 수 있고, 텍스트와 2D 자료로 설명하기에는 어렵거나 부족한 학습 내용, 고위험·고가 장비 교육 등의 영역에 매우 효과적이다. 기술공학 분야 직업훈련에서 체험, 실습 중심의 학습을 위한 가상훈련 콘텐츠 개발과 활용이 증가하고 있고, 가상훈련은 실제 장비, 작업 환경과 유사한 학습 환경에서 반복적으로 안전하게 교육이 가능하고, 이는 학습자들이 실제 작업 현장에서 장비를 구동하는 데에 도움이 된다는 장점을 가진다. 최근 가상현실 기반 철강 공정 조업 교육 시스템 개발에 관한 연구에서는 철강 공정에서 필요로 하는 제품 생산 설비를 모사한 가상설비, 운전자 HMI(Human Machine Interface)를 모사한 가상 HMI, 운전자 Control Panel을 모사한 가상 조작반으로 구성된 철강 공정 가상현실 조업 시뮬레이터를 개발하여 실제 관련 교육기관에서 활용한 바 있고, PC, 스마트 패드에서 동작하는 가상현실 기반 단계별 학습을 통한 자동차 정비 훈련 시스템이 개발된 사례도 있다. 증강현실 기반 자동차 매뉴얼 콘텐츠가 사용자 학습이 미치는 영향에 관한 연구에서는 증강현실 기반 콘텐츠가 일반 책 형태의 매뉴얼보다 사용자들의 몰입, 물리적 실재감, 능동적 참여에 효과적임을 확인하였다. 이에 따라, 본 발명의 일 실시예는, 직업을 체험할 수 있는 플랫폼을 마련하고 직업체험으로 인하여 청소년 또는 청년층이 자신에게 적합한 직업을 찾아갈 수 있도록 하는 방안을 제시한다.
도 2를 참조하면, 연결부(310)는, 적어도 하나의 사용자 VR 장치(100) 및 감독자 VR 장치(400) 간을 연결할 수 있다. 이때, 적어도 하나의 사용자 VR 장치(100)와 감독자 VR 장치(400)는, 동등-역할 협업(Equal-role Collaboration) 또는 비등-역할 협업(Unequal-role Collaboration)으로 직업체험 가상현실 콘텐츠를 제어하고 공유할 수 있다. 여기서, 감독자 VR 장치(400)와 적어도 하나의 사용자 VR 장치(100)의 데이터 송수신은, 감독자 VR 장치(400)로부터 적어도 하나의 사용자 VR 장치(100)로의 다자간 단방향 데이터 전송, 감독자 VR 장치(400)와 적어도 하나의 사용자 VR 장치(100) 간의 다자간 양방향 데이터 전송, 및 감독자 VR 장치(400)와 적어도 하나의 사용자 VR 장치(100) 간, 적어도 하나의 사용자 VR 장치(100) 간의 다자간 다중방향 데이터 전송 중 어느 하나 또는 적어도 하나의 조합으로 이루어질 수 있다. 또한, 협업에 참여하는 사용자들이 동일한 위치에서 또는 원격지에서 VR 작업공간을 공유할 수 있는지, VR 공간을 얼마나 많은 사용자가 공유할 수 있는지, 일부 사용자의 VR 공간이 원격지에 있는 사용자에게 AR 공간으로 공유될 수 있는지 등을 각각 설정하여 연결할 수 있다. 또한, 공간 이외에 영상, 음성, 제스처뿐 아니라, 연결부(310)는, 현실에 있는 객체를 3차원 모델링하여 VR/AR 공간 상에 물리 속성을 갖는 가상 객체로 공유할 수 있도록 연결을 생성하고, VR/AR 협업 공간 내에 참여하는 사용자들의 감성 정보 공유 정도에 따라 원격 협업 기술을 구분할 수 있고, 협업에서 사람의 생체, 감성 등의 정보를 작업에 직접 영향을 줄 뿐 아니라, 교육 등의 콘텐츠 제공에서도 다양하게 이용될 수 있으므로 상술한 정보들을 연결할 수 있는 채널을 형성할 수도 있다.
스트리밍부(320)는, 적어도 하나의 사용자 VR 장치(100)에서 선택된 직업체험 가상현실 콘텐츠를 적어도 하나의 VR 장치 및 감독자 VR 장치(400)에서 실시간 공유되도록 스트리밍할 수 있다. 이때, 적어도 하나의 사용자 VR 장치(100)는, 사용자로부터 선택된 종류의 직업체험 가상현실 콘텐츠를 수신하여 구동하고, 직업체험 가상현실 콘텐츠 내에서 가상객체 또는 가상이벤트와 인터렉션하는 사용자의 음성 또는 모션에 따른 이벤트를 입력받아 이벤트에 대응하는 직업체험 가상현실 콘텐츠를 출력할 수 있다. 또한, 감독자 VR 장치(400)는, 적어도 하나의 사용자 VR 장치(100)에서 출력되는 직업체험 가상현실 콘텐츠를 제어하는 명령신호를 출력하고 직업체험 가상현실 콘텐츠의 환경변수값을 설정할 수 있다.
스트리밍부(320)는, 감독자 VR 장치(400)에서 선택된 직업체험 가상현실 콘텐츠를 적어도 하나의 사용자 VR 장치(100) 및 감독자 VR 장치(400)에서 실시간 공유되도록 스트리밍할 수 있다. 이때, 감독자가 존재하는 경우에는 전체 네트워크 통신을 관리하는 마스터 서버와 등록을 위하여 전체 프로세스를 주도하는 호스트 클라이언트, 그리고 관찰자 입장 또는 참여자 입장에서 네트워크 통신에 참여하는 클라이언트로 구성된다. 다른 네트워크 통신에서와 마찬가지로 실시간으로 가상공간을 공유할 수 있는 효과를 얻기 위해서는 네트워크 통신 참여 사용자들 사이에서 불가피하게 발생하는 네트워크 시간 지연으로 발생하는 불일치를 보정해야 하는 필요가 발생한다. 이에 따라, 본 발명의 일 실시예에 따른 스트리밍부(320)에서는 동기화 방식을 이용할 수 있다. 즉, 실시간 인터렉티브 시스템은 일반적으로 초당 60 프레임(60 fps)으로 작동하며 이 프레임 레이트를 유지하면서 모든 작동의 동기화를 완성하기 위해서는 1/60초(16ms) 내에 한 프레임을 결정하기 위한 모든 사용자 입력 처리와, 물리 연산, 렌더링 등을 마무리해야 한다. 하지만, 일반적인 네트워크 환경에서 네트워크 통신 시간 지연은 이 보다도 훨씬 크며 따라서 같은 가상 공간을 공유하고 있는 다중 사용자 사이에서 편차가 발생하게 된다. 이에 따라, 만약 나뭇잎 오브젝트를 생성한 사용자, 즉 감독자라면 나뭇잎의 움직임을 컨트롤하는 루틴이 실행되고, 사용자(학생)이라면 나뭇잎 오브젝트의 위치와 속도 정보를 감독자가 불러온 나뭇잎과 일치시키기 위하여 선형 보간(linear interpolation)을 적용하는 루틴을 실행하 수 있다. 이때, 실제 네트워크 통신 시간 지연으로 인한 불일치를 정확하게 해소하는 것은 불가능하지만 이러한 방식으로 다수의 사용자 사이에서 동시에 같은 가상 공간을 공유하는 것 같은 효과를 얻을 수 있다.
이때, 가상현실 서비스 제공 서버(300)는, 감독자 VR 장치(400)로부터 입력된 명령신호로 감독자 VR 장치(400) 및 적어도 하나의 사용자 VR 장치(100)에서 출력되는 직업체험 가상현실 콘텐츠를 제어하여 공유하고, 감독자 VR 장치(400)에서 설정한 환경변수값에 대응하도록 직업체험 가상현실 콘텐츠를 변형하여 감독자 VR 장치(400) 및 적어도 하나의 VR 사용자 장치에서 실시간으로 스트리밍되도록 제어하며, 감독자 VR 장치(400) 및 적어도 하나의 사용자 VR 장치(100)에서 발생한 이벤트를 실시간으로 공유되도록 업데이트할 수 있다. 이에 따라, 실시간으로 원격지에 위치한 사용자와 감독자가 동일한 화면을 지연없이 공유할 수 있도록 한다.
수집부(330)는, 직업체험 가상현실 콘텐츠 내의 가상객체 또는 가상 이벤트에 대응하여 인터렉션하는 적어도 하나의 사용자 VR 장치(100)의 입력 데이터를 수집할 수 있다. 이때, 가상현실 서비스 제공 서버(300)는, 적어도 하나의 사용자 VR 장치(100)에서 선택한 종류의 직업체험 가상현실 콘텐츠를 적어도 하나의 사용자 VR 장치(100)에서 구동되도록 제공하고, 적어도 하나의 사용자 VR 장치(100)에서 입력된 음성 또는 모션에 따른 이벤트에 대응하도록 직업체험 가상현실 콘텐츠를 제어하고, 가상객체 또는 가상이벤트와 인터렉션하는 사용자의 음성 또는 모션에 따른 수행 데이터를 수집하여 적어도 하나의 사용자가 선택한 종류의 직업의 적합도를 계산하여 적어도 하나의 사용자 VR 장치(100)로 피드백하고, 적어도 하나의 사용자 VR 장치(100)에서 발생한 이벤트를 실시간으로 공유되도록 업데이트할 수 있다.
이때, 감독자 VR 장치(400)와 적어도 하나의 사용자 VR 장치(100)는, 직업체험 가상현실 콘텐츠를 디스플레이하는 HMD(Head Mounted Display), 직업체험 가상현실 콘텐츠 상의 소리나 원격지의 감독자 또는 적어도 하나의 사용자의 음성을 출력하는 헤드폰, 적어도 하나의 종류의 센서로 가속도, 회전, 및 위치를 감지하여 동작을 인식하는 모션 컨트롤러, 및 가상현실 서비스 제공 서버(300)와 데이터를 송수신하고 직업체험 가상현실 콘텐츠의 출력과 이벤트 입력을 제어하는 단말을 포함할 수 있다.
전송부(340)는, 수집된 입력 데이터와 기 설정된 기준 데이터를 비교하여 적어도 하나의 사용자의 선택된 직업 간의 적합성을 평가하여 피드백 데이터를 적어도 하나의 사용자 VR 장치(100) 및 감독자 VR 장치(400)로 전송할 수 있다. 이를 통하여 기다리는 참여자들이 현재 참여자가 어떠한 방식으로 가상환경에서 직업을 체험하며 가상객체를 이동시키거나 생성하는지 등을 공유받을 수 있다. 또한, 직업체험 가상현실 콘텐츠에서 예를 들어 나무를 완성하는 태스크가 주어졌다고 가정하면, 가상객체인 직업체험 가상현실 콘텐츠 상에서 완성된 나무를, 현실세계, 예를 들어 3D 프린터 등으로 출력함으로써, 학생들이 스스로 관찰(Observation)하고 발견(Discovery)하며 생각(Deduction)하여 자발적으로 협동하도록 할 수 있다. 이때, 직업체험 가상현실 콘텐츠의 테마는 예술, 미술, 생물, 자연, 태양계, 과학, 기술, 문화, 여행, 역사, 체육, 운동 등의 분야일 수 있으나, 나열된 것으로 한정되지는 않는다. 이때, 학생들이 제안하는 콘텐츠를 통해 체험할 직업군이 구성될 수 있으며, 학생들이 스스로 문제를 풀고 질문에 대답하는데 능동적으로 참여하는 문제 중심 학습 모형, 재미있는 스토리의 배경에서 역할을 담당하고 임무 수행을 통한 개념의 형성 및 문제 해결 능력 향상을 목적으로 둔 GBS(Goal Based Scenario)이론, GBS에 대한 이론적 틀을 제공하는 역동적 메모리 이론(Dynamic Memory Theory), 그리고 디지털 스토리텔링 기법을 접목하여 구성할 수 있다.
예를 들어, 직업체험 가상현실 콘텐츠는, 인적성검사, 정보탐색, 활동(미션, 과제), 학습정보 저장 등의 구성을 포함할 수 있다. 먼저, 인적성검사는 학습자가 직업에 대한 적성검사를 통해 직업체험 전에 학습자의 성향을 판단할 수 있도록 하며, 한 개의 직업당 기 설정된 개수의 인적성 검사를 포함할 수 있다. 다음으로, 정보탐색(퀴즈)는, 학습자가 해당 직업에 대해 정보를 습득하고, 습득한 정보를 퀴즈를 통하여 학습하는 플랫폼일 수 있고, 활동(미션, 과제)는, 정보탐색으로 학습한 내용을 바탕으로 직업체험을 할 수 있도록 하며, 모든 프로세스를 거친 후에는, 학습 결과는 확인 후 프린트가 가능하며, 사용자의 학습정보는 저장될 수 있다. 상술한 바와 같이 단순히 일방적으로 직업교육을 위한 콘텐츠 뿐만 아니라, 본 발명은 직업체험 가상현실 콘텐츠 내에 존재하는 가상 객체와 인터렉션을 위한 프로세스도 더 포함할 수 있다. 예를 들어, 소방대원의 직업체험인데, 빌딩에 사람이 갇혔지만 불길이 세서 나오지는 못하고 동료들도 만류하는 상태에서, 어떠한 행동을 할 것인지, 동료들을 어떻게 설득하고, 동료들의 반응(인터렉션)은 어떠할 것인지에 대한 시나리오를 구성한 후 이를 제공하여 실제 사용자(체험자)가 현장에서 소방대원 역할을 하는 것과 같은 경험을 제공하여 줄 수도 있다.
공유부(350)는, 감독자 VR 장치(400) 또는 적어도 하나의 사용자 VR 장치(100)에 의해 실시간으로 변경되는 직업체험 가상현실 콘텐츠가 디스플레이되도록 디스플레이 장치(500)로 데이터를 전송하는 공유되도록 할 수 있다. 이때, 사용자가 자신의 신체를 이용해 콘텐츠의 객체와 상호작용하는 기능을 수행하기 위해 머리, 눈 이외에 사용자의 신체 움직임을 추적해 가상공간에 반영할 수 있는 인터페이스 기술이 적용될 수 있다. 과거에는 장갑형태가 사용되었지만 갈수록 정교해지며 손가락의 움직임을 추적하는 기술로까지 발전되었고, 초기 VR은 HMD를 이용하여 앉아있는 고정된 자세에서 머리 움직임의 방향을 추적하여 360도의 영상을 방향에 맞추어 보여주는 수준이었으나, 모션트래킹 기술과 3D스캔 기술 발달로 인해 실제 공간 안에서 자유로운 이동이 가능하게 되었다. 이에 따라, 본 발명의 일 실시예에 따른 VR 장치들은, 얼굴에 착용하는 HMD 디바이스를 통해 사용자의 머리 움직임을 감지해, 실제 머리를 움직이는 데로 화면이 따라 움직이도록 하고, 기존에 눈앞의 화면만 보여주는 HMD와 달리 카메라 트래킹과 옵티컬 트래킹을 통해 시야각을 개선하여 몰입감을 향상시킬 수 있다. 이에 더해 양 손에 쥐는 입력 도구를 통해 보다 직관적으로 VR 콘텐츠와의 상호작용을 가능하게 할 수 있다.
또한, 실내위치인식이 요구될 수 있는데, 예를 들어, BLE의 거리에 따른 RSSI 값은 Wi-Fi에 비해 페이딩(Fading ) 현상에 나타나 오차가 많은 것처럼 보이나 BLE의 RSSI 값은 일정 거리 내 거리에 따른 정형적인 페이딩(Fading) 값을 가지고 있으므로 셀(Cell) 간 변화율에 신뢰성주어 안정적이며, 간략하다. 이를 이용하여, AHRS를 이용한 상대위치 인식방법과 BLE Fingerprint를 이용한 절대위치 인식 방법을 결합하는 위치인식 기법을 이용할 수 있다. 상대 위치 인식 방법인 관성센서 기반의 위치 인식 기법의 누적 오차를 개선하기 위해 절대위치 인식 방법으로 블루투스 RSSI 기반의 Fingerprint를 활용한 위치 인식기법을 이용할 수 있는데, 예를 들어, 9축 센서 기반의 AHRS 디바이스를 부착한 사용자의 걸음 수, 보폭 등의 보행 정보를 통해 위치를 인식하는 방법을 기반으로 할 수 있다. 이때, 보행 정보를 통한 상대위치 인식 방식에는 시간이 지남에 따라 누적오차가 발생하며, 이를 보정하기 위해 BLE 핑거프린트 맵을 구축하고, 해당 위치에 대한 정보와 보행 기반 위치 정보를 매칭할 수 있다. 물론, Wifi나 다른 네트워크의 사용이나 센서의 사용을 나열된 것들로 한정하는 것은 아니며, 다양한 종류의 네트워크나 센서가 사용될 수 있음은 자명하다 할 것이다.
이하, 상술한 도 2의 가상현실 서비스 제공 서버의 구성에 따른 동작 과정을 도 3을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3을 참조하면, (a) 가상현실 서비스 제공 서버(300)는 원격영상의 직업체험 플랫폼과 현장 직업체험을 모두 한 것과 같은 효과를 주기 위하여, 복수의 참여자와 감독자와 함께 해당 직업체험을 할 수 있는 직업체험 가상현실 콘텐츠를 제공할 수 있다. 이를 위하여, 직업체험 선호도를 조사하고, 조사를 기반으로 도출된 직업에 관련된 데이터베이스를 구축하며, 실제 스토리텔링 시나리오와 더불어 가상객체와 인터렉션을 하면서 현장에 실제 존재하는 것과 같은 현장감을 제공하며, 경험을 통하여 해당 직업을 선택할 것인지의 의사결정과정을 용이하게 할 수 있다.
(b) 또한, 가상현실 서비스 제공 서버(300)는, 공존현실 플랫폼을 제공할 수 있으며, 그 방식 중 (c) 다자간-단방향 커뮤니케이션 방식은, 가상현실 공간에서 수업진행 시 선생님과 학생들간 인터렉션 소통이 다자간-단방향으로 이루어지는 수업방식으로 선생님이 학생들에게 단방향으로 소통하는 공존현실 교육플랫폼 타입이고, 다자간-양방향 커뮤니케이션 방식은, 가상현실 공간에서 수업진행 시 선생님과 학생들간 인터렉션 소통이 완벽한 다자간-다중방향으로 이루어지는 수업방식(선생님-학생, 학생-학생)으로 가장 극대화된 공존현실 교육플랫폼 타입이며, 다자간-다중방향 커뮤니케이션 방식은 가상현실 공간에서 수업진행 시 선생님과 학생들간 인터렉션 소통이 다자간-양방향으로 이루어지는 수업방식으로 선생님은 모든 학생들과 소통이 가능하지만, 학생간 소통은 불가능한 공존현실 교육플랫폼 타입일 수 있다. (d) 또한, 공존현실 직업체험 서비스 모델은, 외부에서 원격으로 접속한 체험자와, 선생님 또는 전문가(감독자)가 실시간으로 직업체험 가상현실 콘텐츠를 공유하면서 원하는 직업을 가상으로 체험할 수 있도록 한다.
이와 같은 도 2 및 도 3의 가상현실을 이용한 공존 직업 체험 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 가상현실을 이용한 공존 직업 체험 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 4는 본 발명의 일 실시예에 따른 도 1의 가상현실을 이용한 공존 직업 체험 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 4를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 4를 참조하면, 가상현실 서비스 제공 서버(300)는, 사용자 VR 장치(100), 감독자 VR 장치(400), 디스플레이 장치(500)를 연결할 때 협업의 종류나 인터렉션 방법을 설정받아 동기화시키고(S4100), 사용자 VR 장치(100) 또는 감독자 VR 장치(400)에서 직업의 종류를 선택하여 직업체험 가상 콘텐츠를 선택하면(S4200), 이를 감독자와 사용자가 공유할 수 있도록 실시간 네트워킹을 구현하고, 감독자 VR 장치(400)에서 환경을 설정하거나 제어하는 경우에도 마찬가지로, 사용자 VR 장치(100)에서 실시간으로 확인할 수 있도록 공유한다(S4300, S4400).
그리고, 가상현실 서비스 제공 서버(300)는 적어도 하나의 사용자 VR 장치(100)에서 입력한 입력 데이터나 인터렉션 데이터를 실시간으로 모니터링하고 평가하게 되며(S4500), 직업 과제 수행에 대한 기 설정된 기준에 따른 평가를 수행하게 된다. 예를 들어, 서비스 직업 체험인데, 사용자가 고객의 요구에 감정적으로 반응했다고 가정하면, 서비스 분야의 직업의 점수를 낮게 주는 등의 방식일 수 있으나 이에 한정되지는 않는다. 또한, 가상현실 서비스 제공 서버(300)는, 실시간으로 스트리밍되는 직업체험 가상현실 콘텐츠와, 적어도 하나의 사용자 VR 장치(10) 및 감독자 장치(400)로부터 입력되는 제어 데이터, 인터렉션 데이터 등을 실시간으로 서로 공유하도록 하며(S4600), 각 장치(100, 400)로부터 입력되는 값을 각 사용자에 매핑하여 저장함으로써 데이터베이스를 업데이트한다(S4700).
그리고, 가상현실 서비스 제공 서버(300)는 외부 관람자가 볼 수 있도록 디스플레이 장치(500)를 제어하고(S4800), 직업체험이 완료될 때까지 S4300 내지 S4800 단계가 반복되어 루프를 돌도록 하고(S4900), 피드백 데이터를 전송한다(S4920).
상술한 단계들(S4100~S4920)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S4100~S4920)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 4의 가상현실을 이용한 공존 직업 체험 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 3을 통해 가상현실을 이용한 공존 직업 체험 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 가상현실을 이용한 공존 직업 체험 제공 방법을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 가상현실 서비스 제공 서버는, 적어도 하나의 사용자 VR 장치 및 감독자 VR 장치 간을 연결하고(S5100), 적어도 하나의 사용자 VR 장치에서 선택된 직업체험 가상현실 콘텐츠를 적어도 하나의 VR 장치 및 감독자 VR 장치에서 실시간 공유되도록 스트리밍한다(S5200).
또한, 가상현실 서비스 제공 서버는, 직업체험 가상현실 콘텐츠 내의 가상객체 또는 가상 이벤트에 대응하여 인터렉션하는 적어도 하나의 사용자 VR 장치의 입력 데이터를 수집하고(S5300), 수집된 입력 데이터와 기 설정된 기준 데이터를 비교하여 적어도 하나의 사용자의 선택된 직업 간의 적합성을 평가하여 피드백 데이터를 적어도 하나의 사용자 VR 장치 및 감독자 VR 장치로 전송한다(S5400).
마지막으로, 가상현실 서비스 제공 서버는, 감독자 VR 장치 또는 적어도 하나의 사용자 VR 장치에 의해 실시간으로 변경되는 직업체험 가상현실 콘텐츠가 디스플레이되도록 디스플레이 장치로 데이터를 전송하는 공유되도록 한다(S5500).
이와 같은 도 5의 가상현실을 이용한 공존 직업 체험 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 가상현실을 이용한 공존 직업 체험 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 가상현실을 이용한 공존 직업 체험 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 가상현실을 이용한 공존 직업 체험 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 가상현실을 이용한 공존 직업 체험 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 공존 직업 체험 제공 시스템에 있어서,
    사용자로부터 선택된 종류의 직업체험 가상현실 콘텐츠를 수신하여 구동하고, 상기 직업체험 가상현실 콘텐츠 내에서 가상객체 또는 가상이벤트와 인터렉션하는 사용자의 음성 또는 모션에 따른 이벤트를 입력받아 상기 이벤트에 대응하는 직업체험 가상현실 콘텐츠를 출력하고, 유무선 네트워크를 통하여 상기 직업체험 가상현실 콘텐츠를 전송하는 적어도 하나의 사용자 VR 장치;
    상기 적어도 하나의 사용자 VR 장치에서 선택한 종류의 직업체험 가상현실 콘텐츠를 상기 적어도 하나의 사용자 VR 장치에서 구동되도록 제공하고, 상기 적어도 하나의 사용자 VR 장치에서 입력된 음성 또는 모션에 따른 이벤트에 대응하도록 상기 직업체험 가상현실 콘텐츠를 제어하고, 상기 가상객체 또는 가상이벤트와 인터렉션하는 사용자의 음성 또는 모션에 따른 수행 데이터를 수집하여 적어도 하나의 사용자가 선택한 종류의 직업의 적합도를 계산하여 상기 적어도 하나의 사용자 VR 장치로 피드백하고, 적어도 하나의 사용자 VR 장치에서 발생한 이벤트를 실시간으로 공유되도록 업데이트하는 가상현실 서비스 제공 서버;
    상기 적어도 하나의 사용자 VR 장치에서 출력되는 직업체험 가상현실 콘텐츠를 제어하는 명령신호를 출력하고 상기 직업체험 가상현실 콘텐츠의 환경변수값을 설정하는 감독자 VR 장치;
    를 포함하고,
    상기 직업체험 가상현실 콘텐츠는, GBS(Goal Based Scenario)이론 및 역동적 메모리 이론(Dynamic Memory Theory)에 기반한 콘텐츠이고, 상기 수집된 수행 데이터는 기 설정된 기준 데이터와 비교됨으로써 선택된 직업의 적합성을 평가하는 데이터로 이용되고,
    상기 적어도 하나의 사용자 VR 장치와 감독자 VR 장치는, 동등-역할 협업(Equal-role Collaboration) 또는 비등-역할 협업(Unequal-role Collaboration)으로 상기 직업체험 가상현실 콘텐츠를 제어하고 공유하고,
    상기 가상현실 서비스 제공 서버는, 상기 적어도 하나의 사용자 VR 장치와 감독자 VR 장치 간 가상현실 콘텐츠의 실시간 공유되도록 스트리밍할 때, 다중 네트워크 상 선형 보간(linear interpolation)을 적용하는 루틴을 실행하고,
    상기 가상현실 서비스 제공 서버는, 상기 적어도 하나의 사용자 VR 장치와 감독자 VR 장치의 실내위치를 인식하도록, AHRS(Attitude and Heading Reference System) 기반 상대위치인식 및 BLE 핑거프린트(Fingerprint) 기반 절대위치인식을 결합하여 이용하는 것인, 가상현실을 이용한 공존 직업 체험 제공 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 가상현실 서비스 제공 서버는, 상기 감독자 VR 장치로부터 입력된 명령신호로 상기 감독자 VR 장치 및 적어도 하나의 사용자 VR 장치에서 출력되는 직업체험 가상현실 콘텐츠를 제어하여 공유하고, 상기 감독자 VR 장치에서 설정한 환경변수값에 대응하도록 직업체험 가상현실 콘텐츠를 변형하여 상기 감독자 VR 장치 및 적어도 하나의 VR 사용자 장치에서 실시간으로 스트리밍되도록 제어하며, 상기 감독자 VR 장치 및 적어도 하나의 사용자 VR 장치에서 발생한 이벤트를 실시간으로 공유되도록 업데이트하는 것인, 가상현실을 이용한 공존 직업 체험 제공 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 감독자 VR 장치와 상기 적어도 하나의 사용자 VR 장치의 데이터 송수신은,
    상기 감독자 VR 장치로부터 상기 적어도 하나의 사용자 VR 장치로의 다자간 단방향 데이터 전송, 상기 감독자 VR 장치와 상기 적어도 하나의 사용자 VR 장치 간의 다자간 양방향 데이터 전송, 및 상기 감독자 VR 장치와 상기 적어도 하나의 사용자 VR 장치 간, 상기 적어도 하나의 사용자 VR 장치 간의 다자간 다중방향 데이터 전송 중 어느 하나 또는 적어도 하나의 조합으로 이루어지는 것인, 가상현실을 이용한 공존 직업 체험 제공 시스템.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 사용자 VR 장치에서 출력되는 직업체험 가상현실 콘텐츠를 디스플레이하는 디스플레이 장치;
    를 더 포함하는 것인, 가상현실을 이용한 공존 직업 체험 제공 시스템.
  7. 제 1 항에 있어서,
    상기 감독자 VR 장치와 상기 적어도 하나의 사용자 VR 장치는,
    상기 직업체험 가상현실 콘텐츠를 디스플레이하는 HMD(Head Mounted Display), 상기 직업체험 가상현실 콘텐츠 상의 소리나 원격지의 감독자 또는 적어도 하나의 사용자의 음성을 출력하는 헤드폰, 적어도 하나의 종류의 센서로 가속도, 회전, 및 위치를 감지하여 동작을 인식하는 모션 컨트롤러, 및 상기 가상현실 서비스 제공 서버와 데이터를 송수신하고 상기 직업체험 가상현실 콘텐츠의 출력과 이벤트 입력을 제어하는 단말을 포함하는 것인, 가상현실을 이용한 공존 직업 체험 제공 시스템.
  8. 가상현실 서비스 제공 서버에서 실행되는 가상현실 서비스 제공 방법에 있어서,
    적어도 하나의 사용자 VR 장치 및 감독자 VR 장치 간을 연결하는 단계;
    상기 적어도 하나의 사용자 VR 장치에서 선택된 직업체험 가상현실 콘텐츠를 상기 적어도 하나의 VR 장치 및 감독자 VR 장치에서 실시간 공유되도록 스트리밍하는 단계;
    상기 직업체험 가상현실 콘텐츠 내의 가상객체 또는 가상 이벤트에 대응하여 인터렉션하는 상기 적어도 하나의 사용자 VR 장치의 입력 데이터를 수집하는 단계;
    상기 수집된 입력 데이터와 기 설정된 기준 데이터를 비교하여 상기 적어도 하나의 사용자의 상기 선택된 직업 간의 적합성을 평가하여 피드백 데이터를 상기 적어도 하나의 사용자 VR 장치 및 감독자 VR 장치로 전송하는 단계;
    상기 감독자 VR 장치 또는 적어도 하나의 사용자 VR 장치에 의해 실시간으로 변경되는 직업체험 가상현실 콘텐츠가 디스플레이되도록 디스플레이 장치로 데이터를 전송하는 공유되도록 하는 단계;
    를 포함하고,
    상기 적어도 하나의 사용자 VR 장치와 감독자 VR 장치는, 동등-역할 협업(Equal-role Collaboration) 또는 비등-역할 협업(Unequal-role Collaboration)으로 상기 직업체험 가상현실 콘텐츠를 제어하고 공유하고,
    상기 감독자 VR 장치는, 상기 적어도 하나의 사용자 VR 장치에서 출력되는 직업체험 가상현실 콘텐츠를 제어하는 명령신호를 출력하고 상기 직업체험 가상현실 콘텐츠의 환경변수값을 설정하는 장치이고,
    상기 직업체험 가상현실 콘텐츠는, GBS(Goal Based Scenario)이론 및 역동적 메모리 이론(Dynamic Memory Theory)에 기반한 콘텐츠이고, 상기 수집된 입력 데이터는 기 설정된 기준 데이터와 비교됨으로써 선택된 직업의 적합성을 평가하는 데이터로 이용되고,
    상기 가상현실 서비스 제공 서버는, 상기 적어도 하나의 사용자 VR 장치와 감독자 VR 장치 간 가상현실 콘텐츠의 실시간 공유되도록 스트리밍할 때, 다중 네트워크 상 선형 보간(linear interpolation)을 적용하는 루틴을 실행하고,
    상기 가상현실 서비스 제공 서버는, 상기 적어도 하나의 사용자 VR 장치와 감독자 VR 장치의 실내위치를 인식하도록, AHRS(Attitude and Heading Reference System) 기반 상대위치인식 및 BLE 핑거프린트(Fingerprint) 기반 절대위치인식을 결합하여 이용하는 것인, 가상현실을 이용한 공존 직업 체험 제공 방법.
  9. 삭제
  10. 제 8 항에 기재된 가상현실을 이용한 공존 직업 체험 제공 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020180056535A 2018-05-17 2018-05-17 가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법 KR102109942B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180056535A KR102109942B1 (ko) 2018-05-17 2018-05-17 가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180056535A KR102109942B1 (ko) 2018-05-17 2018-05-17 가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190131756A KR20190131756A (ko) 2019-11-27
KR102109942B1 true KR102109942B1 (ko) 2020-06-11

Family

ID=68729907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180056535A KR102109942B1 (ko) 2018-05-17 2018-05-17 가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102109942B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230055140A (ko) 2021-10-18 2023-04-25 최성우 가상현실(vr) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102457790B1 (ko) * 2020-10-20 2022-10-31 주식회사 제이에스에이치 키오스크 안전체험장치 및 그 장치의 구동방법
KR102548356B1 (ko) * 2020-11-13 2023-06-28 농업회사법인주식회사 후레쉬랩 Vr기반 스마트팜 교육플랫폼시스템 및 그 방법
KR102511498B1 (ko) * 2021-01-29 2023-03-16 경남대학교 산학협력단 견습생 평가를 위한 가상 교육 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101836985B1 (ko) * 2017-10-31 2018-03-09 주식회사 플레이아카데미 진로탐색을 위한 스마트 이러닝 관리서버

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213212B1 (ko) * 2011-02-01 2012-12-24 장승희 사용자의 피드백을 이용한 적성 발견 서비스 제공 방법
KR101389894B1 (ko) * 2012-07-18 2014-04-29 주식회사 도담시스템스 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법
KR20180000587A (ko) * 2016-06-23 2018-01-03 이승현 직업획득 가상화 게임서비스 제공 방법
KR20180004568A (ko) * 2016-07-04 2018-01-12 주식회사 케이티 가상 현실 공유 서비스를 제공하는 서버, 방법 및 디바이스

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101836985B1 (ko) * 2017-10-31 2018-03-09 주식회사 플레이아카데미 진로탐색을 위한 스마트 이러닝 관리서버

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230055140A (ko) 2021-10-18 2023-04-25 최성우 가상현실(vr) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법

Also Published As

Publication number Publication date
KR20190131756A (ko) 2019-11-27

Similar Documents

Publication Publication Date Title
KR102109942B1 (ko) 가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법
US9381426B1 (en) Semi-automated digital puppetry control
Bradley et al. A review of computer simulations in teacher education
Ting Using mobile technologies to create interwoven learning interactions: An intuitive design and its evaluation
Crandall et al. Development of an augmented reality game to teach abstract concepts in food chemistry
Pagano Immersive learning: Designing for authentic practice
Maiti NETLab: An online laboratory management system
Kovalenko et al. Use of augmented and virtual reality tools in a general secondary education institution in the context of blended learning
Ellis et al. Learning to teach in second life: A novice adventure in virtual reality.
Lecon et al. Virtual Blended Learning virtual 3D worlds and their integration in teaching scenarios
Muntean et al. Innovative technology-based solutions for primary, secondary and tertiary STEM education
KR102049045B1 (ko) 원격지에서 공존 놀이 체험을 위한 가상현실 시스템 및 방법
Peña-Ríos et al. Towards the next generation of learning environments: An InterReality learning portal and model
Saleeb Closing the chasm between virtual and physical delivery for innovative learning spaces using learning analytics
Williams et al. Immersive technology in the public school classroom: When a class meets
Kim et al. Virtual reality as a standard in the construction management curriculum
KR20140119504A (ko) 클라우드 컴퓨팅을 기반으로 하는 it 실습교육 시스템
Behmke et al. AR chemistry: an undergraduate, technology-based research and development initiative to incorporate AR molecular models in the chemistry curriculum
Schön Customizable teaching on mobile devices in higher education
Stein et al. Engaging Female High School Students in the Frontiers of Computing
Reiners et al. nDive: The story of how logistics and supply chain management could be taught
Warren et al. Simulations, games, and virtual worlds as mindtools
Ryu et al. Interstate Drone League (iDrone National) to promote hands-on remote STEM learning using cloud-based virtual meeting platforms in the global pandemic (COVID-19): iDrone National
McManus et al. Experiences in simulation-based education in engineering processes
Kaufmann Using OBS to Create Video Lectures for Online Counseling Students.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)