KR20230074930A - Vr 공학 실습 컨텐츠의 저작방법 및 시스템 - Google Patents

Vr 공학 실습 컨텐츠의 저작방법 및 시스템 Download PDF

Info

Publication number
KR20230074930A
KR20230074930A KR1020210161023A KR20210161023A KR20230074930A KR 20230074930 A KR20230074930 A KR 20230074930A KR 1020210161023 A KR1020210161023 A KR 1020210161023A KR 20210161023 A KR20210161023 A KR 20210161023A KR 20230074930 A KR20230074930 A KR 20230074930A
Authority
KR
South Korea
Prior art keywords
practice
instructor
content
engineering
interaction
Prior art date
Application number
KR1020210161023A
Other languages
English (en)
Other versions
KR102682045B1 (ko
Inventor
박정호
조민영
Original Assignee
주식회사 듀코젠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 듀코젠 filed Critical 주식회사 듀코젠
Priority to KR1020210161023A priority Critical patent/KR102682045B1/ko
Publication of KR20230074930A publication Critical patent/KR20230074930A/ko
Application granted granted Critical
Publication of KR102682045B1 publication Critical patent/KR102682045B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명에 의한 VR 공학 실습 컨텐츠 저작 방법은 입체 인식 장치를 통해 교수자의 실습 수행 영상을 저장하는 단계(S100), 상기 단계(S100)에서 저장된 영상으로부터 실습 대상 물체의 체적을 인식하고, 상기 실습 대상 물체와 교수자와의 인터랙션을 인식하는 단계 (S200), 상기 인식된 실습 대상 물체의 체적에 대응하는 3D 오브젝트를 매핑하는 단계(S300) 및 상기 인식된 실습 대상 물체와 교수자와의 인터랙션에 해당하는 3D 오브젝트와 VR 컨트롤러의 인터랙션을 설정하는 단계(S400)를 포함할 수 있다.

Description

VR 공학 실습 컨텐츠의 저작방법 및 시스템 {Authoring environment of engineering practice VR contents and authoring method thereof}
본 발명은 VR 공학실습 컨텐츠의 저작방법 및 시스템에 관한 것으로, 보다 구체적으로는 학습자가 현장에서 공학실습을 수행하는 것과 동일한 경험을 제공할 수 있는 가상현실 (VR) 공학 실습 컨텐츠의 저작방법 및 시스템에 관한 것이다.
전세계적인 코로나 팬더믹이 발생한 이후, 각 교육기관들은 온라인 강의를 통해 원격으로 대부분의 수업을 진행하고 있는 상황이며, 향후 코로나 팬더믹의 종식과는 무관하게 원격수업의 비중은 상당정도로 유지될 것으로 전망되고 있다.
다만, 온라인 강의 경우 실제로 학습자들이 참여하여 행위를 함으로서 경험을 통해 학습을 하는 ‘실습’ 강의에 대해서는 현장 경험을 제공할 수 없다는 점에서 그 한계가 뚜렷한 편이다.
이러한 한계를 극복하기 위해 가상현실 (Virtual Reality, 이하 ‘VR’)을 기반으로 가상의 실습공간에서 마치 현장에서 실습하는 것과 유사한 체험을 하도록 하는 VR 기반 교육 플랫폼이 개발되고 있다.
이러한 VR 기반 교육 플랫폼은 최근에 각광을 받고 있는 VR을 기반으로 헤드셋과 컨트롤러를 착용한 상태로 직접 손을 움직여서 ‘실습’에 해당하는 행위를 하도록 한다는 점에서 한층 진일보한 기술로 볼 수 있다.
하지만, 가상의 공간에서 ‘실습’을 가능케 하기 위해서는 현실을 매우 높은 정도의 정확성을 가지고 모사(模寫)하는 시뮬레이션성의 VR 실습 수업 컨텐츠의 개발이 뒤따라야 한다.
하지만, 통상의 범용적인 교육 컨텐츠의 개발과는 달리, 공학 실습을 시뮬레이션 하기 위한 VR 컨텐츠의 개발을 위해서는, 그 컨텐츠의 저작 과정 전반에 걸쳐 실습 교육을 진행하는 교수자의 참여가 필수적이다.
그러나, 교수자의 경우 학생들의 교육 제공이라는 본래의 직무가 있으므로, 상기 컨텐츠 저작 과정에 참여하는 것에 한계가 있다.
따라서, 대학교수 등의 교수자가 자신의 본업을 영위하면서도 원격지에서 보다 간단하게 VR 공학 실습 컨텐츠의 저작에 참여할 수 있도록 하되, 실제 오프라인 실습 환경을 거의 그대로 구현할 수 있는 저작환경의 개발이 절실한 실정이다.
본 발명에 의한 “VR 공학실습 컨텐츠의 저작방법 및 시스템”은 상기와 같은 종래의 한계점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 VR 공학 실습의 학습자가 실제 실습 환경에서 실습을 수행하는 것과 흡사하게 실습을 수행할 수 있도록 하는 공학 실습 환경을 제공하는데 있으며, 나아가 상기 VR 공학 실습 컨텐츠를 보다 용이하고 효율적으로 저작할 수 있도록 하는 방법 및 시스템을 제공하는데 있다.
본 발명에 의한 VR 공학실습 컨텐츠의 저작방법 및 시스템은 교수자가 입체 인식 장치를 통해 교수자의 실습 수행 영상을 저장하는 단계(S100), 상기 단계(S100)에 저장된 영상으로부터 실습 대상 물체의 체적을 인식하고, 상기 실습 대상 물체와 교수자와의 인터랙션을 인식하는 단계(S200), 상기 인식된 실습 대상 물체의 체적에 대응하는 3D 오브젝트를 매핑하는 단계(S300), 상기 인식된 교수자와 대상 물체의 인터랙션에 해당하는 3D 오브젝트와 VR 콘트롤러의 인터랙션을 설정하는 단계(S400)를 포함할 수 있다.
이때, 상기 단계(S300)에서 매핑된 3D 오브젝트와 상기 단계(S400)에서 설정된 인터랙션은 물리적 속성에 해당하는 기 정의된 설정값을 갖는다.
예컨대, 3D 오브젝트는 무게, 크기, 재질과 같은 속성을 가진다. 인터랙션은 충돌, 회전, 압착 등과 같은 유형마다 대응하는 설정값, 예컨대, 충돌시 가해지는 힘, 회전시의 토크, 압착력 등의 값을 갖는다.
여기서, 상기 단계(S400)의 결과로 생성된 VR 공학 실습 컨텐츠와 상기 단계(S100)에서 저장된 영상을 비교하여, 상기 단계(S300)에서 매핑된 3D 오브젝트와 상기 단계(S400)에서 설정된 인터랙션의 기정의된 물리적 속성에 해당하는 설정값을 보정하는 단계(S500)를 더 포함할 수 있다.
또한, 교수자가 VR 장치를 착용하고 상기 단계(S500)의 결과로 보정된 VR 공학 실습 컨텐츠 상에서 실습 시범을 수행하고 상기 수행된 실습을 로그로 기록하는 단계(S600)를 더 포함할 수 있다.
또한, 상기 단계(S500)의 결과로 생성된 VR 공학 실습 컨텐츠를 상기 단계(S600)에서 저장된 로그를 이용하여, 상기 VR 공학 실습 컨텐츠의 기 정의된 판정 기준을 보정하는 단계(S700)를 더 포함할 수 있다.
상기 단계를 수행하는 VR 공학 실습 컨텐츠의 저작 시스템은 교수자의 행위를 영상정보로 입력받아 이로부터 입체적 사물의 체적을 인식하는 입체 인식 장치, 교수자가 착용하고 실습을 수행하는 VR 장치, 교수자가 수행하는 상기 실습으로부터 실습 대상 물체와 실습 동작을 인식하여 이에 대한 데이터를 취득하는 데이터 수집부, 상기 취득된 데이터를 기반으로 상기 실습 대상 물체와 실습 동작을 3D 오브젝트로 구현하고, 상기 3D 오브젝트로 구현된 실습 대상 물체와 실습 동작 간에 기 정의된 물리 속성을 매칭하여 VR 컨텐츠를 생성하는 VR 컨텐츠 생성부를 포함할 수 있다.
이때, VR 공학 실습 컨텐츠의 저작 시스템은 상기 생성된 VR 공학 실습 컨텐츠와 상기 영상을 비교하여, 상기 매핑된 3D 오브젝트와 상기 설정된 인터랙션의 기정의된 물리적 속성에 해당하는 설정값을 보정하는 VR 컨텐츠 설정부를 더 포함할 수 있다.
또한, 상기 VR 장치는 상기 VR 공학 실습 컨텐츠 상에서 교수자의 실습 시범을 로그로 저장하고, 상기 로그를 이용하여, 상기 VR 공학 실습 컨텐츠의 기정의된 판정 기준을 보정하는 VR 컨텐츠 설정부를 더 포함할 수 있다.
본 발명에 의한 “VR 공학실습 컨텐츠의 저작방법 및 시스템”은 종래에 비해 보다 실제 실습 환경과 유사한 VR 실습 환경을 저작할 수 있으며, 나아가 이러한 VR 실습 환경을 통해 학습자에게 실제 실습을 수행하는 것과 같은 경험을 제공하여, 비대면 공학 실습 교육의 효과를 향상시킬 수 있는 효과가 있다.
도 1은 교수자가 AR 장치(100)를 착용하고 공학실습을 수행하는 것을 도시,
도 2는 AR 장치를 착용하고 실습을 수행하는 교수자의 시점에서 바라본 AR 장치의 디스플레이 화면을 도시,
도 3은 교수자가 VR 장치를 착용하고, VR 공학 실습 컨텐츠에서 공학 실습의 시범을 보이는 것을 도시,
도 4는 본 발명에 의한 VR 공학 실습 컨텐츠 저작 방법의 수행 단계를 도시,
도 5는 VR 공학 실습 컨텐츠 저작 방법의 수행 단계를 수행하는 시스템 구성도를 간략하게 도시한 도면,
도 6는 성공 판정된 실습 수행의 레코드의 3차원 좌표에서 분포를 도시한 도면이다.
이하에서는 본 발명의 바람직한 실시예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
발명의 상세한 설명 또는 특허청구범위에서 어느 하나의 구성요소가 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 당해 구성요소만으로 이루어지는 것으로 한정되어 해석되지 아니하며, 다른 구성요소들을 더 포함할 수 있는 것으로 이해되어야 한다.
이하에서는 본 발명에 의한 VR 공학실습 컨텐츠의 저작방법 및 시스템이 구현된 일 예를 특정한 실시예를 통해 설명하기로 한다.
VR 공학 실습 컨텐츠 저작 방법의 첫 번째 단계는 입체 인식 장치를 통해 교수자의 실습 수행 영상을 저장하는 단계(S100)이다.
도 1은 교수자가 입체 인식 장치(100), 본 실시예에서는 AR 장치를 착용하고 공학실습을 수행하는 것을 도시한 도면이다.
교수자는 입체 인식 장치(100)를 착용한 상태에서 평소 실습 현장에서 수행하는 실습 시범과 같이 실습 대상 물체를 바라보면서 실습을 수행한다.
상기 수행된 실습은 상기 입체 인식 장치(100)를 통해 영상으로 녹화되어 저장된다.
상기 영상에는 실습 대상 물체 및 교수자의 실습 동작들이 교수자가 착용한 입체 인식 장치(100)를 통해 교수자의 시점에서 바라보는 영상으로 녹화되어 저장된다.
두 번째 단계는 상기 단계(S100)에서 저장된 영상으로부터 실습 대상 물체의 체적을 인식하고, 상기 실습 대상 물체와 교수자와의 인터랙션을 인식하는 단계 (S200)이다.
입체 인식 장치(100)를 통해 교수자의 시점에서 보여지는 영상에서 실습 대상 물체와 교수자의 인터랙션은 각각 개별적으로 인식된다.
여기서 상기 실습 대상 물체는 물체의 체적이 인식된다.
이후, 교수자는 개별적으로 인식된 실습 대상 물체를 개별 단위로 지정하게 되는데, 이는 입체 인식 장치(100)를 통해서 저장되는 실습에 대한 영상 정보에서 실습 대상 물체가 개별 단위 별로 체적으로 인식되어 각각의 데이터가 수집될 수 있도록 한다.
도 2는 AR 장치를 착용하고 실습을 수행하는 교수자의 시점에서 바라본 AR 장치의 디스플레이 화면을 도면이다.
도 2를 통해 보다 자세히 설명하면, 교수자는 입체 인식 장치(100)를 통해 실습 대상 물체(20)인 자동차 바퀴를 바라보게 되고, 입체 인식 장치(100)를 통해 수집되는 영상에서 상기 자동차 바퀴는 점선으로 표시된 바와 같이(30) 원형의 체적으로 인식된다.
여기서, 교수자가 개별적으로 인식된 타이어를 개별 단위로 지정하면, 입체 인식 장치(100) 디스플레이에는 도시된 바와 같은 인터페이스가 교수자에게 표시되고, 교수자는 여기서 실습 대상 물체의 속성, 물체 명칭 등을 지정하거나 확인할 수 있으며, 또한 향후 실습 대상 물체에 적용되는 인터랙션을 확인할 수 있다.
상기 단계를 통해(S100) 상기 교수자가 착용한 상기 입체 인식 장치(100)를 통해 녹화되어 저장된 영상을 분석하여 실습 대상 물체의 체적을 인식하고 상기 실습 대상 물체와 교수자의 인터랙션을 개별적으로 인식하고 이에 대한 데이터를 취득하게 된다.
상기 취득하는 데이터에는 교수자의 동작을 트래킹하여 획득하는 좌표 데이터, 실습 대상 물체의 형상 및 실습 대상 물체의 상대 위치 데이터 등이 포함될 수 있다.
본 실시예로 설명하면, 도 1에 도시된 바와 같이 교수자는 실습 대상 물체(20)인 자동차 바퀴를 대상으로 실습을 수행하고 있으며, 이 때 교수자가 착용한 입체 인식 장치(100)를 통해 녹화된 영상정보에서 교수자의 실습 대상 물체에 대한 인터랙션 관련 정보, 예시적으로 교수자 손의 위치 좌표 또는 손을 쥐거나, 펴거나, 누르는 등의 손의 동작에 대한 트래킹 정보가 포함될 수 있으며, 실습 대상 물체인 타이어를 인식하고 이에 대한 데이터, 예시적으로 타이어에 교수자의 인터랙션이 취해진 경우, 타이어의 상대위치 좌표 등이 포함될 수 있다.
다음 단계로, 상기 인식된 실습 대상 물체의 체적에 대응하는 3D 오브젝트를 매핑하는 단계(S300)이다.
상기 단계(S200)를 통해 교수자의 실습에 대한 영상 분석하여 취득한 데이터를 기반으로 실습 대상 물체 및 상기 실습 대상 물체와 교수자와의 인터랙션을 VR 환경으로 구현하기 위해 3D 오브젝트로 구현하는 것이다.
상기 단계(S200)를 통해 취득한 데이터는 상기 S100 단계에서 개별적으로 지정하여 체적으로 인식된 실습 대상 물체, 교수자의 실습 동작, 실습 대상 물체와 동작 간의 상호 작용 등 실습 대상 물체와 교수자와의 인터랙션에 대한 정보가 각각 취득된다.
서버 등에는 이미 제작된 3D 오브젝트들이 저장되어 있으며, 상기 취득한 정보를 기반으로 상기 인식된 실습 대상 물체의 체적과 기제작된 3D 오브젝트들과 각각 비교하여 이에 대응하는 가장 유사한 3D 오브젝트로 자동으로 대체해 줌으로써, 1차적인 VR 환경이 구축된다.
본 실시예로서 설명하면, 도 1에 도시된 바와 같이 실습 대상 물체(20)인 타이어는 점선(30)과 같이 원형의 체적으로 인식되며, 이에 따라 기제작된 3D 오브젝트 중 가장 유사한 원형 3D 오브젝트로 구현된다.
다음 단계로, 상기 인식된 실습 대상 물체와 교수자와의 인터랙션에 해당하는 3D 오브젝트와 VR 컨트롤러의 인터랙션을 설정하는 단계(S400)이다.
이는, 상기 S200 단계에서 인식된 실습 대상 물체에 교수자가 취한 동작, 즉 실습 대상 물체와 교수자와의 인터랙션을 상기 S300 단계에서 매핑된 3D 오브젝트와 VR 컨트롤러 간에 설정하는 것이다.
이때, 상기 단계(S300)에서 매핑된 3D 오브젝트와 상기 단계(S400)에서 설정된 인터랙션은 물리적 속성에 해당하는 기 정의된 설정값을 갖는다.
예컨대, 3D 오브젝트는 무게, 크기, 재질과 같은 속성을 가지며, 인터랙션은 충돌, 회전, 압착 등과 같은 유형마다 대응하는 설정값 ? 예컨대, 충돌시 가해지는 힘, 회전시의 토크, 압착력 등의 값을 갖는다.
이는, 상기 S300 단계에서 3D 오브젝트로 구현된 실습 대상 물체와 해당 실습 대상 물체에 취해진 교수자의 인터랙션에 작용한 물리 법칙의 속성을 부여해서 상기 VR 컨트롤러를 통해 동작을 수행하면, VR 공간 상에서도 실제 자연계의 물리 법칙에 의한 동작이 구현되도록 하는 것이다.
본 실시예로서 설명하면, 교수자가 실습 대상 물체인 자동차 바퀴(20)의 볼트나 너트 등에 공구를 통해 힘을 가하여 돌리면, 힘이 작용한 상기 볼트나 너트는 회전 운동을 하게 되는데, 이는 자연계의 일반 물리 법칙에 따른 현상이다.
이와 같은 물리 법칙에 의한 현상을 VR 환경에서 구현하기 위해서는 상기 S300 단계를 통해 구현된 3D 오브젝트에 물리적 속성을 가진 인터랙션이 설정되어야 한다.
3D 오브젝트에 설정되는 인터랙션은 기설정되어 있으며, 상기 인식된 인터랙션 관련 정보에 기반하여 기설정된 인터랙션의 물리적 속성과 비교하여 가장 유사한 물리적 속성을 가진 인터랙션을 설정한다.
이렇게 되면, 현실세계에서 수행했던 동작 및 이에 따른 현상들이 VR 내에서 유사하게 구현될 수 있다.
상기 S400 단계까지 수행하면, 기본적인 VR 공학 실습 컨텐츠가 구현되는 것이다.
다만, 수많은 종류의 공학 실습 환경에 각각 정확하게 매칭하는 3D 오브젝트 및 인터랙션을 모두 미리 설정하거나 제작하는 것은 현실적으로 불가능하기 때문에, 상기 구현된 VR 공학 실습 컨텐츠는 초기 단계로서 3D 오브젝트의 세밀함이나 설정된 인터랙션의 정교함, 정확도가 떨어지는 문제가 있어, 학습자들이 실제 사용하는 것으로는 한계가 있다.
따라서, 상기 저작된 1차 VR 공학 실습 컨텐츠에 보다 현실감을 줄 수 있도록 기 정의된 물리적 속성의 설정값을 보정하는 과정이 필요하다.
이에, 상기 단계(S400)의 결과로 생성된 VR 공학 실습 컨텐츠와 상기 단계(S100)에서 저장된 영상을 비교하여, 상기 단계(S300)에서 매핑된 3D 오브젝트와 상기 단계(S400)에서 설정된 인터랙션의 기 정의된 물리적 속성에 해당하는 설정값을 보정하는 단계(S500)를 수행한다.
상기 S400 단계의 결과로 저작된 VR 공학 실습 컨텐츠는 상기 S100 단계의 영상 정보에 따라 기 정의된 3D 오브젝트 및 인터랙션 범위 내에서 가장 유사한 것을 찾아 매칭 시켜주는 것이기 때문에, 최초 S100 단계에서 교수자가 수행한 공학 실습과 차이가 있다.
이러한 차이를 줄이기 위해, 상기 S100 단계에서 저장된 영상정보와 상기 S400단계까지를 거처 저작된 VR 공학 실습 컨텐츠를 직접 비교하여 실제와의 차이를 줄일 수 있도록 3D 오브젝트와 인터랙션의 물리적 속성의 설정값을 보정을 하는 것이다.
상기 설정값의 보정을 통해 상기 저작된 VR 공학 실습 컨텐츠에서 실제 실습의 수행과 유사한 실습 수행 과정을 경험할 수 있게 된다.
여기서, 저작된 VR 공학 실습 컨텐츠는 향후 학습자가 수행한 실습의 성공 여부를 판정하기 위한 판정 기준을 디폴트로 설정한다.
상기 판정은 교수자의 실습 시범과 학습자의 실습을 비교하는 것은 각 실습에 대해 저장된 로그 기록을 비교하는 것으로 달성될 수 있다.
상기 각 로그 기록에 포함된 실습 동작 트래킹 데이터, 손과 3D 오브젝트의 위치좌표, 3D 오브젝트의 상대 위치좌표, 3D 오브젝트의 속도, 3D 오브젝트와의 인터랙션 정보를 상호 비교하면서 상기 데이터의 차이를 도출함으로써 상기 기설정된 판정 기준에 따라 성공과 실패 판정이 가능할 수 있다.
다만, 상기와 같은 과정을 통해 저작된 VR 공학 실습 컨텐츠의 경우, 상기 디폴트로 설정된 판정 기준은 성공의 범위를 넓게 설정하기 때문에, 학습자의 실습 행위에 대한 성공 판정도 정확성이 떨어진다.
성공 판정의 정확도를 높이기 위해, 교수자의 실습 시범을 활용하여 상기 판정 기준을 보다 정교하게 보정할 수 있다.
이를 위해서, 첫번째로 교수자가 VR 장치를 착용하고 상기 단계(S500)의 결과로 보정된 VR 실습 컨텐츠 상에서 실습 시범을 수행하고 상기 수행된 실습을 로그로 저장하는 단계를 포함한다.
상기 로그에는 교수자의 실습 동작 트래킹 데이터, 교수자의 손과 3D 오브젝트의 위치좌표, 3D 오브젝트의 상대 위치좌표, 3D 오브젝트의 속도, 3D 오브젝트에 대한 인터랙션 정보 등이 포함될 수 있다.
도 3은 교수자가 VR 장치를 착용하고, 상기 VR 공학 실습 컨텐츠에서 공학 실습의 시범을 보이는 것을 도시한 것이다.
교수자는 VR 장치(200)를 착용하고, 상기 S600 단계를 통해 보정된 VR 공학실습 컨텐츠를 이용하여, 상기 S100 단계에서 수행했던 실습과 동일한 실습을 그대로 시범적으로 1회 이상 수행한다.
여기서, VR 장치는 HMD (Head Mounted Display) 및 손에 쥐는 컨트롤러 등을 모두 포함할 수 있다.
상기 실습 시범은 VR 장치(200)를 통해 녹화될 수 있고, 상기 수행된 실습 시범에 대한 정보를 로그로 저장하고, 상기와 같은 과정을 최소 1회 이상 수행한다.
이후, 상기 단계(S500)의 결과로 생성된 VR 실습 컨텐츠를 상기 단계(S600)에서 저장된 로그를 이용하여, 상기 VR 실습 컨텐츠의 기 정의된 판정 기준을 보정하는 단계(S700)를 수행한다.
상기 저장된 로그 기록을 수집하여 분석하여 수집된 데이터 중 이상점 (outlier)에 해당하는 수치를 제외한 범위로 성공으로 판정되는 데이터 범위를 정한다.
상기와 같은 과정을 통해 교수자가 수행한 실습 시범 행위들 중에서 차이가 큰 케이스들은 이상점으로 분류되어 제외되는 바, 성공 판정의 범위가 좁아지게 되고, 상기 새롭게 정해진 범위로 기설정된 판정 기준이 보정되는 것이다.
상기와 같은 과정을 통해 판정 기준이 최초 기설정된 판정 기준에 비해 정교해질 수 있다.
상기와 같은 VR 공학 실습 컨텐츠의 저작방법을 수행할 수 있는 VR 공학 실습 컨텐츠의 저작 시스템이 본 발명에 의해 구현될 수 있다.
상기와 같이 구현된 VR 공학 실습 컨텐츠은 추후 학습자들에게 제공되어 학습자들의 실습 수행이 누적됨에 따라 상기의 판정 기준이 더욱 정교하게 보정될 수 있다.
보다 구체적으로 설명하면, 상기 판정 기준은 상기 학습자들의 실습 수행 중에서 성공으로 판정되는 실습 수행의 로그들 가운데 3차원 공간내에서 가장 높은 빈도로 발생하는 영역으로 정의될 수 있다.
이는 일 실시예로서 도 6의에 도시된 파선으로 도시된 원형의 영역으로 이해할 수 있다.
여기서, 성공으로 판정되는 실습 수행의 로그의 레코드 수가 수십~수백개 단위 정도에 불과하다면, 이에 의해 정의된 영역은 정교하게 설정되는 것이 매우 어렵고, 대략적으로 정해질 수 밖에 없다.
하지만, 성공으로 판정되는 실습 수행의 로그의 레코드 수가 수천개 단위 이상으로 증가한다면 분산 그래프 상 이상값(outlier)에 해당하는 레코드들을 모두 제거한 나머지 레코드들로 상기 성공 판정 기준 영역을 조금 더 정확하게 보정하는 것이 가능해진다.
상기 판정 기준을 보정하기 위한 성공 판정 영역의 재설정은 다음과 같은 알고리즘으로 구현된다.
첫 번째 단계로, 성공으로 판정되는 레코드의 개수가 직전 레코드 개수 대비 제 1 임계값 이상 증가하였는지 여부를 판단한다(S10). 여기서 제 1 임계값은 레코드 개수의 구간으로 사전에 정의될 수 있다. 예컨대, 제 1 임계값이 1,000이면 성공으로 판정되는 레코드의 개수가 1,000개 미만인 구간, 10,000이면 10,000개 미만인 구간, 50,000이면 50,000개 미만인 구간 등으로 레코드의 개수의 구간으로 정의 될 수 있다.
다음 단계로, 상기 단계(S10)에서 성공으로 판정되는 레코드의 개수가 직전 레코드 개수 대비 제 1 임계값 이상 증가하였다면, 제 2 임계값은 사전에 정의된대로 변경된다.(S20).
예를 들면, 상기 제 1 임계값이 1,000개 미만인 구간일 때 상기 제 2 임계값은 90%, 상기 제 1 임계값이 10,000개 미만인 구간일 때 상기 제 2 임계값은 85% 등으로,반비례하도록 사전에 정의된다.
즉, 상기 제 1 임계값이 더 많은 개수 범위의 구간으로 변경될수록 제 2 임계값은 감소하도록 사전에 정의되는 것이다.
다만, 상기 제 2 임계값의 수치는 특정 수치에 도달하면 그 이하로는 감소되지 않고 유지된다.
예를 들면, 제 2 임계값의 최저값이 60%로 설정되었다면, 제 2 임계값은 단계적으로 감소하다가 60% 값이 이르면, 제 1 임계값이 증가하더라도 제 2 임계값은 60%로 유지되는 것이다.
다음 단계로, 성공으로 판정된 전체 레코드의 평균값을 구한다(S30).
상기 레코드는 상기 저장된 실습 수행의 로그 내에 포함되어 있는 실습 수행의 인터렉션에 관한 레코드들로서, 실습 수행 중의 인터렉션에 관한 3차원 상에서의 좌표 정보를 포함할 수 있다.
상기 전체 레코드의 각각의 x축, y축, z 축에 대해 각 축에 대한 좌표 평균값을 계산한다.
그 다음 단계로, 상기 레코드들이 x축, y축, z 축 각각에 대해 정규분포를 따른다고 가정하고, 상기 제2 임계값 이내의 범위 영역을 x축, y축, z 축 각각에 대해 구하고(S30), 상기 구해진 x축, y축, z 축 각 영역이 판정 기준이 된다.
이후, 학습자의 실습 수행 시 인터랙션이 발생하면, 상기 인터렉션의 3차원 좌표값이 상기 단계(S30)에서 구해진 x축, y축, z 축 각 영역의 범위 내에 포함되면 상기 인터랙션은 성공으로 판정된다.
한편, 상기와 같이 성공으로 판정되는 레코드들이 충분히 증가하면 순차적으로 상기 S10 단계를 통해 제 1 임계값이 다음 구간으로 넘어가게 되고, 상기 S20 단계에 따라 제 2 임계값이 더 낮은 수치로 새로 설정되므로, 이에 따라 성공으로 판정되는 3차원 상의 x축, y축, z 축 각 영역이 좀 더 좁은 범위로 새롭게 구해지며, 기존의 판정 기준에 적용됨으로써 판정 기준이 보정되는 것이다.
따라서, 상기 보정된 판정 기준에 따라 성공 판정을 받기 위해서는 종래 판정 기준에 비해서 보다 더 정확한 동작으로 실습을 수행해야 하는 것이다.
나아가, 학습자의 실습 행위가 누적되면서 상기와 같은 과정이 반복되면 판정 기준은 점점 더 정교해지게 되면서, 학습자의 실습 행위에 대해 보다 더 정확한 판정이 가능하게 된다.
본 발명에 의한 VR 공학 실습 컨텐츠의 저작 시스템은 교수자의 행위를 영상정보로 입력받아 이로부터 입체적 사물의 체적을 인식하는 입체 인식 장치, 교수자가 착용하고 실습을 수행하는 VR 장치, 교수자가 수행하는 상기 실습으로부터 실습 대상 물체와 실습 동작을 인식하여 이에 대한 데이터를 취득하는 데이터 수집부, 상기 취득된 데이터를 기반으로 상기 실습 대상 물체와 실습 동작을 3D 오브젝트로 구현하고, 상기 3D 오브젝트로 구현된 실습 대상 물체와 실습 동작 간에 기 정의된 물리 속성을 매칭하여 VR 컨텐츠를 생성하는 VR 컨텐츠 생성부를 포함할 수 있다.
이때, VR 공학 실습 컨텐츠의 저작 시스템은 상기 생성된 VR 공학 실습 컨텐츠와 상기 영상을 비교하여, 상기 매핑된 3D 오브젝트와 상기 설정된 인터랙션의 기정의된 물리적 속성에 해당하는 설정값을 보정하는 VR 컨텐츠 설정부를 더 포함할 수 있다.
또한, 상기 VR 장치는 상기 VR 공학 실습 컨텐츠 상에서 교수자의 실습 시범을 로그로 저장하고, 상기 로그를 이용하여, 상기 VR 공학 실습 컨텐츠의 기정의된 판정 기준을 보정하는 VR 컨텐츠 설정부를 더 포함할 수 있다.
여기서, 상기 데이터 수집부(310), VR 컨텐츠 생성부(320), VR 컨텐츠 설정부(330)는 처리부(300)로서, 서버, PC 등 전산 장치에 일체 또는 각각 형성될 수 있다.
이상 몇 가지의 실시예를 통해 본 발명의 기술적 사상을 살펴보았다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 상기 살펴본 실시예를 다양하게 변형하거나 변경할 수 있음은 자명하다. 또한, 비록 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다. 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
20 : 실습 대상 물체 30 : 실습 대상 물체 인식 형상
100 : 입체 인식 장치 200 : VR 장치

Claims (7)

  1. 입체 인식 장치를 통해 교수자의 실습 수행 영상을 저장하는 단계(S100);
    상기 단계(S100)에서 저장된 영상으로부터 실습 대상 물체의 체적을 인식하고, 상기 실습 대상 물체와 교수자와의 인터랙션을 인식하는 단계 (S200);
    상기 인식된 실습 대상 물체의 체적에 대응하는 3D 오브젝트를 매핑하는 단계(S300); 및
    상기 인식된 실습 대상 물체와 교수자와의 인터랙션에 해당하는 3D 오브젝트와 VR 컨트롤러의 인터랙션을 설정하는 단계(S400);를 포함하는 VR 공학 실습 컨텐츠의 저작방법.
  2. 제1항에 있어서,
    상기 단계(S400)의 결과로 생성된 VR 공학 실습 컨텐츠와 상기 단계(S100)에서 저장된 영상을 비교하여, 상기 단계(S300)에서 매핑된 3D 오브젝트와 상기 단계(S400)에서 설정된 인터랙션의 기정의된 물리적 속성에 해당하는 설정값을 보정하는 단계(S500)를 더 포함하는 VR 공학 실습 컨텐츠의 저작방법.
  3. 제2항에 있어서,
    교수자가 VR 장치를 착용하고 상기 단계(S500)의 결과로 보정된 VR 실습 컨텐츠 상에서 실습 시범을 수행하고 상기 수행된 실습 시범을 로그로 저장하는 단계(S600)를 더 포함하는 VR 공학 실습 컨텐츠의 저작방법.
  4. 제3항에 있어서,
    상기 단계(S500)의 결과로 생성된 VR 실습 컨텐츠를 상기 단계(S600)에서 저장된 로그를 이용하여, 상기 VR 실습 컨텐츠의 기 정의된 판정 기준을 보정하는 단계(S700)를 더 포함하는 VR 공학 실습 컨텐츠의 저작방법.
  5. 교수자가 수행하는 실습을 인식하고 영상으로 저장하는 입체 인식 장치;
    상기 교수자가 착용하고 실습을 수행하는 VR 장치;
    상기 저장된 영상으로부터 실습 대상 물체의 체적을 인식하고, 상기 실습 대상 물체와 상기 교수자와의 인터랙션을 인식하고 관련된 정보를 수집하는 데이터 수집부; 및
    상기 취득된 데이터를 기반으로 상기 인식된 실습 대상 물체의 체적에 대응하는 3D 오브젝트를 매핑하고 상기 인식된 실습 대상 물체와 상기 교수자와의 인터랙션에 해당하는 3D 오브젝트와 VR 컨트롤러의 인터랙션을 설정하여 VR 공학 실습 컨텐츠를 생성하는 VR 컨텐츠 생성부;를 포함하는 VR 공학 실습 컨텐츠의 저작 시스템.
  6. 교수자가 수행하는 실습을 인식하고 영상으로 저장하는 입체 인식 장치;
    상기 교수자가 착용하고 실습을 수행하는 VR 장치;
    상기 저장된 영상으로부터 실습 대상 물체의 체적을 인식하고, 상기 실습 대상 물체와 상기 교수자와의 인터랙션을 인식하고 관련된 정보를 수집하는 데이터 수집부; 및
    상기 취득된 데이터를 기반으로 상기 인식된 실습 대상 물체의 체적에 대응하는 3D 오브젝트를 매핑하고 상기 인식된 실습 대상 물체와 상기 교수자와의 인터랙션에 해당하는 3D 오브젝트와 VR 컨트롤러의 인터랙션을 설정하여 VR 공학 실습 컨텐츠를 생성하는 VR 컨텐츠 생성부;를 포함하는 VR 공학 실습 컨텐츠의 저작 시스템.
  7. 제6항에 있어서,
    상기 VR 장치는 상기 VR 공학 실습 컨텐츠 상에서 교수자의 실습 시범을 로그로 저장하고, 상기 로그를 이용하여, 상기 VR 공학 실습 컨텐츠의 기정의된 판정 기준을 보정하는 VR 컨텐츠 설정부를 더 포함하는 VR 공학 실습 컨텐츠의 저작 시스템.
KR1020210161023A 2021-11-22 2021-11-22 Vr 공학 실습 컨텐츠의 저작방법 및 시스템 KR102682045B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210161023A KR102682045B1 (ko) 2021-11-22 2021-11-22 Vr 공학 실습 컨텐츠의 저작방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210161023A KR102682045B1 (ko) 2021-11-22 2021-11-22 Vr 공학 실습 컨텐츠의 저작방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20230074930A true KR20230074930A (ko) 2023-05-31
KR102682045B1 KR102682045B1 (ko) 2024-07-08

Family

ID=86543609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210161023A KR102682045B1 (ko) 2021-11-22 2021-11-22 Vr 공학 실습 컨텐츠의 저작방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102682045B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054376A (ko) * 2009-11-17 2011-05-25 한국과학기술연구원 실감 인터랙션 시스템 및 방법
KR20190059727A (ko) * 2017-11-23 2019-05-31 한길씨앤씨 주식회사 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템
KR20210085266A (ko) * 2019-12-30 2021-07-08 빅픽쳐스 주식회사 국가직무능력표준(ncs) 기반 건설기계 로우더 실습교육 시스템 및 이를 이용한 실습방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054376A (ko) * 2009-11-17 2011-05-25 한국과학기술연구원 실감 인터랙션 시스템 및 방법
KR20190059727A (ko) * 2017-11-23 2019-05-31 한길씨앤씨 주식회사 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템
KR20210085266A (ko) * 2019-12-30 2021-07-08 빅픽쳐스 주식회사 국가직무능력표준(ncs) 기반 건설기계 로우더 실습교육 시스템 및 이를 이용한 실습방법

Also Published As

Publication number Publication date
KR102682045B1 (ko) 2024-07-08

Similar Documents

Publication Publication Date Title
Carruth Virtual reality for education and workforce training
Ochoa et al. Multimodal learning analytics-Rationale, process, examples, and direction
Sewell et al. Providing metrics and performance feedback in a surgical simulator
CN108646926A (zh) 机械制造模具虚拟装配培训系统及培训方法
EP3392745B1 (en) Multi-device virtual reality, artifical reality and mixed reality analytics
US20120322037A1 (en) Anomaly Detection Educational Process
KR20140048128A (ko) 태스크 궤적 분석을 위한 방법 및 시스템
Crison et al. Virtual technical trainer: Learning how to use milling machines with multi-sensory feedback in virtual reality
US11393153B2 (en) Systems and methods performing object occlusion in augmented reality-based assembly instructions
Mastrolembo Ventura et al. Implementation of virtual reality in construction education: a content-analysis based literature review
US20230260415A1 (en) Remote expert method and system utilizing quantitative quality assurance in mixed reality
KR20230074930A (ko) Vr 공학 실습 컨텐츠의 저작방법 및 시스템
Onime et al. Mare: Mobile augmented reality based experiments in science, technology and engineering
KR20230074931A (ko) Vr 공학 실습 컨텐츠에서의 실습 제공 방법 및 시스템
Shreenath et al. Impact of learning virtual reality on enhancing employ ability of Indian engineering graduates
Sanusi et al. IMPECT-Sports: Using an Immersive Learning System to Facilitate the Psychomotor Skills Acquisition Process.
KR102617514B1 (ko) 메타버스 상에서의 공학실습 플랫폼 제공 방법
CN111105651A (zh) 基于ar的废弃物归类的教学方法及系统
Gupta et al. A survey of the virtual environments-based assembly training applications
Bellgardt et al. Virtual Optical Bench: Teaching Spherical Lens Layout in VR with Real-Time Ray Tracing
CN112632741B (zh) 文物修复方法、装置、存储介质及电子设备
Schwartz et al. Using virtual demonstrations for creating multi-media training instructions
Hong An intelligent guidance system for computer-guided surgical training
Hirsch et al. Use of Virtual Reality Technology for Engineering Education at Universities–Chances and Challenges
RU2634658C2 (ru) Компьютерный тренажёр

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant