KR20200079009A - Vr 기반의 교육용 콘텐츠 제공 시스템 - Google Patents

Vr 기반의 교육용 콘텐츠 제공 시스템 Download PDF

Info

Publication number
KR20200079009A
KR20200079009A KR1020180168453A KR20180168453A KR20200079009A KR 20200079009 A KR20200079009 A KR 20200079009A KR 1020180168453 A KR1020180168453 A KR 1020180168453A KR 20180168453 A KR20180168453 A KR 20180168453A KR 20200079009 A KR20200079009 A KR 20200079009A
Authority
KR
South Korea
Prior art keywords
unit
image
motion information
coordinates
matching
Prior art date
Application number
KR1020180168453A
Other languages
English (en)
Inventor
심진경
서갑열
Original Assignee
홍익대학교세종캠퍼스산학협력단
심진경
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교세종캠퍼스산학협력단, 심진경 filed Critical 홍익대학교세종캠퍼스산학협력단
Priority to KR1020180168453A priority Critical patent/KR20200079009A/ko
Publication of KR20200079009A publication Critical patent/KR20200079009A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Architecture (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 촬영 시 서로 다른 문양을 가지는 다수의 기준점; 상기 각 기준점을 포함하는 현실 영상 이미지를 촬영하여 다수의 2차원 이미지를 획득하는 이미지획득유닛; 상기 2차원 이미지에 포함된 다수의 기준점을 예정된 좌표로 변환하여 상기 좌표에 대응하는 보정 값을 생성하는 보정유닛; 상기 각 2차원 이미지에 상기 보정 값을 적용하여 3차원 이미지를 생성하는 모델링유닛; 사용자의 모션 정보를 취득하는 VR유닛; 및 상기 모델링유닛으로부터의 3차원 이미지에 미리 결정된 모션 정보를 매칭시키며 상기 VR유닛으로부터 상기 모션 정보를 수신하여 3차원 이미지를 상기 VR유닛을 통하여 디스플레이 되도록 하는 컨트롤유닛;으로 이루어지되, 상기 보정유닛은 상기 각 2차원 이미지에 포함된 상기 각 기준점을 추출하기 위한 추출부와, 상기 추출부에 의하여 추출된 상기 각 기준점 각각에 대응하는 상기 예정된 좌표를 매칭하기 위한 매칭부와, 상기 매칭부에서 출력되는 좌표에 대응하는 상기 보정 값을 생성하기 위한 값 생성부와, 상기 각 기준점 각각의 문양과 상기 문양에 대응하는 좌표가 저장된 저장부를 포함함으로써, 실제 현장 이미지를 모델링하여 이를 VR을 착용한 사용자에게 디스플레이할 수 있도록 하여 직접 현장에 가지 않아도 현장을 체험하고 학습할 수 있도록 한 VR 기반의 교육용 콘텐츠 제공 시스템에 관한 것이다.

Description

VR 기반의 교육용 콘텐츠 제공 시스템{EDUCATIONAL CONTENT SYSTEM OF VR-BASED}
본 발명은 실제 현장 이미지를 가공한 3차원 이미지를 VR로 디스플레이 하여 사용자가 직접 현장 등에 가지 않더라도 현장을 체험하고 학습할 수 있으며, 다양한 툴을 이용해 3차원 이미지를 생성하고 이를 교육용으로 제작함으로써, 누구나 쉽게 접근하여 활용할 수 있는 VR 기반의 교육용 콘텐츠 제공 시스템에 관한 기술이다.
최근 IT 기술의 발전과 함께 오프라인(off-line) 교육과 더불어 온라인(on-line) 교육을 시행하는 이러닝(e-learning) 서비스가 부각되고 있다. 여기서, 오프라인 교육이란 학교, 학원 등에서 교재를 통해 실시되는 교육을 의미하고, 온라인 교육이란 인터넷 및 인트라넷 등의 네트워크 접속 기술과 다양한 멀티미디어 콘텐츠를 이용하여 실시되는 교육을 의미한다.
현재, 이러한 이러닝을 위한 교육용 콘텐츠들은 오디오 및 비디오뿐만 아니라 텍스트, 그래픽 및 이미지 등의 멀티미디어 콘텐츠를 이용한 다양한 효과가 적용되고 있다. 또한, 클라이언트 단말 측에서 사용자가 교육용 콘텐츠에 직접 참여할 수 있는 이러닝 서비스도 실시되고 있다.
종래기술에 따르면 2차원 상에 텍스트, 이미지, 영상 및 음향 등의 조합을 이용하여 다양한 객체로 구성되는 교육용 콘텐츠를 직접 제작하고, 이에 3차원 효과를 결합하기가 곤란하다는 문제점이 있었다.
이러한 문제점을 해결하기 위한 다양한 기술 중,
대한민국 특허공개 제10-2017-0057736호 (2017.05.25.공개, 이하에서는 '문헌 1'이라고 함) 『교육용 VR 콘텐츠 제작 시스템 및 그 제어방법』이 제시되어 있는바,
문헌 1은 저작자 단말로부터 제어 신호를 수신하는 통신부와, 상기 제어 신호에 따라, VR 체험환경을 구성하는 3D 체험환경과 3D 객체를 선택하고, 상기 선택된 3D 체험환경 및 3D의 객체를 결합하여 적어도 하나의 템플릿 정보를 생성하는 템플릿 생성부와, 상기 3D 체험환경, 상기 3D 객체, 상기 생성된 템플릿 정보를 저장하는 메모리와, 상기 템플릿 생성부에서 생성된 적어도 하나의 템플릿 정보 중 하나와 상기 선택된 템플릿 정보에 따라 데이터 파일을 생성하는 교육용 VR 체험환경 생성부와, 상기 생성된 데이터 파일, 상기 적어도 하나의 템플릿 정보, 상기 저장된 3D 체험환경 및 상기 3D 객체 중 적어도 하나를 웹 화면에 표시하는 표시부를 포함함으로써, 교육용 VR 콘텐츠를 제작하여 웹 상에서 공유할 수 있도록 하는 교육용 VR 콘텐츠 제작 시스템의 저작자 단말, 클라이언트 단말 및 서비스 서버와 이들을 이용한 VR 콘텐츠 제작 방법 및 VR 콘텐츠의 구동 방법에 관한 기술이다.
다른 기술로는, 대한민국 특허공개 제10-2018-0046313호 (2018.05.08.공개, 이하에서는 '문헌 2'라고 함) 『글로브 모형을 이용한 3D 및 VR기반의 교육용 콘텐츠 장치』가 제시되어 있는바,
문헌 2는 스마트기기의 어플리케이션에 의해 무선통신신호로 제어되는 글로브 모형을 이용한 3D 및 VR기반의 교육용콘텐츠 장치에 있어서, 내부공간이 형성된 VR 기반의 글로브 모형과, 3D 홀로그램 영상이 포함된 3D 및 VR정보를 저장하는 저장장치와, 스마트기기로부터 신호를 받아 제어부로 신호를 전달하는 통신부와, 상기 통신부로부터 신호를 받아 제어하되 동작 상태가 될 경우 저장장치에 저장된 3D 홀로그램 영상을 3D 홀로그램 장치로 보내는 제어부와, 상기 제어부로부터 받은 3D 홀로그램 영상을 출력하는 3D 홀로그램 장치로 이루어짐으로써, 스마트기기의 어플리케이션을 실행한 후, 음성인식을 통해 나라이름 또는 도시이름을 말하면, 지구본에서 해당 나라이름 또는 도시이름에 해당되는 3D 홀로그램 영상이 출력되는 글로브 모형을 이용한 3D 및 VR기반의 교육용 콘텐츠 장치 및 제공방법에 관한 기술이다.
문헌 1. 대한민국 특허공개 제10-2017-0057736호 (2017.05.25.공개) 문헌 2. 대한민국 특허공개 제10-2018-0046313호 (2018.05.08.공개)
본 발명은 다양한 툴을 이용해 2차원 이미지를 가공하여 3차원 이미지를 생성한 후 이를 사용자가 착용한 VR로 전송하여 디스플레이 되도록 함으로써, 다양한 3차원 이미지를 현장에 가지 않고도 체험하며 학습할 수 있도록 한 VR 기반의 교육용 콘텐츠 제공 시스템을 제공하는데 그 목적이 있다.
상기와 같은 해결 과제를 해결하기 위하여 본 발명에 따른 VR 기반의 교육용 콘텐츠 제공 시스템은,
촬영 시 서로 다른 문양을 가지는 다수의 기준점;
상기 각 기준점을 포함하는 현실 영상 이미지를 촬영하여 다수의 2차원 이미지를 획득하는 이미지획득유닛;
상기 2차원 이미지에 포함된 다수의 기준점을 예정된 좌표로 변환하여 상기 좌표에 대응하는 보정 값을 생성하는 보정유닛;
상기 각 2차원 이미지에 상기 보정 값을 적용하여 3차원 이미지를 생성하는 모델링유닛;
사용자의 모션 정보를 취득하는 VR유닛; 및
상기 모델링유닛으로부터의 3차원 이미지에 미리 결정된 모션 정보를 매칭시키며 상기 VR유닛으로부터 상기 모션 정보를 수신하여 3차원 이미지를 상기 VR유닛을 통하여 디스플레이 되도록 하는 컨트롤유닛;
으로 이루어지되,
상기 보정유닛은
상기 각 2차원 이미지에 포함된 상기 각 기준점을 추출하기 위한 추출부와,
상기 추출부에 의하여 추출된 상기 각 기준점 각각에 대응하는 상기 예정된 좌표를 매칭하기 위한 매칭부와,
상기 매칭부에서 출력되는 좌표에 대응하는 상기 보정 값을 생성하기 위한 값 생성부와,
상기 각 기준점 각각의 문양과 상기 문양에 대응하는 좌표가 저장된 저장부
를 포함하는 것을 특징으로 한다.
본 발명에 따른 VR 기반의 교육용 콘텐츠 제공 시스템은,
다양한 툴을 이용해 3차원 이미지 생성이 용이하고, 이를 통해 생성된 3차원 이미지를 현장에 가지 않고도 VR을 이용해 체험하며 학습할 수 있으며, 매뉴얼을 통해 누구나 쉽게 제작하고 경험할 수 있도록 한 가장 큰 효과가 있다.
도 1은 본 발명에 따른 VR 기반의 교육용 콘텐츠 제공 시스템을 나타낸 블록 구성도,
도 2 내지 도 4는 참고 이미지 도면.
이하 첨부된 도면들을 참조로 본 발명의 바람직한 실시예에 대해서 상세히 설명하기로 한다.
이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에 따른 VR 기반의 교육용 콘텐츠 제공 시스템은,
촬영 시 서로 다른 문양을 가지는 다수의 기준점(10);
상기 각 기준점(10)을 포함하는 현실 영상 이미지를 촬영하여 다수의 2차원 이미지를 획득하는 이미지획득유닛(20);
상기 2차원 이미지에 포함된 다수의 기준점(10)을 예정된 좌표로 변환하여 상기 좌표에 대응하는 보정 값을 생성하는 보정유닛(30);
상기 각 2차원 이미지에 상기 보정 값을 적용하여 3차원 이미지를 생성하는 모델링유닛(40);
사용자의 모션 정보를 취득하는 VR유닛(50); 및
상기 모델링유닛(40)으로부터의 3차원 이미지에 미리 결정된 모션 정보를 매칭시키며 상기 VR유닛(50)으로부터 상기 모션 정보를 수신하여 3차원 이미지를 상기 VR유닛(50)을 통하여 디스플레이 되도록 하는 컨트롤유닛(60);
을 포함하여 이루어진다.
도 1을 참조하면, 상기 기준점(10)은 3차원 이미지로 생성할 실제 현장 내에 배치되고, 상기 이미지획득유닛(20)은 촬영 장비가 구비된 드론 등의 비행체나 휴대가 가능한 스마트기기나 카메라로 이루어지고, 이러한 장비를 이용해 촬영 시 특정 문양이 사진에 찍히도록 예정된 크기를 갖는다.
여기서는 기준점(10) 각각이 "ㄱ", "ㄷ", "ㄹ", "ㅁ", "ㅈ", 문양을 가지는 것을 일례로 하였지만, 서로 다른 문양을 가지는 기준점(10)이라면 어떠한 문양으로 형성되더라도 상관없다. 예컨대, 나비 문양이나, 십자가 문양, 별 문양도 가능할 것이다. 이후 다시 설명하겠지만, 기준점(10) 각각은 보정유닛(30)에 의하여 예정된 좌표로 변환되어 3차원 이미지 보다 명확하게 제작하기 위한 보정 값을 정의하는데 사용된다.
여기서 다수의 기준점(10) 각각은 GPS에서 수신되는 실제 좌표에 대응하여 배치되거나 다수의 기준점(10) 중 어느 하나를 기준으로 예정된 거리만큼 이격되는 상대 좌표에 대응하여 배치될 수 있다.
다수의 2차원 이미지에는 다수의 기준점(10)이 포함되지 않은 사진도 포함되지만, 다수의 기준점(10)이 포함된 사진이 반드시 포함되어야만 한다. 이는 본 발명의 실시예에서는 다수의 기준점(10)을 이용하여 보정 값을 생성하고 이를 통해 3차원 이미지를 보완해야 하기 때문이다.
다음으로, 상기 보정유닛(30)은 비행체나 스마트 기기 등과 무선통신을 통해 다수의 이미지를 전송 받으며, 다수의 2차원 이미지에 포함된 다수의 기준점(10)을 예정된 좌표로 변환하여 상기 좌표에 대응하는 보정 값을 생성하기 위한 구성이다.
상기 모델링유닛(40)은 다수의 2차원 이미지에 보정 값을 적용하여 3차원 이미지를 생성하기 위한 구성이다.
상기 모델링유닛(40)은 다수의 2차원 이미지에 중첩된 부분을 검출하여 이를 중첩 처리하여 결합해줌으로써 3차원 이미지를 제작하는 것이 가능하며 여기에 다수의 기준점(10)에 대응하는 좌표에 의한 보정 값을 적용하여 보다 정확한 3차원 이미지를 제작하는 것이 가능하다.
일예로, 도 2 내지 도 4에서와 같이 상기 이미지획득유닛(20)에 의해 획득한 2차원 지형 이미지를 여러 가지 툴을 이용해 폴리곤 기반으로 쉐이더를 이용하여 가공하고, 카메라위치와 지형 이미지를 나눠 거리를 구한 후, 거리에 따라 보정 값이 차등 적용 되게끔 조절하여 최적화하고, Triplanar 매핑기법 이용을 이용하여 각 면이 바라보는 방향에 맞추어 텍스쳐를 매핑하여 가공할 수 있다.
또한 그림자로 인한 부하를 줄이기 위하여 그림자용 폴리곤을 따라 제작하여 매칭시킬 수 있고, 라이트맵의 경우 동적 날씨가 구현되지 않으므로 별도의 툴을 이용해 일반 텍스쳐 기반의 baked light로 제작할 수도 있다.
다른 예로, 지구 쉐이더 제작 시 대기권 산란, 낮일 때와 밤일 때의 조명 차이, 구름과 바다 흐름의 시뮬레이션에 대해 별도의 툴이 이용해 제작할 수 있다.
상기한 별도의 툴로는 스케치 업(sketch Up), 123D 디자인, 캐디안 3D(CADian 3D), 스컬프트리스(Sculptrus), 블랜더(Blender) 등을 선택할 수 있고, 결국 제작하는 이미지에 맞게 장점을 갖는 툴을 선택할 수 있다.
본 발명의 실시예에 따른 VR 기반의 교육용 콘텐츠 제공 시스템은 서로 다른 문양의 다수의 기준점(10)이 포함되도록 2차원 이미지를 촬영하고 다수의 기준점(10)을 예정된 좌표로 변환하여 상기 좌표에 대응하는 보정 값을 생성한 이후 2차원 이미지에 해당 보정 값을 적용함으로써 매우 정확한 3차원 이미지를 제작하는 것이 가능하다.
상기 보정유닛(30)은 상기 다수의 2차원 이미지에 상기 다수의 기준점(10)을 추출하기 위한 추출부(31)와, 상기 추출부(31)에 의하여 추출된 상기 다수의 기준점 각각에 대응하는 상기 예정된 좌표를 매칭하기 위한 매칭부(32)와, 상기 매칭부(32)에서 출력되는 좌표에 대응하는 상기 보정 값을 생성하기 위한 값 생성부(33)를 포함한다. 그리고 다수의 기준점(10) 각각의 문양과 상기 문양에 대응하는 좌표가 저장된 저장부(34)를 더 포함한다.
상기 추출부(31)는 다수의 2차원 이미지에 포함된 다수의 기준점(10)을 추출하기 위한 구성이다.
이하, 설명의 편의를 위하여 다수의 기준점(10) 중 "ㄱ" 기준점을 설명하기로 한다.
상기 추출부(31)는 다수의 기준점(10)이 포함된 다수의 2차원 이미지에 "ㄱ" 기준점을 인식하여 추출한다. 이때, 저장부(34)에는 여러 가지 문양과 해당 문양에 대응하는 좌표 값이 저장되어 있으며, 추출부(31)가 "ㄱ" 기준점을 인식할 수 있도록 다수의 기준점(10)에 대응하는 데이터를 제공한다. 추출부(31)가 "ㄱ" 기준점을 인식하는 방법에는 여러 가지 방식이 사용될 수 있으며, 예컨대 디지털 처리 방식을 통해 "ㄱ" 기준점을 인식하여 추출하는 것도 가능할 것이다.
여기서 상기 추출부(31)는 "ㄱ" 기준점을 보다 잘 인식하기 위하여 우선적으로 "ㄱ" 기준점의 테두리 문양인 "ㅇ"를 검출하고 이후 테두리 안쪽의 "ㄱ" 기준점를 인식하는 것이 가능하다. 여기서, "ㅇ" 문양은 "ㄱ" 기준점을 인식하기 위한 인식 문양에 해당하며, "ㄱ" 기준점은 다수의 기준점(10) 각각을 특정하기 위한 고유 문양에 해당한다.
참고적으로, 고유 문양만으로 형성되는 경우 그와 유사한 문양에 추출부(31)가 오동작 할 수 있으며, 인식 문양을 통해 고유 문양의 인식률을 높여주는 것이 가능하다.
다음으로, 상기 매칭부(32)는 추출부(31)에 의하여 추출된 "ㄱ" 기준점에 해당하는 좌표를 매칭하여 출력하기 위한 구성이다. 이때 상기 매칭부(32)는 "ㄱ" 기준점에 대응하는 좌표를 저장부(34)에서 제공받아 출력한다.
여기서 상기 매칭부(32)가 제공하는 좌표는 실제 좌표와 상대 좌표로 나뉠 수 있다.
우선, 실제 좌표는 GPS에서 제공되는 실제 좌표를 의미한다. 다수의 2차원 이미지의 경우 중첩 동작을 통해 3차원 이미지를 생성하게 되는데 이때 좌표 값이 없는 경우 실제 지형과 3차원 이미지에는 오차가 발생한다. 따라서 GPS에 의한 실제 좌표 값을 통해 3차원 이미지를 보정해 줌으로써 실제 지형과 거의 동일한 모델링이 가능하다.
다음으로, 상대 좌표는 다수의 기준점(10) 중 어느 하나를 기준으로 정의되는 좌표 값을 의미한다.
예컨대, 다수의 기준점(10) 중 "ㄱ" 기준점을 기준으로 정의한다면 이외 "ㄷ" 기준점, "ㄹ" 기준점, "ㅁ" 기준점, "ㅈ" 기준점은 "ㄱ" 기준점을 기준으로 예정된 상대 좌표로 정의될 수 있다.
그리고 "ㄷ" 기준점, "ㄹ" 기준점, "ㅁ" 기준점, "ㅈ" 기준점은 "ㄱ" 기준점 대비 예정된 위치에 배치되기 때문에 GPS에 의한 좌표를 제공받지 않더라도 다수의 기준점(10)을 빠르게 배치하는 것이 가능하다.
마지막으로, 상기 값 생성부(33)는 상기 매칭부(32)에서 출력되는 좌표에 대응하는 보정 값을 생성하기 위한 구성이다. 여기서 보정 값은 다수의 2차원 이미지만을 중첩 동작을 통해 3차원 이미지로 제작하는 경우 발생하는 오차를 보정하기 위한 값이다.
한편, 상기 VR유닛(50)은 사용자가 착용 가능(wearable)한 것으로서, 사용자의 모션 정보까지 취득할 수 있으며, 사용자의 눈으로 영상을 디스플레이할 수 있다.
여기서 상기 VR유닛(50)은 사용자의 얼굴에 착용할 수 있는 장치인 것이 바람직한데, 대표적인 예시로는 삼성전자의 "기어 VR"이나 페이스북의 '오큘러스', HTC의 '바이브', 소니사의 "PS VR"등 일 수 있다.
바람직하게, 상기 VR유닛(50)은 사용자의 얼굴에 장착하여, 사용자가 머리를 위, 아래, 좌, 우 등을 인식하고, 사용자의 머리의 회전까지도 인식하는 것이 바람직하다. 이를 위하여 상기 VR 유닛(50)은 자체적으로 자이로스코프, 3축 가속 센서 등을 장착하거나, 외부 단말기(예컨대, 스마트폰 등)의 장착할 수 있는 것이 바람직하다.
상기 VR유닛(50)은 사용자의 눈에 좌우 비대칭의 영상을 디스플레이하여, 사용자로 하여금 영상이 입체적으로 느껴지게 할 수 있음은 물론이며, 사용자가 머리를 위, 아래, 좌, 우로 회전할 때마다 그 회전과 방향 등에 맞추어 디스플레이되는 영상까지 맞추어 디스플레이할 수 있음은 물론이다.
한편, 상기 컨트롤유닛(60)은 3차원 이미지에 사용자가 머리를 들어 올리는 모션 정보를 매칭시켜 놓아, 향후, 사용자가 머리를 들어 올리는 모션을 취하는 경우, 이를 인식하여 3차원 이미지를 보여주도록 하여 사용자는 머리를 들어 올리는 모션만으로 특정 현장의 위에 대한 영상을 바라보게 되어, 마치 직접 해당 현장의 상부를 들어 올려다보는 것과 같은 생생한 느낌을 가질 수 있도록 한다.
또 다른 예로, 상기 컨트롤유닛(60)은 현장의 우측 영상 부분에 사용자가 오른쪽으로 고개를 돌리는 모션 정보를 미리 매칭시켜 놓은 후, 사용자가 실제로 오른쪽으로 고개를 돌리는 것과 같은 모션을 취하면 이러한 모션 정보를 바탕으로 상기 컨트롤유닛(60)은 오른쪽에 위치한 영상을 디스플레이하여, 사용자는 고개를 돌려서 현장의 오른쪽 영상을 바라보는 것과 같은 생생한 느낌을 가지게 된다. 이러한 모션 정보와 3차원 이미지는 불연속적이지만, 불연속적인 이들 모션 정보 및 영상 정보는 그 불연속적인 정보의 간격이 조밀하도록 하여, 사용자는 고개를 돌리는 만큼 미리 결정된 모션 정보에 따라 해당 매칭된 3차원 이미지를 수 있게 되어, 사용자는 마치 현장에서 고개를 돌리면서 현장의 오른쪽 혹은 왼쪽의 영상을 연속적으로 훑어 보는 것과 같은 느낌을 가질 수 있도록 한다.
이러한 상기 컨트롤유닛(60)은 명령매칭부(61)와, 3D 처리부(62)를 포함한다.
상기 명령매칭부(61)는 2차원 이미지에 미리 결정된 모션 정보를 매칭시키게 된다.
상기 3D 처리부(62)는 사용자의 모션 정보에 따라 매칭된 3차원 이미지를 생성하게 되는데, 특정 방위각에 따른 특정 영상 정보를 매칭 시켜 정렬하여, 사용자의 머리의 방위각에 따라 다양한 영상 정보를 생성하게 되는 것이다.
아울러 상기 컨트롤유닛(60)은 명령 수신부(63)와 미디어 송신부(64)를 더 포함한다.
상기 명령 수신부(63)는 상기 VR유닛(50)으로부터 모션 정보를 수신한다. 즉, 여기서 언급하는 명령이란 사용자의 머리가 상하, 좌우 등으로 모션이 취해지는 정보를 의미하는 것이며, 이러한 모션 정보는 상기 3D 처리부(62)에서 생성된 매칭 영상에 매칭되며, 이후 미디어 송신부(64)는 매칭된 매칭 영상을 VR유닛(50)로 전송하게 된다.
사용자는 특정 상대방과 직접 대화하는 것과 같은 느낌을 가질 수 있는데, 이를 위하여 명령 수신부(63)는 사용자의 음성 정보도 또 하나의 명령으로 인식하게 된다. 즉, 음성 인식을 하는 것이다.
이에 명령매칭부(61)는 특정 음성 정보를 영상 정보에 매칭시키게 되는데, 이는 단순히 사용자가 고개를 돌려 상하 좌우의 현장 영상을 보는 것과는 달리, 사용자의 특정 음성 정보에 상대방 영상의 특정 반응 영상을 내보내는 것으로 이루어지게 된다.
이를 위하여 상기 3D 처리부(62)는 음성 정보에 따라 매칭된 매칭 영상을 VR유닛(50)을 통해 디스플레이 하게 된다.
한편, 상기 모델링유닛(40)에 의해 생성된 3차원 이미지는 DB서버(70)에 저장된 후 사용자의 VR유닛(50)에 디스플레이 될 수 있다.
상기 DB서버(70)는 상기 컨트롤유닛(60)에 미리 저장된 3차원 이미지를 전송하게 되고, 이후 상기 컨트롤유닛(60)은 DB서버(70)로부터 저장된 영상 정보에 개별 모션 정보를 매칭시키며, 상기 VR유닛(50)으로부터 모션 정보를 수신하여, 매칭 영상을 상기 VR유닛(50)을 통하여 디스플레이 하도록 한다.
이상에서 본 발명을 설명함에 있어 첨부된 도면을 참조하여 특정 형상과 구조를 갖는 "VR 기반의 교육용 콘텐츠 제공 시스템"을 위주로 설명하였으나 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 보호범위에 속하는 것으로 해석되어야 한다.
10 : 기준점
20 : 이미지획득유닛
30 : 보정유닛
31 : 추출부
32 : 매칭부
33 : 값 생성부
34 : 저장부
40 : 모델링유닛
50 : VR 유닛
60 : 컨트롤유닛
61 : 명령매칭부
62 : 3D 처리부
63 : 명령 수신부
64 : 미디어 송신부
70 : DB서버

Claims (4)

  1. 촬영 시 서로 다른 문양을 가지는 다수의 기준점(10);
    상기 각 기준점(10)을 포함하는 현실 영상 이미지를 촬영하여 다수의 2차원 이미지를 획득하는 이미지획득유닛(20);
    상기 2차원 이미지에 포함된 다수의 기준점(10)을 예정된 좌표로 변환하여 상기 좌표에 대응하는 보정 값을 생성하는 보정유닛(30);
    상기 각 2차원 이미지에 상기 보정 값을 적용하여 3차원 이미지를 생성하는 모델링유닛(40);
    사용자의 모션 정보를 취득하는 VR유닛(50); 및
    상기 모델링유닛(40)으로부터의 3차원 이미지에 미리 결정된 모션 정보를 매칭시키며 상기 VR유닛(50)으로부터 상기 모션 정보를 수신하여 3차원 이미지를 상기 VR유닛(50)을 통하여 디스플레이 되도록 하는 컨트롤유닛(60);
    으로 이루어지되,
    상기 보정유닛(30)은
    상기 각 2차원 이미지에 포함된 상기 각 기준점(10)을 추출하기 위한 추출부(31)와,
    상기 추출부(31)에 의하여 추출된 상기 각 기준점(10) 각각에 대응하는 상기 예정된 좌표를 매칭하기 위한 매칭부(32)와,
    상기 매칭부(32)에서 출력되는 좌표에 대응하는 상기 보정 값을 생성하기 위한 값 생성부(33)와,
    상기 각 기준점(10) 각각의 문양과 상기 문양에 대응하는 좌표가 저장된 저장부(34)
    를 포함하는 것을 특징으로 하는 VR 기반의 교육용 콘텐츠 제공 시스템.
  2. 제 1 항에 있어서,
    상기 각 기준점(10) 각각은 해당 기준점(10)을 특정하기 위한 고유 문양과, 상기 고유 문양의 일측에 배치되며 상기 고유 문양이 배치됨을 인식하기 위한 인식 문양으로 이루어지고,
    상기 각 기준점(10)에 대응하는 상기 예정된 좌표는 GPS에서 수신되는 실제 좌표 또는 상기 각 기준점(10) 중 어느 하나를 기준으로 정의되는 상대 좌표인 것을 특징으로 하는 VR 기반의 교육용 콘텐츠 제공 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 컨트롤유닛(60)은
    상기 이미지획득유닛(20)에서 취득한 각 2차원 이미지에 상기 미리 결정된 모션 정보를 매칭시키는 명령매칭부(61)와, 상기 사용자의 모션 정보에 따라 매칭된 3차원 이미지를 생성하는 3D 처리부(62)와, 상기 VR유닛(50)으로부터 상기 모션 정보를 수신하는 명령 수신부(63)와, 상기 명령 수신부(63)로부터 상기 모션 정보를 수신하고 상기 모션 정보에 따른 3차원 이미지를 상기 VR유닛(50)으로 전송하는 미디어 송신부(64)로 이루어진 것을 특징으로 하는 VR 기반의 교육용 콘텐츠 제공 시스템.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 모델링유닛(40)에 의해 생성된 3차원 이미지를 저장하며 상기 3차원 이미지를 상기 컨트롤유닛(60)에 전송하도록 하는 DB서버(70)를 더 포함하고,
    상기 컨트롤유닛(60)은 상기 DB서버(70)로부터 상기 저장된 3차원 이미지에개별 모션 정보를 매칭시키며 상기 VR유닛(50)으로부터 상기 모션 정보를 수신하여 3차원 이미지를 상기 VR유닛(50)을 통하여 디스플레이 되도록 하는 것을 특징으로 하는 VR 기반의 교육용 콘텐츠 제공 시스템.
KR1020180168453A 2018-12-24 2018-12-24 Vr 기반의 교육용 콘텐츠 제공 시스템 KR20200079009A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180168453A KR20200079009A (ko) 2018-12-24 2018-12-24 Vr 기반의 교육용 콘텐츠 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180168453A KR20200079009A (ko) 2018-12-24 2018-12-24 Vr 기반의 교육용 콘텐츠 제공 시스템

Publications (1)

Publication Number Publication Date
KR20200079009A true KR20200079009A (ko) 2020-07-02

Family

ID=71599749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180168453A KR20200079009A (ko) 2018-12-24 2018-12-24 Vr 기반의 교육용 콘텐츠 제공 시스템

Country Status (1)

Country Link
KR (1) KR20200079009A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258610B1 (ko) * 2020-08-07 2021-05-31 대한민국 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법
KR102459372B1 (ko) * 2021-06-25 2022-10-26 황록주 비대면 체험학습이 가능한 교육 콘텐츠 제공 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170057736A (ko) 2015-11-17 2017-05-25 주식회사 글로브포인트 교육용 vr 콘텐츠 제작 시스템 및 그 제어방법
KR20180046313A (ko) 2016-10-27 2018-05-08 동서대학교산학협력단 글로브 모형을 이용한 3d 및 vr기반의 교육용 콘텐츠 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170057736A (ko) 2015-11-17 2017-05-25 주식회사 글로브포인트 교육용 vr 콘텐츠 제작 시스템 및 그 제어방법
KR20180046313A (ko) 2016-10-27 2018-05-08 동서대학교산학협력단 글로브 모형을 이용한 3d 및 vr기반의 교육용 콘텐츠 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258610B1 (ko) * 2020-08-07 2021-05-31 대한민국 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법
WO2022030918A1 (ko) * 2020-08-07 2022-02-10 대한민국(문화재청 국립문화재연구소장) 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법
KR102459372B1 (ko) * 2021-06-25 2022-10-26 황록주 비대면 체험학습이 가능한 교육 콘텐츠 제공 장치 및 방법

Similar Documents

Publication Publication Date Title
CN110300909B (zh) 用于显示交互式增强现实展示的系统、方法和介质
US10181222B2 (en) Method and device for augmented reality display of real physical model
US11736756B2 (en) Producing realistic body movement using body images
US9652895B2 (en) Augmented reality image transformation
CN106157359B (zh) 一种虚拟场景体验系统的设计方法
Vince Essential virtual reality fast: how to understand the techniques and potential of virtual reality
CN102270275B (zh) 在虚拟环境中选择对象的方法和多媒体终端
US10573060B1 (en) Controller binding in virtual domes
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
US20220130111A1 (en) Few-shot synthesis of talking heads
US11663775B2 (en) Generating physically-based material maps
US9483868B1 (en) Three-dimensional visual representations for mobile devices
US20190259198A1 (en) Systems and methods for generating visual representations of a virtual object for display by user devices
KR20120113058A (ko) 현실-가상 융합 공간 기반의 교육 장치 및 방법
CN113709543A (zh) 基于虚拟现实的视频处理方法、装置、电子设备和介质
CN103177467A (zh) 一种利用Direct3D技术创作裸眼3D字幕的方法
KR20220140402A (ko) 신규 뷰 합성을 위한 신경 블렌딩
KR20200079009A (ko) Vr 기반의 교육용 콘텐츠 제공 시스템
Tschirschwitz et al. Virtualising an Ottoman Fortress–Laser scanning and 3D modelling for the development of an interactive, immersive virtual reality application
Martin et al. A virtual reality video system for deep ocean remotely operated vehicles
WO2022023142A1 (en) Virtual window
CN111383313B (zh) 一种虚拟模型渲染方法、装置、设备及可读存储介质
KR101740329B1 (ko) 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법
Liu et al. Research on scene fusion and interaction method based on virtual reality technology
KR20220005365A (ko) Vr, ar 기반의 교육용 플랫폼 개발 콘텐츠 제공 시스템

Legal Events

Date Code Title Description
E601 Decision to refuse application