KR20180020725A - 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법 - Google Patents

공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법 Download PDF

Info

Publication number
KR20180020725A
KR20180020725A KR1020160105517A KR20160105517A KR20180020725A KR 20180020725 A KR20180020725 A KR 20180020725A KR 1020160105517 A KR1020160105517 A KR 1020160105517A KR 20160105517 A KR20160105517 A KR 20160105517A KR 20180020725 A KR20180020725 A KR 20180020725A
Authority
KR
South Korea
Prior art keywords
space
information
rgb
authoring tool
augmented reality
Prior art date
Application number
KR1020160105517A
Other languages
English (en)
Other versions
KR101940720B1 (ko
Inventor
조현우
정성욱
지형근
길연희
김희권
유호영
이수웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160105517A priority Critical patent/KR101940720B1/ko
Publication of KR20180020725A publication Critical patent/KR20180020725A/ko
Application granted granted Critical
Publication of KR101940720B1 publication Critical patent/KR101940720B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3차원 공간을 저작도구 상에 표현하고 가상 객체의 동작과 사용자 인터랙션을 시나리오에 따라 배치하여 공간 기반 증강현실 학습 시스템에서 구동되는 학습 콘텐츠를 제공하기 위한 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 관한 것으로서, 상기 장치는, RGB-D 카메라를 통해 입력되는 실내 공간(ex. 거실, 체험관)의 깊이(Depth) 영상을 3D 저작도구에서 사용 가능한 3D 메쉬(Mesh) 정보로 변환하고, RGB-D 영상 데이터와 상기 메쉬 정보를 바탕으로 실내 공간 정보를 인식하고, 인식된 공간 인식 정보와 RGB-D 영상, Mesh 정보를 전송하는 공간 인식 모듈; 및 상기 공간 인식 모듈로부터 전송된 RGB-D 영상 데이터를 이용하여 3D 가상 객체 배치, 사용자 인터랙션 생성, 객체 시뮬레이션 처리 등의 과정을 거쳐 최종 콘텐츠를 생성하는 저작 도구 모듈을 포함한다.

Description

공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법{Contents authoring tool for augmented reality based on space and thereof method}
본 발명은 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 관한 것으로서, 특히 3차원 공간을 저작도구 상에 표현하고 가상 객체의 동작과 사용자 인터랙션을 시나리오에 따라 배치하여 공간 기반 증강현실 학습 시스템에서 구동되는 학습 콘텐츠를 제공하기 위한 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 관한 것이다.
일반적으로, 공간 기반 증강현실 시스템은 RGB-D 카메라를 통해 실제 공간을 인식하여 가상 콘텐츠를 증강하고 실사 영상을 변형시키며, 가상객체와 사용자와의 인터랙션을 통해 실감나는 가상체험 서비스를 제공하는 시스템을 의미한다.
상기 공간 기반 증강현실 시스템에 있어서, RGB-D 카메라를 통해 입력되는 실제 공간의 3차원 이미지와 인식된 공간의 정보를 바탕으로 가상 콘텐츠로 체험 공간을 꾸미고 공간에서의 사용자의 동작에 따른 인터랙션 구현이 가능하도록 하는 3D 콘텐츠의 저작은 필수적이다.
이와 같은 공간 기반 증강현실 시스템이 과학관/박물관/테마파크 등에서 사용되기 위하여, 콘텐츠 기획자의 의도에 맞게 가상 콘텐츠가 공간상에 정합이 되어야 하며, 사용자의 인터랙션이 들어왔을 때 적절한 결과를 시스템이 제공할 수 있어야 한다.
또한, 공간 기반 증강현실 저작도구는 일반적인 3D 콘텐츠(게임, 애니메이션)이나 증강현실 콘텐츠의 저작과 다르게 실제 공간의 3차원 정보를 사용하기 때문에 공간 기반 증강현실 시스템에 맞는 전용 저작도구가 필요하며, 위와 같은 학습 콘텐츠를 생성하기 위한 새로운 기술이 필요하다.
따라서, 본 발명의 목적은, RGB-D 카메라를 이용한 공간 기반 증강현실 시스템에서 실내 공간에 가상의 3D 콘텐츠를 증강하고, 실사 영상을 변형시키며, 가상객체와 사용자 간의 인터랙션을 생성하여 체험 학습용 콘텐츠를 저작할 수 있도록 하는 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치, RGB-D 카메라를 통해 입력되는 실내 공간(ex. 거실, 체험관)의 깊이(Depth) 영상을 3D 저작도구에서 사용 가능한 3D 메쉬(Mesh) 정보로 변환하고, RGB-D 영상 데이터와 상기 메쉬 정보를 바탕으로 실내 공간 정보를 인식하고, 인식된 공간 인식 정보와 RGB-D 영상, Mesh 정보를 전송하는 공간 인식 모듈; 및 상기 공간 인식 모듈로부터 전송된 RGB-D 영상 데이터를 이용하여 3D 가상 객체 배치, 사용자 인터랙션 생성, 객체 시뮬레이션 처리 등의 과정을 거쳐 최종 콘텐츠를 생성하는 저작 도구 모듈을 포함할 수 있다.
본 발명에 따르면, 공간 기반 증강현실을 위한 콘텐츠 저작 기법을 사용할 경우 RGB-D 기반의 공간 인식을 이용한 증강현실 콘텐츠를 효과적으로 저작할 수 있으며 가상 공간 생성, 객체 시뮬레이션 처리 등 공간 인식기반 증강현실 시스템에 특화된 콘텐츠 저작 기법을 활용할 수 있어, 콘텐츠 저작자의 의도에 맞게 다양한 콘텐츠 표현이 가능하다.
또한, 본 발명의 콘텐츠 저작 기법에 따르면, RGB-D 기반의 증강현실 시스템뿐 만 아니라 기존의 2D 카메라나 모바일 기기 등 다양한 증강현실 시스템의 콘텐츠 저작에도 활용이 가능하다.
도 1은 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치에 대한 블록 구성을 나타낸 도면.
도 2는 도 1에 도시된 공간 인식 모듈에 대한 상세 블록 구성을 나타낸 도면.
도 3은 도 1에 도시된 저작 도구 모듈에 대한 상세 블록 구성을 나타낸 도면.
도 4는 도 2에 도시된 메쉬 생성부에서 생성된 메쉬를 보여주는 이미지.
도 5는 가상 카메라의 배치와 입력 RGB 영상을 저작도구상에 표시하는 예를 보여주는 이미지.
도 6은 RGB 영상에 3D 메쉬를 정합하여 저작 도구 화면에 표시되는 예를 보여주는 이미지.
도 7은 도 3에 도시된 객체 시뮬레이션 처리부에서의 물 효과를 표현하는 화면의 이미지.
도 8은 도 3에 도시된 객체 시뮬레이션 처리부에서의 광원 및 그림자 효과를 표현하기 위한 이미지.
도 9는 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 방법에 대한 동작 플로우챠트를 나타낸 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치에 대한 블록 구성을 나타낸 도면이다. 도 2는 도 1에 도시된 공간 인식 모듈에 대한 상세 블록 구성을 나타낸 도면이며, 도 3은 도 1에 도시된 저작 도구 모듈에 대한 상세 블록 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치는, 공간 인식 모듈(10) 및 저작 도구 모듈(20)을 포함할 수 있다.
공간 인식 모듈(10)은 RGB-D 카메라를 통해 입력되는 실내 공간(ex. 거실, 체험관)의 깊이(Depth) 영상을 3D 저작도구에서 사용 가능한 3D 메쉬(Mesh) 정보로 변환한다.
그리고, 공간 인식 모듈(10)은 RGB-D 영상 데이터와 상기 메쉬 정보를 바탕으로 실내 공간 정보를 인식하고, 인식된 공간 인식 정보와 RGB-D 영상, Mesh 정보를 저작도구 모듈(20)으로 전송한다.
한편, 저작 도구 모듈(20)은 상기 공간 인식 모듈(10)로부터 전송된 RGB-D 영상 데이터를 이용하여 3D 가상 객체 배치, 사용자 인터랙션 생성, 객체 시뮬레이션 처리 등의 과정을 거쳐 최종 콘텐츠를 생성하는 것이다.
상기한 공간 인식 모듈(10)과 저장 도구 모듈(20)에 대한 상세 구성과 동작에 대하여 도2 및 도 3을 참조하여 설명해 보기로 하자.
도 2는 도 1에 도시된 공간 인식 모듈에 대한 상세 블록 구성을 나타낸 도면이다.
먼저, 도 2에 도시된 공간 인식 모듈(10)에 대하여 살펴보자.
도 2에 도시된 바와 같이 공간 인식 모듈(10)은 영상 입력부(11), 메쉬 생성부(12) 및 공간 인식부(13)를 포함할 수 있다.
공간 인식 모듈(10)의 영상입력부(11)에서는 RGB-D 카메라로부터 제공되는 실내 공간의 RGB-D 영상 데이터를 입력 받는다. 여기서, RGB 데이터는 매 프레임 이미지 정보로 저장되고, 깊이(Depth) 정보는 실내 공간의 깊이 로우 데이터(Depth Raw Data)를 3차원 상의 포인트 클라우드(Point Cloud) 정보 (x, y, z)로 변환하여 저장한다. 또한, 깊이 영상으로부터 사용자의 스켈레톤(관절정보)도 추출하여 저장한다.
메쉬(Mesh) 생성부(12)는 상기 영상 입력부(11)로부터 입력받은 포인트 클라우드 정보를 3D 저작도구 및 게임엔진에서 가상객체-실 객체 간 가려짐 효과의 표현과 콘텐츠 개발의 편의성을 위해서 3D 메쉬 정보로 변환하여 저장한다. 여기서, 3D 메쉬 정보는 도 4에 도시된 바와 같이 포인트 클라우드의 각각의 점들을 평면(삼각형) 폴리곤(각 꼭지점 좌표와 인덱스로 구성)으로 구성하여 저작도구의 3D 공간에서 덩어리 감을 갖도록 변환된 정보를 뜻한다. 도 4는 도 2에 도시된 메쉬 생성부에서 생성된 메쉬의 예를 설명하기 위한 이미지이다.
공간 인식부(13)은 실내공간의 기하학적인 구성 정보를 인식하는 단계로 상기 깊이 정보를 이용하여 실내공간에 있는 객체의 영역과 각각의 객체에서 평면 정보를 추출한다.
추출하는 대표적인 실내공간 정보는 바닥, 벽면, 천장의 위치 및 평면 정보(Plane model coefficient), 평면으로 이루어진 객체(박스 형태, 테이블 등)의 위치 및 평면 정보(평면의 모서리, 꼭지점, 중심점, 법선 벡터)이다. 추출한 공간인식 정보와 RGB-D영상, 사용자 스켈레톤, 3D 메쉬 정보는 저작 도구 모듈(20)로 전송하는 것이다.
이어, 도 1에 도시된 저작 도구 모듈(20)에 대한 상세 구성 및 동작에 대하여 도 3을 참조하여 살펴보자.
도 3은 도 1에 도시된 저작 도구 모듈에 대한 상세 블록 구성을 나타낸 도면이다.
도 3에 도시된 바와 같이 저작 도구 모듈(20)은의 공간 정보 수신부(21)는, 공간 인식 모듈(10)에서 추출한 정보를 사용하기 위해서 공유 메모리(Shared Memory)기법을 사용한다.
공간 인식 모듈(10)로부터 전송되는 RGB-D 영상 정보, 3D 메쉬 정보, 공간인식 정보를 공유 메모리의 특정 영역에 매 프레임 마다 기록하고, 실시간으로 해당 메모리 영역을 호출하기 때문에 모든 정보들을 저작도구 상에 실시간으로 반영 할 수 있다.
저작 도구 모듈(20)의 가상 공간 생성부(21)는 공간 기반 증강현실 환경을 저작도구 상에서 가상으로 구현하고 GUI 기반의 가상 객체의 배치를 통해 직관적인 콘텐츠 개발을 지원하는 역할을 수행한다. 즉, 도 5와 같이 실제 카메라를 통해 입력되는 영상을 가상 3D 환경에 가상 카메라를 배치하여 표현하는 것이다.
또한, 가상 공간 생성부(21)는 도 6과 같이 깊이 정보로부터 추출한 3D 메쉬 정보 역시 RGB 영상 위에 정합하여 표현할 수 있다.
한편, 도 6에서와 같이, 화면에 카메라의 RGB 영상과 실 공간의 3D 메쉬 정보가 디스플레이되어 있기 때문에 마우스 클릭, 드래그/드롭을 통해 GUI 기반으로 가상 콘텐츠를 직관적으로 배치 또는 변형할 수 있다. 그리고, 인식된 바닥, 테이블과 같은 객체정보는 가상의 3D 모델을 정합하여 표현한다. 예를 들어, 객체가 테이블인 경우 테이블 상단 평면이 인식 됐을 경우 저작도구 상에서 직사각형 3D 모델을 가상으로 정합하여 표현한다.
사용자 인터랙션 생성부(23)는 가상 공간 생성부(22)에서 배치한 가상 객체와 사용자 간의 인터랙션 저작을 지원한다.
그리고, 사용자 인터랙션 생성부(23)는 상기 각각의 객체에 GUI와 스크립트 작성을 통해 인터랙션 속성을 부여한다. 인터랙션은 객체터치, 객체 터치 후 주먹 쥐기, 사용자 제스쳐 인식을 지원한다. 가상 객체에는 객체 속성 부여 옵션을 통해 객체 터치, 객체 터치 후 주먹 쥐기 인터랙션을 부여할 수 있고, 콘텐츠 구동 시 인터랙션 해당 옵션이 활성화 되었을 경우에는 사용자가 가상 객체를 터치하거나 터치 후 주먹 쥐기 동작을 취하면 기 저작한 특정 이벤트가 실행된다. 사용자 객체에는 제스쳐 인식 인터랙션을 부여할 수 있으며, 제스쳐 인식은 미리 학습한 동작 (손 흔들기, 앉기, 점프하기 등)을 옵션으로 선택할 수 있다. 옵션이 활성화 되었을 때 콘텐츠를 구동하면, 기 학습된 제스쳐 동작을 취했을 경우 특정 이벤트가 실행된다.
객체 시뮬레이션 처리부(24)는 콘텐츠에 다양한 물리/특수 효과 저작을 지원한다. 적용 가능한 효과는 중력, 물(유체), 광원 및 그림자가 있으며, 중력 효과의 경우 공간 인식 정보 중 바닥평면 정보를 이용하여 중력의 방향을 설정할 수 있다.
도 7에 도시된 바와 같이, 객체 시뮬레이션 처리부(24)에서 물 효과를 적용하는 경우, 저작하고 있는 증강현실 씬에 물 효과를 적용시키면 실 객체(사용자, 사물)와 가상으로 증강된 물과 실 객체(사용자, 사물)/가상 객체 간에 충돌 효과를 표현할 수 있다. 여기서, 도 7은 객체 시뮬레이션 처리 부에서 물 효과 적용을 통해 사용자가 물을 터치하면 물이 출렁이는 효과가 적용된 화면이다.
한편, 객체 시뮬레이션 처리부(24)에서 도 8과 같이 광원 및 그림자 효과를 적용할 경우, 가상의 광원은 씬에 배치하면 가상 콘텐츠의 그림자가 표현된다. 그림자는 실 공간(바닥, 테이블 등의 실제 객체)에도 투영이 가능하다. 여기서, 도 8은 객체 시뮬레이션 처리부(24)에서 광원 및 그림자 효과 적용을 통해 가상 객체인 펭귄의 그림자가 실제 객체인 테이블에 투영되는 효과가 적용된 화면이다.
그리고, 저작 도구 모듈(20)의 실시간 에뮬레이션부(25)는 저작된 콘텐츠가 서비스될 화면에서 어떻게 보이고 동작할지 미리 보여주는 기능을 수행한다. 에뮬레이션 기능을 실행하면 저작한 콘텐츠가 임시적으로 실행되고 저작한 콘텐츠가 실제로 어떻게 동작하고 사용자에게 보여지는지 테스트 할 수 있다. 또한 에뮬레이션 컨트롤을 통해 가상으로 사용자 인터랙션을 테스트 해 볼 수 있다. 예를 들어 사용자의 객체 터치의 경우 마우스 클릭 이벤트를 통해 임시적으로 인터랙션을 테스트 할 수 있다. 에뮬레이션 기능을 통해 저작자는 시나리오의 의도대로 잘 저작이 되었는지, 예상치 못하게 잘못 동작하는 경우는 없는지 검증할 수 있다.
콘텐츠 생성부(26)는 최종으로 저작된 콘텐츠를 패키지 형태로 저장하는 역할을 수행한다. 콘텐츠 패키지는 이벤트 및 속성, 시나리오 정보가 들어있는 스크립트와 3D 콘텐츠, 사운드, 동영상, 애니메이션이 들어있는 리소스로 구성된다.
이하, 상기한 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치의 동작에 상응하는 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 방법에 대하여 도 9를 참조하여 단계적으로 살펴보기로 한다.
도 9는 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 방법에 대한 동작 플로우챠트를 나타낸 도면이다.
도 9에 도시된 바와 같이, 공간인식 모듈에서는 먼저, RGB-D 카메라로부터 RGB-D 영상이 입력되는지 판단한다(S901).
RGB-D 영상이 입력되는 경우, 입력되는 실내 공간의 RGB-D 영상 데이터 중 RGB 데이터는 매 프레임 이미지 정보로 저장되고, 깊이(Depth) 정보는 실내 공간의 깊이 로우 데이터(Depth Raw Data)를 3차원 상의 포인트 클라우드(Point Cloud) 정보 (x, y, z)로 변환하여 저장한다. 또한, 깊이 영상으로부터 사용자의 스켈레톤(관절정보)도 추출하여 저장한다.
그리고, 상기 포인트 클라우드 정보를 3D 저작도구 및 게임엔진에서 가상객체-실 객체 간 가려짐 효과의 표현과 콘텐츠 개발의 편의성을 위해서 3D 메쉬 정보로 변환하여 저장한다(S902). 여기서, 3D 메쉬 정보는 도 4에 도시된 바와 같이 포인트 클라우드의 각각의 점들을 평면(삼각형) 폴리곤(각 꼭지점 좌표와 인덱스로 구성)으로 구성하여 저작도구의 3D 공간에서 덩어리 감을 갖도록 변환된 정보를 뜻하는 것이다.
이어, 실내공간의 기하학적인 구성 정보를 인식하는 단계로 상기 깊이 정보를 이용하여 실내공간에 있는 객체의 영역과 각각의 객체에서 평면 정보를 추출한다. 즉, 생성된 메쉬 정보를 이용하여 실내 공간을 인식한다(S903). 여기서, 상기 추출하는 대표적인 실내공간 정보는 바닥, 벽면, 천장의 위치 및 평면 정보(Plane model coefficient), 평면으로 이루어진 객체(박스 형태, 테이블 등)의 위치 및 평면 정보(평면의 모서리, 꼭지점, 중심점, 법선 벡터)이다. 추출한 공간인식 정보와 RGB-D영상, 사용자 스켈레톤, 3D 메쉬 정보는 저작 도구 모듈로 전송하는 것이다.
저작 도구 모듈은 공간 인식 모듈로부터 전송되는 RGB-D 영상 정보, 3D 메쉬 정보, 공간인식 정보를 공유 메모리의 특정 영역에 매 프레임 마다 기록하고, 실시간으로 해당 메모리 영역을 호출하기 때문에 모든 정보들을 저작도구 상에 실시간으로 반영할 수 있다(S904).
저작 도구 모듈은 공간 기반 증강현실 환경을 저작도구 상에서 가상으로 구현하고 GUI 기반의 가상 객체의 배치를 통해 직관적인 콘텐츠 개발을 지원하는 역할을 수행한다. 즉, 도 5와 같이 실제 카메라를 통해 입력되는 영상을 가상 3D 환경에 가상 카메라를 배치하여 표현하는 것이다.
또한, 도 6과 같이 깊이 정보로부터 추출한 3D 메쉬 정보 역시 RGB 영상 위에 정합하여 표현할 수 있다.
한편, 도 6에서와 같이, 화면에 카메라의 RGB 영상과 실 공간의 3D 메쉬정보가 디스플레이되어 있기 때문에 마우스 클릭, 드래그/드롭을 통해 GUI 기반으로 가상 콘텐츠를 직관적으로 배치 또는 변형할 수 있다. 그리고, 인식된 바닥, 테이블과 같은 객체정보는 가상의 3D 모델을 정합하여 표현한다. 예를 들어, 객체가 테이블인 경우 테이블 상단 평면이 인식됐을 경우 저작도구 상에서 직사각형 3D 모델을 가상으로 정합하여 표현한다(S905).
이어, 가상 공간 생성부(22)에서 배치한 가상 객체와 사용자 간의 인터랙션을 생성한다(S906). 즉, 상기 각각의 객체에 GUI와 스크립트 작성을 통해 인터랙션 속성을 부여한다. 인터랙션은 객체터치, 객체 터치 후 주먹 쥐기, 사용자 제스쳐 인식을 지원한다. 가상 객체에는 객체 속성 부여 옵션을 통해 객체 터치, 객체 터치 후 주먹 쥐기 인터랙션을 부여할 수 있고, 콘텐츠 구동 시 인터랙션 해당 옵션이 활성화 되었을 경우에는 사용자가 가상 객체를 터치하거나 터치 후 주먹 쥐기 동작을 취하면 기 저작한 특정 이벤트가 실행된다. 사용자 객체에는 제스쳐 인식 인터랙션을 부여할 수 있으며, 제스쳐 인식은 미리 학습한 동작 (손 흔들기, 앉기, 점프하기 등)을 옵션으로 선택할 수 있다. 옵션이 활성화 되었을 때 콘텐츠를 구동하면, 기 학습된 제스쳐 동작을 취했을 경우 특정 이벤트가 실행된다.
이어, 콘텐츠에 다양한 물리/특수 효과 저작을 지원한다. 적용 가능한 효과는 중력, 물(유체), 광원 및 그림자가 있으며, 중력 효과의 경우 공간 인식 정보 중 바닥평면 정보를 이용하여 중력의 방향을 설정할 수 있다(S907).
도 7에 도시된 바와 같이, 객체 시뮬레이션 처리부(24)에서 물 효과를 적용하는 경우, 저작하고 있는 증강현실 씬에 물 효과를 적용시기면 실 객체(사용자, 사물)와 가상으로 증강된 물과 실 객체(사용자, 사물)/가상 객체 간에 충돌 효과를 표현 할 수 있다.
이어, 도 8과 같이 광원 및 그림자 효과를 적용할 경우, 가상의 광원은 씬에 배치하면 가상 콘텐츠의 그림자가 표현된다. 그림자는 실 공간(바닥, 테이블 등의 실제 객체)에도 투영이 가능하다.
한편, 저작 도구 모듈은 저작된 콘텐츠가 서비스될 화면에서 어떻게 보이고 동작할지 미리 보여주는 기능을 수행한다. 에뮬레이션 기능을 실행하면 저작한 콘텐츠가 임시적으로 실행되고 저작한 콘텐츠가 실제로 어떻게 동작하고 사용자에게 보여지는지 테스트 할 수 있다. 또한 에뮬레이션 컨트롤을 통해 가상으로 사용자 인터랙션을 테스트 해 볼 수 있다. 예를 들어 사용자의 객체 터치의 경우 마우스 클릭 이벤트를 통해 임시적으로 인터랙션을 테스트 할 수 있다. 에뮬레이션 기능을 통해 저작자는 시나리오의 의도대로 잘 저작이 되었는지, 예상치 못하게 잘못 동작하는 경우는 없는지 검증할 수 있다(S908).
이어, 저작 도구 모듈은, 최종으로 저작된 콘텐츠를 패키지 형태로 저장하는 역할을 수행한다(S909). 콘텐츠 패키지는 이벤트 및 속성, 시나리오 정보가 들어있는 스크립트와 3D 콘텐츠, 사운드, 동영상, 애니메이션이 들어있는 리소스로 구성된다.
본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 대하여 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 공간 인식 모듈
11 : 영상 입력부
12 : 메쉬 생성부
13 : 공간 인식부
20 : 저작 도구 모듈
21 : 공간 정보 수신부
22 : 가상 공간 생성부
23 : 사용자 인터랙션 생성부
24 : 객체 시뮬레이션 처리부
25 : 실시간 에뮬레이션부
26 : 콘텐츠 생성부

Claims (1)

  1. RGB-D 카메라를 통해 입력되는 실내 공간(ex. 거실, 체험관)의 깊이(Depth) 영상을 3D 저작도구에서 사용 가능한 3D 메쉬(Mesh) 정보로 변환하고, RGB-D 영상 데이터와 상기 메쉬 정보를 바탕으로 실내 공간 정보를 인식하고, 인식된 공간 인식 정보와 RGB-D 영상, 상기 3D 메쉬 정보를 전송하는 공간 인식 모듈; 및
    상기 공간 인식 모듈로부터 전송된 RGB-D 영상 데이터를 이용하여 3D 가상 객체 배치, 사용자 인터랙션 생성, 객체 시뮬레이션 처리 등의 과정을 거쳐 최종 콘텐츠를 생성하는 저작 도구 모듈;
    을 포함하는 공간 기반 증강현실을 위한 콘텐츠 저작 장치.
KR1020160105517A 2016-08-19 2016-08-19 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법 KR101940720B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160105517A KR101940720B1 (ko) 2016-08-19 2016-08-19 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160105517A KR101940720B1 (ko) 2016-08-19 2016-08-19 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180020725A true KR20180020725A (ko) 2018-02-28
KR101940720B1 KR101940720B1 (ko) 2019-04-17

Family

ID=61401332

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160105517A KR101940720B1 (ko) 2016-08-19 2016-08-19 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101940720B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180115627A (ko) * 2017-04-13 2018-10-23 한국과학기술원 주행 특징 분석방법 및 그를 위한 장치
KR20190134512A (ko) * 2018-05-24 2019-12-04 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 가상 세계를 통해 가상 현실 응용 프로그램을 개발, 테스트하고, 실제 세계로 배포하기 위한 시스템 및 방법
KR20200030326A (ko) * 2018-09-12 2020-03-20 주식회사 케이티 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램
KR20210046592A (ko) * 2019-10-15 2021-04-28 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
US11079897B2 (en) 2018-05-24 2021-08-03 The Calany Holding S. À R.L. Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world
US11115468B2 (en) 2019-05-23 2021-09-07 The Calany Holding S. À R.L. Live management of real world via a persistent virtual world system
KR20210121289A (ko) * 2019-02-25 2021-10-07 나이앤틱, 인크. 증강 현실 모바일 에지 컴퓨팅
US11196964B2 (en) 2019-06-18 2021-12-07 The Calany Holding S. À R.L. Merged reality live event management system and method
WO2022030918A1 (ko) * 2020-08-07 2022-02-10 대한민국(문화재청 국립문화재연구소장) 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법
KR102366847B1 (ko) * 2020-12-04 2022-02-25 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법
US11471772B2 (en) 2019-06-18 2022-10-18 The Calany Holding S. À R.L. System and method for deploying virtual replicas of real-world elements into a persistent virtual world system
US11645756B2 (en) 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
US11757761B2 (en) 2019-12-20 2023-09-12 Niantic, Inc. Data hierarchy protocol for data transmission pathway selection
US11833420B2 (en) 2018-06-27 2023-12-05 Niantic, Inc. Low latency datagram-responsive computer network protocol
KR102699876B1 (ko) * 2023-07-10 2024-08-28 주식회사 비엘테크 서라운드 뷰 영상용 영상 처리 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102597124B1 (ko) 2021-01-06 2023-11-02 주식회사 소프트그라운드 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼
KR102482053B1 (ko) 2021-08-24 2022-12-27 세종대학교산학협력단 증강현실 콘텐츠 저작 방법 및 장치
KR102597040B1 (ko) 2022-12-26 2023-10-31 세종대학교산학협력단 증강현실 콘텐츠 현장 저작 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130053466A (ko) * 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130053466A (ko) * 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180115627A (ko) * 2017-04-13 2018-10-23 한국과학기술원 주행 특징 분석방법 및 그를 위한 장치
KR20190134512A (ko) * 2018-05-24 2019-12-04 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 가상 세계를 통해 가상 현실 응용 프로그램을 개발, 테스트하고, 실제 세계로 배포하기 위한 시스템 및 방법
US11079897B2 (en) 2018-05-24 2021-08-03 The Calany Holding S. À R.L. Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world
US11307968B2 (en) 2018-05-24 2022-04-19 The Calany Holding S. À R.L. System and method for developing, testing and deploying digital reality applications into the real world via a virtual world
US11833420B2 (en) 2018-06-27 2023-12-05 Niantic, Inc. Low latency datagram-responsive computer network protocol
KR20200030326A (ko) * 2018-09-12 2020-03-20 주식회사 케이티 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램
KR20210121289A (ko) * 2019-02-25 2021-10-07 나이앤틱, 인크. 증강 현실 모바일 에지 컴퓨팅
US11794101B2 (en) 2019-02-25 2023-10-24 Niantic, Inc. Augmented reality mobile edge computing
US11115468B2 (en) 2019-05-23 2021-09-07 The Calany Holding S. À R.L. Live management of real world via a persistent virtual world system
US11245872B2 (en) 2019-06-18 2022-02-08 The Calany Holding S. À R.L. Merged reality spatial streaming of virtual spaces
US11202036B2 (en) 2019-06-18 2021-12-14 The Calany Holding S. À R.L. Merged reality system and method
US11202037B2 (en) 2019-06-18 2021-12-14 The Calany Holding S. À R.L. Virtual presence system and method through merged reality
US11471772B2 (en) 2019-06-18 2022-10-18 The Calany Holding S. À R.L. System and method for deploying virtual replicas of real-world elements into a persistent virtual world system
US11665317B2 (en) 2019-06-18 2023-05-30 The Calany Holding S. À R.L. Interacting with real-world items and corresponding databases through a virtual twin reality
US11196964B2 (en) 2019-06-18 2021-12-07 The Calany Holding S. À R.L. Merged reality live event management system and method
KR20210046592A (ko) * 2019-10-15 2021-04-28 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
US11645756B2 (en) 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
US11900610B2 (en) 2019-11-14 2024-02-13 Samsung Electronics Co., Ltd. Image processing apparatus and method
US11757761B2 (en) 2019-12-20 2023-09-12 Niantic, Inc. Data hierarchy protocol for data transmission pathway selection
WO2022030918A1 (ko) * 2020-08-07 2022-02-10 대한민국(문화재청 국립문화재연구소장) 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법
KR102366847B1 (ko) * 2020-12-04 2022-02-25 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법
KR102699876B1 (ko) * 2023-07-10 2024-08-28 주식회사 비엘테크 서라운드 뷰 영상용 영상 처리 장치

Also Published As

Publication number Publication date
KR101940720B1 (ko) 2019-04-17

Similar Documents

Publication Publication Date Title
KR101940720B1 (ko) 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
Shi et al. A multiuser shared virtual environment for facility management
US20130120365A1 (en) Content playback apparatus and method for providing interactive augmented space
EP3769509B1 (en) Multi-endpoint mixed-reality meetings
CN102930753B (zh) 加油站虚拟培训系统及应用
KR101723823B1 (ko) 인터랙티브 공간증강 체험전시를 위한 동적 객체와 가상 객체 간의 인터랙션 구현 장치
EP2973433A2 (en) Mapping augmented reality experience to various environments
US9588651B1 (en) Multiple virtual environments
Medeiros et al. Proposal and evaluation of a tablet-based tool for 3D virtual environments
CN110473293A (zh) 虚拟对象处理方法及装置、存储介质和电子设备
KR102075383B1 (ko) 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법
US20170257610A1 (en) Device and method for orchestrating display surfaces, projection devices, and 2d and 3d spatial interaction devices for creating interactive environments
Sheldon et al. Putting the AR In (AR) chitecture
Raajan et al. Augmented reality based virtual reality
CN112561071A (zh) 根据3d语义网格的对象关系估计
CN111047716B (zh) 三维场景的态势标绘方法、计算机存储介质及电子设备
KR101630257B1 (ko) 3d 이미지 제공 시스템 및 그 제공방법
Mokhov et al. Agile forward-reverse requirements elicitation as a creative design process: A case study of Illimitable Space System v2
CN111652980A (zh) 一种基于粒子系统的复杂虚拟现实模拟系统
KR102686485B1 (ko) 포인트 클라우드를 이용한 확장 현실에서의 협업공간 공유 방법 및 시스템
CN114373064B (zh) 一种vrar内容编辑方法、装置、设备及介质
Yang et al. Research on interactive operation considered physical attributes by using force feedback device
Bhosale et al. Computer vision for green and secure cooperative augmented reality in Next Generation Converged Wireless Networks
Dalim et al. Astronomy for Kids E-Learning System using Markerless Augmented reality
Ji et al. Learning chinese characters with gestures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant