KR101734655B1 - 360°실사 vr콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 vfx 후반작업 적용 방법 - Google Patents

Abstract

기존 촬영데이터의 공간값을 분석하여 가상공간이 생성되는 1단계; 카메라 데이터를 도출하는 2단계; 기존 촬영데이터의 환경데이터를 가상공간에 대입하여 적용하고 카메라 프로젝션 맵핑 소스를 생성하는 3단계; 실사 촬영 데이터를 도출하고 카메라 프로젝션 맵핑 소스에 로토스코핑 기법을 적용하여 기존 촬영데이터에 대입하고 합성하는 4단계; 변위지도(10)를 생성하여 변위지도(10)와 기존 촬영데이터의 입체값을 매칭하여 최종 결과물을 도출하는 5단계; 로 이루어지는 것으로,
따라서 본 발명에 따른 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법은 실사 VR 콘텐츠에 대한 사용자의 몰입에 방해되는 요소를 제거하고 기존 영상에서 활용되던 다양한 후반작업 기술을 효과적으로 전환해 접목할 수 있는 현저한 효과가 있다.

Description

360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법 { 360° VR content diligence VFX post-production method applied using projection mapping in the manufacturing process }

본 발명은 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법에 관한 것으로, 더욱 자세하게는 기존 3D영상에서 이용되고 있는 매트페인팅(Matte Painting), 로토스코핑(Rotoscopic), 트랙킹(Tracking), 카메라프로젝션(Camera Projection), 카메라 매치무브(Camera Match move), 변위지도(Disparity map)를 활용한 입체감 매칭(Depth matching)을 VR 영상에 효율적으로 적용할 수 있도록, 컨버터의 역할을 해줄 수 있는 워크플로우를 제시하는 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법에 관한 것이다.

종래기술로서 등록특허공보 등록번호 제10-0573983호의 3차원 가상현실 콘텐츠 구현 시스템 및 구현 방법에 의하면, 통상의 3차원 데이터 저작도구로 구현된 원시 데이터를 VRML 파일로 변환하고, 카메라로부터 획득한 영상 데이터를 회전시켜 VR 데이터 파일로 변환하는 데이터 변환부; 상기 데이터 변환부로부터 변환된 상기 VRML 파일로부터 오브젝트 콘텐츠와 공간 콘텐츠를 생성하는 VRML 생성부와, 상기 VR 데이터로부터 파노라마 VR 콘텐츠와 포토 오브젝트 VR 콘텐츠를 생성하는 실사 콘텐츠 생성부를 갖는 가상현실 콘텐츠 생성부; 상기 가상현실 콘텐츠 생성부로부터 생성된 상기 오브젝트 콘텐츠, 공간 콘텐츠, 파노라마 VR 콘텐츠 및 포토 오브젝트 VR 콘텐츠를 파일로 저장하여 로컬 또는 웹상에서 제공되도록 관리하는 가상현실 콘텐츠 관리부; 및 상기 가상현실 콘텐츠 관리부로부터 제공되는 상기 오브젝트 콘텐츠, 공간 콘텐츠, 파노라마 VR 콘텐츠 및 포토 오브젝트 VR 콘텐츠가 디스플레이 되도록 뷰어프로그램을 갖는 사용자 단말기를 포함하는 3차원 가상현실 콘텐츠 구현 시스템이라고 기재되어 있다.

다른 종래기술로서 등록특허공보 등록번호 제10-0661052호의 유비쿼터스 센서 네트워크를 이용한 3차원 가상현실 콘텐츠구현 시스템 및 구현 방법에 의하면, 실제 공간을 통상의 3차원 데이터 저작도구로 구현한 원시 데이터를 VRML 파일로 변환하고, 카메라로부터 획득한 실제공간의 영상 데이터를 회전시켜 VR 데이터 파일로 변환하는 데이터 변환부; 상기 데이터 변환부로부터 변환된 상기 VRML 파일로부터 오브젝트 콘텐츠와 공간 콘텐츠를 생성하고, 상기 VR 데이터로부터 파노라마 VR 콘텐츠와 포토 오브젝트 VR 콘텐츠를 생성하는 가상현실 콘텐츠 생성부; 상기 실제 공간의 환경 상태와 상기 공간의 오브젝트 콘텐츠, 공간 콘텐츠 및 파노라마 VR 콘텐츠의 변동 상태를 검출하는 이벤트 검출부; 상기 이벤트 검출부로부터 검출된 상기 실제 공간의 환경 상태 및 변동 상태를 3차원의 이벤트 콘텐츠로 생성하는 이벤트콘텐츠 생성부; 상기 가상현실 콘텐츠 생성부로부터 생성된 상기 오브젝트 콘텐츠, 공간 콘텐츠, 파노라마 VR 콘텐츠 및 포토 오브젝트 VR 콘텐츠와 상기 이벤트 콘텐츠 생성부로부터 생성된 상기 이벤트 콘텐츠를 저장하고, 상기 콘텐츠들을 로컬 또는 웹상에서 제공되도록 하는 콘텐츠 관리부; 및 상기 콘텐츠 관리부로부터 제공되는 상기 오브젝트 콘텐츠, 공간 콘텐츠, 파노라마 VR 콘텐츠, 포토 오브젝트 VR 콘텐츠 및 이벤트 콘텐츠가 디스플레이 되도록 뷰어 프로그램을 갖는 사용자 단말기를 포함하는 유비쿼터스 센서 네트워크를 이용한 3차원 가상현실 콘텐츠 구현 시스템이라고 기재되어 있다.

그러나 상기와 같은 종래의 기술은 스텝, 촬영장비, 케이블 등 감상에 저해되는 현장감을 떨어트리는 요소들이 노출되는 단점이 있었다.

따라서, 본 발명 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법를 통하여, 실사 VR 콘텐츠에 대한 사용자의 몰입도를 방해하는 요소를 제거하고 기존 영상에서 활용되던 다양한 후반작업 기술을 효과적으로 전환해 접목할 수 있는 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법을 제공하고자 하는 것이다.

본 발명은 기존 촬영데이터의 공간값을 분석하여 가상공간이 생성되는 1단계; 카메라 데이터를 도출하는 2단계; 기존 촬영데이터의 환경데이터를 가상공간에 대입하여 적용하고 카메라 프로젝션 맵핑 소스를 생성하는 3단계; 실사 촬영 데이터를 도출하고 카메라 프로젝션 맵핑 소스에 로토스코핑 기법을 적용하여 기존 촬영데이터에 대입하고 합성하는 4단계; 변위지도를 생성하여 변위지도와 기존 촬영데이터의 입체값을 매칭하여 최종 결과물을 도출하는 5단계; 로 이루어지는 것을 특징으로 한다.

본 발명에 따른 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법은 실사 VR 콘텐츠에 대한 사용자의 몰입에 방해되는 요소를 제거하고 기존 영상에서 활용되던 다양한 후반작업 기술을 효과적으로 전환해 접목할 수 있는 현저한 효과가 있다.

도 1은 본 발명 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법의 발명의 배경이 된 영상화면
도 2는 본 발명 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법의 실사 VR 콘텐츠 VFX 제작 워크플로우 순서도
도 3은 본 발명 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법의 양안 시차를 활용하여 Depth Map을 생성화면
도 4는 본 발명 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법의 레이어화 분리 개념도

본 발명은 기존 촬영데이터의 공간값을 분석하여 가상공간이 생성되는 1단계; 카메라 데이터를 도출하는 2단계; 기존 촬영데이터의 환경데이터를 가상공간에 대입하여 적용하고 카메라 프로젝션 맵핑 소스를 생성하는 3단계; 실사 촬영 데이터를 도출하고 카메라 프로젝션 맵핑 소스에 로토스코핑 기법을 적용하여 기존 촬영데이터에 대입하고 합성하는 4단계; 변위지도(10)를 생성하여 변위지도(10)와 기존 촬영데이터의 입체값을 매칭하여 최종 결과물을 도출하는 5단계; 로 이루어지는 것을 특징으로 한다.

또한, 상기 1단계는 촬영된 영상을 분석하여 깊이지도를 생성하며, 기존 촬영데이터가 촬영된 카메라의 정보를 이용하여 카메라에 결합 된 렌즈의 왜곡에 대응하고 깊이지도를 바탕으로 공간을 레이어화(20) 시키는 것을 특징으로 한다.

또한, 상기 2단계는 카메라 매치무브를 통하여 카메라 애니메이션 데이터를 도출하는 것을 특징으로 한다.

또한, 상기 3단계는 카메라 매치무브 기술을 통하여 환경데이터를 1단계에서 생성된 레이어에 적용하여 가상공간을 갖는 카메라 프로젝션 맵핑 소스를 생성하며, 이때 데이터베이스에 입력된 렌즈 왜곡 데이터를 이용하여 정확한 형태로 합성하는 것을 특징으로 한다.

또한, 상기 4단계는 실사 촬영된 기존의 데이터와 새로 생성한 카메라 프로젝션 맵핑 소스를 검토 후 필요한 부분은 영상기법인 로토스코핑기법을 통해 합성하는 것을 특징으로 한다.

또한, 상기 5단계는 기존의 촬영 소스의 입체 값과 로토스코핑기법을 통해 합성된 카메라 프로젝션 소스의 입체값을 나타내는 각각의 변위지도(10)를 생성하고 비교하여, 정확하게 매칭 하여 합성하는 것으로 최종 결과물을 도출하는 것을 특징으로 한다.

본 발명을 첨부도면에 의해 상세히 설명하면 다음과 같다.

도 1은 본 발명 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법의 발명의 배경이 된 영상화면, 도 2는 본 발명 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법의 실사 VR 콘텐츠 VFX 제작 워크플로우 순서도, 도 3은 본 발명 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법의 양안 시차를 활용하여 Depth Map을 생성화면, 도 4는 본 발명 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법의 레이어화 분리 개념도이다.

본 발명에 대해 구체적으로 기술하면, 본 발명은 기존 촬영데이터의 공간값을 분석하여 가상공간이 생성되는 1단계; 카메라 데이터를 도출하는 2단계; 기존 촬영데이터의 환경데이터를 가상공간에 대입하여 적용하고 카메라 프로젝션 맵핑 소스를 생성하는 3단계; 실사 촬영 데이터를 도출하고 카메라 프로젝션 맵핑 소스에 로토스코핑 기법을 적용하여 기존 촬영데이터에 대입하고 합성하는 4단계; 변위지도(10)를 생성하여 변위지도(10)와 기존 촬영데이터의 입체값을 매칭하여 최종 결과물을 도출하는 5단계; 로 이루어지는 것으로, 상기 5단계에서 도출된 최종 결과물은 사용자의 몰입을 방해하는 요소의 노출을 배제시키고 더불어 손쉽게 VFX 작업을 가능하게 하여, 기존의 영상합성기술과 입체영상 제작기술을 실사 VR 콘텐츠 제작에 이용할 수 있도록 워크플로우를 제시하는 것이다.

상기 사용자의 몰입을 방해하는 요소의 일실시예로써, 상기 요소는 촬영장비 및 케이블 등 촬영시에 사용되는 도구, 또는 스텝 및 관람객 등의 주변인물 등의 영상 내에 들어가면 안 될 주변인물이 있으며, 상기 요소들이 영상 안에 촬영되는 상황에서 시청자의 시선에서 배제하기 위해 VFX 워크플로우를 사용하는 것이다.

상기 최종 결과물은 기존 촬영 영상에서 사용자의 몰입을 방해하는 요소가 제거된 영상이다.

또한, 상기 1단계는 촬영된 영상을 분석하여 깊이지도를 생성하며, 기존 촬영데이터가 촬영된 카메라의 정보를 이용하여 카메라에 결합 된 렌즈의 왜곡에 대응하고 깊이지도를 바탕으로 공간을 레이어화(20) 시키는 것이다.

상기 카메라 정보는 카메라 및 렌즈의 종류가 제한적인 점을 이용하여 미리 각 카메라의 왜곡 보정 수치 및 렌즈의 왜곡 수치를 데이터베이스를 구축하여 입력하는 것으로, 입력된 데이터를 이용하여 후반작업의 속도를 증가시킬 수 있는 것이다.

또한, 상기 2단계는 카메라 매치무브를 통하여 카메라 애니메이션 데이터를 도출하는 것이다.

일반적으로 상기 매치무브는 3D VFX 파이프라인에서 가장 중요한 단계로서, 영상으로부터 찍은 카메라의 위치를 복원 및 추적하는 일이다.

상기 매치무브의 일실시예로써, 매치무브는 엣지블랜딩을 사용하여 여러대의 프로젝터의 화면들을 자연스러운 하나의 화면으로 구현 가능한 것이다.

또한, 상기 3단계는 카메라 매치무브 기술을 통하여, 환경데이터를 1단계에서 생성된 레이어에 적용하여 가상공간을 갖는 카메라 프로젝션 맵핑 소스를 생성하며, 이때 데이터베이스에 입력된 렌즈 왜곡 데이터를 이용하여 정확한 형태로 합성하는 것이다.

또한, 상기 4단계는 실사 촬영된 기존의 데이터와 새로 생성한 카메라 프로젝션 맵핑 소스를 검토 후 필요한 부분은 영상기법인 로토스코핑기법을 통해 합성하는 것이다.

일반적으로 상기 로토스코핑기법은 대상을 다수의 선을 통해 표현하여 동영상을 만드는 기법으로, 상기 로토스코핑기법의 일실시예로써, 몰입이 방해되는 화면의 전체 또는 일부에 로토스코핑기법을 사용하여 몰입을 방해하는 요소를 효과적으로 전환함으로써 몰입이 되게 하는 것이다.

또한, 상기 5단계는 기존의 촬영 소스의 입체 값과 로토스코핑기법을 통해 합성된 카메라 프로젝션 소스의 입체값을 나타내는 각각의 변위지도(10)를 생성하고 비교하여, 정확하게 매칭 하여 합성하는 것으로 최종 결과물을 도출하는 것이다.

따라서 본 발명에 따른 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법은 실사 VR 콘텐츠에 대한 사용자의 몰입에 방해되는 요소를 제거하고 기존 영상에서 활용되던 다양한 후반작업 기술을 효과적으로 전환해 접목할 수 있는 현저한 효과가 있다.

10 : 변위지도
20 : 레이어화

Claims (6)

1. 기존 촬영데이터의 공간값을 분석하여 가상공간이 생성되는 1단계; 카메라 데이터를 도출하는 2단계; 기존 촬영데이터의 환경데이터를 가상공간에 대입하여 적용하고 카메라 프로젝션 맵핑 소스를 생성하는 3단계; 실사 촬영 데이터를 도출하고 카메라 프로젝션 맵핑 소스에 로토스코핑 기법을 적용하여 기존 촬영데이터에 대입하고 합성하는 4단계; 변위지도(10)를 생성한 후, 변위지도(10)와 기존 촬영데이터의 입체값을 매칭하여 최종 결과물을 도출하는 5단계; 로 이루어지는 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법에 있어서,
   상기 1단계는 촬영된 영상을 분석하여 깊이지도를 생성하며, 기존 촬영데이터를 촬영한 카메라의 정보를 이용하여 카메라에 결합 된 렌즈의 왜곡에 대응하며 깊이지도를 바탕으로 공간을 레이어화(20) 시키되,
   상기 카메라 정보는 카메라 및 렌즈의 종류가 제한적인 점을 이용하여 미리 각 카메라의 왜곡 보정 수치 및 렌즈의 왜곡 수치를 데이터베이스를 구축하여 입력하는 것으로, 입력된 데이터를 이용하여 후반작업의 속도를 증가시킬 수 있는 것이며,
   상기 2단계는 카메라 매치무브를 통하여 카메라 애니메이션 데이터를 도출하는 것으로,
   상기 카메라 매치무브는 영상으로부터 찍은 카메라의 위치를 복원 및 추적하는 것으로, 엣지블랜딩을 사용하여 다수의 프로젝터의 화면들을 하나의 화면으로 구현하는 것이며,
   상기 3단계는 카메라 매치무브를 통하여 환경데이터를 1단계에서 생성된 레이어에 적용하여 가상공간을 갖는 카메라 프로젝션 맵핑 소스를 생성하며, 이때 데이터베이스에 입력된 렌즈 왜곡 데이터를 이용하여 정확한 형태로 합성하고,
   상기 4단계는 실사 촬영된 기존의 데이터와 새로 생성한 카메라 프로젝션 맵핑 소스를 검토 후 영상기법인 로토스코핑기법을 통해 합성하되,
   상기 로토스코핑기법은 대상을 다수의 선을 통해 표현하여 동영상을 만드는 기법인 것으로, 몰입이 방해되는 화면의 전체 또는 일부에 로토스코핑기법을 사용하여 몰입을 방해하는 요소를 효과적으로 전환함으로써 몰입이 되게 하는 것이며,
   상기 5단계는 기존의 촬영 소스의 입체 값과 로토스코핑기법을 통해 합성된 카메라 프로젝션 소스의 입체값을 나타내는 각각의 변위지도(10)를 생성하고 비교한 후, 정확하게 매칭 하여 합성하는 것으로 최종 결과물을 도출하는 것이되, 영상 안에 촬영된 사용자의 몰입을 방해하는 요소를 시청자의 시선에서 배제하며 기존의 영상합성기술과 입체영상 제작기술을 실사 VR 콘텐츠 제작에 이용할 수 있도록 VFX 워크플로우를 사용하는 것이며,
   상기 최종 결과물은 기존 촬영 영상에서 사용자의 몰입을 방해하는 요소가 제거되며 손쉽게 VFX 작업을 가능하게 하는 영상으로, 상기 사용자의 몰입을 방해하는 요소는 촬영시에 사용되는 도구, 또는 영상 내에 들어가면 안 될 주변인물인 것을 특징으로 하는 360°실사 VR콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images