KR20240080162A - 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법 - Google Patents

Abstract

본 발명은 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법에 관한 것이다.
본 발명에 따른 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법은 (a) 공간 데이터를 획득하고, 디지털 에셋으로 구성되는 배경에셋을 저작하여 가공 데이터를 획득하는 단계 및 (b) 메타버스, 웹툰 중 적어도 어느 하나의 분야에 대한 제작 품질 및 효율성 향상을 위한 서비스 분석을 수행하고, 확장현실 스튜디오 저작 서비스 플랫폼을 설계하며, 배경생성 아카이빙 시스템을 설계하는 단계를 포함한다.

Description

메타버스를 위한 배경생성 아카이빙 시스템 구축 방법{METHOD FOR DEVELOPMENT OF BACKGROUND CREATION ARCHIVING SYSTEM FOR METAVERSE}

본 발명은 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법에 관한 것이다.

종래 기술에 따르면, 소프트웨어 애플리케이션들을 활용한 아카이빙 서비스를 위한 기술들이 제안된 바 있으나, 이는 사용자가 원하는 특정 배경 작업을 직접 생성하여 제공하거나, 목적이 명확한 정보를 제공해주는 협업이 가능한 정도의 서비스에 그치는 한계가 있다.

본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 다양한 경험 환경 콘텐츠에 활용될 수 있는 배경생성 표준 설계 측면, 콘텐츠 호환성 측면, 실시간 협업이 가능 측면에서 장점이 있는 아카이빙 시스템 구축 방법을 제공하는데 그 목적이 있다. 본 발명은 배경생성 콘텐츠 속성, 협업 인터랙션 속성, 실시간 렌더링 속성 등을 포함한 메타버스 기반 대규모 배경생성 작업이 가능하도록 최적화된 아카이빙 서비스에 대한 시스템 아키텍쳐 설계를 하기 위한 방법을 제공하는데 그 목적이 있다.

본 발명은 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법에 관한 것이다.

본 발명에 따른 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법은 (a) 공간 데이터를 획득하고, 디지털 에셋으로 구성되는 배경에셋을 저작하여 가공 데이터를 획득하는 단계 및 (b) 메타버스, 웹툰 중 적어도 어느 하나의 분야에 대한 제작 품질 및 효율성 향상을 위한 서비스 분석을 수행하고, 확장현실 스튜디오 저작 서비스 플랫폼을 설계하며, 배경생성 아카이빙 시스템을 설계하는 단계를 포함한다.

상기 (a) 단계는 트윈모션 기반 배경에셋을 저작한다.

상기 (a) 단계는 고해상도 이미지 및 라이다 센싱 기술을 융합한 하이브리드 배경 생성 저작 파이프라인을 이용한다.

상기 (b) 단계는 실시간 배경 합성 기술 기반으로 버추얼 배경 합성 및 세트 동기화를 수행한다.

상기 (a) 단계는 공간 정보 데이터 상호 호환을 위한 배경생성 데이터셋 표준 가이드라인을 설계하고, 상기 표준 가이드라인을 고려하여 데이터 획득 및 처리를 수행한다.

본 발명에 따르면, 메타버스 콘텐츠에서 특정 배경생성이 아닌 대규모 배경작업이 가능하도록 배경생성 아카이빙 시스템을 설계하여 다중 협업 작업이 가능하도록 지원하며, 단순한 배경 백업이 아닌 콘텐츠 시나리오 다양화가 가능한 효과가 있다.

본 발명에 따르면, 기존의 소프트웨어 애플리케이션들의 경우 특정 부분 작업이 가능하다는 측면에서 프리프로덕션-프로덕션-포스트 프로덕션 등의 일련의 작업 환경 대체 불가의 단점을 보완하여 뛰어난 확장성을 갖는 배경생성 콘텐츠 활용이 가능한 장점이 있다.

본 발명에 따르면, 배경생성 아카이빙 시스템의 표준 설계 정보에 대한 방법 정의를 통하여 체계화된 배경생성 콘텐츠 제작이 가능하며, 이에 따른 다양한 제작 환경(메타버스, 애니, 웹툰, 미디어아트 등)에 대한 확산에 용이한 장점이 있다.

본 발명에 따르면, 배경생성 아카이빙 시스템을 활용해 콘텐츠 제작자, 아티스트, 창작 그룹 등에게 다양한 배경합성 기술을 지원하고, 프로덕션 단계에서 실시간 렌더링을 통한 3D 시각화 뷰 확인이 가능하여, 반복적 콘텐츠 수정이 가능하며 로케이션 대체, 에셋 활용성, 실시간 협업 제작 등에 대한 능동적 활용이 가능한 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른, 확장현실(eXtended Reality) 프로덕션 시스템 사용화 기술의 개요를 도시한다.
도 2는 본 발명의 실시에에 따른 트윈모션 기반 배경 에셋 라이브러리 개발 예시를 도시한다.
도 3은 본 발명의 실시예에 따른 배경생성 아카이빙 기반 XR 서비스의 구성요소를 도시한다.
도 4는 본 발명의 실시예에 따른 3D 공간 정보 데이터 기반 데이터 획득 및 처리 기술의 고려사항을 도시한다.
도 5는 본 발명의 실시예에 따른 배경생성 XR 서비스 플랫폼 구성도이다.
도 6은 본 발명의 실시예에 따른 아카이빙 서버 구현 결과를 도시한다.
도 7은 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.
도 8은 국내 배경 생성 저작도구 사례 분석을 도시한다.
도 9는 본 발명의 실시예에 따른 배경 생성 저작 웹툰 파이프라인을 도시한다.
도 10은 본 발명의 실시예에 따른 배경 생성 저작 웹툰 파이프라인 적용을 도시한다.
도 11은 본 발명의 실시예에 따른 3D 모델링 기반 배경 배경 생성 콘텐츠 디자인 프로세스를 도시한다.
도 12은 본 발명의 실시예에 따른 3D 에셋 트리 구조를 도시한다.
도 13는 본 발명의 실시예에 따른 3D 모델링 기반 배경 생성 데이터셋 표준 가이드라인을 도시한다.
도 14은 본 발명의 실시예에 따른 3D 모델링 기반 배경 생성 레이아웃을 도시한다.
도 15은 본 발명의 실시예에 따른 국내 배경 생성 저작도구와 XR 프로덕션 시스템 적용을 위한 3D 배경 생성 저작도구의 기능의 차이점을 도시한다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

이하에서는 본 발명의 실시예에 대해 설명하기에 앞서, 본 발명이 제안된 배경에 대해 먼저 서술한다.

코로나 바이러스의 확산 이후 비대면 문화의 변화와 더불어 현실과 가상 세계를 결합한 메타버스가 주목받고 있다.

사회 전반에 걸쳐 메타버스 서비스 플랫폼이 개발되면서 점차 시/공간의 제약이 없는 언택트(Untact) 서비스의 요구가 증가되고 있다.

또한, 현실에서의 물리적 객체와 가상 세계의 객체가 상호작용할 수 있는 환경에서 대면 접촉 없이 사용자가 직접 참여하고 직관적으로 대응 가능한 콘텐츠는 다양한 경험을 체험하거나 기술을 사용하고자 하는 사용자의 니즈를 충족시킬 수 있다. 이처럼 메타버스가 제3의 인터넷으로 부각되면서 최근 공간 컴퓨팅 시스템에 연구 개발이 진행되고 있다.

차세대 공간 컴퓨팅과 관련하여, 미래 메타버스 세상에서는 현실세계와 똑같은 미러세계로 구현되고, 공간적, 물리적 한계를 벗어난 다양한 XR 서비스 제공을 위해서는 몰입감과 자유도가 높은 배경생성 기술 및 상호호환 최적 환경이 요구된다.

본 발명의 실시예에 따르면, 이러한 니즈를 해결하기 위한 3D 기반의 배경생성 아카이빙 시스템 구축 방법을 제안한다.

본 발명의 실시에에 따르면, 다양한 경험 환경 콘텐츠에 활용될 수 있는 배경생성 표준 설계 측면, 콘텐츠 호환성 측면, 실시간 협업이 가능 측면에서 장점이 있는 아카이빙 시스템 구축 방법을 제공하는데 그 목적이 있다. 본 발명은 배경생성 콘텐츠 속성, 협업 인터랙션 속성, 실시간 렌더링 속성 등을 포함한 메타버스 기반 대규모 배경생성 작업이 가능하도록 최적화된 아카이빙 서비스에 대한 시스템 아키텍쳐 설계를 하기 위한 방법을 제공한다.

본 발명에 따른 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법은 (a) 공간 데이터를 획득하고, 디지털 에셋으로 구성되는 배경에셋을 저작하여 가공 데이터를 획득하는 단계 및 (b) 메타버스, 웹툰 중 적어도 어느 하나의 분야에 대한 제작 품질 및 효율성 향상을 위한 서비스 분석을 수행하고, 확장현실 스튜디오 저작 서비스 플랫폼을 설계하며, 배경생성 아카이빙 시스템을 설계하는 단계를 포함한다.

상기 (a) 단계는 트윈모션 기반 배경에셋을 저작한다.

상기 (a) 단계는 고해상도 이미지 및 라이다 센싱 기술을 융합한 하이브리드 배경 생성 저작 파이프라인을 이용한다.

상기 (b) 단계는 실시간 배경 합성 기술 기반으로 버추얼 배경 합성 및 세트 동기화를 수행한다.

상기 (a) 단계는 공간 정보 데이터 상호 호환을 위한 배경생성 데이터셋 표준 가이드라인을 설계하고, 상기 표준 가이드라인을 고려하여 데이터 획득 및 처리를 수행한다.

본 발명에 따르면, 메타버스 콘텐츠에서 특정 배경생성이 아닌 대규모 배경작업이 가능하도록 배경생성 아카이빙 시스템을 설계하여 다중 협업 작업이 가능하도록 지원하며, 단순한 배경 백업이 아닌 콘텐츠 시나리오 다양화가 가능한 효과가 있다.

본 발명에 따르면, 기존의 소프트웨어 애플리케이션들의 경우 특정 부분 작업이 가능하다는 측면에서 프리프로덕션-프로덕션-포스트 프로덕션 등의 일련의 작업 환경 대체 불가의 단점을 보완하여 뛰어난 확장성을 갖는 배경생성 콘텐츠 활용이 가능한 장점이 있다.

본 발명에 따르면, 배경생성 아카이빙 시스템의 표준 설계 정보에 대한 방법 정의를 통하여 체계화된 배경생성 콘텐츠 제작이 가능하며, 이에 따른 다양한 제작 환경(메타버스, 애니, 웹툰, 미디어아트 등)에 대한 확산에 용이한 장점이 있다.

본 발명에 따르면, 배경생성 아카이빙 시스템을 활용해 콘텐츠 제작자, 아티스트, 창작 그룹 등에게 다양한 배경합성 기술을 지원하고, 프로덕션 단계에서 실시간 렌더링을 통한 3D 시각화 뷰 확인이 가능하여, 반복적 콘텐츠 수정이 가능하며 로케이션 대체, 에셋 활용성, 실시간 협업 제작 등에 대한 능동적 활용이 가능한 효과가 있다.

본 발명의 실시예에 따르면, 기록의 수집부터 제작까지 전 과정을 담은 아카이빙 기술을 활용하여 고품질의 배경생성을 자동화하고 아카이브를 기반한 콘텐츠가 다시 아카이브가 되어 새로운 콘텐츠 제작의 원천이 되도록 이를 이용한 다양한 XR 서비스 플랫폼 개발을 위한 최적의 환경을 제공한다.

본 발명의 실시예에 따르면, 메타버스, 애니메이션, 웹툰 등의 제작 품질 향상과 비용 절감 가능성을 높이고, 실감 콘텐츠 전반에 적용이 가능한 배경생성 아카이빙 시스템 구축 방법을 제안한다.

본 발명의 실시예에 따르면, 배경생성 콘텐츠 활용에 있어 다양한 사용자의 협업과 검토가 이루어질 수 있도록, 또한 콘텐츠, 애플리케이션 간 원활한 데이터 활용이 가능하도록 아카이빙 서비스를 제공하는 방법을 제안한다.

본 발명의 실시예에 따르면, 현장 의사 결정권을 가진 창작자가 실시간 배경 합성 기술을 통해, 프로덕션 단계에서 최종 결과물을 확인하는 것이 가능하고, 제작 기간 중 지속적/반복적으로 콘텐츠 수정을 할 수 있도록 지원함으로써, 로케이션 대체, 에셋 활용성, 협업 제작 측면에서 장점이 있다.

본 발명의 실시예에 따르면, 메타버스 환경 구축을 위해 온프레미스 또는 클라우드 환경에서 콘텐츠 제작사 및 아티스트에게 배경생성 아카이빙 시스템을 제공하고, 원활히 구동되는 애플리케이션 전반에 걸쳐 실시간 공동 작업이 가능하도록 지원하며, 다양한 경험 환경에 호환성을 가지는 배경생성 서비스 제공이 가능한 효과가 있다.

도 1은 본 발명의 실시예에 따른, 확장현실(eXtended Reality) 프로덕션 시스템 사용화 기술의 개요를 도시한다.

실사/실측된 공간 데이터를 획득하고, 고품질의 디지털 에셋들로 구성하는 배경이 실시간 게임 엔진에 의해 디스플레이되는 가상 스튜디오를 활용함으로써, 메타버스 콘텐츠 제작 파이프라인의 효율성을 월등히 향상시키는 것이 가능하다.

본 발명의 실시예에 따르면, 기존 버추얼 프로덕션의 서비스 분석을 수행하고, 메타버스, 웹툰 등의 제작 품질 및 효율성 향상을 위한 분석을 수행하여, 확장현실 스튜디오 저작 서비스 플랫폼을 설계한다.

국내 XR 서비스로는 3면 LED 스크린(벽 2면 및 바닥) 구성에 따른 XR 구현 기술, 실제 방송 세트장의 LED 패널과 가상 그래픽 정합을 이용한 실시간 XR 초현실 공간 연출, 실제 카메라 움직임 제어 기반 XR 서비스가 제안된 바 있다.

본 발명의 실시예에 따르면, 다양한 환경에서 이용이 가능한 고품질 공간정보 데이터 획득을 위해 개발된 고해상도 이미지 획득 기술 및 라이다 센싱 기술을 융합하여 하이브리드 배경생성 저작 파이프라인을 설계한다.

본 발명의 실시예에 따르면, 3D 공간 스캔 기반 데이터 획득 및 처리 프로세스 분석, 실시간 배경 합성 기술 기반 버추얼 배경 합성 및 세트 동기화를 통해, 저작 생산성을 높이고 제작사 및 창작자의 편의성을 제공한다.

도 2는 본 발명의 실시에에 따른 트윈모션 기반 배경 에셋 라이브러리 개발 예시를 도시한다.

본 발명의 실시예에 따르면, 고품질 배경 에셋 데이터의 지속적 사용을 위한 데이터 수집-저장-처리 프로세스를 제공하고, 배경생성 데이터셋 표준 가이드라인을 설계함으로써 배경생성 아카이빙 메타버스 시스템 기술을 생성한다.

이하에서는, 도 3 내지 도 7을 참조하여, 본 발명의 실시예에 따른 배경생성 아카이빙 시스템 설계, 배경생성 확장현실 서비스 플랫폼 구현에 대해 설명한다.

본 발명의 실시예에 따르면, 현실 공간정보 데이터를 수집하여 트윈모션으로 변환하고, 메타버스 및 웹툰 등의 작품과 세계관에 적용하는 배경생성 기술을 제안한다. 또한 이를 활용한 XR 서비스로 캐릭터 합성 등 퍼포먼스 시뮬레이션이 가능한 XR 스튜디오 저작 플랫폼 구축을 통해 메타버스 환경의 효율적 검증/구현으로 기획에서 제작까지 폭넓은 영역을 지원하는 환경을 제공한다.

배경생성 아카이빙 시스템 설계

본 발명의 실시예에 따르면, 현실 공간정보 데이터를 수집하여 트윈모 션으로 변환하고, 메타버스 및 웹툰 등의 작품과 세계관에 적용하는 배경생성 기술을 제공한다. 배경생성 기술을 활용하여 XR 서비스로 캐릭터 합성 등 퍼포먼스 시뮬레이션이 가능한 XR 스튜디오 저작 플랫폼 구축을 통해, 메타버스 환경의 효율적 검증/구현으로 기획에서 제작까지 폭넓은 영역을 지원한다.

도 3은 본 발명의 실시예에 따른 배경생성 아카이빙 기반 XR 서비스의 구성요소를 도시한다.

배경생성 기반 아카이빙 시스템의 서비스 개발 구성요소에는, 배경영상/음향/제스쳐/텍스쳐 데이터 생성, 3D 퍼포먼스 생성 및 특성 추출, 배경 생성 기반 리깅 및 정합, 3D 에셋 아카이빙 및 리뷰 제공이 포함된다.

아카이빙 데이터 서버 시스템의 서비스 개발 구성요소에는, 3D/2D 디지털 에셋 관리 모듈, 배경 물리 특성 데이터 모듈, S/W 동기화 연동 모듈, 기타 데이터셋(영상/음향 등) 가공 모듈이 포함된다.

XR 서비스 플랫폼 실증의 서비스 개발 구성요소에는, 언리얼 엔진 기반 기술 고도화, 데이터 연결 플러그인, 웹 기반 플랫폼 구현, XR 스튜디오 저작 서비스 플랫폼 테스트 및 디버깅이 포함된다.

도 4는 본 발명의 실시예에 따른 3D 공간 정보 데이터 기반 데이터 획득 및 처리 기술의 고려사항을 도시한다.

분석하고, 배경생성 데이터 획득에 있어 데이터 상호작용, 시각적 퀄리티, 제작 자유도 측면을 고려한 설계를 수행한다.

데이터 상호작용 고려사항으로는 공간 정보 데이터 상호호환(표준 포맷 정의), 몰입형 체감형 데이터 활용, 사용자 이용 데이터 수집 및 분석(플랫폼 고도화)가 포함된다.

시각적 퀄리티 고려사항으로는 최종 사용자(창작자, 제작사)의 시각적 퀄리티 서비스 만족도 조사, 메타버스, 웹툰 등 서비스별 미치는 영향 분석이 포함된다.

제작 자유도 고려사항으로는 저작 시스템의 실효성 검증(사용자 중심), 게임 엔진 기반 사용 목적에 부합하는 워크플로우 및 UI 설계(제작 고도화) 고려사항 분석을 통한 배경생성 아카이빙 시스템의 설계 프로세스가 3단계로 구분되고, 아카이빙 시스템, 데이터 서버 시스템, 플랫폼 실증 등의 구성요소가 포함된다.

배경생성 XR 서비스 플랫폼 구현

도 5는 본 발명의 실시예에 따른 배경생성 XR 서비스 플랫폼 구성도이다.

전술한 고려사항을 준수하고, 제작 품질 및 비용 절감, 제작 자유도, 배경 활용성, 로케이션 대체 및 상호작용 등을 필요충분조건에 맞춘 배경생성 기반 XR 스튜디오 저작 서비스 프로세스를 아래와 같이 설계한다.

공간 컴퓨팅에서의 3D 데이터 시각화 디자인 및 개발은 실제 애플리케이션 환경으로 인코딩되어, 사용자와 데이터 간 상호작용을 향상시켜야 한다는 전제 하에, 배경생성 기반의 3D 디지털 아카이빙 시스템을 구현하여 그에 따른 결과를 도출한다.

3D 데이터를 기반으로 트윈배경 생성, 카메라 설정(각도, 타겟추적 등), 캐릭터 합성 등 다양하게 용도 별로 변경하여 데이터 추출이 가능하도록 아카이빙 시스템을 구축한다.

도 6은 본 발명의 실시예에 따른 아카이빙 서버 구현 결과를 도시한다.

도 6을 참조하면, 배경생성 아카이빙 기반 메타버스 서비스 구현을 위한 아카이빙 서비스 구현 결과가 도시되며, 도 6의 좌측 그림은 영화관을, 도 6의 우측 그림은 헬스장을 도시한다.

도 7은 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.

도 7을 참조하면, 컴퓨터 시스템(1300)은, 버스(1370)를 통해 통신하는 프로세서(1313), 메모리(1330), 입력 인터페이스 장치(1350), 출력 인터페이스 장치(1360), 및 저장 장치(1340) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(1300)은 또한 네트워크에 결합된 통신 장치(1320)를 포함할 수 있다. 프로세서(1310)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(1330) 또는 저장 장치(1340)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(1330) 및 저장 장치(1340)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.

통신 장치(1320)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.

또한, 본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다.

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

이하에서는, 본 발명의 다른 실시예에 따른 XR 프로덕션 시스템 적용을 위한 3D 배경 생성 저작도구 설계 방법에 대해 설명한다.

기존의 저작도구는 일반적인 3D 엔진을 기반으로 하여 3D 에셋을 제공하고, 이를 배치하고 지형과 하늘을 설정하여 월드를 저작하는 서비스 기술이 대부분인 반면, 본 발명의 실시예에 따르면3D 배경 생성 저작도구의 기능을 다섯 가지의 주요 기능들로 구성함으로써, 콘텐츠 활용에 있어 다양한 사용자의 협업과 검토가 이루어질 수 있도록 하고, 배경 생성 저작도구는 하나의 포맷으로만 활용할 수 있는 형식의 3D 에셋 활용 방식에서 메타버스, 웹툰, 프로덕션 등 다양한 분야의 확장성과 호환성을 가질 수 있도록 저작도구 서비스를 제공하는 기술적 특징이 있다.

본 발명의 다른 실시예에 따른 XR 프로덕션 시스템 적용을 위한 3D 배경 생성 저작도구 설계 방법은 (A) 데이터 수집 계획을 설정하고 실측 기반 파이프라인을 설정하는 단계와, (B) 원시 데이터를 수집하고 에셋 트리를 작성하는 단계와, (C) 데이터 정합, 노이즈 제거 및 병합을 수행하는 단계 및 (D) 3D 모델링 저작, 배경 공간 내 모듈식 에셋 3D 모델링 저작, 모듈식 에셋을 활용한 전체 맵 저작을 수행하는 단계를 포함한다.

상기 (B) 단계는 배경 3D 에셋 데이터셋의 기준 분류를 이용하되, 건물 에셋(체육시설, 문화시설, 교통시설, 빌딩 등의 건물), 모듈식 소품(모듈식 도시 시설물 및 소품 등), 도로 및 지형(도로, 건물 베이스, 산지형, 주차장 등의 지형), 자연(구름, 꽃, 잔디, 바위, 풀 등), 기타(버스, 기차, 자동차, 열기구 등), 텍스처(에셋 텍스처)를 포함하는 분류 기준에 따라 실외 배경 3D 에셋을 구성하고, 구조물(실내 구조물), 가전, 가구(실내 가구나 가전), 소품(장식용 소품), 기타(기타), 텍스처(에셋 텍스처)를 포함하는 분류 기준에 따라 실내 배경 3D 에셋을 구성한다.

상기 (B) 단계는 3D 스캐닝 기반으로 상기 원시 데이터를 수집하고, 원시 데이터 시설 정보를 작성하고, 분류 기준에 따라 상기 에셋 트리를 작성한다.

상기 (C) 단계는 정제 도구를 활용하여 상기 데이터 정합을 수행하고, 상기 노이즈 제거 및 병합을 수행함에 따라 메타 데이터를 작성한다.

상기 (C) 단계는 배경 3D 데이터명(Text), 데이터 트리(Size), 데이터뷰(실외: Rendering/Modeling, 실내: Rendering), 메타데이터(실외: Polygon Count, Texture, Dimension, 실내: Count, Texture)로 분류하여 실외 배경 3D 건물 에셋 및 실내 배경 3D 구조물 에셋의 세부 사항에 대한 상기 메타 데이터를 정의한다.

상기 (D) 단계는 Hiererachy기능, Scene 기능, Asset 기능, Inspector 기능, Rendering기능, Import 기능, Export 기능, Save 기능을 포함하는 배경 생성 저작도구를 이용하여 3D 배경을 생성하고 배경 생성 과정에서 렌더링 장면에 대한 프리뷰 확인 기능을 제공한다.

상기 Hiererachy 기능은 Scene 화면에 표현된 3D 에셋을 정렬하고 레이어 기능을 활용하여 3D 에셋의 배치와 편집 기능을 제공하고, 상기 Scene 기능은 제작 중인 3D 배경을 표시하는 인터랙티브 뷰로 원하는 뷰를 선택할 수 있게 하고 3D 배경 저작에 필요한 모든 에셋과 카메라 등을 배치하고 편집할 수 있게 하고, 상기 Asset 기능은 3D 배경 에셋이 트리 구조로 제시되어 사용자가 원하는 에셋의 탐색이 용이하게 하고, 메타데이터를 포함하여 제공하고, 상기 Inspector 기능은 선택한 3D 배경 에셋의 변경 가능한 값들만을 표시하여 수치 입력과 노드 조정을 통해 편집할 수 있는 기능과, 현재 환경의 시간 프레임에 따라 빛의 방향, 그림자 각도 등 변화 시뮬레이션을 적용할 수 있는 기능을 제공하고, 상기 Rendering 기능은 사용자가 다양한 렌더링 프리셋 값을 적용하여 사용자가 배경을 활용하고자 하는 환경(메타버스, 웹툰, 프로덕션 등)을 선택하여 적용할 수 있도록 하고, 이를 실시간 Preview를 통해 실시간으로 렌더링 화면을 확인할 수 있는 기능을 제공하고, 상기 Import 기능은 Asset 에서 제공하는 기본 3D 배경 에셋 이외의 다양한 3D 포맷 파일의 임포트가 가능하며 임포트 과정에서 트리 구조에 원하는 위치를 설정하여 임포트 할 수 있는 기능을 제공하고, 상기 Export 기능은 3D 배경 에셋 익스포트 시 원하는 트리 구조 분류를 설정하여 메타데이터를 함께 포함하여 익스포트 할 수 있는 기능을 제공하고, 상기 Save 기능은 사용자가 배치한 카메라를 선택하여 해당 카메라 뷰의 배경 이미지를 저장하는 기능과 3D 에셋이 포함된 씬 자체를 저장하는 기능을 포함하여 제공한다.

본 발명의 실시예에 따르면, XR 프로덕션 시스템 구축이 완전 가상 환경에서 이루어짐으로써, 누구나 손쉽게 클라우드 환경에서 배경 생성 저작도구를 활용하여 다자간 공동 작업을 수행할 수 있고, 다양한 경험 환경에 호환성을 갖는 저작 도구 서비스를 제공받을 수 있다는 장점이 있다.

본 발명의 실시예에 따른 다섯 가지 기능과 관련하여, 아래에 서술한다.

1) Hiererachy 기능

Hiererachy 기능은 Scene 화면에 표현된 3D 에셋을 정렬하고 레이어를 활용하여 편집의 편리성을 도모한다.

2) Scene 기능

Scene 기능은 제작 중인 3D 배경을 표시하는 인터랙티브 뷰로 기즈모를 통해 원하는 뷰(Top, Front, Right, Perspective)를 선택하여 볼 수 있고 3D 배경에 필요한 모든 3D 에셋과 카메라, 조명 등을 배치하고 편집할 수 있다.

3) Asset 기능

Asset 기능은 실측 기반 3D 배경 에셋을 제공하며 이를 트리구조로 구성하고 메타데이터(데이터 명, 데이터 뷰, 데이터 트리, 세부 메타데이터)를 포함하여 에셋의 탐색을 용이하도록 하고 에셋 활용의 확장성을 제공한다.

4) Inspector 기능

Inspector 기능은 선택한 3D 배경 에셋의 변경 가능한 값들을 표시하며 수치 입력과 노드 조정을 통해 3D 에셋을 편집할 수 있는 기능을 제공한다. 추가로 현재 환경 시뮬레이션 정보인 계절, 온도, 날씨 등을 설정할 수 있도록 한다.

5) Rendering 기능

Rendering 기능은 현재 진행중인 배경 생성 작업의 렌더링 품질을 설정하고 메타버스, 웹툰, 프로덕션 등 사용 용도에 따른 배경을 생성할 수 있도록 렌더링 프리셋을 제공하며 이를 Preview를 통해 실시간으로 렌더링 화면을 확인할 수 있도록 한다.

6) Import 기능

Import 기능은 Asset 기능에서 제공하는 3D 배경 에셋 이외의 다양한 3D포맷의 파일을 임포트하고 임포트 시 트리 구조의 폴더에 원하는 분류 위치에 3D 배경 에셋을 추가할 수 있도록 한다.

7) Export 기능

Export 기능은 3D 배경 에셋 익스포트 시 원하는 트리 구조의 분류를 설정하여 메타데이터를 포함하여 내보내는 기능을 제공한다.

8) Save 기능

Save 기능은 사용자가 배치한 카메라를 선택하여 해당 카메라 뷰의 배경 이미지를 저장할 수 있는 기능과 씬 전체를 저장하는 기능으로 제공한다.

본 발명의 실시에에 따르면, 최적화한 고품질 배경생성 저작도구에 대한 시스템 아키텍쳐 설계를 하기 위한 방법을 제안하며, 실사/실측된 공간 데이터를 획득하고 고품질의 디지털 에셋들로 구성하는 배경이 실시간 게임 엔진에 의해 디스플레이되는 가상 스튜디오를 활용함으로써, 메타버스 콘텐츠 제작 파이프라인의 효율성을 월등히 향상시키는 XR 프로덕션(eXtened Reality Production) 시스템을 개발하는데 필요한 3D 모델링 기반 고품질 배경생성 저작도구 및 이에 핵심이 되는 절차적 구성요소를 제안한다.

도 8은 국내 배경 생성 저작도구 사례 분석을 도시한다.

기존 배경 생성 저작 도구의 사례를 분석해 보면, 웹툰 기반 배경 생성 저작도구인 스냅툰(Snaptoon)과 모바일 기반 배경 생성 저작도구인 제페토 빌드잇(Zepeto build it), 메타버스 기반 배경 생성 저작도구인 트윈모션(TwinMotion)등이 있다.

스냅툰은 스케치업 모델링 에셋을 기반으로 하여 웹툰의 배경을 생성하는 도구로 3D 에셋들을 배치하고 조명의 위치와 밝기를 설정하여 사용자가 원하는 배경을 생성할 수 있는 기능을 제공한다.

도 9는 본 발명의 실시예에 따른 배경 생성 저작 웹툰 파이프라인을 도시한다.

본 발명의 실시예에 따르면, 다양한 환경에서 이용이 가능한 고품질 공간정보 데이터 획득을 위해 새롭게 개발한 고해상도 이미지 및 라이다 센싱 기술을 융합한 하이브리드 배경 생성 저작 파이프라인을 생성한다.

도 10은 본 발명의 실시예에 따른 배경 생성 저작 웹툰 파이프라인 적용을 도시한다.

본 발명의 실시예에 따르면, 3D 공간 스캔 기반 데이터 획득 및 처리 프로세스 분석을 통해 저작 생산성을 높이고 제작사 및 창작자의 편의성 제공을 위해 실시간 배경 합성 기술 기반 버추얼 배경 합성 및 세트 동기화를 수행한다.

도 11은 본 발명의 실시예에 따른 3D 모델링 기반 배경 배경 생성 콘텐츠 디자인 프로세스를 도시한다.

계획수립 단계에서, 데이터 수집 계획을 설정하고, 실측 기반 파이프라인을 설정한다.

데이터 수집 단계에서, 3D 스캐닝 기반 원시데이터를 수집하고(실내외 공간 데이터를 수집하고), 원시 데이터 시설 정보를 작성하며, 분류 기준에 따라 에셋 트리를 작성한다.

데이터 정제 과정에서, 정제 도구를 활용한 정합을 수행하고, 노이즈 제거 및 병합을 수행하며, 메타 데이터를 작성한다.

데이터 가공 단계에서, 정제 데이터 기반 3D 모델링 저작을 수행하고, 배경 공간 내 모듈식 에셋 3D 모델링 저작을 수행하며, 모듈식 에셋을 활용한 전체 맵 저작을 수행한다.

도 12은 본 발명의 실시예에 따른 3D 에셋 트리 구조를 도시한다.

본 발명의 실시예에 따르면, 고품질 배경 에셋 데이터의 지속적인 업데이트를 위해 실측 기반 3D 에셋을 트리 구조로 구성하고, 저작도구 사용자가 트리 구조에 에셋을 자유자재로 추가하거나 변경할 수 있도록 제공함으로써, 에셋의 탐색을 용이하게 수행하도록 지원하는 기술적 특징이 있다.

도 13는 본 발명의 실시예에 따른 3D 모델링 기반 배경 생성 데이터셋 표준 가이드라인을 도시한다.

본 발명의 실시예에 따르면, 고품질 배경 에셋 데이터의 지속적인 사용을 위한 데이터 수집-저장-처리 프로세스를 제공하며, 배경 생성 데이터셋 표준 가이드라인을 설계하여 제공함으로써, 사용자는 배경 생성 아카이빙 메타버스 시스템을 통해 에셋의 활용 스토리라인을 확인하는 것이 가능하다.

도 14은 본 발명의 실시예에 따른 3D 모델링 기반 배경 생성 레이아웃을 도시한다.

배경 생성 저작도구에서 사용자는 1) Hiererachy, 2) Scene, 3) Asset, 4) Inspector, 5) Rendering, 6) Import, 7) Export, 8) Save 여덟 가지의 주요 기능을 활용하여 3D 배경을 생성하고 배경 생성 과정에서 실시간으로 렌더링 장면을 프리뷰로 확인하는 것이 가능하다.

배경 생성 저작도구의 레이아웃에서 1) Hiererachy 기능은 Scene 화면에 표현된 3D 에셋을 정렬하고 레이어 기능을 활용하여 3D 에셋의 배치와 편집을 용이하게 한다.

2) Scene 기능은 제작 중인 3D 배경을 표시하는 인터랙티브 뷰로 원하는 뷰를 선택할 수 있게 하고 3D 배경 저작에 필요한 모든 에셋과 카메라 등을 배치하고 편집할 수 있게 한다.

3) Asset 기능은 3D 배경 에셋이 트리 구조로 제시되어 사용자가 원하는 에셋의 탐색이 용이하게 하고, 메타데이터를 포함하여 제공한다.

4) Inspector 기능은 선택한 3D 배경 에셋의 변경 가능한 값들만을 표시하여 수치 입력과 노드 조정을 통해 편집할 수 있는 기능과, 현재 환경의 시간 프레임에 따라 빛의 방향, 그림자 각도 등 변화 시뮬레이션을 적용할 수 있다.

5) Rendering 기능은 사용자가 다양한 렌더링 프리셋 값을 적용하여 사용자가 배경을 활용하고자 하는 환경(메타버스, 웹툰, 프로덕션 등)을 선택하여 적용할 수 있도록 하고, 이를 실시간 Preview를 통해 실시간으로 렌더링 화면을 확인할 수 있는 기능을 제공한다.

6) Import 기능은 Asset 에서 제공하는 기본 3D 배경 에셋 이외의 다양한 3D 포맷 파일의 임포트가 가능하며 임포트 과정에서 트리 구조에 원하는 위치를 설정하여 임포트 할 수 있는 기능을 제공한다.

7) Export 기능은 3D 배경 에셋 익스포트 시 원하는 트리 구조 분류를 설정하여 메타데이터를 함께 포함하여 익스포트 할 수 있는 기능이다.

8) Save 기능은 사용자가 배치한 카메라를 선택하여 해당 카메라 뷰의 배경 이미지를 저장하는 기능과 3D 에셋이 포함된 씬 자체를 저장하는 기능을 포함한다.

전술한 기능들은 저작도구 UI에서 Hiererachy 기능은 오른쪽, Scene 기능은 가운데, 나머지 여섯가지 기능들은 조작하는 3D 에셋 선택 시 조정할 수 있는 기능에 한정하여 왼쪽이나 상단, 하단에 조정 패널이 나타나 조작할 수 있도록 기능을 제공한다.

본 발명의 실시예에 따르면, PC뿐만 아니라 HMD, AR 글래스 등의 가상현실 기기에 이식하여 다자간 공동작업이 가능하게 하는 새로운 개념의 가상 스튜디오 설계를 위한 기반을 제공한다.

Claims (5)

1. (a) 공간 데이터를 획득하고, 디지털 에셋으로 구성되는 배경에셋을 저작하여 가공 데이터를 획득하는 단계; 및
   (b) 메타버스, 웹툰 중 적어도 어느 하나의 분야에 대한 제작 품질 및 효율성 향상을 위한 서비스 분석을 수행하고, 확장현실 스튜디오 저작 서비스 플랫폼을 설계하며, 배경생성 아카이빙 시스템을 설계하는 단계
   를 포함하는 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법.
   
2. 제1항에 있어서,
   상기 (a) 단계는 트윈모션 기반 배경에셋을 저작하는 것
   인 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법.
   
3. 제1항에 있어서,
   상기 (a) 단계는 고해상도 이미지 및 라이다 센싱 기술을 융합한 하이브리드 배경 생성 저작 파이프라인을 이용하는 것
   인 메타버스를 위한 배경생성 아카이빙 시스템 구축 방법.
   
4. 제1항에 있어서,
   상기 (b) 단계는 실시간 배경 합성 기술 기반으로 버추얼 배경 합성 및 세트 동기화를 수행하는 것
   인 메타버스를 위한 배경생성 아카이브 시스템 구축 방법.
   
5. 제1항에 있어서,
   상기 (a) 단계는 공간 정보 데이터 상호 호환을 위한 배경생성 데이터셋 표준 가이드라인을 설계하고, 상기 표준 가이드라인을 고려하여 데이터 획득 및 처리를 수행하는 것
   인 메타버스를 위한 배경생성 아카이브 시스템 구축 방법.