KR102564522B1

KR102564522B1 - Multi-view shooting apparatus and method for creating 3D volume object

Info

Publication number: KR102564522B1
Application number: KR1020230014439A
Authority: KR
Inventors: 민병왕; 박승규
Original assignee: 엠앤앤에이치 주식회사
Priority date: 2023-02-02
Filing date: 2023-02-02
Publication date: 2023-08-07

Abstract

다시점 촬영 시스템 및 3D 체적 객체 생성 방법이 개시된다. 일 실시 예에 따른 다시점 촬영 시스템은, 피사체가 올려지며 올려진 피사체를 회전시키는 회전반과, 피사체를 둘러쌓는 형태로 배열되고, 회전반에 의해 회전하는 피사체를 촬영하는 다수의 카메라가 각각 장착된 다수의 카메라 리그와, 각 카메라를 통해 촬영된 다시점 영상을 3D 공간 정합 하여 3D 체적 객체를 생성하는 영상 처리부를 포함하며, 카메라 리그는 몸체와, 몸체에 장착되며, 높이 조정 및 거리 조정이 가능한 다수의 지지대와, 각 지지대의 끝 단에 위치하여 카메라 및 조명을 거치하는 거치대를 포함한다.A multi-viewpoint imaging system and a method for generating a 3D volume object are disclosed. In the multi-viewpoint shooting system according to an embodiment, a turntable for rotating the object while a subject is raised, and a plurality of cameras arranged in a form surrounding the subject and photographing the subject rotating by the turntable are mounted, respectively. It includes a plurality of camera rigs and an image processing unit that creates a 3D volume object by matching multi-view images taken through each camera in 3D space. It includes a plurality of possible supports, and a cradle positioned at the end of each support to mount a camera and a light.

Description

Multi-view shooting apparatus and method for creating 3D volume object}

본 발명은 화상 처리기술에 관한 것으로, 보다 상세하게는 입체 화상 신호를 위한 것에 관한 것이다.[0001] The present invention relates to image processing technology, and more particularly to stereoscopic image signals.

버추얼 프로덕션(Virtual Production) 기반 영상 제작 수요의 증가와 함께 메타버스 분야의 가파른 성장 및 영상 콘텐츠 소비 환경의 급격한 변화 등에 따라 버추얼 스튜디오 플랫폼 기반 협업 기술을 활용한 영상 콘텐츠(영화, 드라마, 뮤직비디오) 제작이 전통적인 제작환경을 빠르게 대체하고 있다.Production of video contents (movies, dramas, music videos) using virtual studio platform-based collaboration technology in accordance with the rapid growth of the metaverse field and rapid changes in video content consumption environment along with the increase in demand for video production based on virtual production. It is rapidly replacing this traditional production environment.

지금까지 버추얼 프로덕션에 필요한 기술의 연구개발을 통해 전통적 영상 요소들을 대체하는 가상 배경(LED 비디오월 기반), 가상 연기자(디지털 액터), 가상 특수효과(예: 유체 시뮬레이션) 등을 구현하였다. 그러나 영상 콘텐츠 제작에서 높은 비용과 대면 업무를 요구하는 다양한 실물 소품의 제작 및 활용 과정을 버추얼 스튜디오 플랫폼과 연동을 위한 가상객체 중심의 전환 기술에 관한 기술도 필요하다.Until now, virtual backgrounds (based on LED video walls), virtual performers (digital actors), and virtual special effects (e.g., fluid simulation) that replace traditional video elements have been implemented through research and development of technologies required for virtual production. However, technology for virtual object-centered conversion technology is also needed to link the production and use process of various real props that require high cost and face-to-face work in video content production with the virtual studio platform.

대한민국공개특허공보 10-2020-0069004호(2020년6월16일)Korean Patent Publication No. 10-2020-0069004 (June 16, 2020)

일 실시 예에 따라, 영상의 주요 요소인 실물 소품(props)들을 메타버스 및 버추얼 스튜디오 플랫폼에 적합한 가상 객체로 변환하기 위하여, 포토그래메트리(Photogrammetry) 기반의 다시점 촬영을 통한 3D 체적 객체 생성을 위한 다시점 촬영 시스템 및 3D 체적 객체 생성 방법을 제공한다.According to an embodiment, 3D volume objects are created through photogrammetry-based multi-view shooting in order to convert real props, which are the main elements of the video, into virtual objects suitable for the metaverse and virtual studio platforms. A multi-viewpoint shooting system and a method for generating 3D volume objects are provided.

일 실시 예에 따른 다시점 촬영 시스템은, 피사체가 올려지며 올려진 피사체를 회전시키는 회전반과, 피사체를 둘러쌓는 형태로 배열되고, 회전반에 의해 회전하는 피사체를 촬영하는 다수의 카메라가 각각 장착된 다수의 카메라 리그와, 각 카메라를 통해 촬영된 다시점 영상을 3D 공간 정합 하여 3D 체적 객체를 생성하는 영상 처리부를 포함하며, 카메라 리그는 몸체와, 몸체에 장착되며, 높이 조정 및 거리 조정이 가능한 다수의 지지대와, 각 지지대의 끝 단에 위치하여 카메라 및 조명을 거치하는 거치대를 포함한다.In the multi-viewpoint shooting system according to an embodiment, a turntable for rotating the object while a subject is raised, and a plurality of cameras arranged in a form surrounding the subject and photographing the subject rotating by the turntable are mounted, respectively. It includes a plurality of camera rigs and an image processing unit that creates a 3D volume object by matching multi-view images taken through each camera in 3D space. It includes a plurality of possible supports, and a cradle positioned at the end of each support to mount a camera and a light.

각 지지대는, 다수의 관절 구조를 통해 지지대의 각도가 조정되어 피사체 및 카메라 간 거리가 조정될 수 있다.For each support, the distance between the subject and the camera may be adjusted by adjusting the angle of the support through a plurality of joint structures.

각 거치대는, 카메라를 거치하기 위한 카메라용 볼 헤드 및 조명을 거치하기 위한 조명용 볼 헤드를 포함할 수 있다.Each cradle may include a camera ball head for mounting a camera and a lighting ball head for mounting a light.

카메라 리그는, 몸체 하부에 멈치가 있는 바퀴를 포함할 수 있다.The camera rig may include a wheel with a stop on the lower part of the body.

카메라 리그는, 반사광 영상을 생성하기 위해 편광 필터가 장착된 카메라와, 직교 방향의 편광 필터가 장착된 조명과, 평행한 방향의 편광 필터가 장착된 조명을 포함할 수 있다.The camera rig may include a camera equipped with a polarization filter to generate a reflected light image, lights equipped with a polarization filter in an orthogonal direction, and lights equipped with a polarization filter in a parallel direction.

영상 처리부는, 카메라로부터 촬영된 직교 편광 영상과 평형 편광 영상을 순차적으로 획득한 후 직교 편광 영상과 평행 편광 영상 간의 차이에서 반사광 영상을 추출하고 추출된 반사광 영상을 이용하여 3D 체적 객체의 반사광 맵을 생성할 수 있다.The image processing unit sequentially acquires the orthogonal polarization image and the parallel polarization image taken from the camera, extracts a specular image from the difference between the orthogonal polarization image and the parallel polarization image, and generates a specular light map of the 3D volume object using the extracted specular image. can create

다시점 촬영 시스템은, 회전반의 회전 및 회전 각도와 높낮이를 원격 제어하는 회전반 제어부를 더 포함할 수 있다.The multi-viewpoint imaging system may further include a turntable control unit remotely controlling the rotation, angle, and height of the turntable.

다시점 촬영 시스템은, 회전반이 미리 설정된 소정의 각도로 회전할 때마다 3D 체적 객체를 생성하기 위한 포토그래메트리 다시점 촬영, 평행 편광 촬영 및 직교 편광 촬영을 순차적으로 수행하도록 각 카메라를 제어하는 카메라 제어부를 더 포함할 수 있다.The multi-viewpoint imaging system controls each camera to sequentially perform photogrammetry multi-viewpoint imaging, parallel polarization imaging, and orthogonal polarization imaging to generate a 3D volume object whenever the turntable rotates at a predetermined angle. It may further include a camera control unit that does.

카메라 제어부는, 다수의 카메라를 통해 다시점 촬영을 수행하고, 각각의 카메라에 대해 평행 편광 촬영과 직교 편광 촬영을 한 차례씩 촬영하는 순서를 회전반이 360도 회전할 때까지 반복 수행하도록 각 카메라를 제어할 수 있다.The camera control unit performs multi-viewpoint imaging through a plurality of cameras, and repeats the sequence of taking parallel polarization imaging and orthogonal polarization imaging for each camera until the turntable rotates 360 degrees. can control.

다시점 촬영 시스템은, 조명을 원격 제어하는 조명 제어부를 더 포함할 수 있다.The multi-viewpoint imaging system may further include a lighting controller remotely controlling lighting.

조명 제어부는, 포토그래메트리 다시점 촬영 시 전방위 조명의 온오프를 제어하고, 각각의 카메라에 대해 평행 편광 촬영을 위한 평행 편광 조명의 온오프와, 직교 편광 촬영을 위한 직교 편광 조명의 온오프를 원격 제어할 수 있다.The lighting control unit controls on/off of omnidirectional lighting during photogrammetry multi-view shooting, on/off of parallel polarized light for parallel polarization imaging, and on/off of orthogonal polarization lighting for orthogonal polarization imaging for each camera. can be remotely controlled.

다른 실시 예에 따른 3D 체적 객체 생성 방법은, 피사체 없는 영상을 다수 촬영하여 배경 모델을 학습하는 단계와, 회전반에 올려진 피사체를 회전반을 회전시켜 가면서 다수의 카메라를 이용하여 다시점 영상을 촬영하는 단계와, 촬영된 다시점 영상과 학습된 배경 모델을 비교하여 배경을 제거하는 단계와, 배경이 제거된 다시점 영상을 3D 공간 정합 하여 3D 체적 객체를 생성하는 단계를 포함한다.A method for generating a 3D volume object according to another embodiment includes the steps of learning a background model by photographing a plurality of images without a subject, and generating a multi-view image using a plurality of cameras while rotating a subject placed on a turntable on the turntable. A step of photographing, removing a background by comparing the captured multi-view image with the learned background model, and generating a 3D volume object by performing 3D spatial matching on the multi-view image from which the background has been removed.

다시점 영상을 촬영하는 단계에서, 회전반이 미리 설정된 소정의 각도로 회전할 때마다 3D 체적 객체를 생성하기 위한 포토그래메트리 다시점 촬영, 평행 편광 촬영 및 직교 편광 촬영을 순차적으로 수행할 수 있다.In the step of capturing a multi-view image, photogrammetry multi-view imaging, parallel polarization imaging, and orthogonal polarization imaging to generate a 3D volume object may be sequentially performed whenever the turntable rotates at a predetermined angle. there is.

3D 체적 객체를 생성하는 단계는, 카메라로부터 촬영된 직교 편광 영상과 평형 편광 영상을 순차적으로 획득하는 단계와, 직교 편광 영상과 평행 편광 영상 간의 차이에서 반사광 영상을 추출하는 단계와, 추출된 반사광 영상을 이용하여 3D 체적 객체의 반사광 맵을 생성하는 단계를 포함할 수 있다.The step of generating a 3D volume object includes sequentially acquiring an orthogonal polarization image and a parallel polarization image taken from a camera, extracting a specular image from the difference between the orthogonal polarization image and the parallel polarization image, and the extracted specular image It may include generating a specular light map of the 3D volume object using

일 실시 예에 따른 다시점 촬영 시스템 및 3D 체적 객체 생성 방법에 따르면, 높이 조정 및 거리 조정이 가능한 카메라 리그를 통해 카메라 및 조명을 가변적으로 설치할 수 있다.According to the multi-viewpoint shooting system and the method for generating a 3D volume object according to an embodiment, a camera and lighting may be variably installed through a camera rig capable of adjusting height and distance.

또한, 회전반 제어, 카메라 제어 및 조명 제어를 원격으로 제어할 수 있어 사용의 편의성을 높이며, 전선의 연결을 줄일 수 있고, 촬영 정확도를 높일 수 있다.In addition, since the turntable control, camera control, and lighting control can be remotely controlled, convenience of use can be increased, the connection of wires can be reduced, and shooting accuracy can be increased.

또한, 회전반을 이용할 때 배경 모델 학습을 이용하여 배경을 제거함에 따라 3D 체적 객체 합성에 관한 연산량을 줄일 수 있다.In addition, as the background is removed using the background model learning when using the turntable, the amount of computation related to 3D volume object synthesis can be reduced.

또한, 평행 편광, 직교 편광 및 카메라의 편광 필터를 이용하여 촬영함에 따라 소품의 반사광 영상을 생성할 수 있다.In addition, it is possible to generate a reflected light image of a prop by taking pictures using parallel polarization, orthogonal polarization, and a polarization filter of a camera.

다시점 촬영 시스템은 회전반 제어 기능, 조명 제어 기능 및 카메라 촬영 기능의 연계를 고려하여, 360/n 각도 방향으로 회전반이 이동할 때마다, 3D 체적 객체의 형상을 생성하기 위한 촬영, 평행 편광(parallel polarizer) 촬영, 직교 편광(cross polarizer) 촬영을 순차적으로 진행하여 3D 체적 객체를 생성할 수 있다.The multi-view shooting system considers the linkage of the turntable control function, the lighting control function, and the camera shooting function, and each time the turntable moves in the 360/n angular direction, shooting to create the shape of a 3D volume object, parallel polarization ( A 3D volume object may be created by sequentially performing parallel polarizer imaging and cross polarizer imaging.

도 1은 본 발명의 일 실시 예에 따른 다시점 촬영 시스템의 다시점 촬영 예를 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 전방위 조명을 이용하여 그림자를 최소화하는 예를 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 회전반을 이용하여 다시점 촬영하는 예를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 배경 모델 학습을 이용하여 입력 영상에서 배경을 제거하는 예를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 포토그래메트리 기반 3D 체적 객체 생성 프로세스를 도시한 도면,
도 6는 본 발명의 일 실시 예에 따른 다시점 촬영 시스템의 카메라 리그를 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 카메라 리그 지지대의 끝 단에 위치하는 거치대를 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 다수의 카메라 리그로 피사체를 둘러쌓아 구성한 다시점 촬영 시스템을 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 가변적인 촬영 공간을 위한 카메라 리그를 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 조명을 가변적으로 설치한 카메라 리그를 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 관절의 각도 조정을 이용하여, 카메라와 피사체의 거리를 조정하는 예를 도시한 도면,
도 12는 본 발명의 일 실시 예에 따른 피사체 회전을 위한 회전반을 도시한 도면,
도 13은 본 발명의 일 실시 예에 따른 배경 제거 프로세스를 도시한 도면,
도 14는 본 발명의 일 실시 예에 따른 포토그래메트리 방식의 3D 체적 객체 생성 프로세스를 도시한 도면.
도 15는 본 발명의 일 실시 예에 따른 편광 조명을 이용한 반사도 측정 촬영 예를 도시한 도면,
도 16은 본 발명의 일 실시 예에 따른 평행 편광과 직교 편광을 이용한 반사광 영상(Specular map) 추출의 예를 도시한 도면,
도 17은 본 발명의 일 실시 예에 따른 편광 필터를 이용한 반사광 영상 추출 방법에 관한 도식을 도시한 도면,
도 18은 본 발명의 일 실시 예에 따른 다시점 촬영 시스템의 구성을 도시한 도면,
도 19는 본 발명의 일 실시 예에 따른 다시점 촬영 시스템의 다시점 촬영 방법의 흐름을 도시한 도면,
도 20은 본 발명의 일 실시 예에 따른 가상 소품의 3D 체적 객체 재건(reconstruction)의 합성 프로세스를 도시한 도면이다.1 is a diagram showing an example of multi-view shooting of a multi-view shooting system according to an embodiment of the present invention;
2 is a diagram showing an example of minimizing shadows using omnidirectional lighting according to an embodiment of the present invention;
3 is a diagram showing an example of multi-viewpoint imaging using a rotating disk according to an embodiment of the present invention;
4 is a diagram showing an example of removing a background from an input image using background model learning according to an embodiment of the present invention;
5 is a diagram illustrating a photogrammetry-based 3D volume object creation process according to an embodiment of the present invention;
6 is a view showing a camera rig of a multi-viewpoint shooting system according to an embodiment of the present invention;
7 is a view showing a cradle located at the end of a camera rig support according to an embodiment of the present invention;
8 is a view showing a multi-viewpoint shooting system configured by surrounding a subject with a plurality of camera rigs according to an embodiment of the present invention;
9 is a view showing a camera rig for a variable shooting space according to an embodiment of the present invention;
10 is a view showing a camera rig in which lighting is variably installed according to an embodiment of the present invention;
11 is a diagram showing an example of adjusting the distance between a camera and a subject by using joint angle adjustment according to an embodiment of the present invention;
12 is a view showing a rotating disk for rotating a subject according to an embodiment of the present invention;
13 illustrates a background removal process according to an embodiment of the present invention;
14 is a diagram illustrating a process of generating a 3D volume object using a photogrammetry method according to an embodiment of the present invention.
15 is a view showing an example of measuring reflectivity using polarized light according to an embodiment of the present invention;
16 is a diagram showing an example of extracting a specular map using parallel polarization and orthogonal polarization according to an embodiment of the present invention;
17 is a diagram showing a method for extracting a reflected light image using a polarization filter according to an embodiment of the present invention;
18 is a diagram showing the configuration of a multi-viewpoint imaging system according to an embodiment of the present invention;
19 is a flowchart illustrating a multi-viewpoint imaging method of a multi-viewpoint imaging system according to an embodiment of the present invention;
20 is a diagram illustrating a synthesis process of 3D volume object reconstruction of virtual props according to an embodiment of the present invention.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features and advantages of the present invention will be easily understood through the following preferred embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content will be thorough and complete and the spirit of the present invention will be sufficiently conveyed to those skilled in the art.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제3의 구성요소가 개재될 수도 있다는 것을 의미한다.In this specification, when a component is referred to as being on another component, it means that it may be directly formed on the other component or a third component may be interposed therebetween.

본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.In this specification, when terms such as first and second are used to describe components, these components should not be limited by these terms. These terms are only used to distinguish one component from another. Embodiments described and illustrated herein also include complementary embodiments thereof.

또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.Also, when it is said that a first element (or component) operates or is executed on (ON) a second element (or component), the first element (or component) means that the second element (or component) It should be understood that it is operated or executed in an environment in which it is operated or executed, or operated or executed through direct or indirect interaction with the second element (or component).

어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.Where an element, component, device, or system is referred to as including a component consisting of a program or software, even if not explicitly stated otherwise, that element, component, device, or system means that the program or software executes or operates. It should be understood that it includes hardware (eg, memory, CPU, etc.) or other programs or software (eg, operating system or driver required to drive hardware) required to do so.

또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.In addition, it should be understood that, unless otherwise specified, the element (or component) may be implemented in any form of software, hardware, or both software and hardware.

또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 다수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.In addition, terms used in this specification are for describing embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the text. The terms 'comprises' and/or 'comprising' used in the specification do not exclude the presence or addition of one or more other elements.

이하, 아래의 특정 실시 예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다.Hereinafter, in describing specific embodiments below, various specific contents are prepared to explain the invention in more detail and aid understanding. However, readers who have knowledge in this field to the extent that they can understand the present invention can recognize that it can be used without these various specific details.

어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.In some cases, it is mentioned in advance that parts that are commonly known in describing the invention and are not greatly related to the invention are not described in order to prevent confusion for no particular reason in explaining the present invention.

이하, 본 명세서의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 명세서에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 명세서의 실시 예를 설명하면서, 본 명세서가 속하는 기술 분야에 익히 알려졌고 본 명세서와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 명세서의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.Hereinafter, embodiments of the present specification will be described with reference to the accompanying drawings. It will be described in detail focusing on parts necessary for understanding the operation and operation according to the present specification. While describing the embodiments of this specification, descriptions of technical details that are well known in the art to which this specification pertains and are not directly related to the present specification will be omitted. This is to more clearly convey the gist of the present specification without obscuring it by omitting unnecessary description.

또한, 본 명세서의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.In addition, in describing the components of the present specification, different reference numerals may be given to components having the same name according to the drawings, and the same reference numerals may be assigned even though they are different drawings. However, even in this case, it does not mean that the corresponding component has different functions according to the embodiment, or that it has the same function in different embodiments, and the function of each component is different from the corresponding embodiment. It will have to be judged based on the description of each component in .

본 명세서에서 각각의 구성들은 기능 및/또는 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.Each component in this specification indicates that it can be functionally and/or logically separated, and does not necessarily mean that each component is divided into a separate physical device or written as a separate code. An average expert would be able to reason with ease.

또한, 본 명세서에서 각각의 구성들은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 소정의 코드와 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.In addition, each component in this specification may refer to a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, it may mean a predetermined code and a logical unit of hardware resources for executing the predetermined code, and does not necessarily mean a physically connected code or one type of hardware. It can be easily deduced to the average expert.

도 1은 본 발명의 일 실시 예에 따른 다시점 촬영 시스템의 다시점 촬영 예를 도시한 도면이다.1 is a diagram illustrating an example of multi-view shooting of a multi-view shooting system according to an embodiment of the present invention.

도 1을 참조하면, 다시점 촬영 시스템(1)은 고정밀 가상객체를 촬영하기 위하여 다시점 촬영을 수행한다. 이때, 다시점 촬영 시스템(1)은 다수의 방향(예를 들어, 100개 이상의 방향)에 위치하는 카메라들을 통해 촬영을 한 후, 다시점 촬영 영상들을 정합 한다. 다시점 촬영 시스템(1)은 영상의 주요 요소인 실물 소품(props)들을 메타버스 및 버추얼 스튜디오 플랫폼에 적합한 가상 객체로 변환하기 위하여, 포토그래메트리(Photogrammetry) 기반의 다시점 촬영을 통해 3D 체적 객체를 생성한다.Referring to FIG. 1 , the multi-viewpoint imaging system 1 performs multi-viewpoint imaging to capture a high-precision virtual object. At this time, the multi-viewpoint photographing system 1 takes photographs through cameras located in multiple directions (eg, 100 or more directions), and then matches the multi-viewpoint photographic images. The multi-view shooting system 1 uses photogrammetry-based multi-view shooting to convert real props, which are the main elements of video, into virtual objects suitable for the metaverse and virtual studio platforms. create an object

도 2는 본 발명의 일 실시 예에 따른 전방위 조명을 이용하여 그림자를 최소화하는 예를 도시한 도면이다.2 is a diagram illustrating an example of minimizing a shadow using omnidirectional lighting according to an embodiment of the present invention.

도 2를 참조하면, 3D 가상 공간에서 가상 소품을 사용하려면, 가상 공간의 조명을 적용할 수 있어야 한다. 다시점 촬영 시스템(1)은 가상 소품 용도로 만드는 3D 가상 체적 객체를 조명 정보가 제거된 텍스처 형태로 만든다. 조명 정보를 제거하는 것은 그림자를 제거하는 작업과 유사하다. 도 2에 도시된 바와 같이, 다시점 촬영 시스템(1)은 촬영 시 조명들이 전방위에서 고르게 분포되도록 촬영하여 그림자 발생을 최소화한다. 조명의 정보가 제거된 형태의 텍스처로 만드는 작업을 디라이팅(de-lighting)이라고 한다.Referring to FIG. 2 , in order to use a virtual prop in a 3D virtual space, it is necessary to apply lighting in the virtual space. The multi-viewpoint imaging system 1 makes a 3D virtual volume object for use as a virtual prop into a texture form from which lighting information is removed. Removing lighting information is similar to removing shadows. As shown in FIG. 2 , the multi-viewpoint photographing system 1 minimizes the occurrence of shadows by photographing so that lights are evenly distributed in all directions during photographing. The process of creating a texture in which the lighting information is removed is called de-lighting.

도 3은 본 발명의 일 실시 예에 따른 회전반을 이용하여 다시점 촬영하는 예를 도시한 도면이다.3 is a diagram illustrating an example of multi-viewpoint imaging using a rotating disk according to an embodiment of the present invention.

도 3을 참조하면, 다시점 촬영에 사용하는 카메라의 개수를 줄이고자, 다시점 촬영 시스템(1)은 회전반을 이용하여 피사체를 360도로 회전시켜 촬영한다. 다시점 촬영 시스템(1)은 회전반의 회전 각도를 원격으로 제어할 수 있고, 카메라 촬영도 원격으로 제어하여 촬영 영상의 배경이 동일하게 유지되도록 할 수 있다.Referring to FIG. 3 , in order to reduce the number of cameras used for multi-view shooting, the multi-view shooting system 1 rotates a subject by 360 degrees using a rotating disk and takes pictures. The multi-viewpoint photographing system 1 may remotely control the rotation angle of the turntable and remotely control camera photographing so that the background of the photographed image may be maintained the same.

도 4는 본 발명의 일 실시 예에 따른 배경 모델 학습을 이용하여 입력 영상에서 배경을 제거하는 예를 도시한 도면이다.4 is a diagram illustrating an example of removing a background from an input image using background model learning according to an embodiment of the present invention.

도 4를 참조하면, 카메라의 위치가 움직이지 않고 고정되므로, 배경이 동일하게 유지된다. 다시점 촬영 시스템은 배경 모델 학습을 이용하여 입력 영상의 배경을 제거할 수 있다. 이에 따라, 포토그래메트리 기술을 이용하여 제작하는 3D 체적 객체의 합성에 관한 연산량을 줄일 수 있다.Referring to FIG. 4 , since the position of the camera is fixed without moving, the background remains the same. The multi-viewpoint imaging system may remove the background of the input image using background model learning. Accordingly, it is possible to reduce the amount of calculations related to the synthesis of 3D volumetric objects manufactured using photogrammetry technology.

도 5는 본 발명의 일 실시 예에 따른 포토그래메트리 기반 3D 체적 객체 생성 프로세스를 도시한 도면이다.5 is a diagram illustrating a photogrammetry-based 3D volume object creation process according to an embodiment of the present invention.

도 5를 참조하면, 다시점 촬영 시스템은 다수의 카메라를 통해 촬영된 다시점 영상을 3D 공간 정합(510)을 수행하고, 포인트 클라우드를 추출(520) 하고, 메쉬(mesh)를 생성(530) 하며, 생성된 메쉬에 텍스처(texture)를 입혀 텍스트를 생성(540) 하는 작업을 거쳐 3D 체적 객체를 생성한다. 이어서, 다시점 촬영 시스템은 생성된 3D 체적 객체를 가상 공간에서의 사용 목적에 맞추어 클린업 작업 및 수정 작업을 진행하여 가상 소품을 완성한다. 가상 소품은 버추얼 스튜디오에서 사용될 수 있다.Referring to FIG. 5 , the multi-viewpoint imaging system performs 3D spatial matching (510) on multi-viewpoint images captured through a plurality of cameras, extracts a point cloud (520), and creates a mesh (530). In addition, a 3D volume object is created through an operation of generating text by applying a texture to the generated mesh (540). Subsequently, the multi-viewpoint imaging system completes virtual props by performing clean-up and modification operations on the created 3D volume object according to the purpose of use in the virtual space. Virtual props can be used in Virtual Studio.

도 6는 본 발명의 일 실시 예에 따른 다시점 촬영 시스템의 카메라 리그를 도시한 도면이고, 도 7은 본 발명의 일 실시 예에 따른 카메라 리그 지지대의 끝 단에 위치하는 거치대를 도시한 도면이다.6 is a view showing a camera rig of a multi-viewpoint imaging system according to an embodiment of the present invention, and FIG. 7 is a view showing a cradle located at the end of a camera rig support according to an embodiment of the present invention. .

도 6 및 도 7을 참조하면, 다시점 촬영 시스템은 다양한 형태 및 크기의 소품을 촬영하기 위하여, 가변적인 형태의 카메라 리그(6)를 포함한다. 1개의 카메라 리그(6)는 다수 개(예를 들어, 도 6의 4개)의 지지대(60)가 연결되어 있다. 지지대(60)는 몸체(61)에 장착되며, 높이 조정 및 거리 조정이 가능하다.Referring to FIGS. 6 and 7 , the multi-viewpoint shooting system includes a camera rig 6 having a variable shape in order to photograph props of various shapes and sizes. One camera rig 6 is connected to a plurality of (for example, four in FIG. 6) supports 60. The support 60 is mounted on the body 61 and can be adjusted in height and distance.

카메라 리그(6)의 각 지지대(60)의 끝 부분에는 카메라 및 조명을 위한 'ㄷ'자 형태의 거치대(62)가 위치한다. 이 거치대(62)에 다수의 카메라 및 다수의 조명을 각각 볼 헤드를 이용하여 거치할 수 있다.At the end of each support 60 of the camera rig 6, a 'c' shaped cradle 62 for cameras and lighting is located. A plurality of cameras and a plurality of lights may be mounted on the cradle 62 using a ball head, respectively.

도 8은 본 발명의 일 실시 예에 따른 다수의 카메라 리그로 피사체를 둘러쌓아 구성한 다시점 촬영 시스템을 도시한 도면이다.8 is a diagram illustrating a multi-viewpoint shooting system configured by surrounding a subject with a plurality of camera rigs according to an embodiment of the present invention.

도 8을 참조하면, 다시점 촬영 시스템은 다수의 카메라 리그(6)가 피사체를 둘러쌓아 다시점 촬영 스튜디오를 구성한다.Referring to FIG. 8 , in the multi-viewpoint shooting system, a plurality of camera rigs 6 surround a subject to form a multi-viewpoint shooting studio.

도 9는 본 발명의 일 실시 예에 따른 가변적인 촬영 공간을 위한 카메라 리그를 도시한 도면이고, 도 10은 본 발명의 일 실시 예에 따른 조명을 가변적으로 설치한 카메라 리그를 도시한 도면이다.9 is a view showing a camera rig for a variable shooting space according to an embodiment of the present invention, and FIG. 10 is a view showing a camera rig in which lighting is variably installed according to an embodiment of the present invention.

도 9 및 도 10을 참조하면, 다시점 촬영 시스템은 피사체(7)와 카메라 리그(6)의 카메라(64) 및 조명(66)을 가변적으로 조정할 수 있다. 또한, 다시점 촬영 시스템은 카메라 리그(6)의 지지대의 높이를 조정하거나 지지대의 각도를 조정하여 피사체(7)와 카메라(64) 간의 거리를 조정할 수 있다.Referring to FIGS. 9 and 10 , the multi-viewpoint shooting system may variably adjust a subject 7 and a camera 64 and lighting 66 of a camera rig 6 . In addition, the multi-viewpoint shooting system may adjust the distance between the subject 7 and the camera 64 by adjusting the height of the support of the camera rig 6 or the angle of the support.

다시점 촬영 시스템은 피사체(7)의 크기에 따라 카메라 리그(6)들의 위치를 조정할 수 있다. 이때, 이동의 용이성을 위하여, 카메라 리그(6)에 멈치가 있는 바퀴를 장착할 수 있다. 도 9에 도시된 바와 같이, 다시점 촬영 시스템은 카메라용 볼 헤드(65)를 이용하여 카메라(64)를 거치할 수 있고, 도 10에 도시된 바와 같이, 조명용 볼 헤드(67)를 이용하여 조명(66)을 거치할 수 있다. 도 10에 도시된 바와 같이, 다시점 촬영 시스템은 피사체(7)에 그림자가 생기지 않도록 전방위 조명을 고르게 배치할 수 있다.The multi-viewpoint shooting system may adjust the position of the camera rigs 6 according to the size of the subject 7 . At this time, for ease of movement, a wheel with a stopper may be mounted on the camera rig 6. As shown in FIG. 9, the multi-viewpoint shooting system may mount a camera 64 using a ball head 65 for a camera, and as shown in FIG. 10, using a ball head 67 for lighting Lighting 66 can be mounted. As shown in FIG. 10 , the multi-viewpoint shooting system may evenly arrange omnidirectional lighting so that no shadow is formed on the subject 7 .

도 11은 본 발명의 일 실시 예에 따른 관절의 각도 조정을 이용하여, 카메라와 피사체의 거리를 조정하는 예를 도시한 도면이다.11 is a diagram illustrating an example of adjusting a distance between a camera and a subject by using joint angle adjustment according to an embodiment of the present invention.

도 11을 참조하면, 다시점 촬영 시스템은 카메라 리그의 관절 구조(110)를 이용하여 지지대의 거리를 조정한다. 관절 구조(110)는 회전 미 고정이 가능한 연결 부위이다. 관절의 각도 조정을 통하여 카메라 지지대의 길이를 조정할 수 있다.Referring to FIG. 11 , the multi-viewpoint imaging system adjusts the distance of the support using the joint structure 110 of the camera rig. The joint structure 110 is a connection part that can be rotated and unfixed. The length of the camera support can be adjusted by adjusting the angle of the joint.

도 12는 본 발명의 일 실시 예에 따른 피사체 회전을 위한 회전반을 도시한 도면이다.12 is a diagram illustrating a rotating disk for rotating a subject according to an embodiment of the present invention.

도 12를 참조하면, 다시점 촬영 시스템은 다시점 촬영에 사용하는 카메라 개수를 적게 사용하기 위하여, 회전반(12)을 이용하여 피사체를 회전시켜 촬영한다. 이때, 다시점 촬영 시스템은 회전반(12)을 원격으로 제어할 수 있다. 예를 들어, 원격 조정을 통해 회전반(12)을 미리 설정된 각도로 회전시키거나 회전반(12)의 위치가 움직이지 않도록 고정시키거나, 회전반(12)의 높낮이를 조정하여 피사체가 조명으로 만든 구(球) 안의 중심에 위치하도록 만든다. 카메라 리그의 위치를 수정할 때, 회전반(12)의 중심부도 이동해야 하므로, 회전반(12)에 이동용 바퀴를 달아, 위치 조정이 용이하도록 한다.Referring to FIG. 12 , the multi-viewpoint imaging system rotates and captures a subject using a rotating disk 12 in order to reduce the number of cameras used for multi-viewpoint imaging. At this time, the multi-viewpoint imaging system may remotely control the rotating disk 12 . For example, the turntable 12 is rotated at a preset angle through remote control, the position of the turntable 12 is fixed so that it does not move, or the height of the turntable 12 is adjusted so that the subject can be illuminated by lighting. Place it in the center of the created sphere. When the position of the camera rig is corrected, since the center of the turntable 12 must also be moved, moving wheels are attached to the turntable 12 to facilitate position adjustment.

도 13은 본 발명의 일 실시 예에 따른 배경 제거 프로세스를 도시한 도면이다.13 is a diagram illustrating a background removal process according to an embodiment of the present invention.

도 13을 참조하면, 회전반을 이용하여 피사체를 회전시키는 경우, 포토그래메트리 제작에서 배경이 제거되어야 한다. 각각의 카메라는 배경 형태를 학습하여, 픽셀 레벨에서 배경을 제거한다.Referring to FIG. 13 , when a subject is rotated using a rotating disk, the background must be removed in photogrammetry production. Each camera learns the shape of the background and removes it at the pixel level.

배경 제거 방법 수식은 다음과 같다.The background removal method formula is as follows.

배경_키맵 = difference (원본 영상, 배경 영상, threshold)background_keymap = difference (original video, background video, threshold)

배경_제거 영상 = 원본_영상 xor 배경_키맵background_removeimage = original_image xor background_keymap

도 14는 본 발명의 일 실시 예에 따른 포토그래메트리 방식의 3D 체적 객체 생성 프로세스를 도시한 도면이다.14 is a diagram illustrating a process of generating a 3D volume object using a photogrammetry method according to an embodiment of the present invention.

도 14를 참조하면, 다시점 촬영 시스템은 배경이 제거된 영상으로부터 다시점 스테레오(Multi-View Stereo: MVS) 알고리즘을 이용하여 3D 공간 정합을 수행(1410) 하고 포인트 클라우드를 생성한다(1420). 이어서, 다시점 촬영 시스템은 생성된 포인트 클라우드의 정제 과정을 거쳐 메쉬를 생성(1430) 하고, 메쉬에 촬영 영상의 텍스처를 입히는 작업을 진행한다(1440).Referring to FIG. 14 , the multi-view imaging system performs 3D spatial matching using a multi-view stereo (MVS) algorithm from an image from which a background has been removed (1410) and generates a point cloud (1420). Subsequently, the multi-viewpoint shooting system generates a mesh through a process of refining the generated point cloud (1430), and proceeds with an operation of coating the texture of the captured image on the mesh (1440).

도 15는 본 발명의 일 실시 예에 따른 편광 조명을 이용한 반사도 측정 촬영 예를 도시한 도면이고, 도 16은 본 발명의 일 실시 예에 따른 평행 편광과 직교 편광을 이용한 반사광 영상(Specular map) 추출의 예를 도시한 도면이며, 도 17은 본 발명의 일 실시 예에 따른 편광 필터를 이용한 반사광 영상 추출 방법에 관한 도식을 도시한 도면이다.15 is a view showing an example of taking pictures for measuring reflectivity using polarized light according to an embodiment of the present invention, and FIG. 16 is a specular map extraction using parallel polarization and orthogonal polarization according to an embodiment of the present invention. , and FIG. 17 is a diagram showing a method for extracting a reflected light image using a polarization filter according to an embodiment of the present invention.

도 15 내지 도 17을 참조하면, 다시점 촬영 시스템은 가상 객체의 재질을 표현하기 위하여, 촬영 시 편광 필터를 이용하여 반사광 영상을 추출한다. 반사광 영상을 추출하는 방법에 따르면, 빛이 통제된 환경에서 카메라에 편광 필터를 설치하고, 직교 방향의 편광 필터를 장착한 조명과 평행한 방향의 편광 필터를 장착한 조명을 이용하여, 두 번에 걸쳐 촬영한다. 두 영상의 차이에 의하여 난반사가 얼마나 발생하는지 알 수 있으며, 다시점 촬영 시스템은 이를 이용하여 피사체의 영역별 반사도를 측정하여 3D 객체로 생성한다.Referring to FIGS. 15 to 17 , the multi-viewpoint imaging system extracts a reflected light image by using a polarization filter during imaging in order to express the material of a virtual object. According to the method of extracting the reflected light image, a polarizing filter is installed on the camera in a light-controlled environment, and a light with an orthogonal polarizing filter and a light with a parallel polarizing filter are used to generate two images. shoot across It is possible to know how much diffuse reflection occurs by the difference between the two images, and the multi-viewpoint imaging system measures the reflectivity of each area of the subject using this and creates a 3D object.

도 17에서 왼쪽은 조명의 편광 필터와 카메라의 편광 필터의 관계가 90도로 직교한 '직교 편광'(90도)이고, 오른쪽은 조명과 카메라의 편광 필터가 관계가 0도인 '평행 편광' 상태이다. 다시점 촬영 시스템은 직교 편광과 평행 편광 영상을 순차적으로 촬영한 후, 두 영상의 차이에서 반사광 영상을 추출한다. 반사광 영상을 추출하는 수식은 다음과 같다.In FIG. 17, the left side is 'orthogonal polarization' (90 degrees) in which the relationship between the polarization filter of the illumination and the polarization filter of the camera is orthogonal to 90 degrees, and the right side is the 'parallel polarization' state in which the relationship between the lighting and the polarization filter of the camera is 0 degrees. . The multi-view imaging system sequentially captures images of orthogonal polarization and parallel polarization, and then extracts a reflected light image from the difference between the two images. The formula for extracting the reflected light image is as follows.

반사광 영상 = 평행 편광 영상 - 직교 편광 영상Reflected light image = Parallel polarization image - Orthogonal polarization image

도 16에서 왼쪽 첫번째는 평행 편광 영상(A), 왼쪽 두번째는 직교 편광 영상(B)이며, 왼쪽 세번째는 반사광 영상(A-B)이다. 다시점 촬영 시스템은 반사광 영상을 이용하여, 3D 체적 객체의 반사광 영상(specular map)(C)을 생성한다.In FIG. 16, the first from the left is a parallel polarization image (A), the second from the left is an orthogonal polarization image (B), and the third from the left is a reflected light image (A-B). The multi-viewpoint imaging system generates a specular map (C) of the 3D volume object using the specular image.

도 18은 본 발명의 일 실시 예에 따른 다시점 촬영 시스템의 구성을 도시한 도면이다.18 is a diagram showing the configuration of a multi-viewpoint imaging system according to an embodiment of the present invention.

도 18을 참조하면, 다시점 촬영 시스템(1)은 회전반(12), 카메라 리그(6), 영상 처리부(20), 카메라 제어부(22), 조명 제어부(24) 및 회전반 제어부(26)를 포함한다. 영상 처리부(20), 카메라 제어부(22), 조명 제어부(24) 및 회전반 제어부(26)는 서로 물리적으로 분리되거나 통합될 수 있다. 영상 처리부(20), 카메라 제어부(22), 조명 제어부(24) 및 회전반 제어부(26)는 서버 형태일 수 있다.Referring to FIG. 18, the multi-viewpoint imaging system 1 includes a rotating disk 12, a camera rig 6, an image processing unit 20, a camera controller 22, a lighting controller 24, and a rotating disk controller 26. includes The image processing unit 20, the camera control unit 22, the lighting control unit 24, and the turntable control unit 26 may be physically separated from or integrated with each other. The image processing unit 20, the camera control unit 22, the lighting control unit 24, and the turntable control unit 26 may be in the form of a server.

회전반(12)은 피사체가 올려지는 장치로, 올려진 피사체를 회전시킬 수 있다.The rotating plate 12 is a device on which a subject is placed, and can rotate the subject.

다수의 카메라 리그(6)는 회전반(12) 위의 피사체를 둘러쌓는 형태로 형성되고, 회전반(12)에 의해 회전하는 피사체를 촬영하기 위한 다수의 카메라 및 조명이 각각 장착된다. 카메라 리그(6)의 구조는 도 6 내지 도 8을 참조로 하여 전술한 바와 같다.A plurality of camera rigs 6 are formed in a shape surrounding a subject on the rotating disc 12, and a plurality of cameras and lights for photographing a subject rotating by the rotating disc 12 are respectively mounted. The structure of the camera rig 6 is as described above with reference to FIGS. 6 to 8 .

영상 처리부(20)는 카메라 리그(6)의 각 카메라를 통해 촬영된 다시점 영상을 3D 공간 정합 하여 3D 체적 객체를 생성한다. 영상 처리부(20)는 카메라를 통해 촬영된 직교 편광 영상과 평형 편광 영상을 순차적으로 획득한 후, 직교 편광 영상과 평행 편광 영상 간의 차이에서 반사광 영상을 추출하고, 추출된 반사광 영상을 이용하여 3D 체적 객체의 반사광 맵을 생성할 수 있다.The image processing unit 20 creates a 3D volume object by performing 3D spatial matching on multi-view images captured by each camera of the camera rig 6. The image processing unit 20 sequentially acquires the orthogonal polarization image and the parallel polarization image captured by the camera, extracts a specular image from the difference between the orthogonal polarization image and the parallel polarization image, and uses the extracted specular polarization image to obtain a 3D volumetric image. You can create a specular map of an object.

카메라 제어부(22)는 회전반(12)이 미리 설정된 소정의 각도(예를 들어, 360/n)로 회전할 때마다 3D 체적 객체를 생성하기 위한 포토그래메트리 다시점 촬영, 평행 편광 촬영 및 직교 편광 촬영을 순차적으로 수행하도록 각 카메라를 제어한다. 카메라 제어부(22)는 다수의 카메라를 통해 다시점 촬영을 수행하고, 각각의 카메라에 대해 평행 편광 촬영과 직교 편광 촬영을 한 차례씩 촬영하는 순서를 회전반(12)이 360도 모두 회전할 때까지 반복 수행하도록 각 카메라를 제어할 수 있다. 카메라 제어부(22)는 카메라를 원격으로 제어할 수 있다.The camera control unit 22 performs multi-view photogrammetry imaging, parallel polarization imaging, and photogrammetry for generating a 3D volume object whenever the turntable 12 rotates at a predetermined angle (eg, 360/n). Each camera is controlled to sequentially perform orthogonal polarization imaging. The camera control unit 22 performs multi-viewpoint imaging through a plurality of cameras, and sets the sequence of taking parallel polarization imaging and orthogonal polarization imaging one by one for each camera when the turntable 12 rotates 360 degrees. Each camera can be controlled to perform iteratively up to The camera controller 22 may remotely control the camera.

조명 제어부(24)는 카메라 리그(6)에 장착된 조명을 원격 제어한다. 조명 제어부(24)는 포토그래메트리 다시점 촬영 시 전방위 조명의 온오프를 제어하고, 각각의 카메라에 대해 평행 편광 촬영을 위한 평행 편광 조명의 온오프와, 직교 편광 촬영을 위한 직교 편광 조명의 온오프를 원격 제어할 수 있다. 조명 촬영 제어의 연결을 편리하게 하기 위하여, 조명 제어부(24)는 무선통신, 예를 들어, wi-fi를 이용하여 카메라 리그의 조명 제어기를 원격 제어하여 각각의 조명의 켜기 및 끄기를 제어할 수 있다.The lighting controller 24 remotely controls the lighting mounted on the camera rig 6 . The illumination control unit 24 controls on/off of omnidirectional lighting during photogrammetry multi-view shooting, and controls on/off of parallel polarized light for parallel polarization imaging and orthogonal polarization lighting for orthogonal polarization imaging for each camera. On/off can be controlled remotely. In order to conveniently connect the lighting shooting control, the lighting controller 24 remotely controls the lighting controller of the camera rig using wireless communication, for example, wi-fi to control the on and off of each light. there is.

회전반 제어부(26)는 회전반(12)의 회전 및 회전 각도와 높낮이를 원격 제어한다. 회전반(12) 제어의 실시 예는 도 12를 참조로 하여 전술한 바와 같다.The turntable controller 26 remotely controls the rotation, angle, and height of the turntable 12 . An embodiment of controlling the rotating disk 12 is as described above with reference to FIG. 12 .

다시점 촬영 시스템(1)은 암막을 이용한 암실 환경 내부에서 촬영을 진행한다. 편광 조명의 경우, 한 개의 조명이 피사체에 미치는 영향을 촬영해야 하므로, 암실 환경이 필수적이다. 특히 편광 조명의 촬영 영상의 경우, 조명의 밝기가 어두우므로, 셔터 스피드가 길어야 한다.The multi-viewpoint imaging system 1 performs imaging in a dark room environment using a blackout curtain. In the case of polarized light, a darkroom environment is essential because the effect of one light on a subject must be photographed. In particular, in the case of a photographed image of polarized light, since the brightness of the light is dark, the shutter speed must be long.

다시점 촬영 시스템(1)은 회전반 제어 기능, 조명 제어 기능 및 카메라 촬영 기능의 연계를 고려하여, 360/n 각도 방향으로 회전반(12)이 이동할 때마다, 3D 체적 객체의 형상을 생성하기 위한 촬영, 평행 편광(parallel polarizer) 촬영, 직교 편광(cross polarizer) 촬영을 순차적으로 진행할 수 있다.The multi-view imaging system 1 generates the shape of a 3D volume object whenever the turntable 12 moves in the 360/n angular direction in consideration of the linkage of the turntable control function, the lighting control function, and the camera shooting function. Forward shooting, parallel polarization shooting, and cross polarization shooting may be sequentially performed.

도 19는 본 발명의 일 실시 예에 따른 다시점 촬영 시스템의 다시점 촬영 방법의 흐름을 도시한 도면이다.19 is a flowchart illustrating a multi-viewpoint imaging method of a multi-viewpoint imaging system according to an embodiment of the present invention.

도 19를 참조하면, 다시점 촬영 시스템은 각각의 카메라도 원격으로 촬영을 제어한다. 예를 들어, 다시점 촬영 시스템은 회전반이 회전(360/n) 할 때 마다, 3차원 체적 객체 생성을 위한 다시점 촬영을 수행(1910) 하고, 각각의 카메라에 대한 평행 편광과 직교 편광을 한 차례씩 촬영한다(1920, 1930). 이러한 순서로 회전반이 한 바퀴(360도) 돌 때까지 촬영한다.Referring to FIG. 19 , the multi-viewpoint photographing system remotely controls photographing of each camera. For example, the multi-viewpoint imaging system performs multi-viewpoint imaging for generating a 3D volume object (1910) whenever the turntable rotates (360/n), and obtains parallel polarization and orthogonal polarization for each camera. Filmed one at a time (1920, 1930). Take pictures in this order until the turntable rotates once (360 degrees).

3차원 체적 객체 생성을 위한 다시점 촬영(1910)은 전방위 조명 온, 모든 카메 촬영, 전방위 조명 오프 순으로 이루어진다. 평행 편광 촬영(1920)은 카메라 순서대로 평행 편광 조명 온, 해당 카메라 촬영, 평행 편광 조명 오프 순으로 이루어진다. 직교 편광 촬영(1930)은 카메라 순서대로 직교 편광 조명 온, 해당 카메라 촬영, 직교 편광 조명 오프 순으로 이루어진다.Multi-viewpoint photography 1910 for generating a 3D volume object is performed in the order of omnidirectional lighting on, all camera imaging, and omnidirectional lighting off. Parallel polarization photographing 1920 is performed in the order of turning on the parallel polarized light, photographing the corresponding camera, and turning off the parallel polarized light in the order of a camera. Orthogonal polarization photographing 1930 is performed in the order of turning on the orthogonal polarization light, photographing the corresponding camera, and turning off the orthogonal polarization light in the order of a camera.

도 20은 본 발명의 일 실시 예에 따른 가상 소품의 3D 체적 객체 재건(reconstruction)의 합성 프로세스를 도시한 도면이다.20 is a diagram illustrating a synthesis process of 3D volume object reconstruction of virtual props according to an embodiment of the present invention.

도 20을 참조하면, 도 19의 과정을 거쳐 촬영된 영상을 포토그래메트리 소프트웨어의 입력으로 사용하여, 3D 가상 소품을 제작한다. 소품의 3D 체적 객체를 생성하는 순서도는 도 20에 도시된 바와 같다.Referring to FIG. 20 , a 3D virtual prop is produced by using an image taken through the process of FIG. 19 as an input of photogrammetry software. A flowchart of generating a 3D volume object of a prop is shown in FIG. 20 .

다시점 영상 촬영 단계(2000)의 세부 프로세스는 도 19에 전술한 바와 같다.The detailed process of the multi-view image capturing step 2000 is as described above with reference to FIG. 19 .

회전반을 이용하여 소품을 360도 회전시켜 촬영하므로, 배경을 제거하는 과정(2010)을 추가한다. 배경은 피사체 없는 영상을 카메라로 여러 번 촬영하여 배경모델 학습을 시킨다. 이어서, 다시점 촬영 시스템은 피사체를 회전반에 올려놓고 다시점 영상을 촬영한 후, 촬영된 영상에서 학습된 배경모델을 촬영영상과 비교하여, 피사체만 추출한다. 배경이 제거된 다시점 영상에서 특징점 추출을 통한 포토그래메트리 방식으로 3D 체적 객체를 생성한다. 3D 체적 객체 생성 순서는 다음과 같다.Since the prop is photographed by rotating it 360 degrees using a turntable, a process of removing the background (2010) is added. For the background, a background model is learned by taking images without a subject several times with a camera. Subsequently, the multi-viewpoint imaging system places the subject on a rotating disk, captures a multi-viewpoint image, compares the background model learned from the captured image with the captured image, and extracts only the subject. A 3D volume object is created using a photogrammetry method by extracting feature points from a multi-view image from which the background has been removed. The order of creating 3D volume objects is as follows.

다시점 촬영 시스템은 MVS(multi-view stereo) 알고리즘을 이용하여 공간 정보를 추출(2020) 하고, PCD(포인트 클라우드)를 생성(2030) 하고, 3D 메쉬를 생성(2040) 하고, 3D 메쉬의 텍스처를 생성하기 위한 UV map을 생성(2050) 한 후 텍스처를 생성한다(diffuse map, specular map)(2060, 2070).The multi-view imaging system extracts spatial information (2020) using a multi-view stereo (MVS) algorithm, generates a PCD (point cloud) (2030), creates a 3D mesh (2040), and uses a 3D mesh texture After generating a UV map for generating (2050), a texture is created (diffuse map, specular map) (2060, 2070).

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at mainly by its embodiments. Those skilled in the art to which the present invention pertains will be able to understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope will be construed as being included in the present invention.

1 : 다시점 촬영 시스템
6 : 카메라 리그
60 : 지지대
61 : 몸체
62 : 거치대1: Multi-view shooting system
6 : Camera Rig
60: support
61: body
62: cradle

Claims

A rotating plate for rotating the subject while the subject is raised;
A plurality of camera rigs arranged in a form surrounding the subject and equipped with a plurality of cameras each of which photographs the subject rotating by the rotating disk; and
an image processing unit generating a 3D volume object by performing 3D spatial matching on multi-view images captured by each camera; Including,
the camera rig
body;
A number of supports mounted on the body and adjustable in height and distance; and
A cradle located at the end of each support to mount a camera and a light; includes,
A multi-viewpoint imaging system, wherein a camera is equipped with a polarization filter to generate a reflected light image, and illumination includes illumination with an orthogonal direction polarization filter and illumination with a parallel direction polarization filter.

The method of claim 1, wherein each support
A multi-viewpoint shooting system characterized in that the distance between the subject and the camera is adjusted by adjusting the angle of the support through a plurality of joint structures.

The method of claim 1, wherein each holder
A multi-viewpoint shooting system comprising a ball head for a camera for mounting a camera and a ball head for lighting for mounting a light.

The method of claim 1, wherein the camera rig
A multi-viewpoint shooting system comprising a wheel with a stop on the lower part of the body.

delete

The method of claim 1, wherein the image processing unit
After sequentially acquiring the orthogonal polarization image and the parallel polarization image taken from the camera, the specular image is extracted from the difference between the orthogonal polarization image and the parallel polarization image, and the specular light map of the 3D volume object is created using the extracted specular image. multi-view shooting system.

The method of claim 1, wherein the multi-view imaging system
a turntable control unit remotely controlling the rotation, rotation angle, and height of the turntable;
Multi-viewpoint shooting system further comprising a.

The method of claim 1, wherein the multi-view imaging system
a camera control unit for controlling each camera to sequentially perform multi-view photogrammetry imaging, parallel polarization imaging, and orthogonal polarization imaging to generate a 3D volume object whenever the turntable rotates at a predetermined angle;
Multi-viewpoint shooting system further comprising a.

The method of claim 8, wherein the camera controller
Performing multi-viewpoint shooting through multiple cameras, and controlling each camera to repeat the sequence of taking parallel polarization imaging and orthogonal polarization imaging for each camera until the turntable rotates 360 degrees. Features a multi-viewpoint shooting system.

The method of claim 1, wherein the multi-view imaging system
A lighting control unit for remotely controlling lighting;
Multi-viewpoint shooting system further comprising a.

11. The method of claim 10, wherein the lighting control unit
Controls the on/off of omnidirectional lighting during photogrammetry multi-view shooting,
A multi-viewpoint imaging system characterized by remotely controlling on/off of parallel polarization illumination for parallel polarization imaging and on/off of orthogonal polarization illumination for orthogonal polarization imaging for each camera.

In the method for generating a 3D volume object using a multi-viewpoint imaging system,
Multi-view shooting system
A rotating plate for rotating the subject while the subject is raised; and
A plurality of camera rigs arranged in a form surrounding the subject and equipped with a plurality of cameras each of which photographs the subject rotating by the rotating disk; Including,
the camera rig
body;
A number of supports mounted on the body and adjustable in height and distance; and
A cradle located at the end of each support to mount a camera and light; including,
To generate a reflected light image, the camera is equipped with a polarization filter, the illumination includes an illumination with a polarization filter in an orthogonal direction and an illumination with a polarization filter in a parallel direction;
How to create a 3D volume object,
Learning a background model by capturing multiple images without a subject;
photographing a multi-view image using a plurality of cameras while rotating the object placed on the turntable;
removing the background by comparing the captured multi-view image with the learned background model; and
A method of generating a 3D volume object, comprising: generating a 3D volume object by performing 3D space matching on multi-view images from which the background has been removed.

13. The method of claim 12, wherein capturing a multi-view image comprises:
A method of generating a 3D volume object, characterized in that sequentially performing photogrammetry multi-viewpoint imaging, parallel polarization imaging, and orthogonal polarization imaging to generate a 3D volume object whenever the turntable rotates at a predetermined angle.

13. The method of claim 12, wherein creating a 3D volume object comprises:
sequentially acquiring an orthogonal polarization image and a parallel polarization image taken from a camera;
extracting a reflected light image from the difference between the orthogonal polarization image and the parallel polarization image; and
generating a specular light map of the 3D volume object using the extracted specular light image;
A method for generating a 3D volume object, characterized in that it comprises a.