KR20240066108A

KR20240066108A - MPI Layer Geometry Generation Method Using Pixel Ray Crossing

Info

Publication number: KR20240066108A
Application number: KR1020230150690A
Authority: KR
Inventors: 배성준; 강정원; 김수웅; 도지훈; 방건; 이진호; 이하현
Original assignee: 한국전자통신연구원
Priority date: 2022-11-07
Filing date: 2023-11-03
Publication date: 2024-05-14

Abstract

본 개시의 픽셀 레이 크로싱 기반 다시점 MPI 기하생성 방법, 장치 및 기록매체는, 서로 다른 시점을 촬영하는 원본 카메라들에 의해 다시점 이미지를 획득하는 단계, 상기 다시점 이미지를 기초로 MPI(Multi-Plane Image)를 획득하는 단계, 상기 MPI를 기초로, 2D 형태의 아틀라스 영상을 획득하는 단계, 상기 아틀라스 영상을 부호화하여 비트스트림을 획득하는 단계를 포함할 수 있다.The pixel ray crossing-based multi-view MPI geometry generation method, device, and recording medium of the present disclosure include the steps of acquiring multi-view images by original cameras shooting different viewpoints, and generating MPI (Multi-view images) based on the multi-view images. It may include obtaining a Plane Image, acquiring a 2D atlas image based on the MPI, and encoding the atlas image to obtain a bitstream.

Description

Multi-view MPI geometry generation method based on pixel ray crossing {MPI Layer Geometry Generation Method Using Pixel Ray Crossing}

본 개시는 본 발명은 입사각에 따라 다른 여러 개의 컬러값을 가지는 플렌옵틱 다중 평면 3D(3-Dimension) 데이터 (Multi Plane Image Data)를 이용하여 임의의 시점에서 뷰영상을 합성할 수 있도록 하는 MPI(Multi-Plane Image)표현 형식을 생성하는 방법에 대해 기술한다.The present disclosure is an MPI (MPI) method that allows synthesizing a view image from an arbitrary viewpoint using plenoptic multi-plane 3D (3-Dimension) data (Multi Plane Image Data) having several color values depending on the angle of incidence. Describes how to create a Multi-Plane Image (Multi-Plane Image) expression format.

다중 평면 3D데이터 (이하 MPI : Multi Plane Image)란, 3D 공간을 깊이방향 계층으로 재구성하여 각 깊이방향의 면에 공간에서의 픽셀을 위치시킨 형태의 3D 공간 표현 방법이다.Multi-plane 3D data (hereinafter referred to as MPI: Multi Plane Image) is a 3D space expression method that reconstructs 3D space into a depth direction hierarchy and places pixels in the space on each depth direction plane.

MPI 기반 공간표현 방식은 공간을 임의 시점으로 자유롭게 렌더링할 때 상대적으로 높은 화질을 얻을 수 있으면서도 실사 기반의 공간정보를 표현할 때 화질유지의 가장 큰 요소인 고품질의 깊이정보를 필요로 하지 않아 새로운 3D실사 공간 표현 방식으로 다양하게 사용되고 있다. The MPI-based spatial expression method can achieve relatively high image quality when freely rendering space at an arbitrary viewpoint, but does not require high-quality depth information, which is the biggest factor in maintaining image quality when expressing photorealistic spatial information, creating a new 3D photorealistic image. It is used in various ways to express space.

본 개시는, 기하분절현상에 따른 렌더링시 영상왜곡을 발생시키지 않는 새로운 MPI데이터 구성방법을 제공하기 위한 것이다.The present disclosure is intended to provide a new MPI data configuration method that does not cause image distortion during rendering due to geometric segmentation phenomenon.

본 개시는, 기하분절현상에 따른 렌더링시 영상왜곡을 발생시키지 않는 새로운 MPI데이터 구성방법을 제공한다.The present disclosure provides a new MPI data configuration method that does not cause image distortion during rendering due to geometric segmentation phenomenon.

본 개시의 픽셀 레이 크로싱 기반 다시점 MPI 기하생성 방법, 장치 및 기록매체는, 서로 다른 시점을 촬영하는 원본 카메라들에 의해 다시점 이미지를 획득하는 단계, 상기 다시점 이미지를 기초로 MPI(Multi-Plane Image)를 획득하는 단계, 상기 MPI를 기초로, 2D 형태의 아틀라스 영상을 획득하는 단계, 상기 아틀라스 영상을 부호화하여 비트스트림을 획득하는 단계를 포함하되, 상기 MPI의 획득은, 상기 원본 카메라들 각각에 대해 하나의 촬영 물체에 대한 촬영된 공간 내 위치들을 MPI 계층면으로 프로젝션하여 수행되고, 상기 촬영된 공간 내 위치들이 상기 MPI 계층면으로 프로젝션된 위치들은 서로 상이할 수 있다.The pixel ray crossing-based multi-view MPI geometry generation method, device, and recording medium of the present disclosure include the steps of acquiring multi-view images by original cameras shooting different viewpoints, and generating MPI (Multi-view images) based on the multi-view images. Plane Image), acquiring a 2D atlas image based on the MPI, and encoding the atlas image to obtain a bitstream, wherein the acquisition of the MPI involves using the original cameras. This is performed by projecting the captured spatial positions of one photographed object onto the MPI layer plane, and the projected positions of the photographed space locations onto the MPI layer plane may be different from each other.

본 개시의 픽셀 레이 크로싱 기반 다시점 MPI 기하생성 방법, 장치 및 기록매체에 있어서, 상기 MPI 계층면은, 상기 원본 카메라들과 가장 가까운 MPI 계층면일 수 있다.In the pixel ray crossing-based multi-view MPI geometry generation method, device, and recording medium of the present disclosure, the MPI layer surface may be the MPI layer surface closest to the original cameras.

본 개시의 픽셀 레이 크로싱 기반 다시점 MPI 기하생성 방법, 장치 및 기록매체에 있어서, 상기 프로젝션은, 월드 좌표계에서의 원본 카메라의 위치 좌표, 상기 하나의 촬영 물체의 위치 좌표 및 상기 MPI 계층면과 상기 하나의 촬영 물체의 거리를 기초로 수행될 수 있다.In the pixel ray crossing-based multi-view MPI geometry generation method, device, and recording medium of the present disclosure, the projection includes the position coordinates of the original camera in the world coordinate system, the position coordinates of the one photographed object, the MPI layer plane, and the It can be performed based on the distance of one shooting object.

본 개시의 픽셀 레이 크로싱 기반 다시점 MPI 기하생성 방법, 장치 및 기록매체에 있어서, 상기 아틀라스 영상은, RGB 영상과 Alpha 영상으로 구성될 수 있다.In the pixel ray crossing-based multi-view MPI geometry generation method, device, and recording medium of the present disclosure, the atlas image may be composed of an RGB image and an Alpha image.

본 개시에 의하면, 공간내의 기하정보만 고려한 기존의 MPI계층 구성 방법에서 발생하는 기하분절현상에 따른 원영상 왜곡을 해결하여 기하분절현상이 일어나지 않는 MPI 기반 임의뷰 렌더링을 가능하게 한다.According to the present disclosure, original image distortion due to geometric segmentation phenomenon that occurs in the existing MPI layer configuration method that only considers geometric information in space is resolved, and MPI-based random view rendering without geometric segmentation phenomenon is possible.

도 1은 MPI의 데이터 구조를 도시한 도면이다.
도 2는 MPI를 이용하여 임의의 새로운 뷰(Novel Viewpoint)를 렌더링 하는 예를 도시한다.
도 3은 MPI 기반의 부호화 방법을 도시한다.
도 4는 멀티뷰 촬영 이미지를 위한 1D 및 2D 배열 카메라 배치를 도시한다.
도 5는 멀티뷰 이미지로부터 MPI를 생성하는 예를 설명하기 위한 도면이다.
도 6은 다시점 영상의 MPI 데이터에 대한 일 실시예를 도시한다.
도 7은 카메라 3개로 촬영한 원본 영상의 공간 구성을 도시한 도면이다.
도 8은 제1 MPI 계층 프로젝션 방법의 예를 도시한다.
도 9는 제1 MPI 계층 프로젝션 방법에 따른 기하 분절 왜곡을 설명하기 위한 도면이다.
도 10은 제1 MPI 계층 프로젝션 방법에 따른 기하 분절 왜곡의 예를 도시한다.
도 11은 제2 MPI 계층 프로젝션 방법에 대한 순서도를 도시한다.
도 12 및 도 13은 제2 MPI 계층 프로젝션 방법의 예를 도시한다.
도 14는 도 11의 순서도를 설명하기 위한 도면이다.Figure 1 is a diagram showing the data structure of MPI.
Figure 2 shows an example of rendering a random new view (Novel Viewpoint) using MPI.
Figure 3 shows an MPI-based encoding method.
Figure 4 shows 1D and 2D array camera arrangement for multi-view captured images.
Figure 5 is a diagram for explaining an example of generating MPI from a multi-view image.
Figure 6 shows an example of MPI data of a multi-view image.
Figure 7 is a diagram showing the spatial configuration of an original image captured with three cameras.
Figure 8 shows an example of a first MPI layer projection method.
Figure 9 is a diagram for explaining geometric segmental distortion according to the first MPI layer projection method.
Figure 10 shows an example of geometric segmental distortion according to the first MPI layer projection method.
Figure 11 shows a flow chart for the second MPI layer projection method.
12 and 13 show an example of a second MPI layer projection method.
FIG. 14 is a diagram for explaining the flow chart of FIG. 11.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts unrelated to the description are omitted, and similar parts are given similar reference numerals throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to be connected to another part, this includes not only cases where it is directly connected, but also cases where it is electrically connected with another element in between. Additionally, when it is said that a part includes a certain component, this does not mean that other components are excluded, but that other components can be further included, unless specifically stated to the contrary.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.Throughout the specification of the present application, when it is said that a part includes a certain element, this does not mean excluding other elements, but may further include other elements, unless specifically stated to the contrary. As used throughout the specification, the terms ~ (doing) a step or a step of ~ do not mean a step for.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Additionally, terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.In addition, the components appearing in the embodiments of the present invention are shown independently to represent different characteristic functions, and this does not mean that each component is comprised of separate hardware or one software component. That is, for convenience of explanation, each component is listed and described as each component, and at least two of each component may be combined to form one component, or one component may be divided into a plurality of components to perform a function. Integrated embodiments and separate embodiments of each of these components are also included in the scope of the present invention as long as they do not deviate from the essence of the present invention.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.First, the terms used in this application are briefly explained as follows.

이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.The video decoding apparatus (Video Decoding Apparatus), which will be described below, is used in personal computers (PCs), laptop computers, portable multimedia players (PMPs), wireless communication terminals, and smart phones. , may be devices included in server terminals such as TV application servers and service servers, user terminals such as various devices, communication devices such as communication modems for communicating with wired and wireless communication networks, and decoding of images or between screens for decoding. It can refer to a variety of devices equipped with various programs for making predictions on the screen, memory for storing data, and a microprocessor for executing programs to operate and control them.

또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.In addition, the video encoded into a bitstream by the encoder is transmitted in real time or non-real time through wired and wireless communication networks such as the Internet, short-range wireless communication networks, wireless LAN networks, WiBro networks, and mobile communication networks, or through cables, universal serial buses (USB, It can be transmitted to a video decoding device through various communication interfaces such as Universal Serial Bus, decoded, restored to video, and played back.

통상적으로 동영상은 일련의 픽처(Picture)들로 구성될 수 있으며, 각 픽처들은 슬라이스, 타일과 같은 상위레벨의 코딩구조와 CTB, PB, CB 드의 블록(Block) 형태의 코딩유닛(coding unit)으로 분할될 수 있다. 또한 실시예에 따라 코딩구조와 블록은 정사각형이나 직사각형의 형태가 아닌 삼각형, 마름모, 평행사변형 등의 다각형태 뿐 아니라 원, 비정형의 형태로도 분할 될 수 있다. Typically, a video can be composed of a series of pictures, and each picture has a high-level coding structure such as slices and tiles, and a coding unit in the form of blocks such as CTB, PB, and CB. can be divided into Additionally, depending on the embodiment, the coding structure and blocks may be divided into polygonal shapes such as triangles, diamonds, and parallelograms rather than squares or rectangles, as well as circles and irregular shapes.

이하에 기재된 픽처라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.Those skilled in the art will understand that the term picture described below can be used in place of other terms with equivalent meaning, such as image, frame, etc.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the attached drawings. In describing the present invention, duplicate descriptions of the same components will be omitted.

도 1은 MPI의 데이터 구조를 도시한 도면이다.Figure 1 is a diagram showing the data structure of MPI.

본 개시의 MPI(Multi Plane Image) 또는 MPI 기반 공간 표현 방법은, 3D 공간을 깊이(depth) 방향 계층으로 재구성하여 각 깊이 방향의 면에 3D 공간에서의 픽셀을 위치시킨 형태의 3D 공간 표현 방법일 수 있다.The MPI (Multi Plane Image) or MPI-based spatial expression method of the present disclosure is a 3D space expression method in which 3D space is reorganized into a depth direction layer and pixels in the 3D space are placed on each depth direction plane. You can.

도 1의 MPI는, MPI의 일 실시예로, 임의의 위치 카메라(Reference camera position)을 기준으로 깊이에 따라 면 단위의 layer를 구성하고 상기 layer에 픽셀을 위치시킨 것일 수 있다.MPI in FIG. 1 is an example of MPI, and may be formed by configuring a surface-level layer according to depth based on an arbitrary position camera (reference camera position) and placing pixels in the layer.

도 2는 MPI를 이용하여 임의의 새로운 뷰(Novel Viewpoint)를 렌더링 하는 예를 도시한다.Figure 2 shows an example of rendering a random new view (Novel Viewpoint) using MPI.

MPI 기반의 공간 표현 방법은, 각 점이 모두 공간내 임의의 위치에 자유롭게 떠 있는 기존의 포인트 클라우드나 복셀 방식에 비하여, 면(layer) 단위로만 점이 존재하도록 제한함으로써 적은 데이터로도 일정 수준의 운동 시차(motion parallax)를 표현할 수 있다는 장점이 있다. 또한, 임의의 카메라 위치에서 바라본 뷰(view)를 자유롭게 렌더링할 수 있다. 도 2를 참조하면, 기존의 뷰(reference viewpoint)의 렌더링 결과와 다른 새로운 뷰(Novel Viewpoint)를 기준으로 렌더링 결과를 비교하면, 일정 수준의 운동 시차(motion parallax)가 획득될 수 있다.Compared to the existing point cloud or voxel method, where each point is freely floating at a random location in space, the MPI-based spatial expression method limits the presence of points to only a layer, thereby maintaining a certain level of motion parallax even with a small amount of data. It has the advantage of being able to express (motion parallax). Additionally, the view seen from an arbitrary camera position can be freely rendered. Referring to FIG. 2, when the rendering results of an existing view (reference viewpoint) are compared with the rendering results based on a different new view (Novel Viewpoint), a certain level of motion parallax can be obtained.

MPI 기반의 공간 표현 방법은, 머신 러닝(Machine Learning) 등을 이용하여 깊이(Depth) 정보 없이 MPI를 생성하는 다양한 방법이 존재할 수 있다.As for the MPI-based spatial expression method, there may be various methods of generating MPI without depth information using machine learning, etc.

도 3은 MPI 기반의 부호화 방법을 도시한다.Figure 3 shows an MPI-based encoding method.

MPI 기반의 부호화 방법은, 부호화된 MPI 비트스트림 생성 장치(픽셀 레이 크로싱 기반 다시점 MPI 기하생성 장치)에 의해 수행되고, 부호화된 MPI 비트스트림 생성 장치는, 멀티뷰 촬영 이미지를 입력값으로 하고, 비트스트림을 출력값으로 할 수 있다.The MPI-based encoding method is performed by an encoded MPI bitstream generation device (pixel ray crossing-based multi-view MPI geometry generation device), and the encoded MPI bitstream generation device uses a multi-view captured image as an input value, A bitstream can be used as an output value.

MPI 기반의 부호화 방법은, MPI 생성 단계, 아틀라스(Atlas) 영상 생성 단계 및 2D 영상 부호화 단계로 구성될 수 있다.The MPI-based encoding method may consist of an MPI generation step, an Atlas image generation step, and a 2D image encoding step.

MPI 생성 단계는, 부호화된 MPI 비트스트림 생성 장치의 MPI 생성기에 의해 수행되고, 멀티뷰 촬영 이미지를 입력으로 받을 수 있다. 여기서, 멀티뷰 촬영 이미지는 동일 시각의 다양한 위치에서의 촬영한 장면들일 수 있다. The MPI generation step is performed by the MPI generator of the encoded MPI bitstream generation device and can receive a multi-view captured image as input. Here, multi-view captured images may be scenes captured at various locations at the same time.

도 4는 멀티뷰 촬영 이미지를 위한 1D 및 2D 배열 카메라 배치를 도시한다.Figure 4 shows 1D and 2D array camera arrangement for multi-view captured images.

멀티뷰 촬영 이미지는 MxN 개수의 2차원 배열 또는 N개의 1차원 배열된 카메라들의 촬영으로 획득될 수 있다. 도 4A는 1D 배열 카메라 배치의 예를 나타내고, 도 4B는 2D 배열 카메라 배치의 예를 나타낼 수 있다. 상기 카메라 배치들을 통해서 생성된 MPI를 기초로, 상기 카메라 배치의 임의의 카메라 위치의 영상을 렌더링할 수 있다.Multi-view captured images can be obtained by shooting MxN two-dimensional arrays or N one-dimensional array cameras. FIG. 4A may show an example of a 1D array camera arrangement, and FIG. 4B may show an example of a 2D array camera arrangement. Based on the MPI generated through the camera arrangements, an image of an arbitrary camera position of the camera arrangement can be rendered.

아틀라스(Atlas) 영상 생성 단계는, 부호화된 MPI 비트스트림 생성 장치의 아틀라스 영상 생성기에 의해 수행되고, MPI의 부호화를 위해서 MPI의 각 계층의 영상들을 한 장의 아틀라스 영상으로 재구성하는 단계일 수 있다.The atlas image generation step is performed by the atlas image generator of the encoded MPI bitstream generation device, and may be a step of reconstructing the images of each layer of the MPI into a single atlas image for MPI encoding.

아틀라스 영상은 MPI 데이터를 기초로 임의의 카메라 위치의 각 계층의 영상을 한 장의 영상으로 재구성되는 것일 수 있다. 아틀라스 영상 생성 단계에서는, 임의의 카메라 위치의 아틀라스 영상은 물론, 운동 시차를 위한 다른 카메라 위치의 아틀라스 영상도 생성될 수 있다. 즉, 적어도 하나의 시점에 대한 아틀라스 영상이 생성될 수 있다.The atlas image may be one in which images of each layer at an arbitrary camera position are reconstructed into a single image based on MPI data. In the atlas image generation step, not only an atlas image of an arbitrary camera position, but also an atlas image of another camera position for motion parallax can be generated. That is, an atlas image for at least one viewpoint can be generated.

아틀라스 영상은, RGB 영상 1장 및 Alpha 영상 1장으로 구성될 수 있다. 또한, 아틀라스 영상은 RGB 영상 1장 또는 Alpha 영상 1장으로도 구성될 수 있다. 또한, 아틀라스 영상은 RGB 영상 1장 및 Alpha 영상 1장을 기초로 생성된 영상 1장으로 구성될 수 있다. 아틀라스 영상이 RGB 영상 1장 및 Alpha 영상 1장으로 구성된 경우, RGB 영상과 Alpha 영상은 픽셀별로 MPI의 동일 위치를 공유할 수 있다.An atlas image may consist of one RGB image and one Alpha image. Additionally, the atlas image can consist of one RGB image or one Alpha image. Additionally, the atlas image may consist of one RGB image and one image generated based on one Alpha image. If the atlas image consists of one RGB image and one Alpha image, the RGB image and the Alpha image can share the same MPI location for each pixel.

2D 영상 부호화 단계는, 부호화된 MPI 비트스트림 생성 장치의 2D 영상 부호화기에 의해 수행되고, 2D 아틀라스 영상을 부호화하여 비트스트림을 생성하는 단계일 수 있다. 이때, 부호화 방식으로는 HEVC, H.263, VVC 등의 비디오 표준이 활용될 수 있다.The 2D video encoding step may be performed by a 2D video encoder of the encoded MPI bitstream generation device and generate a bitstream by encoding the 2D atlas image. At this time, video standards such as HEVC, H.263, and VVC can be used as the encoding method.

도 5는 멀티뷰 이미지로부터 MPI를 생성하는 예를 설명하기 위한 도면이다. 도 6은 다시점 영상의 MPI 데이터에 대한 일 실시예를 도시한다.Figure 5 is a diagram for explaining an example of generating MPI from a multi-view image. Figure 6 shows an example of MPI data of a multi-view image.

도 5를 참조하면, MPI 생성기에서, 다시점(Multi-viewpoint) 영상으로부터 MPI가 생성될 수 있다. 다시점 영상으로부터 MPI가 생성되는 경우, 도 6과 같이, 여러 개의 원본 영상으로부터 MPI계층 영상이 생성되게 되는데 이때 MPI의 계층(Layer)들은 연속적으로 존재하지 않고 제한된 개수(도 6에서는 D개)를 가질 수 있다. 계층들의 개수가 제한됨의 정도에 따라 공간의 양자화(quantization)에 따른 기하정보 왜곡이 생길 수 있다.Referring to FIG. 5, in the MPI generator, MPI can be generated from a multi-viewpoint image. When an MPI is generated from a multi-view image, an MPI layer image is generated from multiple original images, as shown in Figure 6. At this time, the layers of the MPI do not exist continuously but have a limited number (D in Figure 6). You can have it. Depending on the degree to which the number of layers is limited, geometric information distortion may occur due to quantization of space.

도 7은 카메라 3개로 촬영한 원본 영상의 공간 구성을 도시한 도면이다.Figure 7 is a diagram showing the spatial configuration of an original image captured with three cameras.

구체적으로, 도 7은 원본 카메라 A, B, C 3개로 촬영 물체를 촬영한 경우, 영상의 공간 구성이 어떻게 구성되는지를 도시한다. 이때, 원본 카메라 B의 위치에 해당하는 MPI가 구성되는 예를 도시한다.Specifically, Figure 7 shows how the spatial structure of the image is constructed when an object is photographed with three original cameras A, B, and C. At this time, an example in which the MPI corresponding to the location of the original camera B is configured is shown.

도 7의 각 색깔에 해당하는 '사각형 박스'는 공간 내 촬영 물체(빨간색)의 촬영된 위치(빨간색 원)를 각자의 카메라가 찍은 카메라별 픽셀을 의미할 수 있다.The 'square box' corresponding to each color in FIG. 7 may mean the pixel of each camera that captures the captured position (red circle) of the photographed object (red) in space.

도 7을 참조하면, 동일한 빨간색 원이 원본 카메라 A에서는 노란색 픽셀로 찍히고, 원본 카메라 B에서는 녹색 픽셀로 찍히며, 원본 카메라 C에서는 파란색 픽셀로 찍힐 수 있다. Referring to FIG. 7, the same red circle may be captured as a yellow pixel in source camera A, as a green pixel in source camera B, and as a blue pixel in source camera C.

[제1 MPI 계층 프로젝션 방법][First MPI layer projection method]

공간 내의 기하정보(공간 내의 빨간색 원의 위치)만 고려한 제1 MPI 계층 프로젝션 방법은, 도 7과 같이 서로 다른 원본 카메라들에서 찍힌 픽셀들을 MPI 카메라 위치(도 7에서는 원본 카메라 B의 위치) 기준에서의 MPI 계층 면(도 7의 MPI 계층 N의 점선들)로 프로젝션 시키는 방법일 수 있다.The first MPI layer projection method, which only considers geometric information in space (the position of the red circle in space), divides pixels taken from different original cameras on the basis of the MPI camera position (the position of the original camera B in Figure 7), as shown in Figure 7. This may be a method of projecting onto the MPI layer surface (dotted lines of MPI layer N in FIG. 7).

도 8은 제1 MPI 계층 프로젝션 방법의 예를 도시한다.Figure 8 shows an example of a first MPI layer projection method.

도 8을 참조하면, 주황색 실선처럼 하나의 MPI 계층과 다음 MPI 계층 공간 내에 존재하는 촬영 물체(빨간색)의 모든 기하 위치는 카메라 위치 기준으로 가장 가까운 MPI 계층면으로 프로젝션될 수 있다(공간좌표가 양자화(quantization) 당함).Referring to FIG. 8, as shown by the orange solid line, all geometric positions of the photographed object (red) existing within the space of one MPI layer and the next MPI layer can be projected to the nearest MPI layer plane based on the camera position (space coordinates are quantized) (subject to quantization).

도 9는 제1 MPI 계층 프로젝션 방법에 따른 기하 분절 왜곡을 설명하기 위한 도면이다. 도 10은 제1 MPI 계층 프로젝션 방법에 따른 기하 분절 왜곡의 예를 도시한다.Figure 9 is a diagram for explaining geometric segmental distortion according to the first MPI layer projection method. Figure 10 shows an example of geometric segmental distortion according to the first MPI layer projection method.

도 9와 10을 참조하면, 제1 MPI 계층 프로젝션 방법의 경우, MPI 카메라 위치와 다른 뷰에서 해당 픽셀을 렌더링하면 MPI의 계층의 분절면을 따라서 기하 분절 현상에 따른 원본 영상 왜곡(기하 분절 왜곡)이 발생할 수 있다.Referring to Figures 9 and 10, in the case of the first MPI layer projection method, if the corresponding pixel is rendered in a view different from the MPI camera position, the original image is distorted due to the geometric segmentation phenomenon along the segmentation plane of the MPI layer (geometric segmentation distortion). This can happen.

이러한 기하 분절 왜곡을 제거하기 위해 제2 MPI 계층 프로젝션 방법을 이하 제안한다.To remove this geometric segmentation distortion, a second MPI layer projection method is proposed below.

[제2 MPI 계층 프로젝션 방법][Second MPI layer projection method]

도 11은 제2 MPI 계층 프로젝션 방법에 대한 순서도를 도시한다.Figure 11 shows a flow chart for the second MPI layer projection method.

제2 MPI 계층 프로젝션 방법에서는 촬영물체에 대한 각 카메라에서의 픽셀을 기록할 때 MPI 카메라 기준에서의 공간위치만 고려하여 프로젝션하므로 각 카메라에서의 픽셀이 모두 단일한 MPI계층위의 한 점으로 프로젝션될 수 있다.In the second MPI layer projection method, when recording pixels from each camera for a photographed object, only the spatial location based on the MPI camera is considered for projection, so all pixels from each camera are projected as one point on a single MPI layer. You can.

도 12 및 도 13은 제2 MPI 계층 프로젝션 방법의 예를 도시한다.12 and 13 show an example of a second MPI layer projection method.

제2 MPI 계층 프로젝션 방법에서는 촬영된 픽셀(빨간 원)의 각각 개별 원본 영상 카메라 위치별로 분리하여 공간상에서 MPI 계층과 만나는 위치를 따로 따로 구하고 이렇게 만나는 위치에 각각의 픽셀 값을 기록할 수 있다.In the second MPI layer projection method, each captured pixel (red circle) is separated by each individual original video camera location, the location where it meets the MPI layer in space is separately obtained, and each pixel value can be recorded at this meeting location.

제2 MPI 계층 프로젝션 방법의 프로젝션 위치 결정 방법Projection position determination method of the second MPI layer projection method

도 13에는, 각 원본 카메라별로 MPI계층과 만나는 지점이 어떻게 산출되는지에 대한 식이 도시되어 있다.Figure 13 shows an equation for calculating the point where the MPI layer meets each original camera.

(식1) 은 월드 좌표계에서 촬영된 물체의 위치(빨간색 원)가 원본 영상 카메라에 찍힐 때 구성되는 광선에 대한 직선의 방정식일 수 있다. 여기서, 는 해당 광선의 방향 벡터, 은 월드 좌표계에서 촬영한 카메라의 위치 좌표일 수 있다.(Equation 1) may be the equation of a straight line for the ray constructed when the position of the imaged object (red circle) in the world coordinate system is captured by the original video camera. here, is the direction vector of the corresponding ray, May be the position coordinates of the camera taken in the world coordinate system.

(식2) 는 월드 좌표계에서 MPI 계층 N에 대한 평면의 방정식일 수 있다. 여기서, 은 해당 평면의 법선 벡터, 는 월드 좌표계에서 해당 MPI 계층 N 평면 위의 임의의 한 점일 수 있다.(Equation 2) may be the equation of the plane for the MPI layer N in the world coordinate system. here, is the normal vector of that plane, May be any point on the corresponding MPI layer N plane in the world coordinate system.

(식1)과 (식2)를 이용하여 (식3) 와 같이 (월드 좌표계에서 MPI 계층 평면과 촬영된 광선이 만나는 공간 위치)를 구할 수 있다.Using (Equation 1) and (Equation 2), (Equation 3) together with (The spatial location where the MPI layer plane and the captured ray meet in the world coordinate system) can be obtained.

도 11은 제2 MPI 계층 프로젝션 방법에 대한 순서도를 도시한다. 도 14는 도 11의 순서도를 설명하기 위한 도면이다. 도 11은, 앞의 개념을 이용하여 실제 각 픽셀의 위치를 구하는 방법에 대한 순서도일 수 있다.Figure 11 shows a flow chart for the second MPI layer projection method. FIG. 14 is a diagram for explaining the flow chart of FIG. 11. FIG. 11 may be a flowchart of a method for calculating the actual location of each pixel using the above concept.

도 11을 참조하면, 제1 단계로, MPI의 카메라 원점에서의 Z방향 거리에 따라 MPI 계층 위치에 대한 월드 좌표 이 계산될 수 있다.Referring to Figure 11, in the first step, world coordinates for the MPI layer position according to the Z-direction distance from the MPI camera origin. This can be calculated.

제2 단계로, 원본 카메라 영상의 픽셀 좌표 및 원본 영상 카메라의 원점 위치에 대한 좌표를 월드 좌표계의 좌표로 변환할 수 있다.In the second step, pixel coordinates of the original camera image and the coordinates of the origin position of the original video camera. can be converted to coordinates in the world coordinate system.

제3 단계로, MPI가 구성하고 있는 MPI 계층들 중 픽셀의 월드 좌표가 프로젝션 되는 MPI 계층(도 14의 MPI 계층 N)을 찾을 수 있다.In the third step, the world coordinates of the pixels among the MPI layers that MPI consists of You can find the MPI layer (MPI layer N in FIG. 14) on which is projected.

제4 단계로, 식 에 따라 월드 좌표에서 현재 픽셀이 MPI 계층 N에 프로젝션 되는 위치를 계산할 수 있다. 여기서, 이고, 일 수 있다.As a fourth step, Eq. Where in world coordinates the current pixel is projected to MPI layer N according to can be calculated. here, ego, It can be.

제5 단계로, 구해진 의 위치를 MPI 카메라 좌표계로 변환하고 다시 MPI 계층 영상의 2D 위치로 변환하여 해당 MPI 계층 영상에 픽셀 값을 작성할 수 있다.Step 5, saved By converting the position to the MPI camera coordinate system and then converting it back to the 2D position of the MPI layer image, pixel values can be written in the MPI layer image.

제2 단계부터 제5 단계는, Loop 함수로, 원본 카메라 영상의 촬영된 모든 픽셀에 대해 수행될 수 있다.The second to fifth steps can be performed on all captured pixels of the original camera image using the Loop function.

제6 단계로, 상기 Loop 함수를 거친 결과 값을 기초로, 생성된 모든 MPI 계층 영상을 저장할 수 있다.In the sixth step, all generated MPI layer images can be stored based on the result of the Loop function.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Exemplary methods of the present disclosure are expressed as a series of operations for clarity of explanation, but this is not intended to limit the order in which the steps are performed, and each step may be performed simultaneously or in a different order, if necessary. In order to implement the method according to the present disclosure, other steps may be included in addition to the exemplified steps, some steps may be excluded and the remaining steps may be included, or some steps may be excluded and additional other steps may be included.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.The various embodiments of the present disclosure do not list all possible combinations but are intended to explain representative aspects of the present disclosure, and matters described in the various embodiments may be applied independently or in combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. Additionally, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. For hardware implementation, one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays), general purpose It can be implemented by a processor (general processor), controller, microcontroller, microprocessor, etc.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행 가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 기록매체(non-transitory computer-readable medium)를 포함한다.The scope of the present disclosure is software or machine-executable instructions (e.g., operating system, application, firmware, program, etc.) that allow operations according to the methods of various embodiments to be executed on a device or computer, and such software or It includes a non-transitory computer-readable medium in which instructions, etc. are stored and can be executed on a device or computer.

Claims

Acquiring multi-viewpoint images using original cameras that capture different viewpoints;
Obtaining a multi-plane image (MPI) based on the multi-viewpoint image;
Obtaining a 2D atlas image based on the MPI;
Including the step of encoding the atlas image to obtain a bitstream,
The acquisition of the MPI is performed by projecting the captured spatial positions of one photographed object for each of the original cameras onto the MPI layer plane,
A multi-view MPI geometry generation method based on pixel ray crossing, characterized in that the positions in the captured space and the positions projected onto the MPI layer plane are different from each other.

According to paragraph 1,
The MPI layer surface is the MPI layer surface closest to the original cameras. A multi-view MPI geometry generation method based on pixel ray crossing.

According to paragraph 1,
The projection is performed based on the position coordinates of the original camera in the world coordinate system, the position coordinates of the one photographed object, and the distance between the MPI layer plane and the one photographed object. Multi-view MPI geometry generation based on pixel ray crossing. method.

According to paragraph 1,
The atlas image is a pixel ray crossing-based multi-view MPI geometry generation method consisting of an RGB image and an Alpha image.

An MPI generator that acquires an MPI (Multi-Plane Image) based on multi-view images acquired by original cameras shooting different viewpoints;
An atlas image generator that acquires a 2D atlas image based on the MPI;
Including a 2D video encoder that encodes the atlas image to obtain a bitstream,
The acquisition of the MPI is performed by projecting the captured spatial positions of one photographed object for each of the original cameras onto the MPI layer plane,
A multi-view MPI geometry generation device based on pixel ray crossing, characterized in that the positions in the captured space and the positions projected onto the MPI layer plane are different from each other.

According to clause 5,
The MPI layer surface is the MPI layer surface closest to the original cameras, and the pixel ray crossing-based multi-view MPI geometry generation device.

According to clause 5,
The projection is performed based on the position coordinates of the original camera in the world coordinate system, the position coordinates of the one photographed object, and the distance between the MPI layer plane and the one photographed object. Multi-view MPI geometry generation based on pixel ray crossing. Device.

According to clause 5,
The atlas image is a pixel ray crossing-based multi-view MPI geometry generation device consisting of an RGB image and an Alpha image.

A computer-readable recording medium storing a bitstream generated by a pixel ray crossing-based multi-view MPI geometry generation method,
The pixel ray crossing-based multi-view MPI geometry generation method includes acquiring multi-view images using original cameras that capture different viewpoints;
Obtaining a multi-plane image (MPI) based on the multi-viewpoint image;
Obtaining a 2D atlas image based on the MPI;
Comprising the step of encoding the atlas image to obtain the bitstream,
The acquisition of the MPI is performed by projecting the captured spatial positions of one photographed object for each of the original cameras onto the MPI layer plane,
A computer-readable recording medium, wherein the positions in the captured space and the positions projected onto the MPI layer plane are different from each other.

According to clause 9,
The MPI layer surface is a computer-readable recording medium that is the MPI layer surface closest to the original cameras.

According to clause 9,
The projection is performed based on the position coordinates of the original camera in the world coordinate system, the position coordinates of the one photographed object, and the distance between the MPI layer plane and the one photographed object.

According to clause 9,
The atlas image is a computer-readable recording medium consisting of an RGB image and an Alpha image.