KR20230080285A - Apparatus and method for composing three-dimensional image - Google Patents

Apparatus and method for composing three-dimensional image Download PDF

Info

Publication number
KR20230080285A
KR20230080285A KR1020220054494A KR20220054494A KR20230080285A KR 20230080285 A KR20230080285 A KR 20230080285A KR 1020220054494 A KR1020220054494 A KR 1020220054494A KR 20220054494 A KR20220054494 A KR 20220054494A KR 20230080285 A KR20230080285 A KR 20230080285A
Authority
KR
South Korea
Prior art keywords
axis
distance
axis distance
stereoscopic image
background
Prior art date
Application number
KR1020220054494A
Other languages
Korean (ko)
Other versions
KR102640283B1 (en
Inventor
최홍규
송복득
김성훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/885,020 priority Critical patent/US20230171389A1/en
Publication of KR20230080285A publication Critical patent/KR20230080285A/en
Application granted granted Critical
Publication of KR102640283B1 publication Critical patent/KR102640283B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/293Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

입체 영상 합성 장치는 촬영할 배경을 위치별로 모델링하여 각 위치의 배경 모델을 생성하고, 각 위치의 배경 모델에 기초해서 대응하는 위치에서의 카메라의 제1 축간 거리를 설정하고, 제1 축간 거리에 기초해서 카메라가 촬영한 배경의 입체 영상을 획득하고, 촬영될 객체에 해당하는 위치를 선택하고, 선택한 위치에 설정된 제1 축간 거리에 기초해서 제2 축간 거리를 설정하고, 제2 축간 거리에 기초해서 카메라가 촬영한 객체의 입체 영상을 획득하고, 배경의 입체 영상과 객체의 입체 영상을 합성하는 명령어를 포함할 수 있다.The stereoscopic image synthesizing apparatus models a background to be photographed for each location to generate a background model for each location, sets a first axis-to-axis distance of a camera at a corresponding location based on the background model for each location, and based on the first axis-to-axis distance. Thus, a stereoscopic image of the background captured by the camera is acquired, a position corresponding to the object to be photographed is selected, a second axis distance is set based on the first axis distance set at the selected location, and a second axis distance is set based on the second axis distance. It may include instructions for obtaining a 3D image of an object photographed by a camera and synthesizing a 3D image of a background and a 3D image of the object.

Description

입체 영상 합성 장치 및 방법{APPARATUS AND METHOD FOR COMPOSING THREE-DIMENSIONAL IMAGE}Stereoscopic image synthesis apparatus and method {APPARATUS AND METHOD FOR COMPOSING THREE-DIMENSIONAL IMAGE}

본 발명은 입체 영상 합성 장치 및 방법에 관한 것이다.The present invention relates to a stereoscopic image synthesizing apparatus and method.

사용자들이 온라인상의 콘텐츠에 익숙해지면서 사실과 동일한 형태의 콘텐츠를 요구하고 있다. 이러한 사용자의 요구에 따라, 사실과 흡사한 콘텐츠를 표현하기 위한 홀로그램, 가상 현실(virtual reality, VR), 증강 현실(augmented reality, AR), 혼합 현실(mixed reality, MR), 확장 현실(extended reality, XR) 등의 기술이 제안되고 있다.As users become accustomed to online content, they are demanding content in the same form as the fact. According to these user needs, holograms, virtual reality (VR), augmented reality (AR), mixed reality (MR), and extended reality to express content similar to facts , XR) and the like have been proposed.

특히, 사실과 흡사한 콘텐츠를 제공하기 위해서는 입체 영상을 제작하는 기술이 필요하다. 입체 영상의 제작을 위해 스테레오스코픽(stereoscopic) 3D(three-dimension) 촬영이 사용되지만, 스테레오스코픽 3D 촬영은 2차원 촬영에 비해 복잡하다는 문제점이 있다. 이에 따라, 배경 영상과 객체 영상을 분리하여 촬영한 후에 이들을 결합하는 기술이 제안되었다.In particular, in order to provide content similar to reality, a technique for producing a stereoscopic image is required. Although stereoscopic three-dimensional (3D) imaging is used to produce a stereoscopic image, stereoscopic 3D imaging has a problem in that it is more complicated than 2D imaging. Accordingly, a technique of separately capturing a background image and an object image and then combining them has been proposed.

그러나 기존의 기술은 배경 영상의 설정 위치에 객체 영상의 크기를 설정된 비율로 확대 또는 축소하여서 합성할 뿐, 입체 영상의 중요한 요소인 입체 값을 고려하지 않아서 위화감 없는 입체 영상을 합성하기 어렵다는 문제점이 있다. However, the existing technology only synthesizes by enlarging or reducing the size of the object image at the set position of the background image at a set ratio, but does not consider the stereoscopic value, which is an important element of the stereoscopic image, so it is difficult to synthesize a stereoscopic image without discomfort. .

KRKR 10-1392406 10-1392406 B1B1

본 발명의 어떤 실시예는 배경 영상과 객체 영상을 위화감 없이 합성할 수 있는 입체 영상 합성 장치 및 방법을 제공할 수 있다.Certain embodiments of the present invention may provide a stereoscopic image synthesizing apparatus and method capable of synthesizing a background image and an object image without discomfort.

한 실시예에 따르면, 컴퓨팅 장치에 의해 수행되는 입체 영상 합성 방법이 제공될 수 있다. 상기 입체 영상 합성 방법은 촬영될 배경을 위치별로 모델링하여 각 위치의 배경 모델을 생성하는 단계, 각 위치의 상기 배경 모델에 기초해서 대응하는 위치에서의 카메라의 제1 축간 거리를 설정하는 단계, 상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하는 단계, 촬영될 객체에 해당하는 타겟 위치를 선택하는 단계, 상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하는 단계, 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하는 단계, 그리고 상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성하는 단계를 포함할 수 있다.According to one embodiment, a method of synthesizing a 3D image performed by a computing device may be provided. The 3D image synthesizing method includes the steps of modeling a background to be photographed for each location to create a background model for each location, setting a distance between a first axis of a camera at a corresponding location based on the background model for each location, Obtaining a stereoscopic image of the background photographed by the camera based on a first axis distance, selecting a target position corresponding to an object to be photographed, and selecting the target based on the first axis distance set at the target position Setting a second axis-to-axis distance at a location, acquiring a stereoscopic image of the object photographed by the camera based on the second axis-to-axis distance, and synthesizing a stereoscopic image of the background and a stereoscopic image of the object steps may be included.

어떤 실시예에서, 상기 제1 축간 거리를 설정하는 단계는 상기 카메라의 축간 거리를 변경하는 단계, 상기 변경된 축간 거리에 따른 상기 대응하는 위치에서의 상기 배경 모델의 입체 값을 확인하는 단계, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 변경하는 단계 및 상기 입체 값을 확인하는 단계를 반복하는 단계, 그리고 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제1 축간 거리로 설정하는 단계를 포함할 수 있다.In some embodiments, the setting of the first axis-to-axis distance may include changing the axis-to-axis distance of the camera, checking a three-dimensional value of the background model at the corresponding position according to the changed axis-to-axis distance, Repeating the step of changing the axis-to-axis distance and the step of checking the stereoscopic value until the stereoscopic value is confirmed, and setting the axis-to-axis distance when the optimal stereoscopic value is confirmed as the first axis-to-axis distance steps may be included.

어떤 실시예에서, 상기 입체 영상 합성 방법은 각 위치에서의 상기 제1 축간 거리 및 상기 배경의 입체 영상을 데이터베이스에 저장하는 단계를 더 포함할 수 있다.In some embodiments, the stereoscopic image synthesis method may further include storing the first axis-to-axis distance and the stereoscopic image of the background at each location in a database.

어떤 실시예에서, 상기 제2 축간 거리를 설정하는 단계는 상기 데이터베이스로부터 상기 설정된 위치에 대응하는 상기 제1 축간 거리를 불러오는 단계를 포함할 수 있다.In some embodiments, setting the second axis-to-axis distance may include retrieving the first axis-to-axis distance corresponding to the set position from the database.

어떤 실시예에서, 상기 타겟 위치에서의 상기 제2 축간 거리는 상기 타겟 위치에 설정된 상기 제1 축간 거리와 동일할 수 있다.In some embodiments, the second axis-to-axis distance at the target location may be the same as the first axis-to-axis distance set at the target location.

어떤 실시예에서, 상기 제2 축간 거리를 설정하는 단계는 상기 타겟 위치에서의 상기 객체를 모델링하여 객체 모델을 생성하는 단계, 상기 타겟 위치에 설정된 상기 제1 축간 거리에 따른 상기 객체 모델의 입체 값을 확인하는 단계, 그리고 확인 결과에 기초해서 상기 제2 축간 거리를 설정하는 단계를 포함할 수 있다.In some embodiments, the setting of the second axis-to-axis distance includes generating an object model by modeling the object at the target location, and a three-dimensional value of the object model according to the first axis-to-axis distance set at the target location. It may include the step of confirming, and the step of setting the distance between the second axes based on the check result.

상기 확인 결과에 기초해서 상기 제2 축간 거리를 설정하는 단계는 최적의 입체 값이 확인될 때까지 상기 카메라의 축간 거리를 미세 조정하면서 입체 값을 확인하는 동작을 반복하는 단계, 그리고 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제2 축간 거리로 설정하는 단계를 포함할 수 있다.The step of setting the second axis-to-axis distance based on the check result is the step of repeating the operation of checking the stereoscopic value while finely adjusting the axis-to-axis distance of the camera until the optimum stereoscopic value is confirmed, and the optimal stereoscopic value. and setting the axis-to-axis distance when the value is confirmed as the second axis-to-axis distance.

어떤 실시예에서, 상기 입체 영상 합성 방법은 상기 타겟 위치에서의 상기 제2 축간 거리 및 상기 객체의 입체 영상을 데이터베이스에 저장하는 단계를 더 포함할 수 있다.In some embodiments, the 3D image synthesizing method may further include storing the second axis-to-axis distance at the target location and the 3D image of the object in a database.

본 발명의 다른 실시예에 따르면, 적어도 하나의 명령어를 저장하는 메모리, 그리고 상기 명령어를 실행하는 프로세서를 포함하는 입체 영상 합성 장치가 제공될 수 있다. 상기 명령어를 실행함으로써, 상기 프로세서는 촬영될 배경의 복수의 위치에서의 카메라의 제1 축간 거리를 각각 설정하고, 상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하고, 상기 복수의 위치 중에서 촬영될 객체에 해당하는 타겟 위치를 선택하고, 상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하고, 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하고, 상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성할 수 있다.According to another embodiment of the present invention, a stereoscopic image synthesizing apparatus including a memory for storing at least one command and a processor for executing the command may be provided. By executing the command, the processor sets a first axis-to-axis distance of the camera at a plurality of positions of a background to be captured, respectively, and obtains a stereoscopic image of the background captured by the camera based on the first axis-to-axis distance; , Selecting a target position corresponding to an object to be photographed from among the plurality of positions, setting a second axis-to-axis distance at the target position based on the first axis-to-axis distance set at the target position, and determining the second axis-to-axis distance Based on this, a 3D image of the object photographed by the camera may be obtained, and the 3D image of the background and the 3D image of the object may be synthesized.

어떤 실시예에서, 상기 프로세서는 복수의 위치에서 상기 배경을 각각 모델링하여 복수의 배경 모델을 생성하고, 상기 복수의 배경 모델 중에서 각 위치에 해당하는 배경 모델에 기초해서 대응하는 위치에서의 상기 제1 축간 거리를 설정할 수 있다.In some embodiments, the processor generates a plurality of background models by modeling the background at a plurality of positions, respectively, and the first at a corresponding position based on a background model corresponding to each position among the plurality of background models. The axis distance can be set.

어떤 실시예에서, 상기 프로세서는 각 위치에서 상기 카메라의 축간 거리에 따른 상기 대응하는 위치에서의 상기 배경 모델의 입체 값을 확인하고, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 변경하는 동작을 반복하고, 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제1 축간 거리로 설정할 수 있다.In some embodiments, the processor checks the three-dimensional value of the background model at the corresponding position according to the axis-to-axis distance of the camera at each position, and changes the axis-to-axis distance until an optimal three-dimensional value is identified. may be repeated, and the distance between axes when the optimal three-dimensional value is confirmed may be set as the first distance between axes.

어떤 실시예에서, 상기 프로세서는 상기 타겟 위치에서의 상기 객체를 모델링하여 객체 모델을 생성하고, 상기 타겟 위치에 설정된 상기 제1 축간 거리 및 상기 객체 모델에 기초해서 상기 타겟 위치에서의 상기 제2 축간 거리를 설정할 수 있다.In some embodiments, the processor generates an object model by modeling the object at the target location, and the second axis at the target location based on the first axis-to-axis distance set at the target location and the object model. distance can be set.

어떤 실시예에서, 상기 프로세서는 상기 타겟 위치에서 상기 카메라의 축간 거리에 따른 상기 타겟 위치에서의 상기 객체 모델의 입체 값을 확인하고, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 미세 조정하는 동작을 반복하고, 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제2 축간 거리로 설정할 수 있다.In some embodiments, the processor checks a three-dimensional value of the object model at the target location according to the axis-to-axis distance of the camera at the target location, and fine-tunes the axis-to-axis distance until an optimal stereoscopic value is identified. The operation may be repeated, and the distance between axes when the optimal three-dimensional value is confirmed may be set as the second distance between axes.

본 발명의 또 다른 실시예에 따르면, 컴퓨팅 장치에 의해 수행되는 입체 영상 합성 방법이 제공될 수 있다. 상기 입체 영상 합성 방법은 촬영될 배경의 복수의 위치에서의 카메라의 제1 축간 거리를 각각 설정하는 단계, 상기 복수의 위치 중에서 촬영될 객체에 해당하는 타겟 위치를 선택하는 단계, 상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하는 단계, 그리고 상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상과 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 합성하는 단계를 포함할 수 있다.According to another embodiment of the present invention, a stereoscopic image synthesizing method performed by a computing device may be provided. The stereoscopic image synthesizing method includes setting first axis-to-axis distances of cameras at a plurality of positions of a background to be photographed, selecting a target position corresponding to an object to be photographed from among the plurality of positions, set at the target position. Setting a second axis-to-axis distance at the target position based on the first axis-to-axis distance, and based on the second axis-to-axis distance and the stereoscopic image of the background captured by the camera based on the first axis-to-axis distance A step of synthesizing 3D images of the object photographed by the camera may be included.

도 1은 본 발명의 한 실시예에 따른 입체 영상 합성 시스템의 한 예를 나타내는 도면이다.
도 2는 카메라의 축간 거리와 입체값 사이의 관계를 설명하는 도면이다.
도 3은 본 발명의 한 실시예에 따른 입체 영상 합성 방법의 한 예를 나타내는 흐름도이다.
도 4는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 공간 생성의 한 예를 설명하는 도면이다.
도 5는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 객체 생성의 한 예를 설명하는 도면이다.
도 6는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 영상 합성의 한 예를 설명하는 도면이다.
도 7은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 한 예를 나타내는 도면이다.
1 is a diagram showing an example of a stereoscopic image synthesizing system according to an embodiment of the present invention.
2 is a diagram for explaining the relationship between the distance between axes of cameras and a stereoscopic value.
3 is a flowchart illustrating an example of a method for synthesizing a stereoscopic image according to an embodiment of the present invention.
4 is a diagram explaining an example of generating a 3D space in a 3D image synthesizing method according to an embodiment of the present invention.
5 is a diagram explaining an example of generating a 3D object in a 3D image synthesizing method according to an embodiment of the present invention.
6 is a diagram for explaining an example of stereoscopic image synthesis in the stereoscopic image synthesis method according to an embodiment of the present invention.
7 is a diagram illustrating an example of a computing device according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

아래 설명에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.Expressions written in the singular in the following description may be interpreted in the singular or plural unless explicit expressions such as “one” or “single” are used.

도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.In the flowchart described with reference to the drawings, the order of operations may be changed, several operations may be merged, a certain operation may be divided, and a specific operation may not be performed.

도 1은 본 발명의 한 실시예에 따른 입체 영상 합성 시스템의 한 예를 나타내는 도면이다.1 is a diagram showing an example of a stereoscopic image synthesizing system according to an embodiment of the present invention.

도 1을 참고하면, 입체 영상 합성 시스템은 입체 영상 합성 장치(100) 및 카메라(10)를 포함한다.Referring to FIG. 1 , a stereoscopic image synthesizing system includes a stereoscopic image synthesizing apparatus 100 and a camera 10 .

카메라(10)는 입체 영상을 촬영할 수 있는 카메라이다. 어떤 실시예에서, 카메라는 스테레오스코픽 3D 촬영이 가능한 카메라일 수 있다.The camera 10 is a camera capable of taking stereoscopic images. In some embodiments, the camera may be a camera capable of stereoscopic 3D imaging.

입체 영상 합성 장치(100)는 카메라(10)에서 촬영된 배경 영상과 객체 영상을 합성하여 입체 영상을 생성한다. 입체 영상 합성 장치(100)는 배경 데이터 생성부(110), 객체 데이터 생성부(120), 데이터베이스(130) 및 합성부(140)를 포함한다. 어떤 실시예에서, 입체 영상 합성 장치(100)는 컴퓨팅 장치에 의해 구현될 수 있다.The 3D image synthesis apparatus 100 generates a 3D image by synthesizing a background image and an object image captured by the camera 10 . The stereoscopic image synthesizing apparatus 100 includes a background data generator 110, an object data generator 120, a database 130, and a synthesizer 140. In some embodiments, the stereoscopic image synthesis device 100 may be implemented by a computing device.

배경 데이터 생성부(110)는 촬영할 입체 공간(배경)을 위치별로 분할하고, 각 위치에서 입체 값을 확인하면서 최적의 축간 거리(inter-axial distance, IAD)를 설정한다. 각 위치에서의 배경의 입체 영상을 얻기 위해, 카메라(10)의 축간 거리를 해당 위치에서의 최적의 축간 거리로 설정하고, 카메라(10)가 촬영한 배경의 입체 영상을 획득한다. 배경 데이터 생성부(110)는 각 위치에서의 최적의 축간 거리와 배경의 입체 영상을 데이터베이스(130)에 저장한다. 배경 데이터 생성부(110)는 배경이 분할된 복수의 위치에 대해서 이러한 동작을 반복할 수 있다.The background data generation unit 110 divides the three-dimensional space (background) to be photographed by position, and sets an optimal inter-axial distance (IAD) while checking the three-dimensional value at each position. In order to obtain a 3D image of the background at each position, the axis-to-axis distance of the camera 10 is set to an optimal axis-to-axis distance at the corresponding position, and a 3D image of the background photographed by the camera 10 is obtained. The background data generation unit 110 stores the optimal axis-to-axis distance at each position and the 3D image of the background in the database 130. The background data generating unit 110 may repeat this operation for a plurality of locations where the background is divided.

객체 데이터 생성부(120)는 촬영될 객체에 해당하는 위치를 선택하고, 데이터베이스(130)로부터 선택한 위치에서의 최적의 축간 거리를 불러온다. 객체 데이터 생성부(120)는 선택한 위치에서의 최적의 축간 거리에 기초해서 객체용 축간 거리를 설정하고, 카메라(10)의 축간 거리를 객체용 축간 거리로 설정하고, 카메라(10)가 촬영한 객체의 입체 영상을 획득한다. 어떤 실시예에서, 카메라(10)는 크로마키(chroma-key) 기법으로 객체를 촬영할 수 있다. 객체 데이터 생성부(120)는 선택한 위치에서의 객체용 축간 거리와 객체의 입체 영상을 데이터베이스(130)에 저장한다. 객체 데이터 생성부(110)는 촬영될 복수의 객체에 대해서 이러한 동작을 반복할 수 있다.The object data generation unit 120 selects a position corresponding to an object to be photographed and retrieves an optimal axis-to-axle distance from the database 130 at the selected position. The object data generator 120 sets the axis-to-axis distance for the object based on the optimal axis-to-axis distance at the selected position, sets the axis-to-axis distance of the camera 10 as the axis-to-axis distance for the object, and Obtains a stereoscopic image of an object. In some embodiments, the camera 10 may capture an object using a chroma-key technique. The object data generation unit 120 stores the axis-to-axis distance for the object at the selected location and the stereoscopic image of the object in the database 130. The object data generator 110 may repeat this operation for a plurality of objects to be photographed.

합성부(140)는 배경 데이터 생성부(110)에서 생성한 배경의 입체 영상과 객체 데이터 생성부(120)에서 생성한 객체의 입체 영상을 데이터베이스(130)로부터 불러오고, 배경의 입체 영상과 객체의 입체 영상을 합성하여 최종 입체 영상을 생성한다.The synthesis unit 140 reads the stereoscopic image of the background generated by the background data generator 110 and the stereoscopic image of the object generated by the object data generator 120 from the database 130, and retrieves the stereoscopic image of the background and the object. 3D images are synthesized to generate a final 3D image.

도 2는 카메라의 축간 거리와 입체값 사이의 관계를 설명하는 도면이다.2 is a diagram for explaining the relationship between the distance between axes of cameras and a stereoscopic value.

일반적으로, 사람이 무엇인가를 볼 때 왼쪽과 오른쪽 눈의 간격으로 인해 차이가 있는 이미지를 보게 되며, 이 시각적인 차이가 3차원 효과(입체감)를 만들어 낸다. 입체감이 나타나는 요인은 두 눈의 거리에 따른 양안 시차(binocular parallax), 양안의 폭주각(binocular convergence), 초점 조절, 운동 시차 및 심리적인 요인 등이 있다. 이 경우, 양안 시차는 카메라의 축간 거리에 대응할 수 있다.Generally, when a person sees something, he or she sees a different image due to the distance between the left and right eyes, and this visual difference creates a three-dimensional effect (three-dimensional effect). Factors that produce a three-dimensional effect include binocular parallax according to the distance between the two eyes, binocular convergence, focus control, motion parallax, and psychological factors. In this case, the binocular disparity may correspond to the distance between axes of the camera.

도 2를 참고하면, 눈(210, 220)의 간격(또는 양안 시차)에 대응하는 카메라의 축간 거리에 따른 입체 값을 계산하여 화면(230)에서 원하는 사물(240)이 화면(230)을 기준으로 앞으로 도출되거나 화면(230)을 기준으로 들어가는 입체 영상을 획득할 수 있다. 어떤 실시예에서, 입체 값은 깊이(depth)를 포함할 수 있다.Referring to FIG. 2 , a desired object 240 on the screen 230 is based on the screen 230 by calculating a stereoscopic value according to the distance between the axis of the camera corresponding to the distance between the eyes 210 and 220 (or binocular parallax). It is possible to obtain a 3D image drawn forward or entered based on the screen 230 with . In some embodiments, the solid value may include depth.

이 경우, 입체 값(ZV)은 양안 시차(te), 눈(210)에서 화면(230)까지의 거리(ZD) 및 화면(230)에 표현되는 객체(240)의 크기(P)에 의해 정의되고, 양안 시차(te)는 카메라의 축간 거리로 대체될 수 있다. 예를 들면, 입체 값(ZV)은 수학식 1과 같이 정의될 수 있다.In this case, the stereoscopic value (Z V ) is binocular parallax (t e ), the distance from the eye 210 to the screen 230 (Z D ), and the size (P) of the object 240 displayed on the screen 230 , and the binocular parallax (t e ) can be replaced by the inter-axis distance of the camera. For example, the three-dimensional value (Z V ) may be defined as in Equation 1.

Figure pat00001
Figure pat00001

따라서, 축간 거리에 따른 입체 값이 계산될 수 있으므로, 축간 거리를 설정함으로써 객체(240)가 화면(230)을 기준으로 들어가는 영상(입체 값이 양의 값) 또는 화면을 기준으로 나오는 영상(입체 값이 음의 값)을 획득할 수 있다. 아래에서는 축간 거리에 기초해서 입체 영상을 합성하는 방법에 대해서 도 3 내지 도 6을 참고로 하여 설명한다.Therefore, since a stereoscopic value can be calculated according to the axis-to-axis distance, by setting the axis-to-axis distance, an image of the object 240 entering the screen 230 (positive value) or an image coming out of the screen (stereoscopic value is a positive value) value can be negative). Hereinafter, a method of synthesizing a stereoscopic image based on the axis distance will be described with reference to FIGS. 3 to 6 .

도 3은 본 발명의 한 실시예에 따른 입체 영상 합성 방법의 한 예를 나타내는 흐름도이다. 도 4는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 공간 생성의 한 예를 설명하는 도면이며, 도 5는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 객체 생성의 한 예를 설명하는 도면이며, 도 6는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 영상 합성의 한 예를 설명하는 도면이다.3 is a flowchart illustrating an example of a method for synthesizing a stereoscopic image according to an embodiment of the present invention. 4 is a diagram for explaining an example of generating a 3D space in the 3D image synthesis method according to an embodiment of the present invention, and FIG. 5 is an example of 3D object creation in the 3D image synthesis method according to an embodiment of the present invention. FIG. 6 is a diagram for explaining an example of synthesizing a stereoscopic image in a method for synthesizing a stereoscopic image according to an embodiment of the present invention.

도 3 및 도 4를 참고하면, 입체 영상 합성 장치는 촬영할 공간의 배경의 입체 영상 및 위치별 축간 거리를 획득한다. 구체적으로, 입체 영상 합성 장치는 배경을 위치별로 분할하고, 위치별로 배경의 입체 영상을 모델링한다(S311). 어떤 실시예에서, 입체 영상 합성 장치는 주지의 입체 모델링 알고리즘 또는 프로그램을 사용하여 입체 영상을 모델링할 수 있다. 예를 들면, 입체 영상 합성 장치는 상용 입체 모델링 프로그램인 3D MAX를 사용해서 입체 영상을 모델링할 수 있다.Referring to FIGS. 3 and 4 , the apparatus for synthesizing a stereoscopic image obtains a stereoscopic image of a background of a space to be photographed and an axis-to-axis distance for each position. Specifically, the 3D image synthesizing apparatus divides the background by location and models the 3D image of the background by location (S311). In some embodiments, the 3D image synthesizing apparatus may model a 3D image using a well-known 3D modeling algorithm or program. For example, the 3D image synthesis apparatus may model a 3D image using 3D MAX, a commercial 3D modeling program.

입체 영상 합성 장치는 각 위치의 배경 모델에 임의의 축간 거리를 설정하고(S312), 설정한 축간 거리에 따른 해당 위치에서의 배경 모델의 입체 값을 확인한다(S313). 입체 영상 합성 장치는 최적의 입체 값이 확인될 때까지 축간 거리를 변경하면서 입체 값을 확인하는 동작을 반복할 수 있다(S314). 어떤 실시예에서, 입체 영상 합성 장치는 축간 거리의 최소 값을 축간 거리의 초기 값으로 설정한 후에, 축간 거리를 증가시키면서 입체 값을 확인하는 동작을 반복할 수 있다. 어떤 실시예에서, 입체 영상 합성 장치는 축간 거리의 최대 값을 축간 거리의 초기 값으로 설정한 후에, 축간 거리를 감소시키면서 입체 값을 확인하는 동작을 반복할 수 있다. 이에 따라, 입체 영상 합성 장치는 위치별로 최적화된 축간 거리 및 입체 공간(즉, 입체 배경 모델)을 획득할 수 있다.The stereoscopic image synthesis apparatus sets an arbitrary inter-axis distance to the background model at each position (S312), and checks the stereoscopic value of the background model at the corresponding position according to the set inter-axis distance (S313). The apparatus for synthesizing stereoscopic images may repeat an operation of confirming a stereoscopic value while changing an axis distance until an optimal stereoscopic value is identified (S314). In some embodiments, the apparatus for synthesizing a stereoscopic image may set a minimum value of the axis-to-axis distance as an initial value of the axis-to-axis distance, and then repeat an operation of confirming the stereoscopic value while increasing the axis-to-axis distance. In some embodiments, after setting the maximum value of the axis-to-axis distance as the initial value of the axis-to-axis distance, the stereoscopic image synthesizing apparatus may repeat an operation of confirming the stereoscopic value while decreasing the axis-to-axis distance. Accordingly, the 3D image synthesis apparatus may obtain an axis-to-axis distance and a 3D space (ie, a 3D background model) optimized for each location.

입체 영상 합성 장치는 모든 위치의 배경 모델에 대해서 최적의 축간 거리를 설정한 후에, 최적의 축간 거리에 기초해서 촬영된 배경의 입체 영상을 획득한다(S315). 어떤 실시예에서, 입체 영상 합성 장치는 최적의 입체 값이 확인될 때의 축간 거리를 최적의 축간 거리로 설정할 수 있다. 어떤 실시예에서, 입체 영상 합성 장치는 카메라의 축간 거리를 최적의 축간 거리로 설정하고, 카메라에 의해 촬영된 배경의 입체 영상을 카메라로부터 획득할 수 있다. 입체 영상 합성 장치는 각 위치에서의 최적의 축간 거리 및 촬영된 배경의 입체 영상 데이터를 데이터베이스에 저장한다(S316).The 3D image synthesizing apparatus obtains a 3D image of a photographed background based on the optimal inter-axis distance after setting the optimal axis-to-axis distance for the background model at all locations (S315). In some embodiments, the stereoscopic image synthesizing apparatus may set an inter-axis distance when an optimal stereoscopic value is identified as an optimal inter-axis distance. In some embodiments, the 3D image synthesizing apparatus may set the axis-to-axis distance of the camera to an optimal axis-to-axis distance, and acquire a stereoscopic image of a background photographed by the camera from the camera. The stereoscopic image synthesizing device stores the optimal axis-to-axis distance at each position and the stereoscopic image data of the photographed background in a database (S316).

이러한 과정을 통해서, 입체 영상 합성 장치는 입체 값을 가장 잘 나타낼 수 있는 위치별 축간 거리와 입체 값이 가장 잘 나타난 배경 화면의 입체 영상을 획득할 수 있다.Through this process, the 3D image synthesizing apparatus can acquire the 3D image of the background screen where the 3D value is most well expressed and the axis-to-axis distance for each position that can best represent the 3D value.

도 3 및 도 5를 참고하면, 입체 영상 합성 장치는 데이터베이스에 저장된 각 위치의 축간 거리에 기초해서 객체 영상을 획득한다. 구체적으로, 입체 영상 합성 장치는 촬영될 객체에 해당하는 위치를 선택한다(S321). 입체 영상 합성 장치는 선택한 위치에 해당하는 축간 거리를 데이터베이스로부터 불러온다(S322). 입체 영상 합성 장치는 데이터베이스로부터 불러온 축간 거리에 기초해서 객체용 축간 거리를 결정하고(S323-S325), 객체용 축간 거리에 기초해서 촬영된 객체의 입체 영상을 획득한다(S326). 어떤 실시예에서, 입체 영상 합성 장치는 카메라의 축간 거리를 객체용 축간 거리로 설정하고, 카메라에 의해 촬영된 객체의 입체 영상을 카메라로부터 획득할 수 있다. 입체 영상 합성 장치는 각 위치에 해당하는 객체의 입체 영상을 데이터베이스에 저장한다(S327).Referring to FIGS. 3 and 5 , the stereoscopic image synthesis apparatus obtains an object image based on the axis-to-axis distance of each position stored in a database. Specifically, the stereoscopic image synthesizing apparatus selects a position corresponding to an object to be photographed (S321). The stereoscopic image synthesizing apparatus reads the axis-to-axis distance corresponding to the selected position from the database (S322). The stereoscopic image synthesizing apparatus determines an axis-to-axis distance for an object based on the axis-to-axis distance retrieved from the database (S323 to S325), and obtains a stereoscopic image of the photographed object based on the axis-to-axis distance for the object (S326). In some embodiments, the 3D image synthesizing apparatus may set an axis-to-axis distance of a camera as an axis-to-axis distance for an object, and acquire a stereoscopic image of an object photographed by the camera from the camera. The 3D image synthesizing device stores the 3D image of the object corresponding to each position in the database (S327).

어떤 실시예에서, 객체용 축간 거리는 데이터베이스로부터 불러온 축간 거리와 동일할 수 있다. 어떤 실시예에서, 입체 영상 합성 장치는 데이터베이스로부터 불러온 축간 거리에 기초해서 객체용 축간 거리를 설정할 수 있다. 어떤 실시예에서, 선택한 위치에서 객체를 모델링하고, 데이터베이스로부터 불러온 축간 거리에 따른 해당 위치에서의 객체 모델의 입체 값을 확인할 수 있다(S323). 입체 영상 합성 장치는 최적의 입체 값이 확인될 때까지 축간 거리를 미세 조정하면서 입체 값을 확인하는 동작을 반복할 수 있다(S324, S325). 이러한 과정의 반복을 통해 입체 영상 합성 장치는 해당 위치의 객체의 최적의 축간 거리(객체용 축간 거리) 및 최적화된 입체 객체 모델을 설정할 수 있다. 어떤 실시예에서, 입체 영상 합성 장치는 최적의 입체 값이 확인될 때의 축간 거리를 최적의 객체용 축간 거리로 설정할 수 있다. 입체 영상 합성 장치는 각 위치에 해당하는 객체용 축간 거리를 데이터베이스에 저장할 수 있다(S327).In some embodiments, the axis-to-axis distance for the object may be the same as the axis-to-axis distance retrieved from the database. In some embodiments, the 3D image synthesis apparatus may set the axis-to-axis distance for the object based on the axis-to-axis distance retrieved from the database. In some embodiments, an object may be modeled at the selected location, and a three-dimensional value of the object model at the location according to the axis-to-axis distance read from the database may be checked (S323). The apparatus for synthesizing stereoscopic images may repeat an operation of confirming a stereoscopic value while finely adjusting an axis-to-axis distance until an optimal stereoscopic value is identified (S324 and S325). Through repetition of this process, the 3D image synthesizing apparatus can set the optimal axis-to-axis distance (axis-to-axis distance for objects) of the object at the corresponding position and an optimized 3D object model. In some embodiments, the stereoscopic image synthesizing apparatus may set an inter-axis distance when an optimal stereoscopic value is identified as an optimal object-axis distance. The stereoscopic image synthesizing apparatus may store the distance between axes for objects corresponding to each position in a database (S327).

도 3 및 도 6을 참고하면, 입체 영상 합성 장치는 위치를 선택하고, 데이터베이스에 저장된 선택한 위치에 해당하는 배경의 입체 영상과 객체의 입체 영상을 합성한다(S331). 입체 영상 합성 장치는 복수의 위치에 대해서 배경의 입체 영상과 객체의 입체 영상을 합성하는 과정을 반복하여서 최종 입체 영상을 획득한다(S333). 어떤 실시예에서, 입체 영상 합성 장치는 배경의 입체 영상과 객체의 입체 영상을 합성할 때, 배경의 입체 영상과 객체의 입체 영상의 입체 값을 다시 확인할 수 있다(S332).Referring to FIGS. 3 and 6 , the 3D image synthesizing device selects a location and synthesizes a 3D image of a background corresponding to the selected location stored in a database and a 3D image of an object (S331). The 3D image synthesis apparatus acquires a final 3D image by repeating a process of synthesizing a 3D image of a background and a 3D image of an object at a plurality of positions (S333). In some embodiments, when synthesizing the background 3D image and the 3D image of the object, the apparatus for synthesizing 3D images may check the 3D values of the 3D image of the background and the 3D image of the object again (S332).

이러한 과정을 통해서, 입체 값에서 위화감 없는 입체 영상이 생성될 수 있다. 또한, 위치별로 최적의 카메라의 축간 거리를 설정할 수 있으므로, 실제 촬영 환경에서 촬영 변수의 설정을 최소화할 수 있다. 따라서, 입체 영상의 전문 제작자뿐만 아니라 일반인도 쉽게 입체 영상 콘텐츠를 생성할 수 있다. 예를 들면, 공연장의 입체 영상과 공연의 입체 영상을 합성함으로써 사용자가 선택한 공연장에서 사용자가 원하는 공연이 재생되는 입체 영상이 생성될 수 있다.Through this process, a stereoscopic image without a sense of incongruity in stereoscopic values can be created. Also, since it is possible to set the optimal camera-axis distance for each position, it is possible to minimize the setting of shooting variables in an actual shooting environment. Accordingly, not only professional producers of 3D images but also ordinary people can easily create 3D image contents. For example, a 3D image in which a performance desired by a user is reproduced in a performance hall selected by a user may be generated by synthesizing a 3D image of a performance hall and a 3D image of the performance.

다음, 본 발명의 한 실시예에 따른 입체 영상 합성 장치 또는 입체 영상 합성 방법을 구현할 수 있는 예시적인 컴퓨팅 장치에 대하여 도 7을 참고로 하여 설명한다.Next, an exemplary computing device capable of implementing a 3D image synthesizing device or a 3D image synthesizing method according to an embodiment of the present invention will be described with reference to FIG. 7 .

도 7은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 한 예를 나타내는 도면이다.7 is a diagram illustrating an example of a computing device according to an embodiment of the present invention.

도 7을 참고하면, 컴퓨팅 장치는 프로세서(710), 메모리(720), 저장 장치(730), 통신 인터페이스(740) 및 버스(750)를 포함한다. 컴퓨팅 장치는 다른 범용적인 구성 요소를 더 포함할 수 있다.Referring to FIG. 7 , the computing device includes a processor 710, a memory 720, a storage device 730, a communication interface 740, and a bus 750. The computing device may further include other general-purpose components.

프로세서(710)는 컴퓨팅 장치의 각 구성의 전반적인 동작을 제어한다. 프로세서(710)는 CPU(central processing unit), MPU(microprocessor unit), MCU(micro controller unit), GPU(graphic processing unit) 등의 다양한 프로세싱 유닛 중 적어도 하나로 구현될 수 있으며, 병렬 프로세싱 유닛으로 구현될 수도 있다. 또한, 프로세서(710)는 위에서 설명한 입체 영상 합성 방법을 실행하기 위한 프로그램에 대한 연산을 수행할 수 있다.The processor 710 controls the overall operation of each component of the computing device. The processor 710 may be implemented as at least one of various processing units such as a central processing unit (CPU), a microprocessor unit (MPU), a micro controller unit (MCU), and a graphic processing unit (GPU), and may be implemented as a parallel processing unit. may be Also, the processor 710 may perform an operation on a program for executing the 3D image synthesizing method described above.

메모리(720)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(720)는 위에서 설명한 입체 영상 합성 방법을 실행하기 위하여 저장 장치(730)로부터 컴퓨터 프로그램을 로드할 수 있다. 저장 장치(730)는 프로그램을 비임시적으로 저장할 수 있다. 저장 장치(730)는 비휘발성 메모리로 구현될 수 있다. 저장 장치(730)는 데이터베이스를 저장할 수 있다.Memory 720 stores various data, commands and/or information. The memory 720 may load a computer program from the storage device 730 to execute the 3D image synthesizing method described above. The storage device 730 may non-temporarily store the program. The storage device 730 may be implemented as a non-volatile memory. The storage device 730 may store a database.

통신 인터페이스(740)는 컴퓨팅 장치의 무선 통신을 지원한다.The communication interface 740 supports wireless communication of the computing device.

버스(750)는 컴퓨팅 장치의 구성 요소간 통신 기능을 제공한다. 버스(750)는 주소 버스(address bus), 데이터 버스(data bus) 및 제어 버스(control bus) 등 다양한 형태의 버스로 구현될 수 있다.Bus 750 provides communication between components of a computing device. The bus 750 may be implemented with various types of buses, such as an address bus, a data bus, and a control bus.

컴퓨터 프로그램은 메모리(720)에 로드될 때 프로세서(710)로 하여금 입체 영상 합성 방법을 수행하도록 하는 명령어(instructions)를 포함할 수 있다. 즉, 프로세서(710)는 명령어를 실행함으로써, 입체 영상 합성 방법을 수행할 수 있다.The computer program may include instructions that, when loaded into the memory 720, cause the processor 710 to perform a stereoscopic image synthesis method. That is, the processor 710 may perform a stereoscopic image synthesizing method by executing a command.

위에서 설명한 입체 영상 합성 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 컴퓨터 프로그램으로 구현될 수 있다. 한 실시예에서, 컴퓨터가 읽을 수 있는 매체는 이동형 기록 매체이거나 고정식 기록 매체일 수 있다. 다른 실시예에서, 컴퓨터가 읽을 수 있는 매체에 기록된 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 다른 컴퓨팅 장치에 설치되어 실행될 수 있다.The stereoscopic image synthesizing method described above may be implemented as a computer readable computer program on a computer readable medium. In one embodiment, the computer readable medium may be a removable recording medium or a fixed recording medium. In another embodiment, a computer program recorded on a computer-readable medium may be transmitted to another computing device through a network such as the Internet, and may be installed and executed in the other computing device.

어떤 실시예에서, 컴퓨터 프로그램은 촬영할 배경을 위치별로 모델링하여 각 위치의 배경 모델을 생성하고, 각 위치의 상기 배경 모델에 기초해서 대응하는 위치에서의 카메라의 제1 축간 거리를 설정하고, 상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하고, 촬영될 객체에 해당하는 위치를 선택하고, 상기 선택한 위치에 설정된 상기 제1 축간 거리에 기초해서 제2 축간 거리를 설정하고, 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하고, 상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성하는 명령어를 포함할 수 있다.In some embodiments, the computer program models a background to be photographed for each location to generate a background model for each location, sets a distance between a first axis of a camera at a corresponding location based on the background model for each location, and sets the first axis distance of the camera at the corresponding location. Acquire a stereoscopic image of the background captured by the camera based on the first axis distance, select a position corresponding to an object to be photographed, and set a second axis distance based on the first axis distance set at the selected position and acquiring a 3D image of the object photographed by the camera based on the second axis distance, and synthesizing the 3D image of the object with the 3D image of the background.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims are also included in the scope of the present invention. that fall within the scope of the right.

Claims (14)

컴퓨팅 장치에 의해 수행되는 입체 영상 합성 방법으로서,
촬영될 배경을 위치별로 모델링하여 각 위치의 배경 모델을 생성하는 단계,
각 위치의 상기 배경 모델에 기초해서 대응하는 위치에서의 카메라의 제1 축간 거리를 설정하는 단계,
상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하는 단계,
촬영될 객체에 해당하는 타겟 위치를 선택하는 단계,
상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하는 단계,
상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하는 단계, 그리고
상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성하는 단계
를 포함하는 입체 영상 합성 방법.
A stereoscopic image synthesizing method performed by a computing device,
Creating a background model for each location by modeling the background to be photographed by location;
Setting a first axis distance of a camera at a corresponding position based on the background model at each position;
Obtaining a stereoscopic image of the background captured by the camera based on the first axis-to-axis distance;
Selecting a target location corresponding to an object to be photographed;
Setting a second axis-to-axis distance at the target location based on the first axis-to-axis distance set at the target location;
obtaining a stereoscopic image of the object photographed by the camera based on the second axis-to-axis distance; and
Synthesizing a 3D image of the background and a 3D image of the object
Stereoscopic image synthesis method comprising a.
제1항에서,
상기 제1 축간 거리를 설정하는 단계는
상기 카메라의 축간 거리를 변경하는 단계,
상기 변경된 축간 거리에 따른 상기 대응하는 위치에서의 상기 배경 모델의 입체 값을 확인하는 단계,
최적의 입체 값이 확인될 때까지 상기 축간 거리를 변경하는 단계 및 상기 입체 값을 확인하는 단계를 반복하는 단계, 그리고
상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제1 축간 거리로 설정하는 단계
를 포함하는 입체 영상 합성 방법.
In paragraph 1,
Setting the first axis-to-axis distance
Changing the axis-to-axis distance of the camera;
Checking the three-dimensional value of the background model at the corresponding position according to the changed axis-to-axis distance;
Repeating the step of changing the axis-to-axis distance and the step of checking the stereoscopic value until an optimum stereoscopic value is identified, and
Setting the axis-to-axis distance as the first axis-to-axis distance when the optimal three-dimensional value is confirmed
Stereoscopic image synthesis method comprising a.
제1항에서,
각 위치에서의 상기 제1 축간 거리 및 상기 배경의 입체 영상을 데이터베이스에 저장하는 단계를 더 포함하는 입체 영상 합성 방법.
In paragraph 1,
The stereoscopic image synthesis method further comprising storing the first axis-to-axis distance and the stereoscopic image of the background at each position in a database.
제3항에서,
상기 제2 축간 거리를 설정하는 단계는 상기 데이터베이스로부터 상기 설정된 위치에 대응하는 상기 제1 축간 거리를 불러오는 단계를 포함하는 입체 영상 합성 방법.
In paragraph 3,
The step of setting the second axis-to-axis distance includes reading the first axis-to-axis distance corresponding to the set position from the database.
제1항에서,
상기 타겟 위치에서의 상기 제2 축간 거리는 상기 타겟 위치에 설정된 상기 제1 축간 거리와 동일한, 입체 영상 합성 방법.
In paragraph 1,
The second axis-to-axis distance at the target position is equal to the first axis-to-axis distance set at the target position.
제1항에서,
상기 제2 축간 거리를 설정하는 단계는
상기 타겟 위치에서의 상기 객체를 모델링하여 객체 모델을 생성하는 단계,
상기 타겟 위치에 설정된 상기 제1 축간 거리에 따른 상기 객체 모델의 입체 값을 확인하는 단계, 그리고
확인 결과에 기초해서 상기 제2 축간 거리를 설정하는 단계
를 포함하는 입체 영상 합성 방법.
In paragraph 1,
The step of setting the distance between the second axis
generating an object model by modeling the object at the target location;
Checking a three-dimensional value of the object model according to the first axis-to-axis distance set at the target location; and
Setting the second axis-to-axis distance based on the confirmation result
Stereoscopic image synthesis method comprising a.
제6항에서,
상기 확인 결과에 기초해서 상기 제2 축간 거리를 설정하는 단계는
최적의 입체 값이 확인될 때까지 상기 카메라의 축간 거리를 미세 조정하면서 입체 값을 확인하는 동작을 반복하는 단계, 그리고
상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제2 축간 거리로 설정하는 단계
를 포함하는 입체 영상 합성 방법.
In paragraph 6,
Setting the second axis-to-axis distance based on the confirmation result
Repeating the operation of checking the stereoscopic value while finely adjusting the distance between axes of the camera until the optimal stereoscopic value is confirmed; and
Setting the axis-to-axis distance as the second axis-to-axis distance when the optimal three-dimensional value is confirmed
Stereoscopic image synthesis method comprising a.
제1항에서,
상기 타겟 위치에서의 상기 제2 축간 거리 및 상기 객체의 입체 영상을 데이터베이스에 저장하는 단계를 더 포함하는 입체 영상 합성 방법.
In paragraph 1,
The method of synthesizing a stereoscopic image further comprising storing the second axis-to-axis distance at the target location and the stereoscopic image of the object in a database.
적어도 하나의 명령어를 저장하는 메모리, 그리고
상기 명령어를 실행하는 프로세서를 포함하며,
상기 명령어를 실행함으로써, 상기 프로세서는
촬영될 배경의 복수의 위치에서의 카메라의 제1 축간 거리를 각각 설정하고,
상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하고,
상기 복수의 위치 중에서 촬영될 객체에 해당하는 타겟 위치를 선택하고,
상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하고,
상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하고,
상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성하는
입체 영상 합성 장치.
a memory that stores at least one instruction; and
A processor for executing the instructions;
By executing the instructions, the processor
Setting the first axis-to-axis distances of the cameras at a plurality of positions of the background to be photographed, respectively;
Obtaining a stereoscopic image of the background captured by the camera based on the first axis-to-axis distance;
Selecting a target location corresponding to an object to be photographed from among the plurality of locations;
Setting a second axis-to-axis distance at the target position based on the first axis-to-axis distance set at the target position;
Obtaining a stereoscopic image of the object photographed by the camera based on the second axis-to-axis distance;
synthesizing a stereoscopic image of the background and a stereoscopic image of the object
Stereoscopic image synthesizer.
제9항에서,
상기 프로세서는
복수의 위치에서 상기 배경을 각각 모델링하여 복수의 배경 모델을 생성하고,
상기 복수의 배경 모델 중에서 각 위치에 해당하는 배경 모델에 기초해서 대응하는 위치에서의 상기 제1 축간 거리를 설정하는
입체 영상 합성 장치.
In paragraph 9,
The processor
Creating a plurality of background models by modeling the background at a plurality of locations, respectively;
Setting the first axis-to-axis distance at a corresponding position based on a background model corresponding to each position among the plurality of background models
Stereoscopic image synthesizer.
제10항에서,
상기 프로세서는
각 위치에서 상기 카메라의 축간 거리에 따른 상기 대응하는 위치에서의 상기 배경 모델의 입체 값을 확인하고, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 변경하는 동작을 반복하고, 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제1 축간 거리로 설정하는
입체 영상 합성 장치.
In paragraph 10,
The processor
The three-dimensional value of the background model at the corresponding position according to the axis-to-axis distance of the camera at each position is checked, and the operation of changing the axis-to-axis distance is repeated until the optimum stereoscopic value is confirmed, and the optimal stereoscopic value is determined. Setting the axis-to-axis distance when the value is confirmed as the first axis-to-axis distance
Stereoscopic image synthesizer.
제9항에서,
상기 프로세서는
상기 타겟 위치에서의 상기 객체를 모델링하여 객체 모델을 생성하고,
상기 타겟 위치에 설정된 상기 제1 축간 거리 및 상기 객체 모델에 기초해서 상기 타겟 위치에서의 상기 제2 축간 거리를 설정하는
입체 영상 합성 장치.
In paragraph 9,
The processor
modeling the object at the target location to create an object model;
Setting the second axis-to-axis distance at the target location based on the first axis-to-axis distance set at the target location and the object model
Stereoscopic image synthesizer.
제12항에서,
상기 프로세서는
상기 타겟 위치에서 상기 카메라의 축간 거리에 따른 상기 타겟 위치에서의 상기 객체 모델의 입체 값을 확인하고, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 미세 조정하는 동작을 반복하고, 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제2 축간 거리로 설정하는
입체 영상 합성 장치.
In paragraph 12,
The processor
The three-dimensional value of the object model at the target position according to the distance between axes of the camera at the target position is checked, and an operation of finely adjusting the distance between axes is repeated until an optimal three-dimensional value is confirmed, and the optimum Setting the axis-to-axis distance when the three-dimensional value is confirmed as the second axis-to-axis distance
Stereoscopic image synthesizer.
컴퓨팅 장치에 의해 수행되는 입체 영상 합성 방법으로서,
촬영될 배경의 복수의 위치에서의 카메라의 제1 축간 거리를 각각 설정하는 단계,
상기 복수의 위치 중에서 촬영될 객체에 해당하는 타겟 위치를 선택하는 단계,
상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하는 단계, 그리고
상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상과 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 합성하는 단계
를 포함하는 입체 영상 합성 방법.
A stereoscopic image synthesizing method performed by a computing device,
Setting distances between first axes of cameras at a plurality of locations of a background to be photographed, respectively;
Selecting a target location corresponding to an object to be photographed from among the plurality of locations;
Setting a second axis-to-axis distance at the target location based on the first axis-to-axis distance set at the target location; and
synthesizing a stereoscopic image of the background captured by the camera based on the first axis distance and a stereoscopic image of the object captured by the camera based on the second axis distance
Stereoscopic image synthesis method comprising a.
KR1020220054494A 2021-11-29 2022-05-03 Apparatus and method for composing three-dimensional image KR102640283B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/885,020 US20230171389A1 (en) 2021-11-29 2022-08-10 Apparatus and method for synthesizing three-dimensional image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210167040 2021-11-29
KR20210167040 2021-11-29

Publications (2)

Publication Number Publication Date
KR20230080285A true KR20230080285A (en) 2023-06-07
KR102640283B1 KR102640283B1 (en) 2024-02-27

Family

ID=86761212

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220054494A KR102640283B1 (en) 2021-11-29 2022-05-03 Apparatus and method for composing three-dimensional image

Country Status (1)

Country Link
KR (1) KR102640283B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130110339A (en) * 2012-03-29 2013-10-10 한국과학기술원 Method and apparatus for generating 3d stereoscopic image
KR101348929B1 (en) * 2012-08-20 2014-01-09 광운대학교 산학협력단 A multiview image generation method using control of layer-based depth image
KR101392406B1 (en) 2012-09-26 2014-08-14 주식회사 에이아이오코리아 Method and Apparatus for Chromakey compositing of Subject Image and Background Image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130110339A (en) * 2012-03-29 2013-10-10 한국과학기술원 Method and apparatus for generating 3d stereoscopic image
KR101348929B1 (en) * 2012-08-20 2014-01-09 광운대학교 산학협력단 A multiview image generation method using control of layer-based depth image
KR101392406B1 (en) 2012-09-26 2014-08-14 주식회사 에이아이오코리아 Method and Apparatus for Chromakey compositing of Subject Image and Background Image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
변기식, 외4, "원거리 입체촬영용 카메라 축간거리 조절을 위한 퍼지추론 시스템", 한국정보통신학회논문지, Vol. 19, No. 1, 2015.01.09.* *

Also Published As

Publication number Publication date
KR102640283B1 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
JP4679033B2 (en) System and method for median fusion of depth maps
RU2586566C1 (en) Method of displaying object
CN110675489B (en) Image processing method, device, electronic equipment and storage medium
KR20210119438A (en) Systems and methods for face reproduction
JP7116142B2 (en) Generating Arbitrary Views
WO2019111817A1 (en) Generating device, generating method, and program
CN101542536A (en) System and method for compositing 3D images
JP2005295004A (en) Stereoscopic image processing method and apparatus thereof
KR20210040555A (en) Apparatus, method and computer program for providing facial motion retargeting of virtual character based on basis model
JP2008513882A (en) Video image processing system and video image processing method
CN108257205B (en) Three-dimensional model construction method, device and system
KR20090129175A (en) Method and device for converting image
US10255664B2 (en) Image processing device and method
JP2005165614A (en) Device and method for synthesizing picture
KR20200014281A (en) Image processing apparatus and method, file generating apparatus and method, and program
CN115512014A (en) Method for training expression driving generation model, expression driving method and device
CN115393480A (en) Speaker synthesis method, device and storage medium based on dynamic nerve texture
KR100321897B1 (en) Stereoscopic image conversion method and apparatus
US7009606B2 (en) Method and apparatus for generating pseudo-three-dimensional images
US20140192045A1 (en) Method and apparatus for generating three-dimensional caricature using shape and texture of face
JP7476511B2 (en) Image processing system, image processing method and program
CN116610213A (en) Interactive display method and device in virtual reality, electronic equipment and storage medium
KR102640283B1 (en) Apparatus and method for composing three-dimensional image
JP5808004B2 (en) Image processing apparatus, image processing method, and program
WO2021171982A1 (en) Image processing device, three-dimensional model generating method, learning method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant