KR20230080285A - Apparatus and method for composing three-dimensional image - Google Patents
Apparatus and method for composing three-dimensional image Download PDFInfo
- Publication number
- KR20230080285A KR20230080285A KR1020220054494A KR20220054494A KR20230080285A KR 20230080285 A KR20230080285 A KR 20230080285A KR 1020220054494 A KR1020220054494 A KR 1020220054494A KR 20220054494 A KR20220054494 A KR 20220054494A KR 20230080285 A KR20230080285 A KR 20230080285A
- Authority
- KR
- South Korea
- Prior art keywords
- axis
- distance
- axis distance
- stereoscopic image
- background
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 64
- 238000001308 synthesis method Methods 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
입체 영상 합성 장치는 촬영할 배경을 위치별로 모델링하여 각 위치의 배경 모델을 생성하고, 각 위치의 배경 모델에 기초해서 대응하는 위치에서의 카메라의 제1 축간 거리를 설정하고, 제1 축간 거리에 기초해서 카메라가 촬영한 배경의 입체 영상을 획득하고, 촬영될 객체에 해당하는 위치를 선택하고, 선택한 위치에 설정된 제1 축간 거리에 기초해서 제2 축간 거리를 설정하고, 제2 축간 거리에 기초해서 카메라가 촬영한 객체의 입체 영상을 획득하고, 배경의 입체 영상과 객체의 입체 영상을 합성하는 명령어를 포함할 수 있다.The stereoscopic image synthesizing apparatus models a background to be photographed for each location to generate a background model for each location, sets a first axis-to-axis distance of a camera at a corresponding location based on the background model for each location, and based on the first axis-to-axis distance. Thus, a stereoscopic image of the background captured by the camera is acquired, a position corresponding to the object to be photographed is selected, a second axis distance is set based on the first axis distance set at the selected location, and a second axis distance is set based on the second axis distance. It may include instructions for obtaining a 3D image of an object photographed by a camera and synthesizing a 3D image of a background and a 3D image of the object.
Description
본 발명은 입체 영상 합성 장치 및 방법에 관한 것이다.The present invention relates to a stereoscopic image synthesizing apparatus and method.
사용자들이 온라인상의 콘텐츠에 익숙해지면서 사실과 동일한 형태의 콘텐츠를 요구하고 있다. 이러한 사용자의 요구에 따라, 사실과 흡사한 콘텐츠를 표현하기 위한 홀로그램, 가상 현실(virtual reality, VR), 증강 현실(augmented reality, AR), 혼합 현실(mixed reality, MR), 확장 현실(extended reality, XR) 등의 기술이 제안되고 있다.As users become accustomed to online content, they are demanding content in the same form as the fact. According to these user needs, holograms, virtual reality (VR), augmented reality (AR), mixed reality (MR), and extended reality to express content similar to facts , XR) and the like have been proposed.
특히, 사실과 흡사한 콘텐츠를 제공하기 위해서는 입체 영상을 제작하는 기술이 필요하다. 입체 영상의 제작을 위해 스테레오스코픽(stereoscopic) 3D(three-dimension) 촬영이 사용되지만, 스테레오스코픽 3D 촬영은 2차원 촬영에 비해 복잡하다는 문제점이 있다. 이에 따라, 배경 영상과 객체 영상을 분리하여 촬영한 후에 이들을 결합하는 기술이 제안되었다.In particular, in order to provide content similar to reality, a technique for producing a stereoscopic image is required. Although stereoscopic three-dimensional (3D) imaging is used to produce a stereoscopic image, stereoscopic 3D imaging has a problem in that it is more complicated than 2D imaging. Accordingly, a technique of separately capturing a background image and an object image and then combining them has been proposed.
그러나 기존의 기술은 배경 영상의 설정 위치에 객체 영상의 크기를 설정된 비율로 확대 또는 축소하여서 합성할 뿐, 입체 영상의 중요한 요소인 입체 값을 고려하지 않아서 위화감 없는 입체 영상을 합성하기 어렵다는 문제점이 있다. However, the existing technology only synthesizes by enlarging or reducing the size of the object image at the set position of the background image at a set ratio, but does not consider the stereoscopic value, which is an important element of the stereoscopic image, so it is difficult to synthesize a stereoscopic image without discomfort. .
본 발명의 어떤 실시예는 배경 영상과 객체 영상을 위화감 없이 합성할 수 있는 입체 영상 합성 장치 및 방법을 제공할 수 있다.Certain embodiments of the present invention may provide a stereoscopic image synthesizing apparatus and method capable of synthesizing a background image and an object image without discomfort.
한 실시예에 따르면, 컴퓨팅 장치에 의해 수행되는 입체 영상 합성 방법이 제공될 수 있다. 상기 입체 영상 합성 방법은 촬영될 배경을 위치별로 모델링하여 각 위치의 배경 모델을 생성하는 단계, 각 위치의 상기 배경 모델에 기초해서 대응하는 위치에서의 카메라의 제1 축간 거리를 설정하는 단계, 상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하는 단계, 촬영될 객체에 해당하는 타겟 위치를 선택하는 단계, 상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하는 단계, 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하는 단계, 그리고 상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성하는 단계를 포함할 수 있다.According to one embodiment, a method of synthesizing a 3D image performed by a computing device may be provided. The 3D image synthesizing method includes the steps of modeling a background to be photographed for each location to create a background model for each location, setting a distance between a first axis of a camera at a corresponding location based on the background model for each location, Obtaining a stereoscopic image of the background photographed by the camera based on a first axis distance, selecting a target position corresponding to an object to be photographed, and selecting the target based on the first axis distance set at the target position Setting a second axis-to-axis distance at a location, acquiring a stereoscopic image of the object photographed by the camera based on the second axis-to-axis distance, and synthesizing a stereoscopic image of the background and a stereoscopic image of the object steps may be included.
어떤 실시예에서, 상기 제1 축간 거리를 설정하는 단계는 상기 카메라의 축간 거리를 변경하는 단계, 상기 변경된 축간 거리에 따른 상기 대응하는 위치에서의 상기 배경 모델의 입체 값을 확인하는 단계, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 변경하는 단계 및 상기 입체 값을 확인하는 단계를 반복하는 단계, 그리고 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제1 축간 거리로 설정하는 단계를 포함할 수 있다.In some embodiments, the setting of the first axis-to-axis distance may include changing the axis-to-axis distance of the camera, checking a three-dimensional value of the background model at the corresponding position according to the changed axis-to-axis distance, Repeating the step of changing the axis-to-axis distance and the step of checking the stereoscopic value until the stereoscopic value is confirmed, and setting the axis-to-axis distance when the optimal stereoscopic value is confirmed as the first axis-to-axis distance steps may be included.
어떤 실시예에서, 상기 입체 영상 합성 방법은 각 위치에서의 상기 제1 축간 거리 및 상기 배경의 입체 영상을 데이터베이스에 저장하는 단계를 더 포함할 수 있다.In some embodiments, the stereoscopic image synthesis method may further include storing the first axis-to-axis distance and the stereoscopic image of the background at each location in a database.
어떤 실시예에서, 상기 제2 축간 거리를 설정하는 단계는 상기 데이터베이스로부터 상기 설정된 위치에 대응하는 상기 제1 축간 거리를 불러오는 단계를 포함할 수 있다.In some embodiments, setting the second axis-to-axis distance may include retrieving the first axis-to-axis distance corresponding to the set position from the database.
어떤 실시예에서, 상기 타겟 위치에서의 상기 제2 축간 거리는 상기 타겟 위치에 설정된 상기 제1 축간 거리와 동일할 수 있다.In some embodiments, the second axis-to-axis distance at the target location may be the same as the first axis-to-axis distance set at the target location.
어떤 실시예에서, 상기 제2 축간 거리를 설정하는 단계는 상기 타겟 위치에서의 상기 객체를 모델링하여 객체 모델을 생성하는 단계, 상기 타겟 위치에 설정된 상기 제1 축간 거리에 따른 상기 객체 모델의 입체 값을 확인하는 단계, 그리고 확인 결과에 기초해서 상기 제2 축간 거리를 설정하는 단계를 포함할 수 있다.In some embodiments, the setting of the second axis-to-axis distance includes generating an object model by modeling the object at the target location, and a three-dimensional value of the object model according to the first axis-to-axis distance set at the target location. It may include the step of confirming, and the step of setting the distance between the second axes based on the check result.
상기 확인 결과에 기초해서 상기 제2 축간 거리를 설정하는 단계는 최적의 입체 값이 확인될 때까지 상기 카메라의 축간 거리를 미세 조정하면서 입체 값을 확인하는 동작을 반복하는 단계, 그리고 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제2 축간 거리로 설정하는 단계를 포함할 수 있다.The step of setting the second axis-to-axis distance based on the check result is the step of repeating the operation of checking the stereoscopic value while finely adjusting the axis-to-axis distance of the camera until the optimum stereoscopic value is confirmed, and the optimal stereoscopic value. and setting the axis-to-axis distance when the value is confirmed as the second axis-to-axis distance.
어떤 실시예에서, 상기 입체 영상 합성 방법은 상기 타겟 위치에서의 상기 제2 축간 거리 및 상기 객체의 입체 영상을 데이터베이스에 저장하는 단계를 더 포함할 수 있다.In some embodiments, the 3D image synthesizing method may further include storing the second axis-to-axis distance at the target location and the 3D image of the object in a database.
본 발명의 다른 실시예에 따르면, 적어도 하나의 명령어를 저장하는 메모리, 그리고 상기 명령어를 실행하는 프로세서를 포함하는 입체 영상 합성 장치가 제공될 수 있다. 상기 명령어를 실행함으로써, 상기 프로세서는 촬영될 배경의 복수의 위치에서의 카메라의 제1 축간 거리를 각각 설정하고, 상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하고, 상기 복수의 위치 중에서 촬영될 객체에 해당하는 타겟 위치를 선택하고, 상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하고, 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하고, 상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성할 수 있다.According to another embodiment of the present invention, a stereoscopic image synthesizing apparatus including a memory for storing at least one command and a processor for executing the command may be provided. By executing the command, the processor sets a first axis-to-axis distance of the camera at a plurality of positions of a background to be captured, respectively, and obtains a stereoscopic image of the background captured by the camera based on the first axis-to-axis distance; , Selecting a target position corresponding to an object to be photographed from among the plurality of positions, setting a second axis-to-axis distance at the target position based on the first axis-to-axis distance set at the target position, and determining the second axis-to-axis distance Based on this, a 3D image of the object photographed by the camera may be obtained, and the 3D image of the background and the 3D image of the object may be synthesized.
어떤 실시예에서, 상기 프로세서는 복수의 위치에서 상기 배경을 각각 모델링하여 복수의 배경 모델을 생성하고, 상기 복수의 배경 모델 중에서 각 위치에 해당하는 배경 모델에 기초해서 대응하는 위치에서의 상기 제1 축간 거리를 설정할 수 있다.In some embodiments, the processor generates a plurality of background models by modeling the background at a plurality of positions, respectively, and the first at a corresponding position based on a background model corresponding to each position among the plurality of background models. The axis distance can be set.
어떤 실시예에서, 상기 프로세서는 각 위치에서 상기 카메라의 축간 거리에 따른 상기 대응하는 위치에서의 상기 배경 모델의 입체 값을 확인하고, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 변경하는 동작을 반복하고, 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제1 축간 거리로 설정할 수 있다.In some embodiments, the processor checks the three-dimensional value of the background model at the corresponding position according to the axis-to-axis distance of the camera at each position, and changes the axis-to-axis distance until an optimal three-dimensional value is identified. may be repeated, and the distance between axes when the optimal three-dimensional value is confirmed may be set as the first distance between axes.
어떤 실시예에서, 상기 프로세서는 상기 타겟 위치에서의 상기 객체를 모델링하여 객체 모델을 생성하고, 상기 타겟 위치에 설정된 상기 제1 축간 거리 및 상기 객체 모델에 기초해서 상기 타겟 위치에서의 상기 제2 축간 거리를 설정할 수 있다.In some embodiments, the processor generates an object model by modeling the object at the target location, and the second axis at the target location based on the first axis-to-axis distance set at the target location and the object model. distance can be set.
어떤 실시예에서, 상기 프로세서는 상기 타겟 위치에서 상기 카메라의 축간 거리에 따른 상기 타겟 위치에서의 상기 객체 모델의 입체 값을 확인하고, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 미세 조정하는 동작을 반복하고, 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제2 축간 거리로 설정할 수 있다.In some embodiments, the processor checks a three-dimensional value of the object model at the target location according to the axis-to-axis distance of the camera at the target location, and fine-tunes the axis-to-axis distance until an optimal stereoscopic value is identified. The operation may be repeated, and the distance between axes when the optimal three-dimensional value is confirmed may be set as the second distance between axes.
본 발명의 또 다른 실시예에 따르면, 컴퓨팅 장치에 의해 수행되는 입체 영상 합성 방법이 제공될 수 있다. 상기 입체 영상 합성 방법은 촬영될 배경의 복수의 위치에서의 카메라의 제1 축간 거리를 각각 설정하는 단계, 상기 복수의 위치 중에서 촬영될 객체에 해당하는 타겟 위치를 선택하는 단계, 상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하는 단계, 그리고 상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상과 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 합성하는 단계를 포함할 수 있다.According to another embodiment of the present invention, a stereoscopic image synthesizing method performed by a computing device may be provided. The stereoscopic image synthesizing method includes setting first axis-to-axis distances of cameras at a plurality of positions of a background to be photographed, selecting a target position corresponding to an object to be photographed from among the plurality of positions, set at the target position. Setting a second axis-to-axis distance at the target position based on the first axis-to-axis distance, and based on the second axis-to-axis distance and the stereoscopic image of the background captured by the camera based on the first axis-to-axis distance A step of synthesizing 3D images of the object photographed by the camera may be included.
도 1은 본 발명의 한 실시예에 따른 입체 영상 합성 시스템의 한 예를 나타내는 도면이다.
도 2는 카메라의 축간 거리와 입체값 사이의 관계를 설명하는 도면이다.
도 3은 본 발명의 한 실시예에 따른 입체 영상 합성 방법의 한 예를 나타내는 흐름도이다.
도 4는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 공간 생성의 한 예를 설명하는 도면이다.
도 5는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 객체 생성의 한 예를 설명하는 도면이다.
도 6는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 영상 합성의 한 예를 설명하는 도면이다.
도 7은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 한 예를 나타내는 도면이다.1 is a diagram showing an example of a stereoscopic image synthesizing system according to an embodiment of the present invention.
2 is a diagram for explaining the relationship between the distance between axes of cameras and a stereoscopic value.
3 is a flowchart illustrating an example of a method for synthesizing a stereoscopic image according to an embodiment of the present invention.
4 is a diagram explaining an example of generating a 3D space in a 3D image synthesizing method according to an embodiment of the present invention.
5 is a diagram explaining an example of generating a 3D object in a 3D image synthesizing method according to an embodiment of the present invention.
6 is a diagram for explaining an example of stereoscopic image synthesis in the stereoscopic image synthesis method according to an embodiment of the present invention.
7 is a diagram illustrating an example of a computing device according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
아래 설명에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.Expressions written in the singular in the following description may be interpreted in the singular or plural unless explicit expressions such as “one” or “single” are used.
도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.In the flowchart described with reference to the drawings, the order of operations may be changed, several operations may be merged, a certain operation may be divided, and a specific operation may not be performed.
도 1은 본 발명의 한 실시예에 따른 입체 영상 합성 시스템의 한 예를 나타내는 도면이다.1 is a diagram showing an example of a stereoscopic image synthesizing system according to an embodiment of the present invention.
도 1을 참고하면, 입체 영상 합성 시스템은 입체 영상 합성 장치(100) 및 카메라(10)를 포함한다.Referring to FIG. 1 , a stereoscopic image synthesizing system includes a stereoscopic
카메라(10)는 입체 영상을 촬영할 수 있는 카메라이다. 어떤 실시예에서, 카메라는 스테레오스코픽 3D 촬영이 가능한 카메라일 수 있다.The
입체 영상 합성 장치(100)는 카메라(10)에서 촬영된 배경 영상과 객체 영상을 합성하여 입체 영상을 생성한다. 입체 영상 합성 장치(100)는 배경 데이터 생성부(110), 객체 데이터 생성부(120), 데이터베이스(130) 및 합성부(140)를 포함한다. 어떤 실시예에서, 입체 영상 합성 장치(100)는 컴퓨팅 장치에 의해 구현될 수 있다.The 3D
배경 데이터 생성부(110)는 촬영할 입체 공간(배경)을 위치별로 분할하고, 각 위치에서 입체 값을 확인하면서 최적의 축간 거리(inter-axial distance, IAD)를 설정한다. 각 위치에서의 배경의 입체 영상을 얻기 위해, 카메라(10)의 축간 거리를 해당 위치에서의 최적의 축간 거리로 설정하고, 카메라(10)가 촬영한 배경의 입체 영상을 획득한다. 배경 데이터 생성부(110)는 각 위치에서의 최적의 축간 거리와 배경의 입체 영상을 데이터베이스(130)에 저장한다. 배경 데이터 생성부(110)는 배경이 분할된 복수의 위치에 대해서 이러한 동작을 반복할 수 있다.The background
객체 데이터 생성부(120)는 촬영될 객체에 해당하는 위치를 선택하고, 데이터베이스(130)로부터 선택한 위치에서의 최적의 축간 거리를 불러온다. 객체 데이터 생성부(120)는 선택한 위치에서의 최적의 축간 거리에 기초해서 객체용 축간 거리를 설정하고, 카메라(10)의 축간 거리를 객체용 축간 거리로 설정하고, 카메라(10)가 촬영한 객체의 입체 영상을 획득한다. 어떤 실시예에서, 카메라(10)는 크로마키(chroma-key) 기법으로 객체를 촬영할 수 있다. 객체 데이터 생성부(120)는 선택한 위치에서의 객체용 축간 거리와 객체의 입체 영상을 데이터베이스(130)에 저장한다. 객체 데이터 생성부(110)는 촬영될 복수의 객체에 대해서 이러한 동작을 반복할 수 있다.The object
합성부(140)는 배경 데이터 생성부(110)에서 생성한 배경의 입체 영상과 객체 데이터 생성부(120)에서 생성한 객체의 입체 영상을 데이터베이스(130)로부터 불러오고, 배경의 입체 영상과 객체의 입체 영상을 합성하여 최종 입체 영상을 생성한다.The
도 2는 카메라의 축간 거리와 입체값 사이의 관계를 설명하는 도면이다.2 is a diagram for explaining the relationship between the distance between axes of cameras and a stereoscopic value.
일반적으로, 사람이 무엇인가를 볼 때 왼쪽과 오른쪽 눈의 간격으로 인해 차이가 있는 이미지를 보게 되며, 이 시각적인 차이가 3차원 효과(입체감)를 만들어 낸다. 입체감이 나타나는 요인은 두 눈의 거리에 따른 양안 시차(binocular parallax), 양안의 폭주각(binocular convergence), 초점 조절, 운동 시차 및 심리적인 요인 등이 있다. 이 경우, 양안 시차는 카메라의 축간 거리에 대응할 수 있다.Generally, when a person sees something, he or she sees a different image due to the distance between the left and right eyes, and this visual difference creates a three-dimensional effect (three-dimensional effect). Factors that produce a three-dimensional effect include binocular parallax according to the distance between the two eyes, binocular convergence, focus control, motion parallax, and psychological factors. In this case, the binocular disparity may correspond to the distance between axes of the camera.
도 2를 참고하면, 눈(210, 220)의 간격(또는 양안 시차)에 대응하는 카메라의 축간 거리에 따른 입체 값을 계산하여 화면(230)에서 원하는 사물(240)이 화면(230)을 기준으로 앞으로 도출되거나 화면(230)을 기준으로 들어가는 입체 영상을 획득할 수 있다. 어떤 실시예에서, 입체 값은 깊이(depth)를 포함할 수 있다.Referring to FIG. 2 , a desired
이 경우, 입체 값(ZV)은 양안 시차(te), 눈(210)에서 화면(230)까지의 거리(ZD) 및 화면(230)에 표현되는 객체(240)의 크기(P)에 의해 정의되고, 양안 시차(te)는 카메라의 축간 거리로 대체될 수 있다. 예를 들면, 입체 값(ZV)은 수학식 1과 같이 정의될 수 있다.In this case, the stereoscopic value (Z V ) is binocular parallax (t e ), the distance from the
따라서, 축간 거리에 따른 입체 값이 계산될 수 있으므로, 축간 거리를 설정함으로써 객체(240)가 화면(230)을 기준으로 들어가는 영상(입체 값이 양의 값) 또는 화면을 기준으로 나오는 영상(입체 값이 음의 값)을 획득할 수 있다. 아래에서는 축간 거리에 기초해서 입체 영상을 합성하는 방법에 대해서 도 3 내지 도 6을 참고로 하여 설명한다.Therefore, since a stereoscopic value can be calculated according to the axis-to-axis distance, by setting the axis-to-axis distance, an image of the
도 3은 본 발명의 한 실시예에 따른 입체 영상 합성 방법의 한 예를 나타내는 흐름도이다. 도 4는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 공간 생성의 한 예를 설명하는 도면이며, 도 5는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 객체 생성의 한 예를 설명하는 도면이며, 도 6는 본 발명의 한 실시예에 따른 입체 영상 합성 방법에서 입체 영상 합성의 한 예를 설명하는 도면이다.3 is a flowchart illustrating an example of a method for synthesizing a stereoscopic image according to an embodiment of the present invention. 4 is a diagram for explaining an example of generating a 3D space in the 3D image synthesis method according to an embodiment of the present invention, and FIG. 5 is an example of 3D object creation in the 3D image synthesis method according to an embodiment of the present invention. FIG. 6 is a diagram for explaining an example of synthesizing a stereoscopic image in a method for synthesizing a stereoscopic image according to an embodiment of the present invention.
도 3 및 도 4를 참고하면, 입체 영상 합성 장치는 촬영할 공간의 배경의 입체 영상 및 위치별 축간 거리를 획득한다. 구체적으로, 입체 영상 합성 장치는 배경을 위치별로 분할하고, 위치별로 배경의 입체 영상을 모델링한다(S311). 어떤 실시예에서, 입체 영상 합성 장치는 주지의 입체 모델링 알고리즘 또는 프로그램을 사용하여 입체 영상을 모델링할 수 있다. 예를 들면, 입체 영상 합성 장치는 상용 입체 모델링 프로그램인 3D MAX를 사용해서 입체 영상을 모델링할 수 있다.Referring to FIGS. 3 and 4 , the apparatus for synthesizing a stereoscopic image obtains a stereoscopic image of a background of a space to be photographed and an axis-to-axis distance for each position. Specifically, the 3D image synthesizing apparatus divides the background by location and models the 3D image of the background by location (S311). In some embodiments, the 3D image synthesizing apparatus may model a 3D image using a well-known 3D modeling algorithm or program. For example, the 3D image synthesis apparatus may model a 3D image using 3D MAX, a commercial 3D modeling program.
입체 영상 합성 장치는 각 위치의 배경 모델에 임의의 축간 거리를 설정하고(S312), 설정한 축간 거리에 따른 해당 위치에서의 배경 모델의 입체 값을 확인한다(S313). 입체 영상 합성 장치는 최적의 입체 값이 확인될 때까지 축간 거리를 변경하면서 입체 값을 확인하는 동작을 반복할 수 있다(S314). 어떤 실시예에서, 입체 영상 합성 장치는 축간 거리의 최소 값을 축간 거리의 초기 값으로 설정한 후에, 축간 거리를 증가시키면서 입체 값을 확인하는 동작을 반복할 수 있다. 어떤 실시예에서, 입체 영상 합성 장치는 축간 거리의 최대 값을 축간 거리의 초기 값으로 설정한 후에, 축간 거리를 감소시키면서 입체 값을 확인하는 동작을 반복할 수 있다. 이에 따라, 입체 영상 합성 장치는 위치별로 최적화된 축간 거리 및 입체 공간(즉, 입체 배경 모델)을 획득할 수 있다.The stereoscopic image synthesis apparatus sets an arbitrary inter-axis distance to the background model at each position (S312), and checks the stereoscopic value of the background model at the corresponding position according to the set inter-axis distance (S313). The apparatus for synthesizing stereoscopic images may repeat an operation of confirming a stereoscopic value while changing an axis distance until an optimal stereoscopic value is identified (S314). In some embodiments, the apparatus for synthesizing a stereoscopic image may set a minimum value of the axis-to-axis distance as an initial value of the axis-to-axis distance, and then repeat an operation of confirming the stereoscopic value while increasing the axis-to-axis distance. In some embodiments, after setting the maximum value of the axis-to-axis distance as the initial value of the axis-to-axis distance, the stereoscopic image synthesizing apparatus may repeat an operation of confirming the stereoscopic value while decreasing the axis-to-axis distance. Accordingly, the 3D image synthesis apparatus may obtain an axis-to-axis distance and a 3D space (ie, a 3D background model) optimized for each location.
입체 영상 합성 장치는 모든 위치의 배경 모델에 대해서 최적의 축간 거리를 설정한 후에, 최적의 축간 거리에 기초해서 촬영된 배경의 입체 영상을 획득한다(S315). 어떤 실시예에서, 입체 영상 합성 장치는 최적의 입체 값이 확인될 때의 축간 거리를 최적의 축간 거리로 설정할 수 있다. 어떤 실시예에서, 입체 영상 합성 장치는 카메라의 축간 거리를 최적의 축간 거리로 설정하고, 카메라에 의해 촬영된 배경의 입체 영상을 카메라로부터 획득할 수 있다. 입체 영상 합성 장치는 각 위치에서의 최적의 축간 거리 및 촬영된 배경의 입체 영상 데이터를 데이터베이스에 저장한다(S316).The 3D image synthesizing apparatus obtains a 3D image of a photographed background based on the optimal inter-axis distance after setting the optimal axis-to-axis distance for the background model at all locations (S315). In some embodiments, the stereoscopic image synthesizing apparatus may set an inter-axis distance when an optimal stereoscopic value is identified as an optimal inter-axis distance. In some embodiments, the 3D image synthesizing apparatus may set the axis-to-axis distance of the camera to an optimal axis-to-axis distance, and acquire a stereoscopic image of a background photographed by the camera from the camera. The stereoscopic image synthesizing device stores the optimal axis-to-axis distance at each position and the stereoscopic image data of the photographed background in a database (S316).
이러한 과정을 통해서, 입체 영상 합성 장치는 입체 값을 가장 잘 나타낼 수 있는 위치별 축간 거리와 입체 값이 가장 잘 나타난 배경 화면의 입체 영상을 획득할 수 있다.Through this process, the 3D image synthesizing apparatus can acquire the 3D image of the background screen where the 3D value is most well expressed and the axis-to-axis distance for each position that can best represent the 3D value.
도 3 및 도 5를 참고하면, 입체 영상 합성 장치는 데이터베이스에 저장된 각 위치의 축간 거리에 기초해서 객체 영상을 획득한다. 구체적으로, 입체 영상 합성 장치는 촬영될 객체에 해당하는 위치를 선택한다(S321). 입체 영상 합성 장치는 선택한 위치에 해당하는 축간 거리를 데이터베이스로부터 불러온다(S322). 입체 영상 합성 장치는 데이터베이스로부터 불러온 축간 거리에 기초해서 객체용 축간 거리를 결정하고(S323-S325), 객체용 축간 거리에 기초해서 촬영된 객체의 입체 영상을 획득한다(S326). 어떤 실시예에서, 입체 영상 합성 장치는 카메라의 축간 거리를 객체용 축간 거리로 설정하고, 카메라에 의해 촬영된 객체의 입체 영상을 카메라로부터 획득할 수 있다. 입체 영상 합성 장치는 각 위치에 해당하는 객체의 입체 영상을 데이터베이스에 저장한다(S327).Referring to FIGS. 3 and 5 , the stereoscopic image synthesis apparatus obtains an object image based on the axis-to-axis distance of each position stored in a database. Specifically, the stereoscopic image synthesizing apparatus selects a position corresponding to an object to be photographed (S321). The stereoscopic image synthesizing apparatus reads the axis-to-axis distance corresponding to the selected position from the database (S322). The stereoscopic image synthesizing apparatus determines an axis-to-axis distance for an object based on the axis-to-axis distance retrieved from the database (S323 to S325), and obtains a stereoscopic image of the photographed object based on the axis-to-axis distance for the object (S326). In some embodiments, the 3D image synthesizing apparatus may set an axis-to-axis distance of a camera as an axis-to-axis distance for an object, and acquire a stereoscopic image of an object photographed by the camera from the camera. The 3D image synthesizing device stores the 3D image of the object corresponding to each position in the database (S327).
어떤 실시예에서, 객체용 축간 거리는 데이터베이스로부터 불러온 축간 거리와 동일할 수 있다. 어떤 실시예에서, 입체 영상 합성 장치는 데이터베이스로부터 불러온 축간 거리에 기초해서 객체용 축간 거리를 설정할 수 있다. 어떤 실시예에서, 선택한 위치에서 객체를 모델링하고, 데이터베이스로부터 불러온 축간 거리에 따른 해당 위치에서의 객체 모델의 입체 값을 확인할 수 있다(S323). 입체 영상 합성 장치는 최적의 입체 값이 확인될 때까지 축간 거리를 미세 조정하면서 입체 값을 확인하는 동작을 반복할 수 있다(S324, S325). 이러한 과정의 반복을 통해 입체 영상 합성 장치는 해당 위치의 객체의 최적의 축간 거리(객체용 축간 거리) 및 최적화된 입체 객체 모델을 설정할 수 있다. 어떤 실시예에서, 입체 영상 합성 장치는 최적의 입체 값이 확인될 때의 축간 거리를 최적의 객체용 축간 거리로 설정할 수 있다. 입체 영상 합성 장치는 각 위치에 해당하는 객체용 축간 거리를 데이터베이스에 저장할 수 있다(S327).In some embodiments, the axis-to-axis distance for the object may be the same as the axis-to-axis distance retrieved from the database. In some embodiments, the 3D image synthesis apparatus may set the axis-to-axis distance for the object based on the axis-to-axis distance retrieved from the database. In some embodiments, an object may be modeled at the selected location, and a three-dimensional value of the object model at the location according to the axis-to-axis distance read from the database may be checked (S323). The apparatus for synthesizing stereoscopic images may repeat an operation of confirming a stereoscopic value while finely adjusting an axis-to-axis distance until an optimal stereoscopic value is identified (S324 and S325). Through repetition of this process, the 3D image synthesizing apparatus can set the optimal axis-to-axis distance (axis-to-axis distance for objects) of the object at the corresponding position and an optimized 3D object model. In some embodiments, the stereoscopic image synthesizing apparatus may set an inter-axis distance when an optimal stereoscopic value is identified as an optimal object-axis distance. The stereoscopic image synthesizing apparatus may store the distance between axes for objects corresponding to each position in a database (S327).
도 3 및 도 6을 참고하면, 입체 영상 합성 장치는 위치를 선택하고, 데이터베이스에 저장된 선택한 위치에 해당하는 배경의 입체 영상과 객체의 입체 영상을 합성한다(S331). 입체 영상 합성 장치는 복수의 위치에 대해서 배경의 입체 영상과 객체의 입체 영상을 합성하는 과정을 반복하여서 최종 입체 영상을 획득한다(S333). 어떤 실시예에서, 입체 영상 합성 장치는 배경의 입체 영상과 객체의 입체 영상을 합성할 때, 배경의 입체 영상과 객체의 입체 영상의 입체 값을 다시 확인할 수 있다(S332).Referring to FIGS. 3 and 6 , the 3D image synthesizing device selects a location and synthesizes a 3D image of a background corresponding to the selected location stored in a database and a 3D image of an object (S331). The 3D image synthesis apparatus acquires a final 3D image by repeating a process of synthesizing a 3D image of a background and a 3D image of an object at a plurality of positions (S333). In some embodiments, when synthesizing the background 3D image and the 3D image of the object, the apparatus for synthesizing 3D images may check the 3D values of the 3D image of the background and the 3D image of the object again (S332).
이러한 과정을 통해서, 입체 값에서 위화감 없는 입체 영상이 생성될 수 있다. 또한, 위치별로 최적의 카메라의 축간 거리를 설정할 수 있으므로, 실제 촬영 환경에서 촬영 변수의 설정을 최소화할 수 있다. 따라서, 입체 영상의 전문 제작자뿐만 아니라 일반인도 쉽게 입체 영상 콘텐츠를 생성할 수 있다. 예를 들면, 공연장의 입체 영상과 공연의 입체 영상을 합성함으로써 사용자가 선택한 공연장에서 사용자가 원하는 공연이 재생되는 입체 영상이 생성될 수 있다.Through this process, a stereoscopic image without a sense of incongruity in stereoscopic values can be created. Also, since it is possible to set the optimal camera-axis distance for each position, it is possible to minimize the setting of shooting variables in an actual shooting environment. Accordingly, not only professional producers of 3D images but also ordinary people can easily create 3D image contents. For example, a 3D image in which a performance desired by a user is reproduced in a performance hall selected by a user may be generated by synthesizing a 3D image of a performance hall and a 3D image of the performance.
다음, 본 발명의 한 실시예에 따른 입체 영상 합성 장치 또는 입체 영상 합성 방법을 구현할 수 있는 예시적인 컴퓨팅 장치에 대하여 도 7을 참고로 하여 설명한다.Next, an exemplary computing device capable of implementing a 3D image synthesizing device or a 3D image synthesizing method according to an embodiment of the present invention will be described with reference to FIG. 7 .
도 7은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 한 예를 나타내는 도면이다.7 is a diagram illustrating an example of a computing device according to an embodiment of the present invention.
도 7을 참고하면, 컴퓨팅 장치는 프로세서(710), 메모리(720), 저장 장치(730), 통신 인터페이스(740) 및 버스(750)를 포함한다. 컴퓨팅 장치는 다른 범용적인 구성 요소를 더 포함할 수 있다.Referring to FIG. 7 , the computing device includes a
프로세서(710)는 컴퓨팅 장치의 각 구성의 전반적인 동작을 제어한다. 프로세서(710)는 CPU(central processing unit), MPU(microprocessor unit), MCU(micro controller unit), GPU(graphic processing unit) 등의 다양한 프로세싱 유닛 중 적어도 하나로 구현될 수 있으며, 병렬 프로세싱 유닛으로 구현될 수도 있다. 또한, 프로세서(710)는 위에서 설명한 입체 영상 합성 방법을 실행하기 위한 프로그램에 대한 연산을 수행할 수 있다.The
메모리(720)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(720)는 위에서 설명한 입체 영상 합성 방법을 실행하기 위하여 저장 장치(730)로부터 컴퓨터 프로그램을 로드할 수 있다. 저장 장치(730)는 프로그램을 비임시적으로 저장할 수 있다. 저장 장치(730)는 비휘발성 메모리로 구현될 수 있다. 저장 장치(730)는 데이터베이스를 저장할 수 있다.
통신 인터페이스(740)는 컴퓨팅 장치의 무선 통신을 지원한다.The
버스(750)는 컴퓨팅 장치의 구성 요소간 통신 기능을 제공한다. 버스(750)는 주소 버스(address bus), 데이터 버스(data bus) 및 제어 버스(control bus) 등 다양한 형태의 버스로 구현될 수 있다.
컴퓨터 프로그램은 메모리(720)에 로드될 때 프로세서(710)로 하여금 입체 영상 합성 방법을 수행하도록 하는 명령어(instructions)를 포함할 수 있다. 즉, 프로세서(710)는 명령어를 실행함으로써, 입체 영상 합성 방법을 수행할 수 있다.The computer program may include instructions that, when loaded into the
위에서 설명한 입체 영상 합성 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 컴퓨터 프로그램으로 구현될 수 있다. 한 실시예에서, 컴퓨터가 읽을 수 있는 매체는 이동형 기록 매체이거나 고정식 기록 매체일 수 있다. 다른 실시예에서, 컴퓨터가 읽을 수 있는 매체에 기록된 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 다른 컴퓨팅 장치에 설치되어 실행될 수 있다.The stereoscopic image synthesizing method described above may be implemented as a computer readable computer program on a computer readable medium. In one embodiment, the computer readable medium may be a removable recording medium or a fixed recording medium. In another embodiment, a computer program recorded on a computer-readable medium may be transmitted to another computing device through a network such as the Internet, and may be installed and executed in the other computing device.
어떤 실시예에서, 컴퓨터 프로그램은 촬영할 배경을 위치별로 모델링하여 각 위치의 배경 모델을 생성하고, 각 위치의 상기 배경 모델에 기초해서 대응하는 위치에서의 카메라의 제1 축간 거리를 설정하고, 상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하고, 촬영될 객체에 해당하는 위치를 선택하고, 상기 선택한 위치에 설정된 상기 제1 축간 거리에 기초해서 제2 축간 거리를 설정하고, 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하고, 상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성하는 명령어를 포함할 수 있다.In some embodiments, the computer program models a background to be photographed for each location to generate a background model for each location, sets a distance between a first axis of a camera at a corresponding location based on the background model for each location, and sets the first axis distance of the camera at the corresponding location. Acquire a stereoscopic image of the background captured by the camera based on the first axis distance, select a position corresponding to an object to be photographed, and set a second axis distance based on the first axis distance set at the selected position and acquiring a 3D image of the object photographed by the camera based on the second axis distance, and synthesizing the 3D image of the object with the 3D image of the background.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims are also included in the scope of the present invention. that fall within the scope of the right.
Claims (14)
촬영될 배경을 위치별로 모델링하여 각 위치의 배경 모델을 생성하는 단계,
각 위치의 상기 배경 모델에 기초해서 대응하는 위치에서의 카메라의 제1 축간 거리를 설정하는 단계,
상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하는 단계,
촬영될 객체에 해당하는 타겟 위치를 선택하는 단계,
상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하는 단계,
상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하는 단계, 그리고
상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성하는 단계
를 포함하는 입체 영상 합성 방법.A stereoscopic image synthesizing method performed by a computing device,
Creating a background model for each location by modeling the background to be photographed by location;
Setting a first axis distance of a camera at a corresponding position based on the background model at each position;
Obtaining a stereoscopic image of the background captured by the camera based on the first axis-to-axis distance;
Selecting a target location corresponding to an object to be photographed;
Setting a second axis-to-axis distance at the target location based on the first axis-to-axis distance set at the target location;
obtaining a stereoscopic image of the object photographed by the camera based on the second axis-to-axis distance; and
Synthesizing a 3D image of the background and a 3D image of the object
Stereoscopic image synthesis method comprising a.
상기 제1 축간 거리를 설정하는 단계는
상기 카메라의 축간 거리를 변경하는 단계,
상기 변경된 축간 거리에 따른 상기 대응하는 위치에서의 상기 배경 모델의 입체 값을 확인하는 단계,
최적의 입체 값이 확인될 때까지 상기 축간 거리를 변경하는 단계 및 상기 입체 값을 확인하는 단계를 반복하는 단계, 그리고
상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제1 축간 거리로 설정하는 단계
를 포함하는 입체 영상 합성 방법.In paragraph 1,
Setting the first axis-to-axis distance
Changing the axis-to-axis distance of the camera;
Checking the three-dimensional value of the background model at the corresponding position according to the changed axis-to-axis distance;
Repeating the step of changing the axis-to-axis distance and the step of checking the stereoscopic value until an optimum stereoscopic value is identified, and
Setting the axis-to-axis distance as the first axis-to-axis distance when the optimal three-dimensional value is confirmed
Stereoscopic image synthesis method comprising a.
각 위치에서의 상기 제1 축간 거리 및 상기 배경의 입체 영상을 데이터베이스에 저장하는 단계를 더 포함하는 입체 영상 합성 방법.In paragraph 1,
The stereoscopic image synthesis method further comprising storing the first axis-to-axis distance and the stereoscopic image of the background at each position in a database.
상기 제2 축간 거리를 설정하는 단계는 상기 데이터베이스로부터 상기 설정된 위치에 대응하는 상기 제1 축간 거리를 불러오는 단계를 포함하는 입체 영상 합성 방법.In paragraph 3,
The step of setting the second axis-to-axis distance includes reading the first axis-to-axis distance corresponding to the set position from the database.
상기 타겟 위치에서의 상기 제2 축간 거리는 상기 타겟 위치에 설정된 상기 제1 축간 거리와 동일한, 입체 영상 합성 방법.In paragraph 1,
The second axis-to-axis distance at the target position is equal to the first axis-to-axis distance set at the target position.
상기 제2 축간 거리를 설정하는 단계는
상기 타겟 위치에서의 상기 객체를 모델링하여 객체 모델을 생성하는 단계,
상기 타겟 위치에 설정된 상기 제1 축간 거리에 따른 상기 객체 모델의 입체 값을 확인하는 단계, 그리고
확인 결과에 기초해서 상기 제2 축간 거리를 설정하는 단계
를 포함하는 입체 영상 합성 방법.In paragraph 1,
The step of setting the distance between the second axis
generating an object model by modeling the object at the target location;
Checking a three-dimensional value of the object model according to the first axis-to-axis distance set at the target location; and
Setting the second axis-to-axis distance based on the confirmation result
Stereoscopic image synthesis method comprising a.
상기 확인 결과에 기초해서 상기 제2 축간 거리를 설정하는 단계는
최적의 입체 값이 확인될 때까지 상기 카메라의 축간 거리를 미세 조정하면서 입체 값을 확인하는 동작을 반복하는 단계, 그리고
상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제2 축간 거리로 설정하는 단계
를 포함하는 입체 영상 합성 방법.In paragraph 6,
Setting the second axis-to-axis distance based on the confirmation result
Repeating the operation of checking the stereoscopic value while finely adjusting the distance between axes of the camera until the optimal stereoscopic value is confirmed; and
Setting the axis-to-axis distance as the second axis-to-axis distance when the optimal three-dimensional value is confirmed
Stereoscopic image synthesis method comprising a.
상기 타겟 위치에서의 상기 제2 축간 거리 및 상기 객체의 입체 영상을 데이터베이스에 저장하는 단계를 더 포함하는 입체 영상 합성 방법.In paragraph 1,
The method of synthesizing a stereoscopic image further comprising storing the second axis-to-axis distance at the target location and the stereoscopic image of the object in a database.
상기 명령어를 실행하는 프로세서를 포함하며,
상기 명령어를 실행함으로써, 상기 프로세서는
촬영될 배경의 복수의 위치에서의 카메라의 제1 축간 거리를 각각 설정하고,
상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상을 획득하고,
상기 복수의 위치 중에서 촬영될 객체에 해당하는 타겟 위치를 선택하고,
상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하고,
상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 획득하고,
상기 배경의 입체 영상과 상기 객체의 입체 영상을 합성하는
입체 영상 합성 장치.a memory that stores at least one instruction; and
A processor for executing the instructions;
By executing the instructions, the processor
Setting the first axis-to-axis distances of the cameras at a plurality of positions of the background to be photographed, respectively;
Obtaining a stereoscopic image of the background captured by the camera based on the first axis-to-axis distance;
Selecting a target location corresponding to an object to be photographed from among the plurality of locations;
Setting a second axis-to-axis distance at the target position based on the first axis-to-axis distance set at the target position;
Obtaining a stereoscopic image of the object photographed by the camera based on the second axis-to-axis distance;
synthesizing a stereoscopic image of the background and a stereoscopic image of the object
Stereoscopic image synthesizer.
상기 프로세서는
복수의 위치에서 상기 배경을 각각 모델링하여 복수의 배경 모델을 생성하고,
상기 복수의 배경 모델 중에서 각 위치에 해당하는 배경 모델에 기초해서 대응하는 위치에서의 상기 제1 축간 거리를 설정하는
입체 영상 합성 장치.In paragraph 9,
The processor
Creating a plurality of background models by modeling the background at a plurality of locations, respectively;
Setting the first axis-to-axis distance at a corresponding position based on a background model corresponding to each position among the plurality of background models
Stereoscopic image synthesizer.
상기 프로세서는
각 위치에서 상기 카메라의 축간 거리에 따른 상기 대응하는 위치에서의 상기 배경 모델의 입체 값을 확인하고, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 변경하는 동작을 반복하고, 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제1 축간 거리로 설정하는
입체 영상 합성 장치.In paragraph 10,
The processor
The three-dimensional value of the background model at the corresponding position according to the axis-to-axis distance of the camera at each position is checked, and the operation of changing the axis-to-axis distance is repeated until the optimum stereoscopic value is confirmed, and the optimal stereoscopic value is determined. Setting the axis-to-axis distance when the value is confirmed as the first axis-to-axis distance
Stereoscopic image synthesizer.
상기 프로세서는
상기 타겟 위치에서의 상기 객체를 모델링하여 객체 모델을 생성하고,
상기 타겟 위치에 설정된 상기 제1 축간 거리 및 상기 객체 모델에 기초해서 상기 타겟 위치에서의 상기 제2 축간 거리를 설정하는
입체 영상 합성 장치.In paragraph 9,
The processor
modeling the object at the target location to create an object model;
Setting the second axis-to-axis distance at the target location based on the first axis-to-axis distance set at the target location and the object model
Stereoscopic image synthesizer.
상기 프로세서는
상기 타겟 위치에서 상기 카메라의 축간 거리에 따른 상기 타겟 위치에서의 상기 객체 모델의 입체 값을 확인하고, 최적의 입체 값이 확인될 때까지 상기 축간 거리를 미세 조정하는 동작을 반복하고, 상기 최적의 입체 값이 확인될 때의 상기 축간 거리를 상기 제2 축간 거리로 설정하는
입체 영상 합성 장치.In paragraph 12,
The processor
The three-dimensional value of the object model at the target position according to the distance between axes of the camera at the target position is checked, and an operation of finely adjusting the distance between axes is repeated until an optimal three-dimensional value is confirmed, and the optimum Setting the axis-to-axis distance when the three-dimensional value is confirmed as the second axis-to-axis distance
Stereoscopic image synthesizer.
촬영될 배경의 복수의 위치에서의 카메라의 제1 축간 거리를 각각 설정하는 단계,
상기 복수의 위치 중에서 촬영될 객체에 해당하는 타겟 위치를 선택하는 단계,
상기 타겟 위치에 설정된 상기 제1 축간 거리에 기초해서 상기 타겟 위치에서의 제2 축간 거리를 설정하는 단계, 그리고
상기 제1 축간 거리에 기초해서 상기 카메라가 촬영한 상기 배경의 입체 영상과 상기 제2 축간 거리에 기초해서 상기 카메라가 촬영한 상기 객체의 입체 영상을 합성하는 단계
를 포함하는 입체 영상 합성 방법.A stereoscopic image synthesizing method performed by a computing device,
Setting distances between first axes of cameras at a plurality of locations of a background to be photographed, respectively;
Selecting a target location corresponding to an object to be photographed from among the plurality of locations;
Setting a second axis-to-axis distance at the target location based on the first axis-to-axis distance set at the target location; and
synthesizing a stereoscopic image of the background captured by the camera based on the first axis distance and a stereoscopic image of the object captured by the camera based on the second axis distance
Stereoscopic image synthesis method comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/885,020 US20230171389A1 (en) | 2021-11-29 | 2022-08-10 | Apparatus and method for synthesizing three-dimensional image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210167040 | 2021-11-29 | ||
KR20210167040 | 2021-11-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230080285A true KR20230080285A (en) | 2023-06-07 |
KR102640283B1 KR102640283B1 (en) | 2024-02-27 |
Family
ID=86761212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220054494A KR102640283B1 (en) | 2021-11-29 | 2022-05-03 | Apparatus and method for composing three-dimensional image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102640283B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130110339A (en) * | 2012-03-29 | 2013-10-10 | 한국과학기술원 | Method and apparatus for generating 3d stereoscopic image |
KR101348929B1 (en) * | 2012-08-20 | 2014-01-09 | 광운대학교 산학협력단 | A multiview image generation method using control of layer-based depth image |
KR101392406B1 (en) | 2012-09-26 | 2014-08-14 | 주식회사 에이아이오코리아 | Method and Apparatus for Chromakey compositing of Subject Image and Background Image |
-
2022
- 2022-05-03 KR KR1020220054494A patent/KR102640283B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130110339A (en) * | 2012-03-29 | 2013-10-10 | 한국과학기술원 | Method and apparatus for generating 3d stereoscopic image |
KR101348929B1 (en) * | 2012-08-20 | 2014-01-09 | 광운대학교 산학협력단 | A multiview image generation method using control of layer-based depth image |
KR101392406B1 (en) | 2012-09-26 | 2014-08-14 | 주식회사 에이아이오코리아 | Method and Apparatus for Chromakey compositing of Subject Image and Background Image |
Non-Patent Citations (1)
Title |
---|
변기식, 외4, "원거리 입체촬영용 카메라 축간거리 조절을 위한 퍼지추론 시스템", 한국정보통신학회논문지, Vol. 19, No. 1, 2015.01.09.* * |
Also Published As
Publication number | Publication date |
---|---|
KR102640283B1 (en) | 2024-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4679033B2 (en) | System and method for median fusion of depth maps | |
RU2586566C1 (en) | Method of displaying object | |
CN110675489B (en) | Image processing method, device, electronic equipment and storage medium | |
KR20210119438A (en) | Systems and methods for face reproduction | |
JP7116142B2 (en) | Generating Arbitrary Views | |
WO2019111817A1 (en) | Generating device, generating method, and program | |
CN101542536A (en) | System and method for compositing 3D images | |
JP2005295004A (en) | Stereoscopic image processing method and apparatus thereof | |
KR20210040555A (en) | Apparatus, method and computer program for providing facial motion retargeting of virtual character based on basis model | |
JP2008513882A (en) | Video image processing system and video image processing method | |
CN108257205B (en) | Three-dimensional model construction method, device and system | |
KR20090129175A (en) | Method and device for converting image | |
US10255664B2 (en) | Image processing device and method | |
JP2005165614A (en) | Device and method for synthesizing picture | |
KR20200014281A (en) | Image processing apparatus and method, file generating apparatus and method, and program | |
CN115512014A (en) | Method for training expression driving generation model, expression driving method and device | |
CN115393480A (en) | Speaker synthesis method, device and storage medium based on dynamic nerve texture | |
KR100321897B1 (en) | Stereoscopic image conversion method and apparatus | |
US7009606B2 (en) | Method and apparatus for generating pseudo-three-dimensional images | |
US20140192045A1 (en) | Method and apparatus for generating three-dimensional caricature using shape and texture of face | |
JP7476511B2 (en) | Image processing system, image processing method and program | |
CN116610213A (en) | Interactive display method and device in virtual reality, electronic equipment and storage medium | |
KR102640283B1 (en) | Apparatus and method for composing three-dimensional image | |
JP5808004B2 (en) | Image processing apparatus, image processing method, and program | |
WO2021171982A1 (en) | Image processing device, three-dimensional model generating method, learning method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |