KR100370366B1 - The image converting method using vanishing line - Google Patents
The image converting method using vanishing line Download PDFInfo
- Publication number
- KR100370366B1 KR100370366B1 KR10-2000-0028897A KR20000028897A KR100370366B1 KR 100370366 B1 KR100370366 B1 KR 100370366B1 KR 20000028897 A KR20000028897 A KR 20000028897A KR 100370366 B1 KR100370366 B1 KR 100370366B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- background
- foreground
- plane
- model
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 2차원의 단일 이미지을 사실적인 3차원 이미지로 실시간 변환하는 소실선을 이용한 이미지 변환방법에 관한 것으로서, 특히, 단일 2차원의 이미지를 입력하는 단계; 상기 입력이미지의 장면에 소실선을 지정하여 상기 소실선을 기준으로 상측 및 하측 장면영역으로 분할하는 단계; 상기 입력이미지의 전경물체를 분할하는 단계; 상기 분할된 상측 및 하측 장면영역을 서로 수직인 평면 형태로 3차원 환경 모델링을 수행하여 배경모델을 생성하는 단계; 상기 분할된 전경물체를 상기 생성된 배경모델에 수직으로 결합시키는 3차원 환경 모델링을 수행하여 전경모델을 생성하는 단계; 상기 입력이미지에 나타나는 전경물체의 윤곽선을 정확하게 추출함과 아울러 배경으로부터 분리하여 배경이미지와 전경이미지를 생성하는 단계; 상기 배경모델과 전경모델에 대응하여 배경이미지와 전경이미지를 텍스쳐 매핑하여 카메라의 위치와 방향을 임의로 변화시키면서 3차원 공간을 네비게이션 하는 단계; 및 상기 네비게이션에 따라 랜더링하는 3차원 이미지를 생성하는 단계를 구비하는 것을 특징으로 한다.The present invention relates to an image conversion method using a vanishing line for real-time conversion of a two-dimensional single image into a realistic three-dimensional image, in particular, the step of inputting a single two-dimensional image; Assigning a vanishing line to the scene of the input image and dividing the upper and lower scene regions based on the vanishing line; Dividing a foreground object of the input image; Generating a background model by performing 3D environment modeling on the divided upper and lower scene regions in a plane shape perpendicular to each other; Generating a foreground model by performing 3D environment modeling to vertically combine the divided foreground object with the generated background model; Accurately extracting the contour of the foreground object appearing in the input image and generating a background image and a foreground image by separating from the background; Navigating a 3D space by randomly changing a position and a direction of a camera by texture mapping a background image and a foreground image corresponding to the background model and the foreground model; And generating a 3D image to be rendered according to the navigation.
Description
본 발명은 소실선을 이용한 이미지 변환방법에 관한 것으로서, 특히, 2차원의 단일 이미지을 사실적인 3차원 이미지로 실시간 변환하는 소실선(Vanishing Line)을 이용한 이미지 변환방법에 관한 것이다.The present invention relates to an image conversion method using a vanishing line, and more particularly, to an image conversion method using vanishing lines for converting a single two-dimensional image into a realistic three-dimensional image in real time.
본 발명은 팁(TIP: Tour Into the Picture) 기법에 의해 단일 이미지을 입력받아 실시간에 사실적 이미지을 생성해내는 컴퓨터 그래픽스 기술로서, 영화, 광고, 뮤직 비디오 및 게임 등 컴퓨터 그래픽스 효과를 필요로 하는 모든 분야에 적용 가능하며, 또한 상기한 바와 같이 입력으로 단일 이미지을 사용하기 때문에 비교적 적은 노력으로 쉽게 구할 수 있는 사진, 비사실적인 회화, 만화 등에도 적용 가능하다.The present invention is a computer graphics technology that generates a realistic image in real time by receiving a single image by a tip (TIP: Tour Into the Picture) technique, and is applicable to all fields requiring computer graphics effects such as movies, advertisements, music videos, and games. It is also applicable to pictures, non-realistic paintings, cartoons, etc., which can be easily obtained with relatively little effort because a single image is used as an input as described above.
상기 팁(TIP: Tour Into the Picture)은 2차원 이미지을 3차원이미지로 변환하여 새로운 이미지을 생성하는 이미지기반 랜더링(Image-based rendering) 기술의 하나로, 간단한 마우스 조작을 통해 사용자로 하여금 주어진 단일 이미지 입력 이미지속으로 여행하는 듯한 느낌을 받게 하는 효과가 있다. 이는 입력 이미지을 분석하여 전경 물체와 배경 물체를 분리한 뒤, 3차원 가상 환경 모델로 재구성하여 이를 네비게이션 함으로써 얻어진다. 여기서, 어떤 기준으로 이미지을 분석하고 어떤 방식과 형태로 가상 환경 모델을 구성하는가 하는 문제는 사용자가 느끼는 입체감, 실제감에 직접적인 영향을 미침과 아울러 기술의 효율성, 실용성 및 일반성 등을 좌우하게 되므로 매우 중요하다.The tip (TIP: Tour Into the Picture) is an image-based rendering technique that converts a two-dimensional image into a three-dimensional image to create a new image. The user inputs a single image input image through a simple mouse operation. It has the effect of making you feel like you are traveling inside. This is achieved by analyzing the input image, separating the foreground and background objects, and reconstructing them into a three-dimensional virtual environment model to navigate them. Here, the question of how to analyze an image and how to construct a virtual environment model is very important because it directly affects the three-dimensional and real feelings of the user, as well as the efficiency, practicality and generality of the technology. Do.
도 1a내지 도1c는 종래의 배경모델 구성 방법을 설명하기 위한 도면이다. 동도면에서 참조부호 VP는 소실점, IR은 내부 직사각형, OR은 외부 직사각형을 각각 나타내며, 점 1~4는 입력 이미지의 네 모퉁이에 해당되며, 점 5 및 6은 소실선과 이미지 경계선을 각각 나타낸다.1A to 1C are diagrams for explaining a conventional background model configuration method. In the same figure, reference numeral VP denotes a vanishing point, IR denotes an inner rectangle, and OR denotes an outer rectangle, points 1 to 4 correspond to four corners of the input image, and points 5 and 6 denote disappearance lines and image boundaries, respectively.
상기 배경모델 구성방법은 1997년 8월 K. Horry외 2인에 의해 저술된 "Tour Into the Picture: Using a Spidery Mesh Interface to Make Animation from a Single Image"란 제목의 논문 PP.225~232"에 게재된 것으로, 거미줄 메쉬(Spidery mesh)라는 사용자 입력도구를 사용하여 입력 이미지을, 도 1a에 나타낸 바와 같이 거미줄처럼 분할한 후, 도 2b에 나타낸 바와 같이 입력이미지 내의 소실점(VP: Vanishing Point)의 위치를 기준으로 이미지를 5개의 부분 즉, 천장, 바닥, 좌측벽, 우측벽 및 후벽으로 분할하여 추론된 2차원 다각형을 형성하고, 이것에 의해 도 1c에 나타낸 바와 같이 3차원 구조를 형성하는 환경모델을 제안하고 있다.The method of constructing the background model is described in a paper titled "Tour Into the Picture: Using a Spidery Mesh Interface to Make Animation from a Single Image" published in August 1997 by K. Horry et al. As shown in FIG. 1A, after splitting the input image using a user input tool called a spider mesh, the position of vanishing point (VP) in the input image is shown. Based on this, the image is divided into five parts, namely, a ceiling, a floor, a left wall, a right wall, and a back wall to form an inferred two-dimensional polygon, thereby forming a three-dimensional structure as shown in FIG. 1C. Is proposing.
그러나, 상기의 방법은 단일 소실점을 갖는 이미지에는 잘 적용되는 반면, 2개이상의 소실점을 가지는 이미지이나 소실점이 잘 드러나지 않는 이미지 등에는 적합하지 않다.However, while the above method is well applied to an image having a single vanishing point, it is not suitable for an image having two or more vanishing points or an image in which vanishing points are not easily revealed.
이와 같은 문제점을 극복하기 위해 특수한 경우들을 지원하는 다른 형태의 환경모델 구성방법들이 제안되었으나, 이들 방법들간에는 일관성이 결여되어 있으며, 특히, 소실점이 모호한 영상의 처리를 위해 도 2a 및 도 2b에 나타낸 바와 같은 간략화된 배경모델을 사용하면 사영 기하학에 모순되는 결과를 낳게 된다.In order to overcome this problem, other forms of environmental model construction methods have been proposed to support special cases, but there is a lack of consistency among these methods. In particular, the method shown in FIGS. Using a simplified background model like this results in contradictions to the projective geometry.
따라서, 상술한 바와 같은 종래의 방법은 환경모델 구성에 있어서 일반성, 일관성, 이론적 견고성이 부족하다는 문제점을 갖고 있다.Therefore, the conventional method as described above has a problem that generality, consistency and theoretical robustness are insufficient in constructing an environment model.
상기 문제점을 해결하기 위하여 본 발명의 목적은 사영 기학학의 원리에 입각하여 2차원 입력이미지내의 소실선을 기준으로 하는 새로운 가상 환경모델을 구성함으로써, 사용자의 관점에서 보다 간단하면서도 이론적으로 충실하고, 다양한 입력 이미지에 일관된 형태로 적용할 수 있는 소실선을 이용한 이미지 변환방법을 제공하는 데 있다.In order to solve the above problems, an object of the present invention is to construct a new virtual environment model based on the vanishing line in a two-dimensional input image based on the principle of projective geometry, and is simpler and theoretically faithful from the user's point of view. An object of the present invention is to provide an image conversion method using vanishing lines that can be applied to various input images in a consistent form.
상기 목적을 달성하기 위하여 본 발명의 이미지 변환방법은 단일 2차원의 이미지를 입력하는 단계; 상기 입력이미지의 장면에 소실선을 지정하여 상기 소실선을 기준으로 상측 및 하측 장면영역으로 분할하는 단계; 상기 입력이미지의 전경물체를 분할하는 단계; 상기 분할된 상측 및 하측 장면영역을 서로 수직인 평면 형태로 3차원 환경 모델링을 수행하여 배경모델을 생성하는 단계; 상기 분할된 전경물체를 상기 생성된 배경모델에 수직으로 결합시키는 3차원 환경 모델링을 수행하여 전경모델을 생성하는 단계; 상기 입력이미지에 나타나는 전경물체의 윤곽선을 정확하게 추출함과 아울러 배경으로부터 분리하여 배경이미지와 전경이미지를 생성하는 단계; 상기 배경모델과 전경모델에 대응하여 배경이미지와 전경이미지를 텍스쳐 매핑하여 카메라의 위치와 방향을 임의로 변화시키면서 3차원 공간을 네비게이션 하는 단계; 및 상기 네비게이션에 따라 랜더링하는 3차원 이미지를 생성하는 단계를 구비하는 것을 특징으로 한다.In order to achieve the above object, the image conversion method of the present invention comprises the steps of: inputting a single two-dimensional image; Assigning a vanishing line to the scene of the input image and dividing the upper and lower scene regions based on the vanishing line; Dividing a foreground object of the input image; Generating a background model by performing 3D environment modeling on the divided upper and lower scene regions in a plane shape perpendicular to each other; Generating a foreground model by performing 3D environment modeling to vertically combine the divided foreground object with the generated background model; Accurately extracting the contour of the foreground object appearing in the input image and generating a background image and a foreground image by separating from the background; Navigating a 3D space by randomly changing a position and a direction of a camera by texture mapping a background image and a foreground image corresponding to the background model and the foreground model; And generating a 3D image to be rendered according to the navigation.
도 1a내지 도1c는 종래의 배경모델 구성 방법을 설명하기 위한 도면.1a to 1c is a view for explaining a conventional background model configuration method.
도 2a는 종래의 간략화된 배경모델을 나타낸 도면.Figure 2a shows a conventional simplified background model.
도 2b는 종래의 다른 간략화된 배경모델을 나타낸 도면.Figure 2b is a view showing another conventional simplified background model.
도 3은 본 발명의 실시예에 따른 이미지 변환방법을 설명하기 위한 도면.3 is a view for explaining an image conversion method according to an embodiment of the present invention.
도 4a는 본 발명의 실시예에 적용된 입력이미지을 나타낸 도면.4A illustrates an input image applied to an embodiment of the present invention.
도 4b는 본 발명의 실시예에 따른 소실선의 지정 및 전경물체의 분할을 나타낸 도면.Figure 4b is a view showing the designation of the vanishing line and the division of the foreground object according to an embodiment of the present invention.
도 4c는 본 발명의 실시예에 따른 전경이미지을 나타낸 도면.4c is a view showing a foreground image according to an embodiment of the present invention.
도 4d는 본 발명의 실시예에 따른 배경이미지을 나타낸 도면.4d illustrates a background image according to an embodiment of the present invention.
도 4e는 본 발명의 실시예에 의해 결과된 출력이미지을 나타낸 도면.4E illustrates an output image resulting from an embodiment of the present invention.
도 5a 및 도 5b는 본 발명의 배경모델 구성 방법을 설명하기 위한 도면.5a and 5b is a view for explaining a background model configuration method of the present invention.
도 6은 본 발명의 실시예에 따른 배경모델 생성 방법을 설명하기 위한 플로우 챠트.6 is a flowchart for explaining a background model generation method according to an embodiment of the present invention.
도 7은 본 발명의 실시예에 따른 배경모델의 3차원 좌표를 구하는 원리를 설명하기 위한 도면.7 is a view for explaining the principle of obtaining the three-dimensional coordinates of the background model according to an embodiment of the present invention.
도 8은 본 발명의 실시예에 따른 배경모델을 나타낸 도면.8 is a view showing a background model according to an embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
IR: 내부 직사각형 OR: 외부 직사각형IR: inner rectangle OR: outer rectangle
C: 천장 F: 바닥C: ceiling F: floor
LW; 좌측벽 RW(Right Wall): 우측벽LW; Left Wall Right Wall (RW): Right Wall
BW(Back Wall): 후방벽 VP: 소실점BW (Back Wall): Rear Wall VP: Vanishing Point
VL: 소실선 GP: 바닥평면VL: Vanishing Line GP: Floor Plane
BP: 배경평면BP: Background Plane
이하, 본 발명의 구체적 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 3은 본 발명의 실시예에 따른 이미지 변화방법을 설명하기 위한 도면으로서, 도시된 바와 같이, 이미지를 입력하는 단계(S100)와, 입력 이미지에 소실선을 지정하는 단계(S102)와, 상기 입력이미지의 전경물체를 분할하는 단계(S104)와, 상기 소실선이 지정된 입력이미지의 장면 모델링 하는 단계(S106)와, 분할된 전경물체로부터 텍스쳐(texture) 이미지를 생성하는 단계(S108)와, 상기 장면 모델에 의해 생성된 3차원 환경모델에 상기 텍스쳐 이미지를 매핑하여 카메라의 포지션닝 및 랜더링하는 단계 즉, 카메라의 위치와 방향을 임의로 변환하는 단계(S110)와, 이에 따른 출력이미지을 얻는 단계(S112)로 구성된다.3 is a view for explaining a method of changing an image according to an embodiment of the present invention, as shown, the step of inputting an image (S100), the step of specifying a vanishing line in the input image (S102), and Dividing the foreground object of the input image (S104), scene modeling the input image with the vanishing line (S106), generating a texture image from the divided foreground object (S108), Mapping the texture image to the three-dimensional environment model generated by the scene model to position and render the camera, that is, arbitrarily converting the position and orientation of the camera (S110), and obtaining an output image accordingly (S112). It is composed of
상기 장면 모델링 단계(S106)는 입력이미지의 장면에서 배경을 3차원 환경으로 모델링하는 배경 모델링 단계(S106a)와 전경을 3차원 환경으로 모델링하는 전경모델링 단계(S106b)로 세분화 된다.The scene modeling step S106 is subdivided into a background modeling step S106a for modeling a background in a 3D environment and a foreground modeling step S106b for modeling a foreground in a 3D environment.
상기 텍스쳐 이미지 생성단계(S108)는 배경이미지를 생성하는 단계(S108a)와 전경이미지를 생성하는 단계(S108b)로 세분화된다.The texture image generation step S108 is subdivided into a step of generating a background image (S108a) and a step of generating a foreground image (S108b).
상기의 이미지 변환방법을 보다 상세히 설명하면 다음과 같다.The image conversion method will be described in more detail as follows.
먼저, 도 4a와 같은 이미지가 입력되면(S100), 도 4b에 나타낸 바와 같이, 사용자 정의에 의해 2차원 입력이미지에 소실선(VL)을 지정하고(S102), 아울러 입력이미지 내에서 전경 물체를 찾아 사각형의 틀로 표시한다(S104).First, when an image as shown in FIG. 4A is input (S100), as shown in FIG. 4B, a vanishing line VL is assigned to a two-dimensional input image by user definition (S102), and a foreground object is included in the input image. It finds and displays the frame of the rectangle (S104).
상술한 바와 같이, 2차원의 입력이미지에 소실선(VL)을 지정하면, 2차원 입력이미지는, 도 5a에 나타낸 바와 같이, 소실선을 기준으로 두 장면 영역 즉, 상측 장면영역과 하측 장면영역으로 나뉘어지는 데, 사영 기하학에서 소실선의 하측 장면영역은 3차원공간상의 지평면에 해당되며, 소실선의 상측 장면영역은 물체평면 위의 공간에 해당된다. 이 공간은 모든 전경물체들의 배경 역할을 하므로, 무한대의 거리에 위치한 평면으로 가정된다.As described above, when the vanishing line VL is assigned to the two-dimensional input image, the two-dimensional input image is divided into two scene regions, that is, an upper scene region and a lower scene region, as shown in FIG. 5A. In the projective geometry, the lower scene area of the vanishing line corresponds to the horizontal plane in three-dimensional space, and the upper scene area of the vanishing line corresponds to the space on the object plane. Since this space serves as the background for all foreground objects, it is assumed to be a plane located at an infinite distance.
이와 같이 2분할된 상측 및 하측 장면영역은, 도 5b에 나타낸 바와 같이, 소실선의 하측 장면영역에 해당하는 바닥평면(GP)과 소실선의 상측 장면영역에 해당하는 배경평면(BP)이 서로 수직하는 평면 형태로 3차원 환경 모델링됨으로써, 배경모델을 구성하게 된다(S106a).As shown in FIG. 5B, the upper and lower scene regions divided into two are divided so that the floor plane GP corresponding to the lower scene region of the vanishing line and the background plane BP corresponding to the upper scene region of the vanishing line are perpendicular to each other. By modeling the three-dimensional environment in a planar form, a background model is constructed (S106a).
또한 제 104단계(S104)에서 사각형의 틀로 분할된 전경 물체들 각각은 상기 제 106a단계(S106a)에서 생성된 배경모델에 수직으로 부착된 형태로 3차원 환경 모델링되어 전경모델을 이루게 된다(S106b).In addition, each of the foreground objects divided into a rectangular frame in step 104 (S104) is modeled in a three-dimensional environment in a form attached vertically to the background model generated in step 106a (S106a) to form a foreground model (S106b). .
상기 장면 모델링 단계(S106)가 완료되면, 각 전경물체들의 윤곽선을 정확하게 추출하여 배경으로 분리한 뒤 공백 부분을 페인팅 툴로 메꾼다. 이렇게 해서 도 4c의 전경이미지와 도 4d의 배경이미지를 얻는다(S108).When the scene modeling step S106 is completed, the contours of the respective foreground objects are accurately extracted, separated into the background, and the blank portion is filled with a painting tool. In this way, the foreground image of FIG. 4C and the background image of FIG. 4D are obtained (S108).
상기 텍스쳐 이미지 생성단계(S108)가 완료되면, 상기 3차원 환경모델에 배경이미지와 전경이미지를 텍스쳐 매핑(texture maping)한 후 카메라의 위치와 방향을 임의로 변화시키면서 3차원 공간을 자유롭게 네비게이션 한다(S110).When the texture image generation step (S108) is completed, after texture mapping the background image and the foreground image to the three-dimensional environment model (S110) and freely navigate the three-dimensional space while changing the position and orientation of the camera (S110) ).
이에 따라, 도 4e에 나타낸 바와 같이, 사용자가 원하는 3차원 이미지를 얻을 수 있게 된다.As a result, as shown in FIG. 4E, it is possible to obtain a three-dimensional image desired by the user.
본 발명의 실시예에 따른 배경모델 생성방법을 도 6의 플로우 챠트를 인용하여 설명하면 다음과 같다.A method of generating a background model according to an embodiment of the present invention will be described with reference to the flowchart of FIG. 6.
먼저, 상기 상측 장면영역을 카메라의 시선과 수평하며 무한대에 위치하도록 매핑하여 배경평면을 형성하고(S200), 상기 하측 장면영역을 상기 매핑된 배경평면과 수직을 이루도록 매핑한다(S202).First, a background plane is formed by mapping the upper scene area so as to be horizontal and infinity at the gaze of the camera (S200), and the lower scene area is mapped to be perpendicular to the mapped background plane (S202).
도 7은 본 발명의 실시예에 따른 배경모델의 3차원 좌표를 구하는 원리를 설명하기 위한 도면으로서, 상기의 매핑 과정에 의해 형성된 것이다.7 is a view for explaining the principle of obtaining the three-dimensional coordinates of the background model according to an embodiment of the present invention, it is formed by the above mapping process.
여기서, 계산상의 편이를 위해 카메라는 xyz좌표의 원점(O)에 위치하고, 시선은 +z방향이며, 카메라의 업벡터는 +y방향인 것으로 가정한다. 입력이미지의 좌우 경계선의 x좌표를 각각 xL과 xR로 놓고, 카메라의 촛점거리를 d라 하면,점(100~600)의 좌표는 각각 아래의 수학식 1과 같이 나타낼 수 있다. 이에 대응하는 배경모델 위의 점(100'~600')의 좌표를 동차좌표(homogeneous coordinate)로 나타내면 아래의 수학식 2와 같다.Here, for convenience of calculation, it is assumed that the camera is located at the origin O of the xyz coordinate, the line of sight is in the + z direction, and the up vector of the camera is in the + y direction. If the x coordinates of the left and right borders of the input image are set to x L and x R , respectively, and the focal length of the camera is d, the coordinates of the points 100 to 600 may be expressed as Equation 1 below. The coordinates of the points 100 'to 600' on the background model corresponding thereto are expressed as homogeneous coordinates as shown in Equation 2 below.
여기서, 점 100',300',500',600'은 무한대의 거리에 위치하므로 마지막 w 좌표가 0이 되고, 점 200'와 400'는 각각 점 200과 400와 일치하므로 마지막 w좌표가 1이 된다(S204).Here, the points 100 ', 300', 500 ', 600' are at infinite distance, so the last w coordinate is 0, and the points 200 'and 400' correspond to the points 200 and 400, respectively, so the last w coordinate is 1 (S204).
상기 제 204단계(S204)에서 구해진 좌표를 기초로 배경모델의 각 평면에 대한 평면 방정식을 구할 수 있게 된다.Based on the coordinates obtained in the step 204 (S204) it is possible to obtain a plane equation for each plane of the background model.
일반적으로, 네 개의 변수(x1,x2,x3,x4)을 가지는 임의의 평면의 식은 아래의 수학식 3과 같다.In general, an equation of any plane having four variables (x 1 , x 2 , x 3 , x 4 ) is given by Equation 3 below.
상기 평면위에 놓인 임의의 세 점의 좌표를 각각 (q1,q2,q3,q4), (r1,r2,r3,r4), (s1,s2,s3,s4)라고 하면, 평면 방정식의 계수들은 아래의 수학식 4와 같이 구해진다.Coordinates of any three points on the plane are (q 1 , q 2 , q 3 , q 4 ), (r 1 , r 2 , r 3 , r 4 ), (s 1 , s 2 , s 3 , s 4 ), the coefficients of the planar equation are obtained as in Equation 4 below.
따라서, 배경모델의 바닥평면의 방정식은 점 200',400',500'(또는 600')의 좌표를 상기 수학식 3에 대입하여 얻을 수 있고, 배경평면의 방정식은 점 100',300',500'(또는 600')의 좌표를 상기 수학식 3에 대입하여 얻을 수 있다(S206).Therefore, the bottom plane equation of the background model can be obtained by substituting the coordinates of points 200 ', 400', 500 '(or 600') into Equation 3, and the equation of the background plane is 100 ', 300', The coordinate of 500 '(or 600') can be obtained by substituting Equation 3 above (S206).
이와 같이 구해진 평면 방정식을 바탕으로 교차점 연산을 통해 전경물체들의 위치가 정해지면 환경모델이 완성된다.좀 더 부연 설명하면, 각 전경 물체들은 모두 바닥 평면에 수직으로 서있다고 가정한다. 만약 사람, 나무 등과 같이 비정규적인 형태를 갖는 물체일 경우, 바닥 평면에 수직인 하나의 평면으로 모델링한다.먼저, 물체의 분할 단계에서 미리 설정한 사각형 틀의 아랫쪽 두 꼭지점이 바닥 평면과 교차하는 위치를 계산한다. 그 다음 이 사각형이 3 차원 공간상에 바닥 평면과 수직으로 서있다고 가정하면, 구해진 두점만으로도 이 전경 물체의 3 차원 평면 방정식을 구할 수 있다. 그럼 사각형의 나머지 윗쪽 두점의 위치는 이 평면 방정식과 시선과의 교차 연산을 통해 구할 수 있다.만약 건축물과 같이 정규적인 형태를 갖는 물체일 경우, 2 개 이상의 평면으로 모델링하게 된다. 먼저 건축물의 한면에 해당하는 사각형을 위와같은 방법으로 3 차원 공간상에 모델링하고, 그에 연결되어있는 인접면들은 바닥 평면 뿐아니라 이미 구해진 건물면과도 수직으로 서있다는 가정하에 꼭지점들의 위치를 교차연산을 통해 구해낼 수 있다. 즉, 본 발명의 기술을 통해 정규화된 물체나 비정규화된 물체 모두 3 차원 상에 복원해낼 수 있다.Based on this planar equation, the environment model is completed when the position of the foreground objects is determined by the intersection point calculation. More specifically, it is assumed that each foreground object stands perpendicular to the floor plane. If the object has an irregular shape, such as a person or a tree, it is modeled as a plane perpendicular to the floor plane.First, the position where the two bottom vertices of the rectangular frame preset during the division of the object intersect the floor plane. Calculate Then, assuming that the rectangle stands perpendicular to the floor plane in three-dimensional space, the three-dimensional plane equation of this foreground object can be obtained with just two points. Then, the position of the remaining two upper points of the rectangle can be obtained by intersecting this plane equation with the line of sight; if it is a regular object such as a building, it will be modeled as two or more planes. First, the quadrilateral corresponding to one side of the building is modeled on the three-dimensional space in the same way as above. You can get it through That is, through the technique of the present invention, both normalized and denormalized objects can be restored on three dimensions.
이때, 교차점 연산을 위해 사용되는 식은 다음과 같이 구할 수 있다. 주어진 평면 방정식의 계수가 π1,π2,π3,π4이고, 두 점을 지나는 직선이 있을 때, 평면과 직선간의 교차점()을 구하는 식은 아래의 수학식 5와 같이 나타내어진다.In this case, the equation used for the intersection point operation can be obtained as follows. The coefficients of a given plane equation are π 1 , π 2 , π 3 , π 4 , two points When there is a straight line through, the intersection between the plane and the straight line ( ) Is expressed as in Equation 5 below.
여기서,= (π1,π2,π3,π4)이다.here, = (π 1 , π 2 , π 3 , π 4 ).
그 다음, 상기 제 108단계(S108)에서 추출된 배경 이미지와 전경 이미지들을 상기 완성된 환경모델에 텍스쳐 매핑하고, 이를 임의로 카메라 위치에서 랜더링 하면 새로운 영상이 생성된다.Thereafter, when the background image and the foreground image extracted in step 108 are texture-mapped to the completed environment model and randomly rendered at the camera position, a new image is generated.
이론적으로 소실선은 하나 또는 그 이상의 소실점을 포함할 수 있으므로, 본 발명에서 제시하는 배경모델의 구성원리를 사용하면, 하나의 소실점 뿐만 아니라 여러개의 소실점을 갖는 영상도 처리할 수 있게 되며, 도 8에서 처럼 소실선을 기준으로 처리하면, 간단하면서도 이론적으로 충실한 배경 모델을 구성할 수 있게 된다.Theoretically, the vanishing line may include one or more vanishing points. Thus, by using the background model of the present invention, it is possible to process not only one vanishing point but also images having several vanishing points. As shown in Fig. 5, the process based on the vanishing line can be used to construct a simple and theoretically faithful background model.
이상에서 설명한 바와 같이, 본 발명에서 제안한 방법은 단일 입력 이미지으로부터 3차원 가상환경 모델을 구성함에 있어 소실선의 위치를 기준으로 함에 따라종래의 방법에 비해 보다 간단하면서도 사영 기하학 이론에 충실하며, 단일 소실점 이미지 뿐만 아니라 다중 소실전 이미지 또는 소실점의 위치가 모호한 이미지 등 다양한 입력 이미지에 대해 일관된 방법으로 적용가능한 효과가 있다.As described above, the method proposed in the present invention is simpler than the conventional method and faithful to the projective geometry theory in constructing a 3D virtual environment model from a single input image, and is faithful to a single vanishing point. In addition to the image, there is an effect that can be applied in a consistent manner to various input images, such as multiple pre-disappearing images or images where the location of the vanishing point is ambiguous.
또한, 본 발명에서 제안한 방법은 3차원 가상환경 모델이 구성된 후 사용자가 마우스 조작에 의한 네비게이션을 통해 임의의 카메라 위치와 방향에서 바라본 새로운 이미지을 실시간으로 얻을 수 있는 다른 효과가 있다.In addition, the method proposed in the present invention has another effect that the user can obtain a new image viewed from any camera position and direction in real time through the navigation by the mouse after the three-dimensional virtual environment model is configured.
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0028897A KR100370366B1 (en) | 2000-05-27 | 2000-05-27 | The image converting method using vanishing line |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0028897A KR100370366B1 (en) | 2000-05-27 | 2000-05-27 | The image converting method using vanishing line |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010107403A KR20010107403A (en) | 2001-12-07 |
| KR100370366B1 true KR100370366B1 (en) | 2003-01-30 |
Family
ID=19670633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-0028897A KR100370366B1 (en) | 2000-05-27 | 2000-05-27 | The image converting method using vanishing line |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100370366B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100436904B1 (en) * | 2002-09-06 | 2004-06-23 | 강호석 | Method for generating stereoscopic image from 2D images |
| KR101288971B1 (en) | 2007-02-16 | 2013-07-24 | 삼성전자주식회사 | Method and apparatus for 3 dimensional modeling using 2 dimensional images |
| KR101166719B1 (en) | 2008-12-22 | 2012-07-19 | 한국전자통신연구원 | Method for calculating a limitless homography and method for reconstructing architecture of building using the same |
| KR101538014B1 (en) * | 2014-01-14 | 2015-07-22 | 강기환 | Converting method photographic images to 3d images through 3d modeling |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0220461A2 (en) * | 1985-10-29 | 1987-05-06 | International Business Machines Corporation | Three dimensional graphic display with user defined vanishing point |
| JPH07234949A (en) * | 1994-02-23 | 1995-09-05 | Hitachi Ltd | Method and system for supporting preparation of perspective drawing |
| KR980004174A (en) * | 1996-06-11 | 1998-03-30 | 구자홍 | How to Reconstruct a Two-Dimensional Drawing into a Three-Dimensional Solid |
| US5990900A (en) * | 1997-12-24 | 1999-11-23 | Be There Now, Inc. | Two-dimensional to three-dimensional image converting system |
| EP0989524A2 (en) * | 1998-09-25 | 2000-03-29 | Lucent Technologies Inc. | Display Techniques for three-dimensional virtual reality |
-
2000
- 2000-05-27 KR KR10-2000-0028897A patent/KR100370366B1/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0220461A2 (en) * | 1985-10-29 | 1987-05-06 | International Business Machines Corporation | Three dimensional graphic display with user defined vanishing point |
| JPH07234949A (en) * | 1994-02-23 | 1995-09-05 | Hitachi Ltd | Method and system for supporting preparation of perspective drawing |
| KR980004174A (en) * | 1996-06-11 | 1998-03-30 | 구자홍 | How to Reconstruct a Two-Dimensional Drawing into a Three-Dimensional Solid |
| US5990900A (en) * | 1997-12-24 | 1999-11-23 | Be There Now, Inc. | Two-dimensional to three-dimensional image converting system |
| EP0989524A2 (en) * | 1998-09-25 | 2000-03-29 | Lucent Technologies Inc. | Display Techniques for three-dimensional virtual reality |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010107403A (en) | 2001-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI406186B (en) | 2d editing metaphor for 3d graphics | |
| US7167173B2 (en) | Method and structure for image-based object editing | |
| CN104574515B (en) | Method, device and terminal that a kind of three-dimensional body is rebuild | |
| WO2022048115A1 (en) | Terrain deformation method and apparatus, device, and storage medium | |
| JP2007220049A (en) | Image-based protruded displacement mapping method and bi-layered displacement mapping method using the same | |
| CN112530005B (en) | Three-dimensional model linear structure recognition and automatic restoration method | |
| Turner et al. | Sketching space | |
| JP2003091745A (en) | Method for representing rendering information of image base in three-dimensional scene | |
| KR20230164545A (en) | CityGML-based building object information generation method using 3D geometric object information, building object information generation system, and computer program therefor | |
| CN107102991A (en) | A kind of shaft tower parametric modeling method in three-dimension GIS system | |
| JPH10111953A (en) | Image processing method, device therefor and recording medium | |
| Chen et al. | Graphic design method based on 3D virtual vision technology | |
| Lee et al. | Interactive 3D building modeling using a hierarchical representation | |
| KR100370366B1 (en) | The image converting method using vanishing line | |
| CN102693065A (en) | Method for processing visual effect of stereo image | |
| Zhang et al. | A geometry and texture coupled flexible generalization of urban building models | |
| CN116681854A (en) | Virtual city generation method and device based on target detection and building reconstruction | |
| JP2832463B2 (en) | 3D model reconstruction method and display method | |
| KR20130003992A (en) | Method of converting 3d image data and apparatus for the same | |
| RU2467395C1 (en) | Method of forming images of three-dimensional objects for real-time systems | |
| Glander et al. | Concepts for automatic generalization of virtual 3D landscape models | |
| CN114638926A (en) | Three-dimensional scene automatic generation system and method | |
| Tang et al. | STEREOSCOPIC DISPLAY OF ARCHITECTURAL EXTERIOR DESIGN IMAGES BASED ON VIRTUAL REALITY TECHNOLOGY | |
| JP3067097B2 (en) | 3D image data creation method | |
| Bae et al. | User‐guided volumetric approximation using swept sphere volumes for physically based animation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20110104 Year of fee payment: 9 |
|
| LAPS | Lapse due to unpaid annual fee |