WO2011093555A1 - 입체영상 제작을 위한 동영상 프레임 생성방법 - Google Patents

입체영상 제작을 위한 동영상 프레임 생성방법 Download PDF

Info

Publication number
WO2011093555A1
WO2011093555A1 PCT/KR2010/003549 KR2010003549W WO2011093555A1 WO 2011093555 A1 WO2011093555 A1 WO 2011093555A1 KR 2010003549 W KR2010003549 W KR 2010003549W WO 2011093555 A1 WO2011093555 A1 WO 2011093555A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
layers
camera
dimensional space
Prior art date
Application number
PCT/KR2010/003549
Other languages
English (en)
French (fr)
Inventor
하금주
최용석
이진영
Original Assignee
(주)빅아이엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)빅아이엔터테인먼트 filed Critical (주)빅아이엔터테인먼트
Publication of WO2011093555A1 publication Critical patent/WO2011093555A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Definitions

  • the present invention relates to a method for generating a video frame for producing a stereoscopic image, and more particularly, to a method for easily generating a video frame for producing a stereoscopic image by using layers of 2D images.
  • the method of producing a stereoscopic image is a real-life shooting method of photographing a real object using a stereoscopic camera, and a 3D object is created using a stereoscopic image making program, and then a virtual stereoscopic camera is installed on the program and photographed by a virtual stereoscopic camera. It can be divided into a method of using a CG (Computer Graphic) for generating an image of the object, and a method of synthesizing a real-life image and a CG image.
  • CG Computer Graphic
  • the present invention has been made in view of this point, and an object thereof is to provide a method for producing a stereoscopic image at a relatively low cost in a relatively short time.
  • a video frame generation method comprising: arranging a plurality of object layers of a two-dimensional image of each object in a three-dimensional space; Photographing a plurality of object layers disposed on a three-dimensional space using a stereoscopic camera.
  • the virtual three-dimensional camera may be composed of two or more cameras separated from each other to generate two or more two-dimensional images, or composed of a camera capable of generating a depth map (depth of the two-dimensional image and the captured image) It may be creating a map.
  • the plurality of object layers including two-dimensional images of each object may be an image drawn by a person or may be an image generated by reflecting a motion according to an object motion model of each object.
  • the object layer When the object layer is generally disposed at right angles to the horizontal plane, for some object layers such as floors, it may be disposed at an angle other than the right angle to the horizontal plane. It may also be arranged so as not to be parallel to a plane formed perpendicular to the horizontal plane at the virtual camera position, such as a wall arranged in the depth direction.
  • the plurality of object layers may be generated from the plurality of two-dimensional object images extracted by separating from the two-dimensional image.
  • the 3D video may be animation, and a part of the body part of the person represented in the animation may be processed in different layers from other body parts.
  • a three-dimensional image of the corresponding object may be arranged for some objects.
  • a video frame generation method for producing a stereoscopic image includes receiving information about a plurality of object layers including two-dimensional images of an object and arranging the plurality of object layers in a three-dimensional space. Receiving a position, and arranging object layers at respective arrangement positions and photographing using a virtual stereoscopic camera at a virtual camera position in a front direction thereof.
  • the virtual three-dimensional camera may be composed of two or more cameras separated from each other to generate two or more two-dimensional images, or composed of a camera capable of generating a depth map (depth of the two-dimensional image and the captured image) It may be creating a map.
  • the information about the object layer includes an object motion model and motion information of each object, and each object layer may be generated by reflecting motion in the object motion model.
  • information about the placement angle of the horizontal plane may be input to some object layers.
  • location point information may be input in a three-dimensional space of each vertex of each object layer.
  • the present invention it is possible to produce a stereoscopic image without undergoing modeling and 3D rendering operations on an object that consumes a lot of time and effort, thereby reducing the production time and cost of the stereoscopic image.
  • 1 to 4 are diagrams illustrating a design process, 3D modeling, mapping, and arrangement in a three-dimensional space in a conventional stereoscopic image production method.
  • FIG. 5 is a block diagram showing a configuration according to a preferred embodiment of the present invention.
  • FIG. 6 to 9 are views illustrating a manufacturing process of a stereoscopic image according to an embodiment of the present invention
  • FIG. 10 is an example of a depth map.
  • 11 to 13 illustrate various methods for arranging object layers in a three-dimensional space.
  • FIG. 14 is a diagram illustrating a case where a 3D modeled object is disposed together with a 2D object layer.
  • FIG. 5 is a block diagram showing a configuration according to a preferred embodiment of the present invention.
  • a video frame for a stereoscopic image is generated by using an object layer composed of a 2D image of the object without performing 3D modeling on an object such as a person or a background appearing in the image.
  • the video frame generation unit 100 receives the information 10 about the object to be represented in the stereoscopic image and the camera information 20 necessary for capturing the stereoscopic image.
  • the object information 10 may include information about an object layer consisting of a two-dimensional image of an object and information about an arrangement position of the object layer in a three-dimensional space.
  • the information about the object layer may be a two-dimensional image itself of the object, or may be information expressed by two-dimensional modeling of the object in a triangle or a square, similar to the three-dimensional modeling of the object from a three-dimensional image to a polygon.
  • the object information 10 may further include information about the texture of the object and a motion model of the object, and may generate a 2D image of the object layer by using the modeling information and the motion model of the object.
  • the camera information may include information about cameras used, such as the type of three-dimensional camera used, the number of cameras, the distance between the cameras, and the motion model of the camera.
  • the type of stereoscopic camera used may be a binocular / polyfocal camera or a depth camera capable of generating a depth map.
  • the present invention is not limited to the type of specific stereoscopic camera used.
  • the camera motion model is information that models the camera movement when the camera is photographed while the object is stationary or moving.
  • the video frame generator 100 arranges a plurality of object layers in a three-dimensional space according to the received object information 10. 6 illustrates an example in which object layers are arranged in a three-dimensional space, and FIG. 7 illustrates a final example in which arrangement is completed. There may be various methods for arranging the object layers in the 3D space, which will be described later.
  • the video frame generation unit 100 uses a virtual stereoscopic camera located in the three-dimensional space according to the input camera information 20 to arrange the plurality of objects in the three-dimensional space.
  • Shoot object layers After arranging the object layers in the three-dimensional space, the video frame generation unit 100 uses a virtual stereoscopic camera located in the three-dimensional space according to the input camera information 20 to arrange the plurality of objects in the three-dimensional space.
  • Shoot object layers After arranging the object layers in the three-dimensional space, the video frame generation unit 100 uses a virtual stereoscopic camera located in the three-dimensional space according to the input camera information 20 to arrange the plurality of objects in the three-dimensional space. Shoot object layers.
  • FIG. 8 and 9 illustrate a left image and a right image generated when the three-dimensional space of FIG. 7 is photographed with two virtual cameras in the front direction, respectively.
  • a vertical line is drawn between the eyes of the ghost of the ghost and between the eyes of the middle Seonbi to show the difference between the two images.
  • a virtual depth camera may be used as the virtual camera of the present invention.
  • the depth camera refers to a camera that generates a normal video image, a depth image, or a depth map.
  • the depth image or the depth map refers to an image expressing a sense of space in gray tones as illustrated in FIG. 10. That is, the frontmost object is represented in white, the rearmost object is represented in black, and the objects in between are represented by gray tones proportional to the distance from the camera. Therefore, the spatial feeling of each object of the general video image can be known from the normal video image and the depth image photographed by the depth camera, and from this information, a binocular image or a multiview image can be generated as necessary.
  • the stereoscopic video is generated by the video generating unit 200 by using the stereoscopic video frame including two or more two-dimensional images or two-dimensional images and a depth map. Since the operation of the video generating unit 200 is outside the scope of the present invention, a detailed description thereof will be omitted.
  • FIGS. 11 through 13 Various examples of arranging an object layer in a three-dimensional space will be described with reference to FIGS. 11 through 13.
  • the object layer is generally arranged parallel to the front face where the camera is located (ie, at right angles to the horizontal plane), but some two-dimensional object layers may be placed flat on the floor or inclined with respect to the horizontal plane.
  • FIG. 11 shows a method of specifying the position in three-dimensional space of the object layers 41, 42, 43 arranged parallel to the front face. That is, by designating the coordinates of one vertex A41, A42, A43 of the object layers 41, 42, 43 by using an input means such as a mouse or a keyboard, the position of each object layer in three-dimensional space can be designated. have.
  • the positions of the four vertices A44, B44, C44, and D44 of the object layer 44 may be designated in three-dimensional space of each object layer by using input means such as a mouse or a keyboard.
  • input means such as a mouse or a keyboard.
  • the object layer may be located in various forms.
  • an object layer consisting of a two-dimensional image of the object may be located on the floor of the three-dimensional space.
  • an object layer made of a two-dimensional image of the object may be inclined.
  • the object layers corresponding to the two walls are each two-dimensional images.
  • the actual wall can be made smaller and smaller as shown in FIG. 13. That is, according to the present invention, it is possible to inject a three-dimensional effect by perspective while expressing the wall as a two-dimensional image without three-dimensional modeling.
  • an object layer it is possible to draw a two-dimensional image of the object directly, or to extract a two-dimensional image of each object from the two-dimensional image. That is, after separating and extracting a plurality of 2D object images from a 2D image or an image, a plurality of object layers may be generated using the extracted plurality of 2D object images.
  • the size may be expressed differently in the final image depending on the position in the three-dimensional space even if the object is the same size in the two-dimensional image.
  • the large apple is behind and the small apple is in front.
  • the two apples are almost the same size on the two-dimensional image, after extracting the image of each apple represented by the almost same size, When placed in the final image, the larger apple at the back is smaller than the smaller apple at the front, so that the same ratio as in the original two-dimensional image cannot be obtained.
  • each object layer from the virtual camera position It is preferable to adjust the image size of each object layer based on the distance to the position in the three-dimensional space.
  • the present invention can be applied to a stereoscopic video made of animation.
  • a stereoscopic video made of animation by processing the face and nose of the person represented in the animation in different layers, it is possible to give a three-dimensional appearance to the face without three-dimensional modeling of the face.
  • This is not only applied to the face and nose, it is possible to change the treatment of the ear as a separate object layer or the lips as a separate object layer depending on the appearance characteristics of the character.
  • a 3D image may be used for some objects together with the 2D image. That is, in FIG. 14, the three-dimensional image 50 of the object is also disposed along with the object layers 51 and 52 formed of the two-dimensional image.
  • the three-dimensional image 50 of the object is also disposed along with the object layers 51 and 52 formed of the two-dimensional image.
  • the invention may be implemented by a computer program. That is, the computer program receives information about a plurality of object layers consisting of two-dimensional images of objects and arrangement positions of the plurality of object layers in a three-dimensional space, arranges these object layers at each arrangement position, and faces the front direction thereof. Creates a stereoscopic video frame when shooting using a virtual stereoscopic camera at a virtual camera location in.
  • the virtual stereoscopic camera may be a binocular / polycular camera or a depth camera capable of generating a depth map.
  • a binocular / polyfocal camera composed of two or more cameras separated from each other is used, two or more two-dimensional images taken by each camera are generated.
  • a depth camera is used, two-dimensional images and two-dimensional images are recorded. The depth map is generated.
  • the arrangement position of the object layer may be represented by coordinates in one three-dimensional space of one or more vertices of the object layer, or may include information about an arrangement angle with respect to the horizontal plane.
  • a coordinate value may be directly input by a keyboard, or a user may place each object layer at a desired position by using a mouse.
  • the information about the object layer may consist of a two-dimensional image of the object, and may include an object motion model and motion information of each object. In the latter case, each object layer is created by reflecting motion in the object motion model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

각 오브젝트의 2차원 이미지를 사용함으로써 비교적 단기간에 적은 비용으로 입체영상을 제작할 수 있는 방법이 제공된다. 본 발명의 입체영상 제작을 위한 동영상 프레임 생성방법은, 각 오브젝트의 2차원 이미지로 이루어지는 다수의 오브젝트 레이어들을 3차원 공간 상에 배치하는 단계와 3차원 공간 상에 위치한 가상의 입체 카메라를 사용하여 상기 3차원 공간 상에 배치된 다수의 오브젝트 레이어를 촬영하는 단계를 구비한다. 오브젝트 레이어를 배치할 때 일부 오브젝트 레이어는 임의의 각도로 배치할 수 있다.

Description

입체영상 제작을 위한 동영상 프레임 생성방법
본 발명은 입체영상 제작을 위한 동영상 프레임 생성방법에 관한 것으로서, 더욱 상세하게는 2차원 이미지로 이루어진 레이어들을 이용하여 간편하게 입체영상 제작을 위한 동영상 프레임을 생성할 수 있는 방법에 관한 것이다.
입체 영상을 제작하는 방법은 실물을 입체카메라를 이용하여 촬영하는 실사촬영방법과, 입체영상제작 프로그램을 이용하여 3차원 객체를 만든 후, 이 프로그램 상에 가상 입체카메라를 설치하여 가상 입체카메라에서 촬영된 객체의 영상을 생성하는 CG(Computer Graphic)를 사용하는 방법, 그리고 실사영상과 CG 영상을 합성하는 방법 등으로 나눌 수 있다.
CG를 사용하는 방법에 대해서 좀더 살펴보면, 도 1 내지 도 4에 도시한 것처럼, 먼저 영상에 등장하는 인물, 배경 등(이하, '객체'라 함)을 디자인하고(도 1), 디자인된 객체를 3차원 모델링한다(도 2). 이렇게 모델링된 객체들에 대해서 질감이나 색을 더하는 맵핑 작업을 수행한 후(도 3), 최종적으로 객체들을 모아서 하나의 화면으로 구성하고 그림자, 빛의 반사 등을 반영하여 입체감을 불어넣는 렌더링 작업을 수행하게 된다. 한편, 모델링된 객체를 사용하여 화면 구성을 먼저하고 (도 4) 그 후에 맵핑 및 렌더링 작업을 수행하기도 한다.
그런데, 이러한 3차원 모델링, 맵핑 및 렌더링 작업은 손이 많이 가는 작업이어서, CG를 사용한 입체영상작품의 제작에는 긴 기간 및 높은 비용이 소요되는 문제점이 있다.
본 발명은 이러한 점을 감안하여 이루어진 것으로서, 비교적 단기간에 적은 비용으로 입체영상을 제작할 수 있는 방법을 제공하는 것을 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명의 일실시예에 따른 동영상 프레임 생성방법은, 각 오브젝트의 2차원 이미지로 이루어지는 다수의 오브젝트 레이어들을 3차원 공간 상에 배치하는 단계와, 3차원 공간 상에 위치한 가상의 입체 카메라를 사용하여 3차원 공간 상에 배치된 다수의 오브젝트 레이어를 촬영하는 단계를 구비한다. 가상의 입체 카메라로는 서로 떨어져 있는 2 이상의 카메라로 구성되어 2 이상의 2차원 이미지를 생성하는 것일 수도 있고, 깊이 지도(depth map) 생성이 가능한 카메라로 구성되어 2차원 이미지와 촬영된 영상에 대한 깊이 지도를 생성하는 것일 수도 있다.
각 오브젝트의 2차원 이미지로 이루어지는 다수의 오브젝트 레이어는 사람이 직접 그린 이미지일 수도 있고, 각 오브젝트의 오브젝트 움직임 모델에 따른 움직임을 반영하여 생성된 이미지일 수도 있다.
오브젝트 레이어를 배치할 때는 일반적으로 수평면에 대해서 직각으로 배치하지만, 바닥과 같은 일부 오브젝트 레이어에 대해서는 수평면에 대해서 직각이 아닌 각도로 배치될 수 있다. 또한, 깊이 방향으로 배치되는 벽 등과 같이 가상 카메라위치에서 수평면에 대해 수직으로 형성되는 평면에 대해서 평행이 되지 않도록 배치할 수도 있다.
한편, 다수의 오브젝트 레이어는 2차원 이미지로부터 분리하여 추출된 다수의 2차원 오브젝트 이미지들로부터 생성될 수 있다. 이 경우에, 다수의 오브젝트 레이어를 3차원 공간상에 배치하기 전에, 가상카메라위치에서 배치될 3차원 공간상의 위치까지의 거리에 기초하여 각 오브젝트 레이어의 이미지 크기를 조절하는 것이 바람직하다.
한편, 입체 동영상은 애니메이션일 수 있으며, 애니메이션에 표현되는 인물의 신체부위의 일부는 다른 신체부위와 서로 다른 레이어로 처리될 수 있다.
다수의 오브젝트 레이어를 3차원 공간상에 배치할 때 일부 오브젝트에 대해서는 해당 오브젝트의 3차원 이미지를 배치할 수도 있다.
본 발명의 일실시예에 따른 입체영상 제작을 위한 동영상 프레임 생성방법은, 오브젝트의 2차원 이미지로 이루어지는 다수의 오브젝트 레이어에 관한 정보를 입력받는 단계와, 다수의 오브젝트 레이어의 3차원 공간상에서의 배치위치를 입력받는 단계와, 오브젝트 레이어들을 각각의 배치위치에 배치하고 그 정면방향에 있는 가상카메라위치에서 가상의 입체 카메라를 사용하여 촬영하는 단계를 구비한다. 가상의 입체 카메라로는 서로 떨어져 있는 2 이상의 카메라로 구성되어 2 이상의 2차원 이미지를 생성하는 것일 수도 있고, 깊이 지도(depth map) 생성이 가능한 카메라로 구성되어 2차원 이미지와 촬영된 영상에 대한 깊이 지도를 생성하는 것일 수도 있다.
오브젝트 레이어에 관한 정보는 각 오브젝트의 오브젝트 움직임 모델 및 움직임 정보를 포함하며, 각 오브젝트 레이어는 상기 오브젝트 움직임 모델에 움직임을 반영하여 생성될 수 있다.
오브젝트 레이어의 배치위치를 입력받을 때 일부 오브젝트 레이어에 대해서는 수평면에 대한 배치각도에 관한 정보도 입력받을 수 있다. 또는, 각 오브젝트 레이어의 각 꼭지점의 3차원 공간상에서 위치점 정보를 입력받도록 하는 것도 가능하다.
본 발명에 따르면 시간과 노력이 많이 소모되는 오브젝트에 대한 모델링 및 3차원 렌더링 작업을 거치지 않고도 입체영상을 제작할 수 있으므로, 입체영상 제작시간과 비용이 절감되는 효과가 있다.
도 1 내지 도 4는 종래의 입체영상 제작방법에서의 디자인, 3D 모델링, 맵핑, 및 3차원 공간에의 배치과정을 보여주는 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 구성을 보여주는 블록도이다.
도 6 내지 도 9는 본 발명의 일 실시예에 따른 입체영상의 제작과정을 보여주는 도면이고, 도 10는 깊이지도의 일예이다.
도 11 내지 도 13는 오브젝트 레이어를 3차원 공간 상에 배치하기 위한 다양한 방법을 보여주는 도면이다.
도 14는 2차원의 오브젝트 레이어와 함께 3차원 모델링된 오브젝트를 배치하는 경우를 보여주는 도면이다.
이하, 도면을 참조하여 본 발명의 바람직한 실시예에 대해서 상세히 설명한다.
도 5는 본 발명의 바람직한 실시예에 따른 구성을 보여주는 블록도이다. 본 발명에서는 종래의 방법과는 달리 영상에 등장하는 인물이나 배경 등의 오브젝트에 대해서 3D 모델링을 하지 않고 해당 오브젝트의 2D 이미지로 이루어지는 오브젝트 레이어를 사용하여 입체영상을 위한 동영상 프레임을 생성한다.
이를 위하여 동영상 프레임 생성부(100)에는 입체영상에 표현될 오브젝트에 관한 정보(10)와 입체영상을 촬영하는데 필요한 카메라 정보(20)가 입력된다.
오브젝트 정보(10)로는 오브젝트의 2차원 이미지로 이루어지는 오브젝트 레이어에 관한 정보와 오브젝트 레이어의 3차원 공간상에서의 배치 위치에 관한 정보가 포함될 수 있다. 오브젝트 레이어에 관한 정보는 오브젝트의 2차원 이미지 자체가 될 수도 있고 또는 오브젝트를 입체영상에서 폴리곤으로 3차원 모델링한 것과 유사하게 오브젝트를 삼각형이나 사각형으로 2차원 모델링하여 표현한 정보일 수도 있다. 이 경우에, 오브젝트 정보(10)는 오브젝트의 텍스처에 관한 정보와 오브젝트의 움직임 모델을 더 포함할 수 있으며, 오브젝트의 모델링 정보와 움직임 모델을 이용하여 오브젝트 레이어의 2차원 이미지를 생성할 수 있다.
카메라 정보로는 사용되는 입체 카메라의 종류, 카메라 댓수, 카메라 사이의 거리 등과 같은 사용되는 카메라에 관한 정보와, 카메라의 움직임 모델이 포함될 수 있다. 사용되는 입체 카메라의 종류로는 양안식/다안식 카메라 또는 깊이 지도(depth map) 생성이 가능한 뎁쓰 카메라 등이 사용될 수 있으며, 본 발명은 사용되는 특정 입체 카메라의 종류에 제한되지 않는다. 카메라 움직임 모델은 물체가 정지되어 있거나 움직이고 있는 상태에서 카메라가 이동하면서 촬영하는 경우에 카메라의 움직임을 모델링한 정보이다.
동영상 프레임 생성부(100)는 입력받은 오브젝트 정보(10)에 따라 다수의 오브젝트 레이어들을 3차원 공간 상에 배치한다. 도 6에 오브젝트 레이어들이 3차원 공간 상에 배치하는 예가 도시되어 있으며, 도 7에 배치가 완료된 최종적인 예가 도시되어 있다. 오브젝트 레이어들을 3차원 공간 상에 배치하는 방법으로는 다양한 방법이 있을 수 있으며, 이에 대해서는 후술한다.
오브젝트 레이어들을 3차원 공간 상에 배치한 후에, 동영상 프레임 생성부(100)는 입력받은 카메라 정보(20)에 따라 3차원 공간 상에 위치한 가상의 입체 카메라를 사용하여 3차원 공간 상에 배치된 다수의 오브젝트 레이어들을 촬영한다.
도 8와 도 9는 도 7의 3차원 공간을 정면방향에서 2개의 가상카메라로 촬영하였을 때 생성되는 좌측 영상 및 우측 영상을 각각 보여주고 있다. 도면에는 양 영상의 차이를 보여주기 위하여 뒤쪽의 도깨비의 양 눈 사이와, 가운데 선비의 양 눈 사이에 수직선이 그어져 있다.
양 도면을 비교하여 보면, 카메라 조준점에 위치하고 있는 선비의 양 눈 사이에 그어져 있는 수직선은 도 8와 도 9에서 거의 같은 위치에 있음을 알 수 있다. 반면에, 카메라 조준점에서 뒤쪽으로 멀리 떨어져 있는 도깨비의 양 눈 사이에 그어져 있는 수직선은 좌측 영상과 우측 영상에서 서로 다른 위치에 있음을 알 수 있다. 즉, 두 카메라에 의해 발생되는 양안시차에 의해, 뒤쪽으로 멀리 떨어져 있는 도깨비는 좌측 영상에서 우측 영상보다는 좀더 좌측에 위치하고 있다. 또한, 도깨비보다는 앞에 있고 두 선비보다는 뒤에 있는 천막의 기둥은 좌측 영상에서의 위치와 우측 영상에서의 위치 차이가 도깨비보다는 적고 두 선비보다는 크다는 사실을 알 수 있다.
한편, 위의 설명에서는 가상 카메라로 일정 거리만큼 떨어져 있는 두 개 이상의 카메라를 사용하는 경우를 예로 들어 설명하였지만, 본 발명의 가상 카메라로는 이 이외에도 가상적인 뎁쓰(depth) 카메라를 사용할 수도 있다.
뎁쓰 카메라는 일반 영상 이미지와 뎁쓰 이미지(depth image) 또는 깊이 지도(depth map)를 생성하는 카메라를 말한다. 뎁쓰 이미지 또는 깊이 지도는 도 10에 도시된 것처럼 그레이 톤(grey tone)으로 공간감을 표현한 이미지를 말한다. 즉, 맨앞쪽에 위치한 물체는 흰색으로, 맨뒤쪽에 위치한 물체는 검정색으로, 그리고 그 사이에 위치한 물체는 카메라로부터의 거리에 비례하는 회색의 톤으로 표현된다. 따라서, 뎁쓰 카메라로 촬영된 일반 영상 이미지와 뎁쓰 이미지로부터 일반 영상 이미지의 각 물체의 공간감을 알 수 있으며, 이 정보로부터 필요에 따라 양안 영상이나 다시점 영상을 생성할 수 있다.
즉, 도 7에서와 같이 3차원 공간 상에 배치된 물체들을 가상의 뎁쓰 카메라로 촬영했을 때에 생성되는 뎁쓰 이미지와 일반 이미지로 이루어지는 하나의 입체 동영상 프레임을 생성하도록 하는 것이 가능하다.
이렇게 생성된 2개 이상의 2차원 영상 또는 2차원 영상 및 깊이 지도로 이루어지는 입체 동영상 프레임을 이용하여 동영상 생성부(200)에서 입체 동영상을 생성한다. 동영상 생성부(200)의 동작은 본 발명의 범위를 벗어나므로 상세한 설명은 생략한다.
도 11 내지 도 13를 참고하여 오브젝트 레이어를 3차원 공간에 배치하는 다양한 예에 대해서 설명한다.
오브젝트 레이어는 일반적으로 카메라가 위치한 정면에 대해서 평행하게 (즉, 수평면에 대해서는 직각으로) 배치되지만, 일부 2차원 오브젝트 레이어는 바닥에 평평하게 배치될 수도 있고, 수평면에 대해서 기울어지게 배치될 수도 있다.
도 11는 정면에 대해서 평행하게 배치되는 오브젝트 레이어들(41, 42, 43)의 3차원 공간상에서의 위치를 지정하는 방법을 보여주고 있다. 즉, 오브젝트 레이어(41, 42, 43)의 하나의 꼭지점(A41, A42, A43)의 좌표를 마우스 또는 키보드 등의 입력수단을 사용하여 지정함으로써 각 오브젝트 레이어의 3차원 공간에서의 위치를 지정할 수 있다.
또는, 도 12에서와 같이 오브젝트 레이어(44)의 4 꼭지점(A44, B44, C44, D44)의 위치를 마우스 또는 키보드 등의 입력수단을 사용하여 각 오브젝트 레이어의 3차원 공간에서의 위치를 지정할 수 있다. 이 경우에는 오브젝트 레이어가 다양한 형태로 위치할 수 있다.
예를 들어 오브젝트가 바닥인 경우에는 그 오브젝트의 2차원 이미지로 이루어진 오브젝트 레이어는 3차원 공간의 바닥에 위치시킬 수 있다. 또, 오브젝트가 기울어진 담장인 경우에도 그 오브젝트의 2차원 이미지로 이루어지는 오브젝트 레이어를 기울어지게 배치할 수 있다.
예를 들면, 도 13에서와 같이 두 벽(46, 47)이 안쪽 방향으로 배치되어 원근감에 의해 벽이 멀어질 수록 점점 작아지게 보이는 경우에, 두 벽에 대응되는 오브젝트 레이어는 각각 2차원 이미지인 직사각형으로 구성하고 이를 3차원 공간 상에 도 13와 같이 앞쪽에서 뒤쪽으로 이어지도록 배치함으로써, 실제 촬영시에는 도 13에서와 같이 벽이 멀어질 수록 점점 작아지게 보이도록 할 수 있다. 즉, 본 발명에 따르면 벽을 3차원 모델링하지 않고 2차원 이미지로 표현하면서도 원근감에 의한 입체감을 불어넣을 수 있는 것이다.
한편, 오브젝트 레이어를 생성할 때는 직접 오브젝트의 2차원 이미지를 그릴 수도 있고, 2차원 영상으로부터 각 오브젝트의 2차원 이미지를 추출해낼 수도 있다. 즉, 2차원 영상 또는 이미지로부터 다수의 2차원 오브젝트 이미지들을 분리하여 추출한 후, 추출된 다수의 2차원 오브젝트 이미지들을 이용하여 다수의 오브젝트 레이어를 생성할 수 있다.
이때, 이들을 3차원 공간 상에 그대로 배치한 후에 촬영을 하게 되면 2차원 이미지 상에서는 동일한 크기의 오브젝트라 하더라도 3차원 공간 상에서의 위치에 따라 최종 영상에서는 그 크기가 다르게 표현될 수 있다. 즉, 큰 사과가 뒤에 있고 작은 사과가 앞에 있어서, 2차원 이미지 상에서는 두 사과의 그림이 거의 같은 크기로 표현되어 있다고 하여도, 거의 같은 크기로 표현된 각 사과의 이미지를 추출한 후에 그대로 3차원 공간 상에 배치하면 최종 영상에서는 앞에 있는 작은 사과보다 뒤에 있는 큰 사과의 크기가 작아져서 원래의 2차원 이미지에서와 같은 비율을 얻을 수 없다.
따라서, 3차원 공간에 배치한 후에 촬영하였을 때 원래의 2차원 이미지에서와 같은 비율을 얻기 위해서는, 다수의 오브젝트 레이어를 3차원 공간상에 배치하기 전에, 가상카메라위치로부터 각 오브젝트가 레이어가 배치될 3차원 공간상의 위치까지의 거리에 기초하여 각 오브젝트 레이어의 이미지 크기를 조절하는 것이 바람직하다.
도 6 내지 도 9에서의 설명에서 알 수 있는 것처럼, 본 발명은 애니메이션으로 이루어지는 입체 동영상에 대해서 적용될 수 있다. 이때, 애니메이션에 표현되는 인물의 얼굴과 코를 서로 다른 레이어로 처리함으로써 얼굴을 3차원 모델링 하지 않고도 얼굴에 입체감을 줄 수 있다. 이는 비단 얼굴과 코에만 적용되는 것은 아니고 등장인물의 외관상의 특징에 따라 귀를 별도의 오브젝트 레이어로 처리하거나 입술을 별도의 오브젝트 레이어로 처리하거나 하는 등의 변화가 가능하다.
한편, 본 발명의 다른 실시예에 따르면 2차원 이미지와 함께 일부 오브젝트에 대해서는 3차원 이미지를 사용할 수도 있다. 즉, 도 14에서는 2차원 이미지로 이루어지는 오브젝트 레이어(51, 52)들과 함께 오브젝트의 3차원 이미지(50)도 배치되어 있다. 이렇게 구성하면, 3D 모델링이 용이한 오브젝트 또는 이미 3D 모델이 존재하는 오브젝트에 대해서는 3D 모델링 및 맵핑에 의해 생성되는 3차원 이미지를 사용하고 나머지 오브젝트에 대해서는 2차원 이미지로 이루어지는 오브젝트 레이어를 사용함으로써, 좀더 입체적인 느낌을 가미할 수 있다.
본 발명은 컴퓨터 프로그램은 의해 구현될 수도 있다. 즉, 컴퓨터 프로그램은 오브젝트의 2차원 이미지로 이루어지는 다수의 오브젝트 레이어에 관한 정보와 다수의 오브젝트 레이어의 3차원 공간상에서의 배치위치를 입력받아서, 이들 오브젝트 레이어들을 각각의 배치위치에 배치하고 그 정면방향에 있는 가상카메라위치에서 가상의 입체 카메라를 사용하여 촬영하였을 때의 입체 동영상 프레임을 생성한다.
가상의 입체 카메라로는 양안식/다안식 카메라 또는 깊이 지도(depth map) 생성이 가능한 뎁쓰 카메라 등이 사용될 수 있다. 서로 떨어져 있는 2 이상의 카메라로 구성되는 양안식/다안식 카메라가 사용되는 경우에는 각 카메라에서 촬영되는 2 이상의 2차원 이미지가 생성되며, 뎁쓰 카메라가 사용되는 경우에는 2차원 이미지와 촬영된 영상에 대한 깊이 지도가 생성된다.
*오브젝트 레이어의 배치위치는 해당 오브젝트 레이어의 하나 또는 그 이상의 꼭지점의 하나 3차원 공간 상에서의 좌표로 표현할 수도 있고, 수평면에 대한 배치각도에 관한 정보를 포함하여 표현할 수도 있다. 또한, 키보드에 의해 좌표값을 직접 입력받을 수도 있고, 마우스를 사용하여 사용자가 원하는 위치에 각 오브젝트 레이어를 위치시키도록 할 수도 있다.
오브젝트 레이어에 관한 정보는 오브젝트의 2차원 이미지로 이루어질 수도 있고, 각 오브젝트의 오브젝트 움직임 모델 및 움직임 정보를 포함할 수도 있다. 후자의 경우에, 각 오브젝트 레이어는 상기 오브젝트 움직임 모델에 움직임을 반영하여 생성된다.
이상, 본 발명을 몇가지 예를 들어 설명하였으나, 본 발명은 특정 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상에서 벗어나지 않으면서 다양한 변형과 수정이 가능하다는 것을 이해할 것이다.

Claims (16)

  1. 각 오브젝트의 2차원 이미지로 이루어지는 다수의 오브젝트 레이어들을 3차원 공간 상에 배치하는 단계;
    상기 3차원 공간 상에 위치한 가상의 입체 카메라를 사용하여 상기 3차원 공간 상에 배치된 다수의 오브젝트 레이어를 촬영하는 단계
    를 구비하는 입체영상 제작을 위한 동영상 프레임 생성방법.
  2. 제1항에 있어서, 상기 가상의 입체 카메라는 서로 떨어져 있는 2 이상의 카메라로 구성되어 2 이상의 2차원 이미지를 생성하는 것인 입체영상 제작을 위한 동영상 프레임 생성방법.
  3. 제1항에 있어서, 상기 가상의 입체 카메라는 깊이 지도(depth map) 생성이 가능한 카메라로 구성되어 2차원 이미지와 촬영된 영상에 대한 깊이 지도를 생성하는 것인 입체영상 제작을 위한 동영상 프레임 생성방법.
  4. 제1항에 있어서, 상기 다수의 오브젝트 레이어는 각 오브젝트의 오브젝트 움직임 모델에 따른 움직임을 반영하여 생성된 것인 입체영상 제작을 위한 동영상 프레임 생성방법.
  5. 제1항에 있어서,
    상기 배치 단계에서 오브젝트 레이어를 배치할 때 일부 오브젝트 레이어에 대해서는 수평면에 대해서 직각이 아닌 각도로 배치하는 것을 특징으로 하는 입체영상 제작을 위한 동영상 프레임 생성방법.
  6. 제1항에 있어서,
    상기 배치단계에서 오브젝트 레이어를 배치할 때 일부 오브젝트 레이어에 대해서는 상기 가상의 입체 카메라의 위치에서 수평면에 대해 수직으로 형성되는 평면에 대해서 평행이 되지 않도록 배치하는 것을 특징으로 하는 입체영상 제작을 위한 동영상 프레임 생성방법.
  7. 제1항에 있어서, 상기 다수의 오브젝트 레이어는 2차원 이미지로부터 분리하여 추출된 다수의 2차원 오브젝트 이미지들로부터 생성되는 것임을 특징으로 하는 입체영상 제작을 위한 동영상 프레임 생성방법.
  8. 제7항에 있어서,
    상기 배치 단계에서 상기 다수의 오브젝트 레이어를 3차원 공간상에 배치하기 전에, 상기 가상카메라위치에서 배치될 3차원 공간상의 위치까지의 거리에 기초하여 각 오브젝트 레이어의 이미지 크기를 조절하는 것을 특징으로 하는 입체영상 제작을 위한 동영상 프레임 생성방법.
  9. 제1항에 있어서, 상기 입체 동영상은 애니메이션이며, 애니메이션에 표현되는 인물의 신체부위의 일부는 다른 신체부위와 서로 다른 레이어로 처리되는 것을 특징으로 하는 입체영상 제작을 위한 동영상 프레임 생성방법.
  10. 제1항에 있어서,
    다수의 오브젝트 레이어를 3차원 공간상에 배치할 때 일부 오브젝트에 대해서는 해당 오브젝트의 3차원 이미지를 배치하는 것을 특징으로 하는 입체영상 제작을 위한 동영상 프레임 생성방법.
  11. 오브젝트의 2차원 이미지로 이루어지는 다수의 오브젝트 레이어에 관한 정보를 입력받는 단계와,
    상기 다수의 오브젝트 레이어의 3차원 공간상에서의 배치위치를 입력받는 단계와,
    상기 오브젝트 레이어들을 각각의 배치위치에 배치하고 그 정면방향에 있는 가상카메라위치에서 가상의 입체 카메라를 사용하여 촬영하는 단계
    를 구비하는 입체영상 제작을 위한 동영상 프레임 생성방법.
  12. 제11항에 있어서, 상기 가상의 입체 카메라는 서로 떨어져 있는 2 이상의 카메라로 구성되어 2 이상의 2차원 이미지를 생성하는 것인 입체영상 제작을 위한 동영상 프레임 생성방법.
  13. 제11항에 있어서, 상기 가상의 입체 카메라는 깊이 지도(depth map) 생성이 가능한 카메라로 구성되어 2차원 이미지와 촬영된 영상에 대한 깊이 지도를 생성하는 것인 입체영상 제작을 위한 동영상 프레임 생성방법.
  14. 제11항에 있어서, 상기 오브젝트 레이어에 관한 정보는 각 오브젝트의 오브젝트 움직임 모델 및 움직임 정보를 포함하며, 각 오브젝트 레이어는 상기 오브젝트 움직임 모델에 움직임을 반영하여 생성된 것인 입체영상 제작을 위한 동영상 프레임 생성방법.
  15. 제11항에 있어서,
    오브젝트 레이어의 배치위치를 입력받을 때 일부 오브젝트 레이어에 대해서는 수평면에 대한 배치각도에 관한 정보도 입력받는 것을 특징으로 하는 입체영상 제작을 위한 동영상 프레임 생성방법.
  16. 제11항에 있어서,
    오브젝트 레이어의 배치위치를 입력받을 때 해당 오브젝트 레이어의 각 꼭지점의 3차원 공간상에서 위치점 정보를 입력받는 것을 특징으로 하는 입체영상 제작을 위한 동영상 프레임 생성방법.
PCT/KR2010/003549 2010-01-28 2010-06-03 입체영상 제작을 위한 동영상 프레임 생성방법 WO2011093555A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100007787A KR101003060B1 (ko) 2010-01-28 2010-01-28 입체영상 제작을 위한 동영상 프레임 생성방법
KR10-2010-0007787 2010-01-28

Publications (1)

Publication Number Publication Date
WO2011093555A1 true WO2011093555A1 (ko) 2011-08-04

Family

ID=43513204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/003549 WO2011093555A1 (ko) 2010-01-28 2010-06-03 입체영상 제작을 위한 동영상 프레임 생성방법

Country Status (2)

Country Link
KR (1) KR101003060B1 (ko)
WO (1) WO2011093555A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348929B1 (ko) * 2012-08-20 2014-01-09 광운대학교 산학협력단 깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286573B1 (ko) * 2015-02-27 2021-08-06 한국전자통신연구원 깊이 맵 생성 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040036832A (ko) * 2002-10-25 2004-05-03 정보통신연구진흥원 3차원 데이터 처리시스템과 그 방법 및 3차원 데이터처리기능을 갖춘 프로그램이 수록된 기록매체
KR20050001101A (ko) * 2003-06-27 2005-01-06 한국과학기술연구원 2차원 이미지로부터 3차원 이미지를 생성하는 방법
KR20090050449A (ko) * 2007-11-15 2009-05-20 (주)레드로버 입체영상 제작 프로그램용 플러그인 모듈 및 입체영상 제작방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040036832A (ko) * 2002-10-25 2004-05-03 정보통신연구진흥원 3차원 데이터 처리시스템과 그 방법 및 3차원 데이터처리기능을 갖춘 프로그램이 수록된 기록매체
KR20050001101A (ko) * 2003-06-27 2005-01-06 한국과학기술연구원 2차원 이미지로부터 3차원 이미지를 생성하는 방법
KR20090050449A (ko) * 2007-11-15 2009-05-20 (주)레드로버 입체영상 제작 프로그램용 플러그인 모듈 및 입체영상 제작방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, JONG- SEONG ET AL.: "Investigation of 3D Moving Picture Production Technique Using 2D Plat Image", JOURNAL OF 2006 ANNUAL CONFERENCE, vol. 4, no. 2, 10 November 2006 (2006-11-10) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348929B1 (ko) * 2012-08-20 2014-01-09 광운대학교 산학협력단 깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법

Also Published As

Publication number Publication date
KR101003060B1 (ko) 2010-12-21

Similar Documents

Publication Publication Date Title
CN102834849B (zh) 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
WO2018188499A1 (zh) 图像、视频处理方法和装置、虚拟现实装置和存储介质
US5694533A (en) 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism
KR101096617B1 (ko) 공간 멀티 인터랙션 기반 3차원 입체 인터랙티브 비전 시스템 및 그 방법
US20120162384A1 (en) Three-Dimensional Collaboration
JP7080586B2 (ja) 情報処理装置、情報処理方法及びプログラム
CA2550512A1 (en) 3d videogame system
CN105389090A (zh) 游戏交互界面显示的方法及装置、移动终端和电脑终端
KR20130089649A (ko) 3차원 이미지에서 컨텐츠를 검열하는 방법 및 장치
CN111833458A (zh) 图像显示方法及装置、设备、计算机可读存储介质
CN101477701A (zh) 面向AutoCAD和3DS MAX软件的植入式真三维立体渲染方法
CN101477702B (zh) 计算机显卡的植入式真三维立体驱动方法
US20230281912A1 (en) Method and system for generating a target image from plural multi-plane images
US20130329985A1 (en) Generating a three-dimensional image
JP2001126085A (ja) 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20210032549A (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
Zhu et al. SAVE: shared augmented virtual environment for real-time mixed reality applications
CN107948631A (zh) 一种基于集群和渲染的裸眼3d系统
RU2606875C2 (ru) Способ и система отображения масштабных сцен в режиме реального времени
CN101540056B (zh) 面向ERDAS Virtual GIS的植入式真三维立体渲染方法
CN101521828B (zh) 面向esri三维gis模块的植入式真三维立体渲染方法
WO2011093555A1 (ko) 입체영상 제작을 위한 동영상 프레임 생성방법
CN110431601A (zh) 信息处理装置
CN101511034A (zh) 面向Skyline的真三维立体显示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10844779

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 02/11/2012)

122 Ep: pct application non-entry in european phase

Ref document number: 10844779

Country of ref document: EP

Kind code of ref document: A1