KR100466587B1 - Method of Extrating Camera Information for Authoring Tools of Synthetic Contents - Google Patents
Method of Extrating Camera Information for Authoring Tools of Synthetic Contents Download PDFInfo
- Publication number
- KR100466587B1 KR100466587B1 KR10-2002-0070773A KR20020070773A KR100466587B1 KR 100466587 B1 KR100466587 B1 KR 100466587B1 KR 20020070773 A KR20020070773 A KR 20020070773A KR 100466587 B1 KR100466587 B1 KR 100466587B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera information
- virtual object
- point
- extracting
- image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
Landscapes
- Processing Or Creating Images (AREA)
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION
본 발명은, 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.The present invention relates to a method for extracting camera information for a composite video content authoring tool and a computer-readable recording medium having recorded thereon a program for realizing the method.
2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention
본 발명은, 캘리브레이션 프리 기술을 기반으로 합성영상 컨텐츠 저작도구에 적합한 카메라 정보를 추출하는 방법에 있어서 카메라 정보추출을 위한 특징점과 가상객체 투영점을 동영상의 첫번째 프레임에서 사용자로부터 입력받고, 나머지 프레임에서는 이전 프레임의 특징점과 가상객체 투영점을 추적하여 카메라 정보를 추출하는 카메라 정보추출 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.The present invention provides a method for extracting camera information suitable for a composite image content authoring tool based on a calibration-free technology, and receives a feature point and a virtual object projection point for extracting camera information from a user in a first frame of a video. It is an object of the present invention to provide a camera information extraction method for extracting camera information by tracking feature points and virtual object projection points of a previous frame and a computer-readable recording medium recording a program for realizing the method.
3. 발명의 해결방법의 요지3. Summary of Solution to Invention
본 발명은, 카메라 정보를 추출할 동영상 화일을 여는 제 1 단계; 상기 열린 동영상 화일의 첫번째 프레임에 대하여, 기저 특징점과 가상객체 투영점의 좌표를 이용하여 카메라 정보를 추출하는 제 2 단계; 및 상기 열린 동영상 화일의 나머지 프레임에 대하여, 상기 특징점과 가상객체 투영점의 변경 좌표를 추적하여 카메라 정보를 추출하는 제 3 단계를 포함함.The present invention comprises a first step of opening a video file from which camera information is to be extracted; Extracting camera information on the first frame of the open video file using coordinates of a base feature point and a virtual object projection point; And extracting camera information by tracking change coordinates of the feature point and the virtual object projection point with respect to the remaining frames of the open video file.
4. 발명의 중요한 용도4. Important uses of the invention
본 발명은, 영상 합성에 있어서 카메라 정보 추출 등에 이용됨.The present invention is used for extracting camera information in image synthesis.
Description
본 발명은, 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 캘리브레이션 프리 기술을 기반으로 합성영상 컨텐츠 저작도구에 적합한 카메라 정보를 추출하는 방법에 있어서 카메라 정보추출을 위한 특징점과 가상객체 투영점을 동영상의 첫번째 프레임에서 사용자로부터 입력받고, 나머지 프레임에서는 이전 프레임의 특징점과 가상객체 투영점을 추적하여 카메라 정보를 추출하는 카메라 정보추출 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention relates to a method of extracting camera information for a composite video content authoring tool and a computer-readable recording medium recording a program for realizing the method. More specifically, the present invention provides a composite video content authoring method based on a calibration-free technique. In the method of extracting the camera information suitable for the tool, the user inputs the feature point and the virtual object projection point for the camera information extraction from the user in the first frame of the video, and tracks the feature point and the virtual object projection point of the previous frame in the remaining frames. And a computer readable recording medium having recorded thereon a program for realizing the method.
일반적으로 실사 동영상(natural video)을 배경 영상으로 사용하고 그 위에 컴퓨터 그래픽 객체를 합성(synthesization)하는 기술은 주로 영화 산업과 증강현실(augmented reality) 분야에서 발전되어 왔다. 영화 산업과 증강현실 분야에서는 매우 정밀한 합성 결과를 요구하므로, 실사 동영상을 촬영할 때부터 합성에 필요한촬영 현장에 대한 정보를 별도로 측정하여 합성할 때 사용하고 있다. 촬영 현장에 대한 정보측정의 실례로 스포츠 중계 방송에서는 메모리헤더(memory-header)라는 카메라 움직임 센서가 장착된 카메라를 사용하고 있다. 이러한 측정 정보를 이용하여 축구 경기에서 그라운드(ground)에 양 팀의 국기와 점수가 합성되는 장면과 프리킥시 골대 위에 가상 스크린이 생기고 그 스크린상에 프리킥을 하는 선수의 모습이 클로즈업된 장면 등의 다양한 합성 장면을 실시간으로 중계 방송하는 것을 가능하게 하고 있다.In general, techniques for using natural video as a background image and synthesizing computer graphic objects thereon have been developed mainly in the film industry and augmented reality. Since the film industry and augmented reality require very precise synthesis results, it is used to measure and synthesize information on the shooting site required for the synthesis from the time of shooting a live-action video. As an example of measuring information on the shooting site, sports relay broadcasting uses a camera equipped with a camera motion sensor called a memory-header. Using this measurement information, the soccer game is composed of the flags and scores of the two teams on the ground, the virtual screen on the goal post during the free kick, and the close-up of the player free kicking on the screen. It is possible to broadcast a composite scene in real time.
이처럼 정밀한 합성 장면을 얻기 위해서 배경 영상의 카메라 정보는 필수이다. 그런데, 사람이 수작업으로 정밀한 합성 장면을 작성할 수도 있지만 매우 많은 시간과 노력이 필요하며, 현실감 높은 장면을 얻기가 매우 어렵다.In order to obtain such a precise composite scene, the camera information of the background image is essential. By the way, a person can create a precise composite scene manually, but it takes a lot of time and effort, and it is very difficult to obtain a realistic scene.
도 1 은 본 발명이 적용되는 실사 동영상과 가상 컴퓨터 그래픽 객체 합성 장면 생성 장치에 대한 일예시도이다. 합성 장면은 실사 배경 동영상(114) 위에 그래픽 객체 영상(123)을 겹쳐서(overlay) 보여주는 장면이다.1 is an exemplary view of a live action video and a virtual computer graphic object synthesis scene generating apparatus to which the present invention is applied. The composite scene is a scene in which the graphic object image 123 is overlaid on the live background video 114.
실사 동영상의 각 프레임(frame) 영상은 삼차원 실세계(realworld) 장면을 카메라(111)를 이용하여 각 프레임의 실사 배경 동영상(114) 평면에 투영 (projection)시켜서 구해진다. 이 때, 카메라(111)의 역할은 3차원 실세계 공간에서 2차원 영상 평면으로의 투영을 정해주는 역할이다. 이 투영에 관계된 정보를 카메라 투영 정보라고 하며, 본 발명에서 구하고자 하는 카메라 정보(113)이다. 그래픽의 경우 실사 영상과 비슷한데 실사 카메라에 해당하는 것이 그래픽 카메라(122)이고 카메라로 촬영하여 영상을 구하는 과정은 그래픽 렌더링(rendering)부(121)에서 이루어진다.Each frame image of the live video is obtained by projecting a 3D realworld scene onto the live background video 114 plane of each frame using the camera 111. At this time, the role of the camera 111 is to determine the projection from the three-dimensional real-world space to the two-dimensional image plane. Information related to this projection is called camera projection information and is camera information 113 to be obtained in the present invention. In the case of graphics, the actual image is similar to the real image, but the graphic camera 122 corresponds to the real camera, and a process of obtaining an image by capturing with the camera is performed by the graphic rendering unit 121.
그리고, 실사 영상과 그래픽 영상 모두 3차원 좌표계에서 2차원 평면으로의 투영관계는 카메라에 의해 정해진다. 만약, 그래픽 카메라(122)를 실사 카메라(111)와 동일하게 설정해주면 실제 카메라로 가상 그래픽 객체를 찍은 영상과 동일한 영상을 렌더링으로 얻을 수 있다. 이러한 원리를 사용하여 실사 카메라 정보(113)를 받아 그래픽 카메라(122)에 전달하는 과정이 실사 카메라와 그래픽 카메라 일치화 과정으로 실사 카메라와 그래픽 카메라 일치화부(130)에서 이루어진다.The projection relationship from the three-dimensional coordinate system to the two-dimensional plane is determined by the camera in both the live image and the graphic image. If the graphic camera 122 is set to be the same as the real camera 111, the same image as the image of the virtual graphic object taken by the actual camera may be obtained by rendering. Using this principle, the process of receiving the real camera information 113 and transmitting the same to the graphic camera 122 is performed by the live camera and the graphic camera matching unit 130 as a process of matching the live camera and the graphic camera.
상기 카메라 정보를 구하는 방법은 카메라 캘리브레이션(calibration)을 사용하는 캘리브레이션 방법과 카메라 캘리브레이션을 사용하지 않는 캘리브레이션 프리(calibration-free) 방법의 2종류가 있다.There are two types of methods for obtaining the camera information: a calibration method using camera calibration and a calibration-free method without camera calibration.
상기 캘리브레이션 방법은 촬영시에 각 변의 길이, 꼭지점의 좌표 등과 같이 물체의 구성을 이루는 정보를 알고 있는 물체를 사용하여 카메라 정보를 구하는 방법이다. 이러한 물체를 캘리브레이션 객체라고 한다. 캘리브레이션 방법은 촬영전에 미리 캘리브레이션 객체를 촬영할 장면상에 놓고 찍어야 하며, 만약 카메라가 움직일 경우에는 다시 캘리브레이션을 해주어야 한다는 문제점이 있다. 이처럼 카메라가 움직인 경우마다 다시 캘리브레이션을 해주어야하는 문제점을 해결하기 위해 요즘에는 카메라의 움직임을 측정해주는 메모리 헤더와 같은 센서를 사용하여 카메라 정보를 갱신하는 방법이 사용되고 있다.The calibration method is a method of obtaining camera information using an object that knows information constituting the object, such as the length of each side and the coordinates of a vertex, at the time of photographing. Such objects are called calibration objects. In the calibration method, the calibration object must be placed on the scene to be photographed before shooting, and if the camera moves, there is a problem in that the calibration must be performed again. In order to solve the problem of having to recalibrate each time the camera is moved, a method of updating the camera information using a sensor such as a memory header that measures the camera's movement is being used.
상기 캘리브레이션 프리 방법은 촬영전에 캘리브레이션 객체를 촬영하는 작업없이, 실사영상에 가상객체를 합성하는데 필요한 카메라 정보를 구하는 방법으로 키라코스(Kirakos)가 고안한 방법이다. 이 방법은 캘리브레이션 객체를 찍는 대신 사용자가 입력한 정보에 기반하여 카메라 정보를 구하는 방법으로, 두가지 사용자 입력을 필요로 한다.The calibration-free method is a method devised by Kirakos as a method of obtaining camera information necessary for synthesizing a virtual object in a live-action image, without photographing a calibration object before shooting. This method obtains camera information based on user input information instead of taking a calibration object. It requires two user inputs.
도 2 는 본 발명에 이용되는 캘리브레이션 프리 카메라 정보추출 방법에 대한 설명도이다.2 is an explanatory diagram for a calibration free camera information extraction method used in the present invention.
도 2 에 도시된 바와 같이, 실제 공간(201)에서 영상 평면(203, 204)으로의 투영 과정 중에 어파인(Affine) 공간(202)이라는 매개 공간이 존재한다고 가정하고, 실제·가상 공간(201)에서 어파인 공간(202)으로 변환하는 실제·가상 공간 -> 어파인 공간 변환부(220)와 어파인 공간(202)에서 영상 평면(203, 204)으로 투영하는 어파인 공간 -> 영상 평면 투영부(210)에 의해서 캘리브레이션 프리 카메라 정보추출 방법의 전체 카메라 투영관계가 정의된다.As shown in FIG. 2, it is assumed that an intermediate space called affine space 202 exists during the projection process from the real space 201 to the image planes 203 and 204, and the real and virtual space 201 Real-to-virtual space that transforms into affine space 202-> affine space transform unit 220 and affine space projected from affine space 202 to image planes 203 and 204-> image plane The projection unit 210 defines the entire camera projection relationship of the calibration free camera information extraction method.
상기 투영 관계를 구하는 순서는 다음과 같다. 먼저, 어파인 공간 -> 영상 평면 투영부(210)의 어파인 공간(202)과 영상 평면(203, 204)과의 투영관계를 구하기 위해 어파인 공간에서의 동일 평면상에 위치하지 않는 4점 이상의 정보로 어파인 공간상의 좌표와 영상 평면에 투영된 좌표가 필요하다. 이는 3차원 공간은 동일 평면상에 위치하지 않는 4점의 정보로부터 기저 벡터(Basis vector)를 구성할 수 있기 때문에 4점 이상의 정보가 필요하다.The procedure for obtaining the projection relationship is as follows. First, four points not located on the same plane in affine space to obtain a projection relationship between the affine space 202 of the image plane projection unit 210 and the image planes 203 and 204. The above information requires coordinates in the affine space and coordinates projected onto the image plane. Since three-dimensional space can form a basis vector from four points of information not located on the same plane, more than four points of information are required.
상기 어파인 공간(202)에서 영상 평면(203, 204)으로의 투영식(211)은 상기 [수학식 1]과 같다. 여기서, x',y',z'는 어파인 공간상의 임의의 점 P의 좌표이고,은 m번째 영상 평면상에 점 P가 투영된 좌표이다. P0, b1, b2, b3는 미리 알고 있는 4점, 즉 어파인 공간의 기저를 구성하는데 요구되는 투영점의 기호를 나타내며, 이 기호는 투영점의 좌표 U,V에서 아래 첨자로 사용된다. 예를 들어, 어파인 공간상의 점 b1의 영상 평면상의 투영점 좌표는,이다. 상기에 나타난 [수학식 1]에서의 행렬은 어파인 공간상의 4점의 영상 평면의 투영점의 좌표값에 의해서만 정의되고 있다.Equation 211 from the affine space 202 to the image planes 203 and 204 is represented by Equation 1 above. Where x ', y', z 'is the coordinate of any point P in affine space , Is the coordinate where the point P is projected on the m-th image plane. P0, b1, b2, and b3 represent symbols of the projection point required to construct the four known points, that is, the basis of the affine space, which are used as subscripts at the coordinates U and V of the projection point. For example, the coordinate of the projection point on the image plane of point b1 in affine space is , to be. The matrix in [Equation 1] shown above is defined only by the coordinate values of the projection points of the four image planes in the affine space.
한편, 영상 평면(203, 204)에서 어파인 공간(202)으로 역투영하는 관계(212)는 2차원에서 3차원으로의 투영이므로 일대일 대응 관계를 정의하기 위해서는 2장의 영상 평면과 3차원 공간의 투영관계로부터 구해진다. 이 역투영 관계를 어파인 재구성(reconstruction)이라고 하며, 아래의 [수학식 2]와 같다.On the other hand, since the relationship 212 reflecting back from the image planes 203 and 204 to the affine space 202 is a projection from two to three dimensions, in order to define a one-to-one correspondence relationship, two image planes and three-dimensional spaces are defined. It is obtained from the projection relationship. This reverse projection relationship is called affine reconstruction, and is represented by Equation 2 below.
상기 [수학식 2]의 의미는 어파인 공간상의 임의의 점 P의 좌표를, 기저를 구성하는 4점에 대한 2장의 영상 평면에서의 투영점 좌표와 이 점 P의 2개의 영상 평면에서의 투영점 좌표로부터 구할 수 있다는 것이다.[Equation 2] means that the coordinates of any point P in the affine space are the coordinates of the projection point in two image planes and the two image planes of this point P with respect to the four points constituting the base. Can be obtained from point coordinates.
상기 [수학식 1]과 [수학식 2]에 의해서 어파인 공간과 2장의 영상 평면사이의 투영 관계가 완전하게 정의된다.Equations 1 and 2 define the projection relationship between the affinity space and the two image planes completely.
다음으로, 실제·가상 공간(201)과 어파인 공간(202)의 투영관계(221)를 구해야 한다. 실사 영상과 가상객체를 합성한다는 것은 실제 공간과 가상 공간의 좌표계를 일치시키는 것이므로, 가상 공간의 좌표와 실제 공간상의 좌표는 동일하다고 생각해도 된다. 이 투영관계를 구하기 위해서는 동일 평면상에 위치하지 않는 가상 객체상의 4점에 대한 영상 평면상의 투영점 좌표를 필요로 한다. 역 투영관계를 구하기 위해서 역시 2장의 영상 평면에서의 투영점 좌표가 필요하다. 이 점들의 좌표로부터 상기 [수학식 2]를 사용하여 어파인 공간상의 대응 좌표를 구하게 된다. 가상 공간상의 가상객체 4점의 좌표와 어파인 공간의 대응 좌표 4점의 정보로부터 아래의 [수학식 3]과 같이 가상 공간과 어파인 공간의 관계를 표기할 수 있다.Next, the projection relationship 221 between the actual virtual space 201 and the affinity space 202 must be obtained. Since synthesizing the real image and the virtual object coincides the coordinate system of the real space and the virtual space, the coordinates of the virtual space and the coordinates of the real space may be considered to be the same. To obtain this projection relationship, the projection point coordinates on the image plane are required for four points on the virtual object not located on the same plane. To find the inverse projection relationship, the projection point coordinates in the two image planes are also required. From the coordinates of these points, Equation 2 is used to find the corresponding coordinates in the affine space. From the coordinates of four virtual objects in the virtual space and the corresponding coordinates in the affine space, the relationship between the virtual space and the affine space can be expressed as shown in Equation 3 below.
상기 [수학식 3]에서의 3x3 행렬인행렬을 구하면, 가상 공간과 어파인 공간사이의 관계가 정의되고, 그에 따라 가상 공간에서 영상 평면으로의 전체 투영 관계가 정의되는 것이다. 즉, 상기 [수학식 3]을 사용하여 가상 공간상의 임의의 점의 어파인 공간상의 대응 좌표를 구한 후, 상기 [수학식 1]을 사용하여 이 좌표의 영상 투영점 좌표를 구할 수 있는 것이다.3x3 matrix in Equation 3 When the matrix is obtained, the relationship between the virtual space and the affine space is defined, and thus the overall projection relationship from the virtual space to the image plane is defined. That is, after the corresponding coordinates in the affine space of arbitrary points in the virtual space are obtained using Equation 3, the image projection point coordinates of the coordinates can be obtained using Equation 1.
상기 두가지 기술은 합성 컨텐츠 저작도구에 적용하기에는 다음과 같은 문제가 있다.The above two techniques have the following problems in applying to the synthetic content authoring tool.
우선, 캘리브레이션 방법의 경우 촬영전에 항상 캘리브레이션 객체를 놓고 먼저 촬영해야 하는 문제점과 카메라가 움직일 때마다 캘리브레이션을 다시 해주어야 하며, 이 캘리브레이션 정보를 별도로 저장해두어야 향후 합성 작업을 수행할 수 있다는 문제가 있다. 저작도구의 경우 이미 촬영된 동영상을 사용하는데, 대부분의 동영상이 캘리브레이션없이 촬영된 동영상들이므로, 이 동영상에 대해서 캘리브레이션 방법으로 카메라 정보를 구하는 것은 불가능하다. 즉, 캘리브레이션 방법은 촬영시 캘리브레이션 작업을 같이 하여 촬영한 경우에만 합성 저작도구에서 사용 가능하다.First of all, in the calibration method, there is a problem of always having to place a calibration object before shooting and shooting first, and recalibration every time the camera is moved, and having to store this calibration information separately to perform a synthesis operation in the future. In the case of the authoring tool, a video already recorded is used. Since most videos are videos recorded without calibration, it is impossible to obtain camera information by calibrating the video. In other words, the calibration method can be used in the synthetic authoring tool only when the photographing is performed with the same calibration work.
캘리브레이션 프리 방법은 증강현실을 위해 개발된 방법으로, 실제 적용에서 카메라 정보를 구하기 위해 필요한 2가지의 사용자의 정보로 촬영된 영상내의 물체 모서리(corner)점들을 사용하고 있다. 이는 카메라가 움직일 경우 특징점의 좌표를 다시 입력받아야 하는데 모서리점들을 사용할 경우 변경된 위치를 추적(tracking)하기 쉬워 다시 사용자로부터 정보를 입력받지 않고 추적된 정보를 사용할 수 있기 때문이다. 증강현실 분야는 실시간 처리가 중요하므로 특징점 정보를 제공하는 물체를 다른 물체와 구별되기 쉬운 물체를 사용하고 있다. 예로 단색의 사각형 물체와 같은 영상내에서 모서리점들을 쉽게 검출할 수 있는 물체를 화면상에 놓고 촬영하여 카메라 정보를 실시간으로 처리하고 있다. 그러나, 캘리브레이션 프리 방법은 증강현실을 위해 개발된 방법이므로 저작도구에 직접 적용하기에는 역시 문제점이 있다. 저작도구의 경우에는 배경 동영상의 경우 이러한 특징점을 찾기 쉬운 물체가 없는 경우가 대부분이다. 이 경우 사용자가 캘리브레이션 프리 카메라 정보추출 방법에 필요한 2가지 투영점 정보를 직접 입력해주어야 한다.The calibration-free method, developed for augmented reality, uses object corner points in images captured with the information of two users required to obtain camera information in practical applications. This is because when the camera moves, the coordinates of the feature point need to be input again. When the corner points are used, the changed position is easy to track, so the tracked information can be used without receiving information from the user again. In the field of augmented reality, because the real-time processing is important, the object that provides the feature information is used to distinguish the object from other objects. For example, the camera information is processed in real time by photographing an object that can easily detect corner points in an image such as a monochromatic rectangular object. However, since the calibration-free method was developed for augmented reality, there is a problem in that it is directly applied to an authoring tool. In the case of an authoring tool, in the case of a background video, there are many cases in which there is no easy object to find these feature points. In this case, the user must directly input two projection point information required for the calibration-free camera information extraction method.
본 발명은, 상기 문제점을 해결하기 위하여 제안된 것으로, 캘리브레이션 프리 기술을 기반으로 합성영상 컨텐츠 저작도구에 적합한 카메라 정보를 추출하는 방법에 있어서 카메라 정보추출을 위한 특징점과 가상객체 투영점을 동영상의 첫번째 프레임에서 사용자로부터 입력받고, 나머지 프레임에서는 이전 프레임의 특징점과 가상객체 투영점을 추적하여 카메라 정보를 추출하는 카메라 정보추출 방법과상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and in the method of extracting camera information suitable for a composite image content authoring tool based on a calibration-free technique, a feature point and a virtual object projection point for extracting camera information are selected. Provides a camera information extraction method for extracting camera information by receiving input from a user in a frame and tracking the feature points and virtual object projection points of a previous frame, and a computer-readable recording medium recording a program for realizing the method. Its purpose is to.
도 1 은 본 발명이 적용되는 실사 동영상과 가상 컴퓨터 그래픽 객체 합성 장면 생성 장치에 대한 일예시도.1 is an exemplary view of a live action video and virtual computer graphic object synthesis scene generating apparatus to which the present invention is applied.
도 2 는 본 발명에 이용되는 캘리브레이션 프리 카메라 정보추출 방법에 대한 설명도.2 is an explanatory diagram for a calibration free camera information extraction method used in the present invention.
도 3 은 본 발명에 따른 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법에 대한 일실시예 전체 흐름도.3 is a flowchart illustrating an embodiment of a camera information extraction method for a composite image content authoring tool according to the present invention;
도 4 는 본 발명에 따른 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법 중 사용자에 의해 특징점을 입력받는 과정에 대한 일실시예 상세 흐름도.4 is a detailed flowchart illustrating a process of receiving a feature point by a user of a camera information extraction method for a composite image content authoring tool according to the present invention;
도 5 는 본 발명에 따른 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법 중 사용자에 의해 가상객체 투영점을 입력받는 과정에 대한 일실시예 상세 흐름도.5 is a detailed flowchart illustrating a process of receiving a virtual object projection point by a user in a method of extracting camera information for a composite image content authoring tool according to the present invention;
도 6 은 본 발명에 따른 템플릿 가상객체에 대한 상세 설명도.6 is a detailed description of a template virtual object according to the present invention;
* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
111 : 카메라111: camera
121 : 그래픽 렌더링부121: graphic rendering unit
130 : 실사 카메라와 그래픽 카메라 일치화부130: live-action camera and graphic camera matching unit
140 : 영상 합성부140: video synthesis unit
상기 목적을 달성하기 위한 본 발명은, 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 장치에 적용되는 카메라 정보추출 방법에 있어서, 카메라 정보를 추출할 동영상 화일을 여는 제 1 단계; 상기 열린 동영상 화일의 첫번째 프레임에 대하여, 기저 특징점과 가상객체 투영점의 좌표를 이용하여 카메라 정보를 추출하는 제 2 단계; 및 상기 열린 동영상 화일의 나머지 프레임에 대하여, 상기 특징점과 가상객체 투영점의 변경 좌표를 추적하여 카메라 정보를 추출하는 제 3 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a camera information extraction method applied to a camera information extraction apparatus for a composite image content authoring tool, comprising: a first step of opening a video file from which camera information is to be extracted; Extracting camera information on the first frame of the open video file using coordinates of a base feature point and a virtual object projection point; And extracting camera information by tracking change coordinates of the feature point and the virtual object projection point with respect to the remaining frames of the open video file.
또한, 본 발명은, 프로세서를 구비한 카메라 정보 추출 장치에, 카메라 정보를 추출할 동영상 화일을 여는 제 1 기능; 상기 열린 동영상 화일의 첫번째 프레임에 대하여, 기저 특징점과 가상객체 투영점의 좌표를 이용하여 카메라 정보를 추출하는 제 2 기능; 및 상기 열린 동영상 화일의 나머지 프레임에 대하여, 상기 특징점과 가상객체 투영점의 변경 좌표를 추적하여 카메라 정보를 추출하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.The present invention also provides a camera information extracting apparatus having a processor, comprising: a first function of opening a video file from which camera information is to be extracted; A second function of extracting camera information with respect to a first frame of the open video file using coordinates of a base feature point and a virtual object projection point; And a computer-readable recording medium having recorded thereon a program for realizing a third function of extracting camera information by tracking change coordinates of the feature point and the virtual object projection point with respect to the remaining frames of the open video file.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 3 은 본 발명에 따른 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법에 대한 일실시예 전체 흐름도이다.3 is a flowchart illustrating an embodiment of a camera information extraction method for a composite image content authoring tool according to the present invention.
먼저, 카메라 정보를 추출할 동영상을 오픈한다(301). 이 때, 동영상 파일(file)을 열고 프레임 단위로 카메라 정보를 추출하게 되는데 현재 카메라 정보를 구하는 대상 프레임의 번호 변수로 프레임넘버(이하, 'FrameNum'이라 한다.)란 변수를 사용한다. 동영상에서 현재 처리중인 프레임은 비디오[프레임넘버](이하, 'Video[FrameNum]'이라 한다.)로 표기한다. 일예로 Video[0]은 0번째, 즉 첫번째 프레임이다. 카메라 정보추출 과정은 사용자에 의해 초기 카메라 정보를 구하는 부분(303 내지 310)과 초기 카메라 정보추출 과정에서의 사용자 입력값 변경 내용을 추적하여 카메라 정보를 구하는 과정(311 내지 317)으로 나눌 수 있다.First, a video to extract camera information is opened (301). At this time, a camera file is opened and camera information is extracted in units of frames. A frame number (hereinafter referred to as 'FrameNum') is used as a number variable of a target frame for which current camera information is obtained. The frame currently being processed in the video is expressed as a video [frame number] (hereinafter referred to as 'Video [FrameNum]'). For example, Video [0] is the 0th, that is, the first frame. The camera information extraction process may be divided into parts 303 to 310 for obtaining initial camera information by the user and steps 311 to 317 for tracking camera user input value changes in the initial camera information extraction process.
즉, 초기 카메라 정보는 첫번째 프레임에서 수행하게 되므로 FrameNum이 0인 경우에는 도 3 의 왼쪽 부분인 초기 카메라 정보를 구하는 과정(303 내지 310)을 수행하고, 다음부터는 도 3 의 오른쪽 부분인 카메라 정보 변경내용 추적 과정(311 내지 317)을 수행하게 된다.That is, since the initial camera information is performed in the first frame, when FrameNum is 0, the process of obtaining initial camera information (303 to 310), which is the left part of FIG. 3, is performed. Next, the camera information, which is the right part of FIG. 3, is changed. Content tracking processes 311 to 317 are performed.
다음으로, 초기 카메라 정보추출 과정에 대해 상세히 설명한다. 초기 카메라 정보를 구하기 위해서는 2장의 프레임이 필요하다. 이 2장의 프레임을 첫번째 영상(이하, '1stImage'라 한다.)와 두번째 영상(이하, '2ndImage'라 한다.)이라고 표기한다. 1stImage는 동영상의 첫번째 프레임을 사용하고(303), 2ndImage는 사용자가 직접 동영상 내에서 선택하게 한다(304). 이 때, 2ndImage는 1stImage와 다른위치에서 촬영한 영상이어야 하므로 이 조건을 만족하는 프레임을 사용자가 선택하게 한다. 다음으로 2장의 영상에 대해서 어파인 공간과 영상 평면과의 투영관계를 구하기 위해 2장의 영상에 대해 기저 특징점의 투영점 좌표를 사용자로부터 입력받아야 한다(305). 이 과정이 사용자 입력1이며, 이에 대해서는 도 4 에서 상세히 후술하기로 한다. 사용자 입력1 과정(305)은 본 발명의 핵심 과정 중 하나로 사용자의 편리를 위한 방식을 제공한다.Next, the initial camera information extraction process will be described in detail. Two frames are needed to obtain the initial camera information. The two frames are referred to as the first image (hereinafter referred to as '1stImage') and the second image (hereinafter referred to as '2ndImage'). 1stImage uses the first frame of the video (303), and 2ndImage allows the user to select directly within the video (304). At this time, since the 2ndImage should be an image photographed at a position different from 1stImage, the user selects a frame satisfying this condition. Next, in order to obtain a projection relationship between the affinity space and the image plane for the two images, the projection point coordinates of the base feature points for the two images should be input from the user (305). This process is user input 1, which will be described in detail later with reference to FIG. The user input 1 process 305 is one of the core processes of the present invention and provides a method for user convenience.
상기 사용자 입력1로부터 입력받은 특징점의 투영좌표를 상기 [수학식 1]과 [수학식 2]를 사용하여 어파인 공간과 영상 평면으로의 투영관계식을 구한다. 즉,카메라 정보추출1 과정(306)을 수행한다. 상기 [수학식 1]은 1stImage와 2ndImage 각각에 적용되므로 2개의 투영 관계식을 얻게 된다. 이 결과를 앞으로는 1stImage 투영식과 2ndImage 투영식이라고 하겠다. 상기 [수학식 2]는 1stImage와 2ndImage 2장의 정보를 동시에 사용하므로 역투영 관계식은 한 개가 구해진다.The projection coordinates of the feature points received from the user input 1 are calculated using Equation 1 and Equation 2 to obtain projection relational expressions in the affine space and the image plane. That is, the camera information extraction 1 process 306 is performed. Equation 1 is applied to each of 1stImage and 2ndImage, and thus two projection relational expressions are obtained. This result will be referred to as 1stImage projection and 2ndImage projection. [Equation 2] uses the information of 1stImage and 2ndImage 2 at the same time, so that one reverse projection equation is obtained.
상기 카메라 정보추출1 과정(306)은 어파인 공간과 영상 평면간의 투영관계를 구하는 과정이었다. 다음으로, 실제 공간과 어파인 공간사이의 변환 정보를 구하기 위해 사용자로부터 사용자 입력2를 받아야 한다. 이 사용자 입력2 과정(307)에 대해서는 도 5 에서 상세히 후술하기로 한다. 상기 사용자 입력2는 가상 객체의 모서리점의 투영점을 입력받는 과정이다. 이를 위해서 본 발명의 실시예에서는 탬플릿 가상객체를 사용하며, 이 탬플릿 가상객체는 도 6 에 도시된 바와 같이 정육면체 객체를 사용하였다. 템플릿 정육면체는 크기(size) 조절이 가능하며, x,y,z 축 방향으로 회전이 가능한 객체이다. 이 템플릿 정육면체 객체를 1stImage상에서사용자가 자신이 의도하는데로 합성하도록 하여 합성장면에 적합한 카메라 정보2를 추출하게 하였다(308).The first camera information extraction process 306 was a process of obtaining a projection relationship between the affine space and the image plane. Next, user input 2 must be received from the user to obtain the conversion information between the real space and the affine space. The user input 2 process 307 will be described in detail later with reference to FIG. 5. The user input 2 is a process of receiving a projection point of the corner point of the virtual object. To this end, an embodiment of the present invention uses a template virtual object, and the template virtual object uses a cube object as shown in FIG. 6. The template cube is an object that can be scaled and rotated in the x, y, and z directions. This template cube object was synthesized by the user on the 1stImage as intended by the user to extract the camera information 2 suitable for the synthesis scene (308).
상기 카메라 정보추출2 과정(308)은 상기 (307)과정에서 구한 1stImage에서의 가상객체 투영좌표 4개와 2ndImage에서의 가상객체 투영좌표 4개 정보를 상기 [수학식 3]에 적용하여 실제 공간과 어파인 공간사이의 변환 관계를 구한다. 이 때, 카메라 정보추출1에서 구한 역투영 관계식을 사용하여 가상객체 투영좌표에 대응하는 어파인 공간 좌표를 계산한 후 상기 [수학식 3]에 적용하게 된다. 상기 카메라 정보추출2 과정(308)에서 가상 공간과 어파인 공간사이의 변환관계를 구하게 되며, 합성은 실제 공간 좌표계와 가상 공간 좌표계를 일치시키는 과정이므로 실제 공간과 어파인 공간사이의 변환 관계도 동일한 변환 관계를 갖게 된다.The camera information extraction 2 process 308 is performed by applying the information of the four virtual object projection coordinates of the 1stImage and the four virtual object projection coordinates of the 2ndImage obtained in the step 307 to [Equation 3]. Find the transformation relationship between spaces. At this time, the affine spatial coordinates corresponding to the projection coordinates of the virtual object are calculated using the inverse projection equation obtained in the camera information extraction 1 and then applied to Equation 3 above. In the camera information extraction 2 process 308, a transformation relationship between the virtual space and the affine space is obtained, and since the synthesis is a process of matching the real space coordinate system with the virtual space coordinate system, the transformation relationship between the real space and the affine space is also the same. You have a transformation relationship.
다음으로, 카메라 정보 파일에 카메라 정보추출1과 카메라 정보추출2에서 구한 정보를 저장하게 된다(309). 파일에 저장되는 카메라 정보는 상기 [수학식 1]과 [수학식 2], 그리고 [수학식 3]의 행렬을 말한다. 카메라 정보1에서 구한 [수학식 1] 행렬 2개 중 1stImage의 투영 행렬과 [수학식 2]에 해당하는 역투영 행렬 1개, 카메라 정보2에서 구한 [수학식 3]의 행렬 2개 중 역시 1stImage의 가상 공간과 어파인 공간 변환 행렬만을 기록하며 2ndImage에 대한 카메라 정보는 기록하지 않는다. 이는 2ndImage는 전체 투영관계를 구하는데 과정상 필요한 영상이고 실제 합성은 1stImage상에서 이루어지기 때문이다.Next, the information obtained from the camera information extraction 1 and the camera information extraction 2 is stored in the camera information file (309). The camera information stored in the file refers to the matrixes of Equations 1, 2, and 3. The projection matrix of 1stImage and the inverse projection matrix corresponding to [Equation 2] of the two [Equation 1] matrices obtained from the camera information 1, and the 1stImage of the two matrixes of [Equation 3] obtained from the camera information 2 It records only the virtual and affine spatial transformation matrices of the camera and does not record the camera information for the 2ndImage. This is because 2ndImage is an image necessary for the process of obtaining the total projection relationship, and the actual compositing is performed on 1stImage.
이처럼 초기 카메라 정보를 파일에 기록한 후에, FrameNum을 1 증가시키고 1stImage를 Video[1]로 갱신한 후에(310) 다음 프레임에 대해서 카메라 정보를 추출하기 위하여 (302)과정으로 진행한다.After the initial camera information is recorded in the file, frameNum is incremented by 1 and 1stImage is updated to Video [1] (310). Then, the process proceeds to step 302 to extract camera information for the next frame.
초기 카메라 정보를 구하면 두번째 프레임에 대해서 카메라 정보를 추출하여야 한다. 이 과정은 도 3 의 오른쪽 부분에 해당하는 과정으로 사용자의 입력이 필요없이 모든 과정이 자동화 처리가 가능한 것이 특징이다. 이는 초기 카메라 정보를 구하는 과정에서 사용자로부터 입력받은 정보들의 위치 변화를 추적하여 이를 현재 프레임에 대한 사용자 입력 정보로 사용하기 때문이다. 사용자 입력1(305) 대신에 이 입력점(기저 특징점)들의 위치 변화를 추적한다(311). 이 입력점들의 위치 변화 추적은 칼만 필터 방법이나 블록 매칭 방법 등 여러 종류의 위치 추적 방법을 사용할 수 있다.When the initial camera information is obtained, the camera information should be extracted for the second frame. This process corresponds to the right part of FIG. 3, and all of the processes can be automated without a user's input. This is because the position change of the information received from the user in the process of obtaining the initial camera information is used as the user input information for the current frame. Instead of user input 1 305, the position change of these input points (base feature points) is tracked (311). The location change tracking of these input points can be performed using various kinds of location tracking methods such as Kalman filter method or block matching method.
사용자 입력1 과정에서 입력된 좌표들에 대한 현재 프레임에서의 변경된 좌표를 구하고, 초기 카메라 정보추출1 과정(306)과 동일한 카메라 정보추출1 과정(312)을 수행한다. 다음으로 사용자 입력2 과정(307)에서 입력된 좌표(가상객체 투영점)들에 대한 현재 프레임에서의 변경된 위치를 추적하고, 역시 동일한 카메라 정보추출2 과정(314)을 수행한다. 다음으로 현재 프레임에 대한 카메라 정보를 파일에 저장하고(315), FrameNum을 1만큼 증가시켜 다음 프레임을 현재 프레임으로 변경하여(316) 계속 카메라 정보를 구하고 모든 프레임에 대해서 카메라 정보를 추출하였으면 종료한다(317).The changed coordinates of the current frame with respect to the coordinates input in the user input 1 process are obtained, and the same camera information extraction 1 process 312 as the initial camera information extraction 1 process 306 is performed. Next, the changed position in the current frame with respect to the coordinates (virtual object projection points) input in the user input 2 process 307 is tracked, and the same camera information extraction 2 process 314 is performed. Next, the camera information for the current frame is stored in the file (315), the FrameNum is increased by 1, the next frame is changed to the current frame (316), and the camera information is continuously obtained. If the camera information is extracted for all frames, the process ends. (317).
도 4 는 본 발명에 따른 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법 중 사용자에 의해 특징점을 입력받는 과정에 대한 일실시예 상세 흐름도이다.4 is a detailed flowchart illustrating a process for receiving a feature point by a user in a method for extracting camera information for a composite image content authoring tool according to the present invention.
상술한 바와 같이사용자 입력1은 1stImage와 2ndImage의 영상 2장에 대해 동일 평면상이 아닌 4개의 특징점의 투영 좌표를 입력받는 과정이다. 먼저, 사용자가 1stImage에 대해서 입력한다(401). 사용자 입력1은 일반적으로 모서리(corner)점을 입력으로 받게 된다. 이는 이후의 프레임에서 위치 변화에 대한 추적을 하는데 있어서 모서리점이 용이하기 때문이다.As described above, the user input 1 is a process of receiving projection coordinates of four feature points that are not coplanar with respect to two images of 1stImage and 2ndImage. First, a user inputs a 1stImage (401). User input 1 typically receives a corner point as input. This is because the corner point is easy to track the change of position in the subsequent frame.
사용자가 마우스와 같은 포인팅 장치로 영상의 모서리점을 정확히 지정하는 것은 매우 어렵다. 이에 본 발명에서는 사용자가 특징점의 투영점으로 사용하고 싶은 모서리점의 근처를 마우스로 지정하면(403), 지정한 점을 중심으로 일정한 블록 영역에서 모서리점을 찾게 하고 중심에서 가장 가까운 모서리점을 사용자가 입력한 특징점의 투영 좌표로 받게 하였다.It is very difficult for a user to pinpoint the corners of an image with a pointing device such as a mouse. Therefore, in the present invention, when the user designates the vicinity of the corner point to be used as the projection point of the feature point with the mouse (403), the user finds the corner point in a constant block area around the specified point and the user finds the corner point closest to the center. The projected coordinates of the input feature points were received.
모서리점의 검출을 수행하기 전에 노이즈(noise)를 제거하는 것이 좋으므로, 투영점 주면 영역에 필터(filter)를 적용하여 노이즈를 제거한 후(404), 투영점 주변 영역의 모서리점 검출을 수행하게 하였다(405). 이후, 검출된 모서리점으로 사용자 입력 내용을 수정한다(406). 노이즈의 제거에는 여러가지 필터가 사용될 수 있으나, 본 발명의 실시예에서는 메디안 필터(median filter)를 사용하였다. 또한, 모서리점 검출도 여러 방법이 사용될 수 있으나, 본 발명의 실시예에서는 기존의 모서리점 검출 방법 중 수잔(SUSAN) 모서리점 검출 방법을 사용하였다.Since noise is preferably removed before edge detection, the filter is applied to the main surface area of the projection point to remove noise (404), and then edge detection of the area around the projection point is performed. (405). Thereafter, the user input content is corrected with the detected corner point (406). Various filters may be used to remove the noise, but in the embodiment of the present invention, a median filter is used. In addition, various methods may be used for edge detection, but in the exemplary embodiment of the present invention, a Susan edge detection method is used among the existing edge detection methods.
상기와 같은 방식으로 1stImage영상에서 특징점 정보를 4번 입력받으면(402), 입력 영상을 2ndImage로 변경하고(407, 408) 동일한 방법(402 내지 406)으로 특징점 정보를 4번 입력받는다. 2ndImage에서 입력받는 투영점 4점의 좌표는 1stImage에서 입력받은 특징점과 동일한 특징점의 투영 좌표이어야 한다.이후, 카메라 정보추출1 과정(306)으로 진행한다.When the feature point information is input four times in the 1stImage image in the same manner as described above (402), the input image is changed to 2ndImage (407 and 408), and the feature point information is received four times in the same method (402 to 406). The coordinates of the four projection points input from the 2ndImage should be the projection coordinates of the same feature points as those input from the 1stImage. Thereafter, the process proceeds to the camera information extraction 1 process 306.
도 5 는 본 발명에 따른 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법 중 사용자에 의해 가상객체 투영점을 입력받는 과정에 대한 일실시예 상세 흐름도이다.FIG. 5 is a detailed flowchart illustrating a process of receiving a virtual object projection point by a user in a camera information extraction method for a composite image content authoring tool according to the present invention.
먼저, 사용자가 1stImage 영상상에서 템플릿 정육면체의 크기와 위치, 회전 등을 조정하여 사용자가 원하는 합성 장면을 만들게 하고, 도 6 에 표시된 4점(611 내지 614)에 해당하는 1stImage 영상에서의 투영점 좌표 정보를 입력받는다(501). 2ndImage에 대해서는 사용자가 템플릿 정육면체로 합성하기 전에 카메라 정보추출1 과정(306)에서 구한 1stImage와 2ndImage 투영식으로부터, 각 점에 대한 에피폴라 라인(Epipolar line)을 구하여, 이 라인들을 2ndImage에 표시되게 하고(502), 이 에피폴라 라인들상에 템플릿 정육면체가 합성되게 하여 2nImage에서의 투영점 좌표 정보를 입력받는다(503). 이후, 카메라 정보추출2 과정(308)으로 진행한다.First, the user adjusts the size, position, and rotation of the template cube on the 1stImage image to create a desired composite scene, and the projection point coordinate information in the 1stImage image corresponding to the four points 611 to 614 shown in FIG. 6. It receives the input (501). For 2ndImage, from the 1stImage and 2ndImage projections obtained in the camera information extraction process 1 (306) before the user synthesizes the template cube, the Epipolar line for each point is obtained, and these lines are displayed on the 2ndImage. In operation 502, template cubes are synthesized on the epipolar lines to receive projection point coordinate information in 2nImage (503). After that, the process proceeds to the camera information extraction 2 process (308).
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It will be clear to those of ordinary knowledge.
상기와 같은 본 발명은, 카메라 정보를 추출하기 위해서 촬영하기 전에 카메라 정보를 구하기 위한 사전 작업과 촬영장의 정보를 요구하는 기존의 캘리브레이션 방법 및 캘리브레이션 프리 방법이 이미 촬영된 동영상에 대해서 카메라 정보를 구할 수 없는 문제점을 여전히 가지고 있는 것과 달리, 합성영상 컨텐츠를 저작할 때 배경 동영상으로 기존에 촬영된 실사 동영상을 사용하는 경우 카메라 정보를 추출하는데 있어 첫번째 프레임의 카메라 정보, 즉 초기 카메라 정보를 추출하는 과정에서만 사용자의 입력을 필요로 하고 이후의 프레임의 카메라 정보는 자동화 방법으로 카메라 정보를 추출함으로써, 이미 촬영된 동영상에서도 카메라 정보를 추출할 수 있도록 할 수 있는 효과가 있다.According to the present invention as described above, the camera information can be obtained with respect to a video in which the existing calibration method and the calibration-free method that require the information of the photographing site and the preliminary work for obtaining the camera information before shooting the camera information are already taken. Unlike the still-existing problem, when using a live video recorded as a background video when authoring a composite video content, only the first frame camera information, that is, the initial camera information, is extracted in extracting the camera information. Since the camera information of the frame is required by the user's input and the camera information is extracted by an automatic method, the camera information can be extracted from the already captured video.
또한, 본 발명은, 합성 컨텐츠 저작도구에서 활용될 경우 기존에 촬영된 실사 동영상을 합성 장면의 배경 동영상으로 사용할 때 필요한 카메라 정보를 제공하여 합성 컨텐츠 저작을 용이하게 할 수 있는 효과가 있다.In addition, the present invention, when used in the composite content authoring tool has an effect that can facilitate the authoring of the composite content by providing the camera information required when using the existing photographed live video as a background video of the composite scene.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0070773A KR100466587B1 (en) | 2002-11-14 | 2002-11-14 | Method of Extrating Camera Information for Authoring Tools of Synthetic Contents |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0070773A KR100466587B1 (en) | 2002-11-14 | 2002-11-14 | Method of Extrating Camera Information for Authoring Tools of Synthetic Contents |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040042470A KR20040042470A (en) | 2004-05-20 |
| KR100466587B1 true KR100466587B1 (en) | 2005-01-24 |
Family
ID=37339249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0070773A KR100466587B1 (en) | 2002-11-14 | 2002-11-14 | Method of Extrating Camera Information for Authoring Tools of Synthetic Contents |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100466587B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013077562A1 (en) * | 2011-11-24 | 2013-05-30 | 에스케이플래닛 주식회사 | Apparatus and method for setting feature points, and apparatus and method for object tracking using same |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8275170B2 (en) | 2006-12-08 | 2012-09-25 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting horizon in sea image |
| KR100918706B1 (en) * | 2007-03-20 | 2009-09-22 | 인천대학교 산학협력단 | Apparatus and Method of Estimating Camera Position |
| KR101013751B1 (en) * | 2009-07-09 | 2011-02-14 | 주식회사 인스프리트 | Server for processing of virtualization and system for providing augmented reality using dynamic contents delivery |
| KR101502757B1 (en) * | 2010-11-22 | 2015-03-18 | 한국전자통신연구원 | Apparatus for providing ubiquitous geometry information system contents service and method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09319896A (en) * | 1996-03-25 | 1997-12-12 | Hitachi Ltd | Three-dimensional image generating device |
| KR20000054329A (en) * | 2000-06-01 | 2000-09-05 | 이성환 | Object tracking method in the moving picture data |
| JP2002008024A (en) * | 2000-06-21 | 2002-01-11 | Gen Tec:Kk | Method and device for forming composited image with image of three-dimensional object embedded in two- dimensional continuous image |
| KR20030070446A (en) * | 2002-02-25 | 2003-08-30 | (주)버추얼미디어 | Apparatus and method for compositing image in video sequence |
-
2002
- 2002-11-14 KR KR10-2002-0070773A patent/KR100466587B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09319896A (en) * | 1996-03-25 | 1997-12-12 | Hitachi Ltd | Three-dimensional image generating device |
| KR20000054329A (en) * | 2000-06-01 | 2000-09-05 | 이성환 | Object tracking method in the moving picture data |
| JP2002008024A (en) * | 2000-06-21 | 2002-01-11 | Gen Tec:Kk | Method and device for forming composited image with image of three-dimensional object embedded in two- dimensional continuous image |
| KR20030070446A (en) * | 2002-02-25 | 2003-08-30 | (주)버추얼미디어 | Apparatus and method for compositing image in video sequence |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013077562A1 (en) * | 2011-11-24 | 2013-05-30 | 에스케이플래닛 주식회사 | Apparatus and method for setting feature points, and apparatus and method for object tracking using same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040042470A (en) | 2004-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Simon et al. | Reconstructing while registering: a novel approach for markerless augmented reality | |
| EP2317474A1 (en) | Markerless motion capturing apparatus and method | |
| KR20030019559A (en) | Method for multiple view synthesis | |
| Frahm et al. | Markerless augmented reality with light source estimation for direct illumination | |
| JP7162750B2 (en) | Image processing device, image processing method, and program | |
| WO2017163384A1 (en) | Data processing device, data processing method, and data processing program | |
| Böhm | Multi-image fusion for occlusion-free façade texturing | |
| CN111080776A (en) | Processing method and system for human body action three-dimensional data acquisition and reproduction | |
| Fortin et al. | Handling occlusions in real-time augmented reality: dealing with movable real and virtual objects | |
| KR100574227B1 (en) | Apparatus and method for separating object motion from camera motion | |
| JP2008217593A (en) | Subject area extraction device and subject area extraction program | |
| JPH07162744A (en) | Moving image processor | |
| KR100466587B1 (en) | Method of Extrating Camera Information for Authoring Tools of Synthetic Contents | |
| JP6799468B2 (en) | Image processing equipment, image processing methods and computer programs | |
| GB2312582A (en) | Insertion of virtual objects into a video sequence | |
| Inamoto et al. | Free viewpoint video synthesis and presentation of sporting events for mixed reality entertainment | |
| Inamoto et al. | Fly through view video generation of soccer scene | |
| Lin et al. | Video bsckground inpainting using dynamic texture synthesis | |
| JP7265825B2 (en) | Generation device, generation method and program | |
| JP2022029730A (en) | Three-dimensional (3d) model generation apparatus, virtual viewpoint video generation apparatus, method, and program | |
| Monji-Azad et al. | An efficient augmented reality method for sports scene visualization from single moving camera | |
| Li et al. | Online estimation of trifocal tensors for augmenting live video | |
| Enomoto et al. | AR display for observing sports events based on camera tracking using pattern of ground | |
| JP7393092B2 (en) | Virtual viewpoint image generation device, method and program | |
| JP7319939B2 (en) | Free-viewpoint video generation method, device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20090102 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |