KR101634225B1 - Device and Method for Multi-view image Calibration - Google Patents
Device and Method for Multi-view image Calibration Download PDFInfo
- Publication number
- KR101634225B1 KR101634225B1 KR1020140194976A KR20140194976A KR101634225B1 KR 101634225 B1 KR101634225 B1 KR 101634225B1 KR 1020140194976 A KR1020140194976 A KR 1020140194976A KR 20140194976 A KR20140194976 A KR 20140194976A KR 101634225 B1 KR101634225 B1 KR 101634225B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- cameras
- image
- images
- stereoscopic
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Abstract
Description
본 발명은 다시점 입체 영상 보정 장치 및 방법에 관한 것으로서, 보다 구체적으로, 최적의 입체 영상을 제공할 수 있으면서도 다양한 카메라 배치 구조에 적용될 수 있는 다시점 입체 영상 보정 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for correcting a multi-viewpoint image, and more particularly, to an apparatus and method for correcting a multi-viewpoint image that can be applied to various camera arrangement structures while providing an optimal three-dimensional image.
다시점 영상(multi-view image)은 여러 시점에서 다수의 카메라로 장면을 촬영한 다중 영상의 정합함으로써 다시점 3차원 입체 영상을 구현할 수 있다. 다시점 영상은 무안경식 디스플레이를 통해 안경이 없이 입체감을 느끼게 할 수 있다.A multi-view image can realize a multi-view 3D image by matching multiple images captured from a plurality of cameras at a plurality of viewpoints. The multi-view image can be made to feel stereoscopic without the glasses through the non-zoom display.
다시점 영상의 경우 시점 수만큼 카메라가 필요하고, 촬영을 위한 카메라의 배열, 각 카메라의 동기화, 촬영된 다시점 영상의 전처리 및 처리해야 할 데이터의 많은 양 등을 고려하여야 한다.In the case of multi-view images, the number of viewpoints is required for the camera, and the camera arrangement for shooting, synchronization of each camera, preprocessing of captured multi-view images, and a large amount of data to be processed should be considered.
구체적으로, 다시점 영상을 촬영하기 위해서는, 여러 대의 카메라가 이용되며, 여러 대의 카메라로 인하여 수직 오차가 발생하거나 불규칙한 시점 간격으로 수평 방향 시점 간격 오차가 발생하는 문제가 있었다. 다시점 영상의 수직 오차는 시청자에게 큰 피로감을 유발하고, 불규칙한 시점 간격은 시청자의 위치에 따라 서도 다른 깊이 감을 제공하기 때문에, 촬영 과정 및 전처리 과정에서 반드시 제거되어야 하는 요소이다. 즉, 서로 다른 시점에서 촬영된 영상을 정렬 및 보정하는 과정이 필요하다. 촬영된 영상을 정렬 및 보정하여 다시점 영상 간의 불일치를 최소화하고자 하는 시도가 이루어져 왔다. Specifically, in order to photograph a multi-viewpoint image, several cameras are used. Vertical error occurs due to a plurality of cameras, or there arises a problem that a horizontal viewpoint interval error occurs at irregular viewpoint intervals. The vertical error of the multi-view image induces a great fatigue to viewers, and the irregular viewpoint interval is a factor that must be removed during the shooting process and the preprocessing process because it provides different depth sense depending on the viewer's position. That is, a process of aligning and correcting images photographed at different viewpoints is required. Attempts have been made to minimize inconsistencies between multi-view images by aligning and correcting the captured images.
본 발명의 일 목적은 다시점 카메라 시스템을 통하여 여러 장의 장면을 통해 최적의 3차원 입체감을 느끼게 할 수 있는 카메라 배열의 간격 거리를 설정할 수 있는 다시점 이미지 보정 장치 및 방법을 제공하는 것이다. It is an object of the present invention to provide a multi-view image correcting apparatus and method capable of setting an interval distance of a camera array capable of achieving optimal three-dimensional stereoscopic effect through a plurality of scenes through a multi-viewpoint camera system.
또한, 본 발명의 다른 목적은 다시점 카메라의 영상에 대한 오차를 줄여 최적의 3차원 영상을 획득할 수 있는 다시점 이미지 보정 장치 및 방법을 제공하는 것이다. Another object of the present invention is to provide a multi-view image correcting apparatus and method capable of obtaining an optimal three-dimensional image by reducing an error of an image of a multi-view camera.
본 발명의 일 실시예에 따른 다시점 입체 영상 보정 방법은, 복수의 카메라를 이용하여 동일 피사체에 대한 복수의 이미지를 획득하는 단계, 평행(parallel), 발산(diverging) 및 수렴(convergin) 방식의 입체 조건에 따라 상기 복수의 카메라의 내부 파라미터 및 외부 파라미터 중 하나 이상을 조절하여 카메라의 배열을 보정하여 획득되는 복수의 이미지를 보정하는 단계, 및 상기 보정된 복수의 이미지를 이용하여 다시점 입체 영상을 획득하는 단계를 포함한다.A method for correcting a multi-view image according to an exemplary embodiment of the present invention includes acquiring a plurality of images for a same subject using a plurality of cameras, performing parallel, diverging, and convergent Adjusting at least one of an internal parameter and an external parameter of the plurality of cameras according to stereoscopic conditions to correct a plurality of images obtained by correcting the arrangement of the cameras, .
상기 복수의 카메라 각각에 의해 획득되는 복수의 이미지의 투영 행렬 Pn 은 [식 1]과 같이 표현될 수 있다.The projection matrix P n of a plurality of images obtained by each of the plurality of cameras can be expressed as [Equation 1].
[식 1][Formula 1]
여기서, Kn은 n 번째 카메라의 내부 특성 행렬이고, Rn은 n번째 카메라의 방향 행렬이며, tn은 n번째 카메라의 위치 벡터이다. Here, K n is the internal characteristic matrix of the n-th camera, R n is the direction matrix of the n-th camera, and t n is the position vector of the n-th camera.
삭제delete
상기 카메라의 배열에서, 깊이 감이 증가된 다시점 입체 영상을 획득하도록, 카메라 사이의 거리가 멀어지도록 상기 카메라의 위치 파라미터를 조절하거나, 깊이 감이 감소된 다시점 입체 영상을 획득하도록, 카메라 사이의 거리가 좁아지도록 상기 카메라의 위치 파라미터를 조절할 수 있다. In the arrangement of the cameras, the position parameter of the camera is adjusted so that the distance between the cameras is adjusted so as to acquire a multi-viewpoint image of increased depth, or a multi-viewpoint image The position parameter of the camera can be adjusted so that the distance of the camera is narrowed.
상기 카메라의 배열에서, 깊이 감이 감소된 다시점 입체 영상을 획득하도록, 카메라의 광축이 서로 모아지도록 상기 카메라의 방향 파라미터를 조절하거나, 깊이 감이 증가된 다시점 입체 영상을 획득하도록, 카메라의 광축이 서로 벌어지도록 상기 카메라의 방향 파라미터를 조절할 수 있다. In the arrangement of the cameras, to adjust the direction parameters of the camera so that the optical axes of the cameras converge to obtain a multi-viewpoint image of reduced depth, or to acquire a multi-viewpoint image of increased depth, The directional parameters of the camera can be adjusted so that the optical axes are flared together.
상기 카메라의 배열은, 깊이 감을 조절하도록 복수의 카메라의 초점 거리(f)를 조절할 수 있다. The arrangement of the cameras may adjust the focal length (f) of the plurality of cameras to adjust the depth sense.
본 발명의 다른 실시예에 따른 하는 다시점 입체 영상 보정 장치는, 동일 피사체에 대한 복수의 이미지를 획득하기 위한 복수의 카메라, 평행, 발산 및 수렴 방식의 입체 조건에 따라, 상기 복수의 카메라의 내부 파라미터 및 외부 파라미터 중 하나 이상을 조절하여 카메라의 배열을 보정하여 상기 복수의 카메라에 의해 획득되는 복수의 이미지를 보정하는 이미지 보정부, 및 상기 이미지 보정부에 의해 보정된 복수의 이미지를 이용하여 다시점 입체 영상을 생성하는 입체 영상 생성부;를 포함한다.According to another aspect of the present invention, there is provided an apparatus for correcting a multi-viewpoint image, comprising: a plurality of cameras for obtaining a plurality of images for the same object; An image correction unit for adjusting at least one of a parameter and an external parameter to correct a plurality of images obtained by the plurality of cameras by correcting an arrangement of the camera, And a stereoscopic image generation unit for generating a dot stereoscopic image.
본 발명의 일 실시예에 따르면 다시점 카메라 시스템을 통하여 여러 장의 장면을 통해 최적의 3차원 입체감을 느끼게 할 수 있는 카메라 배열의 간격 거리를 설정할 수 있는 다시점 이미지 보정 장치 및 방법을 제공할 수 있다. According to an embodiment of the present invention, it is possible to provide a multi-view image correcting apparatus and method capable of setting an interval distance of a camera array that allows an optimal three-dimensional stereoscopic effect to be felt through a plurality of scenes through a multi- .
또한, 다시점 카메라의 영상에 대한 오차를 줄여 최적의 3차원 영상을 획득할 수 있는 다시점 이미지 보정 장치 및 방법을 제공할 수 있다. Also, it is possible to provide a multi-view image correcting apparatus and method capable of obtaining an optimal three-dimensional image by reducing an error of an image of a multi-view camera.
그리고, 다시점 3차원 입체 영상을 위한 카메라 조정과 카메라 매개변수, 영상 정렬을 통한 다시점 영상의 오차 보정을 수행할 수 있다.Also, it is possible to perform camera adjustment for multi - view 3D images, and error correction of multi - view images through camera parameters and image alignment.
또한, 평행형이 아닌 다른 카메라 배열에서 불가능했던 수렴형(Converging type)과 발산형(Diverging type)에도 적용할 수 있다. In addition, the present invention can be applied to a converging type and a diverging type, which have not been possible in a camera array other than a parallel type.
도 1은 본 발명의 일 실시예에 따라서 양안 간격(카메라 간격)을 조절하여 입체 조건을 변경하는 것을 나타내는 설명하기 위한 도면이다.
도 2는 카메라 각도를 조절하여 입체 조건을 변경하는 것을 설명하기 위한 도면이다.
도 3은 복수의 카메라에 의한 다시점 입체 영상의 투영 방법을 나타내기 위한 도면이다.
도 4는 카메라의 내부 파라미터 및 외부 파라미터를 설명하기 위한 도면이다.
도 5는 시청자에 의한 이미지의 위치 좌표를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 다시점 입체 영상 보정 방법을 나타내는 도면이고, 도 7은 본 발명의 다른 실시예에 따른 다시점 입체 영상 보정 장치를 나타내는 개략도이다.
도 8, 도 9 및 도 10은 각각 평행형, 수렴형 및 발산형 카메라 배치 구조에 있어서, 카메라의 위치 파라미터의 변화에 따른 깊이감의 변화를 나타내는 그래프이다.
도 11, 도 12 및 도 13은 각각 평행형, 수렴형 및 발산형 카메라 배치 구조에 있어서, 카메라의 배율의 변화에 따른 깊이감의 변화를 나타내는 그래프이다. 1 is a view for explaining a change in stereoscopic conditions by adjusting a binocular interval (camera interval) according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a change in stereoscopic conditions by adjusting a camera angle. FIG.
3 is a diagram showing a projection method of a multi-viewpoint stereoscopic image by a plurality of cameras.
4 is a diagram for explaining internal parameters and external parameters of the camera.
5 is a diagram showing positional coordinates of an image by a viewer.
FIG. 6 is a diagram illustrating a method for correcting a multi-viewpoint image according to an exemplary embodiment of the present invention, and FIG. 7 is a schematic view illustrating a multi-viewpoint image correcting apparatus according to another embodiment of the present invention.
FIGS. 8, 9 and 10 are graphs showing changes in depth perception according to changes in camera position parameters in a parallel, convergent, and diverging camera arrangement structure, respectively.
Figs. 11, 12 and 13 are graphs showing the change in depth perception according to the variation of the camera magnification in the parallel, convergent and divergent camera arrangement structures, respectively.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하의 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한, 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, respectively, and redundant description will be omitted. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
두 대 이상의 카메라가 필요한 3차원 영상 촬영은 사람이 인지할 수 있는 입체 효과가 양안 시차에서 비롯되기 때문에 왼쪽 눈과 오른쪽 눈으로 입력되는 영상을 각각 두 대의 카메라로 획득한다. Since three - dimensional imaging, which requires two or more cameras, can be perceived by the human eye, it is obtained from two binocular cameras.
양안식(stereoscopic) 카메라 시스템은 가장 기본적인 3차원 입체 영상 촬영 시스템으로서 사람의 시각 시스템과 유사하게 설계되어 있다. 카메라 두 대를 일정한 간격으로 수평하게 설치하여 영상을 획득한다. 양안식 카메라의 간격 거리는 깊이 브라켓(depth bracket)(또는 “깊이 감(depth range)”)에 의해 최적의 거리로 결정된다. A stereoscopic camera system is the most basic three-dimensional (3D) stereoscopic imaging system and is designed similar to a human visual system. Two cameras are installed horizontally at regular intervals to acquire images. The spacing distance of the binocular camera is determined by the depth bracket (or "depth range") to the optimum distance.
본 발명의 일 실시예에 따르면, 다시점 카메라 시스템 환경에서 각 시점마다 생성되는 카메라 간의 거리 정보 측정 시스템을 통하여, 일정한 간격으로 획득한 영상을 새로운 기준 영상으로 정의하여 깊이감 있는 영상을 생성할 수 있다. According to an embodiment of the present invention, an image acquired at regular intervals can be defined as a new reference image through a camera distance information measuring system generated at each point in a multi-view camera system environment to generate a depth sensing image have.
도 1은 시청자들의 다양한 입체 조건을 나타내는 그림들이다.FIG. 1 is a diagram showing various stereoscopic conditions of viewers.
도 1의 (a)는 일반 입체(stereo) 조건을 나타내고, (b)는 저(hypo)-입체 조건을 나타내며, (c)는 고(hyper)-입체 조건을 나타낸다. Fig. 1 (a) shows a general stereo condition, Fig. 2 (b) shows a hypo-stereoscopic condition and Fig. 3 (c) shows a hyper-stereoscopic condition.
일반 입체 조건이 기 설정된 양안 간격인 제1 간격(t)이라 한다면, 가까운-입체 조건의 경우 양안 간격은 제1 간격(t)보다 짧은 제2 간격(t')을 갖고, 먼-입체 조건의 경우 제1 간격(t)보다 긴 제3 간격(t”)을 갖는다. If the general stereoscopic condition is the first interval t, which is a predetermined binocular interval, the binocular interval in the case of near-stereoscopic condition has a second interval t 'shorter than the first interval t, (T ") longer than the first spacing (t).
도 1의 경우, 양안 간격을 두 눈 사이 간격(즉, 두 개의 카메라 사이의 간격)으로 조절하는 것을 도시하였다. 카메라 사이의 간격을 좁게(b) 또는 넓게(c) 조절함으로써, 입체 조건을 조절할 수 있다. In the case of Fig. 1, the binocular interval is shown to be adjusted to the interval between two eyes (i.e., the interval between two cameras). By adjusting the distance between the cameras to be narrow (b) or wider (c), stereoscopic conditions can be adjusted.
그에 따라, 저-입체 조건의 경우 시청자는 상대적으로 입체감이 덜하게 느껴지며 물체가 작고 가깝게 느껴지는 왜소 현상(dwarfism effect)을 겪게 되고, 고-입체 조건의 경우 시청자가 물체가 멀고 크게 느껴지며 상대적으로 큰 입체감으로 거대 현상(gigantism effect)을 겪게 된다. 즉 시청자의 양안 간격, 즉 카메라 사이의 간격에 따라 다른 깊이감, 입체감을 느끼게 된다. Accordingly, under low-stereoscopic conditions, the viewer feels relatively less stereoscopic, experiences a dwarfism effect in which the object feels small and close, and in a high-stereoscopic condition, the viewer feels that the object is distant and large, It experiences a gigantism effect with a large stereoscopic effect. That is, the viewer feels different depth and stereoscopic feeling depending on the distance between the two eyes, that is, the distance between the cameras.
도 2의 (a) 내지 (c)는 또 다른 실시예에 따른 입체 조건에 따른 깊이감 변화를 나타내는 그림이다. 2 (a) to 2 (c) are diagrams showing a change in depth feeling according to a stereoscopic condition according to still another embodiment.
도 2의 (a)는 일반 입체 조건을 나타내며, (b)는 저-입체 조건을 나타내고, (c)는 고-입체 조건을 나타낸다.2 (a) shows a general stereoscopic condition, (b) shows a low-stereoscopic condition, and (c) shows a high-stereoscopic condition.
도 1에서와 마찬가지로, 일반 입체 조건이 기 설정된 양안 간격인 제1 간격(t)이라 한다면, 저-입체 조건의 경우 양안 간격은 제1 간격(t)보다 짧은 제2 간격(t')을 갖고, 고-입체 조건의 경우 제1 간격(t)보다 긴 제3 간격(t”)을 갖는다As in Fig. 1, if the general stereoscopic condition is the first interval t, which is a predetermined binocular interval, the binocular interval in the case of low-stereoscopic condition has a second interval t 'shorter than the first interval t (T ") longer than the first spacing (t) in the case of the high-steric condition
그러나, 도 1의 경우 카메라 사이의 간격을 이용하여 입체 조건을 구현하였다면, 도 2는 카메라의 배열을 이용하여 양안 간격을 조절할 수 있다. 즉, 평행형 카메라 배열(a)로 일반 입체 조건을 구현하고, 수렴형 카메라 배열(b)로 저-입체 조건을 구현할 수 있으며, 발산형 카메라 배열(c)로 고-입체 조건을 구현할 수 있다. However, in the case of FIG. 1, if stereoscopic conditions are implemented using the intervals between cameras, FIG. 2 can adjust the binocular interval using the arrangement of cameras. That is, the general stereoscopic condition can be implemented with the parallel camera array (a), the low-stereoscopic condition can be realized with the convergence camera array (b), and the high-stereoscopic condition can be realized with the divergent camera array (c).
그에 따라, 카메라 사이의 광축 각도를 조절함으로써 입체 조건을 조절하는 것을 알 수 있다. 구체적으로, 카메라가 서로 가까워지는 방향으로 기 설정된 각도로 (도 2의 (b)의 실시예의 경우 -α각도로) 광축을 기울이면, 저-입체 조건이 구현되며, 카메라가 서로 멀어지는 방향으로 기 설정된 각도로 (도 2의 (c)의 실시예의 경우 +α 각도로) 광축을 기울이면, 고-입체 조건을 구현할 수 있다. Accordingly, it can be seen that the stereo condition is adjusted by adjusting the angle of the optical axis between the cameras. Specifically, when the camera tilts the optical axis at a predetermined angle in the direction in which the cameras approach each other (at -α angle in the embodiment of FIG. 2B), a low-stereoscopic condition is implemented, When the optical axis is inclined at the set angle (at the angle of + alpha in the embodiment of FIG. 2 (c)), a high-stereoscopic condition can be realized.
결국, 평행형 카메라 배열에 의해 구현되는 일반 입체 조건의 경우 양 시차(positive parallax)와 음 시차(negative parallax)의 차이에 의해 A1만큼의 깊이감을 구현할 수 있다면, 수렴형 카메라 배열(b)에 의해 A1보다 작은 A2만큼의 깊이감을 구현하고 있고, 발산형 카메라 배열(c)의 경우 A1보다 큰 A3만큼의 깊이감을 구현할 수 있다. As a result, in the case of the general stereoscopic condition implemented by the parallel camera array, if a depth feeling equivalent to A1 can be realized due to the difference between positive parallax and negative parallax, the convergent camera array (b) Of the camera array (c) of the divergent type can realize a depth feeling of A3 which is larger than A1.
즉, 카메라의 간격과 카메라의 광축 각도를 조절함으로써, 입체 조건을 조절할 수 있다. In other words, stereoscopic conditions can be adjusted by adjusting the camera interval and the angle of the optical axis of the camera.
도 3은 복수의 카메라들을 통해 물체(10)의 다시점 이미지를 구현하는 방법을 나타내는 도면이다. 3 is a diagram illustrating a method for implementing a multi-view image of an
여기서, 3차원 공간의 한 점 M은 카메라를 통해 2차원 평면에 카메라에 의해 투영되는 투영 행렬 P의 값으로 투영된다.Here, a point M in the three-dimensional space is projected to the value of the projection matrix P projected by the camera on the two-dimensional plane through the camera.
도 3의 경우 5개의 카메라(21, 23, 25, 27, 29)에 의해 투영되는 5개의 투영 행렬 P1, P2, P3, P4 및 P5에 의해 다시점 입체 영상을 구현할 수 있다. 여기서, 각각의 카메라에 의해 획득된 이미지들을 대응하는 카메라의 내부 또는 외부 파라미터로 보정함으로써, 다시점 입체 영상을 보정할 수 있다. In the case of FIG. 3, the three-dimensional image can be realized by the five projection matrices P1, P2, P3, P4 and P5 projected by the five
3차원 공간상의 한 점이 다시점 카메라의 촬영에 의해 각각 영상 평면으로 투영된다. 물체와 카메라의 중심을 잇는 선상에 존재하는 물체 중, 가장 앞쪽에 있는 물체 정보가 영상 평면과 만나는 점의 화소 값으로 투영될 수 있다. A point on the three-dimensional space is projected onto the image plane respectively by photographing the multi-view camera. It is possible to project the pixel value of the point at which the object information on the forefront among the objects existing on the line connecting the object and the center of the camera to the image plane.
구체적으로, 3차원 공간상의 물체는 카메라를 통해 2차원 평면에 카메라의 투영 행렬(Projection Metrix) Pn 값으로 투영될 수 있다. 또한, n번째 카메라에 의한 투영 행렬은 각각의 카메라의 내부 특성 행렬 Kn, 카메라의 방향 행렬 Rn, 및 카메라의 위치 벡터 tn에 의하여 [식 1]과 같이 표현될 수 있다. Specifically, an object in the three-dimensional space can be projected onto the two-dimensional plane through the camera at the projection metric P n of the camera. The projection matrix by the n-th camera can be expressed as [Equation 1] by the internal characteristic matrix K n of each camera, the direction matrix R n of the camera, and the position vector t n of the camera.
[식 1] [Formula 1]
여기서, Kn은 n 번째 카메라의 내부 특성 행렬이고, Rn은 n번째 카메라의 방향 행렬이며, tn은 n번째 카메라의 위치 벡터이다. 그리고, n은 자연수이다. Here, K n is the internal characteristic matrix of the n-th camera, R n is the direction matrix of the n-th camera, and t n is the position vector of the n-th camera. And, n is a natural number.
즉, 이미지의 투영 행렬 Pn 은, 카메라의 초점 거리 등과 같은 내부 파라미터인 카메라의 내부 특성 행렬 Kn과, 카메라의 배치 또는 위치와 같은 외부 파라미터인 카메라의 방향 행렬 Rn 및 카메라의 위치 벡터 tn에 의해 조절할 수 있다.That is, the projection matrix P n of the image includes an internal characteristic matrix K n of the camera, which is an internal parameter such as a focal distance of the camera, a direction matrix R n of the camera, which is an external parameter such as the arrangement or position of the camera, n . < / RTI >
도 4는 각각의 카메라의 내부 파라미터 및 외부 파라미터를 설명하기 위한 도면이다. 4 is a diagram for explaining internal parameters and external parameters of each camera.
여기서, 내부 특성 행렬 Kn은 카메라의 초점 거리(focal length) f와 카메라의 광축(optical axis)과 영상 평면이 만나는 주점(principal point)의 좌표(uo, vo)에 대한 정보를 나타낸다. Herein, the internal characteristic matrix K n represents information on the focal length f of the camera and the coordinates (u o , v o ) of the principal point at which the optical axis of the camera and the image plane meet.
보다 구체적으로, 카메라의 방향 행렬 Rn (회전 행렬)은 카메라의 수평축, 수직축, 광축의 단위 벡터를 나타낸 것이다. 일 예로, 도 4에서 r1, r2 및 r3는 수평축, 수직축 및 광축에 따른 회전 벡터를 나타낸다. 또한, 벡터 tn는 공간상의 기 설정된 원점에 대한 카메라의 위치를 나타내는 벡터이다.More specifically, the direction matrix R n (rotation matrix) of the camera is a unit vector of the horizontal axis, vertical axis, and optical axis of the camera. For example, in FIG. 4, r1, r2, and r3 represent rotation vectors along the horizontal axis, the vertical axis, and the optical axis. The vector t n is a vector representing the position of the camera with respect to a predetermined origin in space.
즉, 카메라의 외부 파라미터인 카메라의 위치 파라미터 또는 방향 파라미터를 포함하는 Rn 또는 tn 을 변경시키고, 또는 카메라의 내부 파라미터인 초점 거리 또는 광축과 영상 평면이 만나는 주점 좌표를 변경시킴으로써 입체감 또는 거리감을 조절할 수 있다. That is, it is possible to change R n or t n including the position parameter or direction parameter of the camera which is an external parameter of the camera, or By changing the focal distance, which is an internal parameter of the camera, or the coordinates of the principal point at which the optical axis and the image plane meet, it is possible to control the three-dimensional feeling or the distance feeling.
또한, 입체감 및 거리감을 조절함으로써, 영상 정렬, 워핑(warping), 깊이 생성, 임의 시점의 합성, 포인트 클라우드 생성 및 3차원 모델링이 가능해 진다. Further, by adjusting stereoscopic effect and distance sense, image alignment, warping, depth generation, arbitrary point synthesis, point cloud generation, and three-dimensional modeling become possible.
한편, 도 5는 시청자에 의해 인식되는 이미지의 위치 좌표를 구체적으로 나타내는 도면이다. 5 is a diagram specifically showing the coordinates of the position of the image recognized by the viewer.
(xv, yv, zv)에 위치한 시청자에 의해 인지되는 이미지의 위치 좌표(xi, yi, zi)는, 다음의 [식 2]와 같이 표현될 수 있다.(x v, y v, z v) the position coordinates of the image to be perceived by the viewer (x i, y i, z i) is located in, it can be expressed by the following [formula 2].
[식 2] [Formula 2]
XL은 좌측 카메라에 의해 획득된 물체 영상의 x축 좌표 값이고, XR은 오른쪽 카메라에서 획득된 물체 영상의 x축 좌표 값이며, YLR은 왼쪽과 오른쪽 카메라에서 획득된 물체 영상의 y축 좌표 값이다. X L is the x-axis coordinate value of the object image obtained by the left side camera, X R is the x-axis coordinate value of the object image obtained from the right camera, Y LR is the y-axis of the object image obtained from the left and right camera Coordinate value.
여기서, Ob 는 3차원 공간에 위치한 물체의 한 점을 나타내고, 2b 는 해당 위치에서 양안 간격을 나타낸다. m은 좌-우 카메라에서 획득된 물체의 줌-인/아웃 효과에 영향을 미치는 파라미터이고, CL과 CR은 좌-우 카메라의 위치를 나타내는 파라미터이다.Here, O b represents a point of an object located in a three-dimensional space, and 2b represents a binocular interval at the corresponding position. m is a parameter that affects the zoom-in / out effect of the object obtained from the left-right camera, and C L and C R are parameters indicating the position of the left-right camera.
도 6은 본 발명의 일 실시예에 따른 다시점 입체 영상 보정 방법을 나타내는 순서도이다. FIG. 6 is a flowchart illustrating a method for correcting a three-dimensional image according to an exemplary embodiment of the present invention.
본 발명의 일 실시예에 따르면, 다시점 입체 영상 보정 방법은 복수의 카메라를 이용하여 동일 피사체에 대한 복수의 이미지를 획득하는 단계(S10); 상기 복수의 카메라의 내부 파라미터 및 외부 파라미터 중 하나 이상을 보정하여 상기 획득된 복수의 이미지를 보정하는 단계(S20); 및 상기 보정된 복수의 이미지를 이용하여 다시점 입체 영상을 획득하는 단계(S30)를 포함한다.According to an embodiment of the present invention, a method for correcting a multi-view image includes: acquiring a plurality of images for a same subject using a plurality of cameras (S10); (S20) correcting the obtained plurality of images by correcting at least one of an internal parameter and an external parameter of the plurality of cameras; And acquiring a multi-view image using the plurality of corrected images (S30).
앞서 설명한 바와 같이, 상기 복수의 카메라 각각에 의해 획득되는 복수의 이미지의 투영 행렬 Pn 은 [식 1]과 같이 표현될 수 있다.As described above, the projection matrix P n of a plurality of images obtained by each of the plurality of cameras can be expressed as [Equation 1].
[식 1] [Formula 1]
여기서, Kn은 n 번째 카메라의 내부 특성 행렬이고, Rn은 n번째 카메라의 방향 행렬이며, tn은 n번째 카메라의 위치 벡터이다. Here, K n is the internal characteristic matrix of the n-th camera, R n is the direction matrix of the n-th camera, and t n is the position vector of the n-th camera.
즉, 획득된 이미지에 대응하는 각 카메라의 내부 파라미터인 초점 또는 주점 좌표를 조절하거나, 또는 외부 파라미터인 카메라의 방향 파라미터 또는 위치 파라미터를 보정함으로써, 이미지를 보정할 수 있다. That is, the image can be corrected by adjusting the focal point or principal point coordinates, which are internal parameters of each camera corresponding to the acquired image, or by correcting the camera's direction parameter or position parameter, which is an external parameter.
구체적으로, 상기 이미지를 보정하는 단계(S20)에서는, 상기 복수의 이미지에 대응되는 복수의 카메라의 위치 파라미터 및 방향 파라미터 중 적어도 하나를 보정하여 상기 복수의 이미지를 보정할 수 있다.Specifically, in the step of correcting the image (S20), at least one of the position parameters and the direction parameters of a plurality of cameras corresponding to the plurality of images may be corrected to correct the plurality of images.
또한, 상기 다시점 입체 영상을 획득하는 단계(S30)에서는, 카메라 사이의 거리가 멀어지도록 상기 위치 파라미터를 보정하여, 깊이감이 증가된 다시점 입체 영상을 획득하고, 카메라 사이의 거리가 좁아지도록 상기 위치 파라미터를 보정하여, 깊이감이 감소된 다시점 입체 영상을 획득할 수 있다.In addition, in step S30 of obtaining the multi-viewpoint stereoscopic image, the positional parameters are corrected so that the distance between the cameras is increased to acquire the multi-viewpoint stereoscopic image with increased depth, and the distance between the cameras is narrowed By correcting the position parameter, a multi-viewpoint image with reduced depth can be obtained.
그리고, 상기 다시점 입체 영상을 획득하는 단계(S30)에서, 카메라들의 광축이 서로 모아지도록 상기 방향 파라미터를 보정하여, 깊이감이 감소된 다시점 입체 영상을 획득하고, 카메라들의 광축이 서로 벌어지도록 상기 방향 파라미터를 보정하여, 깊이감이 증가된 다시점 입체 영상을 획득할 수 있다.In step S30 of acquiring the multi-viewpoint image, the directional parameters are corrected so that the optical axes of the cameras converge to obtain a multi-viewpoint image with reduced depth, and the optical axes of the cameras are flared It is possible to acquire a multi-viewpoint image with increased depth by correcting the direction parameter.
도 8, 도 9 및 도 10는 각각 평행형 카메라 배치 구조, 수렴형 카메라 배치 구조 및 발산형 카메라 배치 구조 에서, 카메라 사이의 위치 파라미터를 변경함으로써 얻어지는 깊이감(양 시차와 음 시차의 합)을 나타내는 그래프이다.Figs. 8, 9, and 10 are diagrams showing depths (sum of both parallaxes and negative parallaxes) obtained by changing position parameters between cameras in a parallel camera arrangement structure, a convergence camera arrangement structure, Graph.
각각의 도면에서 (a)는 서로 다른 2개의 카메라 사이의 간격이 52 cm 인 경우, (b)는 65 cm 인 경우, 그리고 (c)는 78 cm 인경우의 깊이감의 차이를 나타낸 것이다. In each figure, (a) shows the difference between the depths of the two cameras when the distance between two cameras is 52 cm, (b) is 65 cm, and (c) is 78 cm.
도 8 내지 도 10의 도면에서, 즉, 평행형 카메라, 수렴형 카메라 및 발산형 카메라 모두에서 카메라 사이의 거리가 멀어지도록 보정된 경우, 깊이감이 증대되는 것을 알 수 있고, 카메라 사이의 거리가 가까워지도록 보정된 경우, 깊이감이 줄어들도록 보정되는 것을 알 수 있다. 8 to 10, that is, when the distance between the cameras is corrected in the parallel camera, the converging camera, and the divergent camera, it can be seen that the sense of depth is increased, It can be seen that the depth feeling is corrected to be reduced.
또한, 상기 보정하는 단계(S20)는, 상기 복수의 이미지에 대응되는 복수의 카메라의 초점 거리 (f)를 보정하여 상기 복수의 이미지를 보정할 수 있다.In addition, the correcting step (S20) may correct the plurality of images by correcting a focal length (f) of a plurality of cameras corresponding to the plurality of images.
구체적으로, 도 11 내지 도 13은 각각 평행형 카메라 배치 구조, 수렴형 카메라 배치 구조 및 발산형 카메라 배치 구조 에서 배율의 변화에 따른 깊이감의 변화를 나타내는 그래프이다. 배율은 초점 거리에 관계되므로, 초점 거리를 조절하여 배율을 조절함으로써 깊이감을 조절할 수 있다. Specifically, FIGS. 11 to 13 are graphs showing changes in depth perception according to changes in magnification in a parallel camera arrangement structure, a converging camera arrangement arrangement, and a diverging camera arrangement structure, respectively. Since the magnification is related to the focal distance, the depth sense can be adjusted by controlling the magnification by adjusting the focal distance.
도 11 및 도 12의 평행형 카메라 배치와 수렴형 카메라 배치의 경우, 배율이 증대될수록 깊이감이 증대되나, 도 13의 발산형 카메라 배치의 경우 배율이 감소할수록 깊이감이 증대되는 것을 알 수 있다. 즉, 초점거리의 조절로 배율을 조절하여 원하는 깊이감을 얻을 수 있다. In the case of the parallel camera arrangement and the convergence camera arrangement of FIGS. 11 and 12, as the magnification increases, the sense of depth increases, but in the case of the divergent camera arrangement of FIG. 13, the sense of depth increases as the magnification decreases. That is, by adjusting the focal length, the magnification can be adjusted to obtain a desired depth feeling.
즉, 본 발명에 따르면 깊이 정보를 획득하고 분석하여 다시점 카메라 시스템 기반의 카메라 배열을 결정할 수 있고, 또한 획득된 이미지에 대해 대응하는 카메라의 내부 또는 외부 파라미터를 보정함으로써 임의 시점의 입체 영상에 대한 오차를 제거할 수 있다. That is, according to the present invention, the camera arrangement based on the multi-view camera system can be determined by acquiring and analyzing the depth information, and the internal or external parameters of the corresponding camera are corrected for the acquired image, The error can be eliminated.
한편, 도 9는 본 발명의 다른 실시예에 따른 다시점 입체 영상 보정 장치에 관한 것으로, 동일 피사체에 대한 복수의 이미지를 획득하기 위한 복수의 카메라(30), 상기 복수의 카메라의 내부 파라미터 및 외부 파라미터 중 하나 이상을 보정하여, 상기 복수의 카메라에 의해 획득된 복수의 이미지를 보정하는 이미지 보정부(40) 및 상기 이미지 보정부에 의해 보정된 복수의 이미지를 이용하여 다시점 입체 영상을 생성하는 입체 영상 생성부(50)를 포함한다.9 is a block diagram of a multi-view image correcting apparatus according to another embodiment of the present invention. The apparatus includes a plurality of
상기 이미지 보정부(40)는 입체 영상 생성부(50)에 연결되어 획득된 이미지를 대응하는 카메라의 내부 파라미터 또는 외부 파라미터의 보정을 통하여 이미지를 보정하거나, 복수의 카메라(30)에 연결되어 복수의 카메라의 위치 또는 방향을 보정하여 보정을 수행할 수도 있다. The
다시점 입체 영상 보정 장치를 통하여 본 발명의 다양한 실시예에 따른 다시점 입체 영상 보정 방법이 적용될 수 있다. The multi-viewpoint stereoscopic image correction method according to various embodiments of the present invention can be applied through the multi-viewpoint stereoscopic image correction device.
본 발명의 위와 같은 입체 영상 보정 장치 및 방법은 다시점 3차원 입체 영상을 위한 카메라 조정과 카메라 매개변수, 영상 정렬을 통한 다시점 영상의 오차 보정을 수행할 수 있으며, 다시점 영상을 입력받아 각 카메라에 대한 시뮬레이터를 통해 임의의 시점의 입체(stereoscopic) 영상에 대한 디스패러티(disparity)를 얻어 카메라에 대응하는 이미지의 변환식을 계산하고 적용하여 다시점 영상의 오차를 제거할 수 있다. The apparatus and method for correcting a three-dimensional image according to the present invention can perform camera adjustment for multi-viewpoint 3D images, correction of errors of multi-view images through camera parameters and image alignment, The disparity of a stereoscopic image at an arbitrary point of time can be obtained through a simulator for the camera, and the error of the multi-view image can be removed by calculating and applying a transformation equation corresponding to the camera.
또한, 시점 간의 높낮이 차이와 불규칙한 변위로 인하여 영상 정합 시 발생하는 오차를 낮추기 위해 카메라의 매개변수에 따라 원래 카메라의 매개변수를 기반으로 하여 새로운 카메라의 매개변수를 예측하고, 두 매개변수로부터 변환식을 적용하여 오차를 보정할 수 있으며, 기존의 평행형이 아닌 다른 카메라 배열에서 불가능했던 수렴형(Converging) 및 발산형(Diverging) 카메라 배열에서도 적용할 수 있다. In order to reduce the error caused by the difference in height between the viewpoints and irregular displacements, the parameters of the new camera are predicted based on the parameters of the original camera according to the parameters of the camera, And it can be applied to a converging and diverging camera arrangement which was not possible in a camera arrangement other than a conventional parallel type camera array.
S10: 이미지 획득 단계
S20: 이미지 보정 단계
S30: 입체 영상 획득 단계
30: 복수의 카메라
40: 이미지 보정부
50: 입체 영상 생성부S10: Image acquisition step
S20: Image correction step
S30: Stereoscopic image acquisition step
30: Multiple cameras
40: image correction unit
50: a stereoscopic image generating unit
Claims (7)
평행, 발산 및 수렴 방식의 입체 조건에 따라 상기 복수의 카메라의 내부 파라미터 및 외부 파라미터 중 하나 이상을 조절하여 카메라의 배열을 보정하여 획득되는 복수의 이미지를 보정하는 단계; 및
상기 보정된 복수의 이미지를 이용하여 다시점 입체 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 다시점 입체 영상 보정 방법.
Acquiring a plurality of images for the same subject using a plurality of cameras;
Correcting a plurality of images obtained by adjusting at least one of an internal parameter and an external parameter of the plurality of cameras according to a stereoscopic condition of a parallel, divergent, and convergent method to correct an arrangement of the camera; And
And acquiring a multi-viewpoint image using the plurality of corrected images.
상기 복수의 카메라 각각에 의해 획득되는 복수의 이미지의 투영 행렬 Pn 은 [식 1]과 같이 표현되는 것을 특징으로 하는 다시점 입체 영상 보정 방법.
[식 1]
여기서, Kn은 n 번째 카메라의 내부 특성 행렬이고, Rn은 n번째 카메라의 방향 행렬이며, tn은 n번째 카메라의 위치 벡터이다.
The method according to claim 1,
Wherein a projection matrix P n of a plurality of images obtained by each of the plurality of cameras is expressed as Equation (1).
[Formula 1]
Here, K n is the internal characteristic matrix of the n-th camera, R n is the direction matrix of the n-th camera, and t n is the position vector of the n-th camera.
상기 카메라의 배열에서,
깊이 감이 증가된 다시점 입체 영상을 획득하도록, 카메라 사이의 거리가 멀어지도록 상기 카메라의 위치 파라미터를 조절하거나,
깊이 감이 감소된 다시점 입체 영상을 획득하도록, 카메라 사이의 거리가 좁아지도록 상기 카메라의 위치 파라미터를 조절하는 것을 특징으로 하는 다시점 입체 영상 보정 방법.
The method according to claim 1,
In the arrangement of the camera,
Adjusting the positional parameters of the camera so as to increase the distance between the cameras so as to acquire a multi-viewpoint image having increased depth,
Wherein the position parameter of the camera is adjusted so that the distance between the cameras is narrowed so as to obtain a multi-viewpoint image having reduced depth.
상기 카메라의 배열에서,
깊이 감이 감소된 다시점 입체 영상을 획득하도록, 카메라의 광축이 서로 모아지도록 상기 카메라의 방향 파라미터를 조절하거나,
깊이 감이 증가된 다시점 입체 영상을 획득하도록, 카메라의 광축이 서로 벌어지도록 상기 카메라의 방향 파라미터를 조절하는 것을 특징으로 하는 다시점 입체 영상 보정 방법.
The method according to claim 1,
In the arrangement of the camera,
Adjusting the direction parameters of the camera so that the optical axes of the cameras are gathered together so as to obtain a depth-reduced multi-viewpoint stereoscopic image,
Wherein the direction parameter of the camera is adjusted so that the optical axis of the camera is widened so as to acquire a multi-viewpoint image having increased depth.
상기 카메라의 배열은,
깊이 감을 조절하도록 복수의 카메라의 초점 거리(f)를 조절하는 것을 특징으로 하는 다시점 입체 영상 보정 방법.
The method according to claim 1,
The arrangement of the cameras comprises:
And adjusting the focal distance (f) of the plurality of cameras so as to adjust the depth sense.
평행, 발산 및 수렴 방식의 입체 조건에 따라, 상기 복수의 카메라의 내부 파라미터 및 외부 파라미터 중 하나 이상을 조절하여 카메라의 배열을 보정하여 상기 복수의 카메라에 의해 획득되는 복수의 이미지를 보정하는 이미지 보정부; 및
상기 이미지 보정부에 의해 보정된 복수의 이미지를 이용하여 다시점 입체 영상을 생성하는 입체 영상 생성부;를 포함하는 것을 특징으로 하는 다시점 입체 영상 보정 장치.A plurality of cameras for acquiring a plurality of images for the same subject;
An image processing method for correcting a plurality of images obtained by the plurality of cameras by adjusting one or more of internal parameters and external parameters of the plurality of cameras according to steric conditions of parallel, divergent, government; And
And a stereoscopic image generation unit that generates a multi-viewpoint stereoscopic image using the plurality of images corrected by the image correction unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140194976A KR101634225B1 (en) | 2014-12-31 | 2014-12-31 | Device and Method for Multi-view image Calibration |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140194976A KR101634225B1 (en) | 2014-12-31 | 2014-12-31 | Device and Method for Multi-view image Calibration |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101634225B1 true KR101634225B1 (en) | 2016-06-28 |
Family
ID=56366398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140194976A KR101634225B1 (en) | 2014-12-31 | 2014-12-31 | Device and Method for Multi-view image Calibration |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101634225B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10230900B2 (en) | 2016-10-20 | 2019-03-12 | Hyundai Motor Company | Apparatus for controlling exposure of multi-view camera, system including the same, and method for controlling exposure of multi-view camera |
| WO2020027605A1 (en) * | 2018-08-01 | 2020-02-06 | 한국원자력연구원 | Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type |
| CN113645462A (en) * | 2021-08-06 | 2021-11-12 | 深圳臻像科技有限公司 | Conversion method and device of 3D light field |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100943719B1 (en) * | 2008-11-04 | 2010-02-23 | 광주과학기술원 | System and apparatus of geometrical compensation for multi-view video |
-
2014
- 2014-12-31 KR KR1020140194976A patent/KR101634225B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100943719B1 (en) * | 2008-11-04 | 2010-02-23 | 광주과학기술원 | System and apparatus of geometrical compensation for multi-view video |
Non-Patent Citations (1)
| Title |
|---|
| "평행형 다중 카메라 배열의 효율적인 이미지 수정 방법 (An Efficient Image Rectification Method for Parallel Multi-Camera Arrangement) " , 강윤석 및 이호성 저, Consumer Electronics, IEEE Transaction (Volume: 57), 2011년 8월. |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10230900B2 (en) | 2016-10-20 | 2019-03-12 | Hyundai Motor Company | Apparatus for controlling exposure of multi-view camera, system including the same, and method for controlling exposure of multi-view camera |
| WO2020027605A1 (en) * | 2018-08-01 | 2020-02-06 | 한국원자력연구원 | Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type |
| KR20200014631A (en) * | 2018-08-01 | 2020-02-11 | 한국원자력연구원 | Image processing method and apparatus of parallel axis typed stereo camera system for 3d-vision of near objects |
| KR102113285B1 (en) | 2018-08-01 | 2020-05-20 | 한국원자력연구원 | Image processing method and apparatus of parallel axis typed stereo camera system for 3d-vision of near objects |
| US11902492B2 (en) | 2018-08-01 | 2024-02-13 | Korea Atomic Energy Research Institute | Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type |
| CN113645462A (en) * | 2021-08-06 | 2021-11-12 | 深圳臻像科技有限公司 | Conversion method and device of 3D light field |
| CN113645462B (en) * | 2021-08-06 | 2024-01-16 | 深圳臻像科技有限公司 | Conversion method and device for 3D light field |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8116557B2 (en) | 3D image processing apparatus and method | |
| EP1704730B1 (en) | Method and apparatus for generating a stereoscopic image | |
| JP4995092B2 (en) | Stereo camera image distortion correction apparatus and method | |
| KR101276208B1 (en) | Calibration system for stereo camera and calibration apparatus for calibrating strero image | |
| US8817073B2 (en) | System and method of processing 3D stereoscopic image | |
| US20080199070A1 (en) | Three-dimensional image display apparatus and method for enhancing stereoscopic effect of image | |
| KR20110124473A (en) | 3-dimensional image generation apparatus and method for multi-view image | |
| US20110149031A1 (en) | Stereoscopic image, multi-view image, and depth image acquisition apparatus and control method thereof | |
| CN102905145B (en) | Stereoscopic image system, image generation method, image adjustment device and method thereof | |
| JP4928476B2 (en) | Stereoscopic image generating apparatus, method thereof and program thereof | |
| KR100897542B1 (en) | Method and Device for Rectifying Image in Synthesizing Arbitary View Image | |
| KR20120030005A (en) | Image processing device and method, and stereoscopic image display device | |
| CN104093013A (en) | Method for automatically regulating image parallax in stereoscopic vision three-dimensional visualization system | |
| JP2005142957A (en) | Imaging apparatus and method, and imaging system | |
| KR101634225B1 (en) | Device and Method for Multi-view image Calibration | |
| TWI589150B (en) | Three-dimensional auto-focusing method and the system thereof | |
| KR20170025214A (en) | Method for Multi-view Depth Map Generation | |
| Knorr et al. | An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion | |
| KR102113285B1 (en) | Image processing method and apparatus of parallel axis typed stereo camera system for 3d-vision of near objects | |
| JP2019029721A (en) | Image processing apparatus, image processing method, and program | |
| JP3054312B2 (en) | Image processing apparatus and method | |
| KR20170074164A (en) | multi-focus contents generation simulation apparatus using 3D engine development and method therefor | |
| US20140293027A1 (en) | 3D Stereoscopic Image Generating Method, 3D Stereoscopic Image Generating System and Non-Transitory Computer-Readable Medium that Stores 3D Stereoscopic Image Generating Program | |
| Atanassov et al. | 3D image processing architecture for camera phones | |
| JP2019185283A (en) | Three-dimensional model generation apparatus and program thereof, and IP stereoscopic image display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190603 Year of fee payment: 4 |