KR101082046B1 - Method and apparatus for converting 2D images to 3D images - Google Patents
Method and apparatus for converting 2D images to 3D images Download PDFInfo
- Publication number
- KR101082046B1 KR101082046B1 KR1020090104558A KR20090104558A KR101082046B1 KR 101082046 B1 KR101082046 B1 KR 101082046B1 KR 1020090104558 A KR1020090104558 A KR 1020090104558A KR 20090104558 A KR20090104558 A KR 20090104558A KR 101082046 B1 KR101082046 B1 KR 101082046B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- depth map
- edge
- generating
- monocular
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
2차원 단안 영상으로부터 영상처리를 통한 3차원 입체 영상의 변환방법에 관한 것이다. 상기 방법은 2차원 단안 영상의 픽셀당 농도값에 따른 히스토그램을 생성하는 단계, 상기 히스토그램의 방향성에 따라 카메라로부터 원거리 지점을 포커스 아웃시키는 상대 깊이지도를 생성하는 단계, 상기 2차원 단안 영상으로부터 에지를 추출하는 에지 영상을 생성하는 단계, 상기 에지 영상으로부터 상기 2차원 단안 영상의 객체들 사이에 존재하는 경계에서 시차를 발생시켜 객체들 사이에 다른 깊이감을 느끼게 하는 수직 깊이지도를 생성하는 단계, 및 상기 상대 깊이지도 및 상기 수직 깊이지도를 합성한 후, 상기 2차원 단안 영상을 합성하여 3차원 입체 영상을 생성하는 단계를 포함한다. 2차원 소스 영상에서의 히스토그램 방향성과 영상 내에서 수직 경계정보에 기반하여 영상마다 다른 깊이감을 제시하기 때문에 효과적인 3차원 입체 영상 변환을 수행할 수 있다.The present invention relates to a method for converting a 3D stereoscopic image through image processing from a 2D monocular image. The method may include generating a histogram according to the density value per pixel of the 2D monocular image, generating a relative depth map focusing out a far point from the camera according to the direction of the histogram, and extracting an edge from the 2D monocular image. Generating an edge image to be extracted, generating a vertical depth map that generates a parallax at a boundary existing between the objects of the 2D monocular image from the edge image to feel different depths between the objects, and And after synthesizing the relative depth map and the vertical depth map, synthesizing the 2D monocular image to generate a 3D stereoscopic image. Since the depth of each image is presented based on the histogram directionality of the two-dimensional source image and the vertical boundary information in the image, an effective three-dimensional stereoscopic image conversion can be performed.
2차원 단안 영상, 영상처리, 입체 영상, 에지 2D monocular image, image processing, stereoscopic image, edge
Description
본 발명은 영상 처리에 관한 것으로, 특히 2차원 영상의 3차원 영상으로의 변환방법에 관한 것이다.The present invention relates to image processing, and more particularly, to a method of converting a two-dimensional image into a three-dimensional image.
물체를 볼 때 인간의 두 눈은 일정 거리가 떨어져 있기 때문에 좌안과 우안에 다른 영상이 맺히게 된다. 이것을 양안시차라 하는데 뇌에서는 이 두 영상을 종합적으로 판단하여 하나의 영상으로 인지하게 되고 3차원 영상으로 입체감을 느끼게 된다. When looking at an object, the human eyes are separated by a certain distance, so different images are formed on the left and right eyes. This is called binocular disparity, and the brain judges these two images collectively and recognizes them as one image and feels the three-dimensional effect as a three-dimensional image.
종래의 3차원 영상은 주로 스테레오 영상 입력기기나 이미지 편집도구를 사용하여 획득하였다. 하지만 스테레오 영상 입력기기를 이용한 제작은 비용상의 한계가 있고, 이미지 편집도구에 의한 편집은 많은 시간이 소요된다. 또한 기존의 2차원 기반으로 제작된 방대한 양의 영상 자료를 활용할 수 없다는 문제점도 있다. 기존의 2차원으로 만들어진 다양한 동영상들을 3차원 입체영상으로 변환할 수 있다 면 추가적인 비용없이 다양한 3차원 입체영상을 제작할 수 있을 것이다.The conventional 3D image was mainly obtained by using a stereo image input device or an image editing tool. However, the production using the stereo image input device has a cost limit, and the editing by the image editing tool takes a lot of time. In addition, there is a problem that can not use the vast amount of image data produced on the existing two-dimensional basis. If various existing videos made in 2D can be converted to 3D stereoscopic images, various 3D stereoscopic images can be produced at no additional cost.
2차원 동영상의 3차원 입체 영상 변환기술과 관련된 기존의 방법은 MTD (modified time difference)를 이용한 방법과 영상 깊이 정보를 이용한 방법이 있다. 하지만 이러한 방법들은 움직이는 객체의 속도를 구해야 하고, 카메라나 객체가 수직 움직임을 갖는지, 수평 움직임을 갖는지에 대해 결정하는 과정이 필요하므로 연산의 복잡도가 증가하는 단점이 있다.Conventional methods related to 3D stereoscopic image conversion technology of 2D video include a method using a modified time difference (MTD) and a method using image depth information. However, these methods need to find the speed of the moving object and determine the camera or the object to have a vertical movement or a horizontal movement.
본 발명은 종래의 소실점만을 이용한 상대적 깊이지도를 생성하여 2차원 영상으로부터 3차원 영상으로의 변환방법에서 영상에서 뚜렷한 직선 성분을 얻지 못할 경우 정확성이 떨어지는 문제점을 보완한 2차원 영상을 이용한 3차원 영상으로의 변환방법 및 그 장치를 제공한다. According to the present invention, a three-dimensional image using a two-dimensional image, which solves a problem of inaccuracy in generating a relative depth map using only a vanishing point and failing to obtain a clear linear component in the image in a method of converting from a two-dimensional image to a three-dimensional image, It provides a conversion method and apparatus therefor.
본 발명의 일 실시예에 따른 2차원 단안 영상으로부터 영상처리를 통한 3차원 입체 영상의 변환방법은 2차원 단안 영상의 픽셀당 명도값에 따른 히스토그램을 생성하는 단계, 상기 히스토그램의 방향성에 따라 카메라로부터 원거리 지점을 포커스 아웃시키는 상대 깊이지도를 생성하는 단계, 상기 2차원 단안 영상으로부터 에지를 추출하는 에지 영상을 생성하는 단계, 상기 에지 영상으로부터 상기 2차원 단안 영상의 객체들 사이에 존재하는 경계에서 시차를 발생시켜 객체들 사이에 다른 깊이감을 느끼게 하는 수직 깊이지도를 생성하는 단계, 및 상기 상대 깊이지도 및 상기 수직 깊이지도를 합성한 후, 상기 2차원 단안 영상을 합성하여 3차원 입체 영상을 생성하는 단계를 포함한다.In the method for converting a 3D stereoscopic image through image processing from a 2D monocular image according to an embodiment of the present invention, generating a histogram according to brightness values per pixel of the 2D monocular image, from the camera according to the direction of the histogram Generating a relative depth map focusing out a far point, generating an edge image extracting an edge from the 2D monocular image, and disparity at a boundary existing between objects of the 2D monocular image from the edge image Generating a vertical depth map to feel different depths between objects by synthesizing and generating the three-dimensional stereoscopic image by synthesizing the relative depth map and the vertical depth map, and then synthesizing the two-dimensional monocular image; Steps.
삭제delete
2차원 소스 영상에서의 히스토그램 방향성과 영상 내에서 수직 경계정보에 기반하여 영상마다 다른 깊이감을 제시하기 때문에 효과적인 3차원 입체 영상 변환을 수행할 수 있다. 종래의 소실점만을 이용한 상대적 깊이지도를 생성하는 기법에서 영상에서 뚜렷한 직선 성분을 얻지 못할 때에 정확성이 떨어지는 문제점을 보완할 수 있고, 종래 기법에 비해 알고리즘 복잡도는 적은 효과가 있다.Since the depth of each image is presented based on the histogram directionality of the two-dimensional source image and the vertical boundary information in the image, an effective three-dimensional stereoscopic image conversion can be performed. In the conventional technique of generating a relative depth map using only the vanishing point, it is possible to compensate for the problem of inaccurate accuracy when no clear linear component is obtained from the image, and the algorithm complexity is less than that of the conventional technique.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may exist in between. Should be.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals regardless of the reference numerals and redundant description thereof will be omitted.
도 1은 본 실시예에 따른 2차원 동영상을 이용한 3차원 입체 영상 변환방법을 설명하는 순서도이다.1 is a flowchart illustrating a 3D stereoscopic image conversion method using a 2D video according to an exemplary embodiment.
도 1을 참조하면, 먼저, 2차원 소스 영상을 입력한다(S110). 여기서, '2차원 소스 영상'은 2차원 단안 동영상으로써, 이하의 영상처리는 프레임 단위로 수행될 수 있다. Referring to FIG. 1, first, a 2D source image is input (S110). Here, the "two-dimensional source image" is a two-dimensional monocular video, the following image processing may be performed in units of frames.
그런 다음, 2차원 소스 영상에 농도값에 따른 히스토그램으로부터 상대 깊이 지도를 생성한다(S120). 상대 깊이지도는 2차원 소스 영상 농도값의 히스토그램으로부터 판단한 소실점에 따른 상대적 깊이를 표현하는 것인데, 소실점은 2차원 소스 영상의 한 프레임내에서 모든 객체가 가지는 직선들의 연장선이 만나는 지점을 말하며, 영상이 촬영된 카메라의 위치로부터 가장 먼 지점을 나타낸다. 반대로, 2차원 소스 영상의 한 프레임내에서 소실점이 있는 지점과 반대되는 위치에 존재하는 지점은 가장 가까운 거리에 위치하고 있음을 나타낸다. 이러한 소실점을 이용하여 상대적 깊이를 표현할 수 있다. Then, a relative depth map is generated from the histogram according to the density value in the 2D source image (S120). The relative depth map represents the relative depth according to the vanishing point determined from the histogram of the 2D source image density value. The vanishing point is the point where the extension lines of the straight lines of all the objects meet in one frame of the 2D source image. The point farthest from the photographed camera position. On the contrary, a point existing at a position opposite to a vanishing point in a frame of the 2D source image is located at the closest distance. This vanishing point can be used to express relative depth.
도 2는 본 실시예에 따른 상대 깊이지도의 생성방법을 나타내는 순서도이다.2 is a flowchart illustrating a method of generating a relative depth map according to the present embodiment.
도 2를 참조하면, 2차원 소스 영상의 농도값에 따른 히스토그램을 획득한다(S121). 예를 들어, 명도값에 따른 히스토그램을 획득한다. 명도값에 따른 히스토그램은 픽셀의 위치에 따른 명도값으로 표시한 그래프를 말한다. 예를 들어, 1행1열의 픽셀이 100의 명도값을 갖는 경우는 1:1 100으로 표시될 수 있다. 이러한 2차원 소스 영상의 모든 픽셀에 대한 상기 값이 모여 히스토그램이 구성될 수 있다. 여기서, 2차원 소스 영상의 농도값에 따른 히스토그램은 한 프레임 내에서 소실점을 나타낼 수 있다면, 상기와 같이 명도값 외에도 다양한 값이 이용될 수 있다. 한 픽셀 내에서 명도값(Y)은 다음 수학식 1을 이용하여 획득될 수 있다.Referring to FIG. 2, a histogram according to a density value of a 2D source image is obtained (S121). For example, obtain a histogram according to the brightness value. A histogram according to brightness values refers to a graph displayed as brightness values according to pixel positions. For example, when the pixels of one row and one column have a brightness value of 100, they may be displayed as 1: 1 100. The histogram can be constructed by gathering the values for all the pixels of the 2D source image. Here, if the histogram according to the density value of the 2D source image can represent a vanishing point within one frame, various values besides the brightness value may be used as described above. The brightness value Y in one pixel may be obtained using
그런 다음, 농도값에 따른 히스토그램의 가장 큰 방향성에 따라 상대 깊이지 도를 생성한다(S122). 히스토그램으로부터 제1 방향(θ= 0°), 제2 방향(θ= 90°) 및 제3 방향(θ=α)을 판단한다. 본 실시예에서는 3가지 히스토그램 방향성을 이용했지만, 이는 일 예에 불과하며 4가지 또는 9가지 등 다양한 히스토그램 방향성이 이용될 수 있음은 당업자에게 자명할 것이다. 도 3은 본 실시예에 따른 히스토그램 방향성을 나타내는 도면이다. Then, a relative depth map is generated according to the largest direction of the histogram according to the concentration value (S122). The first direction (θ = 0 °), the second direction (θ = 90 °) and the third direction (θ = α) are determined from the histogram. In the present embodiment, three histogram orientations are used, but this is only an example, and it will be apparent to those skilled in the art that various histogram orientations, such as four or nine, may be used. 3 is a diagram illustrating histogram directivity according to the present embodiment.
구체적으로는, 히스토그램의 제1 방향(θ= 0°), 제2 방향(θ= 90°) 및 제3 방향(θ=α)에 따라 소실점의 위치를 추정하고 제1 방향(θ= 0°), 제2 방향(θ= 90°) 및 제3 방향(θ=α)에 따른 상대 깊이지도를 생성한다. 즉, 2차원 소스 영상의 한 프레임에서 픽셀들이 가장 많이 갖는 방향을 결정하고 각각의 소실점이 위치하는 지점을 포커스 아웃시켜 상대 깊이지도를 생성한다. Specifically, the position of the vanishing point is estimated along the first direction (θ = 0 °), the second direction (θ = 90 °), and the third direction (θ = α) of the histogram, and the first direction (θ = 0 °). ), A relative depth map along the second direction (θ = 90 °) and the third direction (θ = α). In other words, the relative depth map is generated by determining the direction in which the pixels are the most in one frame of the 2D source image and focusing out the point where each vanishing point is located.
도 4는 본 실시예에 따른 상대 깊이지도를 나타내는 도면이다.4 is a diagram illustrating a relative depth map according to the present embodiment.
도 4를 참조하면, 소실점이 오른쪽에 위치하는 경우(a), 소실점이 아래쪽에위치하는 경우(b) 및 소실점이 왼쪽에 위치하는 경우(c)를 보여주며, 각각의 소실점이 위치하는 지점을 포커스 아웃시키는 상대적 깊이지도를 표현할 수 있다. Referring to FIG. 4, the vanishing point is located at the right (a), the vanishing point is located at the bottom (b), and the vanishing point is located at the left (c). The relative depth map to focus out can be represented.
다시 도 1을 참조하면, 2차원 소스 영상으로부터 에지를 추출하여 에지영상을 생성한다(S130). 이하에서 설명될 S130 및 S140은 S120와 동시에 수행될 수 있다. 구체적으로는 소벨 마스크 또는 캐니 마스크 등과 같은 에지 추출 마스크를 이용하여 2차원 소스 영상으로부터 에지영상을 생성할 수 있다. 에지 추출 마스크를 이용하기 전에 가우시안(Gaussian) 마스크를 이용하여 소스 영상으로부터 잡음을 제거할 수도 있다. 예를 들어, 소벨 마스크를 이용하는 경우는 미리 설정된 값으로 임계치(Threshold)를 설정하여 2차원 소스 영상으로부터 에지영상을 생성할 수 있으며, 캐니 마스크를 이용하는 경우는 소정의 낮은 임계치(Low Threshold) 및 높은 임계치를 설정하여 에지영상을 생성할 수 있다.Referring again to FIG. 1, an edge image is generated by extracting an edge from a 2D source image (S130). S130 and S140 to be described below may be performed simultaneously with S120. Specifically, an edge image may be generated from a 2D source image by using an edge extraction mask such as a Sobel mask or a Canny mask. Before using the edge extraction mask, a Gaussian mask may be used to remove noise from the source image. For example, when using a Sobel mask, an edge image can be generated from a two-dimensional source image by setting a threshold to a preset value, and when using a canny mask, a predetermined low threshold and a high threshold are used. An edge image may be generated by setting a threshold.
도 5는 본 실시예에 따라 생성된 에지영상을 보여주는 도면이다. 도 5를 참조하면, 에지영상(b)은 2차원 소스 영상의 한 프레임(a)을 소벨 마스크를 이용하여 으로 변환한 것이다.5 is a view showing an edge image generated according to the present embodiment. Referring to FIG. 5, an edge image b is a frame a of a 2D source image converted into using a Sobel mask.
다음으로, 에지 영상으로부터 수직 깊이지도를 생성한다(S140). 여기서, '수직 깊이지도'는 2차원 소스 영상의 한 프레임내 객체들 사이에 존재하는 경계에서 시차가 발생되도록 하여 서로 다른 객체 사이에서 다른 깊이감을 느낄 수 있게 하는 지도를 말한다. Next, a vertical depth map is generated from the edge image (S140). Here, the "vertical depth map" refers to a map that allows parallax to be generated at boundaries existing between objects in a frame of a 2D source image so that different depths can be felt between different objects.
도 6은 본 실시예에 따른 수직 깊이지도의 생성방법을 나타내는 순서도이다.6 is a flowchart illustrating a method of generating a vertical depth map according to the present embodiment.
도 6을 참조하면, 에지영상을 소정의 블록으로 분할한다(S310). 다음으로, 대상 블록과 주변 참조 블록들의 에지 성분의 통계적 값을 계산한다(S320). 여기서, 통계적 값은 평균값, 중간값 및 중앙값 등일 수 있다.Referring to FIG. 6, the edge image is divided into predetermined blocks (S310). Next, statistical values of edge components of the target block and the neighboring reference blocks are calculated (S320). Here, the statistical value may be an average value, a median value and a median value.
그런 다음, 대상 블록과 주변 참조 블록들의 계산된 값의 차가 소정의 임계값 보다 큰지 판단한다(S330). 소정의 임계값 보다 크다면 대상 블록과 주변 참조 블록들의 수직 시차를 증가시킨다(S340). 예를 들어, 대상 블록과 주변 참조 블록들의 명도값의 차를 증가시킨다. 구체적으로는, 대상 블록의 명도값을 증가시키거나 주변 참조 블록들의 명도값을 낮출 수 있다. 여기서, 주변 참조 블록은 예를 들어, 대상 블록의 좌측, 우측, 상, 하방향에 위치한 블록일 수 있으며, 한 프레임 내의 모서리 또는 좌측, 우측, 상 및 하방향의 말단에 위치하는 블록은 이웃하고 있는 블록일 수 있다. 상기 S320 내지 S340를 분할된 모든 블록에 대해 수행하여 수직 깊이지도를 생성할 수 있다(S350). Then, it is determined whether the difference between the calculated value of the target block and the neighboring reference blocks is greater than a predetermined threshold (S330). If greater than the predetermined threshold value, the vertical parallax between the target block and the neighboring reference blocks is increased (S340). For example, the difference between the brightness values of the target block and the neighboring reference blocks is increased. Specifically, the brightness value of the target block may be increased or the brightness value of the neighboring reference blocks may be decreased. Here, the peripheral reference block may be, for example, a block located on the left, right, up, or down direction of the target block, and blocks located at edges or ends of left, right, up, and down directions within one frame are adjacent to each other. May be a block. The vertical depth map may be generated by performing the operations S320 to S340 on all divided blocks (S350).
다시 도 1을 참조하면, 획득된 상대 깊이지도와 수직 깊이지도를 영상 합성하여 최종 깊이지도를 생성한다(S150). 예를 들어, 상대 깊이지도 및 수직 깊이지도를 각각 1/2의 해상도가 되는 영상으로 축소한 다음, 상대 깊이지도 및 수직 깊이지도의 축소 영상을 가로 방향으로 소정의 수로 분할하여 교대로 결합하거나, 세로 방향으로 소정의 수로 분할하여 교대로 결합하여 합성할 수 있다. 또한, 상대 깊이지도 및 수직 깊이지도의 합성은 소정의 비율로 합성할 수도 있다.Referring back to FIG. 1, a final depth map is generated by image synthesis of the obtained relative depth map and the vertical depth map (S150). For example, the relative depth map and the vertical depth map are each reduced to an image having a resolution of 1/2, and then the reduced images of the relative depth map and the vertical depth map are divided into a predetermined number in the horizontal direction and alternately combined, It can be synthesized by alternately combining a predetermined number in the longitudinal direction. In addition, the synthesis of the relative depth map and the vertical depth map may be synthesized at a predetermined ratio.
그런 다음, 생성된 최종 깊이지도와 2차원 소스 영상의 한 프레임을 합성하여 3차원 입체 영상의 한 프레임을 생성한다(S160). 2차원 동영상에서 도 1의 S110 내지 S160을 각 프레임에 대해 반복한 프레임을 합성하면 3차원 동영상이 생성될 수 있다.Then, one frame of the 3D stereoscopic image is generated by synthesizing the generated final depth map and one frame of the 2D source image (S160). In the 2D video, when the frames obtained by repeating S110 to S160 of FIG. 1 for each frame are synthesized, the 3D video may be generated.
도 7은 본 실시예에 따른 2차원 동영상을 이용한 3차원 입체 영상 변환장치를 나타내는 블록도이다.7 is a block diagram illustrating an apparatus for converting 3D stereoscopic images using 2D video according to an exemplary embodiment.
도 7을 참조하면, 3차원 입체 영상 변환장치는 상대 깊이지도 생성부(210), 에지영상 생성부(220), 수직 깊이지도 생성부(230), 최종 깊이지도 생성부(240), 입체 영상 생성부(250)를 포함한다.Referring to FIG. 7, the 3D stereoscopic image converting apparatus includes a relative
상대 깊이지도 생성부(210)는 2차원 소스 영상을 입력받아 소실점의 위치를 추정하고 소실점이 위치하는 지점을 포커스 아웃시켜 상대 깊이지도를 생성한다. 구체적으로는, 2차원 소스 영상을 입력받아 이로부터 농도값에 따른 히스토그램을 획득한 후, 히스토그램의 제1 방향(θ= 0°), 제2 방향(θ= 90°) 및 제3 방향(θ=α)에 따라 소실점의 위치를 추정하고 소실점이 위치하는 지점을 포커스 아웃시켜 상대 깊이지도를 생성한다. The relative
에지영상 생성부(220)는 2차원 소스 영상을 입력받아 에지를 추출하여 에지영상을 생성한다. 수직 깊이지도 생성부(230)는 에지영상을 입력 받아 소정의 블록으로 나누어 차례로 스캔하여 대상 블록과 주변 참조 블록들의 에지 성분의 통계적 값을 계산하고, 계산된 값의 차가 소정의 임계값 보다 크면 대상 블록과 주변 참조 블록들의 수직 시차를 증가시켜서 수직 깊이지도를 생성한다. 여기서, 주변 참조 블록은 예를 들어, 대상 블록의 좌측, 우측, 상, 하방향에 위치한 블록일 수 있으며, 한 프레임 내의 모서리 또는 좌측, 우측, 상 및 하방향의 말단에 위치하는 블록은 이웃하고 있는 블록일 수 있다.The
최종 깊이지도 생성부(240)는 상대 깊이지도와 수직 깊이지도를 입력받아 두 영상을 합성하여 최종 깊이지도를 생성한다. 입체 영상 생성부(250)는 최초 입력된 2차원 소스 영상의 한 프레임 및 생성된 최종 깊이지도를 입력받아 이를 합성하여 3차원 입체 영상의 한 프레임을 생성한다.The final
도 8은 본 실시예에 따라 생성된 3차원 입체 영상의 한 프레임을 보여주는 도면이다. 도 8을 참조하면, 2차원 소스 영상의 한 프레임(a), S130에 따른 에지 영상 이미지(b), S150에 따른 최종 깊이지도(c) 및 3차원 입체 영상의 한 프레임(d)을 보여준다. 2차원 소스 영상에서의 농도값에 따른 히스토그램 방향성과 영 상 내에서 수직 경계정보에 기반하여 영상마다 다른 깊이감을 제시하기 때문에 효과적인 3차원 입체 영상 변환을 수행할 수 있다.8 is a diagram illustrating one frame of a 3D stereoscopic image generated according to the present embodiment. Referring to FIG. 8, one frame (a) of a 2D source image, an edge image image (b) according to S130, a final depth map (c) according to S150, and one frame (d) of a 3D stereoscopic image are shown. Since the depth of each image is presented based on the histogram direction according to the density value in the 2D source image and the vertical boundary information in the image, an effective 3D stereoscopic image conversion can be performed.
도 7에서 상술한 ~부(210,220,230,240,250)들을 각각 분리된 ~부로 구현한 일 예이나, 상술한 ~부 중 어느 일부는 여러 ~부로 분리하여 구현할 수도 있고, 하나의 ~부로 통합하여 구현할 수도 있다. In FIG. 7, the above-described
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.The term '~ part' used in the present embodiment refers to software or a hardware component such as a field-programmable gate array (FPGA) or an ASIC, and '~ part' performs certain roles. However, '~' is not meant to be limited to software or hardware. &Quot; to " may be configured to reside on an addressable storage medium and may be configured to play one or more processors. Thus, as an example, '~' means components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and the like. Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functionality provided within the components and the 'parts' may be combined into a smaller number of components and the 'parts' or further separated into additional components and the 'parts'. In addition, the components and '~' may be implemented to play one or more CPUs in the device or secure multimedia card.
상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.All of the above functions may be performed by a processor such as a microprocessor, a controller, a microcontroller, an application specific integrated circuit (ASIC), or the like according to software or program code coded to perform the function. The design, development and implementation of the code will be apparent to those skilled in the art based on the description of the present invention.
이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시예들을 포함한다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention. You will understand. Therefore, it is not intended that the invention be limited to the above-described embodiments, but the present invention will include all embodiments within the scope of the following claims.
도 1은 본 실시예에 따른 2차원 동영상을 이용한 3차원 입체 영상 변환방법을 설명하는 순서도이다.1 is a flowchart illustrating a 3D stereoscopic image conversion method using a 2D video according to an exemplary embodiment.
도 2는 본 실시예에 따른 상대 깊이지도의 생성방법을 나타내는 순서도이다.2 is a flowchart illustrating a method of generating a relative depth map according to the present embodiment.
도 3은 본 실시예에 따른 히스토그램 방향성을 나타내는 도면이다.3 is a diagram illustrating histogram directivity according to the present embodiment.
도 4는 본 실시예에 따른 상대 깊이지도를 나타내는 도면이다.4 is a diagram illustrating a relative depth map according to the present embodiment.
도 5는 본 실시예에 따라 생성된 에지영상을 보여주는 도면이다.5 is a view showing an edge image generated according to the present embodiment.
도 6은 본 실시예에 따른 수직 깊이지도의 생성방법을 나타내는 순서도이다.6 is a flowchart illustrating a method of generating a vertical depth map according to the present embodiment.
도 7은 본 실시예에 따른 2차원 동영상을 이용한 3차원 입체 영상 변환장치를 나타내는 블록도이다.7 is a block diagram illustrating an apparatus for converting 3D stereoscopic images using 2D video according to an exemplary embodiment.
도 8은 본 실시예에 따라 생성된 3차원 입체 영상의 한 프레임을 보여주는 도면이다.8 is a diagram illustrating one frame of a 3D stereoscopic image generated according to the present embodiment.
<도면 주요 부분에 대한 부호의 설명>DESCRIPTION OF THE REFERENCE SYMBOLS
210: 상대 깊이지도 생성부 220: 에지영상 생성부210: relative depth map generator 220: edge image generator
230: 수직 깊이지도 생성부 240: 최종 깊이지도 생성부230: vertical depth map generator 240: final depth map generator
250: 입체 영상 생성부250: stereoscopic image generation unit
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090104558A KR101082046B1 (en) | 2009-10-30 | 2009-10-30 | Method and apparatus for converting 2D images to 3D images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090104558A KR101082046B1 (en) | 2009-10-30 | 2009-10-30 | Method and apparatus for converting 2D images to 3D images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110047791A KR20110047791A (en) | 2011-05-09 |
| KR101082046B1 true KR101082046B1 (en) | 2011-11-10 |
Family
ID=44239029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090104558A KR101082046B1 (en) | 2009-10-30 | 2009-10-30 | Method and apparatus for converting 2D images to 3D images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101082046B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230064860A (en) | 2021-11-04 | 2023-05-11 | 국민대학교산학협력단 | Light field imaging device and method |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101121625B1 (en) * | 2011-04-28 | 2012-03-09 | 서울대학교산학협력단 | Terminal and method for creating of stereoscopic image data |
| KR20120127992A (en) * | 2011-05-16 | 2012-11-26 | 삼성전자주식회사 | Apparatus and method for converting 2d content into 3d content, and computer-readable storage medium thereof |
| KR20140045349A (en) * | 2011-05-19 | 2014-04-16 | 삼성전자주식회사 | Apparatus and method for providing 3d content |
| KR101231661B1 (en) * | 2011-06-24 | 2013-02-08 | 동서대학교산학협력단 | method for producting 3D stereo image using color segment extration and depth map |
| CN102360489B (en) * | 2011-09-26 | 2013-07-31 | 盛乐信息技术（上海）有限公司 | Method and device for realizing conversion from two-dimensional image to three-dimensional image |
| KR101303883B1 (en) * | 2011-11-07 | 2013-09-04 | (주)포미디어텍 | Depth map generation method for converting 2-dimensional image to stereoscopic image |
| KR101347837B1 (en) * | 2011-11-17 | 2014-01-07 | 조영환 | Method for converting single 2D image into 3D image |
| KR101439966B1 (en) * | 2014-03-06 | 2014-09-12 | (주) 골프존 | Image processing method for image reconstitution using depth information and image processing device using the same |
| KR101976801B1 (en) * | 2019-02-08 | 2019-05-09 | 주식회사 인포인 | System Providing 3D Video Optimization And Compression |
-
2009
- 2009-10-30 KR KR1020090104558A patent/KR101082046B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 한국통신학회논문지 34권 8호(김지홍 외 1인, 에지 방향성 히스토그램을 이용한 2차원 동영상의 3차원 입체변환기법, 2009.08.31) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230064860A (en) | 2021-11-04 | 2023-05-11 | 국민대학교산학협력단 | Light field imaging device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110047791A (en) | 2011-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101082046B1 (en) | Method and apparatus for converting 2D images to 3D images | |
| JP5156837B2 (en) | System and method for depth map extraction using region-based filtering | |
| EP2087466B1 (en) | Generation of depth map for an image | |
| TWI469087B (en) | Method for depth map generation | |
| JP4966431B2 (en) | Image processing device | |
| US9237326B2 (en) | Imaging system and method | |
| CN102972038B (en) | Image processing apparatus, image processing method, program, integrated circuit | |
| CN118212141A (en) | System and method for hybrid depth regularization | |
| JP6412690B2 (en) | Method for obtaining depth information and display device | |
| KR100888081B1 (en) | Apparatus and method for converting 2D image signals into 3D image signals | |
| WO2013038833A1 (en) | Image processing system, image processing method, and image processing program | |
| JP5852093B2 (en) | Video processing apparatus, video processing method, and program | |
| JP5755571B2 (en) | Virtual viewpoint image generation device, virtual viewpoint image generation method, control program, recording medium, and stereoscopic display device | |
| JP5318168B2 (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and program | |
| KR20120082336A (en) | Apparatus and method for multi-view rendering using background pixel expansion and background-first patch matching | |
| JP2010152521A (en) | Apparatus and method for performing stereographic processing to image | |
| WO2011030399A1 (en) | Image processing method and apparatus | |
| JP2013185905A (en) | Information processing apparatus, method, and program | |
| TW201528775A (en) | Depth map aligning method and system | |
| JP2014035597A (en) | Image processing apparatus, computer program, recording medium, and image processing method | |
| JP7159198B2 (en) | Apparatus and method for processing depth maps | |
| JP6429483B2 (en) | Information processing apparatus, imaging apparatus, information processing system, information processing method, and program | |
| CN107610070B (en) | Free stereo matching method based on three-camera collection | |
| KR101435611B1 (en) | Occlusion removal method for three dimensional integral image | |
| JP2014072809A (en) | Image generation apparatus, image generation method, and program for the image generation apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20141007 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20151005 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20161006 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20171011 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20181010 Year of fee payment: 8 |