KR101633634B1 - Method and system for color matching between left and right images acquired from stereoscopic camera in digital cinemas - Google Patents
Method and system for color matching between left and right images acquired from stereoscopic camera in digital cinemas Download PDFInfo
- Publication number
- KR101633634B1 KR101633634B1 KR1020140023678A KR20140023678A KR101633634B1 KR 101633634 B1 KR101633634 B1 KR 101633634B1 KR 1020140023678 A KR1020140023678 A KR 1020140023678A KR 20140023678 A KR20140023678 A KR 20140023678A KR 101633634 B1 KR101633634 B1 KR 101633634B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- color
- scale
- matching
- color matching
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 230000001186 cumulative effect Effects 0.000 claims description 36
- 239000003086 colorant Substances 0.000 claims description 25
- 238000000926 separation method Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 208000003464 asthenopia Diseases 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명은 디지털 시네마 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 장치에 관한 것으로, 스테레오 카메라로 획득한 좌우 영상에서 발생하는 전역 및 지역적인 색 불일치(또는 색차)를 모두 보정하여 좌우 영사의 뎁스 차이를 감소시킴으로써 3D 영상의 화질이 개선되고, 입체적인 시각효과를 증대시킬 뿐만 아니라 시청자의 눈 피로를 감소시켜 보다 쾌적하게 영상을 시청할 수 있는 디지털 시네마 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 장치에 관한 것이다.The present invention relates to a color matching method and apparatus for a left and right image obtained by a digital cinema stereo camera, and a method and apparatus for correcting both global and local color discrepancies (or color differences) A method and apparatus for color matching of left and right images obtained by a digital cinema stereo camera capable of improving image quality of a 3D image by increasing a difference in a stereoscopic image and improving stereoscopic visual effects as well as reducing eye fatigue of a viewer, .
Description
본 발명은 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 장치에 관한 것으로, 좌우 영상에서 발생하는 전역과 지역적인 색 불일치를 모두 보정하는 색 일치 방법을 말한다. 멀티-스케일의 영상 분리를 기반으로 하는 누적 히스토그램과 레티넥스 방법을 결합하여 좌우 영상의 색 일치를 수행함으로서 3D 영상의 입체적인 시각효과를 더욱 증대시키고, 영상을 시청하는 시청자의 눈 피로를 감소시킬 수 있는 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 장치에 관한 것이다.The present invention relates to a color matching method and apparatus for a left and right image obtained by a stereo camera in digital cinema, and refers to a color matching method for correcting both global and local color mismatches occurring in left and right images. By combining the cumulative histogram based on multi-scale image separation and the Retinex method to perform color matching of the left and right images, it is possible to further enhance the stereoscopic visual effect of the 3D image and reduce the eye fatigue of the viewer watching the image The present invention relates to a color matching method and apparatus for a left / right image obtained by a stereo camera in a digital cinema.
최근 3D(3차원) 콘텐츠를 활용한 응용분야가 급속히 확대됨에 따라 사용자들의 3D 영상에 대한 요구도 증가하고 있다. 특히 3D 기술을 이용한 영화는 시청자(또는 사용자)들에게 기존의 2D 기술의 영상보다 더 좋은 시각 효과와 감성을 제공한다. 이는 3D 영상을 통해 시각적 입체감을 제공함으로서 좀 더 실제적인 현장감을 사용자가 느낄 수 있기 때문이다. 그러나 입체 영상을 촬영하는 스테레오 카메라(Stereoscopic Camera)를 통하여 획득한 좌(Left 또는 L)영상 및 우(Right 또는 R)영상에서는 다양한 색차(Color Difference)를 발생할 수 있다. 이러한 색차는 3D 영상의 뎁스(Depth) 즉 깊이 감을 다르게 하여 영상의 입체적인 시각효과를 감소시키거나 시청자의 눈의 피로를 유발하는 문제점이 있다.Recently, 3D (3D) content applications are rapidly expanding, and the demand for 3D images is increasing. In particular, 3D technology movies provide viewers (or users) with better visual effects and emotions than traditional 2D technologies. This is because the user can feel a more realistic sense of presence by providing a visual sense of depth through the 3D image. However, a color difference may occur in a left (L) or right (R) image obtained through a stereoscopic camera that captures a stereoscopic image. Such a color difference has a problem in that the depth of the 3D image is different, thereby reducing the stereoscopic effect of the image or inducing fatigue of the viewer's eyes.
도 1은 종래의 스테레오 영상에서 색을 일치하는 방법을 보인 블록도로서, 3D 영상의 색 일치 방법을 나타낸다. 먼저 도면에 도시된 좌우 영상 중 기준 영상을 선택하여 이를 기준으로 나머지 영상의 색을 일치 시킨다. 이때 기준 영상은 좌영상으로 선택하고, 색이 보정되는 영상은 우영상으로 선택할 수 있으며, 기준 영상과 색이 보정되는 영상을 반대로 선택하여도 상관이 없다. 이후 서로 색 일치된 좌우 영상을 시각으로 전달하여 시청자가 입체적인 3D 영상을 인지할 수 있다. 그러나 3D의 좌우 영상의 색을 일치 하지 않았을 경우 좌우 영상간의 색차가 발생하게 된다.FIG. 1 is a block diagram showing a method of matching colors in a conventional stereo image, and shows a color matching method of a 3D image. First, a reference image is selected from the left and right images shown in the drawing, and the colors of the remaining images are matched based on the reference image. In this case, the reference image may be selected as the left image, the color corrected image may be selected as the right image, and the reference image and the color corrected image may be reversely selected. Then, the left and right images which are color-matched with each other are transmitted with time, so that the viewer can perceive stereoscopic 3D images. However, if the colors of the 3D left and right images are not matched, a color difference occurs between the left and right images.
도 2는 종래의 좌우 영상에서 전역과 지역적인 색 불일치를 보인 예시도이다. 좌우 영상간의 색차는 일반적으로 전역(Global Color Difference) 및 지역적(Local Color Difference)으로 동시에 발생하게 된다. 여기서 전역적 색차는 주로 카메라의 응답특성의 차이에 의해 영상 전반에 걸쳐 발생하고, 지역적 색차는 장면내의 물체들의 서로 다른 반사 특성 및 광원과 같은 주변 환경에 의해 지역적으로 발생하게 된다.FIG. 2 is a diagram showing global and regional color mismatches in the conventional left and right images. The color difference between the left and right images generally occurs simultaneously with global color difference and local color difference. Here, the global chrominance occurs mainly over the entire image due to the difference of the response characteristics of the camera, and the regional chrominance is locally generated by the different reflection characteristics of the objects in the scene and the surrounding environment such as a light source.
이러한 문제점을 해결하기 위한 선행기술문헌으로서 한국공개특허 제2013-0073060호(2013.07.03)에는 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체가 제안되어 있다. 상기 선행기술문헌의 입체 영상 화질 향상 장치는 제1영상에 관한 3차원 색 공간에서의 복수의 제1 좌표 및 상기 복수의 제1 좌표와 각각 대응되는 제2 영상에 관한 3차원 색 공간에서의 제2 좌표 사이의 색상 관계를 추출하는 색상 관계 추출부; 상기 복수의 제1 좌표 중 어느 하나의 제1 좌표에 관한 색상 관계를 상기 어느 하나의 제1 좌표로부터 소정의 거리 내에 존재하는 적어도 하나의 제1 좌표에 관한 색상 관계에 기초하여 보정하는 색상 관계 보정부; 및 상기 보정된 어느 하나의 제1 좌표에 관한 색상 관계를 이용하여 상기 제1 영상의 색상 값을 변환하는 색상 값 변환부를 포함한다. 본 발명에 따르면, 입체 영상을 구성하는 좌영상과 우영상의 색 불균형이 정확하게 보정되어 입체 영상의 화질을 향상시킬 수 있으며, 입체 영상 시청자의 피로도를 감소시킬 수 있는 것을 특징으로 한다.Korean Patent Laid-Open Publication No. 2013-0073060 (2013.07.03) as a prior art document for solving such a problem has proposed a stereoscopic image quality enhancement apparatus and method and a recording medium therefor. The stereoscopic image quality enhancement device of the prior art document includes a plurality of first coordinates in a three-dimensional color space for a first image and a plurality of first coordinates in a three-dimensional color space for a second image corresponding to the plurality of first coordinates, A color relation extracting unit for extracting a color relation between two coordinates; And a color relation information generating unit that corrects a color relation of any one of the plurality of first coordinates based on a color relation relating to at least one first coordinate existing within a predetermined distance from any one of the first coordinates, government; And a color value converting unit for converting a color value of the first image using the color relation relating to any one of the corrected first coordinates. According to the present invention, the color imbalance between a left image and a right image constituting a stereoscopic image can be accurately corrected, thereby improving the image quality of the stereoscopic image and reducing the fatigue of the stereoscopic image viewer.
그러나 상기 선행기술문헌은 좌우 영상에서 발생하는 전역과 지역적인 색 불일치를 모두 보정하는 색 일치 방법이 제시되지 않았으며, 특히 멀티-스케일의 영상 분리를 기반으로 하는 누적 히스토그램과 레티넥스 방법을 결합하여 좌우 영상의 색 일치를 수행하기 않기 때문에 보다 정확하게 영상의 색 일치를 수행할 수 없는 문제점이 있다.However, the prior art document does not disclose a color matching method that corrects both global and local color discrepancies in left and right images. In particular, a combination of a histogram based on multi-scale image separation and a Retinex method There is a problem that color matching of the image can not be performed more accurately because the color matching of the left and right images is not performed.
따라서 3D 영상의 좌우 영상에서 발생하는 전역과 지역적인 색 불일치를 모두 보정하는 색 일치 방법이 필요하다.Therefore, a color matching method that corrects both global and local color discrepancies in the left and right images of the 3D image is needed.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 스테레오 카메라에서 획득한 좌우 영상의 색차를 모두 보정하여 3D 영상의 입체적인 시각효과를 증대시키고, 시청자의 눈 피로를 감소시키는 것을 목적으로 한다.The present invention has been made to solve the above problems, and it is an object of the present invention to improve stereoscopic visual effects of a 3D image by correcting all chrominance of left and right images obtained from a stereo camera and to reduce eye fatigue of viewers.
또한 본 발명의 또 다른 목적은 좌우 영상의 색차를 모두 보정하기 위해서 좌우 영상에서 발생하는 전역과 지역적인 색 불일치를 모두 보정하여 색을 일치하는 방법(Simultaneous L/R color matching)을 제공 하는 것을 목적으로 한다.It is still another object of the present invention to provide a method for simultaneously matching both global and local color mismatches occurring in right and left images to correct both chrominance of left and right images (Simultaneous L / R color matching) .
더욱 구체적으로 본 발명의 또 다른 목적은 멀티-스케일(Multi-Scale)의 영상 분리(Image Decomposition)를 기반으로 하는 누적 히스토그램(Cumulative Histogram)과 레티넥스 방법(Retinex Method)을 결합하여 좌우 영상의 색을 일치하는 것을 목적으로 한다.More specifically, another object of the present invention is to combine a cumulative histogram and a Retinex method based on a multi-scale image decomposition, .
더욱 구체적으로 본 발명의 또 다른 목적은 좌우 영상을 라플라시안 피라미드(Laplacian Pyramid)를 이용하여 색을 일치 시키는 것을 목적으로 한다.More specifically, another object of the present invention is to match left and right images using a Laplacian pyramid.
더욱 구체적으로 본 발명의 또 다른 목적은 좌우 영상간의 거리 이동량 차이(Geometric Displacement)가 큰 경우 영상을 분리하기 전에 좌우 영상간의 영상 등록(Image Registration)을 수행하는 것을 목적으로 한다.More specifically, another object of the present invention is to perform image registration between right and left images before separating the images when the difference in the distance between the left and right images is large (Geometric Displacement).
본 발명에 의한 일 실시예에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법은, 스테레오 카메라로 촬영한 좌영상 및 우영상을 입력받는 단계; 상기 입력받은 좌영상 및 우영상을 영상 분리 방법을 이용하여 각 영상의 성분으로 분리하는 단계; 상기 분리한 영상 성분에서 기준 영상의 성분을 기준으로 나머지 영상의 색을 일치하는 단계; 및 상기 색 일치된 영상과 기준 영상을 합성 하는 단계;를 포함하며, 상기 색 일치의 기준 영상을 선택하고 이를 기준으로 나머지 영상의 색을 일치시켜 도출하고, 상기 좌우 영상에서 발생하는 전역(Global Color)과 지역적인 색(Local Color) 불일치를 모두 보정하여 영상을 도출하는 것을 특징으로 한다.In accordance with an embodiment of the present invention, there is provided a color matching method of left and right images obtained by a stereo camera in a digital cinema, comprising: receiving a left image and a right image captured by a stereo camera; Separating the input left and right images into components of each image using an image separation method; Matching the colors of the remaining images based on the components of the reference image in the separated image components; And combining the color-matched image and the reference image, wherein the reference image of the color matching is selected, and the colors of the remaining images are matched based on the selected reference image, and the global color ) And local color mismatch are all corrected to derive an image.
또한 본 발명의 일 실시예에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법에서, 상기 각 영상 성분으로 분리하는 단계는, 좌영상 및 우영상을 가우시안 필터(Gaussian Filer)를 사용하여 블러링(Blurring)하여 좌우영상의 원영상과 블러링된 영상과의 차를 구하여 가장 큰 스케일의 에지(Edge) 영상을 도출하고, 그 다음 작은 스케일의 에지 성분을 구하기 위해 영상의 사이즈를 1/2로 서브샘플링(Subsampling)하여 동일한 작업을 반복하여 최종적으로 좌우영상을 각 스케일에 따른 영상의 성분으로 분리하는 라플라시안 피라미드(Laplacian Pyramid) 방법을 이용하는 것을 특징으로 한다.In the color matching method of the left and right images obtained by the stereo camera in the digital cinema according to the embodiment of the present invention, the separating into the respective image components may be performed by using a Gaussian filter In order to obtain the edge image of the largest scale by obtaining the difference between the original image of the left and right images and the blurred image by blurring, 2, the same operation is repeated, and finally, the Laplacian pyramid method for separating the left and right images into the components of the image according to each scale is used.
또한 본 발명의 일 실시예에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법에서, 상기 색을 일치하는 단계는, 좌영상의 First scale 영상을 기준으로 누적 히스토그램 매칭(Cumulative Histogram Matching) 또는 레티넥스 알고리즘(Retinex Algorithm)을 이용하여 우영상의 First scale 영상의 색 불일치를 보정하고, First scale 영상의 좌우영상을 모두 업-스케일링(Up-scaling)하여 영상의 크기를 2배로 증가시키고, 크기가 증가된 영상과 Second scale의 가장자리 성분을 합하여 Second scale 영상을 생성하며, 생성된 Second scale 영상에도 누적 히스토그램 매칭(Cumulative Histogram Matching) 또는 레티넥스 알고리즘(Retinex Algorithm)이용하여 우영상의 색 불일치를 보정하고 스케일을 증가시키는 과정을 반복적으로 적용하는 라플라시안 피라미드 방법을 이용하는 것을 특징으로 한다.Also, in the color matching method of the left and right images obtained by the stereo camera in the digital cinema according to the embodiment of the present invention, the matching of the colors may be performed by cumulative histogram matching based on the first scale image of the left image, Or the Retinex algorithm, corrects the color mismatch of the first scale image of the right image, up-scales both the left and right images of the first scale image to increase the size of the image twice, The second scale image is generated by adding the enlarged image and the edge component of the second scale and the color mismatch of the right image is obtained by using Cumulative Histogram Matching or Retinex Algorithm for the generated Second scale image Using the Laplacian pyramid method that iteratively applies the process of calibrating and increasing the scale It characterized.
또한 본 발명의 일 실시예에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법에서, 상기 색을 일치하는 단계는, 라플라시안 피라미드에서 스케일의 개수는 영상이나 색 일치 정도에 따라서 스케일의 수를 가변하고, 누적 히스토그램 매칭(Cumulative Histogram Matching) 또는 레티넥스 알고리즘(Retinex Algorithm)을 이용한 색 일치는 First scale 영상에만 적용하거나 모든 스케일 영상에 적용하는 것을 특징으로 한다.In the color matching method of the left and right images obtained by the stereo camera in the digital cinema according to the embodiment of the present invention, the number of scales in the Laplacian pyramid may be the number of scales And color matching using Cumulative Histogram Matching or Retinex Algorithm is applied to only the first scale image or to all the scale images.
또한 본 발명의 일 실시예에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법에서, 상기 색을 일치하는 단계는, First scale에서 누적 히스토그램 매칭(Cumulative Histogram Matching) 또는 레티넥스 알고리즘(Retinex Algorithm)을 이용하여 좌우 영상의 색을 일치하는데, 누적 히스토그램 매칭(Cumulative Histogram Matching)을 이용하여 우영상의 전역적인 색 불일치를 보정하고, 좌우 영상에 레티넥스를 이용하여 영상의 광원(Illuminant) 성분과 물체색(Reflectance) 성분을 분리하여 좌우 영상의 지역적인 광원을 일치시켜 지역적인 색 불일치를 보정하는 것을 특징으로 한다.Also, in the color matching method of the left and right images obtained by the stereo camera in the digital cinema according to the embodiment of the present invention, the step of matching the colors may include Cumulative Histogram Matching on the First Scale or Retinex Alignment is used to correct the color mismatch between the right and left images. Cumulative histogram matching is used to correct global discrepancies in the right image, and the right and left images are corrected with Illuminant component And a reflectance component are separated from each other, and local light sources of the left and right images are matched to correct local color discrepancies.
또한 본 발명의 일 실시예에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법에서, 상기 색을 일치하는 단계는, 전역적인 색차를 보정하기 위해서 각 채널의 히스토그램을 계산하고 누적 히스토그램을 도출하여 수정하고자 하는 영상의 모든 화소를 매핑 함수 MK를 적용하여 전역적인 색차가 보정된 영상 fK,global을 도출하는 것을 특징으로 한다.In the color matching method of the left and right images obtained by the stereo camera in the digital cinema according to the embodiment of the present invention, the step of matching the colors may include calculating the histogram of each channel to correct the global color difference, A global color difference-compensated image f K, global is derived by applying a mapping function M K to all the pixels of the image to be corrected.
또한 본 발명의 일 실시예에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법에서, 상기 색을 일치하는 단계는, 멀티-스케일 레티넥스 알고리즘을 이용하여 좌우 영상의 광원 성분과 물체색 성분을 추정하고, 입력 영상 I(x,y)는 광원 성분의 영상 L(x,y)과 물체색 성분 O(x,y)의 곱으로 표현하는 것을 특징으로 한다.In the color matching method of the left and right images obtained by the stereo camera in the digital cinema according to the embodiment of the present invention, the step of matching the colors may be performed by using a multi-scale retinex algorithm, And the input image I (x, y) is expressed as a product of the image L (x, y) of the light source component and the object color component O (x, y).
또한 본 발명의 일 실시예에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법에서, 상기 색을 일치하는 단계는, 멀티-스케일 레티넥스 알고리즘에서 각 스케일의 광원의 가중치를 합하여 광원의 성분을 추정하고, 추정된 광원 성분을 원본 영상에 나누어 줌으로써 물체색의 성분을 추정하는 것을 특징으로 한다.In the color matching method of the left and right images obtained by the stereo camera in the digital cinema according to an embodiment of the present invention, the step of matching the colors may be performed by combining the weights of the light sources of the respective scales in the multi-scale Retinex algorithm, And estimates a component of the object color by dividing the estimated light source component into an original image.
아울러 본 발명의 또 다른 일 실시예에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 장치는, 스테레오 카메라로 촬영한 좌영상 및 우영상을 입력받는 영상 입력부; 상기 입력받은 좌영상 및 우영상을 영상 분리 방법을 이용하여 각 영상의 성분으로 분리하는 영상 분리부; 상기 분리한 영상 성분에서 기준 영상의 성분을 기준으로 나머지 영상의 색을 일치하는 색 일치부; 및 상기 색 일치된 영상과 기준 영상을 합성 하는 영상 합성부;를 포함하며, 상기 색 일치의 기준 영상을 선택하고 이를 기준으로 나머지 영상의 색을 일치시켜 도출하고, 상기 좌우 영상에서 발생하는 전역(Global Color)과 지역적인 색(Local Color) 불일치를 모두 보정하여 영상을 도출하는 것을 특징으로 한다.According to another embodiment of the present invention, there is provided a color matching apparatus for a left and right image obtained by a stereo camera in a digital cinema, including: a video input unit receiving a left video and a right video captured by a stereo camera; An image separator for separating the input left and right images into components of each image using an image separation method; A color matching unit for matching the colors of the remaining images based on the components of the reference image in the separated image components; And an image synthesizer for synthesizing the color-matched image and the reference image, wherein the reference image of the color matching is selected and the colors of the remaining images are matched based on the selected reference image, The global color) and the local color (mismatch) are all corrected.
본 발명은 스테레오 카메라로 획득한 좌우 영상에서 발생하는 전역 및 지역적인 색 불일치(또는 색차)를 모두 보정하여 좌우 영사의 뎁스 차이를 감소시킴으로써 3D 영상의 화질이 개선되고, 입체적인 시각효과를 증대시킬 뿐만 아니라 시청자의 눈 피로를 감소시켜 보다 쾌적하게 영상을 시청할 수 있는 효과가 있다.The present invention improves the image quality of a 3D image by correcting both the global and regional color discrepancies (or color differences) generated in the left and right images acquired by the stereo camera, thereby reducing the depth difference between the left and right projections, But also reduces the eye fatigue of the viewer, thereby making it possible to view the image more comfortably.
도 1은 종래의 스테레오 영상에서 색을 일치하는 방법을 보인 블록도.
도 2는 종래의 좌우 영상에서 전역과 지역적인 색 불일치를 보인 예시도.
도 3은 본 발명의 일 실시예에 따른 좌우 영상의 색 일치 장치를 보인 블록도.
도 4는 본 발명의 일 실시예에 따른 좌우 영상의 색 일치 방법을 보인 흐름도.
도 5는 본 발명의 일 실시예에 따른 라플라시안 피라미드를 이용한 영상 분리 방법을 보인 예시도.
도 6은 본 발명의 일 실시예에 따른 멀티-스케일의 영상 분리를 기반으로 하는 누적 히스토그램과 레티넥스 방법을 결합하여 좌우 영상의 색 일치 방법을 보인 예시도.
도 7은 본 발명의 일 실시예에 따른 Frist Scale에서 누적 히스토그램과 레티넥스 방법을 이용한 좌우 영상의 색 일치 방법을 보인 예시도.
도 8은 본 발명의 일 실시예에 따른 레티넥스 알고리즘 기반의 광원 성분과 물체색 성분을 보인 예시도.
도 9는 본 발명의 일 실시예에 따른 멀티-스케일의 레티넥스 알고리즘을 이용한 영상의 광원 추정을 보인 예시도.
도 10은 본 발명의 일 실시예에 따른 좌우 영상간의 색 일치를 보인 예시도.1 is a block diagram showing a method of matching colors in a conventional stereo image.
FIG. 2 is a diagram showing global and regional color mismatches in conventional left and right images. FIG.
3 is a block diagram showing a color matching apparatus for a left and right image according to an embodiment of the present invention;
4 is a flowchart illustrating a color matching method of left and right images according to an embodiment of the present invention.
5 is a diagram illustrating an image separation method using a Laplacian pyramid according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of a color matching method of left and right images by combining a cumulative histogram and a Retinex method based on multi-scale image separation according to an exemplary embodiment of the present invention.
FIG. 7 is a diagram illustrating a color matching method of left and right images using a cumulative histogram and a Retinex method in a Frist Scale according to an embodiment of the present invention; FIG.
FIG. 8 is a diagram illustrating a light source component and an object color component based on a Retinex algorithm according to an embodiment of the present invention; FIG.
FIG. 9 is a diagram illustrating a light source estimation of an image using a multi-scale Retinex algorithm according to an embodiment of the present invention; FIG.
FIG. 10 is an exemplary view showing color matching between right and left images according to an embodiment of the present invention; FIG.
이하, 첨부된 도면을 참조하여 본 발명에 따른 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 장치의 일 실시예를 설명한다.Hereinafter, an embodiment of a color matching method and apparatus of a left and right image obtained by a stereo camera in a digital cinema according to the present invention will be described with reference to the accompanying drawings.
도 3은 본 발명의 일 실시예에 따른 좌우 영상의 색 일치 장치를 보인 블록도이다. 3 is a block diagram showing a color matching apparatus for a left and right image according to an embodiment of the present invention.
본 발명은 스테레오 카메라를 통해 획득한 3D 영상의 좌우(L/R) 영상에서 발생하는 전역과 지역적인 색 불일치 즉 색차를 모두 보정하는 색 일치 방법 및 장치를 제안한다.The present invention proposes a color matching method and apparatus for correcting both global and local color mismatches, i.e., color differences, occurring in left and right (L / R) images of a 3D image acquired through a stereo camera.
좌우 영상의 색 일치 장치(10)는 영상 입력부(110), 영상 분리부(120), 색 일치부(130) 및 영상 합성부(140)를 포함하여 구성된다. 상기 영상 입력부(110)에서는 스테레오 카메라를 통하여 촬영된 좌영상과 우영상을 입력받을 수 있다. 여기서 입력받은 좌영상과 우영상 중에 하나의 영상을 기준 영상으로 선택할 수 있으며, 도면에 도시된 바와 같이 좌영상을 기준 영상으로 선택할 수 있다. 상기 영상 분리부(120)에서는 영상 입력부에서 입력받은 좌영상과 우영상에 대해서 영상 분리(Image Decomposition)하는 방법을 이용하여 각 영상의 성분을 분리할 수 있다. 상기 색 일치부(130)에서는 기준 영상의 색을 기준으로 나머지 영상의 색을 보정하여 색을 일치할 수 있다. 상기 영상 합성부(140)에서는 각 영상의 성분으로 분리되어 색 보정된 영상과 기준 영상을 각각 다시 영상 합성 즉 역 영상 분리(Inverse Image Decomposition)하는 방법을 이용하여 전역과 지역적인 색이 보정된 영상을 도출할 수 있다.The color matching
도 4는 본 발명의 일 실시예에 따른 좌우 영상의 색 일치 방법을 보인 흐름도이다.4 is a flowchart illustrating a color matching method of left and right images according to an embodiment of the present invention.
본 발명의 좌우 영상의 색 일치 방법은 멀티-스케일의 영상 분리를 기반으로 하는 누적 히스토그램(Cumulative Histogram)과 레티넥스 방법(Retinex method)을 결합하여 좌우 영상의 색을 일치 할 수 있다.The color matching method of the left and right images of the present invention can match the colors of the left and right images by combining a cumulative histogram based on multi-scale image separation and a Retinex method.
먼저 스테레오 카메라를 통하여 좌영상과 우영상을 촬영하여 획득한다. 이때 좌영상과 우영상 중 좌영상을 기준 영상으로 선택한다(S100). 이후 좌우 두 영상을 영상 분리하는 방법을 이용하여 영상의 성분을 small scale 성분에서부터 large scale 성분으로 분리한다(S200). 이후 small scale의 좌영상을 기준으로 같은 스케일의 우영상의 색을 보정하는 색 일치 방법을 수행하고, 보정된 좌우 영상을 합성 즉 역 영상 분리하는 방법을 이용하여 다음 큰 스케일의 영상을 생성한다(S300). 이때 상기 영상의 색 일치 방법 및 영상의 색 합성 방법을 작은 스케일에서부터 큰 스케일의 영상까지 반복하여 수행함으로서 전역과 지역적인 색이 보정된 우영상을 도출하고, 좌영상은 기준 영상이므로 촬영된 영상 원본 그대로 도출한다(S400). 이후 기준 영상인 좌영상과 색이 보정된 우영상을 화면을 통하여 출력한다. 여기서 좌우 영상간의 거리 이동차가 큰 경우 좌우 영상을 각 성분으로 분리하기 전에 좌우 영상간의 영상 등록을 수행하여 좌우 영상간의 색차를 보정할 수도 있다.First, the left and right images are captured and acquired through a stereo camera. At this time, the left image among the left image and the right image is selected as the reference image (S100). Thereafter, the component of the image is separated from the small scale component to the large scale component by using a method of image separation of the left and right images (S200). Then, a color matching method that corrects the color of the right image of the same scale based on the left image of the small scale is performed, and a next large-scale image is generated using a method of combining the corrected left and right images, that is, reverse image separation S300). At this time, the color matching method of the image and the color synthesis method of the image are repeated from the small scale to the large scale image to derive the right image with global and local color corrected, and since the left image is the reference image, (S400). Then, the left image and the right image, which are the reference image and the color image, are outputted through the screen. Here, if the distance difference between the left and right images is large, image registration between the left and right images may be performed before separating the left and right images into the respective components, thereby correcting the color difference between the left and right images.
도 5는 본 발명의 일 실시예에 따른 라플라시안 피라미드를 이용한 영상 분리 방법을 보인 예시도이다.5 is a view illustrating an image separation method using a Laplacian pyramid according to an embodiment of the present invention.
먼저 좌우 영상을 각각 영상 분리하기 위해서는 라플라시안 피라미드(Laplacian Pyramid) 방식을 사용할 수 있다. 영상 피라미드(Image Pyramid)는 하나의 원본 영상을 원하는 단계까지 다운샘플링(Down Sampling)하여 생성한 영상들의 집합을 말한다. 여기서 영상 피라미드는 일반적으로 두 가지 종류의 영상 피라미드 방식을 사용하는데, 하나는 다운샘플 영상을 만들 때 사용되는 가우시안 피라미드(Gaussian pyramid)와 다른 하나는 피라미드 아래쪽에 있는 영상으로부터 업샘플 영상을 재구성할 때 사용되는 라플라시안 피라미드 방식이 있다. 상기 라플라시안 피라미드 방식은 도 5에 도시된 바와 같이 좌우 영상(F0)을 가우시안 필터(Gaussian Filter)를 사용하여 블러링(blurring)(l0)한 다음 원영상(F0)과 블러링된 영상(l0)의 차를 구함으로써 가장 큰 스케일의 에지(Edge) 영상을 도출(h0)할 수 있다. 이때 가우시안 필터는 영상에 있는 자잘한 노이즈(Noise)를 제거하여 영상을 부드럽고 깔끔하게 만드는 것으로, 필터의 크기가 너무 커지면 너무 뽀샤시한 영상이 나와 전체 화면이 뭉그러지는 효과가 있다. 또한 영상처리에서 가우시한 필터는 2차원 가우시한 함수 값을 이용하여 마스크(Mask)를 생성하고, 입력영상과 마스크 영상을 수행해주는 것을 의미한다. 또한 가우시안 필터는 영상의 블러 효과를 내기 위하여 사용할 수 있다. 블러(Blur) 기법은 주로 영상의 잡음 또는 손상을 완화시키기 위해서 사용되며, 영상의 크기를 줄이는 경우에도 중요한 역할을 담당한다. 그리고 그 다음으로 작은 스케일의 에지 성분을 구하기 위해서 영상 사이즈를 1/2로 서브 샘플링(Subsampling)(f1)하여 상기와 같은 동일한 반복을 수행하여 가우시안 필터(Gaussian Filter)를 사용하여 블러링(blurring)(l1)한 다음 원영상(F1)과 블러링된 영상(l1)의 차를 구함으로써 가장 큰 스케일의 에지 영상을 도출(h1)할 수 있다. 이후 최종적으로 좌우 영상을 각 스케일에 따른 영상 성분으로 분리(f2)할 수 있다.In order to separate the left and right images from each other, a Laplacian pyramid method can be used. An image pyramid is a set of images generated by down sampling one original image to a desired stage. In this case, the image pyramid generally uses two kinds of image pyramid schemes. One is a Gaussian pyramid used for creating a downsampled image and the other is a reconstructed upsampled image from an image below the pyramid There is a Laplacian pyramid scheme used. The Laplacian pyramid approach the left and right images (F 0) by using a Gaussian filter (Gaussian Filter) blurring (blurring) (l 0), then the original image (F 0) and a blurred image as shown in Figure 5 by obtaining the difference between the (l 0) can be derived (h 0) of the edge (edge) image of the largest scale. At this time, the Gaussian filter removes the small noise in the image to make the image smooth and clean. If the size of the filter becomes too large, the image becomes too pessimistic and the entire screen is distorted. In addition, the filter used in the image processing means to generate the mask using the 2-dimensional acceleration function value, and to perform the input image and the mask image. The Gaussian filter can also be used to produce a blur effect on the image. Blur is mainly used to alleviate image noise or damage, and plays an important role in reducing image size. And by the following sub-sampling (Subsampling) (f 1) the image size by 1/2 to obtain the edge components of small-scale do the same repetition as described above by using a Gaussian filter (Gaussian Filter) blurring (blurring (l 1 ), the edge image of the largest scale can be derived (h 1 ) by obtaining the difference between the original image F 1 and the blurred image l 1 . Finally, the left and right images can be finally separated into image components according to each scale (f 2 ).
도 6은 본 발명의 일 실시예에 따른 멀티-스케일의 영상 분리를 기반으로 하는 누적 히스토그램과 레티넥스 방법을 결합하여 좌우 영상의 색 일치 방법을 보인 예시도이다.FIG. 6 is a diagram illustrating an example of a color matching method of left and right images by combining a cumulative histogram and a Retinex method based on multi-scale image separation according to an embodiment of the present invention.
도면에 도시된 바와 같이 좌우 영상을 라플라시안 피라미드 이용하여 색 일치 할 수 있다. 좌영상의 First scale 영상을 기준으로 누적 히스토그램 매칭(Cumulative Histogram Matching)과 레티넥스 알고리즘(Retinex Algorithm)을 이용하여 우영상의 First scale 영상에 대한 색 불일치를 보정할 수 있다. 여기서 히스토그램은 영상의 명암값의 정보를 보여주기 위해 사용되는 그래프이며, 누적 히스토그램은 히스토그램을 적분한 것을 의미한다. 따라서 누적 히스토그램 매칭은 서로 다른 두 영상을 비교하여 상대적으로 조절하여 두 영상을 같게 해주는 기능으로, 상기 히스토그램을 통해 디지털 영상을 점검하고 영상의 화질을 개선할 수 있다. 또한 렉티넥스는 인간의 감각계가 느끼는 물체의 밝기나 색채는 물체 표면에 반사되어 망막에 입사된 빛의 강도나 분광 분포와 반드시 대응되는 이론으로 영상의 반사 성분만을 이용하여 영상을 보정하는 것을 말한다. 이에 레티넥스 알고리즘은 어두운 영상의 화질을 뚜렷하게 보기 위한 변환법으로, 이미지 생성과정에서 생길 수 있는 블러링을 보상할 수 있고, 조명환경이 변화더라도 색을 일정하게 유지할 수 있으며, 색 값의 범위(Dynamic Range)를 압축할 수 있다. 이후 First scale의 좌우 영상 모두를 크기 조정 즉 업-스케일링(Up-scaling) 하여 영상의 크기를 2배 증가 시킨 후, Second scale의 가장자리 성분과 합하여 Second scale의 영상을 생성할 수 있다. 여기서 Second scale의 영상은 상기 First scale 영상의 색 일치 방법과 동일하게 누적 히스토그램 매칭과 레티넥스 알고리즘을 이용하여 우영상의 색 불일치를 보정하고 스케일을 증가시키는 과정을 반복적으로 적용하여 Third scale의 영상을 생성할 수 있다. 또한 라플라시안 피라미드에서 스케일의 개수는 영상이나 색 일치 정도에 따라서 3~7개 사이로 가변할 수 있으며, 누적 히스토그램 매칭과 레티넥스 알고리즘을 이용한 색 일치도 First scale 에만 적용하거나 모든 스케일에 적용할 수도 있다.As shown in the figure, the left and right images can be color-matched using a Laplacian pyramid. The color mismatch for the first scale image of the right image can be corrected using Cumulative Histogram Matching and Retinex Algorithm based on the first scale image of the left image. Here, the histogram is a graph used to show the information of the brightness value of the image, and the cumulative histogram means that the histogram is integrated. Therefore, the cumulative histogram matching is a function of comparing the two different images to adjust the two images to be the same, and the digital image can be checked through the histogram and the image quality can be improved. Rectinx is the theory that the brightness or color of an object sensed by human senses is reflected on the surface of the object and corresponds to the intensity or spectral distribution of the light incident on the retina. This means that the image is corrected using only the reflection component of the image. The Retinex algorithm is a conversion method for clearly viewing the image quality of a dark image. It can compensate for blurring that may occur during the image creation process, maintain the color constant even when the lighting environment changes, Range) can be compressed. Then, both the left and right images of the first scale are rescaled, that is, they are up-scaled to increase the size of the image twice, and then the second scale image can be generated by combining with the edge components of the second scale. Here, the second scale image is repeatedly applied to correct the color mismatch of the right image and to increase the scale using the cumulative histogram matching and the retinex algorithm in the same manner as the color matching method of the first scale image, Can be generated. In addition, the number of scales in the Laplacian pyramid can be varied from 3 to 7 depending on the degree of image or color matching, and color matching using cumulative histogram matching and Retinex algorithm can be applied to only the first scale or to all scales.
도 7은 본 발명의 일 실시예에 따른 Frist Scale에서 누적 히스토그램과 레티넥스 방법을 이용한 좌우 영상의 색 일치 방법을 보인 예시도이다.FIG. 7 is a diagram illustrating a color matching method of left and right images using the cumulative histogram and Retinex method in the Frist Scale according to an embodiment of the present invention.
도면에 도시된 First scale에서 누적 히스토그램과 레티넥스 방법을 이용하여 좌우 영상을 색 일치 시키는 방법을 좀 더 상세히 설명하면 다음과 같다. 먼저 누적 히스토그램 매칭을 이용하여 우영상의 전역적인 색 불일치를 보정할 수 있다. 이후 좌우 영상에 레티넥스를 이용하여 영상의 광원(Illuminant) 성분과 물체색(또는 반사율)(Reflectance) 성분으로 분리할 수 있다. 여기서 영상을 광원 성분과 물체색 성분으로 분리하는 이유는 지역적으로 색 불일치가 나타나는 경우에 이러한 불일치를 지역적인 광원의 차이로 기인한다고 가정을 하였기 때문이다. 따라서 좌우 영상의 지역적인 광원을 일치시킴으로써 지역적인 색 불일치를 보정할 수 있다. 또한 물체색 성분은 영상의 기초 요소(Basis Component)로서 주변 광원에 불변의 정보이고 광원은 영상의 지역적인 광원 성분을 나타낸다. 도 7에 도시된 바와 같이 지역적인 색 불일치 보정은 좌우의 물체색과 광원 성분을 레티렉스 방법으로 추정하고, 좌영상의 광원 성분을 우영상의 광원 성분으로 대치함으로써 지역적인 색 불일치를 보정할 수 있다.A method of color matching the left and right images using the cumulative histogram and the Retinex method in the first scale shown in the figure will be described in more detail as follows. First, the global color discrepancy of the right image can be corrected using the cumulative histogram matching. Then, the left and right images can be separated into an illuminant component and an object color (or reflectance) component of the image using Retinex. The reason for separating the image into the light source component and the object color component is that, in the case where color discrepancy occurs locally, it is assumed that the discrepancy is caused by the difference of the local light source. Therefore, regional color mismatch can be corrected by matching the local light sources of the left and right images. In addition, the object color component is a base component of the image, which is invariant to the ambient light source, and the light source represents the local light source component of the image. As shown in FIG. 7, local color discrepancy correction can correct regional color discrepancies by estimating left and right object colors and light source components by the retirex method and replacing the light source component of the left image with the light source component of the right image .
도 8은 본 발명의 일 실시예에 따른 레티넥스 알고리즘 기반의 광원 성분과 물체색 성분을 보인 예시도이다.FIG. 8 is a diagram illustrating a light source component and an object color component based on a Retinex algorithm according to an embodiment of the present invention. Referring to FIG.
좌우 영상의 전역적인 색차를 보정하기 위해서는 누적 히스토그램 매칭을 이용할 수 있다. 상기 누적 히스토그램 매칭 방법은 각 채널의 히스토그램을 계산하여 누적 히스토그램을 도출하고, 매칭 함수 MK를 아래의 수학식 1과 같이 정의할 수 있다.Cumulative histogram matching can be used to correct the global chrominance of the left and right images. In the cumulative histogram matching method, a histogram of each channel is calculated to derive an accumulated histogram, and a matching function M K can be defined as
여기서 f는 화소값을 나타내고, i와 j는 화소 위치를 나타내고, h와 w는 영상의 크기를 나타내고, m은 수정된 화소값을 의미하며, cK,r과 cK,t는 기준 영상과 수정하고자 하는 영상의 누적 히스토그램을 의미한다. 이때 수정하고자 하는 영상의 모든 화소에 대해서 매핑 함수를 적용하여 전역적인 색차가 보정된 영상 fK,global을 수학식 2와 같이 도출할 수 있다.Here, f denotes a pixel value, i and j denote pixel positions, h and w denote an image size, m denotes a modified pixel value, and ck, r and cK, It means cumulative histogram of the image to be modified. In this case, the global color difference-compensated image f K, global can be derived as Equation (2) by applying a mapping function to all the pixels of the image to be corrected.
여기서 f는 화소값을 나타내고, i와 j는 화소 위치를 나타내고, MK는 매칭 함수를 나타낸다.Here, f represents a pixel value, i and j represent pixel positions, and M K represents a matching function.
또한 레티넥스 방법은 멀티-스케일의 레티넥스 알고리즘을 이용하여 좌우 영상의 광원 성분과 물체색 성분을 추정할 수 있다. 이때 레티넥스 알고리즘은 영상의 차이(Contrast)를 향상시키거나, 선명도(Sharpness)를 증진시킬 때 자주 사용하며, 픽셀값의 범위가 큰 경우에는 레티넥스 알고리즘을 압축시켜서 영상데이터의 전송에 따른 병목현상을 해소하는데 이용할 수 있다. 또한 레티넥스 알고리즘은 입력 영상에 들어있는 배경 성분을 제거하는 것이다. 이때 배경 성분은 입력 영상의 평균적인 영상을 의미하며, 배경영상은 적당한 스케일(또는 필터사이즈)의 가우시안 필터를 적용하여서 얻을 수 있다. 이 필터를 적용하면 입력 영상에서 필터사이즈 보다도 작은 스케일은 무시하는 효과를 줄 수도 있다. 입력 영상의 물체색 성분은 입력 영상을 앞서 구한 배경 영상으로 나눌 수 있다. 레티넥스 출력은 이 물체색 성분에 로그값을 취한 것으로, 이때 로그값을 취함으로써 물체색 성분이 분포 범위(Dynamic Range)를 압축하는 효과를 얻을 수 있다. 도면에 도시된 바와 같이 입력 영상 I(x,y)는 광원 성분의 영상 L(x,y)과 물체색 성분 O(x,y)의 곱으로 수학식 3과 같이 표현할 수 있다.In addition, the Retinex method can estimate the light source component and the object color component of the left and right images using a multi-scale Retinex algorithm. In this case, the Retinex algorithm is often used to improve contrast or improve sharpness. When the range of the pixel value is large, the Retinex algorithm is compressed so that the bottleneck Can be used to solve the problem. The Retinex algorithm also removes the background component in the input image. In this case, the background component means an average image of the input image, and the background image can be obtained by applying a Gaussian filter having an appropriate scale (or filter size). Applying this filter may negate the scale smaller than the filter size in the input image. The object color component of the input image can be divided into the background image obtained before the input image. The retinex output is obtained by taking a logarithm of the object color component. By taking the logarithm, the effect that the object color component compresses the dynamic range can be obtained. As shown in the figure, the input image I (x, y) can be expressed as a product of the image L (x, y) of the light source component and the object color component O (x, y)
그러나 레티넥스 방법으로 광원 성분을 제거할 경우, 인식률 측면에서는 효율적인 결과를 얻을 수 있지만 영상의 범위가 크게 줄어들어 영상의 화질이 저하될 수 도 있다.However, when the light source component is removed by the Retinex method, it is possible to obtain an efficient result in terms of the recognition rate, but the image quality may be degraded because the range of the image is greatly reduced.
도 9는 본 발명의 일 실시예에 따른 멀티-스케일의 레티넥스 알고리즘을 이용한 영상의 광원 추정을 보인 예시도이다.FIG. 9 is an exemplary diagram illustrating a light source estimation of an image using a multi-scale Retinex algorithm according to an embodiment of the present invention.
도면에 도시된 바와 같이 멀티-스케일 레티넥스 알고리즘을 이용한 영상의 광원 추정 방법은 다음과 같다. 멀티-스케일 레티넥스 알고리즘에서는 각 스케일(또는 표준편차)의 광원의 가중치를 합하여 광원의 성분을 추정하고, 물체색은 추정된 광원 성분을 원본 영상에서 나누어 줌으로서 추정할 수 있다. 즉 도면에 도시된 입력 영상을 가우시안 필터링에 의해 각 스케일의 광원의 가중치로 Small(w1), Middle(w2) 및 Large(w3)를 포함하여 구성할 수 있으며, 이때 구성된 각 스케일의 가중치를 합하여 광원의 성분을 도면과 같이 추정할 수 있다.As shown in the figure, a light source estimation method of an image using a multi-scale retinex algorithm is as follows. In the multi-scale retinex algorithm, the weight of the light source of each scale (or standard deviation) is summed to estimate the component of the light source, and the object color can be estimated by dividing the estimated light source component from the original image. That is, the input image shown in the figure can be configured to include Small (w 1 ), Middle (w 2 ), and Large (w 3 ) as weights of light sources of respective scales by Gaussian filtering. The components of the light source can be estimated as shown in the drawing.
아래의 수학식 4는 멀티-스케일 레티넥스 알고리즘에서 광원을 추정해서 영상의 물체색을 도출하는 방법을 나타낸 것이다. 상기 수학식 4에서는 영상에 따라 가우시안 필터와 바일래터럴 필터(Bilateral Filter)를 병용하여 사용할 수 있다.Equation (4) below shows a method of deriving an object color of an image by estimating a light source in a multi-scale Retinex algorithm. In Equation (4), a Gaussian filter and a bilateral filter may be used in combination according to an image.
여기서 wn은 가우시안 필터의 무게를 나타내고, Ii(x,y)는 입력 영상을 나타내며, Fn(x,y)*Ii(x,y)는 추정된 광원 성분 Li(x,y)를 나타낸다.Where w n denotes a weight of a Gaussian filter, I i (x, y) denotes an input image, F n (x, y) * I i (x, y) is the estimated light source element L i (x, y ).
이때 바일래터럴 필터는 전체적으로 고르게 뭉게는 가우시안 필터와 달리 에지를 살리면서 노이즈 위주로 뭉게는 방식으로 즉 에지 정보의 손실을 적게 하면서 노이즈를 줄이는데 사용되는 대표적인 영상처리기법을 의미한다.At this time, unlike the Gaussian filter, which is generally uniformly flattened, the bar-lateral filter refers to a typical image processing technique used to reduce noise while minimizing loss of edge information in a manner of concentrating noise while maintaining an edge.
도 10은 본 발명의 일 실시예에 따른 좌우 영상간의 색 일치를 보인 예시도이다.10 is a diagram illustrating color matching between right and left images according to an embodiment of the present invention.
도 10의 (a)는 Rig 기반의 스테레오 카메라로 획득한 좌우 영상을 나타낸 것으로서, 도면에 도시된 좌우 영상 중 빌딩 물체에 대한 전역적인 색 불일치를 인지할 수 있다.FIG. 10A shows left and right images acquired by a rig based stereo camera, and recognizes global color discrepancies with respect to a building object in the right and left images shown in the drawing.
도 10의 (b)는 색 보정된 좌우 영상을 나타낸 것으로서, 도 10의 (a) 영상의 전역적인 색 불일치가 잘 보정되어 좌영상과 우영상이 전체적으로 유사한 색감을 나타내는 것을 알 수 있다. 또한 지역적인 색 일치 결과를 비교해 보아도 색 보정된 우영상이 기준이 되는 좌영상과 더욱 더 유사한 것을 알 수 있다.FIG. 10B shows the color-corrected left and right images. It can be seen that the global color discrepancy of the image of FIG. 10A is well corrected and the left and right images have similar colors. In addition, it can be seen that the color-corrected right image is more similar to the reference left image even when the local color matching result is compared.
상이 기준이 되는 좌영상과 더욱 더 유사한 것을 알 수 있다.Image is more similar to the reference left image.
본 발명은 스테레오 카메라로 획득한 좌우 영상에서 발생하는 전역 및 지역적인 색 불일치(또는 색차)를 모두 보정하여 좌우 영사의 뎁스 차이를 감소시킴으로써 3D 영상의 화질이 개선되고, 입체적인 시각효과를 증대시킬 뿐만 아니라 시청자의 눈 피로를 감소시켜 보다 쾌적하게 영상을 시청할 수 있는 이점이 있다.The present invention improves the image quality of a 3D image by correcting both the global and regional color discrepancies (or color differences) generated in the left and right images acquired by the stereo camera, thereby reducing the depth difference between the left and right projections, However, there is an advantage that the viewer's eye fatigue is reduced and the image can be viewed more comfortably.
상기에서는 본 발명에 따른 바람직한 실시 예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정 되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. .
10 : 색 일치 장치 110 : 영상 입력부
120 : 영상 분리부 130 : 색 일치부
140 : 영상 합성부10: color matching device 110: image input unit
120: image separating unit 130: color matching unit
140:
Claims (16)
상기 입력받은 좌영상 및 우영상을 영상 분리 방법을 이용하여 각 영상의 성분을 작은 스케일(small scale) 성분에서부터 큰 스케일(large scale) 성분으로 분리하는 단계;
상기 분리한 영상 성분에서 기준 영상의 성분을 기준으로 나머지 영상의 색을 작은 스케일(small scale) 성분에서부터 큰 스케일(large scale) 성분으로 색 일치시키는 단계; 및
상기 색 일치된 영상과 기준 영상을 작은 스케일(small scale) 성분에서부터 큰 스케일(large scale) 성분으로 합성하는 단계;를 포함하며,
상기 색 일치의 기준 영상을 선택하고 이를 기준으로 나머지 영상의 색을 일치시켜 도출하고, 상기 좌영상 및 우영상에서 발생하는 전역(Global Color)과 지역적인 색(Local Color) 불일치를 모두 보정하여 영상을 도출하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 방법.Receiving a left image and a right image captured by a stereo camera;
Separating components of each image from a small scale component to a large scale component using the image separation method using the input left and right images;
Color matching the colors of the remaining images from a small scale component to a large scale component on the basis of the components of the reference image in the separated image components; And
Synthesizing the color-matched image and the reference image from a small scale component to a large scale component,
The reference image of the color matching is selected, and the colors of the remaining images are matched based on the selected reference image. Then, all of the global color and local color mismatch occurring in the left image and the right image are corrected, And a color matching method of the left and right images obtained by the stereo camera in the digital cinema.
상기 분리하는 단계는,
좌영상 및 우영상을 가우시안 필터(Gaussian Filer)를 사용하여 블러링(Blurring)하여 좌우영상의 원영상과 블러링된 영상과의 차를 구하여 가장 큰 스케일의 에지(Edge) 영상을 도출하고, 그 다음 작은 스케일의 에지 성분을 구하기 위해 영상의 사이즈를 1/2로 서브샘플링(Subsampling)하여 동일한 작업을 반복하여 최종적으로 좌우영상을 각 스케일에 따른 영상의 성분으로 분리하는 라플라시안 피라미드(Laplacian Pyramid) 방법을 이용하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 방법.The method according to claim 1,
Wherein said separating comprises:
The left and right images are blurred using a Gaussian filter to obtain the difference between the original image of the left and right images and the blurred image to derive the edge image of the largest scale, The Laplacian pyramid method (hereinafter, referred to as " Laplacian pyramid method ") is a method in which the same operation is repeated by subsampling the image size in half to obtain the edge components of a small scale, And a color matching method of a left / right image obtained by a stereo camera in a digital cinema.
상기 색을 일치하는 단계는,
좌영상의 First scale 영상을 기준으로 누적 히스토그램 매칭(Cumulative Histogram Matching)과 레티넥스 알고리즘(Retinex Algorithm)을 이용하여 우영상의 First scale 영상의 색 불일치를 보정하고,
First scale 영상의 좌우영상을 모두 업-스케일링(Up-scaling)하여 영상의 크기를 2배로 증가시키고,
크기가 증가된 영상과 라플라시안 피라미드를 통해 분리되어 있던 Second scale의 가장자리(edge) 성분을 합하여 Second scale 영상을 생성하며,
생성된 Second scale 영상에도 누적 히스토그램 매칭(Cumulative Histogram Matching)과 레티넥스 알고리즘(Retinex Algorithm)이용하여 우영상의 색 불일치를 보정하고 스케일을 증가시키는 과정을 반복적으로 적용하는 라플라시안 피라미드 방법을 이용하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 방법.The method according to claim 1,
Wherein the step of matching the colors comprises:
The color mismatch of the first scale image of the right image is corrected using Cumulative Histogram Matching and Retinex Algorithm based on the first scale image of the left image,
Scaling up both the left and right images of the first scale image to increase the size of the image twice,
Second scale image is generated by summing the enlarged image and the edge components of the Second scale separated by the Laplacian pyramid,
And the Laplacian pyramid method is used to repeatedly apply the process of correcting the color mismatch of the right image and increasing the scale using the cumulative histogram matching (Cumulative Histogram Matching) and the Retinex algorithm (Algorithm) A method of color matching of left and right images acquired by a stereo camera in a digital cinema.
상기 색 일치시키는 단계는,
라플라시안 피라미드에서 스케일의 개수는 영상이나 색 일치 정도에 따라서 스케일의 수를 가변하고,
누적 히스토그램 매칭(Cumulative Histogram Matching)과 레티넥스 알고리즘(Retinex Algorithm)을 이용한 색 일치는 First scale 영상에만 적용하거나 모든 스케일 영상에 적용하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 방법.The method of claim 3,
Wherein the color matching step comprises:
In the Laplacian pyramid, the number of scales varies according to the degree of image or color matching,
Color matching using Cumulative Histogram Matching and Retinex Algorithm is applied only to first scale image or applied to all scale images. In digital cinema, color matching of left and right images acquired by stereo camera Way.
상기 색 일치시키는 단계는,
First scale에서 누적 히스토그램 매칭(Cumulative Histogram Matching)과 레티넥스 알고리즘(Retinex Algorithm)을 이용하여 좌우 영상의 색을 일치하는데,
누적 히스토그램 매칭(Cumulative Histogram Matching)을 이용하여 우영상의 전역적인 색 불일치를 보정하고,
좌우 영상에 레티넥스를 이용하여 영상의 광원(Illuminant) 성분과 물체색(Reflectance) 성분을 분리하여 좌우 영상의 지역적인 광원을 일치시켜 지역적인 색 불일치를 보정하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 방법.The method of claim 4,
Wherein the color matching step comprises:
In the first scale, the colors of left and right images are matched using Cumulative Histogram Matching and Retinex Algorithm,
The global color mismatch of the right image is corrected using the cumulative histogram matching,
A stereoscopic camera is used in digital cinema, which is characterized by separating the illuminant component and the reflectance component of the image by using Retinex on the left and right images, and correcting the local color discrepancy by matching the local light sources of the left and right images. Color matching method of acquired left and right images.
상기 색 일치시키는 단계는,
전역적인 색차를 보정하기 위해서 각 채널의 히스토그램을 계산하고 누적 히스토그램을 도출하여 수정하고자 하는 영상의 모든 화소를 매핑 함수 MK를 적용하여 전역적인 색차가 보정된 영상 fK,global을 도출하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 방법.The method of claim 5,
Wherein the color matching step comprises:
In order to correct the global chrominance difference, the histogram of each channel is calculated and the cumulative histogram is derived to derive the global chrominance corrected image f K, global by applying the mapping function M K to all the pixels of the image to be corrected A method of color matching of left and right images acquired by a stereo camera in a digital cinema.
상기 색 일치시키는 단계는,
멀티-스케일 레티넥스 알고리즘을 이용하여 좌우 영상의 광원 성분과 물체색 성분을 추정하고, 입력 영상 I(x,y)는 광원 성분의 영상 L(x,y)과 물체색 성분 O(x,y)의 곱으로 표현하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 방법.The method of claim 5,
Wherein the color matching step comprises:
(X, y) of the light source component and the object color component O (x, y) of the image source L (x, y) are estimated by using the multi-scale retinex algorithm. And a color matching method of the left and right images acquired by the stereo camera in the digital cinema.
상기 색 일치시키는 단계는,
멀티-스케일 레티넥스 알고리즘에서 각 스케일의 광원의 가중치를 합하여 광원의 성분을 추정하고, 추정된 광원 성분을 원본 영상에 나누어 줌으로써 물체색의 성분을 추정하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 방법.The method of claim 7,
Wherein the color matching step comprises:
The multi-scale Retinex algorithm estimates the components of the light source by summing the weights of the light sources of the respective scales and divides the estimated light source component into the original image to estimate the component of the object color. Color matching method of left and right images.
상기 입력받은 좌영상 및 우영상을 영상 분리 방법을 이용하여 각 영상의 성분을 작은 스케일(small scale) 성분에서부터 큰 스케일(large scale) 성분으로 분리하는 영상 분리부;
상기 분리한 영상의 성분에서 기준 영상의 성분을 기준으로 나머지 영상의 색을 작은 스케일(small scale) 성분에서부터 큰 스케일(large scale) 성분으로 일치시키는 색 일치부; 및
상기 색 일치된 영상과 기준 영상을 작은 스케일(small scale) 성분에서부터 큰 스케일(large scale) 성분으로 합성하는 영상 합성부;를 포함하며,
상기 색 일치의 기준 영상을 선택하고 이를 기준으로 나머지 영상의 색을 일치시켜 도출하고, 상기 좌영상 및 우영상에서 발생하는 전역적인 색(Global Color)과 지역적인 색(Local Color) 불일치를 모두 보정하여 영상을 도출하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 장치.A video input unit receiving a left video and a right video captured by a stereo camera;
An image separator for separating the input left and right images into small scale components and large scale components by using an image separation method;
A color matching unit for matching the colors of the remaining images from a small scale component to a large scale component based on the reference image component in the separated image components; And
And an image synthesizer for synthesizing the color-matched image and the reference image from a small scale component to a large scale component,
The reference image of the color matching is selected, and the colors of the remaining images are matched based on the reference image. The global color and the local color mismatch occurring in the left image and the right image are all corrected And the image is derived from the stereo image obtained by the stereo camera in the digital cinema.
상기 영상 분리부는,
좌영상 및 우영상을 가우시안 필터(Gaussian Filer)를 사용하여 블러링(Blurring)하여 좌우영상의 원영상과 블러링된 영상과의 차를 구하여 가장 큰 스케일의 에지(Edge) 영상을 도출하고, 그 다음 작은 스케일의 에지 성분을 구하기 위해 영상의 사이즈를 1/2로 서브샘플링(Subsampling)하여 동일한 작업을 반복하여 최종적으로 좌우영상을 각 스케일에 따른 영상의 성분으로 분리하는 라플라시안 피라미드(Laplacian Pyramid) 방법을 이용하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 장치.The method of claim 9,
Wherein the image separator comprises:
The left and right images are blurred using a Gaussian filter to obtain the difference between the original image of the left and right images and the blurred image to derive the edge image of the largest scale, The Laplacian pyramid method (hereinafter, referred to as " Laplacian pyramid method ") is a method in which the same operation is repeated by subsampling the image size in half to obtain the edge components of a small scale, Is used as a color matching device for a left / right image obtained by a stereo camera in a digital cinema.
상기 색 일치부는,
좌영상의 First scale 영상을 기준으로 누적 히스토그램 매칭(Cumulative Histogram Matching)과 레티넥스 알고리즘(Retinex Algorithm)을 이용하여 우영상의 First scale 영상의 색 불일치를 보정하고,
First scale 영상의 좌우영상을 모두 업-스케일링(Up-scaling)하여 영상의 크기를 2배로 증가시키고,
크기가 증가된 영상과 라플라시안 피라미드를 통해 분리되어 있던 Second scale의 가장자리(edge) 성분을 합하여 Second scale 영상을 생성하며,
생성된 Second scale 영상에도 누적 히스토그램 매칭(Cumulative Histogram Matching)과 레티넥스 알고리즘(Retinex Algorithm)이용하여 우영상의 색 불일치를 보정하고 스케일을 증가시키는 과정을 반복적으로 적용하는 라플라시안 피라미드 방법을 이용하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 장치.The method of claim 9,
Wherein the color matching unit comprises:
The color mismatch of the first scale image of the right image is corrected using Cumulative Histogram Matching and Retinex Algorithm based on the first scale image of the left image,
Scaling up both the left and right images of the first scale image to increase the size of the image twice,
Second scale image is generated by summing the enlarged image and the edge components of the Second scale separated by the Laplacian pyramid,
And the Laplacian pyramid method is used to repeatedly apply the process of correcting the color mismatch of the right image and increasing the scale using the cumulative histogram matching (Cumulative Histogram Matching) and the Retinex algorithm (Algorithm) A color matching device for left and right images acquired by a stereo camera in a digital cinema.
상기 색 일치부는,
라플라시안 피라미드에서 스케일의 개수는 영상이나 색 일치 정도에 따라서 스케일의 수를 가변하고,
누적 히스토그램 매칭(Cumulative Histogram Matching)과 레티넥스 알고리즘(Retinex Algorithm)을 이용한 색 일치는 First scale 영상에만 적용하거나 모든 스케일 영상에 적용하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 장치.The method of claim 11,
Wherein the color matching unit comprises:
In the Laplacian pyramid, the number of scales varies according to the degree of image or color matching,
Color matching using Cumulative Histogram Matching and Retinex Algorithm is applied only to first scale image or applied to all scale images. In digital cinema, color matching of left and right images acquired by stereo camera Device.
상기 색 일치부는,
First scale에서 누적 히스토그램 매칭(Cumulative Histogram Matching)과 레티넥스 알고리즘(Retinex Algorithm)을 이용하여 좌우 영상의 색을 일치하는데,
누적 히스토그램 매칭(Cumulative Histogram Matching)을 이용하여 우영상의 전역적인 색 불일치를 보정하고,
좌우 영상에 레티넥스를 이용하여 영상의 광원(Illuminant) 성분과 물체색(Reflectance) 성분을 분리하여 좌우 영상의 지역적인 광원을 일치시켜 지역적인 색 불일치를 보정하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 장치.The method of claim 12,
Wherein the color matching unit comprises:
In the first scale, the colors of left and right images are matched using Cumulative Histogram Matching and Retinex Algorithm,
The global color mismatch of the right image is corrected using the cumulative histogram matching,
A stereoscopic camera is used in digital cinema, which is characterized by separating the illuminant component and the reflectance component of the image by using Retinex on the left and right images, and correcting the local color discrepancy by matching the local light sources of the left and right images. A color matching device for acquired left and right images.
상기 색 일치부는,
전역적인 색차를 보정하기 위해서 각 채널의 히스토그램을 계산하고 누적 히스토그램을 도출하여 수정하고자 하는 영상의 모든 화소를 매핑 함수 MK를 적용하여 전역적인 색차가 보정된 영상 fK,global을 도출하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 장치.14. The method of claim 13,
Wherein the color matching unit comprises:
In order to correct the global chrominance difference, the histogram of each channel is calculated and the cumulative histogram is derived to derive the global chrominance corrected image f K, global by applying the mapping function M K to all the pixels of the image to be corrected A color matching device for left and right images acquired by a stereo camera in a digital cinema.
상기 색 일치부는,
멀티-스케일 레티넥스 알고리즘을 이용하여 좌우 영상의 광원 성분과 물체색 성분을 추정하고, 입력 영상 I(x,y)는 광원 성분의 영상 L(x,y)과 물체색 성분 O(x,y)의 곱으로 표현하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 장치.15. The method of claim 14,
Wherein the color matching unit comprises:
(X, y) of the light source component and the object color component O (x, y) of the image source L (x, y) are estimated by using the multi-scale retinex algorithm. And a color matching device for a left / right image obtained by a stereo camera in a digital cinema.
상기 색 일치부는,
멀티-스케일 레티넥스 알고리즘에서 각 스케일의 광원의 가중치를 합하여 광원의 성분을 추정하고, 추정된 광원 성분을 원본 영상에 나누어 줌으로써 물체색의 성분을 추정하는 것을 특징으로 하는 디지털 시네마에서 스테레오 카메라로 획득한 좌우영상의 색 일치 장치.16. The method of claim 15,
Wherein the color matching unit comprises:
The multi-scale Retinex algorithm estimates the components of the light source by summing the weights of the light sources of the respective scales and divides the estimated light source component into the original image to estimate the component of the object color. Color matching device for left and right images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140023678A KR101633634B1 (en) | 2014-02-27 | 2014-02-27 | Method and system for color matching between left and right images acquired from stereoscopic camera in digital cinemas |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140023678A KR101633634B1 (en) | 2014-02-27 | 2014-02-27 | Method and system for color matching between left and right images acquired from stereoscopic camera in digital cinemas |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150101856A KR20150101856A (en) | 2015-09-04 |
| KR101633634B1 true KR101633634B1 (en) | 2016-06-27 |
Family
ID=54242893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140023678A KR101633634B1 (en) | 2014-02-27 | 2014-02-27 | Method and system for color matching between left and right images acquired from stereoscopic camera in digital cinemas |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101633634B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020171258A1 (en) * | 2019-02-21 | 2020-08-27 | 한국과학기술원 | Image processing method and device therefor |
| JP2021056369A (en) * | 2019-09-30 | 2021-04-08 | セイコーエプソン株式会社 | Head-mounted display |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101341101B1 (en) * | 2007-09-11 | 2013-12-13 | 삼성전기주식회사 | Apparatus and Method for restoring image |
-
2014
- 2014-02-27 KR KR1020140023678A patent/KR101633634B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150101856A (en) | 2015-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10542249B2 (en) | Stereoscopic video generation method based on 3D convolution neural network | |
| US8488868B2 (en) | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images | |
| US9412171B2 (en) | Adaptive multi-dimensional data decomposition | |
| JP6998388B2 (en) | Methods and equipment for processing image property maps | |
| US9159136B2 (en) | Temporal smoothing apparatus and method for synthesizing intermediate image | |
| US9691141B2 (en) | Image correction device for accelerating image correction and method for same | |
| US20150379720A1 (en) | Methods for converting two-dimensional images into three-dimensional images | |
| US20080025628A1 (en) | Enhancement of Blurred Image Portions | |
| CN106780417A (en) | A kind of Enhancement Method and system of uneven illumination image | |
| CN109074637B (en) | Method and system for generating an output image from a plurality of respective input image channels | |
| US8565513B2 (en) | Image processing method for providing depth information and image processing system using the same | |
| JP2012019513A (en) | Method and apparatus for converting 2d image to 3d image | |
| Wang et al. | A graph-based joint bilateral approach for depth enhancement | |
| JP5303692B1 (en) | Stereoscopic image processing apparatus and stereoscopic image processing method | |
| CN113039576A (en) | Image enhancement system and method | |
| US8724896B2 (en) | Method and system for color-grading multi-view content | |
| TW201445977A (en) | Image processing method and image processing system | |
| Tam et al. | Stereoscopic image rendering based on depth maps created from blur and edge information | |
| JP2015095779A (en) | Image processing apparatus, image processing method, and electronic equipment | |
| KR101633634B1 (en) | Method and system for color matching between left and right images acquired from stereoscopic camera in digital cinemas | |
| Köppel et al. | Filling disocclusions in extrapolated virtual views using hybrid texture synthesis | |
| GB2585197A (en) | Method and system for obtaining depth data | |
| US20130050420A1 (en) | Method and apparatus for performing image processing according to disparity information | |
| Yun et al. | A contrast enhancement method for HDR image using a modified image formation model | |
| KR20120074962A (en) | Method and apparatus for generating stereoscopic image in the mobile environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |