KR20140126609A

KR20140126609A - Apparatus and method for processing image

Info

Publication number: KR20140126609A
Application number: KR1020130045002A
Authority: KR
Inventors: 타케루 스즈끼
Original assignee: 삼성테크윈 주식회사
Priority date: 2013-04-23
Filing date: 2013-04-23
Publication date: 2014-10-31
Also published as: KR101932541B1

Abstract

The present invention relates to an image processing apparatus and an image processing method, and provides a technology which can avoid synthesizing an unnatural image and can correct a dark area without impairing the gradation of an appropriate exposure area. The image processing apparatus includes a parallax detection unit for detecting a parallax based on a left image and a parallax based on a right image for each block from a left image and right image photographed by a stereoscopic camera; a brightness correction unit for generating a left corrected image and a right corrected image by correcting the brightness of each of the left and right images; a mixing ratio calculation unit for calculating a mixing rate for left image mixing based on the left image based parallax, and at the same time calculating a mixing rate for right image mixing based on the right image based parallax; and a mixing unit for mixing the left image and the left corrected image based on the mixing rate for left image mixing, and at the same time mixing the right image and the right corrected image based on the mixing rate for right image mixing.

Description

[0001] Apparatus and method for processing image [0002]

본 발명은 화상 처리 장치 및 화상 처리 방법에 관한 것이다.The present invention relates to an image processing apparatus and an image processing method.

종래 촬상 신의 밝기를 고려한 촬상 화상의 보정 기술로서는 여러 가지 기술이 개시되어 있다. 예를 들면, 노출 언더로 촬영해 두고, 촬영에 의해 얻어진 화상에 대해 감마 처리를 실시함으로써 암부를 밝게 처리하는 기술이 개시되어 있다(예를 들면, 특허문헌 1 참조). 이러한 기술에 따르면, 간단하고 용이하게 암부 보정을 수행할 수 있다.BACKGROUND ART [0002] Various techniques have been disclosed as techniques for correcting a picked-up image in consideration of the brightness of picked up images. For example, there is disclosed a technique of brightening an arm portion by photographing with an under-exposure and performing gamma processing on an image obtained by photographing (see, for example, Patent Document 1). According to this technique, it is possible to perform the dark correction simply and easily.

또한, 예를 들면 노출을 바꾸어 복수 장 촬영하고(이른바 브라켓 촬영을 하고), 촬영에 의해 얻어진 복수장의 화상을 합성하는 기술이 개시되어 있다(예를 들면, 특허문헌 2 참조). 이러한 기술에 따르면, 높은 암부 보정 효과를 얻는 것이 가능하다. 또한, 1장의 화상으로부터 조명광을 추정하고, 추정한 조명광에 기초하여 암부를 보정하는 기술도 개시되어 있다(예를 들면, 동 공보 참조).Further, for example, a technique has been disclosed in which a plurality of images are photographed by changing the exposure (so-called bracket photographing), and a plurality of images obtained by photographing are synthesized (see, for example, Patent Document 2). According to this technique, it is possible to obtain a high dark correction effect. In addition, a technique of estimating illumination light from a single image and correcting the dark portion based on the estimated illumination light is also disclosed (see, for example, this publication).

또한, 예를 들면 스테레오 화상으로부터 시차를 검출하고, 시차가 큰 근경을 어둡게 함과 동시에 시차가 작은 원경을 밝게 하는 기술이 개시되어 있다(예를 들면, 특허문헌 3 참조). 이러한 기술에 따르면, 플래시 촬영 시에 바로 앞의 피사체가 밝아지는 현상과 배경이 어두워지는 현상을 보정하는 것이 가능하다.Further, for example, a technique has been disclosed in which a parallax is detected from a stereo image, a deep parallax is darkened, and a parallax having a small parallax is brightened (for example, refer to Patent Document 3). According to this technique, it is possible to correct a phenomenon in which a subject immediately ahead in a flash photographing becomes brighter and a phenomenon in which a background becomes dark.

일본특개 2008-160190호 공보Japanese Patent Application Laid-Open No. 2008-160190 일본특개 2008-104010호 공보Japanese Patent Application Laid-Open No. 2008-104010 일본특개 2010-26018호 공보Japanese Patent Application Laid-Open No. 2010-26018

그러나, 특허문헌 1에 개시된 기술에서는, 암부(예를 들면, 전경부) 이외에도 영향이 미침으로써 적정 노출 영역(예를 들면, 배경부)의 계조가 없어지고 하얗게 되어 버리는 현상도 생길 수 있는 단점이 있다.However, in the technique disclosed in Patent Document 1, there is a drawback that the gradation of an appropriate exposure area (for example, background part) disappears and becomes whitish due to the influence of other parts other than the dark part (for example, have.

또한, 특허문헌 2에 개시된 기술에서는, 움직임이 빠른 물체가 촬영된 경우에는 물체의 위치 차이가 커지기 때문에 합성 후의 화상이 부자연스러운 화상이 되어 버리는 결점이 있다. 또한, 촬영 시에 모드를 설정하고 나서 복수 장 촬영을 해야하는 점도 번잡하다. 또한, 암부와 검은 물체의 구별이나 명부와 흰 물체의 구별이 되지 않기 때문에, 합성 후의 화상이 조명광의 오추정에 의해 부자연스러운 화상이 될 수 있는 단점이 있다.Further, in the technique disclosed in Patent Document 2, when a fast moving object is photographed, there is a drawback that the positional difference of the object becomes large, and thus the image after synthesis becomes an unnatural image. In addition, it is troublesome to set a mode at the time of shooting and then take a plurality of shots. Further, since the distinction between the dark part and the dark part and the distinction between the bright part and the white object can not be made, there is the disadvantage that the image after synthesis can become an unnatural image due to the false estimation of the illumination light.

또한, 특허문헌 3에 개시된 기술에서는, 플래시 촬영된 화상에만 처리를 적용하는 것이다. 따라서, 플래시를 터뜨리지 않고도 스포트라이트 등이 비친 피사체를 촬영하는 등 플래시 촬영된 화상을 닮은 화상이 촬영된 경우에서도 화상 내용을 판정하여 같은 처리를 적용할 수는 없다. 또한, 역광 보정에는 이 처리는 적용할 수 없다.Further, in the technique disclosed in Patent Document 3, the processing is applied only to the flash photographed image. Therefore, even when an image resembling a flash photographed image is photographed, such as photographing a subject illuminated with a spotlight or the like without bursting the flash, the image content can not be judged and the same process can not be applied. This process can not be applied to backlight correction.

따라서, 본 발명은 부자연스러운 화상이 합성되는 것을 피하면서 적정 노출 영역의 계조를 손상시키지 않고 암부에 대한 보정을 수행하는 것이 가능한 기술을 제공하고자 하는 것이다.Accordingly, it is an object of the present invention to provide a technique capable of performing correction on a dark portion without harming the gradation of an appropriate exposure region while avoiding the synthesis of an unnatural image.

본 발명의 어떤 실시형태에 따르면, 스테레오 카메라에 의해 촬상된 좌측 화상과 우측 화상에서 좌측 화상 기준의 시차와 우측 화상 기준의 시차를 블록마다 검출하는 시차 검출부와, 상기 좌측 화상 및 상기 우측 화상 각각의 휘도를 보정함으로써 좌측 보정 화상 및 우측 보정 화상을 생성하는 휘도 보정부와, 상기 좌측 화상 기준의 시차에 기초하여 좌측 화상 혼합용 혼합 비율을 산출함과 동시에, 상기 우측 화상 기준의 시차에 기초하여 우측 화상 혼합용 혼합 비율을 산출하는 혼합 비율 산출부와, 상기 좌측 화상 혼합용 혼합 비율에 기초하여 상기 좌측 화상 및 상기 좌측 보정 화상을 혼합함과 동시에, 상기 우측 화상 혼합용 혼합 비율에 기초하여 상기 우측 화상 및 상기 우측 보정 화상을 혼합하는 혼합부를 구비하는 것을 특징으로 하는 화상 처리 장치가 제공된다.According to an embodiment of the present invention, there is provided a stereoscopic image display apparatus, comprising: a parallax detection section for detecting, for each block, the parallax of the left image reference and the parallax of the right image reference in the left image and the right image picked up by the stereo camera; A luminance correction section for generating a left-side corrected image and a right-side corrected image by correcting the luminance; and a luminance correction section for calculating a blending ratio for left-side image mixing based on the parallax of the left- A mixing ratio calculating unit for calculating a mixing ratio for mixing the left image and the left corrected image based on the mixture ratio for left image mixing, And a mixing unit for mixing the image and the right corrected image, Is provided.

이러한 구성에 따르면, 스테레오 화상으로부터 검출한 시차에 기초하여 화상의 휘도를 보정하기 때문에, 적정 노출 영역에는 영향을 주지 않고 암부 보정을 수행할 수 있다. 또한, 이러한 구성에 따르면, 보정 후의 화상과 보정 전의 원화상에 있어서 휘도만이 다르기 때문에, 움직임이 있는 물체가 촬영된 경우이어도 합성 후의 화상이 부자연스러워지는 등의 현상이 발생하는 것을 막을 수 있다. 또한, 이러한 구성에 따르면, 스테레오 화상으로부터 검출한 거리 정보를 기초로 보정을 수행하면 되기 때문에, 암부 보정을 수행하기 위한 모드 설정을 촬영 시에 할 필요가 없고, 촬영 후에 필요에 따라 보정 처리를 수행하면 암부 보정이 가능하다.According to this configuration, since the brightness of the image is corrected based on the parallax detected from the stereo image, the dark correction can be performed without affecting the proper exposure area. Further, according to such a configuration, since only the luminance is different between the corrected image and the original image before correction, it is possible to prevent occurrence of phenomenon such as unnaturalness of the image after synthesis even in the case where the moving object is photographed. According to such a configuration, since the correction is performed on the basis of the distance information detected from the stereo image, it is not necessary to set the mode for performing the dark correction at the time of shooting, and the correction processing The dark part correction is possible.

또, 본 실시형태에 관한 기술은 역광시뿐만 아니라 스포트라이트나 플래시가 비쳐 피사체의 배경이 어둡게 되는 상황에도 대응 가능하다. 즉, 암부에 영향을 주지 않는 정확한 암부 보정을 수행하는 것이 가능하다는 점이다. 예를 들면, 역광시에는 바로 앞에 위치하는 피사체만을 밝게 보정함으로써 적정 노출이 되어 있는 배경 영역에는 영향을 주지 않고 암부를 보정할 수 있다. 또한, 바로 앞에 밝은 피사체가 있는 경우에는, 배경만을 밝게 보정함으로써 적정 노출이 되어 있는 피사체에는 영향을 주지 않고 암부를 보정할 수 있다. 본 실시형태에 관한 기술에 따르면, 바로 앞을 보정하는 방법을 채용할지 안쪽을 보정하는 방법을 채용할지 등의 판정을 하여 처리를 전환하기 때문에, 양쪽 모두의 패턴에 대응할 수 있다.The technique according to the present embodiment is applicable not only to backlighting but also to a situation in which the background of the subject is darkened by a spotlight or a flash. That is, it is possible to perform accurate dark correction without affecting the dark areas. For example, at the time of backlighting, only the subject located immediately in front of the subject is brightly corrected, so that the dark region can be corrected without affecting the background region that has been properly exposed. In addition, when there is a bright subject in front of the subject, the subject can be corrected without affecting the subject that has been properly exposed by correcting only the background. According to the technique of the present embodiment, since processing is switched by determining whether to employ a method of correcting the immediately preceding or a method of correcting the inside, both patterns can be dealt with.

상기 혼합 비율 산출부는, 블록마다 검출된 상기 좌측 화상 기준의 시차에 기초하여 좌측 화상 혼합용 혼합 비율을 블록마다 산출함과 동시에, 블록마다 검출된 상기 우측 화상 기준의 시차에 기초하여 우측 화상 혼합용 혼합 비율을 블록마다 산출할 수 있다. 이러한 구성에 따르면, 블록마다 검출된 시차에 기초하여 혼합 비율도 블록마다 산출하는 것이 가능하다.Wherein the blending ratio calculating section calculates the blending ratio for left image mixing for each block on the basis of the parallax of the left image reference detected for each block and calculates the blending ratio for the right image blending based on the parallax of the right image reference detected for each block The blending ratio can be calculated for each block. According to this configuration, the blending ratio can also be calculated for each block based on the parallax detected for each block.

상기 시차 검출부는, 블록마다 검출된 상기 좌측 화상 기준의 시차에 대한 블록 간의 선형 보간에 의해 상기 좌측 화상 기준의 시차를 화소마다 산출함과 동시에, 블록마다 검출된 상기 우측 화상 기준의 시차에 대한 블록 간의 선형 보간에 의해 상기 우측 화상 기준의 시차를 화소마다 산출하고, 상기 혼합 비율 산출부는, 화소마다 산출된 상기 좌측 화상 기준의 시차에 기초하여 좌측 화상 혼합용 혼합 비율을 화소마다 산출함과 동시에, 화소마다 산출된 상기 우측 화상 기준의 시차에 기초하여 우측 화상 혼합용 혼합 비율을 화소마다 산출할 수 있다. 이러한 구성에 따르면, 블록 간의 선형 보간에 의해 화소마다의 시차에 기초하여 혼합 비율을 화소마다 산출하는 것이 가능하다.Wherein the parallax detection unit calculates the parallax of the left image reference by linear interpolation between the blocks with respect to the parallax of the left image reference detected for each block and calculates the parallax of the right image reference by the block Wherein the mixing ratio calculating unit calculates the left image mixing blending ratio for each pixel on the basis of the parallax of the left image reference calculated for each pixel, The right side image mixing blending ratio can be calculated for each pixel based on the parallax of the right image reference calculated for each pixel. According to this configuration, it is possible to calculate the blending ratio for each pixel based on the parallax for each pixel by linear interpolation between blocks.

상기 휘도 보정부는, 상기 좌측 화상 및 상기 우측 화상 각각의 휘도를 높임으로써 상기 좌측 보정 화상 및 상기 우측 보정 화상을 생성해도 된다. 이러한 구성에 따르면, 화상에 대해 암부를 밝게 처리하는 보정을 수행할 수 있다.The luminance correction section may generate the left-side corrected image and the right-side corrected image by increasing the luminance of the left image and the right image, respectively. According to this configuration, it is possible to perform correction for brightening the arm portion with respect to the image.

상기 혼합 비율 산출부는, 상기 시차가 소정의 범위 내에 들어가는 경우, 상기 시차가 클수록 상기 좌측 보정 화상 및 상기 우측 보정 화상에 곱해지는 혼합 비율을 크게 산출할 수 있다. 이러한 구성에 따르면, 예를 들어 휘도를 높이는 보정이 이루어짐으로써 보정 화상이 생성되어 있는 경우에는, 바로 앞에 있는 피사체 영역에 대해 휘도를 높이는 보정이 이루어지기 때문에 적절히 역광 보정을 수행하는 것이 가능하다.When the parallax is within a predetermined range, the blending ratio calculating unit can calculate a blending ratio that is multiplied by the left-side corrected image and the right-side corrected image as the parallax becomes larger. According to such a configuration, for example, in the case where a corrected image is generated by correcting the luminance, correction for increasing the luminance is performed on the immediately preceding subject area, so that backlight correction can be appropriately performed.

상기 화상 처리 장치는, 상기 좌측 화상 및 상기 우측 화상 중 적어도 어느 한쪽의 화상의 휘도와 그 화상 기준의 시차의 조합의 분포에 기초하여 혼합 비율 산출 방법을 판정하는 판정부를 더 구비하고, 상기 혼합 비율 산출부는, 상기 혼합 비율 산출 방법을 이용하여 상기 좌측 화상 혼합용 혼합 비율 및 상기 우측 화상 혼합용 혼합 비율을 산출할 수 있다. 이러한 구성에 따르면, 예를 들어 역광시에는 바로 앞에 위치하는 피사체만을 밝게 보정함으로써 적정 노출이 되어 있는 배경 영역에는 영향을 주지 않고 암부를 보정할 수 있다. 또한, 바로 앞에 밝은 피사체가 있는 경우에는, 배경만을 밝게 보정함으로써 적정 노출이 되어 있는 피사체에는 영향을 주지 않고 암부를 보정할 수 있다.The image processing apparatus further includes a judging section for judging a blending ratio calculating method based on a distribution of a combination of the brightness of at least one of the left image and the right image and the parallax of the image reference, The calculating unit may calculate the mixing ratio for the left image mixing and the mixing ratio for the right image mixing using the mixing ratio calculating method. According to such a configuration, for example, when backlighting is performed, only the subject located immediately in front of the backlight is brightly corrected, so that the dark region can be corrected without affecting the background region that has been properly exposed. In addition, when there is a bright subject in front of the subject, the subject can be corrected without affecting the subject that has been properly exposed by correcting only the background.

상기 판정부는 제1 혼합 비율 산출 방법 및 제2 혼합 비율 산출 방법 중 어느 하나를 판정하고, 상기 혼합 비율 산출부는 상기 제1 혼합 비율 산출 방법을 이용하는 경우에는, 상기 시차가 소정의 제1 범위 내에 들어가는 경우, 상기 시차가 클수록 상기 좌측 보정 화상 및 상기 우측 보정 화상에 곱해지는 혼합 비율을 크게 산출하고, 상기 제2 혼합 비율 산출 방법을 이용하는 경우에는, 상기 시차가 소정의 제2 범위 내에 들어가는 경우, 상기 시차가 클수록 상기 좌측 보정 화상 및 상기 우측 보정 화상에 곱해지는 혼합 비율을 작게 산출할 수 있다. 이러한 구성에 따르면, 예를 들어 휘도를 높이는 보정이 이루어짐으로써 보정 화상이 생성되어 있는 경우에는, 역광시에는 바로 앞에 있는 피사체 영역에 대해 휘도를 높이는 보정이 이루어지고, 바로 앞에 밝은 피사체가 있는 경우에는 배경에 대해 휘도를 높이는 보정이 이루어진다.Wherein the judging unit judges one of the first mixing ratio calculating method and the second mixing ratio calculating method, and when the first mixing ratio calculating method is used, the mixing ratio calculating unit calculates the mixing ratio The difference between the left correction image and the right correction image is calculated to be larger as the parallax is larger and when the parallax is within a predetermined second range when the second mixing ratio calculation method is used, The larger the parallax is, the smaller the blending ratio multiplied by the left-side corrected image and the right-side corrected image can be calculated. According to such a configuration, for example, in the case where a corrected image is generated by performing correction for increasing the brightness, correction is performed to increase the brightness of the subject area immediately in front of the backlight, and if there is a bright subject in front of A correction is made to increase the brightness of the background.

또한, 본 발명의 다른 실시형태에 따르면, 스테레오 카메라에 의해 촬상된 좌측 화상과 우측 화상에서 좌측 화상 기준의 시차와 우측 화상 기준의 시차를 블록마다 검출하는 단계와, 상기 좌측 화상 및 상기 우측 화상 각각의 휘도를 보정함으로써 좌측 보정 화상 및 우측 보정 화상을 생성하는 단계와, 상기 좌측 화상 기준의 시차에 기초하여 좌측 화상 혼합용 혼합 비율을 산출함과 동시에, 상기 우측 화상 기준의 시차에 기초하여 우측 화상 혼합용 혼합 비율을 산출하는 단계와, 상기 좌측 화상 혼합용 혼합 비율에 기초하여 상기 좌측 화상 및 상기 좌측 보정 화상을 혼합함과 동시에, 상기 우측 화상 혼합용 혼합 비율에 기초하여 상기 우측 화상 및 상기 우측 보정 화상을 혼합하는 단계를 포함하는 것을 특징으로 하는 화상 처리 방법이 제공된다.According to another embodiment of the present invention, there is provided a method of detecting a parallax of a left image reference and a parallax of a right image reference in a left image and a right image captured by a stereo camera, A left-side corrected image and a right-corrected image by correcting the luminance of the left image reference based on the parallax of the right image reference, Mixing the left-side image and the left-side corrected image based on the mixture ratio for left-side image mixing, and calculating the mixing ratio for the right-side image based on the right- And a step of mixing the corrected image.

이러한 방법에 따르면, 스테레오 화상으로부터 검출한 시차에 기초하여 화상의 휘도를 보정하기 때문에, 적정 노출 영역에는 영향을 주지 않고 암부 보정을 수행할 수 있다. 또한, 이러한 구성에 따르면, 보정 후의 화상과 보정 전의 원화상에 있어서 휘도만이 다르기 때문에, 움직임이 있는 물체가 촬영된 경우이어도 합성 후의 화상이 부자연스러워지는 등의 현상이 발생하는 것을 막을 수 있다. 또한, 이러한 구성에 따르면, 스테레오 화상으로부터 검출한 거리 정보를 기초로 보정을 수행하면 되기 때문에, 암부 보정을 수행하기 위한 모드 설정을 촬영 시에 할 필요가 없고, 촬영 후에 필요에 따라 보정 처리를 수행하면 암부 보정이 가능하다.According to this method, since the brightness of the image is corrected based on the parallax detected from the stereo image, the dark correction can be performed without affecting the proper exposure area. Further, according to such a configuration, since only the luminance is different between the corrected image and the original image before correction, it is possible to prevent occurrence of phenomenon such as unnaturalness of the image after synthesis even in the case where the moving object is photographed. According to such a configuration, since the correction is performed on the basis of the distance information detected from the stereo image, it is not necessary to set the mode for performing the dark correction at the time of shooting, and the correction processing The dark part correction is possible.

이상 설명한 바와 같이, 본 발명에 따르면, 부자연스러운 화상이 합성되는 것을 피하면서 적정 노출 영역의 계조를 손상시키지 않고 암부에 대한 보정을 수행하는 것이 가능하다.As described above, according to the present invention, it is possible to perform correction on the dark portion without damaging the gradation of the proper exposure region while avoiding the synthesis of the unnatural image.

도 1은 본 발명의 일 실시 예에 따른 화상 처리 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 산출부의 구성을 보이는 블록도 이다.
도 3은 도 1 중 스테레오 카메라에 의해 촬상된 좌측 화상 및 우측 화상의 예를 보이는 도면이다.
도 4는 도 1 중 휘도 보정부의 기능을 설명하기 위한 도면이다.
도 6은 도 1 중 휘도와 시차와의 조합에 대한 분류 예를 보이는 도면이다.
도 7은 도 1 중 조합의 분포에 따라서 화상의 성질을 추정하는 예를 보이는 도면이다.
도 8은 도 1 중 화상의 성질에 다른 혼합 비율 산출 방법의 예를 보이는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 화상 처리 방법의 동작을 보이는 흐름도 이다.1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention.
2 is a block diagram showing the configuration of the calculation unit in FIG.
Fig. 3 is a diagram showing an example of a left side image and a right side image taken by the stereo camera in Fig. 1;
4 is a diagram for explaining the function of the luminance corrector in FIG.
6 is a view showing an example of classification of a combination of luminance and parallax in FIG.
7 is a diagram showing an example of estimating the properties of an image according to the distribution of combinations in Fig.
8 is a view showing an example of a mixing ratio calculating method different from the characteristic of an image in Fig.
9 is a flowchart showing an operation of an image processing method according to an embodiment of the present invention.

이하에 첨부 도면을 참조하면서 본 발명의 적합한 실시형태에 대해 상세하게 설명한다. 또, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 구성요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, and redundant description will be omitted.

또한, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 복수의 구성요소를 동일한 부호 뒤에 다른 알파벳을 부여하여 구별하는 경우도 있다. 단, 실질적으로 동일한 기능 구성을 갖는 복수의 구성요소 각각을 특별히 구별할 필요가 없는 경우, 동일 부호만을 부여한다.In the specification and drawings, a plurality of constituent elements having substantially the same functional configuration may be distinguished from each other by assigning the same letters to different alphabets. However, when it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numeral is given.

도 1은 본 발명의 실시형태에 관한 화상 처리 장치(10)의 구성 예를 도시한 도면이다. 도 1에 도시된 바와 같이, 화상 처리 장치(10)는 카메라(20A), 카메라(20B), 현상 처리부(110A), 현상 처리부(110B), 휘도 보정부(120A), 휘도 보정부(120B), 시차 검출부(130), 휘도 취득부(140), 산출부(150), 혼합부(160A) 및 혼합부(160B)를 포함하고 있다. 또한, 도 2는 화상 처리 장치(10)의 산출부(150)의 구성 예를 도시한 도면이다. 도 2에 도시된 바와 같이, 산출부(150)는 판정부(151) 및 혼합 비율 산출부(152)를 포함하고 있다. 이하, 화상 처리 장치(10)가 구비하는 각 기능 블록의 기능에 대해 순차적으로 상세하게 설명한다.1 is a diagram showing a configuration example of an image processing apparatus 10 according to an embodiment of the present invention. 1, the image processing apparatus 10 includes a camera 20A, a camera 20B, a development processing unit 110A, a development processing unit 110B, a luminance correction unit 120A, a luminance correction unit 120B, A parallax detection unit 130, a brightness acquisition unit 140, a calculation unit 150, a mixing unit 160A, and a mixing unit 160B. 2 is a diagram showing a configuration example of the calculation unit 150 of the image processing apparatus 10. As shown in FIG. 2, the calculating unit 150 includes a judging unit 151 and a mixing ratio calculating unit 152. [ Hereinafter, the function of each functional block included in the image processing apparatus 10 will be described in detail in order.

카메라(20A) 및 카메라(20B)는 스테레오 카메라를 구성하고 있다. 즉, 카메라(20A) 및 카메라(20B) 각각은 촬상을 수행함으로써 촬상 화상을 취득한다. 이하에서는, 카메라(20A)에 의한 촬상 화상을 좌측 화상이라고 하고, 카메라(20B)에 의한 촬상 화상을 우측 화상이라고 부른다. 도 3은 스테레오 카메라에 의해 촬상된 좌측 화상 및 우측 화상의 예를 도시한 도면이다. 또한, 본 발명의 실시형태에서는 화상 처리 장치(10)가 스테레오 카메라를 구비하는 것으로 기재되어 있으나, 스테레오 카메라는 화상 처리 장치(10)의 외부에 구비되어 있을 수도 있다.The camera 20A and the camera 20B constitute a stereo camera. That is, each of the camera 20A and the camera 20B acquires a captured image by performing imaging. Hereinafter, the captured image by the camera 20A is referred to as the left image, and the captured image by the camera 20B is referred to as the right image. 3 is a view showing an example of a left side image and a right side image taken by a stereo camera. In the embodiment of the present invention, it is described that the image processing apparatus 10 is provided with a stereo camera, but the stereo camera may be provided outside the image processing apparatus 10.

현상 처리부(110A)는 좌측 화상에 대해 필요에 따라 현상 처리를 실시하고, 현상 처리부(110B)는 우측 화상에 대해 필요에 따라 현상 처리를 실시한다. 현상 처리는, 예를 들면 촬상 소자가 Bayer 센서인 경우에는 촬상 화상에 대해 디모자이크(de-mosic) 처리를 하여 RGB 신호로 변환하는 처리, 컬러 매트릭스 연산 처리, YUV 변환 처리, 노이즈 리덕션(noise reduction) 처리 등을 포함할 수 있다.The development processing section 110A performs development processing as needed for the left image, and the development processing section 110B performs development processing for the right image as necessary. The development processing is a processing for de-mosic processing the captured image to convert it into an RGB signal when the imaging element is a Bayer sensor, a color matrix operation processing, a YUV conversion processing, a noise reduction ) Processing, and the like.

휘도 보정부(120A)는 좌측 화상의 휘도를 보정함으로써 좌측 보정 화상을 생성하는 기능을 가지고, 휘도 보정부(120B)는 우측 화상의 휘도를 보정함으로써 우측 보정 화상을 생성한다. 여기서, 좌측 화상 및 우측 화상 각각의 휘도 보정 방법은 특별히 한정되지 않는다. 예를 들면, 휘도 보정부(120A)는 좌측 화상의 휘도를 높임으로써 좌측 보정 화상을 생성하고, 휘도 보정부(120B)는 우측 화상의 휘도를 높임으로써 우측 보정 화상을 생성한다.The brightness correcting unit 120A has a function of generating a left corrected image by correcting the brightness of the left image, and the brightness correcting unit 120B corrects the brightness of the right image to generate a right corrected image. Here, the luminance correction method of each of the left image and the right image is not particularly limited. For example, the brightness correction section 120A generates the left corrected image by increasing the brightness of the left image, and the brightness correction section 120B increases the brightness of the right image to generate the right corrected image.

도 4는 휘도 보정부(120)의 기능을 설명하기 위한 도면이다. 도 4에 도시된 바와 같이, 예를 들면 휘도 보정부(120A)는 좌측 화상의 Y신호(휘도 신호)에 대해 감마 처리를 실시함으로써 좌측 화상의 휘도를 높일 수 있다. 마찬가지로 예를 들면, 휘도 보정부(120B)는 좌측 화상의 Y(휘도) 신호에 대해 감마 처리를 실시함으로써 우측 화상의 휘도를 높일 수 있다. 이러한 휘도를 높이는 보정에 의해 촬상 화상 내의 암부를 밝게 처리할 수 있다.FIG. 4 is a diagram for explaining the function of the brightness correction section 120. FIG. As shown in Fig. 4, for example, the luminance correction section 120A can increase the luminance of the left image by performing gamma processing on the Y signal (luminance signal) of the left image. Likewise, for example, the luminance correction section 120B can increase the luminance of the right image by performing gamma processing on the Y (luminance) signal of the left image. The dark portion in the captured image can be brightened by the correction for increasing the brightness.

또한, 여기서는 구체적인 예로서 Y(휘도) 신호에 대해 감마 처리를 실시함으로써 휘도의 보정이 이루어지는 것으로 하였지만, RGB 신호에 대해 감마 처리를 실시함으로써 휘도의 보정이 이루어질 수 있고, RGB 신호에 대해 게인을 곱함으로써 휘도의 보정이 이루어질 수도 있다.Although luminance correction is performed by performing gamma processing on the Y (luminance) signal as a specific example, the luminance can be corrected by performing the gamma processing on the RGB signals, and the gain can be multiplied The luminance may be corrected.

도 5는 시차 검출부(130)의 기능을 설명하기 위한 도면이다. 도 5에 도시된 바와 같이, 예를 들면 시차 검출부(130)는 스테레오 카메라에 의해 촬상된 좌측 화상과 우측 화상의 사이에서의 좌측 화상을 기준으로 한 시차(이하, 「좌측 화상 기준의 시차」라고 표기함)와 우측 화상을 기준으로 한 시차(이하, 「우측 화상 기준의 시차」라고 표기함)를 블록마다 검출한다. 각 블록의 크기나 형상은 특별히 한정되지 않는다. 시차의 검출은, 예를 들면 직사각형 매크로 블록 단위의 블록 매칭법에 의해 수행될 수 있고, 옵티컬 플로우 등을 이용하여 수행될 수도 있다.5 is a diagram for explaining the function of the time difference detecting section 130; 5, for example, the time difference detector 130 calculates a time difference (hereinafter referred to as " time difference of the left image reference ") based on the left image between the left image and the right image captured by the stereo camera (Hereinafter referred to as " parallax on the right image reference ") based on the right image is detected for each block. The size and shape of each block are not particularly limited. The detection of the parallax can be performed, for example, by a block matching method on a rectangular macroblock unit basis, or by using an optical flow or the like.

또한, 시차 검출부(130)는 블록 단위의 시차를 한층 더 블록 간의 선형 보간에 의해 내부에 삽입하여 1화소 단위로 시차를 부여할 수도 있다. 즉, 시차 검출부(130)는 블록마다 검출된 좌측 화상 기준의 시차에 대한 블록 간의 선형 보간에 의해 좌측 화상 기준의 시차를 화소마다 산출할 수 있다. 또한, 시차 검출부(130)는 블록마다 검출된 우측 화상 기준의 시차에 대한 블록 간의 선형 보간에 의해 우측 화상 기준의 시차를 화소마다 산출할 수도 있다.In addition, the parallax detection unit 130 may insert parallax in units of blocks by interlinear interpolation between blocks to give parallax on a pixel-by-pixel basis. That is, the parallax detection unit 130 can calculate the parallax of the left image reference for each pixel by linear interpolation between blocks with respect to the parallax of the left image reference detected for each block. The parallax detection section 130 may also calculate the parallax of the right image reference for each pixel by linear interpolation between blocks with respect to the parallax of the right image reference detected for each block.

휘도 취득부(140)는, 좌측 화상 및 우측 화상 중 적어도 어느 한 쪽 화상의 휘도를 취득한다. 휘도 취득부(140)에 의해 취득되는 휘도는 매 화소의 휘도 일 수 있고, 매 블록의 휘도 일 수도 있다. 예를 들면, 휘도 취득부(140)에 의해 취득되는 휘도가 매 블록의 휘도인 경우에는, 각 블록을 구성하는 복수의 화소의 평균 휘도를 매 블록의 휘도로 취득할 수 있다. 여기서의 블록은 시차 검출시에 사용되는 블록과 동일하다. 좌측 화상과 우측 화상 중 어느 쪽으로부터 휘도를 취득할지는 미리 결정될 수 있고, 사용자나 어플리케이션(application)에 의해 결정될 수도 있다.The brightness acquisition section 140 acquires the brightness of at least one of the left image and the right image. The luminance acquired by the luminance acquisition section 140 may be the luminance of each pixel or the luminance of each block. For example, when the luminance acquired by the luminance acquisition section 140 is the luminance of each block, the average luminance of the plurality of pixels constituting each block can be acquired as the luminance of each block. The block here is the same as the block used in the parallax detection. Whether to acquire the luminance from the left image or the right image can be determined in advance and may be determined by a user or an application.

판정부(151)는, 휘도 취득부(140)에 의해 취득된 휘도와 해당 화상 기준의 시차의 조합의 분포에 기초하여 혼합 비율 산출 방법을 판정한다. 예를 들면, 판정부(151)는 각 블록에 대한 휘도와 시차의 조합을 분류하고, 그 분류 결과에 기초하여 혼합 비율 산출 방법을 판정해도 된다.The determining section 151 determines the mixing ratio calculating method based on the distribution of the combination of the luminance acquired by the luminance acquiring section 140 and the parallax of the image reference. For example, the determination section 151 may classify the combination of the luminance and the parallax for each block, and determine the mixture ratio calculation method based on the classification result.

도 6은 휘도와 시차의 조합에 대한 분류 예를 도시한 도면이다. 도 6에 도시된 바와 같이, 예를 들면 시차에 관해 문턱값(THD1) 및 문턱값(THD2)이 구비되어 있는 경우, 판정부(151)는 문턱값(THD1)보다 작은 시차(이하, 「소시차」라고 표기함), 문턱값(THD1)보다 크고 문턱값(THD2)보다 작은 시차(이하, 「중시차」라고 표기함) 및 문턱값(THD2)보다 큰 시차(이하, 「대시차」라고 표기함) 중 어느 하나로 각 블록을 분류한다.6 is a diagram showing an example of classification for a combination of luminance and parallax. 6, for example, when the threshold value THD1 and the threshold value THD2 are provided for the parallax, the judging section 151 judges whether or not the parallax is smaller than the threshold value THD1 (Hereinafter referred to as a "parallax") larger than the threshold value THD1 and smaller than the threshold value THD2 (hereinafter referred to as the "important difference value") and the threshold value THD2 (Not shown).

소시차는 피사체까지의 거리가 먼 경우에 검출되는 시차이고, 중시차는 피사체까지의 거리가 중간 정도인 경우에 검출되는 시차이며, 대시차는 피사체까지의 거리가 가까운 경우에 검출되는 시차이다. 시차가 문턱값(THD1)과 같은 경우에는 소시차 및 중시차 중 어느 한 시차로 분류될 수 있고, 시차가 문턱값(THD2)과 같은 경우에는 중시차 및 대시차 중 어느 한 시차로 분류될 수 있다.The time difference is a time difference detected when the distance to the subject is intermediate, and the time difference is a time difference detected when the distance to the subject is close. If the parallax is equal to the threshold value (THD1), it can be classified into either a time difference or an intermediate time difference. If the time difference is equal to the threshold value (THD2), the time difference have.

또, 휘도에 관해 문턱값(THL1) 및 문턱값(THL2)이 구비되어 있는 경우, 판정부(151)는 문턱값(THL1)보다 작은 휘도(이하, 「저휘도」라고 표기함), 문턱값(THL1)보다 크고 문턱값(THL2)보다 작은 휘도(이하, 「중휘도」라고 표기함) 및 문턱값(THL2)보다 큰 휘도(이하, 「고휘도」라고 표기함) 중 어느 하나로 각 블록을 분류한다.When the threshold value THL1 and the threshold value THL2 are provided for the luminance, the determining section 151 determines whether the luminance lower than the threshold value THL1 (hereinafter referred to as " low luminance "), (Hereinafter referred to as " high brightness ") that is larger than the threshold value THL1 and smaller than the threshold value THL2 (hereinafter referred to as " medium brightness ") and the threshold value THL2 do.

휘도가 문턱값(THL1)과 같은 경우에는 저휘도 및 중휘도 중 어느 한 휘도로 분류될 수 있고, 휘도가 문턱값(THL2)과 같은 경우에는 중휘도 및 고휘도 중 어느 한 휘도로 분류될 수 있다. 이러한 분류가 이루어진 경우, 각 블록은 예를 들면 도 6에 도시된 구분(C1~C9) 중 어느 하나로 분류된다. 판정부(151)는, 각 구분으로 분류되는 블록의 빈도를 빈도 분포로서 생성한다. 이 빈도 분포에 의해 화상의 성질이 추정된다.If the luminance is equal to the threshold value THL1, it can be classified into one of the low luminance and the medium luminance. If the luminance is equal to the threshold value THL2, the luminance can be classified into one of the middle luminance and the high luminance . When such classification is performed, each block is classified into any one of the segments C1 to C9 shown in FIG. 6, for example. The determination section 151 generates the frequency of the blocks classified into the respective sections as the frequency distribution. The nature of the image is estimated by this frequency distribution.

도 7은 조합의 분포에 따라 화상의 성질을 추정하는 예를 도시한 도면이다. 예를 들면, 피사체에 대해 광을 바로 앞에서 비추는 경우(예를 들면, 스포트라이트 사용시 혹은 플래시 사용시 등이 해당함. 이하, 이 경우를 단지 「스포트라이트시」라고 하는 경우도 있음), 피사체가 밝게 비치고 배경이 어둡게 비치는 경향이 있다. 이러한 경우에는, 피사체는 대시차·고휘도가 되기 때문에 도 6에 도시된 구분(C1)에 속하고, 배경은 소시차·저휘도가 되기 때문에 구분(C9)에 속한다. 그 결과, 예를 들면 도 7에 도시된 「스포트라이트시」에 나타내는 바와 같은 빈도 분포를 취한다.7 is a diagram showing an example of estimating the properties of an image according to the distribution of combinations. For example, in the case of directing the light from the front of the object (for example, when the spotlight is used or when the flash is used), this case may be referred to as "spotlight" It tends to be dark. In this case, the subject belongs to the segment (C1) shown in Fig. 6 because of the parallax and the high luminance, and the background belongs to the segment (C9) because the background becomes the low luminance. As a result, for example, it takes a frequency distribution as shown in "Spotlight Time" shown in FIG.

한편, 예를 들면 피사체에 대해 광을 안쪽으로부터 비추는 경우(예를 들면, 역광의 경우), 피사체가 어둡게 비치는 경향이 있다. 이러한 경우에는, 피사체는 대시차·저휘도이므로 도 6에 도시된 구분(C7)에 속하고, 배경은 소시차·중휘도~고휘도가 되기 때문에 구분(C3)이나 구분(C6)에 속한다. 그 결과, 예를 들면 도 7에 도시된 「역광시」에 나타내는 바와 같은 휘도 분포를 취한다. 이와 같이 시차와 휘도의 상관 관계로부터 화상의 성질을 추정할 수 있다.On the other hand, for example, when light is projected from the inside of a subject (for example, backlight), the subject tends to be dark. In this case, the subject belongs to the segment (C7) shown in Fig. 6 because it is the parallax and the low brightness, and belongs to the segment (C3) or segment (C6) because the background has the smallest to medium brightness to high brightness. As a result, for example, a luminance distribution as shown in "backlight time" shown in FIG. 7 is taken. Thus, the nature of the image can be estimated from the correlation between the parallax and the luminance.

보다 상세하게는, 예를 들면 판정부(151)는 구분(C3) 및 구분(C7)에 속한 블록의 빈도를 제1 빈도라고 하고, 구분(C1) 및 구분(C9)에 속한 블록을 제2 빈도라고 하는 경우, 제1 빈도가 제2 빈도보다 많은 경우에는 그 화상은 「역광시」에 촬영되었다고 추정할 수 있다. 또한, 판정부(151)는, 제2 빈도가 제1 빈도보다 많은 경우에는 그 화상은 「스포트라이트시」에 촬영되었다고 추정할 수 있다. 판정부(151)는, 예를 들면 「역광시」에 촬영되었다고 추정한 경우에는 제1 혼합 비율 산출 방법을 판정한다. 또한, 판정부(151)는, 예를 들면 「스포트라이트시」에 촬영되었다고 추정한 경우에는 제2 혼합 비율 산출 방법을 판정한다.More specifically, for example, the judging unit 151 sets the frequency of the block belonging to the segment C3 and the segment C7 as the first frequency, the block belonging to the segment C1 and the segment C9 as the second frequency, In the case of frequency, when the first frequency is larger than the second frequency, it can be assumed that the image is photographed at the time of "backlight". Further, when the second frequency is larger than the first frequency, the determination unit 151 can estimate that the image is photographed at the time of " spotlight ". When it is estimated that the image is photographed in the " backlight time ", for example, the judgment section 151 judges the first mixing ratio calculation method. Further, when it is estimated that the photographing is performed in " Spotlight ", the judging unit 151 judges the second blending ratio calculating method.

혼합 비율 산출부(152)는, 좌측 화상 기준의 시차에 기초하여 좌측 화상 혼합용 혼합 비율을 산출함과 동시에, 우측 화상 기준의 시차에 기초하여 우측 화상 혼합용 혼합 비율을 산출한다. 예를 들면, 혼합 비율 산출부(152)는, 블록마다 검출된 좌측 화상 기준의 시차에 기초하여 좌측 화상 혼합용 혼합 비율을 블록마다 산출함과 동시에, 블록마다 검출된 상기 우측 화상 기준의 시차에 기초하여 우측 화상 혼합용 혼합 비율을 블록마다 산출한다.The blending ratio calculating unit 152 calculates the blending ratio for left image mixing based on the parallax of the left image reference and calculates the blending ratio for right image blending based on the parallax of the right image reference. For example, the blending ratio calculating section 152 calculates the blending ratio for the left image mixture for each block based on the parallax of the left image reference detected for each block, and calculates the blending ratio for the right image reference The mixing ratio for the right side image mixing is calculated for each block.

또한, 혼합 비율 산출부(152)는 화소마다 산출된 시차에 기초하여 혼합 비율을 산출할 수 있다. 즉, 혼합 비율 산출부(152)는, 화소마다 산출된 좌측 화상 기준의 시차에 기초하여 좌측 화상 혼합용 혼합 비율을 화소마다 산출함과 동시에, 화소마다 산출된 상기 우측 화상 기준의 시차에 기초하여 우측 화상 혼합용 혼합 비율을 화소마다 산출할 수도 있다. 따라서, 블록마다 이루어지는 혼합 비율의 산출은 화소마다 이루어지는 혼합 비율의 산출일 수도 있다.The blending ratio calculating unit 152 can calculate the blending ratio based on the parallax calculated for each pixel. That is, the blending ratio calculating unit 152 calculates the blending ratio for left image mixing for each pixel based on the parallax of the left image reference calculated for each pixel, and calculates the mixing ratio for each pixel based on the parallax of the right image reference calculated for each pixel The mixing ratio for the right image mixing may be calculated for each pixel. Therefore, the calculation of the blending ratio for each block may be the calculation of the blending ratio for each pixel.

혼합 비율 산출부(152)는, 판정부(151)에 의해 판정된 혼합 비율 산출 방법을 이용하여 좌측 화상 혼합용 혼합 비율 및 우측 화상 혼합용 혼합 비율을 산출할 수 있다. 예를 들면, 판정부(151)에 의해 화상이 「역광시」에 촬영되었다고 추정된 경우에는 제1 혼합 비율 산출 방법이 판정되기 때문에, 그 방법을 이용하여 혼합 비율을 산출하면 된다. 또한, 예를 들면, 판정부(151)에 의해 화상이 「스포트라이트시」에 촬영되었다고 추정된 경우에는 제2 혼합 비율 산출 방법이 판정되기 때문에, 그 방법을 이용하여 혼합 비율을 산출하면 된다.The mixing ratio calculating unit 152 can calculate the mixture ratio for left image mixing and the mixing ratio for right image mixing using the mixing ratio calculating method determined by the determining unit 151. [ For example, when it is estimated by the judging unit 151 that the image is photographed in the backlit state, the first blending ratio calculating method is judged, and therefore, the blending ratio can be calculated using the method. Further, for example, when it is estimated by the judging unit 151 that the image is photographed in the " spotlight ", the second blending ratio calculating method is determined, and therefore, the blending ratio can be calculated using the method.

도 8은 화상의 성질에 따른 혼합 비율 산출 방법의 예를 도시한 도면이다. 도 8에 도시된 바와 같이, 예를 들면 「역광시」에 촬영되었다고 추정된 경우에는, 혼합 비율 산출부(152)는 시차가 문턱값(TH3)부터 문턱값(TH4)의 사이에 들어가는 경우, 시차가 클수록 좌측 보정 화상 및 우측 보정 화상에 곱해지는 혼합 비율을 크게 산출할 수 있다. 이는, 「역광시」에는 시차가 작을수록 어둡게 비쳐 버리는 것으로 추정되기 때문에 휘도를 높이는 보정이 수행된 보정 화상의 혼합 비율을 크게 하는 것이 바람직하기 때문이다. 문턱값(TH3) 및 문턱값(TH4)은 적절히 변경될 수 있다.8 is a diagram showing an example of a blending ratio calculating method according to properties of an image. 8, for example, when it is estimated that the image is photographed in the backlit state, the blending ratio calculating section 152 calculates the blending ratio when the parallax falls within the range from the threshold value TH3 to the threshold value TH4, The larger the parallax is, the larger the blending ratio multiplied by the left-side corrected image and the right-side corrected image can be calculated. This is because it is presumed that the smaller the parallax is, the darker the light is reflected in the "backlight", so it is preferable to increase the mixing ratio of the corrected image in which the correction for increasing the brightness is performed. The threshold value TH3 and the threshold value TH4 may be appropriately changed.

또한, 혼합 비율 산출부(152)는, 문턱값(TH3)보다 시차가 작은 경우에는 좌측 보정 화상 및 우측 보정 화상에 곱해지는 혼합 비율을 「0」으로 하고, 문턱값(TH4)보다 시차가 큰 경우에는 좌측 보정 화상 및 우측 보정 화상에 곱해지는 혼합 비율을 「1」로 할 수 있다. 또한, 도 8에 도시된 바와 같이, 시차가 문턱값(TH3)보다 크고 문턱값(TH4)보다 작은 구간에서는 혼합 비율이 선형적으로 변화할 수 있다.When the parallax is smaller than the threshold value TH3, the blending ratio calculating section 152 sets the blending ratio multiplied by the left-side corrected image and the right-side corrected image to "0", and when the parallax is larger than the threshold value TH4 , The blending ratio multiplied by the left-side corrected image and the right-side corrected image can be set to " 1 ". Also, as shown in FIG. 8, the mixing ratio may change linearly in a section where the parallax is larger than the threshold value TH3 and smaller than the threshold value TH4.

또한, 혼합 비율 산출부(152)는, 예를 들면 「스포트라이트시」에 촬영되었다고 추정된 경우에는, 시차가 문턱값(TH1)부터 문턱값(TH2)의 사이에 들어가는 경우, 시차가 클수록 좌측 보정 화상 및 우측 보정 화상에 곱해지는 혼합 비율을 작게 산출할 수 있다. 이는, 「스포트라이트시」에는 시차가 클수록 밝게 비치는 것으로 추정되기 때문에 휘도를 높이는 보정이 수행된 보정 화상의 혼합 비율을 작게 하는 것이 바람직하기 때문이다. 문턱값(TH1) 및 문턱값(TH2)은 적절히 변경될 수 있다.When the parallax is estimated to have been photographed in the " spotlight time ", for example, when the parallax falls between the threshold value TH1 and the threshold value TH2, the blending ratio calculating section 152 calculates the blending ratio The blending ratio multiplied by the image and the right-side corrected image can be calculated to be small. This is because it is presumed that the larger the parallax is, the more bright the image is in "Spotlight", so it is desirable to reduce the blending ratio of the corrected image in which the correction for increasing the brightness is performed. The threshold value TH1 and the threshold value TH2 may be changed as appropriate.

또, 판정부(151)가 설치되지 않은 형태도 추정될 수 있다. 그 경우, 「역광시」에 촬영되었는지 「스포트라이트시」에 촬영되었는지를 추정하는 기능이 없기 때문에, 어느 경우로 촬영되는지가 미리 결정될 수도 있고, 사용자나 어플리케이션에 의해 결정될 수도 있다.It is also possible to presume that the determination section 151 is not provided. In this case, since there is no function of estimating whether it was photographed at the time of "backlight" or at the time of "spotlight", it can be predetermined in which case it is photographed or may be determined by a user or an application.

혼합부(160A)는, 좌측 화상 혼합용 혼합 비율에 기초하여 좌측 화상 및 좌측 보정 화상을 혼합한다. 또한, 혼합부(160B)는, 우측 화상 혼합용 혼합 비율에 기초하여 우측 화상 및 우측 보정 화상을 혼합한다. 보다 상세하게는, 예를 들면 보정 화상의 화소값을 P(보정 화상)라고 하고, 보정 전의 촬상 화상을 P(원화상)라고 하며, 보정 화상에 곱해지는 혼합 비율을 K라고 한 경우, 이하의 수학식 1에 기초하여 혼합된다.The mixing section 160A mixes the left-side image and the left-side corrected image based on the mixture ratio for left-side image mixing. Further, the mixing section 160B mixes the right image and the right correction image based on the mixing ratio for the right image. More specifically, for example, when the pixel value of the corrected image is P (corrected image), the captured image before correction is P (original image), and the blending ratio multiplied by the corrected image is K, Are mixed based on Equation (1).

또한, 수학식 1에 기초한 혼합 방법은 혼합부(160A) 및 혼합부(160B)에 의한 혼합 방법의 일례에 불과하기 때문에, 혼합부(160A) 및 혼합부(160B)에 의한 혼합 방법은 이러한 예에 한정되지 않는다.Since the mixing method based on the equation (1) is merely one example of the mixing method by the mixing section 160A and the mixing section 160B, the mixing method by the mixing section 160A and the mixing section 160B is not limited to this example .

이상, 화상 처리 장치(10)가 갖는 기능에 대해 설명하였다. 이하에서는 화상 처리 장치(10)의 동작 방법에 대해 설명한다. 도 9는 본 발명의 일 실시 예에 따른 화상 처리 장치(10)의 동작 방법을 도시한 흐름도이다. 또한, 도 9에 도시된 흐름도에서는 설명의 편의를 위해 좌측 화상 및 우측 화상 각각을 구별하지 않는다. 즉, 실제로는 좌측 화상 및 우측 화상 양쪽 모두에 대한 화상 처리가 이루어지지만, 도 9에는 좌측 화상 및 우측 화상 중 한쪽에 대한 화상 처리의 흐름이 나타나 있다.The functions of the image processing apparatus 10 have been described above. Hereinafter, an operation method of the image processing apparatus 10 will be described. 9 is a flowchart showing an operation method of the image processing apparatus 10 according to an embodiment of the present invention. In the flowchart shown in Fig. 9, the left image and the right image are not distinguished from each other for convenience of explanation. That is, in reality, image processing is performed for both the left image and the right image, but FIG. 9 shows the flow of image processing for either the left image or the right image.

우선, 카메라(20)에 의해 촬상 화상(좌측 화상 및 우측 화상)이 취득되고(단계 S1), 현상 처리부(110)에 의해 필요에 따라 촬상 화상(좌측 화상 및 우측 화상)에 대해 현상 처리가 실시된 후, 휘도 보정부(120)는 촬상 화상(좌측 화상 및 우측 화상)의 휘도를 보정함으로써 보정 화상(좌측 보정 화상 및 우측 보정 화상)을 생성한다(단계 S2). 이어서, 시차 검출부(130)는 촬상 화상(좌측 화상 및 우측 화상)에 기초하여 시차(좌측 화상 기준의 시차 및 우측 화상 기준의 시차)를 검출한다(단계 S3). 이어서, 판정부(151)는 좌측 화상 및 우측 화상 중 적어도 어느 한쪽의 화상의 휘도와 해당 화상 기준의 시차의 조합의 분포에 기초하여 촬상 화상(좌측 화상 및 우측 화상)의 성질을 판정한다(단계 S4). 촬상 화상(좌측 화상 및 우측 화상)의 성질의 판정에서는, 예를 들면 판정부(151)에 의해 촬상 화상(좌측 화상 및 우측 화상)이 「역광시」에 촬영되었는지 「스포트라이트시」에 촬영되었는지가 추정된다(단계 S5).First, the captured images (left side image and right side image) are acquired by the camera 20 (step S1), and the development processing is performed on the captured images (left side image and right side image) The brightness correcting unit 120 corrects the brightness of the captured image (left image and right image) to generate corrected images (left corrected image and right corrected image) (step S2). Next, the time difference detection section 130 detects a time difference (time difference between the left image reference and the right image reference) based on the captured images (left image and right image) (step S3). Next, the determining section 151 determines the nature of the captured image (left image and right image) based on the distribution of the combination of the luminance of at least one of the left image and the right image and the parallax of the image reference S4). In the judgment of the properties of the captured images (the left image and the right image), for example, it is determined whether the photographed image (left image and right image) is photographed in the backlit state or in the spotlight state (Step S5).

판정부(151)는, 촬상 화상(좌측 화상 및 우측 화상)이 「역광시」에 촬영되었다고 추정한 경우에는 제1 혼합 비율 산출 방법을 이용하여 혼합 비율을 산출한다(단계 S6). 한편, 판정부(151)는, 촬상 화상(좌측 화상 및 우측 화상)이 「스포트라이트시」에 촬영되었다고 추정한 경우에는 제2 혼합 비율 산출 방법을 이용하여 혼합 비율을 산출한다(단계 S7). 제1 혼합 비율 산출 방법 및 제2 혼합 비율 산출 방법 각각에 대해서는 이미 서술한 바와 같다.When it is estimated that the photographed image (left image and right image) is photographed in the backlit state, the judging section 151 calculates the blending ratio using the first blending ratio calculating method (step S6). On the other hand, when it is estimated that the picked-up images (the left side image and the right side image) are photographed at the time of "spotlight", the judging unit 151 calculates the blending ratio using the second blending ratio calculating method (step S7). The first mixing ratio calculating method and the second mixing ratio calculating method are respectively as described above.

이어서, 혼합부(160)는, 혼합 비율 산출부(152)에 의해 산출된 혼합 비율에 기초하여 보정 화상(좌측 보정 화상 및 우측 보정 화상)과 촬상 화상(좌측 화상 및 우측 화상)을 혼합한다(단계 S8). 이상으로 나타낸 바와 같은 동작에 의해 혼합된 후의 화상이 제공된다.Subsequently, the mixing section 160 mixes the corrected images (the left-side corrected image and the right-side corrected image) with the captured images (the left-side image and the right-side image) based on the blending ratio calculated by the blending ratio calculating section 152 Step S8). The image after mixing by the operation as described above is provided.

이상, 화상 처리 장치(10)의 동작 방법에 대해 설명하였다. 또한, 본 실시형태에 관한 기술은 이미 개시되어 있는 선행기술문헌에 기재된 기술과는 다르다. 일본특개평11-32236호 공보에 개시된 기술은, 예를 들면 촬영에 의해 얻어진 화상에 대해 감마 처리를 실시함으로써 암부를 밝게 처리하는 기술이다. 이러한 기술에 따르면, 간편하고 용이하게 역광 보정을 수행할 수 있다. 그러나, 이 공보에 개시된 기술에 따르면, 기본적으로 단일의 감마 커브를 모든 화면에 적용하므로, 암부(예를 들면, 전경부) 이외에도 영향이 미쳐 버리기 때문에 적정 노출 영역(예를 들면, 배경부)의 계조가 없어져 하얗게 되어 버리는 현상도 생길 수 있다. 또한, 화상의 내용을 보고 감마 커브를 화상 내의 위치에 따라 적응적으로 변화시키는 등의 관련기술도 존재하지만, 오판정에 의해 화상이 부자연스러워지는 것을 피할 수 없다.The operation method of the image processing apparatus 10 has been described above. Further, the technique of this embodiment is different from the technique described in the prior art document already disclosed. The technique disclosed in Japanese Patent Application Laid-Open No. 11-32236 is a technique for brightening an arm portion by performing, for example, gamma processing on an image obtained by photographing. According to this technique, backlight compensation can be performed easily and easily. However, according to the technique disclosed in this publication, since a single gamma curve is basically applied to all the screens, the influence is exerted other than the dark parts (for example, the fore part), and therefore, There may be a phenomenon that the gradation disappears and becomes white. There is also a related technique such as changing the gamma curve adaptively according to the position in the image by viewing the contents of the image, but it is inevitable that the image becomes unnatural due to erroneous determination.

일본특개 2000-92378호 공보에 개시된 기술에서는, 노출을 바꾸어 촬영한 2장의 화상을 합성하는 기술로서 높은 역광 보정 효과를 얻을 수 있다. 그러나, 움직임이 빠른 물체가 촬영된 경우에는 물체 위치의 어긋남이 커지기 때문에 합성 후의 화상이 부자연스러운 화상이 되어 버린다. 또한, 촬영시에 모드 설정하고 나서 2장 촬영을 수행할 필요가 있는 점이 번잡하다.In the technique disclosed in Japanese Patent Application Laid-Open No. 2000-92378, a high backlight correction effect can be obtained as a technique of synthesizing two images photographed by changing the exposure. However, when a fast moving object is photographed, the displacement of the position of the object becomes large, so that the image after combining becomes an unnatural image. Further, it is troublesome to perform two photographing operations after setting the mode at the time of photographing.

본 실시형태에 관한 기술에 따르면, 스테레오 카메라로 촬영된 화상을 대상으로 한 역광 보정 처리를 수행할 수 있고, 처리 대상만을 정확하게 보정함(비보정 영역에는 영향을 주지 않고 보정함)으로써 자연스러운 처리 결과를 얻을 수 있다. 또한, 본 실시형태에 관한 기술에 따르면, 촬영시에 모드 설정 등을 수행할 필요가 없고, 촬영 후에도 후처리에 의해 역광 보정 효과를 얻을 수 있다.According to the technique of this embodiment, it is possible to perform backlight correction processing on an image photographed by a stereo camera, and correct only the object to be processed (correcting without affecting the non-correction area) Can be obtained. According to the technique of the present embodiment, it is not necessary to perform mode setting at the time of photographing, and backlight correction effect can be obtained by post-processing even after photographing.

또, 본 실시형태에 관한 기술에 따르면, 역광시의 암부 보정뿐만 아니라 화상의 성질에 따른 암부 보정을 수행할 수 있다. 예를 들면, 역광시에 피사체가 어두워져 버리는 상황이나 스포트라이트나 플래시가 비쳐 피사체의 배경이 어둡게 가라앉아 버리는 어떠한 상황에도 대응할 수 있는 폭넓은 암부 보정을 수행할 수 있다.According to the technique of the present embodiment, it is possible to perform the dark correction according to the nature of the image as well as the dark correction at the time of backlight. For example, it is possible to perform a wide dark area correction that can cope with a situation in which the subject is darkened in the backlit situation, or in a situation where the background of the subject is dark due to a spotlight or a flash.

본 실시형태에 관한 기술이 얻는 효과는 예를 들면 이하에 나타내는 바와 같다. 우선, 제1 효과로서는, 배경에 영향을 주지 않는 역광 보정을 수행할 수 있다. 역광시라는 것은, 안쪽에 광원과 같은 명물체가 있고 그 바로 앞에 피사체가 있어서 피사체가 어둡게 되는 상황이다. 본 실시형태에 관한 기술에서는, 스테레오 화상으로부터 취득한 거리 정보를 기초로 바로 앞에 위치하는 피사체만을 밝게 보정함으로써, 적정 노출이 되어 있는 배경 영역에는 영향을 주지 않고 역광 보정을 수행할 수 있다.The effect obtained by the technique according to the present embodiment is as follows, for example. As a first effect, it is possible to perform backlight correction which does not affect the background. Backlighting is a situation in which an object such as a light source is located on the inside, and the subject is in front of it and the subject is dark. In the technique according to the present embodiment, backlight correction can be performed without affecting the background area that has been properly exposed, by correcting only the subject positioned immediately in front of the subject based on the distance information obtained from the stereo image.

또, 본 실시형태에 관한 기술은, 역광시뿐만 아니라 스포트라이트나 플래시가 비쳐 피사체의 배경이 어둡게 가라앉아 버리는 상황에도 대응할 수 있다. 즉, 암부에 영향을 주지 않는 정확한 암부 보정을 수행할 수 있다. 예를 들면, 역광시에는 바로 앞에 위치하는 피사체만을 밝게 보정함으로써 적정 노출이 되어 있는 배경 영역에는 영향을 주지 않고 암부를 보정할 수 있다. 또한, 바로 앞에 밝은 피사체가 있는 경우에는, 배경만을 밝게 보정함으로써 적정 노출이 되어 있는 피사체에는 영향을 주지 않고 암부를 보정할 수 있다. 본 실시형태에 관한 기술에 따르면, 바로 앞을 보정하는 방법을 채용할지 안쪽을 보정하는 방법을 채용할지 등의 판정을 하여 처리를 전환하기 때문에, 양쪽 모두의 패턴에 대응할 수 있다.The technique according to the present embodiment can cope with not only backlighting but also a situation in which a spotlight or flash is reflected and the background of the subject is dark. That is, accurate dark correction can be performed without affecting the dark areas. For example, at the time of backlighting, only the subject located immediately in front of the subject is brightly corrected, so that the dark region can be corrected without affecting the background region that has been properly exposed. In addition, when there is a bright subject in front of the subject, the subject can be corrected without affecting the subject that has been properly exposed by correcting only the background. According to the technique of the present embodiment, since processing is switched by determining whether to employ a method of correcting the immediately preceding or a method of correcting the inside, both patterns can be dealt with.

또한, 제2 효과로서는, 움직임이 있는 물체가 촬영된 경우에서도 자연스러운 암부 보정을 수행할 수 있다. 2장의 화상을 합성한다는 점에서는 일본특개 2000-92378호 공보에 개시된 기술과 변함없다. 그러나, 본 발명의 실시형태에 관한 기술에서는, 보정 후의 화상과 보정 전의 원화상에 있어서 휘도만이 다르기 때문에, 움직임이 있는 물체가 촬영된 경우이어도 합성 후의 화상이 부자연스러워지는 등의 현상이 발생하는 것을 막을 수 있다. 즉, 본 발명의 실시형태에 관한 기술은 촬영되는 물체의 움직임의 유무에 관계없이 적용할 수 있다.As a second effect, natural dark correction can be performed even when an object with motion is photographed. The technique disclosed in Japanese Patent Application Laid-Open No. 2000-92378 does not change from the point that two images are synthesized. However, in the technique related to the embodiment of the present invention, since only the luminance is different between the corrected image and the original image before correction, even when a moving object is photographed, a phenomenon occurs such that the image after the combining becomes unnatural Can be prevented. That is, the technique according to the embodiment of the present invention can be applied regardless of the presence or absence of movement of an object to be photographed.

또한, 제3 효과로서는, 촬영시의 모드 설정이 필요 없고, 촬영 후에도 보정이 가능한 점을 들 수 있다. 본 실시형태에 관한 기술에서는 스테레오 화상으로부터 검출한 거리 정보를 기초로 보정을 수행하므로, 암부 보정을 수행하는지에 관계없이 촬영시의 모드는 통상대로의 설정인 상태로 둔다. 그리고, 촬영 후에 필요에 따라 보정 처리를 수행하면 암부 보정이 가능하다.The third effect is that a mode setting at the time of photographing is not necessary, and correction can be performed even after photographing. In the technique according to the present embodiment, since the correction is performed on the basis of the distance information detected from the stereo image, the mode at the time of photographing is set to the normal setting regardless of whether the dark correction is performed. If the correction process is performed as needed after the photographing, the dark correction can be performed.

이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시형태에 대해 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속한 기술분야에서의 통상의 지식을 가진 자이면, 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경 예 또는 수정 예에 상도할 수 있음은 명백하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.While the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to these examples. It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims and their equivalents. Range. &Lt; / RTI >

10 화상 처리 장치
20(20A, 20B) 카메라
110(110A, 110B) 현상 처리부
120(120A, 120B) 휘도 보정부
130 시차 검출부
140 휘도 취득부
150 산출부
151 판정부
152 혼합 비율 산출부
160(160A, 160B) 혼합부10 Image processing device
20 (20A, 20B) camera
110 (110A, 110B)
120 (120A, 120B)
130 parallax detection section
140 luminance acquisition unit
150 calculating unit
151 judgment section
152 mixing ratio calculating section
160 (160A, 160B)

Claims

A parallax detection unit for detecting, for each block, the parallax of the left image reference and the parallax of the right image reference in the left image and the right image captured by the stereo camera;
A luminance correction section for generating a left correction image and a right correction image by correcting the luminance of each of the left image and the right image;
A mixing ratio calculating unit for calculating a mixing ratio for left image mixing based on the parallax of the left image reference and calculating a mixing ratio for right image mixing based on the parallax of the right image reference; And
Mixing the left image and the left corrected image based on the left image mixing blending ratio and mixing the right image and the right corrected image based on the right image mixing blending ratio The image processing apparatus comprising:

The method according to claim 1,
Wherein the blending ratio calculating section calculates the blending ratio for left image mixing for each block on the basis of the parallax of the left image reference detected for each block and calculates the blending ratio for the right image blending based on the parallax of the right image reference detected for each block And the blending ratio is calculated for each block.

The method according to claim 1,
Wherein the parallax detection unit calculates the parallax of the left image reference by linear interpolation between the blocks with respect to the parallax of the left image reference detected for each block and calculates the parallax of the right image reference by the block The parallax of the right image reference is calculated for each pixel by linear interpolation between pixels,
Wherein the blending ratio calculating unit calculates the blending ratio for left image mixing for each pixel on the basis of the parallax of the left image reference calculated for each pixel and calculates the blending ratio for right image blending based on the parallax of the right image reference calculated for each pixel And the blending ratio is calculated for each pixel.

The method according to claim 1,
Wherein the luminance correction section generates the left-side corrected image and the right-side corrected image by increasing the luminance of the left image and the right image, respectively.

The method according to claim 1,
Wherein the blending ratio calculating unit calculates a blending ratio that is multiplied by the left-side corrected image and the right-side corrected image as the parallax becomes larger, when the parallax falls within a predetermined range.

The method according to claim 1,
The image processing apparatus includes:
Further comprising a judging section which judges a blending ratio calculating method based on a distribution of a combination of a luminance of at least one of the left image and the right image and a parallax of the image reference,
Wherein the mixing ratio calculating section calculates the mixing ratio for the left image mixing and the mixing ratio for the right image mixing using the mixing ratio calculating method.

The method according to claim 6,
Wherein the judging section judges either the first mixing ratio calculating method or the second mixing ratio calculating method,
Wherein the mixing ratio calculating section calculates the mixing ratio multiplied by the left-side corrected image and the right-side corrected image as the parallax becomes larger when the parallax falls within the first predetermined range when the first mixing ratio calculating method is used In the case where the parallax falls within the predetermined second range when the second mixing ratio calculating method is used, the blending ratio multiplied by the left-side corrected image and the right-side corrected image is calculated to be smaller as the parallax becomes larger And the image processing apparatus.

Detecting, for each block, a parallax between the left image reference and the right image reference in the left image and the right image captured by the stereo camera;
Generating a left corrected image and a right corrected image by correcting the luminance of each of the left image and the right image;
Calculating a blending ratio for left image mixing based on the parallax of the left image reference and calculating a blending ratio for right image mixing based on the parallax of the right image reference; And
Mixing the left image and the left corrected image based on the left image mixing blending ratio and mixing the right image and the right corrected image based on the right image mixing blending ratio Wherein the image processing method comprises the steps of: