KR101301069B1 - Apparatus for estimating global motion between images in hdr image system and method thereof - Google Patents
Apparatus for estimating global motion between images in hdr image system and method thereof Download PDFInfo
- Publication number
- KR101301069B1 KR101301069B1 KR1020110098079A KR20110098079A KR101301069B1 KR 101301069 B1 KR101301069 B1 KR 101301069B1 KR 1020110098079 A KR1020110098079 A KR 1020110098079A KR 20110098079 A KR20110098079 A KR 20110098079A KR 101301069 B1 KR101301069 B1 KR 101301069B1
- Authority
- KR
- South Korea
- Prior art keywords
- brightness
- image frames
- global
- value
- estimating
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
본 발명에 의한 HDR 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법이 개시된다.
본 발명에 따른 영상 간의 전역 움직임을 추정하기 위한 장치는 노출 시간이 서로 다른 다수의 영상 프레임들 각각에 대한 전체 화소들의 밝기 값들을 측정하는 밝기 측정부; 측정된 상기 밝기 값들을 이용하여 상기 영상 프레임들 간의 밝기를 보정하는 밝기 보정부; 및 상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 간의 전역 움직임을 추정하는 움직임 추정부를 포함한다.
이를 통해, 본 발명은 HDR 영상 합성 시 잔상의 발생을 방지할 있고, 전역 움직임 추정의 정확도를 높일 수 있을 뿐 아니라, 성능이 낮은 프로세서를 탑재한 기기에도 적용할 수 있다.An apparatus and method for estimating global motion between images in an HDR imaging system according to the present invention are disclosed.
In accordance with an aspect of the present invention, an apparatus for estimating global motion between an image includes a brightness measurer configured to measure brightness values of all pixels of each of a plurality of image frames having different exposure times; A brightness compensator configured to correct brightness between the image frames by using the measured brightness values; And a motion estimator for estimating global motion between the image frames having the same brightness as a result of the correction.
As a result, the present invention can prevent the occurrence of afterimages during the synthesis of HDR images, improve the accuracy of global motion estimation, and can be applied to a device equipped with a low performance processor.
Description
본 발명은 HDR 영상 시스템에 관한 것으로, 특히, HDR 영상 합성에 사용되는 노출이 다른 영상들 사이의 밝기 값을 보정하고 밝기 값이 보정된 영상들을 이용하되 그 밝기 값이 보정된 영상들의 포화 영역을 제외시킨 후에 전역 움직임을 추정할 수 있도록 하는 HDR 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법에 관한 것이다.The present invention relates to an HDR imaging system. In particular, an exposure used for synthesizing an HDR image corrects a brightness value between images that are different from each other and uses saturation regions of images in which the brightness value is corrected. An apparatus and method for estimating global motion between images in an HDR imaging system that enables estimation of global motion after exclusion.
최근 이미지 센서 기술과 디지털 영상 처리 기술의 발달은 디지털 영상이 다양한 분야에 응용될 수 있는 계기를 마련해 주었다. 하지만 여전히 이미지 센서의 물리적 한계에 기인한 문제점들이 존재하며 다이내믹 레인지(dynamic range)의 제약은 대표적인 문제점 중 하나이다.The recent development of image sensor technology and digital image processing technology has provided an opportunity for digital image to be applied to various fields. However, there are still problems due to the physical limitations of the image sensor, and the limitation of the dynamic range is one of the typical problems.
이러한 이미지 센서의 다이내믹 레인지는 센서가 반응하는 빛의 밝기의 분포를 의미한다. 실 공간의 빛의 밝기는 매우 넓게 분포하는 반면 이미지 센서의 다이내믹 레인지는 제한되어 있기 때문에 센서의 다이내믹 레인지를 넘어서는 빛의 밝기가 분포하는 장면을 디지털 영상으로 받아들일 때, 빛이 강한 영역이나 약한 영역, 때로는 두 영역 모두에서 정보의 손실이 발생하게 된다.The dynamic range of the image sensor refers to a distribution of brightness of light to which the sensor responds. Since the brightness of light in a real space is very widely distributed, but the dynamic range of the image sensor is limited, when the digital image receives a scene in which the brightness of the light beyond the dynamic range of the sensor is distributed as a digital image, a strong or weak area In some cases, loss of information can occur in both areas.
게다가, 아날로그-디지털 변환기(analog-to-digital converter, ADC)의 용량이 제한되어 있기 때문에 양자화에 의한 양자화 오류가 발생하게 되고, 이로 인해 정보의 손실이 발생한다. 이렇게 제한된 센서의 다이내믹 레인지와 ADC의 용량 제한으로 기록된 LDR(Low Dynamic Range) 영상에서 발생하는 정보의 손실을 줄이기 위해 HDR(High Dynamic Range) 영상 시스템이 필요하다.In addition, since the capacity of the analog-to-digital converter (ADC) is limited, quantization error due to quantization occurs, which causes loss of information. High dynamic range (HDR) imaging systems are needed to reduce the loss of information from low dynamic range (LDR) images recorded due to the limited dynamic range of the sensor and the limited capacity of the ADC.
HDR 영상을 복원하기 위한 방법은 크게 두 가지로 나뉜다. 첫 번째는 하드웨어적인 접근을 통한 방법이고, 두 번째는 신호처리적인 접근을 통한 방법이다. 전자의 경우는 소자 물리 차원에서 새로운 센서구조를 이용하여 보다 넓은 다이내믹 레인지를 갖는 영상을 획득하는 방식이다. 하지만 이 방식은 센서의 구조가 복잡해지고 화소의 집적이 어렵다는 문제가 있다. 후자의 경우는 다이내믹 레인지의 제약을 극복하기 위하여 기존의 센서를 이용하여 촬영한 노출이 다른 여러 장의 영상으로부터 한 장의 HDR 영상을 합성하는 방식이다.There are two main ways to reconstruct an HDR image. The first is through a hardware approach, the second is through a signal processing approach. In the former case, an image having a wider dynamic range is obtained by using a new sensor structure in the device physics. However, this method has a problem that the structure of the sensor is complicated and pixels are difficult to integrate. In the latter case, in order to overcome the limitations of the dynamic range, a single HDR image is synthesized from several images having different exposures taken by using an existing sensor.
도 1은 신호처리적인 접근을 통한 HDR 영상을 합성하는 방식의 개념도를 나타낸다. 신호처리적인 접근의 경우 기존의 센서 구조를 이용하여 HDR 영상 합성한다는 장점이 있지만 복수의 노출로 영상을 촬영하는 과정에서 카메라의 흔들림이 있을 경우 잔상이 발생하는 문제점이 있다. 도 2는 신호처리적인 접근으로 HDR 영상을 합성하는 과정에서 카메라의 흔들림에 의하여 잔상이 발생한 결과를 나타낸다.1 illustrates a conceptual diagram of a method of synthesizing an HDR image through a signal processing approach. The signal processing approach has the advantage of synthesizing the HDR image using a conventional sensor structure, but there is a problem in that an afterimage occurs when the camera shakes in the process of capturing the image with a plurality of exposures. 2 illustrates a result of afterimages caused by camera shake in the process of synthesizing an HDR image using a signal processing approach.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 HDR 영상 합성에 사용되는 노출이 다른 영상들 사이의 밝기 값을 보정하고 밝기 값이 보정된 영상들을 이용하여 전역 움직임을 추정할 수 있도록 하는 HDR 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법을 제공하는데 있다.Accordingly, an object of the present invention is to solve the problems of the prior art, and an object of the present invention is to correct a brightness value between images having different exposures used for HDR image synthesis, and to estimate global motion by using images having brightness values corrected. An apparatus and method for estimating global motion between images in an HDR imaging system are provided.
또한, 본 발명의 다른 목적은 HDR 영상 합성에 사용되는 노출이 다른 영상들 사이의 밝기 값을 보정하고 밝기 값이 보정된 영상들을 이용하되 그 밝기 값이 보정된 영상들의 포화 영역을 제외시킨 후에 전역 움직임을 추정할 수 있도록 하는 HDR 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법을 제공하는데 있다.In addition, another object of the present invention is to compensate for the brightness value between the different exposure images used in HDR image synthesis and to use the images with the corrected brightness, but after excluding the saturation region of the image whose brightness is corrected The present invention provides an apparatus and method for estimating global motion between images in an HDR image system capable of estimating motion.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 영상 간의 전역 움직임을 추정하기 위한 장치는 노출 시간이 서로 다른 다수의 영상 프레임들 각각에 대한 전체 화소들의 밝기 값들을 측정하는 평균 측정부; 측정된 상기 밝기 값들을 이용하여 상기 영상 프레임들 간의 밝기를 보정하는 밝기 보정부; 및 상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 간의 전역 움직임을 추정하는 움직임 추정부를 포함할 수 있다.In order to achieve the above objects, an apparatus for estimating the global motion between images according to an aspect of the present invention includes an average measuring unit for measuring the brightness values of all pixels for each of a plurality of image frames having different exposure time; A brightness compensator configured to correct brightness between the image frames by using the measured brightness values; And a motion estimator for estimating global motion between the image frames having the same brightness as a result of the correction.
바람직하게, 상기 밝기 측정부는 노출 시간이 서로 다른 영상 프레임들 각각에서 포화 영역을 제외한 공통된 영역을 추출하고, 추출된 상기 영상 프레임들 각각의 공통된 영역에서 전체 화소들의 밝기 값을 측정하되, 상기 포화 영역은 제1 임계치보다 큰 밝기 값을 갖는 화소와 제2 임계치보다 작은 밝기 값을 갖는 화소를 포함하고 상기 제1 임계치는 상기 제2 임계치보다 크게 설정될 수 있다.Preferably, the brightness measuring unit extracts a common area excluding a saturation area in each of the image frames having different exposure times, and measures brightness values of all pixels in the common area of each of the extracted image frames, May include a pixel having a brightness value greater than a first threshold value and a pixel having a brightness value less than a second threshold value, wherein the first threshold value may be set larger than the second threshold value.
바람직하게, 상기 밝기 측정부는 노출 시간이 서로 다른 영상 프레임들 각각에서 포화 영역을 제외한 공통된 영역을 추출하고, 추출된 상기 영상 프레임들 각각의 공통된 영역에서 전체 화소들의 밝기 값의 평균을 나타내는 전역 평균값을 측정할 수 있다.Preferably, the brightness measuring unit extracts a common area excluding a saturation area from each of the image frames having different exposure times, and obtains a global average value representing an average of brightness values of all pixels in the common area of each of the extracted image frames. It can be measured.
바람직하게, 상기 영상 프레임 내 전체 화소의 개수가 N인 경우 n번째 화소까지의 전역 평균값은 다음의 수학식 meann = (meann-1 + n번째 화소의 밝기 값)/n, n=1,2, ...,N에 의해 구하고, 여기서, 전역 평균값이 산출되기 이전의 전역 평균값 mean0으로는 0이 설정될 수 있다.Preferably, when the total number of pixels in the image frame is N, the global average value up to the n th pixel is represented by the following formula mean n = (mean n-1 + n-th brightness value) / n, n = 1, 2, ..., N. Here, 0 may be set as the global mean value 0 before the global mean value is calculated.
바람직하게, 상기 평균 측정부는 RGB 포맷의 상기 영상 프레임들을 YUV 포맷으로 변환하여 변환된 상기 영상 프레임들의 Y값을 구하고, 구한 상기 Y값을 이용하여 상기 영상 프레임들 각각에 대한 전역 평균값을 측정할 수 있다.Preferably, the average measuring unit may obtain a Y value of the converted image frames by converting the image frames in the RGB format into a YUV format, and measure a global average value for each of the image frames using the obtained Y value. have.
바람직하게, 상기 밝기 보정부는 상기 전역 평균값을 이용하여 예상 노출시간을 산출하고 산출된 상기 예상 노출시간을 이용하여 카메라 응답 함수를 추정하며, 추정된 상기 카메라 응답 함수를 통해 상기 영상 프레임들 간의 밝기를 보정할 수 있다.Preferably, the brightness compensator calculates an expected exposure time using the global average value, estimates a camera response function using the calculated estimated exposure time, and calculates brightness between the image frames through the estimated camera response function. You can correct it.
바람직하게, 상기 예상 노출시간은 상기 다수의 입력 영상들 간의 전역 평균값의 변화량에 따라 일정 크기만큼 변화되는 상대적인 노출 시간일 수 있다.Preferably, the expected exposure time may be a relative exposure time that is changed by a predetermined size according to a change amount of the global mean value between the plurality of input images.
바람직하게, 상기 움직임 추정부는 상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 간의 전역 움직임을 블록매칭 방식으로 추정할 수 있다.Preferably, the motion estimator may estimate global motion between the image frames having the same brightness as a result of the correction by a block matching method.
바람직하게, 상기 움직임 추정부는 상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 각각에서 포화 영역을 제외한 보정 영상 프레임들을 생성하고 생성된 상기 보정 영상 프레임들을 이용하여 상기 영상 프레임들 간의 전역 움직임을 추정하되, 여기서, 상기 포화 영역은 기 설정된 임계치보다 크거나 같은 밝기 값을 갖는 화소를 포함할 수 있다.
Preferably, the motion estimator generates corrected image frames excluding a saturation region in each of the image frames having the same brightness as a result of the correction, and estimates global motion between the image frames using the generated corrected image frames. Here, the saturation region may include a pixel having a brightness value greater than or equal to a preset threshold.
본 발명의 다른 한 관점에 따른 영상 간의 전역 움직임을 추정하기 위한 장치는 노출 시간이 서로 다른 다수의 영상 프레임들 각각에 대한 전체 화소들 중 일정 범위 내의 밝기를 갖는 화소들의 밝기 값의 평균을 나타내는 전역 평균값들을 측정하는 평균 측정부; 측정된 상기 전역 평균값들을 이용하여 상기 영상 프레임들 간의 밝기를 보정하는 밝기 보정부; 및 상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 각각에서 일정 범위 내의 밝기를 갖는 화소들을 이용하여 상기 영상 프레임들 간의 전역 움직임을 추정하는 움직임 추정부를 포함할 수 있다.
According to another aspect of the present invention, an apparatus for estimating global motion between images includes a global value representing an average of brightness values of pixels having brightness within a predetermined range of all pixels for each of a plurality of image frames having different exposure times. An average measuring unit measuring average values; A brightness compensator configured to correct brightness between the image frames using the measured global mean values; And a motion estimator configured to estimate global motions between the image frames by using pixels having brightness within a predetermined range in each of the image frames having the same brightness as a result of the correction.
본 발명의 또 다른 한 관점에 따른 영상 간의 전역 움직임을 추정하기 위한 방법은 노출 시간이 서로 다른 다수의 영상 프레임들 각각에 대한 전체 화소들의 밝기 값들을 측정하는 단계; 측정된 상기 밝기 값들을 이용하여 상기 영상 프레임들 간의 밝기를 보정하는 단계; 및 상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 간의 전역 움직임을 추정하는 단계를 포함할 수 있다.According to another aspect of the present invention, a method for estimating global motion between images includes measuring brightness values of all pixels of each of a plurality of image frames having different exposure times; Correcting the brightness between the image frames by using the measured brightness values; And estimating global motion between the image frames having the same brightness as a result of the correction.
바람직하게, 상기 측정하는 단계는 노출 시간이 서로 다른 영상 프레임들 각각에서 포화 영역을 제외한 공통된 영역을 추출하고, 추출된 상기 영상 프레임들 각각의 공통된 영역에서 전체 화소들의 밝기 값을 측정하되, 상기 포화 영역은 제1 임계치보다 큰 밝기 값을 갖는 화소와 제2 임계치보다 작은 밝기 값을 갖는 화소를 포함하고 상기 제1 임계치는 상기 제2 임계치보다 크게 설정될 수 있다.Preferably, the measuring may include extracting a common area excluding a saturation area from each of the image frames having different exposure times, and measuring brightness values of all pixels in the common area of each of the extracted image frames. The area may include a pixel having a brightness value greater than a first threshold and a pixel having a brightness value less than a second threshold, and the first threshold may be set larger than the second threshold.
바람직하게, 상기 측정하는 단계는 노출 시간이 서로 다른 영상 프레임들 각각에서 포화 영역을 제외한 공통된 영역을 추출하고, 추출된 상기 영상 프레임들 각각의 공통된 영역에서 전체 화소들의 밝기 값의 평균을 나타내는 전역 평균값을 측정할 수 있다.Preferably, the measuring may include extracting a common region excluding a saturation region from each of the image frames having different exposure times, and a global average value representing an average of brightness values of all pixels in the common region of each of the extracted image frames. Can be measured.
바람직하게, 상기 영상 프레임 내 전체 화소의 개수가 N인 경우 n번째 화소까지의 전역 평균값은 다음의 수학식 meann = (meann-1 + n번째 화소의 밝기 값)/n, n=1,2, ...,N에 의해 구하고, 여기서, 전역 평균값이 산출되기 이전의 전역 평균값 mean0으로는 0이 설정될 수 있다.Preferably, when the total number of pixels in the image frame is N, the global average value up to the n th pixel is represented by the following formula mean n = (mean n-1 + n-th brightness value) / n, n = 1, 2, ..., N. Here, 0 may be set as the global mean value 0 before the global mean value is calculated.
바람직하게, 상기 측정하는 단계는 RGB 포맷의 상기 영상 프레임들을 YUV 포맷으로 변환하여 변환된 상기 영상 프레임들의 Y값을 구하고, 구한 상기 Y값을 이용하여 상기 영상 프레임들 각각에 대한 전역 평균값을 측정할 수 있다.Preferably, the measuring may include converting the image frames of the RGB format into a YUV format to obtain a Y value of the converted image frames, and measuring a global average value for each of the image frames using the obtained Y value. Can be.
바람직하게, 상기 보정하는 단계는 상기 전역 평균값을 이용하여 예상 노출시간을 산출하고 산출된 상기 예상 노출시간을 이용하여 카메라 응답 함수를 추정하며, 추정된 상기 카메라 응답 함수를 통해 상기 영상 프레임들 간의 밝기를 보정할 수 있다.Preferably, the calibrating includes calculating an expected exposure time using the global average value, estimating a camera response function using the calculated estimated exposure time, and using the estimated camera response function, brightness between the image frames. Can be corrected.
바람직하게, 상기 예상 노출시간은 상기 다수의 입력 영상들 간의 전역 평균값의 변화량에 따라 일정 크기만큼 변화되는 상대적인 노출 시간일 수 있다.Preferably, the expected exposure time may be a relative exposure time that is changed by a predetermined size according to a change amount of the global mean value between the plurality of input images.
바람직하게, 상기 추정하는 단계는 상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 간의 전역 움직임을 블록매칭 방식으로 추정할 수 있다.Preferably, the estimating may estimate a global motion between the image frames having the same brightness as a result of the correction by a block matching method.
바람직하게, 상기 추정하는 단계는 상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 각각에서 포화 영역을 제외한 보정 영상 프레임들을 생성하고 생성된 상기 보정 영상 프레임들을 이용하여 상기 영상 프레임들 간의 전역 움직임을 추정하되, 여기서, 상기 포화 영역은 기 설정된 임계치보다 크거나 같은 밝기 값을 갖는 화소를 포함할 수 있다.
Preferably, the estimating may include generating corrected image frames excluding a saturation region in each of the image frames having the same brightness as a result of the correcting, and performing global motion between the image frames using the generated corrected image frames. In this example, the saturation region may include a pixel having a brightness value greater than or equal to a preset threshold.
본 발명의 또 다른 한 관점에 따른 영상 간의 전역 움직임을 추정하기 위한 방법은 노출 시간이 서로 다른 다수의 영상 프레임들 각각에 대한 전체 화소들 중 일정 범위 내의 밝기를 갖는 화소들의 밝기 값의 평균을 나타내는 전역 평균값들을 측정하는 단계; 측정된 상기 전역 평균값들을 이용하여 상기 영상 프레임들 간의 밝기를 보정하는 단계; 및 상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 각각에서 일정 범위 내의 밝기를 갖는 화소들을 이용하여 상기 영상 프레임들 간의 전역 움직임을 추정하는 단계를 포함할 수 있다.According to another aspect of the present invention, a method for estimating global motion between images represents an average of brightness values of pixels having a brightness within a predetermined range of all pixels for each of a plurality of image frames having different exposure times. Measuring global mean values; Correcting brightness between the image frames by using the measured global mean values; And estimating global motion between the image frames using pixels having brightness within a predetermined range in each of the image frames having the same brightness as a result of the correction.
이를 통해, 본 발명은 HDR 영상 합성에 사용되는 노출이 다른 영상들 사이의 밝기 값을 보정하고 밝기 값이 보정된 영상들을 이용하되 그 밝기 값이 보정된 영상들의 포화 영역을 제외시킨 후에 전역 움직임을 추정함으로써, HDR 영상 합성 시 잔상의 발생을 방지할 있는 효과가 있다.In this way, the present invention compensates the brightness value between images with different exposures used for HDR image synthesis and uses the images with the corrected brightness, but excludes the saturation region of the images with the corrected brightness. By estimating, there is an effect of preventing the occurrence of afterimages in the HDR image synthesis.
또한, 본 발명은 HDR 영상 합성에 사용되는 노출이 다른 영상들 사이의 밝기 값을 보정하고 밝기 값이 보정된 영상들을 이용하되 그 밝기 값이 보정된 영상들의 포화 영역을 제외시킨 후에 전역 움직임을 추정함으로써, 전역 움직임 추정의 정확도를 높일 수 있는 효과가 있다.In addition, the present invention estimates the global motion after the exposure used for synthesizing the HDR image corrects the brightness value between the different images and uses the images whose brightness values are corrected, but excludes the saturation region of the images whose brightness values are corrected. As a result, the accuracy of global motion estimation can be increased.
또한, 본 발명은 HDR 영상 합성에 사용되는 노출이 다른 영상들 사이의 밝기 값을 보정하고 밝기 값이 보정된 영상들을 이용하되 그 밝기 값이 보정된 영상들의 포화 영역을 제외시킨 후에 전역 움직임을 추정함으로써, 성능이 낮은 프로세서를 탑재한 기기에도 적용할 수 있는 효과가 있다.In addition, the present invention estimates the global motion after the exposure used for synthesizing the HDR image corrects the brightness value between the different images and uses the images whose brightness values are corrected, but excludes the saturation region of the images whose brightness values are corrected. By doing so, there is an effect that can be applied to a device equipped with a low performance processor.
도 1은 신호처리적인 접근을 통한 HDR 영상을 합성하는 방식의 개념도를 나타낸다.
도 2는 신호처리적인 접근으로 HDR 영상을 합성하는 과정에서 카메라의 흔들림에 의하여 잔상이 발생한 결과를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 영상 간의 전역 움직임을 추정하기 위한 장치를 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 영상 간의 전역 움직임을 추정하기 위한 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 전역 평균값을 산출하는 원리를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 컴퓨터 시뮬레이션 결과를 보여주는 예시도이다.1 illustrates a conceptual diagram of a method of synthesizing an HDR image through a signal processing approach.
2 illustrates a result of afterimages caused by camera shake in the process of synthesizing an HDR image using a signal processing approach.
3 is an exemplary diagram illustrating an apparatus for estimating global motion between images according to an embodiment of the present invention.
4 is a flowchart illustrating a method for estimating global motion between images according to an embodiment of the present invention.
5 is an exemplary view for explaining a principle of calculating a global average value according to an embodiment of the present invention.
6 is an exemplary view showing a computer simulation result according to an embodiment of the present invention.
이하에서는, 본 발명의 실시예에 따른 HDR(High Dynamic Range) 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법을 첨부한 도 3 내지 도 6을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다.Hereinafter, an apparatus and method for estimating global motion between images in an HDR system according to an embodiment of the present invention will be described with reference to FIGS. 3 to 6. The present invention will be described in detail with reference to the portions necessary for understanding the operation and operation according to the present invention. Like reference numerals in the drawings denote like elements throughout the specification.
본 발명에서는 HDR 영상 합성에 사용되는 노출이 다른 영상들 사이의 밝기 값을 보정하고 밝기 값이 보정된 영상들을 이용하되 그 밝기 값이 보정된 영상들의 포화 영역을 제외시킨 후에 전역 움직임을 추정할 수 있도록 하는 새로운 방안을 제안한다.According to the present invention, the global motion can be estimated after the exposure used for synthesizing HDR images corrects brightness values between different images and excludes saturated regions of images whose brightness values are corrected. Suggest new ways to make it work.
도 3은 본 발명의 일 실시예에 따른 영상 간의 전역 움직임을 추정하기 위한 장치를 나타내는 예시도이다.3 is an exemplary diagram illustrating an apparatus for estimating global motion between images according to an embodiment of the present invention.
도 3에 도시한 바와 같이, 본 발명에 따른 영상 간의 전역 움직임을 추정하기 위한 장치는 영상 획득부(310), 밝기 측정부(320), 밝기 보정부(330), 및 움직임 추정부(340) 등을 포함하여 구성될 수 있다.As shown in FIG. 3, an apparatus for estimating global motion between images according to the present invention includes an
영상 획득부(310)는 HDR 영상 합성에 사용되는 적어도 2개 이상의 영상 또는 영상 프레임들을 획득하되, 노출 시간이 서로 다른 다수의 영상 프레임들을 획득할 수 있다.The
이때, 노출 시간을 짧게 주어 획득한 단노광 영상은 높은 조도를 가진 영역의 정보를 담게 되고, 노출 시간을 길게 주어 획득한 장노광 영상은 단노광 영상보다 낮은 조도를 가진 영역의 정보를 담게 된다.In this case, the short exposure image obtained by shortening the exposure time contains information of a region having a high illuminance, and the long exposure image obtained by prolonging the exposure time contains information of a region having a lower illuminance than the short exposure image.
밝기 측정부(320)는 노출 시간이 서로 다른 영상 프레임들 각각에 대한 제1 포화 영역을 제외한 공통된 영역에서 전체 화소들의 밝기 값을 측정할 수 있다. 여기서, 제1 포화 영역은 영상 프레임 내의 전체 화소들 중에서 기 설정된 임계치(threshold value)를 벗어나는 화소들을 포함할 수 있다.The
또한, 밝기 측정부(320)는 영상 프레임들 각각에 대한 전체 화소들의 밝기 값을 측정하되, 더 나아가 그 측정된 전체 화소들의 밝기 값의 합을 나타내는 전역 합산값을 측정할 수 있고 전체 화소들의 밝기 값의 평균을 나타내는 전역 평균값을 측정할 수도 있다.In addition, the
즉, 본 발명에 따른 밝기 측정부(320)는 전역 합산값이나 전역 평균값을 측정하는 것에 한정되지 않고 전체 화소들의 밝기 값을 나타내기 위한 다양한 정보들을 측정할 수 있다. 이하에서는 편의상 전역 평균값을 이용하여 설명하기로 한다.That is, the
밝기 보정부(330)는 측정된 전역 평균값들을 이용하여 영상 프레임들 간의 밝기 값을 보정할 수 있다. 즉, 밝기 보정부(330)는 측정된 전역 평균값들을 이용하여 예상 노출시간을 산출하고 그 산출된 예상 노출시간을 이용하여 카메라 응답함수를 통해 영상 프레임들 간의 밝기 값을 보정하여 밝기 값을 동일하게 할 수 있다.The
움직임 추정부(340)는 보정한 결과로 밝기가 동일해진 영상 프레임들 각각에서 제2 포화 영역을 제외한 보정 영상 프레임들을 생성하고 생성된 보정 영상 프레임들을 이용하여 상기 영상 프레임들 간의 전역 움직임을 추정할 수 있다. 여기서, 제2 포화 영역은 기 설정된 임계치보다 크거나 같은 밝기 값을 갖는 화소를 포함할 수 있다.
The
도 4는 본 발명의 일 실시예에 따른 영상 간의 전역 움직임을 추정하기 위한 방법을 나타내는 흐름도이다.4 is a flowchart illustrating a method for estimating global motion between images according to an embodiment of the present invention.
도 4에 도시한 바와 같이, 본 발명에 따른 영상 간의 전역 움직임을 추정하기 위한 장치(이하, 추정 장치라고 한다)는 카메라를 통해 HDR 영상 합성에 사용되는 노출 시간이 서로 다른 적어도 2개의 영상 또는 영상 프레임들을 획득할 수 있다(S410).As illustrated in FIG. 4, an apparatus for estimating global motion between images according to the present invention (hereinafter, referred to as an estimation apparatus) includes at least two images or images having different exposure times used for synthesizing HDR images through a camera. Frames may be obtained (S410).
다음으로 추정 장치는 노출 시간이 서로 다른 영상 프레임들 각각에 대한 제1 포화 영역을 제외한 공통된 영역에서의 전역 평균값을 측정할 수 있다(S420). 이러한 과정을 구체적으로 설명한다.Next, the estimating apparatus may measure a global average value in a common region except for the first saturation region for each of the image frames having different exposure times (S420). This process is described in detail.
영상의 노출 정보를 알고 있을 경우 카메라 응답함수를 이용하여 영상들 간의 밝기 보정을 할 수 있지만, 영상의 노출 정보를 모를 경우 노출 시간을 대신하여 영상의 밝기 정보를 나타내 줄 수 있는 값을 구하여 영상의 밝기를 보정해야 한다. 본 발명에서는 노출 정보를 대신하여 전역 평균값을 이용하고자 한다.If the exposure information of the image is known, the brightness of the images can be corrected using the camera response function.However, if the exposure information of the image is not known, a value that can represent the brightness information of the image instead of the exposure time is obtained. You need to calibrate the brightness. In the present invention, it is intended to use the global average value in place of the exposure information.
먼저, 추정 장치는 영상 프레임의 전역 평균값을 구하기 위하여 RGB 포맷을 밝기 정보와 색상 정보로 표현되는 YUV 포맷으로 변환하게 되는데, 이러한 변환식은 다음의 [수학식 1]과 같이 정의할 수 있다.First, the estimation apparatus converts an RGB format into a YUV format represented by brightness information and color information in order to obtain a global average value of an image frame. The conversion equation may be defined as
[수학식 1][Equation 1]
여기서, Y는 영상의 밝기를 나타내고, U, V는 영상의 색상 정보 특히, U는 휘도 신호와 청색 성분의 차를 나타내며, V는 휘도 신호와 적색 성분의 차를 나타낼 수 있다.Here, Y represents the brightness of the image, U and V represent color information of the image, in particular, U represents the difference between the luminance signal and the blue component, and V represents the difference between the luminance signal and the red component.
이렇게 변환하는 이유는 YUV 포맷이 밝기 정보와 색상 정보를 따로 처리하기 때문에 RGB 포맷보다 본 발명의 의도 즉, 색상을 유지시키면서 밝기만을 조절하는 것에 부합되기 때문이다.The reason for this conversion is that the YUV format processes the brightness information and the color information separately, so that it conforms to the intention of the present invention, that is, to adjust the brightness while maintaining the color, rather than the RGB format.
추정 장치는 [수학식 1]을 통해 YUV 포맷으로 변환된 영상 프레임들의 Y값만을 이용하여 다수의 영상 프레임들 각각에 대한 전역 평균값을 산출할 수 있다.
The estimation apparatus may calculate a global average value for each of the plurality of image frames using only the Y value of the image frames converted into the YUV format through
도 5는 본 발명의 일 실시예에 따른 전역 평균값을 산출하는 원리를 설명하기 위한 예시도이다.5 is an exemplary view for explaining a principle of calculating a global average value according to an embodiment of the present invention.
도 5에 도시한 바와 같이, 추정 장치는 그림 (a)에서처럼 다수의 영상 프레임들 각각으로부터 제1 포화 영역을 검출할 수 있다. 여기서, 제1 포화 영역은 영상 프레임 내의 전체 화소들 중에서 기 설정된 임계치(threshold value)를 벗어나는 화소들을 포함할 수 있다.As shown in FIG. 5, the estimation apparatus may detect the first saturation region from each of the plurality of image frames as shown in FIG. Here, the first saturation region may include pixels that deviate from a predetermined threshold value among all the pixels in the image frame.
예컨대, 제1 포화 영역은 영상 프레임 내의 전체 화소들 중에서 기 설정된 제1 임계치 ThL보다 큰 밝기 값을 갖는 화소와 기 설정된 제2 임계치 ThU보다 작은 밝기 값을 갖는 화소를 포함할 수 있다. 여기서, 제1 임계치 ThL는 제2 임계치 ThU보다 크게 설정된다.For example, the first saturation region may include a pixel having a brightness value greater than the preset first threshold Th L and a pixel having a brightness value smaller than the preset second threshold Th U among all the pixels in the image frame. Here, the first threshold Th L is set larger than the second threshold Th U.
이때, 제1 영상 프레임 Frame#1에는 좌상측에 하나의 제1 포화 영역이 존재하고, 제2 영상 프레임 Frame#2에는 우상측과 우하측에 두 개의 제1 포화 영역이 존재하며, 제3 영상 프레임 Frame#3에는 좌하측에 하나의 제1 포화 영역이 존재한다.At this time, one first saturation region exists in the upper left side in the first image
추정 장치는 그림 (b)에서처럼 다수의 영상 프레임들 각각에 대한 제1 포화 영역을 제외한 공통된 영역을 검출하고 그 공통된 영역을 이용하여 영상 프레임들 각각의 전역 평균값을 산출할 수 있다. 즉, 3개의 영상 프레임들이 있는 경우에 3개의 영상 프레임들 각각에서 포화 영역은 다르더라도 공통된 영역은 동일하다.The estimating apparatus detects a common region except for the first saturation region for each of the plurality of image frames as shown in FIG. (B) and calculates a global average value of each of the image frames using the common region. That is, when there are three image frames, the common region is the same even though the saturation region is different in each of the three image frames.
예컨대, 제1 영상 프레임 Frame#1에서 좌상측에 존재하는 하나의 제1 포화 영역, 제2 영상 프레임 Frame#2의 우상측과 우하측에 존재하는 두 개의 제1 포화 영역, 및 제3 영상 프레임 Frame#3의 좌하측에 존재하는 하나의 제1 포화 영역을 제외한 영역이 공통된 영역이 된다.For example, one first saturation region in the upper left side of the first image
마찬가지로, 제2 영상 프레임 Frame#2에서 우상측과 우하측에 존재하는 두 개의 제1 포화 영역, 제1 영상 프레임 Frame#1의 좌상측에 존재하는 하나의 제1 포화 영역, 및 제3 영상 프레임 Frame#3의 좌하측에 존재하는 하나의 제1 포화 영역을 제외한 영역이 공통된 영역이 된다.Similarly, two first saturation regions existing on the upper right side and the lower right side of the second image
마찬가지로, 제3 영상 프레임 Frame#3에서 좌하측에 존재하는 하나의 제1 포화 영역, 제1 영상 프레임 Frame#1의 좌상측에 존재하는 하나의 제1 포화 영역, 및 제2 영상 프레임 Frame#2의 우상측과 우하측에 존재하는 두 개의 제1 포화 영역을 제외한 영역이 공통된 영역이 된다.Similarly, one first saturation region existing in the lower left side in the third image
이때, 추정 장치는 전역 평균값을 화소 단위로 누적 연산하여 산출할 수 있는데, 전체 화소의 개수가 N인 경우 n번째 화소까지의 전역 평균값은 다음의 [수학식 2]와 같이 나타낼 수 있다.In this case, the estimating apparatus may calculate the global average value by accumulating the pixel unit, and when the total number of pixels is N, the global average value up to the nth pixel may be expressed by
[수학식 2]&Quot; (2) "
meann = (meann-1 + n번째 화소의 밝기 값)/n, n=1,2, ...,Nmean n = (mean n-1 + brightness value of n th pixel) / n, n = 1,2, ..., N
여기서, 전역 평균값이 산출되기 이전의 전역 평균값 mean0으로는 0이 설정될 수 있다.Here, 0 may be set as the global mean value 0 before the global mean value is calculated.
이처럼, 본 발명은 정확한 전역 평균값 계산을 위해 노출이 다른 각각의 영상 프레임들의 부정확한 화소를 제외한 영역 중 노출이 다른 영상 프레임들 간의 공통된 영역을 찾은 후 공통된 영역에서의 평균을 산출하게 된다.As described above, the present invention calculates the average in the common area after finding a common area among the image frames having different exposures among the areas excluding the incorrect pixels of the respective exposure frames for accurate global average calculation.
이러한 이유는 화소가 너무 어둡거나 너무 밝을 경우에는 빛에 반응하지 않거나 너무 강하게 반응하여 포화가 될 가능성이 있기 때문에 그 부정확한 화소를 배제하기 위함이다.
This is because the pixels are too dark or too bright to exclude the incorrect pixels because they may not respond to light or may react too strongly and become saturated.
다음으로, 추정 장치는 측정된 전역 평균값들을 이용하여 영상 프레임들 간의 밝기 값을 보정할 수 있다(S430). 즉, 추정 장치는 측정된 전역 평균값들을 이용하여 예상 노출시간을 산출하고 그 산출된 예상 노출시간을 이용하여 카메라 응답함수를 추정하고 그 추정된 카메라 응답함수를 이용하여 영상 프레임들 간의 밝기 값을 보정하여 밝기 값을 동일하게 할 수 있다.Next, the estimating apparatus may correct the brightness values between the image frames by using the measured global average values (S430). That is, the estimating apparatus calculates an expected exposure time using the measured global average values, estimates a camera response function using the calculated estimated exposure time, and corrects brightness values between image frames using the estimated camera response function. You can make the brightness value the same.
여기서, 카메라의 고유 특성인 카메라 응답함수는 영상의 밝기와 조도의 상관관계를 나타내는 함수로서 영상 센서의 물리적 특성에 의해 결정될 수 있다.Here, the camera response function, which is an inherent characteristic of the camera, may be determined by the physical characteristics of the image sensor as a function representing the correlation between the brightness of the image and the illumination.
카메라 응답 함수는 동일한 카메라로 노출이 다르게 촬영된 여러 장의 영상과 노출 시간을 이용하여 추정될 수 있다. 카메라 응답함수는 비선형 함수로 표현되며 정확한 추정을 위해 노출 시간이 다른 영상들 간의 정보를 반복적으로 이용하게 된다.The camera response function can be estimated using multiple images and exposure times taken with different exposures from the same camera. The camera response function is expressed as a nonlinear function and uses information between images with different exposure times repeatedly for accurate estimation.
i번째 영상의 j번째 화소의 밝기 값 yij에 대한 카메라 응답함수 g(yij)는 다음의 [수학식 3]과 같이 나타낼 수 있다.The camera response function g (y ij ) with respect to the brightness value y ij of the j-th pixel of the i-th image may be expressed by
[수학식 3]&Quot; (3) "
g(yij) = tixj g (y ij ) = t i x j
여기서, ti는 서로 다른 노출 시간을 갖는 영상 중 i번째 영상 프레임의 노출 시간을 나타내고, xj는 영상 프레임의 j번째 화소에 유입되는 조도를 나타낼 수 있다.Here, t i may represent an exposure time of an i-th image frame among images having different exposure times, and x j may represent an illumination intensity flowing into a j-th pixel of the image frame.
먼저, 추정 장치는 영상 프레임들의 전역 평균값들에 상응하는 기 설정된 예상 노출시간을 산출할 수 있다. 즉, 본 발명에서는 전역 평균값의 변화량에 따라 일정 크기만큼 변화되는 상대적인 노출 시간을 기 설정해 둘 수 있다.First, the estimating apparatus may calculate a preset expected exposure time corresponding to global average values of the image frames. That is, in the present invention, the relative exposure time that changes by a certain amount according to the change amount of the global average value may be set in advance.
추정 장치는 산출된 예상 노출시간을 이용하여 카메라 응답 함수를 추정하는데, 다음의 [수학식 4]와 [수학식 5]를 반복하여 카메라 응답함수 g(y)를 추정할 수 있다.The estimating apparatus estimates the camera response function using the calculated estimated exposure time, and may repeat the following [Equation 4] and [Equation 5] to estimate the camera response function g (y).
[수학식 4]&Quot; (4) "
여기서, ωij는 가중치 함수를 나타낼 수 있다. 가중치 함수는 중간 밝기의 화소에는 큰 가중치를 주고, 포화되거나 어두운 화소에는 작을 가중치를 주게 된다.Here, ω ij may represent a weight function. The weighting function gives large weights to pixels of medium brightness and small weights to saturated or dark pixels.
[수학식 5]&Quot; (5) "
추정 장치는 추정된 카메라 응답함수를 이용하여 다수의 영상 프레임들 간의 밝기 값을 보정하여 밝기 값을 동일하게 할 수게 된다. 이는 다음의 [수학식 6]과 같이 나타낼 수 있다.The estimating apparatus may equalize the brightness values by correcting the brightness values between the plurality of image frames using the estimated camera response function. This can be expressed as Equation 6 below.
[수학식 6]&Quot; (6) "
다음으로, 추정 장치는 밝기가 동일해진 다수의 영상 프레임들 간의 전역 움직임을 블록매칭 방식으로 추정할 수 있다(S440). 좀 더 구체적으로 설명하면 다음과 같다.Next, the estimating apparatus may estimate the global motion between the plurality of image frames having the same brightness in a block matching method (S440). More specifically, it is as follows.
추정 장치는 밝기가 동일해진 다수의 영상 프레임들 각각에서 제2 포화 영역을 제외한 보정 영상 프레임들을 생성할 수 있다. 여기서, 제2 포화 영역은 기 설정된 임계치 Thsat보다 크거나 같은 밝기 값을 갖는 화소를 포함할 수 있다.The estimating apparatus may generate corrected image frames except for the second saturation region in each of the plurality of image frames having the same brightness. Here, the second saturation region may include a pixel having a brightness value greater than or equal to a preset threshold Th sat .
즉, 밝기 보정한 결과에 따라 나타나게 되는 노출 시간이 적은 영상의 포화 영역과 노출 시간이 긴 영상의 포화 영역을 제외하게 된다. 이러한 과정을 통해 본 발명은 실제 유용한 정보만을 이용하여 보다 정확하게 전역 움직임을 추정할 수 있게 된다.That is, the saturation region of the image having a short exposure time and the saturation region of an image with a long exposure time, which appear according to the brightness correction result, are excluded. Through this process, the present invention can more accurately estimate global motion using only practically useful information.
추정 장치는 생성된 보정 영상 프레임들을 이용하여 영상 프레임들 간의 전역 움직임을 블록매칭 방식으로 추정하여 전역 움직임 벡터를 산출할 수 있다. 이렇게 산출되는 전역 움직임 벡터는 다음의 [수학식 7]과 같이 나타낼 수 있다.The estimating apparatus may calculate the global motion vector by estimating the global motion between the image frames using the block matching method using the generated corrected image frames. The calculated global motion vector may be expressed as Equation 7 below.
[수학식 7][Equation 7]
여기서, 
here,
도 6은 본 발명의 일 실시예에 따른 컴퓨터 시뮬레이션 결과를 보여주는 예시도이다.6 is an exemplary view showing a computer simulation result according to an embodiment of the present invention.
도 6에 도시한 바와 같이, 본 발명에서 제안하는 방식을 통해 노출 시간이 다른 영상 프레임 간의 전역 움직임을 추정하고 그 추정된 전역 움직임을 이용하여 HDR 영상을 합성한 결과를 보여주고 있다.As shown in FIG. 6, the global motion between the image frames having different exposure times is estimated through the method proposed by the present invention, and the HDR image is synthesized using the estimated global motion.
앞의 도 2에서와 달리 카메라의 흔들림에 의한 잔상이 발생하지 않는 것을 알 수 있다.
Unlike in FIG. 2, it can be seen that afterimages are not generated due to camera shake.
본 발명에 의한 HDR 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Various modifications and variations may be made by those skilled in the art in the HDR image system according to the present invention without departing from the essential features of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
310 : 영상 획득부
320 : 밝기 측정부
330 : 밝기 보정부
340 : 움직임 추정부310: image acquisition unit
320: brightness measuring unit
330: brightness correction unit
340: motion estimation unit
Claims (20)
측정된 상기 밝기 값들을 이용하여 상기 영상 프레임들 간의 밝기값들을 동일해지도록 보정하는 밝기 보정부; 및
상기 보정한 결과로 밝기값들이 동일해진 상기 영상 프레임들 간의 전역 움직임을 추정하는 움직임 추정부;
를 포함하되, 상기 밝기 보정부는 상기 전역 평균값을 이용하여 예상 노출시간을 산출하여 산출된 상기 예상 노출시간을 이용하여 카메라 응답 함수를 추정하고, 추정된 상기 카메라 응답 함수를 통해 상기 영상 프레임들 간의 밝기값들을 보정하며,
여기서, 상기 예상 노출시간은 상기 전역 평균값의 변화량에 따라 일정 크기만큼 변화되는 상대적인 노출 시간으로 기 설정되는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 장치.A brightness measuring unit measuring brightness values of all pixels of each of a plurality of image frames having different exposure times;
A brightness compensator configured to correct the brightness values between the image frames by using the measured brightness values; And
A motion estimator for estimating global motion between the image frames having the same brightness as a result of the correction;
The brightness correction unit estimates a camera response function using the estimated exposure time calculated by calculating an expected exposure time using the global average value, and the brightness between the image frames through the estimated camera response function. To calibrate the values,
Here, the expected exposure time is a device for estimating global motion between images, characterized in that the predetermined exposure time which is changed by a predetermined amount in accordance with the change amount of the global average value.
상기 밝기 측정부는,
노출 시간이 서로 다른 영상 프레임들 각각에서 포화 영역을 제외한 공통된 영역을 추출하고, 추출된 상기 영상 프레임들 각각의 공통된 영역에서 전체 화소들의 밝기 값을 측정하되, 상기 포화 영역은 제1 임계치보다 큰 밝기 값을 갖는 화소와 제2 임계치보다 작은 밝기 값을 갖는 화소를 포함하고 상기 제1 임계치는 상기 제2 임계치보다 큰 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 장치.The method according to claim 1,
The brightness measuring unit,
Extracting a common region excluding a saturation region from each of the image frames having different exposure times, and measuring a brightness value of all pixels in the common region of each of the extracted image frames, wherein the saturation region has a brightness greater than a first threshold value. A pixel having a value and a pixel having a brightness value less than a second threshold, wherein the first threshold is greater than the second threshold.
상기 밝기 측정부는,
노출 시간이 서로 다른 영상 프레임들 각각에서 포화 영역을 제외한 공통된 영역을 추출하고, 추출된 상기 영상 프레임들 각각의 공통된 영역에서 전체 화소들의 밝기 값의 평균을 나타내는 전역 평균값을 측정하는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 장치.The method according to claim 1,
The brightness measuring unit,
An image is characterized by extracting a common region excluding a saturation region from each of the image frames having different exposure times, and measuring a global average value representing an average of brightness values of all pixels in the common region of each of the extracted image frames. Apparatus for estimating global movement of the liver.
상기 영상 프레임 내 전체 화소의 개수가 N인 경우 n번째 화소까지의 전역 평균값은 다음의 수학식 meann = (meann-1 + n번째 화소의 밝기 값)/n, n=1,2, ...,N에 의해 구하고, 여기서, 전역 평균값이 산출되기 이전의 전역 평균값 mean0으로는 0이 설정되는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 장치.The method of claim 3,
When the total number of pixels in the image frame is N, the global average value up to the nth pixel is represented by the following formula mean n = (mean n-1 + nth brightness value) / n, n = 1,2,. A device for estimating global motion between images, wherein 0 is set as a global mean value 0 before the global mean value is calculated.
상기 밝기 측정부는,
RGB 포맷의 상기 영상 프레임들을 YUV 포맷으로 변환하여 변환된 상기 영상 프레임들의 Y값을 구하고, 구한 상기 Y값을 이용하여 상기 영상 프레임들 각각에 대한 전역 평균값을 측정하는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 장치.The method according to claim 1,
The brightness measuring unit,
Converting the image frames of the RGB format into a YUV format to obtain a Y value of the converted image frames, and using the obtained Y value, a global average value for each of the image frames is measured. Apparatus for estimating.
상기 움직임 추정부는,
상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 간의 전역 움직임을 블록매칭 방식으로 추정하는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 장치.The method according to claim 1,
The motion estimation unit,
And estimating global motion between the image frames having the same brightness as a result of the correction by a block matching method.
상기 움직임 추정부는,
상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 각각에서 포화 영역을 제외한 보정 영상 프레임들을 생성하고 생성된 상기 보정 영상 프레임들을 이용하여 상기 영상 프레임들 간의 전역 움직임을 추정하되,
여기서, 상기 포화 영역은 기 설정된 임계치보다 크거나 같은 밝기 값을 갖는 화소를 포함하는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 장치.The method according to claim 1,
The motion estimation unit,
In each of the image frames having the same brightness as a result of the correction, corrected image frames except for a saturation region are generated, and global motions between the image frames are estimated using the generated corrected image frames.
The apparatus for estimating global motion between images, wherein the saturation region includes a pixel having a brightness value greater than or equal to a preset threshold.
측정된 상기 전역 평균값들을 이용하여 상기 영상 프레임들 간의 밝기값들을 동일해지도록 보정하는 밝기 보정부; 및
상기 보정한 결과로 밝기값들이 동일해진 상기 영상 프레임들 각각에서 일정 범위 내의 밝기를 갖는 화소들을 이용하여 상기 영상 프레임들 간의 전역 움직임을 추정하는 움직임 추정부;
를 포함하되, 상기 밝기 보정부는 상기 전역 평균값을 이용하여 예상 노출시간을 산출하여 산출된 상기 예상 노출시간을 이용하여 카메라 응답 함수를 추정하고, 추정된 상기 카메라 응답 함수를 통해 상기 영상 프레임들 간의 밝기값들을 보정하며,
여기서, 상기 예상 노출시간은 상기 전역 평균값의 변화량에 따라 일정 크기만큼 변화되는 상대적인 노출 시간으로 기 설정되는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 장치.A brightness measuring unit measuring global average values representing an average of brightness values of pixels having a brightness within a predetermined range of all pixels for each of a plurality of image frames having different exposure times;
A brightness compensator configured to correct brightness values between the image frames by using the measured global mean values; And
A motion estimator for estimating global motion between the image frames by using pixels having brightness within a predetermined range in each of the image frames having the same brightness value as a result of the correction;
The brightness correction unit estimates a camera response function using the estimated exposure time calculated by calculating an expected exposure time using the global average value, and the brightness between the image frames through the estimated camera response function. To calibrate the values,
Here, the expected exposure time is a device for estimating global motion between images, characterized in that the predetermined exposure time which is changed by a predetermined amount in accordance with the change amount of the global average value.
측정된 상기 밝기 값들을 이용하여 상기 영상 프레임들 간의 밝기값들을 동일해지도록 보정하는 단계; 및
상기 보정한 결과로 밝기값들이 동일해진 상기 영상 프레임들 간의 전역 움직임을 추정하는 단계;
를 포함하되, 상기 보정하는 단계는 상기 전역 평균값을 이용하여 예상 노출시간을 산출하여 산출된 상기 예상 노출시간을 이용하여 카메라 응답 함수를 추정하고, 추정된 상기 카메라 응답 함수를 통해 상기 영상 프레임들 간의 밝기값들을 보정하며,
여기서, 상기 예상 노출시간은 상기 전역 평균값의 변화량에 따라 일정 크기만큼 변화되는 상대적인 노출 시간으로 기 설정되는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 방법.Measuring brightness values of all pixels for each of a plurality of image frames having different exposure times;
Correcting brightness values of the image frames to be the same by using the measured brightness values; And
Estimating global motion between the image frames having the same brightness as a result of the correction;
Wherein the correcting includes estimating a camera response function using the estimated exposure time calculated by calculating an expected exposure time using the global average value, and between the image frames through the estimated camera response function. To calibrate the brightness values,
Here, the expected exposure time is a method for estimating the global motion between images, characterized in that the predetermined exposure time is changed by a predetermined amount in accordance with the change amount of the global mean value.
상기 측정하는 단계는,
노출 시간이 서로 다른 영상 프레임들 각각에서 포화 영역을 제외한 공통된 영역을 추출하고, 추출된 상기 영상 프레임들 각각의 공통된 영역에서 전체 화소들의 밝기 값을 측정하되, 상기 포화 영역은 제1 임계치보다 큰 밝기 값을 갖는 화소와 제2 임계치보다 작은 밝기 값을 갖는 화소를 포함하고 상기 제1 임계치는 상기 제2 임계치보다 큰 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 방법.12. The method of claim 11,
Wherein the measuring step comprises:
Extracting a common region excluding a saturation region from each of the image frames having different exposure times, and measuring a brightness value of all pixels in the common region of each of the extracted image frames, wherein the saturation region has a brightness greater than a first threshold value. And a pixel having a brightness value and a pixel having a brightness value less than a second threshold, wherein the first threshold is greater than the second threshold.
상기 측정하는 단계는,
노출 시간이 서로 다른 영상 프레임들 각각에서 포화 영역을 제외한 공통된 영역을 추출하고, 추출된 상기 영상 프레임들 각각의 공통된 영역에서 전체 화소들의 밝기 값의 평균을 나타내는 전역 평균값을 측정하는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 방법.12. The method of claim 11,
Wherein the measuring step comprises:
An image is characterized by extracting a common region excluding a saturation region from each of the image frames having different exposure times, and measuring a global average value representing an average of brightness values of all pixels in the common region of each of the extracted image frames. Method for estimating global movement of the liver.
상기 영상 프레임 내 전체 화소의 개수가 N인 경우 n번째 화소까지의 전역 평균값은 다음의 수학식 meann = (meann-1 + n번째 화소의 밝기 값)/n, n=1,2, ...,N에 의해 구하고, 여기서, 전역 평균값이 산출되기 이전의 전역 평균값 mean0으로는 0이 설정되는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 방법.The method of claim 13,
When the total number of pixels in the image frame is N, the global average value up to the nth pixel is represented by the following formula mean n = (mean n-1 + nth brightness value) / n, n = 1,2,. A method for estimating global motion between images, wherein 0 is set as the global mean value 0 before the global mean value is calculated.
상기 측정하는 단계는,
RGB 포맷의 상기 영상 프레임들을 YUV 포맷으로 변환하여 변환된 상기 영상 프레임들의 Y값을 구하고, 구한 상기 Y값을 이용하여 상기 영상 프레임들 각각에 대한 전역 평균값을 측정하는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 방법.12. The method of claim 11,
Wherein the measuring step comprises:
Converting the image frames of the RGB format into a YUV format to obtain a Y value of the converted image frames, and using the obtained Y value, a global average value for each of the image frames is measured. Method for estimating
상기 추정하는 단계는,
상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 간의 전역 움직임을 블록매칭 방식으로 추정하는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 방법.12. The method of claim 11,
Wherein the estimating step comprises:
And estimating global motion between the image frames having the same brightness as a result of the correction by a block matching method.
상기 추정하는 단계는,
상기 보정한 결과로 밝기가 동일해진 상기 영상 프레임들 각각에서 포화 영역을 제외한 보정 영상 프레임들을 생성하고 생성된 상기 보정 영상 프레임들을 이용하여 상기 영상 프레임들 간의 전역 움직임을 추정하되,
여기서, 상기 포화 영역은 기 설정된 임계치보다 크거나 같은 밝기 값을 갖는 화소를 포함하는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 방법.12. The method of claim 11,
Wherein the estimating step comprises:
In each of the image frames having the same brightness as a result of the correction, corrected image frames except for a saturation region are generated, and global motions between the image frames are estimated using the generated corrected image frames.
Here, the saturation region includes a pixel having a brightness value greater than or equal to a predetermined threshold value, the global motion between the images.
측정된 상기 전역 평균값들을 이용하여 상기 영상 프레임들 간의 밝기값들을 동일해지도록 보정하는 단계; 및
상기 보정한 결과로 밝기값들이 동일해진 상기 영상 프레임들 각각에서 일정 범위 내의 밝기를 갖는 화소들을 이용하여 상기 영상 프레임들 간의 전역 움직임을 추정하는 단계;
를 포함하되, 상기 보정하는 단계는 상기 전역 평균값을 이용하여 예상 노출시간을 산출하여 산출된 상기 예상 노출시간을 이용하여 카메라 응답 함수를 추정하고, 추정된 상기 카메라 응답 함수를 통해 상기 영상 프레임들 간의 밝기값들을 보정하며,
여기서, 상기 예상 노출시간은 상기 전역 평균값의 변화량에 따라 일정 크기만큼 변화되는 상대적인 노출 시간으로 기 설정되는 것을 특징으로 하는 영상 간의 전역 움직임을 추정하기 위한 방법.Measuring global average values representing an average of brightness values of pixels having a brightness within a predetermined range of all pixels for each of a plurality of image frames having different exposure times;
Correcting brightness values of the image frames to be equal using the measured global mean values; And
Estimating global motion between the image frames by using pixels having brightness within a predetermined range in each of the image frames having the same brightness value as a result of the correction;
Wherein the correcting includes estimating a camera response function using the estimated exposure time calculated by calculating an expected exposure time using the global average value, and between the image frames through the estimated camera response function. To calibrate the brightness values,
Here, the expected exposure time is a method for estimating the global motion between images, characterized in that the predetermined exposure time is changed by a predetermined amount in accordance with the change amount of the global mean value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110098079A KR101301069B1 (en) | 2011-09-28 | 2011-09-28 | Apparatus for estimating global motion between images in hdr image system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110098079A KR101301069B1 (en) | 2011-09-28 | 2011-09-28 | Apparatus for estimating global motion between images in hdr image system and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130034185A KR20130034185A (en) | 2013-04-05 |
| KR101301069B1 true KR101301069B1 (en) | 2013-08-28 |
Family
ID=48436342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110098079A KR101301069B1 (en) | 2011-09-28 | 2011-09-28 | Apparatus for estimating global motion between images in hdr image system and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101301069B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102106537B1 (en) * | 2013-09-27 | 2020-05-04 | 삼성전자주식회사 | Method for generating a High Dynamic Range image, device thereof, and system thereof |
| KR101629825B1 (en) | 2014-12-04 | 2016-06-22 | 현대모비스 주식회사 | Display apparatus and method using high dynamic range for vehicle |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100085539A (en) * | 2009-01-21 | 2010-07-29 | 연세대학교 산학협력단 | Method and apparatus for generating image with improved spatial resolution and dynamic range, and the recording media storing the program performing the said method |
| KR20100096872A (en) * | 2009-02-25 | 2010-09-02 | 삼성전자주식회사 | Apparatus and method for alignment of images |
-
2011
- 2011-09-28 KR KR1020110098079A patent/KR101301069B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100085539A (en) * | 2009-01-21 | 2010-07-29 | 연세대학교 산학협력단 | Method and apparatus for generating image with improved spatial resolution and dynamic range, and the recording media storing the program performing the said method |
| KR20100096872A (en) * | 2009-02-25 | 2010-09-02 | 삼성전자주식회사 | Apparatus and method for alignment of images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130034185A (en) | 2013-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9036050B2 (en) | Image processing device, image processing method, and program | |
| JP6020199B2 (en) | Image processing apparatus, method, program, and imaging apparatus | |
| US9036060B2 (en) | Imaging device, image processing method and program for correction of blooming | |
| US8384805B2 (en) | Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image | |
| EP3079353B1 (en) | Image processing device, image processing method, electronic apparatus, and program | |
| US10298843B2 (en) | Image processing device, image processing method, and electronic apparatus for motion detection in image | |
| US9454805B2 (en) | Method and apparatus for reducing noise of image | |
| CN102724400B (en) | Image processing equipment and control method thereof | |
| US20120281133A1 (en) | Image capture device, image capture device control method, and program | |
| WO2016017450A1 (en) | Image-processing device, image processing method, program, and image sensor | |
| US20100271515A1 (en) | Image generation apparatus and image generation method | |
| US20130265412A1 (en) | Image processing apparatus and control method therefor | |
| KR20130119706A (en) | Method and system for compensating image blur by moving image sensor | |
| KR20150035315A (en) | Method for generating a High Dynamic Range image, device thereof, and system thereof | |
| JP2015144475A (en) | Imaging apparatus, control method of the same, program and storage medium | |
| JP2015204488A (en) | Motion detection apparatus and motion detection method | |
| CN114979500A (en) | Image processing method, image processing apparatus, electronic device, and readable storage medium | |
| KR101306780B1 (en) | Apparatus for estimating global motion between images in hdr image system and method thereof | |
| KR101301069B1 (en) | Apparatus for estimating global motion between images in hdr image system and method thereof | |
| US8213496B2 (en) | Image processing device, image processing method, and image processing program | |
| JP2013074571A (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2019205073A (en) | Image processing device, image processing method, image processing program, and storage medium | |
| JP2012109849A (en) | Imaging device | |
| JP2013070241A (en) | Image processing apparatus, image processing method, and image processing program | |
| US11153467B2 (en) | Image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160818 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170816 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180820 Year of fee payment: 6 |