KR101872015B1 - Apparatus and method for generating infrared image - Google Patents
Apparatus and method for generating infrared image Download PDFInfo
- Publication number
- KR101872015B1 KR101872015B1 KR1020170163064A KR20170163064A KR101872015B1 KR 101872015 B1 KR101872015 B1 KR 101872015B1 KR 1020170163064 A KR1020170163064 A KR 1020170163064A KR 20170163064 A KR20170163064 A KR 20170163064A KR 101872015 B1 KR101872015 B1 KR 101872015B1
- Authority
- KR
- South Korea
- Prior art keywords
- area
- image
- infrared image
- brightness
- detailed
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H04N5/235—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 적외선 영상 생성장치 및 방법에 관한 것이다. 보다 상세하게는, 주변휘도를 고려하여 상세부분에 가중치를 부여함에 따라 적외선 영상의 선예도를 향상시키는 적외선 영상 생성장치 및 방법에 관한 것이다. The present invention relates to an infrared image generating apparatus and method. And more particularly, to an apparatus and method for generating an infrared image that improves sharpness of an infrared image by weighting a detailed portion in consideration of the surrounding luminance.
적외선 영상 센서는 16-bit 또는 14-bit 등의 HDR(High-Dynamic-Range) 데이터를 생성하는데, 이는 매우 넓은 범위를 가지기 때문에 적외선 영상을 모니터에 출력하기 위해서는 256개의 단계를 가지는 8-bit 데이터로 변환하는 렌더링 작업이 필요하다. 즉, 8-bit 그레이 스케일로 변환해야 한다.The infrared image sensor generates high-dynamic-range (HDR) data such as 16-bit or 14-bit data. In order to output an infrared image to a monitor, To render it. That is, it must be converted to 8-bit grayscale.
이러한 적외선 영상의 렌더링은 원 영상의 신호정보를 손실시키기 때문에 영상의 상세부분이 감쇄되는 문제가 발생한다. 이러한 문제를 해결하기 위해 영상의 감쇄된 상세부분을 보상하는 적외선 영상 렌더링 기법이 필요하다.Since the rendering of the infrared image loses signal information of the original image, the detail of the image is attenuated. In order to solve this problem, there is a need for an infrared image rendering technique that compensates for the degraded detail of the image.
종래 기술로는 각 화소가 가지는 적외선 영상 데이터를 선형적으로 8-bit로 변환시키는 선형 변환 알고리즘(Linear Transformation Algorithm)을 이용하는 방법이 있는데, 우선 적외선 영상 데이터에서 가장 큰 값과 가장 작은 값을 추출하여, 상기 가장 큰 값과 가장 작은 값 사이의 균일한 값으로 0~ 255 사이의 값으로 맵핑시킨다.In the prior art, there is a method using a linear transformation algorithm that linearly converts infrared image data of each pixel to 8-bit. First, the largest value and the smallest value are extracted from the infrared image data , And maps the value between 0 and 255 as a uniform value between the largest value and the smallest value.
상기의 수학식은 상기 균일한 값을 구하기 위한 식으로서, I(i, j)는 적외선 영상센서에서 획득한 데이터 값이고, i. j는 영상에서의 화소 위치값이다. I (i, j) is a data value obtained by an infrared image sensor, and i (i, j) is a data value obtained by the infrared image sensor. j is the pixel position value in the image.
I’(i, j)는 8-bit로 변환된 적외선 영상 데이터이고, 0에서 255 사이의 값을 가진다. I '(i, j) is infrared image data converted to 8-bit and has a value between 0 and 255.
이러한 방법을 이용하는 선형 변환 알고리즘은 넓은 범위를 가지는 적외선 영상 데이터를 좁은 영역에서 맵핑(mapping)하기 때문에 데이터의 손실을 야기한다. 이로 인해 상세 영역에서 데이터의 손실을 가져오고, 8-bit로 변환된 적외선 영상 데이터의 상세 영역이 흐려지는 문제를 가지고 있다.The linear transformation algorithm using this method causes a loss of data because it maps a wide range of infrared image data in a narrow area. This leads to a loss of data in the detailed area and a problem that the detailed area of the 8-bit converted infrared image data is blurred.
한국공개특허 제2007-0048961호는 디스플레이 화면의 공간적 불균일을 보정하는 방법에 대하여 기술하고 있다. Korean Patent Publication No. 2007-0048961 describes a method for correcting spatial unevenness of a display screen.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 적외선 영상에서 주변휘도를 고려하여 상세부분에 가중치를 부여함에 따라 적외선 영상의 선예도를 향상시키는 적외선 영상 생성장치 및 방법을 제안함을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an infrared image generating apparatus and method for improving the sharpness of an infrared image by weighting a detailed portion in consideration of the surrounding luminance in an infrared image .
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 적외선 영상을 배경영역과 상세영역으로 분리하는 영상 분리부와, 상기 배경영역의 위치에 따른 휘도값을 구하는 휘도 산출부와, 인접한 상기 배경영역의 휘도값에 따라 상기 상세영역의 휘도를 상대적 주변 휘도값으로 변환하고, 상기 상대적 주변 휘도값에 따라 상기 상세영역의 객체에 가중치를 부여하는 영상 처리부 및 상기 배경영역과 상기 객체에 가중치가 부여된 상기 상세영역의 영상을 합성하는 영상 합성부를 포함하는 적외선 영상 생성장치를 제안한다.According to an aspect of the present invention, there is provided an image processing apparatus including an image separator for separating an infrared image into a background area and a detailed area, a luminance calculator for calculating a luminance value according to the position of the background area, An image processing unit for converting the luminance of the detailed area into a relative surrounding luminance value according to the luminance value of the detailed area and giving a weight to the object of the detailed area according to the relative peripheral luminance value, And an image synthesizing unit for synthesizing the image of the detailed area.
바람직하게는, 상기 영상 합성부에 의해 생성된 적외선 영상을 8-bit 도메인으로 변환하는 도메인 변환부 및 상기 8-bit 도메인으로 변환된 적외선 영상을 모니터에 출력하는 출력부를 더 포함한다.Preferably, the apparatus further includes a domain converter for converting the infrared image generated by the image synthesizer into an 8-bit domain, and an output unit for outputting the infrared image converted into the 8-bit domain to a monitor.
바람직하게는, 상기 영상 분리부는, 상기 적외선 영상에 바이레터럴 필터(Bilateral filter)를 이용하여 공간상에서 서로 근접한 화소들의 데이터 레벨의 차이가 임계치 이하인 경우, 같은 영역으로 구분하고, 구분된 영역의 경계면을 제외한 나머지 영역을 블러링하여 상기 적외선 영상을 배경영역과 상세영역으로 분리한다.Preferably, the image separating unit divides the infrared image into the same area when the difference between the data levels of the pixels adjacent to each other in the space is less than a threshold value by using a bilateral filter, Is blurred to separate the infrared image into a background area and a detailed area.
바람직하게는, 상기 영상 처리부는, 상기 배경영역의 위치에 따른 휘도값을 이용하여 상기 상세영역에 대해 상기 상대적 주변 휘도값을 산출하되, 상기 상대적 주변 휘도값은 상기 배경영역의 위치에 따른 휘도값의 소정 비율로 산출하고, 상기 상대적 주변 휘도값에 따라 상기 상세영역의 객체에 가중치를 부여한다.Preferably, the image processor calculates the relative peripheral luminance value with respect to the detailed area using a luminance value corresponding to the position of the background area, wherein the relative peripheral luminance value is a luminance value corresponding to the position of the background area And assigns a weight to the object in the detailed area according to the relative peripheral luminance value.
바람직하게는 ,상기 영상 처리부는, 상기 상대적 주변 휘도값은 상기 상세영역을 기준으로 미리 설정된 범위 내에 인접한 상기 배경영역을 기준으로 산출하되, 상기 배경영역인 무채색 영상의 백색 휘도(Adapting filed white luminance)가 소정 비율로 감소된 값으로 산출된다. Preferably, the image processing unit calculates the relative peripheral luminance value based on the background area that is within a predetermined range based on the detailed area, and calculates the white luminance of the achromatic image, which is the background area, Is calculated as a value reduced by a predetermined ratio.
바람직하게는, 상기 상대적 주변 휘도값에 따라 상기 상세영역의 객체에 부여하는 가중치(Luminance level adaptation factor, FL)는, 각 화소에 따라 상기 상대적 주변 휘도값에 비례하는 관계식으로 산출되고, 상기 관계식은 
바람직하게는, 상기 영상 처리부는, 상기 상대적 주변 휘도값과 상기 가중치 및 상기 적외선 영상의 밝기 대비 값들을 기반으로 상기 상세영역의 화소에 따른 이득 조절값을 결정한다.Preferably, the image processing unit determines a gain adjustment value according to the pixel of the detailed area based on the relative surrounding luminance value, the weight value, and the brightness contrast values of the infrared image.
바람직하게는, 상기 이득 조절값은 상기 상세영역의 화소에 따른 밝기가 상대적 주변 휘도값 및 상기 적외선 영상의 밝기 대비와 지수함수 관계로 결정되며, 상기 지수함수 관계는 Preferably, the gain control value is determined by an exponential function relationship between the brightness of the detailed area and the relative brightness value of the infrared image and the brightness contrast of the infrared image,
바람직하게는, 상기 영상 합성부는, 상기 결정된 상세영역의 이득 조절값을 상기 상세영역의 각 픽셀에 적용하고, 상기 이득 조절값이 적용된 상기 상세영역을 상기 배경영역과 합성한다.Preferably, the image combining unit applies the gain adjustment value of the determined detailed area to each pixel of the detailed area, and synthesizes the detailed area to which the gain adjustment value is applied, with the background area.
또한 본 발명은 적외선 영상을 배경영역과 상세영역으로 분리하는 단계와, 상기 배경영역의 위치에 따른 휘도값을 구하는 단계와, 인접한 상기 배경영역의 휘도값에 따라 상기 상세영역의 휘도를 상대적 주변 휘도값으로 변환하는 단계와, 상기 상대적 주변 휘도값에 따라 상기 상세영역의 객체에 가중치를 부여하는 단계 및 상기 배경영역과 상기 가중치가 부여된 객체을 포함하는 상기 상세영역의 영상을 합성하는 단계를 포함하는 적외선 영상 생성방법을 제안한다.The method includes dividing an infrared image into a background area and a detailed area, obtaining a luminance value corresponding to a position of the background area, and calculating a luminance of the detailed area according to a luminance value of the adjacent background area, , Weighting an object of the detail area according to the relative peripheral luminance value, and synthesizing an image of the detail area including the weighted object with the background area We propose an infrared image generation method.
바람직하게는, 영상을 합성하는 단계 이후, 상기 배경영역과 상기 가중치가 부여된 객체을 포함하는 상기 상세영역의 영상의 합성에 의해 생성된 적외선 영상을 8-bit 도메인으로 변환하는 단계 및 상기 8-bit 도메인으로 변환된 적외선 영상을 모니터에 출력하는 단계를 더 포함한다.Preferably, the step of synthesizing an image further comprises the steps of converting an infrared image generated by combining the background region and the image of the detailed region including the weighted object into an 8-bit domain, And outputting the infrared image converted into the domain to the monitor.
바람직하게는, 상기 적외선 영상을 배경영상과 상세영역으로 분리하는 단계는, 상기 적외선 영상에 바이레터럴 필터(Bilateral filter)를 이용하여 공간상에서 서로 근접한 화소들의 데이터 레벨의 차이가 임계치 이하인 경우, 같은 영역으로 구분하고, 구분된 영역의 경계면을 제외한 나머지 영역을 블러링하여 상기 적외선 영상을 배경영역과 상세영역으로 분리한다.Preferably, the step of separating the infrared image into a background image and a detailed area may include the steps of: when a difference between data levels of pixels adjacent to each other in space using a bilateral filter in the infrared image is equal to or less than a threshold, And separates the infrared image into the background area and the detail area by blurring the remaining area except the boundary of the divided area.
바람직하게는, 상기 상대적 주변 휘도값을 산출하는 단계는, 상기 배경영역의 위치에 따른 휘도값을 이용하여 상기 상세영역에 대해 상기 상대적 주변 휘도값을 산출하되, 상기 상대적 주변 휘도값은 상기 배경영역의 위치에 따른 휘도값의 소정 비율로 산출하고, 상기 상대적 주변 휘도값은 상기 상세영역을 기준으로 미리 설정된 범위 내에 인접한 상기 배경영역을 기준으로 산출하되, 상기 배경영역인 무채색 영상의 백색 휘도(Adapting filed white luminance)가 소정 비율로 감소된 값으로 산출한다.Preferably, the step of calculating the relative peripheral luminance value may include calculating the relative peripheral luminance value with respect to the detailed area using the luminance value corresponding to the position of the background area, The relative luminance value is calculated on the basis of the background area that is within a predetermined range based on the detailed area, and the white luminance of the achromatic image, which is the background area, quot; filed white luminance " is reduced to a predetermined ratio.
바람직하게는, 상세영역의 객체에 가중치를 부여하는 단계에서, 상대적 주변 휘도값에 따라 상기 상세영역의 객체에 부여하는 가중치(Luminance level adaptation factor, FL)를 각 화소에 따라 상기 상대적 주변 휘도값에 비례하는 관계식으로 산출하고, 상기 관계식은 Preferably, in the step of weighting the object of the detailed area, a weight value (F L ) given to the object of the detailed area according to the relative peripheral luminance value is calculated as the relative peripheral luminance value And the relational expression is proportional to
바람직하게는, 상기 가중치를 산출하는 단계 이후, 상기 상대적 주변 휘도값과 상기 가중치 및 상기 적외선 영상의 밝기 대비 값들을 기반으로 상기 상세영역의 화소에 따른 이득 조절값을 결정한다.Preferably, the weight adjustment value is determined based on the relative peripheral luminance value, the weight value, and the brightness contrast values of the infrared image, according to the pixels of the detailed area.
바람직하게는, 상기 이득 조절값은 상기 상세영역의 화소에 따른 밝기가 상대적 주변 휘도값 및 상기 적외선 영상의 밝기 대비와 지수함수 관계로 결정되며, 상기 지수함수 관계는 Preferably, the gain control value is determined by an exponential function relationship between the brightness of the detailed area and the relative brightness value of the infrared image and the brightness contrast of the infrared image,
바람직하게는, 상기 배경영역과 상기 가중치가 부여된 객체을 포함하는 상기 상세영역의 영상을 합성하는 단계는, 상기 결정된 상세영역의 이득 조절값을 상기 상세영역의 각 픽셀에 적용하고, 상기 이득 조절값이 적용된 상기 상세영역을 상기 배경영역과 합성한다.Preferably, the step of synthesizing the background region and the image of the detail region including the weighted object may include applying the gain adjustment value of the determined detail region to each pixel of the detail region, Is combined with the background area.
본 발명은 적외선 영상에서 주변휘도를 고려하여 상세부분에 가중치를 부여함에 따라 적외선 영상의 선예도를 향상시킴으로써, 기존 기법 대비 상세영역의 손실을 최소화하며 선명도를 증가시킬 수 있다.The present invention improves the sharpness of the infrared image by weighting the detail part in consideration of the surrounding brightness in the infrared image, thereby minimizing the loss of detail area and increasing the sharpness compared to the conventional technique.
이에 따라 감시정찰 및 적외선 영상 탐색기에서 획득한 영상을 모니터에서 확인할 때, 기존 기법보다 상세영역을 보다 효율적으로 활용할 수 있는 효과를 얻을 수 있다.Therefore, it is possible to utilize the detailed area more efficiently than the existing technique when the image obtained from the surveillance reconnaissance and infrared image searcher is checked on the monitor.
도 1은 본 발명의 일실시예에 따른 적외선 영상 생성장치를 개략적으로 도시한 개념도이다.
도 2는 도 1의 장치를 이용한 적외선 영상의 생성방법을 개략적으로 도시한 흐름도이다.
도 3은 본 발명의 실시예에 따른 적외선 영상장치가 적용된 상세영역의 이득 조절값을 나타내는 그래프를 도시한다.
도 4의 (a)는 종래의 선형 변환법에 의한 적외선 영상 생성 결과를 나타내는 영상이고, (b)는 본 발명의 실시예에 따른 주변휘도를 고려한 적외선 영상 생성 결과를 나타내는 영상이다.
도 5는 본 발명의 실시 예에 따른 적외선 영상의 생성 방법을 설명하기 위한 순서도이다.1 is a conceptual diagram schematically showing an infrared ray image generating apparatus according to an embodiment of the present invention.
2 is a flowchart schematically illustrating a method of generating an infrared image using the apparatus of FIG.
3 is a graph illustrating a gain adjustment value of a detailed area to which an infrared imaging apparatus according to an embodiment of the present invention is applied.
4 (a) is an image showing the result of infrared ray image generation by the conventional linear conversion method, and FIG. 4 (b) is an image showing the infrared ray image generating result in consideration of the ambient luminance according to the embodiment of the present invention.
5 is a flowchart illustrating a method of generating an infrared image according to an embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
도 1은 본 발명의 일실시예에 따른 주변휘도를 고려하여 적외선 영상의 선예도를 향상시키기 위한 적외선 영상 생성장치의 구성을 개략적으로 도시한 블록도이고, 도 5는 도 1의 장치를 이용하여 적외선 영상을 생성하기 위한 개략적인 알고리즘을 도시한다.1 is a block diagram schematically illustrating a configuration of an infrared image generating apparatus for improving the sharpness of an infrared image in consideration of an ambient luminance according to an embodiment of the present invention. Lt; RTI ID = 0.0 > a < / RTI > image.
적외선 영상 센서는 16-bit 또는 14-bit 등의 HDR(High-Dynamic-Range) 데이터를 생성하는데, 이는 매우 넓은 범위를 가지기 때문에 적외선 영상을 모니터에 출력하기 위해서는 256개의 단계를 가지는 8-bit 데이터로 변환하는 렌더링 작업이 필요하다. 즉, 8-bit 그레이 스케일로 변환해야 한다.The infrared image sensor generates high-dynamic-range (HDR) data such as 16-bit or 14-bit data. In order to output an infrared image to a monitor, To render it. That is, it must be converted to 8-bit grayscale.
이러한 적외선 영상의 렌더링은 원 영상의 신호정보를 손실시키기 때문에 영상의 상세부분이 감쇄되는 문제가 발생한다. 이러한 문제를 해결하기 위해 영상의 감쇄된 상세부분을 보상하는 적외선 영상 렌더링 기법이 필요하다.Since the rendering of the infrared image loses signal information of the original image, the detail of the image is attenuated. In order to solve this problem, there is a need for an infrared image rendering technique that compensates for the degraded detail of the image.
따라서, 본 발명의 적외선 영상 생성장치(100)는 영상 분리부(110), 휘도 산출부(120), 영상 처리부(130) 및 영상 합성부(140)를 포함하여 구성된다.The infrared
이하 도 1 및 도 5를 참조하여 본 발명의 실시 예에 따른 적외선 영상 생성 장치에 대해 설명하기로 한다.Hereinafter, an infrared ray image generating apparatus according to an embodiment of the present invention will be described with reference to FIGS. 1 and 5. FIG.
영상 분리부(110)는 입력되는 적외선 영상(Input IR data, S10)을 배경영역(Base layer)과 상세영역(Detail layer)으로 분리한다. 예컨대, 배경영역은 저주파 성분이 많은 베이스 레이어(base layer)가 될 수 있고, 상세영역은 고주파 성분이 많은 텍스쳐 레이어(texture layer)가 될 수 있다.The
영상 분리부(110)가 적외선 영상을 배경영역과 상세영역으로 나누는 방법은 다양한 필터링 기법이 이용될 수 있다. 예컨대, 영상 분리부(110)는 적외선 영상에 대해 바이레터럴 필터(bilateral filter)를 적용하는 것이 가능하다(S11).Various filtering techniques can be used as a method of dividing the infrared image into the background area and the detailed area by the
본 발명의 실시 예에 따른 바이레터럴 필터는 입력신호와 소정의 가우시안 함수(Gaussian function)를 컨볼루젼(convolution)하여 입력신호를 필터링한다. 이때, 바이레터럴 필터의 필터계수는 적외선 영상의 크기, 영상의 평균 픽셀값, 설정된 ISO 감도 중 적어도 어느 하나에 기초하여 결정될 수 있다. The bilateral filter according to an embodiment of the present invention convolutes an input signal with a predetermined Gaussian function to filter an input signal. At this time, the filter coefficient of the via-letter filter may be determined based on at least one of the size of the infrared image, the average pixel value of the image, and the set ISO sensitivity.
예를 들어, 영상의 크기를 이용하여 가우시안 함수의 제1 표준편차인 geometric distance width를 구하고, 영상의 크기, 영상의 평균 픽셀값, 및 설정된 ISO 감도를 이용하여 가우시안 함수의 제2 표준편차인 photometric distance width를 구한 후, 구해진 geometric distance width 및 photometric distance width에 기초하여 바이레터럴 필터의 필터 계수를 구하는 것이 가능하다.For example, the geometric distance width, which is the first standard deviation of the Gaussian function, is obtained by using the image size, and the second standard deviation of the Gaussian function, photometric it is possible to obtain the filter coefficients of the bilateral filter based on the obtained geometric distance width and photometric distance width.
또는, 영상 분리부(110)는 적외선 영상에 바이레터럴 필터(Bilateral filter)를 이용하여 공간상에서 서로 근접한 화소들의 데이터 레벨의 차이가 임계치 이하인 경우, 같은 영역으로 구분하고, 구분된 영역의 경계면을 제외한 나머지 영역을 블러링하여 상기 적외선 영상을 배경영역과 상세영역으로 분리할 수도 있다.Alternatively, the
영상 분리부(110)가 적외선 영상에 바이레터럴 필터를 적용하면, 저주파 성분의 배경영역이 출력된다. 영상 분리부(110)는 출력된 배경영역과 원영상간의 비율을 계산하여 고주파 성분의 상세영역을 출력한다.When the
또는 원영상에서 배경영역을 빼서 상세영역을 출력할 수도 있다. Alternatively, the background area may be subtracted from the original image to output the detail area.
도 4에의 위 사진에서는 건물, 나무, 가로등 정도가 상세영역에 포함된 객체이고, 나머지는 배경영역으로 분리될 수 있고, 아래 사진에서는 자동차 및 나무 정도가 상세영역이고, 나머지가 배경영역으로 분리될 수 있다. In the picture of FIG. 4, a building, a tree, and a streetlight are objects included in the detailed area, and the rest may be separated into a background area. In the picture below, the details of the car and the tree are detailed areas, .
영상 분리부(110)에서 출력된 배경영역과 상세영역은 각각 휘도 산출부(120) 및 영상 처리부(130)로 입력된다.The background region and the detail region output from the
휘도 산출부(120)는 배경영역의 위치에 따른 휘도값을 구한다(S13). 예를 들어, 휘도 산출부(120)는 배경영역의 각 픽셀마다 상대적 휘도값에 따라 분류된 휘도 레벨을 기준으로 각 픽셀마다 휘도 레벨을 산출할 수 있다. 영상의 휘도를 산출하는 방법은 일반적인 공지기술을 이용할 수 있으므로, 상세한 설명은 생략하기로 한다.The
영상 처리부(130)의 개략적인 기능은 인접한 배경영역의 휘도값에 따라 상세영역의 휘도를 상대적 주변 휘도값으로 변환하고(S14), 상대적 주변 휘도값에 따라 상세영역의 객체에 가중치를 부여하며(S15), 가중치를 기반으로 상세영역의 화소에 따른 이득 조절값을 결정하여 이를 상세영역의 각 픽셀에 적용하는 것이다. The general function of the
여기서, 상대적 주변 휘도값은 본 발명에서 분리된 배경영역과 상세영역으로 구분된 적외선 영상에 대해 인간의 시각에서 인지되는 배경영역의 휘도 대비 상세영역 휘도의 상대적인 값을 의미한다.Here, the relative peripheral luminance value refers to a relative value of the luminance of the background area and the luminance of the detailed area of the background image recognized by the human eye, with respect to the infrared image separated by the background area and the detail area separated in the present invention.
구체적으로 영상 처리부(130)는 먼저, 배경영역의 위치에 따른 휘도값을 이용하여 상세영역을 기준으로 미리 설정된 범위 내에 인접한 배경영역을 기준으로 상대적 주변 휘도값을 산출한다. Specifically, the
여기서, 상대적 주변 휘도값은 배경영역의 위치에 따른 휘도값의 소정 비율로 산출하는데, 배경영역인 무채색 영상의 백색휘도가 소정비율로 감소된 값으로 산출한다. 예를 들어, 상대적 주변 휘도값은 배경영역인 무채색 영상의 백색 휘도(Adapting filed white luminance)의 20% 비율로 설정하는 것이 바람직한데 이는, 배경영역인 무채색 영상의 백색 휘도값을 기준으로 상세 영역의 주변 휘도값으로 설정된 20% 비율은 인간의 시각에 의해 인지되는 정도를 실험적으로 파악하여 산출한 수치에 의한 비율로서, 오차범위 내에서 변경 가능하다.Here, the relative peripheral luminance value is calculated at a predetermined ratio of the luminance value according to the position of the background area, and the white luminance of the achromatic image, which is the background area, is calculated as a value reduced to a predetermined ratio. For example, it is desirable to set the relative peripheral luminance value to a ratio of 20% of the white luminance of the achromatic image, which is the background area. This is because the white luminance value of the achromatic image, The ratio of 20% set as the peripheral luminance value is a ratio based on the numerical value obtained by experimentally grasping the degree perceived by human vision, and can be changed within the error range.
여기서, LA는 상세영역의 상대적 주변 휘도값을 의미하고, IBlayer는 배경영역의 휘도값을 의미한다.Here, L A denotes the relative peripheral luminance value of the detailed area, and I Blayer denotes the luminance value of the background area.
그리고, 영상 처리부(130)는 상대적 주변 휘도값에 따라 상세영역의 객체에 가중치를 부여한다. 가중치는 휘도가 증가함에 따라 인간의 시각적으로 인지되는 명도의 대비가 증가하는 스티븐스(Stevens) 효과를 반영한다. Then, the
가중치(Luminance level adaptation factor, FL)는 수학식 1과 같다.The weight (Luminance level adaptation factor, F L ) is shown in Equation (1).
여기서, LA는 상대적 주변휘도이고, i, j는 각 화소의 x, y축 위치이다.Where L A is the relative ambient luminance, and i and j are the x and y axis positions of each pixel.
그 다음, 영상 처리부(130)는 가중치(FL) 및 적외선 영상의 밝기 대비 값(Lratio)을 기반으로 상세영역의 화소에 따른 이득 조절값을 수학식 2와 같이 결정한다.Next, the
여기서, I Dlayer (i, j)는 상세영역의 화소에 따른 밝기이고, I′ Dlayer (i, j)는 상대적 주변 휘도값에 따라 상세영역의 객체에 가중치가 부여된 상세영역의 이득 조절값이며, 적외선 영상의 밝기 대비 
인간의 눈에 순응되는 영상의 선예도는 영상의 전체 밝기에 따라 결정된다. 밝은 영상일수록 선예도가 더욱 선명하게 보이고, 어두운 영상일수록 밝은 영상에 비해 선예도는 상대적으로 침침하게 보인다. 이러한 원리를 상세영역의 이득 조절값을 산출하는 데에 반영하기 위해, 영상에서 밝기 대비값(Lratio)을 수식에 적용하는 것이다. 이에 의해, 본 발명의 주변휘도를 고려한 적외선 영상 생성 기법은 적외선 영상에 대해 인간의 눈에 순응되는 영상의 선예도에 관련된 밝기 대비값을 반영하여 상세영역에 대한 이득 조절값을 산출하는 특징이 있다.The sharpness of the image conforming to the human eye is determined by the overall brightness of the image. The sharpness of the bright image appears to be clearer in the bright image, and the sharpness in the dark image is relatively inferior to the bright image. In order to reflect this principle in calculating the gain control value of the detail area, the brightness contrast value (L ratio ) in the image is applied to the equation. Accordingly, the infrared image generation method considering the ambient brightness of the present invention is characterized in that the gain adjustment value for the detailed area is calculated by reflecting the brightness contrast value related to the sharpness of the image that is adapted to the human eye with respect to the infrared image.
예를 들어, 각 영상에서 밝기의 대비(Lratio)는 아래 표와 같이 구할 수 있다.For example, the contrast ratio (L ratio ) of each image can be obtained as shown in the following table.
그 다음, 영상 처리부(130)는 상세영역의 객체에 부여될 가중치를 기반으로 상세영역의 화소에 따른 이득 조절값을 결정하고, 결정된 이득 조절값을 상세영역의 각 픽셀에 적용한다.Then, the
도 3은 본 발명의 실시 예에 따른 적외선 영상 생성장치에 의해 상세영역에 대해 결정된 이득 조절값을 나타내는 그래프이다. 그래프의 X축은 가중치를 나타내고, Y축은 가중치에 따라 결정된 이득 조절값을 나타낸다.3 is a graph illustrating a gain adjustment value determined for a detailed area by the infrared image generating apparatus according to the embodiment of the present invention. The X-axis of the graph represents a weight value, and the Y-axis represents a gain control value determined according to the weight.
도 3을 참조하면, 가중치가 상대적 주변 휘도값에 비례하여 값이 커지고, 가중치가 증가함에 따라 결정된 이득 조절값이 지수 형태의 함수로 결정되어 상세영역에 적용됨을 알 수 있다.Referring to FIG. 3, it can be seen that the gain control value determined as the weight increases in proportion to the relative peripheral luminance value, and the weight increases, is determined as a function of the exponential shape, and is applied to the detailed area.
영상 합성부(140)는 배경영역 및, 객체에 가중치가 부여된 상세영역의 영상을 합성한다(S16). 구체적으로, 영상 합성부(140)는 결정된 상세영역의 이득 조절값을 상세영역의 각 픽셀에 적용하고, 이득 조절값이 적용된 상세영역을 배경영역과 합성한다.The image combining unit 140 synthesizes the background region and the image of the weighted detailed region (S16). Specifically, the image combining unit 140 applies the gain adjustment value of the determined detailed area to each pixel of the detailed area, and synthesizes the detailed area to which the gain adjustment value is applied, with the background area.
예컨대, 영상 합성부(140)는 객체에 가중치가 부여된 상세영역과 배경영역을 더하거나 곱하는 것이 가능하다. For example, the image combining unit 140 may add or multiply the weighted detailed area and the background area of the object.
그리고, 도메인 변환부(미도시)는 합성된 영상에 대해 선형변환(linear transform)을 실행하여 합성된 영상을 8-bit 도메인으로 변환하고(S17), 출력부가 디스플레이를 통해 8-bit 도메인으로 변환된 최종 영상을 출력할 수 있다(S18). The domain converter (not shown) converts the synthesized image into an 8-bit domain by performing a linear transform on the synthesized image (S17), and converts the synthesized image into an 8-bit domain (Step S18).
본 발명의 실시 예에 따른 적외선 영상 생성장치는 영상 합성부에 의해 생성된 적외선 영상을 8-bit 도메인으로 변환하는 도메인 변환부 및 상기 8-bit 도메인으로 변환된 적외선 영상을 모니터에 출력하는 출력부를 더 포함한다.The apparatus for generating infrared images according to an embodiment of the present invention includes a domain converter for converting an infrared image generated by an image synthesizer into an 8-bit domain, and an output unit for outputting the infrared image converted to the 8-bit domain to a monitor .
도 4는 종래 기술에 의해 획득된 적외선 영상(a)과, 본 발명의 실시 예에 의해 획득된 적외선 영상(b)을 비교하기 위한 사진이다.4 is a photograph for comparing the infrared image (a) obtained by the conventional technique with the infrared image (b) obtained by the embodiment of the present invention.
도 4의 (a)는 14-bit 데이터에 종래 기술의 선형 변환법을 적용하여 8-bit 도메인으로 변환하여 렌더링한 적외선 영상을 나타내고, 도 4의 (b)는 14-bit 데이터를 본 발명의 실시 예에 따른 적외선 영상 생성 방법에 따라 8-bit 도메인으로 변환하여 적외선 영상을 렌더링한 사진을 나타낸다.4 (a) shows an infrared image converted into an 8-bit domain by applying a conventional linear transformation method to 14-bit data, and FIG. 4 (b) FIG. 5 shows a photograph of an infrared image converted into an 8-bit domain according to an example of an infrared image generating method according to an example.
(a)와 (b)의 사진을 비교해보면 (b)의 렌더링 영상에서 저주파 영역 즉, 배경영역은 거의 변화가 없고, 고주파 특성을 가지는 나뭇가지, 건물의 윤곽, 자동차 휠 등의 상세부분 객체의 윤곽이 선명해진 것을 확인할 수 있다.(a) and (b), there is almost no change in the low-frequency region, that is, the background region in the rendered image of (b) The outline is clear.
전술한 바와 같이 본 발명은 가중치에 휘도가 증가함에 따라 인간의 시각적으로 인지되는 명도의 대비가 증가하는 스티븐스(Stevens) 효과를 반영한다. 즉, 본 발명은 상대적 주변 휘도값에 따라 상세영역의 객체에 가중치를 부여하여 이득 조절값을 결정함으로써, 최종 영상에서 휘도가 상대적으로 높은 영역에서 객체의 윤곽이 선명해지게 하는 효과가 있다.As described above, the present invention reflects the Stevens effect in which the contrast of visually perceived brightness increases as the brightness increases in weight. That is, the present invention has an effect of sharpening the outline of the object in the region where the luminance is relatively high in the final image by weighting the object in the detailed region according to the relative peripheral luminance value to determine the gain control value.
도 2는 본 발명의 실시 예에 따른 적외선 영상 생성 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating an infrared image generating method according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시 예에 따른 적외선 영상 생성방법은 먼저, 적외선 영상을 배경영역과 상세영역으로 분리한다(S110).Referring to FIG. 2, an infrared image generating method according to an embodiment of the present invention firstly separates an infrared image into a background area and a detailed area (S110).
이를 위해, 영상 분리부(110)는 입력되는 적외선 영상(Input IR data, S10)을 배경영역(Base layer)과 상세영역(Detail layer)으로 분리한다. 예컨대, 배경영역은 저주파 성분이 많은 베이스 레이어(base layer)가 될 수 있고, 상세영역은 고주파 성분이 많은 텍스쳐 레이어(texture layer)가 될 수 있다.To this end, the
영상 분리부(110)가 적외선 영상을 배경영역과 상세영역으로 나누는 방법은 다양한 필터링 기법이 이용될 수 있다. 예컨대, 영상 분리부(110)는 적외선 영상에 대해 바이레터럴 필터(bilateral filter)를 적용하는 것이 가능하다(S11).Various filtering techniques can be used as a method of dividing the infrared image into the background area and the detailed area by the
본 발명의 실시 예에 따른 바이레터럴 필터는 입력신호와 소정의 가우시안 함수(Gaussian function)를 컨볼루젼(convolution)하여 입력신호를 필터링한다. 이때, 바이레터럴 필터의 필터계수는 적외선 영상의 크기, 영상의 평균 픽셀값, 설정된 ISO 감도 중 적어도 어느 하나에 기초하여 결정될 수 있다. The bilateral filter according to an embodiment of the present invention convolutes an input signal with a predetermined Gaussian function to filter an input signal. At this time, the filter coefficient of the via-letter filter may be determined based on at least one of the size of the infrared image, the average pixel value of the image, and the set ISO sensitivity.
예를 들어, 영상의 크기를 이용하여 가우시안 함수의 제1 표준편차인 geometric distance width를 구하고, 영상의 크기, 영상의 평균 픽셀값, 및 설정된 ISO 감도를 이용하여 가우시안 함수의 제2 표준편차인 photometric distance width를 구한 후, 구해진 geometric distance width 및 photometric distance width에 기초하여 바이레터럴 필터의 필터 계수를 구하는 것이 가능하다.For example, the geometric distance width, which is the first standard deviation of the Gaussian function, is obtained by using the image size, and the second standard deviation of the Gaussian function, photometric it is possible to obtain the filter coefficients of the bilateral filter based on the obtained geometric distance width and photometric distance width.
또는, 영상 분리부(110)는 적외선 영상에 바이레터럴 필터(Bilateral filter)를 이용하여 공간상에서 서로 근접한 화소들의 데이터 레벨의 차이가 임계치 이하인 경우, 같은 영역으로 구분하고, 구분된 영역의 경계면을 제외한 나머지 영역을 블러링하여 상기 적외선 영상을 배경영역과 상세영역으로 분리할 수도 있다.Alternatively, the
영상 분리부(110)가 적외선 영상에 바이레터럴 필터를 적용하면, 저주파 성분의 배경영역이 출력된다. 영상 분리부(110)는 출력된 배경영역과 원영상간의 비율을 계산하여 고주파 성분의 상세영역을 출력한다.When the
또는 원영상에서 배경영역을 빼서 상세영역을 출력할 수도 있다. Alternatively, the background area may be subtracted from the original image to output the detail area.
다음으로, 배경영역의 위치에 따른 휘도값을 구한다(S120).Next, a luminance value corresponding to the position of the background area is obtained (S120).
이를 위해 휘도 산출부(120)는 배경영역의 위치에 따른 휘도값을 구한다(S13). 예를 들어, 휘도 산출부(120)는 배경영역의 각 픽셀마다 상대적 휘도값에 따라 분류된 휘도 레벨을 기준으로 각 픽셀마다 휘도 레벨을 산출할 수 있다.To this end, the
다음으로, 인접한 상기 배경영역의 휘도값에 따라 상기 상세영역의 휘도를 상대적 주변 휘도값으로 변환한다(S120).Next, the luminance of the detailed area is converted into the relative surrounding luminance value according to the luminance value of the adjacent background area (S120).
여기서, 상대적 주변 휘도값은 본 발명에서 분리된 배경영역과 상세영역으로 구분된 적외선 영상에 대해 인간의 시각에서 인지되는 배경영역의 휘도 대비 상세영역 휘도의 상대적인 값을 의미한다.Here, the relative peripheral luminance value refers to a relative value of the luminance of the background area and the luminance of the detailed area of the background image recognized by the human eye, with respect to the infrared image separated by the background area and the detail area separated in the present invention.
구체적으로 영상 처리부(130)가 먼저, 배경영역의 위치에 따른 휘도값을 이용하여 상세영역을 기준으로 미리 설정된 범위 내에 인접한 배경영역을 기준으로 상대적 주변 휘도값을 산출한다. Specifically, the
여기서, 상대적 주변 휘도값은 배경영역의 위치에 따른 휘도값의 소정 비율로 산출하는데, 배경영역인 무채색 영상의 백색휘도가 소정비율로 감소된 값으로 산출한다. 예를 들어, 상대적 주변 휘도값은 배경영역인 무채색 영상의 백색 휘도(Adapting filed white luminance)의 20% 비율로 설정하는 것이 바람직한데 이는, 배경영역인 무채색 영상의 백색 휘도값을 기준으로 상세 영역의 주변 휘도값으로 설정된 20% 비율은 인간의 시각에 의해 인지되는 정도를 실험적으로 파악하여 산출한 수치에 의한 비율로서, 오차범위 내에서 변경 가능하다.Here, the relative peripheral luminance value is calculated at a predetermined ratio of the luminance value according to the position of the background area, and the white luminance of the achromatic image, which is the background area, is calculated as a value reduced to a predetermined ratio. For example, it is desirable to set the relative peripheral luminance value to a ratio of 20% of the white luminance of the achromatic image, which is the background area. This is because the white luminance value of the achromatic image, The ratio of 20% set as the peripheral luminance value is a ratio based on the numerical value obtained by experimentally grasping the degree perceived by human vision, and can be changed within the error range.
여기서, LA는 상세영역의 상대적 주변 휘도값을 의미하고, IBlayer는 배경영역의 휘도값을 의미한다.Here, L A denotes the relative peripheral luminance value of the detailed area, and I Blayer denotes the luminance value of the background area.
다음으로, 상대적 주변 휘도값에 따라 상기 상세영역의 객체에 가중치를 부여한다(S130).Next, a weight is assigned to the object of the detailed area according to the relative peripheral luminance value (S130).
가중치는 휘도가 증가함에 따라 인간의 시각적으로 인지되는 명도의 대비가 증가하는 스티븐스(Stevens) 효과를 반영한다. The weights reflect the Stevens effect, which increases the contrast of visually perceived brightness as the brightness increases.
가중치(Luminance level adaptation factor, FL)는 상술한 수학식 1과 같다.The weight (Luminance level adaptation factor, F L ) is shown in Equation (1).
그 다음, 영상 처리부(130)는 가중치(FL) 및 적외선 영상의 밝기 대비 값(Lratio)을 기반으로 상세영역의 화소에 따른 이득 조절값을 상술한 수학식 2와 같이 결정한다.Next, the
그 다음, 영상 처리부(130)가 상세영역의 객체에 부여될 가중치를 기반으로 상세영역의 화소에 따른 이득 조절값을 결정하고, 결정된 이득 조절값을 상세영역의 각 픽셀에 적용한다.Next, the
다음으로, 상기 배경영역과 상기 가중치가 부여된 객체을 포함하는 상기 상세영역의 영상을 합성한다(S140).Next, the background region and the image of the detailed region including the weighted object are synthesized (S140).
이를 위해 영상 합성부(140)가 배경영역 및, 객체에 가중치가 부여된 상세영역의 영상을 합성한다. 구체적으로, 영상 합성부(140)는 결정된 상세영역의 이득 조절값을 상세영역의 각 픽셀에 적용하고, 이득 조절값이 적용된 상세영역을 배경영역과 합성한다. 예컨대, 영상 합성부(140)는 객체에 가중치가 부여된 상세영역과 배경영역을 더하거나 곱하는 것이 가능하다.To this end, the image synthesis unit 140 synthesizes the background region and the image of the weighted detail region. Specifically, the image combining unit 140 applies the gain adjustment value of the determined detailed area to each pixel of the detailed area, and synthesizes the detailed area to which the gain adjustment value is applied, with the background area. For example, the image combining unit 140 may add or multiply the weighted detailed area and the background area of the object.
그리고, 합성된 영상에 대해 선형변환(linear transform)을 실행하여 합성된 영상을 8-bit 도메인으로 변환하여, 8-bit 도메인으로 변환된 최종 영상을 디스플레이를 통해 출력할 수 있다. The synthesized image is subjected to a linear transform to convert the synthesized image into an 8-bit domain, and a final image converted into an 8-bit domain can be output through a display.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, or the like can be included.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
Claims (17)
상기 배경영역의 위치에 따른 휘도값을 산출하는 휘도 산출부;
상기 산출된 휘도값 중 상기 상세영역을 기준으로 미리 설정된 범위 내에 인접한 배경영역을 기준으로 상기 상세영역의 상대적 주변 휘도값을 산출하고, 상기 산출된 상대적 주변 휘도값으로부터 상기 상세영역의 화소에 따른 밝기 이득을 조절하는데 이용되는 가중치를 결정하며, 상기 결정된 가중치를 이용하여 상기 상세영역의 화소에 따른 밝기 이득이 조절된 상세영역을 결정하는 영상 처리부; 및
상기 영상 분리부에서 분리된 배경영역과 상기 영상 처리부에서 결정된 상세영역의 영상을 합성하는 영상 합성부;를 포함하고,
상기 상대적 주변 휘도값은 상기 상세영역을 기준으로 미리 설정된 범위 내에 인접한 상기 배경영역을 기준으로 산출하되, 상기 배경영역인 무채색의 영상의 백색 휘도(Adapting filed white luminance) 값을 소정의 비율로 감소시켜 산출하는 것을 특징으로 하는 적외선 영상 생성장치.An image separator for separating the infrared image into a background area and a detailed area;
A luminance calculation unit for calculating a luminance value according to a position of the background area;
Calculating a relative peripheral luminance value of the detailed area based on a background area adjacent to the predetermined area within a predetermined range of the calculated luminance values based on the calculated luminance value, An image processing unit for determining a weight used for adjusting a gain and determining a detailed area in which a brightness gain according to a pixel of the detailed area is adjusted using the determined weight; And
And an image synthesis unit for synthesizing the background region separated by the image separation unit and the image of the detail region determined by the image processing unit,
The relative peripheral luminance value is calculated on the basis of the background area adjacent to a predetermined range based on the detailed area, and the white luminance value of the achromatic image as the background area is decreased by a predetermined ratio And the infrared ray image is generated.
상기 영상 합성부에 의해 생성된 적외선 영상을 8-bit 도메인으로 변환하는 도메인 변환부; 및
상기 8-bit 도메인으로 변환된 적외선 영상을 모니터에 출력하는 출력부;를 더 포함하는 것을 특징으로 하는 적외선 영상 생성 장치.The method according to claim 1,
A domain converter for converting the infrared image generated by the image synthesizer into an 8-bit domain; And
And an output unit for outputting the infrared image converted into the 8-bit domain to a monitor.
상기 영상 분리부는,
상기 적외선 영상에 바이레터럴 필터(Bilateral filter)를 이용하여 공간상에서 서로 근접한 화소들의 데이터 레벨의 차이가 임계치 이하인 경우, 같은 영역으로 구분하고, 구분된 영역의 경계면을 제외한 나머지 영역을 블러링하여 상기 적외선 영상을 배경영역과 상세영역으로 분리하는 것을 특징으로 하는 적외선 영상 생성장치.The method according to claim 1,
Wherein the image separator comprises:
The method comprising the steps of: dividing the infrared image into the same area when a difference between data levels of pixels adjacent to each other in a space is equal to or less than a threshold value by using a bilateral filter, blurring the remaining area excluding the boundary of the divided area, Wherein the infrared image is divided into a background region and a detailed region.
상기 산출된 상대적 주변 휘도값으로부터 상기 상세영역의 화소에 따른 밝기 이득을 조절하는데 이용되는 가중치(Luminance level adaptation factor, FL)는,
각 화소에 따라 상기 상대적 주변 휘도값에 비례하는 관계식으로 산출되고, 상기 관계식은
The luminance level adaptation factor (F L ) used to adjust the brightness gain according to the pixel of the detailed area from the calculated relative ambient luminance value may be expressed as:
Is calculated in a relational expression proportional to the relative peripheral luminance value according to each pixel,
상기 영상 처리부는,
상기 가중치 및 상기 적외선 영상의 밝기 대비 값들을 기반으로 상기 밝기 이득이 조절된 상세영역을 결정하는 것을 특징으로 하는 적외선 영상 생성장치.The method according to claim 6,
Wherein the image processing unit comprises:
Wherein the brightness region is determined based on the weights and the brightness contrast values of the infrared image.
상기 밝기 이득이 조절된 상세영역은,
상기 상세영역의 화소에 따른 밝기가 상기 가중치 및 상기 적외선 영상의 밝기 대비 값과 지수함수 관계로 결정되며,
상기 지수함수 관계는
Wherein the brightness gain-controlled detail area includes:
The brightness according to the pixels of the detailed area is determined in an exponential function relationship with the weight and the brightness contrast value of the infrared image,
The exponential relationship
상기 배경영역의 위치에 따른 휘도값을 산출하는 단계;
상기 산출된 휘도값 중 상기 상세영역을 기준으로 미리 설정된 범위 내에 인접한 배경영역을 기준으로 상기 상세영역의 상대적 주변 휘도값을 산출하는 단계;
상기 산출된 상대적 주변 휘도값으로부터 상기 상세영역의 화소에 따른 밝기 이득을 조절하는데 이용되는 가중치를 결정하는 단계;
상기 결정된 가중치를 이용하여 상기 상세영역의 화소에 따른 밝기 이득이 조절된 상세영역을 결정하는 단계; 및
상기 분리된 배경영역과 상기 밝기 이득이 조절된 상세영역의 영상을 합성하는 단계;를 포함하고,
상기 상대적 주변 휘도값은 상기 상세영역을 기준으로 미리 설정된 범위 내에 인접한 상기 배경영역을 기준으로 산출하되, 상기 배경영역인 무채색의 영상의 백색 휘도(Adapting filed white luminance) 값을 소정의 비율로 감소시켜 산출하는 것을 특징으로 하는 적외선 영상 생성방법.Separating the infrared image into a background area and a detailed area;
Calculating a luminance value according to a position of the background area;
Calculating a relative peripheral brightness value of the detailed area based on a background area adjacent to a predetermined range based on the detailed area among the calculated luminance values;
Determining a weight used to adjust a brightness gain according to a pixel of the detailed area from the calculated relative peripheral luminance value;
Determining a detailed area whose brightness gain is adjusted according to a pixel of the detailed area using the determined weight; And
And synthesizing an image of the separated background area and the image of the detailed area in which the brightness gain is adjusted,
The relative peripheral luminance value is calculated on the basis of the background area adjacent to a predetermined range based on the detailed area, and the white luminance value of the achromatic image as the background area is decreased by a predetermined ratio And the infrared image is generated.
상기 영상을 합성하는 단계 이후,
상기 분리된 배경영역과 상기 밝기 이득이 조절된 상세영역의 영상의 합성에 의해 생성된 적외선 영상을 8-bit 도메인으로 변환하는 단계; 및
상기 8-bit 도메인으로 변환된 적외선 영상을 모니터에 출력하는 단계;를 더 포함하는 것을 특징으로 하는 적외선 영상 생성방법.11. The method of claim 10,
After synthesizing the images,
Converting the infrared image generated by combining the separated background area and the image of the detailed area in which the brightness gain is adjusted into an 8-bit domain; And
And outputting the infrared image converted into the 8-bit domain to a monitor.
상기 적외선 영상을 배경영상과 상세영역으로 분리하는 단계는,
상기 적외선 영상에 바이레터럴 필터(Bilateral filter)를 이용하여 공간상에서 서로 근접한 화소들의 데이터 레벨의 차이가 임계치 이하인 경우, 같은 영역으로 구분하고, 구분된 영역의 경계면을 제외한 나머지 영역을 블러링하여 상기 적외선 영상을 배경영역과 상세영역으로 분리하는 것을 특징으로 하는 적외선 영상 생성방법.11. The method of claim 10,
Separating the infrared image into a background image and a detailed area,
The method comprising the steps of: dividing the infrared image into the same area when a difference between data levels of pixels adjacent to each other in a space is equal to or less than a threshold value by using a bilateral filter, blurring the remaining area excluding the boundary of the divided area, Wherein the infrared image is divided into a background region and a detailed region.
상기 가중치를 결정하는 단계는,
각 화소에 따라 상기 산출된 상대적 주변 휘도값에 비례하는 관계식으로 상기 가중치를 결정하는 것을 특징으로 하는 적외선 영상 생성방법.11. The method of claim 10,
The step of determining the weight includes:
And the weight is determined in a relational expression proportional to the calculated relative peripheral luminance value according to each pixel.
상기 밝기 이득이 조절된 상세영역을 결정하는 단계는,
상기 가중치 및 상기 적외선 영상의 밝기 대비 값들을 기반으로 상기 밝기 이득이 조절된 상세영역을 결정하는 것을 특징으로 하는 적외선 영상 생성방법.15. The method of claim 14,
Wherein the step of determining the brightness gain-
Wherein the brightness gamut-adjusted detailed area is determined based on the weights and the brightness contrast values of the infrared image.
상기 밝기 이득이 조절된 상세영역을 결정하는 단계는,
상기 상세영역의 화소에 따른 밝기를 상기 가중치 및 상기 적외선 영상의 밝기 대비 값과 지수함수 관계로 결정함으로써, 상기 밝기 이득이 조절된 상세영역을 결정하며, 여기서 상기 적외선 영상의 밝기 대비(
Wherein the step of determining the brightness gain-
Determining a brightness region in which the brightness gain is adjusted by determining a brightness according to a pixel of the detailed region in an exponential function relationship with the weight and a brightness contrast value of the infrared image,
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170163064A KR101872015B1 (en) | 2017-11-30 | 2017-11-30 | Apparatus and method for generating infrared image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170163064A KR101872015B1 (en) | 2017-11-30 | 2017-11-30 | Apparatus and method for generating infrared image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101872015B1 true KR101872015B1 (en) | 2018-08-02 |
Family
ID=63251748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170163064A KR101872015B1 (en) | 2017-11-30 | 2017-11-30 | Apparatus and method for generating infrared image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101872015B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021149857A1 (en) * | 2020-01-22 | 2021-07-29 | 고려대학교 세종산학협력단 | Accurate animal detection method and apparatus using yolo-based light-weight bounding box detection and image processing |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002300468A (en) * | 2001-03-30 | 2002-10-11 | Canon Inc | Imaging device and method for controlling the same |
| KR20060003390A (en) * | 2004-07-06 | 2006-01-11 | 삼성전자주식회사 | Method and apparatus for compensating for automatic exposure |
| KR20110044594A (en) * | 2009-10-23 | 2011-04-29 | 삼성전자주식회사 | High iso image generating apparatus and method |
-
2017
- 2017-11-30 KR KR1020170163064A patent/KR101872015B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002300468A (en) * | 2001-03-30 | 2002-10-11 | Canon Inc | Imaging device and method for controlling the same |
| KR20060003390A (en) * | 2004-07-06 | 2006-01-11 | 삼성전자주식회사 | Method and apparatus for compensating for automatic exposure |
| KR20110044594A (en) * | 2009-10-23 | 2011-04-29 | 삼성전자주식회사 | High iso image generating apparatus and method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021149857A1 (en) * | 2020-01-22 | 2021-07-29 | 고려대학교 세종산학협력단 | Accurate animal detection method and apparatus using yolo-based light-weight bounding box detection and image processing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100782845B1 (en) | A digital image enhancement method and system using non-log domain illumination correction | |
| CN107408296B (en) | Real-time noise for high dynamic range images is eliminated and the method and system of image enhancement | |
| JP4894595B2 (en) | Image processing apparatus and method, and program | |
| EP2076013B1 (en) | Method of high dynamic range compression | |
| JP6097588B2 (en) | Image processing apparatus and image processing method | |
| JP6030396B2 (en) | Video processing device | |
| US11663707B2 (en) | Method and system for image enhancement | |
| JP2004158006A (en) | Method for emphasizing tonal and spatial characteristics of digital image | |
| JP2004129265A (en) | Method of enhancing tonal characteristic of digital image by using expansive tone scale function and compressive tone scale function | |
| KR101648762B1 (en) | Method and Apparatus for converting dynamic ranges of input images | |
| US10218953B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US11810281B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| KR101389932B1 (en) | Apparatus and method for performing tone mapping for image | |
| JP3938122B2 (en) | Pseudo three-dimensional image generation apparatus, generation method, program therefor, and recording medium | |
| JP5410378B2 (en) | Video signal correction apparatus and video signal correction program | |
| WO2015097780A1 (en) | Image display device | |
| KR101872015B1 (en) | Apparatus and method for generating infrared image | |
| JP2013106151A (en) | Image processing apparatus and image processing method | |
| JP2015076642A (en) | Image processing device and program | |
| KR101468433B1 (en) | Apparatus and method for extending dynamic range using combined color-channels transmission map | |
| Srinivas et al. | Channel prior based Retinex model for underwater image enhancement | |
| JP7507554B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP2009296210A (en) | Image processor and image processing method | |
| JP5050141B2 (en) | Color image exposure evaluation method | |
| JP2005004582A (en) | Image processing apparatus, image processing program, and electronic camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |