KR102108537B1 - Method for adjusting contrast of thermal image and apparatus for using the same - Google Patents
Method for adjusting contrast of thermal image and apparatus for using the same Download PDFInfo
- Publication number
- KR102108537B1 KR102108537B1 KR1020140130047A KR20140130047A KR102108537B1 KR 102108537 B1 KR102108537 B1 KR 102108537B1 KR 1020140130047 A KR1020140130047 A KR 1020140130047A KR 20140130047 A KR20140130047 A KR 20140130047A KR 102108537 B1 KR102108537 B1 KR 102108537B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- average
- histogram
- predetermined period
- contrast ratio
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000012937 correction Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000008859 change Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000001931 thermography Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
본 발명은 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 관한 것으로, 일정 구간 동안 연속되어 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 이용하여, 전체 영상 프레임의 평균 최소값 및 평균 최대값으로 갱신한 후, 이를 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정함으로써, 사용자는 평균값보다 뜨겁거나, 차가운 물체가 있더라도 영상의 밝기 변화를 크게 느끼지 못하게 되며, 또한, 영상의 히스토그램 평균 최소값 및 평균 최대값의 갱신 과정을 불균일 보정 처리가 이뤄지는 동안 수행함으로써, 사용자는 이에 대해 별다른 인지를 하지 못하게 되어, 물체 탐지 및 추적 시 보다 용이하게 이뤄질 수 있게 된다 The present invention relates to a thermal image contrast ratio adjustment method and a thermal image processing apparatus using the same, using an average minimum value and an average maximum value of continuously input image frames for a predetermined period, as an average minimum value and an average maximum value of all image frames. After updating, by using this to adjust the contrast ratio of the image frame input during the next predetermined section, the user does not feel a large change in brightness of the image even if there is a hot or cold object than the average value, and also, the average minimum value of the histogram of the image and By performing the process of updating the average maximum value while the non-uniformity correction process is being performed, the user does not notice much about this, and thus can be more easily performed during object detection and tracking.
Description
본 발명은 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 관한 것으로, 일정 구간 동안 연속되어 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 이용하여, 전체 영상 프레임의 평균 최소값 및 평균 최대값으로 갱신한 후, 이를 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정할 수 있는 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 관한 것이다. The present invention relates to a thermal image contrast ratio adjustment method and a thermal image processing apparatus using the same, using an average minimum value and an average maximum value of continuously input image frames for a predetermined period, as an average minimum value and an average maximum value of all image frames. After updating, the present invention relates to a thermal image contrast ratio adjusting method and a thermal image processing apparatus using the thermal image contrast ratio that can adjust the contrast ratio of the input image frame during the next predetermined period.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information for the present embodiment, and do not constitute a prior art.
일반적인 CCD(Charge Coupled Device)/CMOS(Complementary Metal-Oxide Semiconductor) 등의 센서를 이용한 카메라는 광원(Source)이 피사체에 방사되었을 때 파장에 따른 피사체의 반사율에 기반하여 영상을 디스플레이하게 된다. 반면, 열상 영상 카메라(Thermal Camera)는 피사체 자체가 방출하는 열에너지를 영상으로 디스플레이 하는 구조를 가지고 있다. 따라서 광원이 필요 없으므로 빛이 없는 야간에서도 영상 획득이 가능하다는 장점이 있다.A camera using a sensor such as a general Charge Coupled Device (CCD) / Complementary Metal-Oxide Semiconductor (CMOS) displays an image based on the reflectance of the subject according to the wavelength when the light source (Source) is radiated to the subject. On the other hand, the thermal imaging camera (Thermal Camera) has a structure that displays the thermal energy emitted by the subject itself as an image. Therefore, there is an advantage in that it is possible to acquire an image even at night when there is no light since no light source is required.
이러한 열상 영상 카메라는 다양한 분야에서 이용되고 있는데, 대표적인 예로서 공항에서 출입국자의 체온을 원격에서 측정해서 고열 환자를 가려내는 등의 의료/검역 분야, 전봇대에 장착된 변압기의 온도를 지상 또는 차량을 타고 이동하면서 원거리 측정하여 과열 여부를 판단하는 것과 같은 산업용 분야, 빛이 없는 어둠 속에서 적군이나 이상 물체를 탐지하고 감지하는 등의 군수/보안용 분야 등이 있다.Such thermal imaging cameras are used in various fields. As a representative example, medical / quarantine fields, such as screening high temperature patients by measuring the temperature of immigrants remotely at an airport, ride the temperature of a transformer mounted on a pole on a ground or vehicle There are industrial fields such as determining whether to overheat by measuring long distances while moving, and fields for military / security such as detecting and detecting enemy or abnormal objects in the dark without light.
그러나 현재까지의 열상 영상 센서를 이용한 방식은 CCD/CMOS 센서에 비해 해상도가 낮으며, 화소 간의 불균일성(Non-Uniformity)이 다수 존재한다. 또한 배경과 표적 사이에 온도 분포가 커서 영상의 동적 범위(Dynamic Range)가 넓어, 영상 디스플레이 시 허상(artifact)이 생기거나 부자연스러움이 나타나기도 한다. 따라서, 열상 영상 센서를 이용한 시스템에서 원영상의 시인성을 높이기 위한 명암비를 조정하는 기술은 전체 시스템의 성능을 좌우하는 아주 중요한 기술이다. 이러한 열상 영상의 명암비를 조정하기 위해 종래에는 히스토그램 평활화(Histogram Equalization), 명암비 스트레칭(Contrast Stretching), 플래토 평활화(Plateau Equalization) 방식 등이 존재하나, 종래의 방식은 현재 프레임의 전역 정보만을 고려함으로써, 매 프레임별로 명암비를 개선하게 된다. 이는 실시간 시스템 적용이 어렵다는 문제점과 함께, 과도한 명암비 향상으로 인해, 허상(artifact)이 늘어나고 노이즈 증폭이 커진다는 문제점이 있다. However, the method using the thermal image sensor to date has a lower resolution than the CCD / CMOS sensor, and there are many non-uniformity between pixels. In addition, because the temperature distribution between the background and the target is large, the dynamic range of the image is wide, resulting in artifacts or unnaturalness when displaying the image. Therefore, in a system using a thermal image sensor, a technique for adjusting the contrast ratio to increase the visibility of the original image is a very important technique that determines the performance of the entire system. In order to adjust the contrast ratio of the thermal image, there are conventional histogram equalization, contrast stretching, and plateau equalization methods, but the conventional method only considers global information of the current frame. The contrast ratio is improved for each frame. This is a problem that it is difficult to apply a real-time system, and there is a problem that, due to excessive enhancement of contrast ratio, artifacts increase and noise amplification increases.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 특히 일정 구간 동안 연속되어 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 이용하여, 전체 영상 프레임의 평균 최소값 및 평균 최대값으로 갱신한 후, 이를 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정할 수 있는 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치를 제공하는 데 목적이 있다. The present invention has been proposed to solve the above-described conventional problems, and in particular, by updating the average minimum value and average maximum value of all image frames by using the average minimum value and average maximum value of continuously input image frames for a certain period. Thereafter, an object of the present invention is to provide a thermal image contrast ratio adjusting method and a thermal image processing apparatus using the thermal image contrast ratio that can adjust the contrast ratio of the input image frame during the next predetermined period.
그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.However, the object of the present invention is not limited to the above object, and other objects not mentioned will be clearly understood from the following description.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 열상 영상 처리 장치는 일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산한 후, 상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 히스토그램 처리부; 및 상기 히스토그램 처리부를 통해 갱신된 상기 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 명암비 처리부;를 포함하여 구성될 수 있다. The thermal image processing apparatus according to an embodiment of the present invention for achieving the above object is based on the histogram minimum and maximum values of each image frame continuously input for a certain period, and the image frame input during the predetermined period. A histogram processing unit that calculates an average minimum value and an average maximum value, and then updates the average minimum value and average maximum value of the calculated image frame to a histogram average minimum value and average maximum value of the image; And a contrast ratio processing unit that adjusts the contrast ratio of the input image frame during the next predetermined period by using the histogram average minimum and average maximum values of the image updated through the histogram processing unit.
이때, 일정 구간 동안 연속되어 입력되는 영상 프레임을 대상으로 불균일 보정(non uniformity correction)을 수행하는 불균일 보정부;를 더 포함하여 구성될 수 있다. In this case, a non-uniformity correction unit performing non-uniformity correction on an image frame continuously input for a predetermined period may be further included.
또한, 상기 히스토그램 처리부는 상기 불균일 보정부를 통해 상기 다음 일정 구간 동안 입력된 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신할 수 있다. In addition, the histogram processing unit may update the histogram average minimum value and average maximum value of the image while non-uniformity correction is performed on the image frame input during the next predetermined period through the non-uniformity correction unit.
또한, 상기 히스토그램 처리부는 상기 불균일 보정부를 통해 불균일이 보정된 상기 일정 구간 동안의 영상 프레임을 대상으로 각각의 히스토그램 최소값 및 최대값을 산출하고, 이를 기초로 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산할 수 있다. In addition, the histogram processing unit calculates the minimum and maximum values of each histogram for the image frames during the predetermined period in which the non-uniformity is corrected through the non-uniformity correction unit, and based on this, the average minimum value of the image frames input during the predetermined period. And an average maximum value.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법은 일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 계산하는 단계; 상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하는 단계; 상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계; 및 상기 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 단계;를 포함하여 이뤄질 수 있다. A method for adjusting the contrast ratio of a thermal image according to an exemplary embodiment of the present invention for achieving the above object includes: calculating the minimum and maximum histogram values of each image frame continuously input for a predetermined period; Calculating an average minimum value and an average maximum value of the image frames input during the predetermined period, based on the minimum and maximum histogram values of each of the image frames; Updating the average minimum value and the average maximum value of the calculated image frame to an average minimum value and an average maximum value of the histogram of the image; And adjusting the contrast ratio of the input image frame during the next predetermined period by using the histogram average minimum and average maximum values of the updated image.
이때, 상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계는 상기 영상 프레임에 대한 불균일 보정(non uniformity correction) 처리가 이뤄지는 동안 수행될 수 있다. At this time, the step of updating the histogram average minimum value and average maximum value of the image may be performed while the non-uniformity correction process is performed on the image frame.
또한, 상기 히스토그램 최소값 및 최대값을 계산하는 단계 이전에, 상기 영상의 히스토그램 평균 최소값 및 평균 최대값이 존재할 경우, 상기 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 상기 일정 구간 동안 연속되어 입력되는 영상 프레임의 명암비를 조정하는 단계;를 더 포함하여 이뤄질 수 있다. In addition, prior to the step of calculating the minimum and maximum values of the histogram, if there is a histogram average minimum and average maximum value of the image, the histogram average minimum value and average maximum value are continuously input for the predetermined period using the histogram average minimum value and average maximum value. And adjusting the contrast ratio of the image frame.
추가로 본 발명은 상술한 바와 같은 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.In addition, the present invention can provide a computer-readable recording medium recording a program for executing a thermal image contrast ratio adjustment method according to an embodiment of the present invention as described above.
본 발명의 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 의하면, 다음 일정 구간 입력되는 영상 프레임은 불균일 보정이 이뤄지기 전에, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 명암비를 조정함으로써, 사용자는 평균값보다 뜨겁거나, 차가운 물체가 있더라도 영상의 밝기 변화를 크게 느끼지 못하게 된다. 또한, 영상의 히스토그램 평균 최소값 및 평균 최대값의 갱신 과정을 불균일 보정 처리가 이뤄지는 동안 수행함으로써, 사용자는 이에 대해 별다른 인지를 하지 못하게 되어, 물체 탐지 및 추적 시 보다 용이하게 이뤄질 수 있게 된다. According to the thermal image contrast ratio adjustment method of the present invention and the thermal image processing apparatus using the same, the image frame inputted in the next predetermined section is adjusted by using the histogram average minimum and average maximum values of the updated image before non-uniformity correction is performed. By doing so, the user does not feel a large change in the brightness of the image even if there is a hot or cold object than the average value. In addition, by performing the process of updating the histogram average minimum value and average maximum value of the image while the non-uniformity correction process is performed, the user does not notice much about this, so that it can be more easily performed during object detection and tracking.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.In addition, various effects other than the above-described effects may be directly or implicitly disclosed in a detailed description according to an embodiment of the present invention to be described later.
도 1은 본 발명의 실시 예에 따른 열상 영상 처리 장치의 동작 과정을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 열상 영상 처리 장치의 주요 구성을 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 5는 본 발명의 실시 예에 따른 영상 영상 명암비 조정 방법을 설명하기 위한 예시도이다. 1 is a diagram schematically illustrating an operation process of a thermal image processing apparatus according to an embodiment of the present invention.
2 is a block diagram showing a main configuration of a thermal image processing apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a method of adjusting a contrast ratio of a thermal image according to an embodiment of the present invention.
4 to 5 are exemplary views for explaining a video image contrast ratio adjustment method according to an embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 하나, 이는 본 발명을 특정한 실시 형태로 한정하려는 것은 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, with reference to the accompanying drawings will be described in detail preferred embodiments that can be easily carried out by the person of ordinary skill in the art. However, in the detailed description of the operating principle for the preferred embodiment of the present invention, if it is determined that a detailed description of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. This is to more clearly communicate the core of the present invention by omitting unnecessary description. In addition, the present invention can be applied to various changes and can have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description, but this is not intended to limit the present invention to specific embodiments. It should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second are used to describe various components, and are used only to distinguish one component from other components, and to limit the components It is not used. For example, the second component may be referred to as a first component without departing from the scope of the present invention, and similarly, the first component may also be referred to as a second component.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다. In addition, when referring to a component being "connected" or "connected" to another component, it means that it can be connected or connected logically or physically. In other words, it may be understood that a component may be directly connected to or connected to other components, but other components may exist in the middle and may be connected or connected indirectly.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, the terms used herein are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In addition, terms such as "comprises" or "have" described herein are intended to designate the existence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, or one or more thereof. It should be understood that the above or other features or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.
이제 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 대하여 도면을 참조하여 상세하게 설명하도록 한다. 이때, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용하며, 이에 대한 중복되는 설명은 생략하기로 한다.Now, a method for adjusting a contrast ratio of a thermal image according to an embodiment of the present invention and a thermal image processing apparatus using the same will be described in detail with reference to the drawings. At this time, the same reference numerals are used for parts having similar functions and actions throughout the drawings, and duplicate descriptions thereof will be omitted.
도 1은 본 발명의 실시 예에 따른 열상 영상 처리 장치의 동작 과정을 개략적으로 설명하기 위한 도면이다. 1 is a diagram schematically illustrating an operation process of a thermal image processing apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 열상 영상 처리 장치(100)는 연속되어 영상 프레임이 입력되면, 상기 영상 프레임에 대한 명암비를 조정하고, 명암비가 조정된 영상을 출력하게 된다. Referring to FIG. 1, when the image frame is continuously input, the thermal
이때의 열상 영상 처리 장치(100)는 독립된 형태로 존재하여 외부의 열화상 카메라를 통해 촬영된 열상 영상을 수신할 수 있으며, 열화상 카메라 장치 내의 일 구성 요소로 존재하여 열상 영상 센서를 통해 촬영된 열상 영상을 전달받아 수신할 수 있다. 이때의 열화상 카메라는 적외선을 감지하여 영상을 형성하는 적외선 방식의 카메라를 예로 들 수 있다.At this time, the thermal
또한, 열상 영상 처리 장치(100)는 통신망(미도시)을 통해 외부의 별도 장치에서 전송되는 영상 프레임을 실시간 수신하여 입력 받을 수도 있다. 이때의 열상 영상 처리 장치(100)는 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식의 통신망(미도시)을 통해 영상 프레임을 수신할 수 있다. 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식에 따른 통신망(미도시)을 통해 영상 프레임을 수신할 수도 있다. Further, the thermal
이러한 영상 프레임이 수신되면 열상 영상 처리 장치(100)는 일정 구간 동안 영상 프레임 각각의 히스토그램 최소값 및 최대값을 계산하고, 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산한 후, 상기 계산된 히스토그램 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 된다. 그리고, 상기 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하고, 명암비가 조정된 영상 프레임을 출력함으로써, 보다 시인성이 향상된 영상을 제공하게 된다.When such an image frame is received, the thermal
이러한 열상 영상 처리 장치(100)에 탑재되는 프로세서는 본 발명에 따른 방법을 실행하기 위한 프로그램 명령을 처리할 수 있다. 일 구현 예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현 예에서 본 프로세서는 멀티 쓰레드(Multithreaded) 프로세서일 수 있다. 나아가 본 프로세서는 저장 장치(400) 상에 저장된 명령을 처리하는 것이 가능하다.The processor mounted in the thermal
이러한, 열상 영상 처리 장치(100)의 주요 구성 및 동작 방법에 대해 도 2를 참조하여 보다 구체적으로 설명하도록 한다. The main configuration and operation method of the thermal
도 2는 본 발명의 실시 예에 따른 열상 영상 처리 장치의 주요 구성을 도시한 블록도이다. 2 is a block diagram showing a main configuration of a thermal image processing apparatus according to an embodiment of the present invention.
도 2를 참조하여 설명하기에 앞서, 본 발명의 열상 영상 처리 장치(100)는 열상 영상 카메라 시스템에 모듈 형태로 내장된 장치인 것을 예로 들어 설명하도록 하나, 이에 한정되는 것은 아니다. Prior to description with reference to FIG. 2, the thermal
도 2를 참조하면, 본 발명의 실시 예에 따른 열상 영상 처리 장치(100)는 ADC 처리부(10), 화소 보정 처리부(20), 불균일 보정부(30), 히스토그램 처리부(40) 및 명암비 처리부(50)를 포함하여 구성될 수 있다. Referring to FIG. 2, the thermal
각 구성 요소에 대해 보다 구체적으로 설명하면, 먼저 ADC 처리부(10)는 열상 영상 센서에서 출력되는 아날로그 영상 신호를 디지털 영상 신호로 변환하는 역할을 수행한다. 이때, ADC 처리부(10)는 아날로그 형태로 입력되는 영상 신호를 14bit 또는 16bit의 디지털 영상 신호로 변환하여 출력할 수 있다. In more detail for each component, the
화소 보정 처리부(20)는 명암비 보정을 처리하기 이전의 전처리 과정을 수행하는 것으로, 특히, 프레임 내에 존재하는 불량 픽셀을 보정하는 역할을 수행할 수 있다. The pixel
불균일 보정부(30)는 검출 센서의 고유 특성으로 인해 발생되는 고정 형태의 잡음 패턴(영상의 불균일성(Non-Uniformity))을 보정하는 역할을 수행한다. 보다 구체적으로 적외선 검출 센서와 같이 열화상을 검출할 수 있는 검출 센서는 그 특성 상 일정 시간이 흐르면 제대로 영상을 검출하지 못하게 되는 데, 다시 말해, 검출 센서는 각 화소마다 구비되어 수만개 내지 수백만개 가 구비되는 데 각각의 검출 센서는 센서 자체의 온도라든가 주변 상황의 변화로 인하여 센서의 오프셋(offset)이 각각 달라지거나 불균일 보정 상태가 발생하게 된다. 이러한 불균일 보정 상태는 최종 출력된 영상의 노이즈 형태를 띄게 된다. 불균일 보정부(30)는 이러한 영상 불균일을 보정하는 역할을 수행하는 것으로, 불균일 보정은 일반적으로 주기적으로 이루어지게 된다. The
여기서, 불균일 보정부(30)는 공지된 다양한 방식을 통해 불균일 보정을 수행할 수 있다. 예컨대, 불균일 보정부(30)는 매크로 블록 기반의 반복적 패딩(Repetitive Padding) 방법, 즉 물체 정보 바깥 영역에 속한 휘도 정보와 색도 정보의 값을 정의하는 방식의 기법을 이용하여 불균일 보정을 처리할 수 있다. 또한, 불균일 보정부(30)는 영상 처리 기반의 불균일 보정을 처리할 수 있다. 즉, 인접 프레임 간의 영상 정합(registration)을 이용한 알고리즘에 따라 불균일 보정을 처리할 수 있다. 또한, 불균일 보정부(30)를 통해 불균일 보정이 이뤄지고 있는 동안 수초 정도 영상이 멈추는 프리징 상태로 영상이 출력될 수 있다. Here, the
히스토그램 처리부(40)는 상기 불균일 보정부(30)를 통해 불균일 보정 처리가 이뤄진 영상 프레임 각각에 히스토그램을 생성하고, 생성된 히스토그램을 이용하여 각 영상 프레임별 히스토그램 최소값 및 최대값을 산출하게 된다. 그리고, 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산한 후, 상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신한 후, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 명암비 처리부(50)로 전달하게 된다. The
이때, 본 발명의 실시 예에 따른 히스토그램 처리부(40)는 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신 시 다음 일정 구간 동안 입력된 영상 프레임에 대한 불균일 보정 처리가 이뤄지는 동안 갱신을 수행하게 된다. At this time, the
예를 들어, 본 발명의 열상 영상 처리 장치(100)가 1초에 100프레임을 생성하는 열화상 카메라에 내장된 경우, 일정 구간(1초) 동안 100프레임을 수신할 수 있다. 그리고, 히스토그램 처리부(40)는 상기 100프레임의 각각의 영상 프레임에서 히스토그램 최소값 및 최대값을 계산한다. 그리고, 히스토그램 처리부(40)는 상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하게 된다. 즉, 1번부터 100번 프레임 각각의 히스토그램 최소값 및 최대값을 계산하고, 이를 이용하여 1초 동안의 영상 프레임의 평균 최소값 및 평균 최대값을 계산할 수 있다. For example, when the thermal
이후, 히스토그램 처리부(40)는 다음 일정 구간(예컨대, 1초) 동안 연속되어 입력되는 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 상기 일정 구간의 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 된다. Thereafter, the
명암비 처리부(50)는 상기 히스토그램 처리부(40)를 통해 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 역할을 수행할 수 있다. 또한, 본 발명의 명암비 처리부(50)는 갱신 이전의 상기 영상의 히스토그램 평균 최소값 및 평균 최대값이 존재하는 경우, 상기 일정 구간 동안 연속되어 입력된 영상 프레임의 명암비를 조정할 수 있다. The contrast
이상으로 본 발명의 실시 예에 따른 열상 영상 처리 장치(100)의 주요 구성 및 동작 방법에 대해 설명하였다. 그러나 도 2를 통해 도시된 구성요소가 모두 필수 구성요소인 것은 아니며, 도시된 구성요소보다 많은 구성 요소에 의해 열상 영상 처리 장치(100)가 구현될 수 있고, 그 보다 적은 구성 요소에 의해 열상 영상 처리 장치(100)가 구현될 수도 있다. 예를 들어, 본 발명의 히스토그램 처리부(40)에서 계산된 각종 정보를 저장하는 저장부를 더 포함할 수 있으며, 이 외에도 열상 영상 처리를 위한 각종 구성 요소를 더 포함하여 구성될 수도 있다. The main configuration and operation method of the thermal
또한, 본 발명의 실시 예에 따른 열상 영상 처리 장치(100)를 구성하는 각 요소들을 열상 영상 처리가 이뤄지는 순서의 흐름에 따라 배치하였으나, 이에 한정되는 것이 아님을 명시해야 한다. In addition, each element constituting the thermal
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Although the specification and drawings describe exemplary device configurations, the functional operations and subject implementations described herein may be implemented with other types of digital electronic circuits, or the structures disclosed herein and their structural equivalents. It may be implemented in the included computer software, firmware or hardware, or a combination of one or more of them. Implementations of the subject matter described herein are one or more computer program products, that is, one for computer program instructions encoded on a tangible program storage medium to control or thereby execute the operation of a device according to the present invention. It can be implemented as the above modules. The computer-readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of materials affecting a machine-readable propagated signal, or a combination of one or more of these.
이하, 본 발명의 실시 예에 다른 열상 영상 명암비 조정 방법에 대해 설명하도록 한다. Hereinafter, a method for adjusting the contrast ratio of a thermal image according to an embodiment of the present invention will be described.
도 3은 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법을 설명하기 위한 흐름도이며, 도 4 내지 도 5는 본 발명의 실시 예에 따른 영상 영상 명암비 조정 방법을 설명하기 위한 예시도이다. 3 is a flowchart for explaining a method of adjusting a thermal image contrast ratio according to an embodiment of the present invention, and FIGS. 4 to 5 are exemplary views for explaining a method for adjusting the image image contrast ratio according to an embodiment of the present invention.
먼저, 도 3을 참조하면, 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법은 열상 영상 처리 장치(100)가 먼저, 일정 구간 동안 연속되어 입력되는 영상 프레임이 수신되면, 상기 일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 계산하게 된다(S101). 예를 들어, 본 발명의 열상 영상 처리 장치(100)가 1초에 100프레임을 생성하는 열화상 카메라의 내장된 경우, 일정 구간(1초) 동안 100프레임을 수신할 수 있다. 그리고, 100프레임의 각각의 영상 프레임에서 히스토그램 최소값 및 최대값을 계산한다. First, referring to FIG. 3, in the thermal image contrast ratio adjusting method according to an embodiment of the present invention, when the thermal
그리고, 열상 영상 처리 장치(100)가 상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하게 된다. 즉, 1번부터 100번 프레임 각각의 히스토그램 최소값 및 최대값을 계산하고, 이를 이용하여 1초 동안의 영상 프레임의 평균 최소값 및 평균 최대값을 계산할 수 있다. Then, the thermal
이후, 열상 영상 처리 장치(100)는 다음 일정 구간(예컨대, 1초) 동안 연속되어 입력되는 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 상기 일정 구간의 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 된다(S105).Thereafter, the thermal
그리고, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 입력되는 영상 프레임에 대한 명암비 조정으로 사용하게 된다(S107). Then, using the histogram average minimum value and average maximum value of the updated image, it is used to adjust the contrast ratio for the image frame input in the next predetermined section (S107).
도 4를 예를 들어 설명하면, 불균일 보정(NUC) 처리가 끝난 제1 구간(500) 영상 프레임을 이용하여 제1 구간(500)에 대한 영상 프레임의 평균 최소값 및 평균 최대값을 계산한다. 그리고, 열상 영상 처리 장치(100)는 제1 구간(500)에 대한 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 되는 데, 이때, 다음 일정 구간, 즉 제2 구간(520)에 대한 영상 프레임의 불균일 보정 처리가 이뤄지는 동안 갱신 과정을 수행하게 된다. 그리고, 열상 영상 처리 장치(100)는 불균일 보정 처리가 끝난, 제2 구간(520)에 대한 명암비를 상기 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 조정하게 된다. 이와 동시에, 열상 영상 처리 장치(100)는 제2 구간(520)에 대한 영상 프레임의 평균 최소값 및 평균 최대값을 계산하고, 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 다음 일정 구간 동안 입력된 영상 프레임의 명암비 조정에 활용하도록 상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 된다. 이때도 마찬가지로, 다음 구간의 입력된 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 처리를 수행하게 된다. Referring to FIG. 4 as an example, an average minimum value and an average maximum value of the image frame for the
즉, 도 5a에 도시된 바와 같이, 열화상 카메라를 이용하여 영상 촬영 중에 도 5b에 도시된 바와 같이, 급격한 밝기 변화 영역인 동적 영역이 발생하더라도, 불균일 보정 처리가 이뤄지기 이전에, 명암비를 조정하여 이를 출력함으로써, 사용자는 보다 선명한 열화상을 확인할 수 있게 된다. That is, as shown in FIG. 5A, even when a dynamic region, which is a sudden change region of brightness, occurs while photographing an image using a thermal imaging camera, adjusts the contrast ratio before the non-uniformity correction process is performed. By outputting this, the user can check a clearer thermal image.
다시 말해, 본 발명은 다음 일정 구간 입력되는 영상 프레임은 불균일 보정이 이뤄지기 전에, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 명암비를 조정함으로써, 사용자는 평균값보다 뜨겁거나, 차가운 물체가 있더라도 영상의 밝기 변화를 크게 느끼지 못하게 된다. 또한, 영상의 히스토그램 평균 최소값 및 평균 최대값의 갱신 과정을 불균일 보정 처리가 이뤄지는 동안 수행함으로써, 사용자는 이에 대해 별다른 인지를 하지 못하게 되어, 물체 탐지 및 추적 시 보다 용이하게 이뤄질 수 있게 된다. In other words, the present invention adjusts the contrast ratio using the histogram average minimum value and average maximum value of the updated image before the non-uniformity correction is performed on the input image frame in the next predetermined section, so that the user has a hot or cold object than the average value. Even if there is, you will not be able to notice the change in brightness of the image greatly. In addition, by performing the process of updating the histogram average minimum value and average maximum value of the image while the non-uniformity correction process is performed, the user does not notice much about this, so that it can be more easily performed during object detection and tracking.
이상으로 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법에 대해 설명하였다.The method for adjusting the contrast ratio of a thermal image according to an embodiment of the present invention has been described above.
상술한 바와 같은 본 발명의 영상 인식을 위한 열상 영상 명암비 조정 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 본 발명의 일 실시 예에 따른 영상 인식을 위한 그림자 제거 방법을 구현하기 위한 기록매체에 기록되는 프로그램은 일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 계산하는 단계, 상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하는 단계, 상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계 및 상기 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 단계 등을 실행할 수 있다. The thermal image contrast ratio adjustment method for image recognition of the present invention as described above may be provided in the form of a computer readable medium suitable for storing computer program instructions and data. A program recorded in a recording medium for implementing a shadow removal method for image recognition according to an embodiment of the present invention includes calculating the minimum and maximum histogram values of each image frame continuously input for a predetermined period, and the image frame Calculating the average minimum value and the average maximum value of the image frames input during the predetermined period, based on the minimum and maximum values of each histogram, the average minimum value and average maximum value of the calculated image frame, and the average minimum value of the histogram of the image and Updating to the average maximum value and adjusting the contrast ratio of the input image frame during the next predetermined period using the histogram average minimum and average maximum values of the updated image may be performed.
이때, 기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 기능들을 실행할 수 있다. At this time, the program recorded on the recording medium can be read, installed and executed on a computer to execute the above-described functions.
여기서, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. Here, in order for a computer to read a program recorded on a recording medium and execute functions implemented as a program, the above-described programs are C, C ++, which can be read by a computer's processor (CPU) through a computer's device interface, It may include code coded in a computer language such as JAVA or machine language.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다. 또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다. 또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.Such code may include a function code related to a function defining functions described above, and the like, and control code related to an execution procedure necessary for a processor of a computer to execute the functions described above according to a predetermined procedure. In addition, the code may further include memory reference-related code as to which location (address address) of the computer's internal or external memory should be referred to additional information or media necessary for the computer's processor to perform the functions described above. . In addition, when the processor of the computer needs to communicate with any other computer or server in the remote in order to execute the above-described functions, the code indicates that the computer's processor is in remote using the computer's communication module. It may further include communication-related codes on how to communicate with other computers or servers, and what information or media should be transmitted / received during communication.
이러한, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다. Such computer-readable media suitable for storing computer program instructions and data include, for example, recording media such as hard media, magnetic media such as floppy disks and magnetic tapes (Magnetic Media), and CD-ROM (Compact Disk Read Only Memory). , Optical Media such as DVD (Digital Video Disk), Magnetic-Optical Media such as Floptical Disk, and ROM (Read Only Memory), RAM (RAM) , Random Access Memory, Flash memory, EPROM (Erasable Programmable ROM), and semiconductor memory such as EEPROM (Electrically Erasable Programmable ROM). The processor and memory can be supplemented by, or incorporated into, special-purpose logic circuits.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.The computer-readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs for implementing the present invention and related codes and code segments, etc., programmers in the technical field to which the present invention belongs, considering the system environment of a computer that reads a recording medium and executes the program It can be easily inferred or changed by.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.This specification includes details of many specific implementations, but these should not be understood as limiting on the scope of any invention or claim, but rather as a description of features that may be specific to a particular embodiment of a particular invention. It should be understood. Certain features that are described in this specification in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Further, although features may operate in a particular combination and may be initially depicted as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, and the claimed combination subcombined. Or sub-combinations.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a particular order, it should not be understood that such operations should be performed in the particular order shown or in sequential order, or that all shown actions should be performed in order to obtain desirable results. In certain cases, multitasking and parallel processing may be advantageous. In addition, the separation of various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged in multiple software products. You should understand that you can.
본 발명은 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 관한 것으로, 일정 구간 동안 연속되어 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 이용하여, 전체 영상 프레임의 평균 최소값 및 평균 최대값으로 갱신한 후, 이를 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정할 수 있는 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 관한 것이다. The present invention relates to a thermal image contrast ratio adjustment method and a thermal image processing apparatus using the same, using an average minimum value and an average maximum value of continuously input image frames for a predetermined period, as an average minimum value and an average maximum value of all image frames. After updating, the present invention relates to a thermal image contrast ratio adjusting method and a thermal image processing apparatus using the thermal image contrast ratio that can adjust the contrast ratio of the input image frame during the next predetermined period.
본 발명에 의하면, 다음 일정 구간 입력되는 영상 프레임은 불균일 보정이 이뤄지기 전에, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 명암비를 조정함으로써, 사용자는 평균값보다 뜨겁거나, 차가운 물체가 있더라도 영상의 밝기 변화를 크게 느끼지 못해 보다 우수한 열상 영상을 출력할 수 있게 된다. 이러한 본 발명의 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치는 산업용, 군수/보안용 분야 등 다양한 분야에 적용될 수 있으며, 더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.According to the present invention, by adjusting the contrast ratio using the histogram average minimum value and average maximum value of the updated image, before the non-uniformity correction is performed, the image frame that is input to the next predetermined section is adjusted even if the user has a hot or cold object than the average value. It is possible to output a superior thermal image because the brightness change of the image is not greatly felt. The thermal image contrast ratio adjustment method of the present invention and the thermal image processing apparatus using the same can be applied to various fields such as industrial, military / security applications, and in addition, the present invention is not only sufficient for commercial or commercial possibilities but also realistically implemented To the extent possible, there is industrial applicability.
10: ADC 처리부 20: 화소 보정 처리부
30: 불균일 보정부 40: 히스토그램 처리부
50; 명암비 처리부10: ADC processing unit 20: pixel correction processing unit
30: non-uniformity correction unit 40: histogram processing unit
50; Contrast ratio processing unit
Claims (8)
상기 히스토그램 처리부를 통해 갱신된 이전 일정 구간 동안 연속되어 입력되는 영상 프레임의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 명암비 처리부;
를 포함하는 것을 특징으로 하는 열상 영상 처리 장치.Periodically, after calculating the average minimum value and the average maximum value of the image frames input during the predetermined period, based on the histogram minimum and maximum values of each image frame continuously input for a certain period, and then the average minimum value of the calculated image frame And a histogram processing unit that updates the average maximum value to an average minimum value and an average maximum value of the image. And
A contrast ratio processing unit that adjusts the contrast ratio of the image frames input during the next predetermined period by using the average minimum and maximum histogram values of the image frames continuously input during the previous predetermined period updated through the histogram processing unit;
Thermal image processing apparatus comprising a.
일정 구간 동안 연속되어 입력되는 영상 프레임을 대상으로 불균일 보정(non uniformity correction)을 수행하는 불균일 보정부;
를 더 포함하는 것을 특징으로 하는 열상 영상 처리 장치.According to claim 1,
A non-uniformity correction unit that performs non-uniformity correction on an image frame continuously input for a predetermined period;
Thermal image processing apparatus further comprising a.
상기 히스토그램 처리부는
상기 불균일 보정부를 통해 상기 다음 일정 구간 동안 입력된 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 것을 특징으로 하는 열상 영상 처리 장치.According to claim 2,
The histogram processing unit
Thermal image processing apparatus, characterized in that for the non-uniformity correction for the image frame input during the next predetermined period through the non-uniformity correction unit to update the histogram average minimum value and average maximum value of the image.
상기 히스토그램 처리부는
상기 불균일 보정부를 통해 불균일이 보정된 상기 일정 구간 동안의 영상 프레임을 대상으로 각각의 히스토그램 최소값 및 최대값을 산출하고, 이를 기초로 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하는 것을 특징으로 하는 열상 영상 처리 장치.According to claim 2,
The histogram processing unit
Through the non-uniformity correction unit, the minimum and maximum values of each histogram are calculated for the image frames during the predetermined period in which the non-uniformity is corrected, and based on this, average minimum and average maximum values of the image frames input during the predetermined period are calculated. Thermal image processing apparatus, characterized in that.
상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하는 단계;
상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계; 및
상기 갱신된 이전 일정 구간 동안 연속되어 입력되는 영상 프레임의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 단계;
를 포함하는 것을 특징으로 하는 열상 영상 명암비 조정 방법.Periodically calculating a histogram minimum value and a maximum value of each of the image frames continuously input for a predetermined period;
Calculating an average minimum value and an average maximum value of the image frames input during the predetermined period, based on the minimum and maximum histogram values of each of the image frames;
Updating the average minimum value and the average maximum value of the calculated image frame to an average minimum value and an average maximum value of the histogram of the image; And
Adjusting the contrast ratio of the image frames input during the next predetermined period by using the histogram average minimum and average maximum values of the image frames continuously input during the updated previous predetermined period;
Thermal image contrast ratio adjustment method comprising a.
상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계는
상기 영상 프레임에 대한 불균일 보정(non uniformity correction) 처리가 이뤄지는 동안 수행되는 것을 특징으로 하는 열상 영상 명암비 조정 방법.The method of claim 5,
The step of updating the histogram average minimum value and average maximum value of the image is
A method of adjusting a contrast ratio of a thermal image, characterized in that it is performed while a non-uniformity correction process is performed on the image frame.
상기 히스토그램 최소값 및 최대값을 계산하는 단계 이전에,
상기 영상의 히스토그램 평균 최소값 및 평균 최대값이 존재할 경우,
상기 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 상기 일정 구간 동안 연속되어 입력되는 영상 프레임의 명암비를 조정하는 단계;
를 더 포함하는 것을 특징으로 하는 열상 영상 명암비 조정 방법.The method of claim 5,
Before the step of calculating the minimum and maximum values of the histogram,
When the histogram average minimum value and average maximum value of the image are present,
Adjusting the contrast ratio of the image frames continuously input during the predetermined period using the average minimum value and the average maximum value of the histogram of the image;
Thermal image contrast ratio adjustment method characterized in that it further comprises.
A computer-readable recording medium in which a program for executing the thermal image contrast ratio adjustment method according to any one of claims 5 to 7 is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140130047A KR102108537B1 (en) | 2014-09-29 | 2014-09-29 | Method for adjusting contrast of thermal image and apparatus for using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140130047A KR102108537B1 (en) | 2014-09-29 | 2014-09-29 | Method for adjusting contrast of thermal image and apparatus for using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160037479A KR20160037479A (en) | 2016-04-06 |
KR102108537B1 true KR102108537B1 (en) | 2020-05-07 |
Family
ID=55790454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140130047A KR102108537B1 (en) | 2014-09-29 | 2014-09-29 | Method for adjusting contrast of thermal image and apparatus for using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102108537B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102622112B1 (en) * | 2019-01-11 | 2024-01-05 | 한화비전 주식회사 | Thermo image processing method, and apparatus thereof |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006217057A (en) * | 2005-02-01 | 2006-08-17 | Fujitsu Ltd | Image quality conversion processing method and image quality conversion processing apparatus |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7738698B2 (en) * | 2006-01-26 | 2010-06-15 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Method and apparatus for adjusting the contrast of an image |
KR20100012992A (en) * | 2008-07-30 | 2010-02-09 | 국방과학연구소 | Infrared thermal imaging device and method for processing signal using the same |
KR101041136B1 (en) | 2011-01-27 | 2011-06-14 | 삼성탈레스 주식회사 | Method for processing thermal image |
-
2014
- 2014-09-29 KR KR1020140130047A patent/KR102108537B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006217057A (en) * | 2005-02-01 | 2006-08-17 | Fujitsu Ltd | Image quality conversion processing method and image quality conversion processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR20160037479A (en) | 2016-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6081726B2 (en) | HDR video generation apparatus and method with ghost blur removed on multiple exposure fusion base | |
US9947086B2 (en) | Image adjustment based on locally flat scenes | |
JP7077395B2 (en) | Multiplexed high dynamic range image | |
US10560638B2 (en) | Imaging apparatus and imaging method | |
US10467736B2 (en) | Image adjustment based on locally flat scenes | |
US20210243338A1 (en) | Techniques for correcting oversaturated pixels in shutterless fir cameras | |
US20180300884A1 (en) | Thermal-image based object detection and heat map generation systems and methods | |
US10694118B2 (en) | Signal processing apparatus, imaging apparatus, and signal processing method | |
WO2018005221A1 (en) | Fixed pattern noise mitigation for a thermal imaging system | |
CN104221364A (en) | Imaging device and image processing method | |
US9900533B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2013055585A (en) | Imaging device | |
US10600164B2 (en) | Image adjustment based on locally flat scenes | |
KR102108537B1 (en) | Method for adjusting contrast of thermal image and apparatus for using the same | |
KR101041136B1 (en) | Method for processing thermal image | |
KR101920369B1 (en) | Apparatus and method for image processing of thermal imaging camera | |
JP7494615B2 (en) | Image processing device, image processing method, and program | |
US10791290B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP6701025B2 (en) | Data processing device, data processing method, and program | |
JP2017011351A (en) | Imaging apparatus, control method of the same, and control program | |
KR101918761B1 (en) | Method and apparatus for processing defect pixel in infrared thermal detector | |
KR20160051463A (en) | System for processing a low light level image and method thereof | |
WO2023171030A1 (en) | Image processing device, image processing method, and program | |
US11270421B2 (en) | Image processing apparatus and image processing method that reduce image noise, and storage medium | |
JP2013115702A5 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |