KR20160037479A - Method for adjusting contrast of thermal image and apparatus for using the same - Google Patents

Method for adjusting contrast of thermal image and apparatus for using the same Download PDF

Info

Publication number
KR20160037479A
KR20160037479A KR1020140130047A KR20140130047A KR20160037479A KR 20160037479 A KR20160037479 A KR 20160037479A KR 1020140130047 A KR1020140130047 A KR 1020140130047A KR 20140130047 A KR20140130047 A KR 20140130047A KR 20160037479 A KR20160037479 A KR 20160037479A
Authority
KR
South Korea
Prior art keywords
image
average
histogram
maximum value
minimum value
Prior art date
Application number
KR1020140130047A
Other languages
Korean (ko)
Other versions
KR102108537B1 (en
Inventor
박규희
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140130047A priority Critical patent/KR102108537B1/en
Publication of KR20160037479A publication Critical patent/KR20160037479A/en
Application granted granted Critical
Publication of KR102108537B1 publication Critical patent/KR102108537B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to a method for adjusting the contrast ratio of a thermal image and a thermal image processing apparatus using the same. Updating to an average minimum value and an average maximum value for an entire image frame is performed using an average minimum value and an average maximum value of an image frame, which is continuously input for a predetermined period, and then a contrast ratio of an image frame input for the next predetermined period is adjusted. Therefore, a user cannot feel a remarkable change in brightness of an image even when an object that is hotter or colder than an average value exists. In addition, the procedure to update an average minimum value and an average maximum value of a histogram of an image is performed while a non-uniform correction process is achieved such that the user cannot recognize any difference, thereby easily achieving the procedure when detecting and tracking an object.

Description

열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치{METHOD FOR ADJUSTING CONTRAST OF THERMAL IMAGE AND APPARATUS FOR USING THE SAME} TECHNICAL FIELD [0001] The present invention relates to a method for adjusting a contrast of a thermal image, and a thermal image processing apparatus using the same.

본 발명은 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 관한 것으로, 일정 구간 동안 연속되어 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 이용하여, 전체 영상 프레임의 평균 최소값 및 평균 최대값으로 갱신한 후, 이를 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정할 수 있는 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 관한 것이다. The present invention relates to a method of adjusting a contrast ratio of a thermal image and a thermal image processing apparatus using the same, and more particularly, to a method of adjusting a contrast ratio of a thermal image by using a mean minimum value and an average maximum value of input image frames continuously for a predetermined interval, And adjusting the contrast ratio of the input image frame during the next predetermined period using the updated image contrast ratio and the thermal image processing apparatus using the method.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

일반적인 CCD(Charge Coupled Device)/CMOS(Complementary Metal-Oxide Semiconductor) 등의 센서를 이용한 카메라는 광원(Source)이 피사체에 방사되었을 때 파장에 따른 피사체의 반사율에 기반하여 영상을 디스플레이하게 된다. 반면, 열상 영상 카메라(Thermal Camera)는 피사체 자체가 방출하는 열에너지를 영상으로 디스플레이 하는 구조를 가지고 있다. 따라서 광원이 필요 없으므로 빛이 없는 야간에서도 영상 획득이 가능하다는 장점이 있다.A camera using a sensor such as a general CCD (Charge Coupled Device) / CMOS (Complementary Metal-Oxide Semiconductor) displays an image based on the reflectance of a subject according to a wavelength when a light source is emitted to a subject. On the other hand, a thermal camera has a structure for displaying thermal energy emitted by the subject itself as an image. Therefore, there is an advantage that image acquisition is possible even at nighttime without light because there is no need for a light source.

이러한 열상 영상 카메라는 다양한 분야에서 이용되고 있는데, 대표적인 예로서 공항에서 출입국자의 체온을 원격에서 측정해서 고열 환자를 가려내는 등의 의료/검역 분야, 전봇대에 장착된 변압기의 온도를 지상 또는 차량을 타고 이동하면서 원거리 측정하여 과열 여부를 판단하는 것과 같은 산업용 분야, 빛이 없는 어둠 속에서 적군이나 이상 물체를 탐지하고 감지하는 등의 군수/보안용 분야 등이 있다.Such a thermal imaging camera is used in various fields. As a typical example, there are medical / quarantine fields such as a remote thermometer of an entry / exit person at an airport to detect a high-temperature patient, a temperature of a transformer mounted on a pole, Industrial fields such as long distance measurement to judge whether or not there is overheating, and military / security fields such as detection and detection of enemy or abnormal objects in darkness without light.

그러나 현재까지의 열상 영상 센서를 이용한 방식은 CCD/CMOS 센서에 비해 해상도가 낮으며, 화소 간의 불균일성(Non-Uniformity)이 다수 존재한다. 또한 배경과 표적 사이에 온도 분포가 커서 영상의 동적 범위(Dynamic Range)가 넓어, 영상 디스플레이 시 허상(artifact)이 생기거나 부자연스러움이 나타나기도 한다. 따라서, 열상 영상 센서를 이용한 시스템에서 원영상의 시인성을 높이기 위한 명암비를 조정하는 기술은 전체 시스템의 성능을 좌우하는 아주 중요한 기술이다. 이러한 열상 영상의 명암비를 조정하기 위해 종래에는 히스토그램 평활화(Histogram Equalization), 명암비 스트레칭(Contrast Stretching), 플래토 평활화(Plateau Equalization) 방식 등이 존재하나, 종래의 방식은 현재 프레임의 전역 정보만을 고려함으로써, 매 프레임별로 명암비를 개선하게 된다. 이는 실시간 시스템 적용이 어렵다는 문제점과 함께, 과도한 명암비 향상으로 인해, 허상(artifact)이 늘어나고 노이즈 증폭이 커진다는 문제점이 있다. However, the conventional method using the thermal image sensor has a lower resolution than the CCD / CMOS sensor, and there are many non-uniformity among the pixels. Also, since the temperature range between the background and the target is large, the dynamic range of the image is widened, resulting in artifacts or unnaturalness in image display. Therefore, the technique of adjusting the contrast ratio for enhancing the visibility of the original image in the system using the thermal image sensor is a very important technology that determines the performance of the entire system. In order to adjust the contrast ratio of such a thermal image, conventionally, there are histogram equalization, contrast stretching, and plateau equalization. However, in the conventional method, only the global information of the current frame is considered , And the contrast ratio is improved for each frame. This is problematic in that it is difficult to apply a real-time system, and an artifact is increased and noise amplification is increased due to an excessive contrast ratio improvement.

한국등록특허 제10-1041136호, 2011년 6월 14일 공고 (명칭: 열영상 처리 방법)Korean Patent No. 10-1041136, June 14, 2011 Announcement (Name: Thermal Image Processing Method)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 특히 일정 구간 동안 연속되어 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 이용하여, 전체 영상 프레임의 평균 최소값 및 평균 최대값으로 갱신한 후, 이를 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정할 수 있는 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치를 제공하는 데 목적이 있다. SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems of the prior art, and it is an object of the present invention to provide a method and apparatus for updating an average minimum value and an average maximum value of all image frames using an average minimum value and an average maximum value of image frames continuously input for a predetermined interval And adjusting the contrast ratio of the input image frame during the next predetermined interval using the corrected contrast ratio and the thermal image processing apparatus using the same.

그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.However, the object of the present invention is not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood from the following description.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 열상 영상 처리 장치는 일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산한 후, 상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 히스토그램 처리부; 및 상기 히스토그램 처리부를 통해 갱신된 상기 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 명암비 처리부;를 포함하여 구성될 수 있다. According to another aspect of the present invention, there is provided a thermal image processing apparatus for processing a plurality of image frames, the method comprising the steps of: A histogram processing unit for calculating an average minimum value and an average maximum value and then updating an average minimum value and an average maximum value of the calculated image frames to an average minimum value and an average maximum value of the histogram of the image; And a contrast ratio processor for adjusting the contrast ratio of the image frame input during the next predetermined interval using the histogram average minimum value and the average maximum value of the image updated through the histogram processing unit.

이때, 일정 구간 동안 연속되어 입력되는 영상 프레임을 대상으로 불균일 보정(non uniformity correction)을 수행하는 불균일 보정부;를 더 포함하여 구성될 수 있다. In this case, the non-uniformity correction unit may perform non-uniformity correction on image frames continuously input for a predetermined period.

또한, 상기 히스토그램 처리부는 상기 불균일 보정부를 통해 상기 다음 일정 구간 동안 입력된 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신할 수 있다. Also, the histogram processing unit may update the histogram average minimum value and the average maximum value of the image during the non-uniformity correction of the input image frame during the next predetermined period through the non-uniformity correction unit.

또한, 상기 히스토그램 처리부는 상기 불균일 보정부를 통해 불균일이 보정된 상기 일정 구간 동안의 영상 프레임을 대상으로 각각의 히스토그램 최소값 및 최대값을 산출하고, 이를 기초로 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산할 수 있다. In addition, the histogram processing unit may calculate the minimum and maximum values of the histograms of the image frames for the predetermined period, the non-uniformity of which has been corrected through the non-uniformity correction unit, and calculate an average minimum value And the average maximum value.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법은 일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 계산하는 단계; 상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하는 단계; 상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계; 및 상기 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 단계;를 포함하여 이뤄질 수 있다. According to an aspect of the present invention, there is provided a method for adjusting a contrast ratio of a thermal image, the method comprising: calculating a histogram minimum value and a maximum value of each of image frames input continuously for a predetermined period; Calculating an average minimum value and an average maximum value of the input image frames during the predetermined period based on the histogram minimum value and the maximum value of each of the image frames; Updating an average minimum value and an average maximum value of the calculated image frames to a histogram average minimum value and an average maximum value of the image; And adjusting a contrast ratio of the input image frame for a next predetermined period using the histogram average minimum value and the average maximum value of the updated image.

이때, 상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계는 상기 영상 프레임에 대한 불균일 보정(non uniformity correction) 처리가 이뤄지는 동안 수행될 수 있다. At this time, updating the histogram average minimum value and the average maximum value of the image may be performed while non-uniformity correction processing is performed on the image frame.

또한, 상기 히스토그램 최소값 및 최대값을 계산하는 단계 이전에, 상기 영상의 히스토그램 평균 최소값 및 평균 최대값이 존재할 경우, 상기 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 상기 일정 구간 동안 연속되어 입력되는 영상 프레임의 명암비를 조정하는 단계;를 더 포함하여 이뤄질 수 있다. If the histogram mean minimum value and the mean maximum value of the image exist before the step of calculating the histogram minimum value and the maximum value, the histogram average minimum value and the average maximum value of the image are continuously input for the predetermined period And adjusting the contrast ratio of the image frame.

추가로 본 발명은 상술한 바와 같은 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.In addition, the present invention can provide a computer readable recording medium on which a program for executing a method of adjusting a contrast of a thermal image according to an embodiment of the present invention as described above is recorded.

본 발명의 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 의하면, 다음 일정 구간 입력되는 영상 프레임은 불균일 보정이 이뤄지기 전에, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 명암비를 조정함으로써, 사용자는 평균값보다 뜨겁거나, 차가운 물체가 있더라도 영상의 밝기 변화를 크게 느끼지 못하게 된다. 또한, 영상의 히스토그램 평균 최소값 및 평균 최대값의 갱신 과정을 불균일 보정 처리가 이뤄지는 동안 수행함으로써, 사용자는 이에 대해 별다른 인지를 하지 못하게 되어, 물체 탐지 및 추적 시 보다 용이하게 이뤄질 수 있게 된다. According to the thermal image contrast ratio adjusting method and the thermal image processing apparatus using the method of the present invention, the contrast ratio is adjusted using the histogram average minimum value and the average maximum value of the updated image before the non- Thus, the user can not feel the change in brightness of the image to a large extent even if there is a hot or cold object than the average value. Further, by performing the updating process of the histogram average minimum value and the average maximum value of the image during the non-uniformity correction process, the user can not recognize the difference, and thus it becomes easier to detect and track the object.

아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.In addition, various effects other than the above-described effects can be directly or implicitly disclosed in the detailed description according to the embodiment of the present invention to be described later.

도 1은 본 발명의 실시 예에 따른 열상 영상 처리 장치의 동작 과정을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 열상 영상 처리 장치의 주요 구성을 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 5는 본 발명의 실시 예에 따른 영상 영상 명암비 조정 방법을 설명하기 위한 예시도이다.
FIG. 1 is a schematic view for explaining an operation of a thermal image processor according to an embodiment of the present invention. Referring to FIG.
2 is a block diagram illustrating a main configuration of a thermal image processing apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a method of adjusting a contrast of a thermal image according to an exemplary embodiment of the present invention.
4 to 5 are diagrams for explaining a method of adjusting a contrast ratio of a video image according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 하나, 이는 본 발명을 특정한 실시 형태로 한정하려는 것은 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the detailed description of known functions and configurations incorporated herein will be omitted when it may unnecessarily obscure the subject matter of the present invention. This is to omit the unnecessary description so as to convey the key of the present invention more clearly without fading. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. However, it should be understood that the invention is not limited to the specific embodiments thereof, It is to be understood that the invention is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.Also, terms including ordinal numbers such as first, second, etc. are used to describe various elements, and are used only for the purpose of distinguishing one element from another, Not used. For example, without departing from the scope of the present invention, the second component may be referred to as a first component, and similarly, the first component may also be referred to as a second component.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다. In addition, when referring to an element as being "connected" or "connected" to another element, it means that it can be connected or connected logically or physically. In other words, it is to be understood that although an element may be directly connected or connected to another element, there may be other elements in between, or indirectly connected or connected.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Also, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. It is also to be understood that the terms such as " comprising "or" having ", as used herein, are intended to specify the presence of stated features, integers, It should be understood that the foregoing does not preclude the presence or addition of other features, numbers, steps, operations, elements, parts, or combinations thereof.

이제 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 대하여 도면을 참조하여 상세하게 설명하도록 한다. 이때, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용하며, 이에 대한 중복되는 설명은 생략하기로 한다.Now, a method of adjusting a contrast ratio of a thermal image according to an embodiment of the present invention and a thermal image processing apparatus using the same will be described in detail with reference to the drawings. Here, the same reference numerals are used for similar functions and functions throughout the drawings, and a duplicate description thereof will be omitted.

도 1은 본 발명의 실시 예에 따른 열상 영상 처리 장치의 동작 과정을 개략적으로 설명하기 위한 도면이다. FIG. 1 is a schematic view for explaining an operation of a thermal image processor according to an embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 본 발명의 열상 영상 처리 장치(100)는 연속되어 영상 프레임이 입력되면, 상기 영상 프레임에 대한 명암비를 조정하고, 명암비가 조정된 영상을 출력하게 된다. Referring to FIG. 1, the image processor 100 of the present invention adjusts the contrast ratio of the image frame and outputs the adjusted contrast image when the image frame is continuously input.

이때의 열상 영상 처리 장치(100)는 독립된 형태로 존재하여 외부의 열화상 카메라를 통해 촬영된 열상 영상을 수신할 수 있으며, 열화상 카메라 장치 내의 일 구성 요소로 존재하여 열상 영상 센서를 통해 촬영된 열상 영상을 전달받아 수신할 수 있다. 이때의 열화상 카메라는 적외선을 감지하여 영상을 형성하는 적외선 방식의 카메라를 예로 들 수 있다.At this time, the thermal image processing apparatus 100 exists in a separate form and can receive a thermal image photographed through an external thermal imaging camera. The thermal image processing apparatus 100 exists as a component in the thermal imaging camera apparatus, You can receive and receive the thermal image. The infrared camera at this time is, for example, an infrared camera that detects infrared rays to form an image.

또한, 열상 영상 처리 장치(100)는 통신망(미도시)을 통해 외부의 별도 장치에서 전송되는 영상 프레임을 실시간 수신하여 입력 받을 수도 있다. 이때의 열상 영상 처리 장치(100)는 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식의 통신망(미도시)을 통해 영상 프레임을 수신할 수 있다. 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식에 따른 통신망(미도시)을 통해 영상 프레임을 수신할 수도 있다. In addition, the thermal image processing apparatus 100 may receive and receive image frames transmitted from an external device via a communication network (not shown) in real time. The thermal image processing apparatus 100 may be a wireless communication system such as a WLAN (Wireless LAN), a Wi-Fi, a Wibro, a Wimax, a High Speed Downlink Packet Access (HSDPA) (Not shown) such as Ethernet, xDSL (ADSL, VDSL), Hybrid Fiber Coaxial Cable (HFC), Fiber to the Curb (FTTC), and Fiber To The Home . In addition, image frames may be received through a communication network (not shown) according to a communication method of all other widely known or later developed communication methods.

이러한 영상 프레임이 수신되면 열상 영상 처리 장치(100)는 일정 구간 동안 영상 프레임 각각의 히스토그램 최소값 및 최대값을 계산하고, 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산한 후, 상기 계산된 히스토그램 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 된다. 그리고, 상기 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하고, 명암비가 조정된 영상 프레임을 출력함으로써, 보다 시인성이 향상된 영상을 제공하게 된다.When the image frame is received, the thermal image processing apparatus 100 calculates a minimum value and a maximum value of the histogram of each of the image frames for a predetermined period, calculates an average minimum value and an average maximum value of the input image frames during a predetermined period, The calculated average minimum value and average maximum value of the histogram are updated to the histogram average minimum value and the average maximum value of the image. By using the histogram average minimum value and the average maximum value, the contrast ratio of the input image frame is adjusted for the next predetermined period, and the image frame with the adjusted contrast ratio is output, thereby providing a more visually improved image.

이러한 열상 영상 처리 장치(100)에 탑재되는 프로세서는 본 발명에 따른 방법을 실행하기 위한 프로그램 명령을 처리할 수 있다. 일 구현 예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현 예에서 본 프로세서는 멀티 쓰레드(Multithreaded) 프로세서일 수 있다. 나아가 본 프로세서는 저장 장치(400) 상에 저장된 명령을 처리하는 것이 가능하다.A processor mounted on the thermal image processing apparatus 100 can process a program command for executing the method according to the present invention. In one implementation, the processor may be a single-threaded processor, and in other embodiments, the processor may be a multithreaded processor. Further, the processor is capable of processing instructions stored on the storage device 400.

이러한, 열상 영상 처리 장치(100)의 주요 구성 및 동작 방법에 대해 도 2를 참조하여 보다 구체적으로 설명하도록 한다. The main configuration and operation method of the thermal image processing apparatus 100 will be described in detail with reference to FIG.

도 2는 본 발명의 실시 예에 따른 열상 영상 처리 장치의 주요 구성을 도시한 블록도이다. 2 is a block diagram illustrating a main configuration of a thermal image processing apparatus according to an embodiment of the present invention.

도 2를 참조하여 설명하기에 앞서, 본 발명의 열상 영상 처리 장치(100)는 열상 영상 카메라 시스템에 모듈 형태로 내장된 장치인 것을 예로 들어 설명하도록 하나, 이에 한정되는 것은 아니다. 2, the thermal image processing apparatus 100 of the present invention is an apparatus that is embedded in a thermal image camera system in a module form. However, the present invention is not limited thereto.

도 2를 참조하면, 본 발명의 실시 예에 따른 열상 영상 처리 장치(100)는 ADC 처리부(10), 화소 보정 처리부(20), 불균일 보정부(30), 히스토그램 처리부(40) 및 명암비 처리부(50)를 포함하여 구성될 수 있다. 2, a thermal image processing apparatus 100 according to an exemplary embodiment of the present invention includes an ADC processing unit 10, a pixel correction processing unit 20, a non-uniformity correction unit 30, a histogram processing unit 40, 50).

각 구성 요소에 대해 보다 구체적으로 설명하면, 먼저 ADC 처리부(10)는 열상 영상 센서에서 출력되는 아날로그 영상 신호를 디지털 영상 신호로 변환하는 역할을 수행한다. 이때, ADC 처리부(10)는 아날로그 형태로 입력되는 영상 신호를 14bit 또는 16bit의 디지털 영상 신호로 변환하여 출력할 수 있다. More specifically, the ADC processor 10 converts an analog image signal output from the thermal image sensor into a digital image signal. At this time, the ADC processing unit 10 can convert a video signal inputted in analog form into a digital video signal of 14 bits or 16 bits and output it.

화소 보정 처리부(20)는 명암비 보정을 처리하기 이전의 전처리 과정을 수행하는 것으로, 특히, 프레임 내에 존재하는 불량 픽셀을 보정하는 역할을 수행할 수 있다. The pixel correction processing unit 20 performs a preprocessing process before processing the contrast ratio correction, and in particular, can perform a role of correcting defective pixels existing in a frame.

불균일 보정부(30)는 검출 센서의 고유 특성으로 인해 발생되는 고정 형태의 잡음 패턴(영상의 불균일성(Non-Uniformity))을 보정하는 역할을 수행한다. 보다 구체적으로 적외선 검출 센서와 같이 열화상을 검출할 수 있는 검출 센서는 그 특성 상 일정 시간이 흐르면 제대로 영상을 검출하지 못하게 되는 데, 다시 말해, 검출 센서는 각 화소마다 구비되어 수만개 내지 수백만개 가 구비되는 데 각각의 검출 센서는 센서 자체의 온도라든가 주변 상황의 변화로 인하여 센서의 오프셋(offset)이 각각 달라지거나 불균일 보정 상태가 발생하게 된다. 이러한 불균일 보정 상태는 최종 출력된 영상의 노이즈 형태를 띄게 된다. 불균일 보정부(30)는 이러한 영상 불균일을 보정하는 역할을 수행하는 것으로, 불균일 보정은 일반적으로 주기적으로 이루어지게 된다. The non-uniformity correction unit 30 performs a role of correcting a fixed noise pattern (non-uniformity of image) generated due to inherent characteristics of the detection sensor. More specifically, a detection sensor capable of detecting a thermal image, such as an infrared ray detection sensor, can not properly detect an image when a predetermined time passes. In other words, the detection sensor is provided for each pixel, Each of the detection sensors has a different offset or a non-uniformity correction due to the temperature of the sensor itself or the change of the surrounding environment. Such a non-uniformity correction state becomes a noise form of the final output image. The non-uniformity correction unit 30 serves to correct such image unevenness, and the nonuniformity correction is generally performed periodically.

여기서, 불균일 보정부(30)는 공지된 다양한 방식을 통해 불균일 보정을 수행할 수 있다. 예컨대, 불균일 보정부(30)는 매크로 블록 기반의 반복적 패딩(Repetitive Padding) 방법, 즉 물체 정보 바깥 영역에 속한 휘도 정보와 색도 정보의 값을 정의하는 방식의 기법을 이용하여 불균일 보정을 처리할 수 있다. 또한, 불균일 보정부(30)는 영상 처리 기반의 불균일 보정을 처리할 수 있다. 즉, 인접 프레임 간의 영상 정합(registration)을 이용한 알고리즘에 따라 불균일 보정을 처리할 수 있다. 또한, 불균일 보정부(30)를 통해 불균일 보정이 이뤄지고 있는 동안 수초 정도 영상이 멈추는 프리징 상태로 영상이 출력될 수 있다. Here, the nonuniformity correction unit 30 may perform nonuniformity correction through various known methods. For example, the non-uniformity correction unit 30 can perform non-uniformity correction using a macroblock-based repetitive padding method, that is, a method of defining values of luminance information and chrominance information belonging to an object area outside the object information have. In addition, the non-uniformity correction unit 30 can process the non-uniformity correction based on the image processing. That is, non-uniformity correction can be processed according to an algorithm using image registration between adjacent frames. Also, the image can be output in the freezing state in which the image stops for several seconds while the non-uniformity correction is being performed through the non-uniformity correction unit 30. [

히스토그램 처리부(40)는 상기 불균일 보정부(30)를 통해 불균일 보정 처리가 이뤄진 영상 프레임 각각에 히스토그램을 생성하고, 생성된 히스토그램을 이용하여 각 영상 프레임별 히스토그램 최소값 및 최대값을 산출하게 된다. 그리고, 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산한 후, 상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신한 후, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 명암비 처리부(50)로 전달하게 된다. The histogram processing unit 40 generates a histogram in each of the image frames subjected to the non-uniformity correction processing through the non-uniformity correction unit 30, and calculates the minimum and maximum histogram histograms for each image frame using the generated histogram. After calculating the average minimum value and the average maximum value of the input image frames during a predetermined period, the average minimum value and the average maximum value of the calculated image frames are updated to the histogram average minimum value and the average maximum value of the image, And transmits the histogram average minimum value and the average maximum value of the image to the contrast ratio processing unit 50.

이때, 본 발명의 실시 예에 따른 히스토그램 처리부(40)는 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신 시 다음 일정 구간 동안 입력된 영상 프레임에 대한 불균일 보정 처리가 이뤄지는 동안 갱신을 수행하게 된다. At this time, the histogram processing unit 40 according to the embodiment of the present invention updates the average minimum value and the average maximum value of the input image frames for the predetermined period to the average minimum value and average maximum value of the image histogram, The update is performed while the non-uniformity correction processing for the frame is performed.

예를 들어, 본 발명의 열상 영상 처리 장치(100)가 1초에 100프레임을 생성하는 열화상 카메라에 내장된 경우, 일정 구간(1초) 동안 100프레임을 수신할 수 있다. 그리고, 히스토그램 처리부(40)는 상기 100프레임의 각각의 영상 프레임에서 히스토그램 최소값 및 최대값을 계산한다. 그리고, 히스토그램 처리부(40)는 상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하게 된다. 즉, 1번부터 100번 프레임 각각의 히스토그램 최소값 및 최대값을 계산하고, 이를 이용하여 1초 동안의 영상 프레임의 평균 최소값 및 평균 최대값을 계산할 수 있다. For example, when the thermal image processing apparatus 100 of the present invention is embedded in an infrared camera that generates 100 frames per second, 100 frames can be received for a predetermined period (1 second). The histogram processing unit 40 calculates the minimum and maximum values of the histogram in each image frame of the 100 frames. The histogram processing unit 40 calculates an average minimum value and an average maximum value of the input image frames based on the histogram minimum value and the maximum value of each of the image frames. That is, the histogram minimum and maximum values of the frames 1 to 100 are calculated, and the average minimum value and average maximum value of the image frames for one second can be calculated.

이후, 히스토그램 처리부(40)는 다음 일정 구간(예컨대, 1초) 동안 연속되어 입력되는 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 상기 일정 구간의 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 된다. Thereafter, the histogram processing unit 40 adjusts the average minimum value and the average maximum value of the image frames of the predetermined period to the histogram average minimum value of the image during the non-uniformity correction for the input image frame continuously for a next predetermined period (for example, 1 second) And the average maximum value.

명암비 처리부(50)는 상기 히스토그램 처리부(40)를 통해 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 역할을 수행할 수 있다. 또한, 본 발명의 명암비 처리부(50)는 갱신 이전의 상기 영상의 히스토그램 평균 최소값 및 평균 최대값이 존재하는 경우, 상기 일정 구간 동안 연속되어 입력된 영상 프레임의 명암비를 조정할 수 있다. The contrast ratio processor 50 may adjust the contrast ratio of the input image frame during the next predetermined period using the histogram average minimum value and the average maximum value of the updated image through the histogram processing unit 40. [ In addition, the contrast ratio processor 50 of the present invention can adjust the contrast ratio of the input image frame continuously for the predetermined period, if the histogram average minimum value and the average maximum value of the image before update are present.

이상으로 본 발명의 실시 예에 따른 열상 영상 처리 장치(100)의 주요 구성 및 동작 방법에 대해 설명하였다. 그러나 도 2를 통해 도시된 구성요소가 모두 필수 구성요소인 것은 아니며, 도시된 구성요소보다 많은 구성 요소에 의해 열상 영상 처리 장치(100)가 구현될 수 있고, 그 보다 적은 구성 요소에 의해 열상 영상 처리 장치(100)가 구현될 수도 있다. 예를 들어, 본 발명의 히스토그램 처리부(40)에서 계산된 각종 정보를 저장하는 저장부를 더 포함할 수 있으며, 이 외에도 열상 영상 처리를 위한 각종 구성 요소를 더 포함하여 구성될 수도 있다. The main configuration and operation method of the thermal image processing apparatus 100 according to the embodiment of the present invention have been described above. However, not all of the components shown in FIG. 2 are essential components, and the thermal image processing apparatus 100 can be implemented by more components than the components shown in the drawing, The processing apparatus 100 may be implemented. For example, the histogram processing unit 40 may further include a storage unit for storing various types of information calculated by the histogram processing unit 40, and may further include various components for processing a thermal image.

또한, 본 발명의 실시 예에 따른 열상 영상 처리 장치(100)를 구성하는 각 요소들을 열상 영상 처리가 이뤄지는 순서의 흐름에 따라 배치하였으나, 이에 한정되는 것이 아님을 명시해야 한다. In addition, the elements constituting the thermal image processing apparatus 100 according to the embodiment of the present invention are arranged according to the flow of the sequence of performing the thermal image processing, but it should be noted that it is not limited thereto.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Although the present specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or alternatively, of the structures disclosed herein and their structural equivalents May be embodied in computer software, firmware, or hardware, including, or in combination with, one or more of the foregoing. Implementations of the subject matter described herein may be embodied in one or more computer program products, i. E. One for computer program instructions encoded on a program storage medium of the type for < RTI ID = 0.0 & And can be implemented as a module as described above. The computer-readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter that affects the machine readable propagation type signal, or a combination of one or more of the foregoing.

이하, 본 발명의 실시 예에 다른 열상 영상 명암비 조정 방법에 대해 설명하도록 한다. Hereinafter, a method of adjusting the contrast of a thermal image according to an embodiment of the present invention will be described.

도 3은 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법을 설명하기 위한 흐름도이며, 도 4 내지 도 5는 본 발명의 실시 예에 따른 영상 영상 명암비 조정 방법을 설명하기 위한 예시도이다. FIG. 3 is a flowchart illustrating a method for adjusting a contrast of a thermal image according to an exemplary embodiment of the present invention. FIGS. 4 and 5 illustrate a method of adjusting a contrast ratio of an image according to an exemplary embodiment of the present invention.

먼저, 도 3을 참조하면, 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법은 열상 영상 처리 장치(100)가 먼저, 일정 구간 동안 연속되어 입력되는 영상 프레임이 수신되면, 상기 일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 계산하게 된다(S101). 예를 들어, 본 발명의 열상 영상 처리 장치(100)가 1초에 100프레임을 생성하는 열화상 카메라의 내장된 경우, 일정 구간(1초) 동안 100프레임을 수신할 수 있다. 그리고, 100프레임의 각각의 영상 프레임에서 히스토그램 최소값 및 최대값을 계산한다. Referring to FIG. 3, a method of adjusting a contrast of a thermal image according to an exemplary embodiment of the present invention is a method in which a thermal image processor 100 sequentially receives input image frames for a predetermined interval, The minimum and maximum histogram histograms of the inputted image frames are calculated (S101). For example, when the thermal imaging apparatus 100 of the present invention is equipped with a thermal imaging camera that generates 100 frames per second, it can receive 100 frames for a predetermined period (1 second). Then, the histogram minimum value and the maximum value are calculated in each image frame of 100 frames.

그리고, 열상 영상 처리 장치(100)가 상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하게 된다. 즉, 1번부터 100번 프레임 각각의 히스토그램 최소값 및 최대값을 계산하고, 이를 이용하여 1초 동안의 영상 프레임의 평균 최소값 및 평균 최대값을 계산할 수 있다. The thermal image processing apparatus 100 calculates an average minimum value and an average maximum value of the input image frames during the predetermined period based on the minimum and maximum histogram histograms of the image frames. That is, the histogram minimum and maximum values of the frames 1 to 100 are calculated, and the average minimum value and average maximum value of the image frames for one second can be calculated.

이후, 열상 영상 처리 장치(100)는 다음 일정 구간(예컨대, 1초) 동안 연속되어 입력되는 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 상기 일정 구간의 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 된다(S105).Then, while the non-uniformity correction of the input image frame is performed continuously for the next predetermined period (for example, 1 second), the thermal image processing apparatus 100 calculates the average minimum value and the average maximum value of the image frames of the predetermined period as a histogram The average minimum value and the average maximum value are updated (S105).

그리고, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 입력되는 영상 프레임에 대한 명암비 조정으로 사용하게 된다(S107). In operation S107, the contrast ratio of the image frame input in the next interval is adjusted using the histogram average minimum value and the average maximum value of the updated image.

도 4를 예를 들어 설명하면, 불균일 보정(NUC) 처리가 끝난 제1 구간(500) 영상 프레임을 이용하여 제1 구간(500)에 대한 영상 프레임의 평균 최소값 및 평균 최대값을 계산한다. 그리고, 열상 영상 처리 장치(100)는 제1 구간(500)에 대한 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 되는 데, 이때, 다음 일정 구간, 즉 제2 구간(520)에 대한 영상 프레임의 불균일 보정 처리가 이뤄지는 동안 갱신 과정을 수행하게 된다. 그리고, 열상 영상 처리 장치(100)는 불균일 보정 처리가 끝난, 제2 구간(520)에 대한 명암비를 상기 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 조정하게 된다. 이와 동시에, 열상 영상 처리 장치(100)는 제2 구간(520)에 대한 영상 프레임의 평균 최소값 및 평균 최대값을 계산하고, 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 다음 일정 구간 동안 입력된 영상 프레임의 명암비 조정에 활용하도록 상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하게 된다. 이때도 마찬가지로, 다음 구간의 입력된 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 처리를 수행하게 된다. 4, an average minimum value and an average maximum value of image frames for the first section 500 are calculated using the image frame of the first section 500 after the non-uniformity correction (NUC) process. The thermal image processing apparatus 100 updates the average minimum value and the average maximum value of the image frames for the first section 500 to the histogram average minimum value and the average maximum value of the image. At this time, The update process is performed while the non-uniformity correction processing of the image frame for the second section 520 is performed. Then, the thermal image processing apparatus 100 adjusts the contrast ratio of the second section 520 after the non-uniformity correction processing, using the histogram average minimum value and the average maximum value of the updated image. At the same time, the thermal image processing apparatus 100 calculates an average minimum value and an average maximum value of image frames for the second section 520, and calculates an average minimum value and an average maximum value of the calculated image frames, The histogram average minimum value and the average maximum value of the image are updated to be used for adjusting the contrast ratio of the image frame. At this time as well, the processing is performed while the non-uniformity correction is performed on the input image frame of the next section.

즉, 도 5a에 도시된 바와 같이, 열화상 카메라를 이용하여 영상 촬영 중에 도 5b에 도시된 바와 같이, 급격한 밝기 변화 영역인 동적 영역이 발생하더라도, 불균일 보정 처리가 이뤄지기 이전에, 명암비를 조정하여 이를 출력함으로써, 사용자는 보다 선명한 열화상을 확인할 수 있게 된다. That is, as shown in FIG. 5A, even if a dynamic region, which is a sudden brightness change region, occurs during image capture using the thermal imaging camera, before the nonuniformity correction processing is performed, the contrast ratio is adjusted And by outputting it, the user can confirm a clearer thermal image.

다시 말해, 본 발명은 다음 일정 구간 입력되는 영상 프레임은 불균일 보정이 이뤄지기 전에, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 명암비를 조정함으로써, 사용자는 평균값보다 뜨겁거나, 차가운 물체가 있더라도 영상의 밝기 변화를 크게 느끼지 못하게 된다. 또한, 영상의 히스토그램 평균 최소값 및 평균 최대값의 갱신 과정을 불균일 보정 처리가 이뤄지는 동안 수행함으로써, 사용자는 이에 대해 별다른 인지를 하지 못하게 되어, 물체 탐지 및 추적 시 보다 용이하게 이뤄질 수 있게 된다. In other words, according to the present invention, by adjusting the contrast ratio using the histogram average minimum value and the average maximum value of the updated image, before the non-uniformity correction is performed on the image frame inputted in the next period, The brightness of the image is not greatly changed. Further, by performing the updating process of the histogram average minimum value and the average maximum value of the image during the non-uniformity correction process, the user can not recognize the difference, and thus it becomes easier to detect and track the object.

이상으로 본 발명의 실시 예에 따른 열상 영상 명암비 조정 방법에 대해 설명하였다.The method of adjusting the contrast ratio of the thermal image according to the embodiment of the present invention has been described above.

상술한 바와 같은 본 발명의 영상 인식을 위한 열상 영상 명암비 조정 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 본 발명의 일 실시 예에 따른 영상 인식을 위한 그림자 제거 방법을 구현하기 위한 기록매체에 기록되는 프로그램은 일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 계산하는 단계, 상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하는 단계, 상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계 및 상기 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 단계 등을 실행할 수 있다. The method for adjusting the contrast of a thermal image for image recognition of the present invention as described above may be provided in the form of a computer readable medium suitable for storing computer program instructions and data. A program recorded on a recording medium for implementing a shadow removal method for image recognition according to an embodiment of the present invention includes a step of calculating a histogram minimum value and a maximum value of each of image frames continuously input for a predetermined period, Calculating an average minimum value and an average maximum value of the input image frames during the predetermined period based on the minimum and maximum values of the respective histograms, calculating an average minimum value and an average maximum value of the calculated image frames, Adjusting the contrast ratio of the image frame input during the next predetermined period using the histogram average minimum value and the average maximum value of the updated image, and the like.

이때, 기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 기능들을 실행할 수 있다. At this time, the program recorded on the recording medium can be read and installed in the computer and executed, thereby executing the above-described functions.

여기서, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. In order to allow a computer to read a program recorded on a recording medium and to execute functions implemented by the program, the above-mentioned program may be stored in a computer-readable medium such as C, C ++, JAVA, machine language, and the like.

이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다. 또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다. 또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.The code may include a function code related to a function or the like that defines the functions described above and may include an execution procedure related control code necessary for the processor of the computer to execute the functions described above according to a predetermined procedure. In addition, such code may further include memory reference related code as to what additional information or media needed to cause the processor of the computer to execute the aforementioned functions should be referenced at any location (address) of the internal or external memory of the computer . In addition, when a processor of a computer needs to communicate with any other computer or server that is remote to execute the above-described functions, the code may be stored in a memory of the computer using a communication module of the computer, It may further include a communication-related code such as how to communicate with another computer or a server, and what information or media should be transmitted or received during communication.

이러한, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다. Such computer-readable media suitable for storing computer program instructions and data include, for example, magnetic media such as hard disks, floppy disks and magnetic tape, compact disk read only memory (CD-ROM) Optical media such as a DVD (Digital Video Disk), a magneto-optical medium such as a floppy disk, and a ROM (Read Only Memory), a RAM , Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), and EEPROM (Electrically Erasable Programmable ROM). The processor and memory may be supplemented by, or incorporated in, special purpose logic circuits.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. The functional program for implementing the present invention and the related code and code segment may be implemented by programmers in the technical field of the present invention in consideration of the system environment of the computer that reads the recording medium and executes the program, Or may be easily modified or modified by the user.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.While the specification contains a number of specific implementation details, it should be understood that they are not to be construed as limitations on the scope of any invention or claim, but rather on the description of features that may be specific to a particular embodiment of a particular invention Should be understood. Certain features described herein in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Further, although the features may operate in a particular combination and may be initially described as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, Or a variant of a subcombination.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a particular order, it should be understood that such operations must be performed in that particular order or sequential order shown to achieve the desired result, or that all illustrated operations should be performed. In certain cases, multitasking and parallel processing may be advantageous. Also, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products It should be understood.

본 발명은 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 관한 것으로, 일정 구간 동안 연속되어 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 이용하여, 전체 영상 프레임의 평균 최소값 및 평균 최대값으로 갱신한 후, 이를 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정할 수 있는 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치에 관한 것이다. The present invention relates to a method of adjusting a contrast ratio of a thermal image and a thermal image processing apparatus using the same, and more particularly, to a method of adjusting a contrast ratio of a thermal image by using a mean minimum value and an average maximum value of input image frames continuously for a predetermined interval, And adjusting the contrast ratio of the input image frame during the next predetermined period using the updated image contrast ratio and the thermal image processing apparatus using the method.

본 발명에 의하면, 다음 일정 구간 입력되는 영상 프레임은 불균일 보정이 이뤄지기 전에, 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 명암비를 조정함으로써, 사용자는 평균값보다 뜨겁거나, 차가운 물체가 있더라도 영상의 밝기 변화를 크게 느끼지 못해 보다 우수한 열상 영상을 출력할 수 있게 된다. 이러한 본 발명의 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치는 산업용, 군수/보안용 분야 등 다양한 분야에 적용될 수 있으며, 더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.According to the present invention, by adjusting the contrast ratio using the histogram average minimum value and the average maximum value of the updated image, before the non-uniformity correction is performed on the image frame to be input in the next predetermined section, even if the user has a hot or cold object It is possible to output a better thermal image because the change in brightness of the image is not greatly felt. The method of adjusting the contrast ratio of the thermal image according to the present invention and the thermal image processing apparatus using the same can be applied to various fields such as industrial, military / security, and the like. In addition, It can be used industrially.

10: ADC 처리부 20: 화소 보정 처리부
30: 불균일 보정부 40: 히스토그램 처리부
50; 명암비 처리부
10: ADC processing unit 20: pixel correction processing unit
30: non-uniformity correction unit 40: histogram processing unit
50; Contrast ratio processor

Claims (8)

일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산한 후, 상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 히스토그램 처리부; 및
상기 히스토그램 처리부를 통해 갱신된 상기 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 명암비 처리부;
를 포함하는 것을 특징으로 하는 열상 영상 처리 장치.
An average minimum value and an average maximum value of the input image frames are calculated based on the histogram minimum value and the maximum value of each of the image frames continuously input for a predetermined period, A histogram processing unit for updating the maximum value to a histogram average minimum value and an average maximum value of the image; And
A contrast ratio processor for adjusting a contrast ratio of an image frame input during a next predetermined period using the histogram average minimum value and the average maximum value of the image updated through the histogram processing unit;
And an image processing unit for processing the image data.
제1 항에 있어서,
일정 구간 동안 연속되어 입력되는 영상 프레임을 대상으로 불균일 보정(non uniformity correction)을 수행하는 불균일 보정부;
를 더 포함하는 것을 특징으로 하는 열상 영상 처리 장치.
The method according to claim 1,
A non-uniform correction unit that performs non uniformity correction on image frames continuously input for a predetermined period;
Further comprising a processor for processing the thermal image.
제2 항에 있어서,
상기 히스토그램 처리부는
상기 불균일 보정부를 통해 상기 다음 일정 구간 동안 입력된 영상 프레임에 대한 불균일 보정이 이뤄지는 동안 상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 것을 특징으로 하는 열상 영상 처리 장치.
3. The method of claim 2,
The histogram processing unit
And updates the histogram average minimum value and the average maximum value of the image during the non-uniformity correction of the input image frame during the next predetermined period through the non-uniformity correction unit.
제2 항에 있어서,
상기 히스토그램 처리부는
상기 불균일 보정부를 통해 불균일이 보정된 상기 일정 구간 동안의 영상 프레임을 대상으로 각각의 히스토그램 최소값 및 최대값을 산출하고, 이를 기초로 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하는 것을 특징으로 하는 열상 영상 처리 장치.
3. The method of claim 2,
The histogram processing unit
Calculates a minimum value and a maximum value of each histogram of the image frame for the predetermined period in which the non-uniformity is corrected through the non-uniformity correction unit, and calculates an average minimum value and an average maximum value of the input image frames during the predetermined period on the basis thereof And the thermal image processing apparatus.
일정 구간 동안 연속되어 입력되는 영상 프레임 각각의 히스토그램 최소값 및 최대값을 계산하는 단계;
상기 영상 프레임 각각의 히스토그램 최소값 및 최대값을 기초로, 상기 일정 구간 동안 입력된 영상 프레임의 평균 최소값 및 평균 최대값을 계산하는 단계;
상기 계산된 영상 프레임의 평균 최소값 및 평균 최대값을 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계; 및
상기 갱신된 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 다음 일정 구간 동안 입력된 영상 프레임의 명암비를 조정하는 단계;
를 포함하는 것을 특징으로 하는 열상 영상 명암비 조정 방법.
Calculating a histogram minimum value and a maximum value of each of the image frames input continuously for a predetermined period;
Calculating an average minimum value and an average maximum value of the input image frames during the predetermined period based on the histogram minimum value and the maximum value of each of the image frames;
Updating an average minimum value and an average maximum value of the calculated image frames to a histogram average minimum value and an average maximum value of the image; And
Adjusting a contrast ratio of the input image frame for a next predetermined period using the histogram average minimum value and the average maximum value of the updated image;
And adjusting the contrast ratio of the thermal image.
제5 항에 있어서,
상기 영상의 히스토그램 평균 최소값 및 평균 최대값으로 갱신하는 단계는
상기 영상 프레임에 대한 불균일 보정(non uniformity correction) 처리가 이뤄지는 동안 수행되는 것을 특징으로 하는 열상 영상 명암비 조정 방법.
6. The method of claim 5,
Updating the histogram average minimum value and the average maximum value of the image
Wherein the non-uniformity correction process is performed while the non-uniformity correction process is performed on the image frame.
제5 항에 있어서,
상기 히스토그램 최소값 및 최대값을 계산하는 단계 이전에,
상기 영상의 히스토그램 평균 최소값 및 평균 최대값이 존재할 경우,
상기 영상의 히스토그램 평균 최소값 및 평균 최대값을 이용하여 상기 일정 구간 동안 연속되어 입력되는 영상 프레임의 명암비를 조정하는 단계;
를 더 포함하는 것을 특징으로 하는 열상 영상 명암비 조정 방법.
6. The method of claim 5,
Before the step of calculating the histogram minimum value and the maximum value,
When the histogram average minimum value and the average maximum value of the image exist,
Adjusting a contrast ratio of an image frame continuously input for the predetermined period using an average minimum value and an average maximum value of the histogram of the image;
And adjusting the contrast ratio of the thermal image.
제5항 내지 제7항 중 어느 하나의 항에 기재된 열상 영상 명암비 조정 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.


A computer readable recording medium recording a program for executing the method of adjusting the contrast of a thermal image according to any one of claims 5 to 7.


KR1020140130047A 2014-09-29 2014-09-29 Method for adjusting contrast of thermal image and apparatus for using the same KR102108537B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140130047A KR102108537B1 (en) 2014-09-29 2014-09-29 Method for adjusting contrast of thermal image and apparatus for using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140130047A KR102108537B1 (en) 2014-09-29 2014-09-29 Method for adjusting contrast of thermal image and apparatus for using the same

Publications (2)

Publication Number Publication Date
KR20160037479A true KR20160037479A (en) 2016-04-06
KR102108537B1 KR102108537B1 (en) 2020-05-07

Family

ID=55790454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140130047A KR102108537B1 (en) 2014-09-29 2014-09-29 Method for adjusting contrast of thermal image and apparatus for using the same

Country Status (1)

Country Link
KR (1) KR102108537B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200087440A (en) * 2019-01-11 2020-07-21 한화테크윈 주식회사 Thermo image processing method, and apparatus thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217057A (en) * 2005-02-01 2006-08-17 Fujitsu Ltd Image quality conversion processing method and image quality conversion processing apparatus
KR20080093111A (en) * 2006-01-26 2008-10-20 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 Method and apparatus for adjusting the contrast of an image
KR20100012992A (en) * 2008-07-30 2010-02-09 국방과학연구소 Infrared thermal imaging device and method for processing signal using the same
KR101041136B1 (en) 2011-01-27 2011-06-14 삼성탈레스 주식회사 Method for processing thermal image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217057A (en) * 2005-02-01 2006-08-17 Fujitsu Ltd Image quality conversion processing method and image quality conversion processing apparatus
KR20080093111A (en) * 2006-01-26 2008-10-20 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 Method and apparatus for adjusting the contrast of an image
KR20100012992A (en) * 2008-07-30 2010-02-09 국방과학연구소 Infrared thermal imaging device and method for processing signal using the same
KR101041136B1 (en) 2011-01-27 2011-06-14 삼성탈레스 주식회사 Method for processing thermal image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200087440A (en) * 2019-01-11 2020-07-21 한화테크윈 주식회사 Thermo image processing method, and apparatus thereof

Also Published As

Publication number Publication date
KR102108537B1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
US10462388B2 (en) Method of shutterless non-uniformity correction for infrared imagers
US9930324B2 (en) Time based offset correction for imaging systems
US10469747B2 (en) Infrared imaging device and signal correction method using infrared imaging device
JP7077395B2 (en) Multiplexed high dynamic range image
US20200099825A1 (en) Error smoothing through global source non-uniformity correction
US10560638B2 (en) Imaging apparatus and imaging method
US10467736B2 (en) Image adjustment based on locally flat scenes
KR20150098567A (en) Method and apparatus for detecting faulty pixel in thermal camera
US20210243338A1 (en) Techniques for correcting oversaturated pixels in shutterless fir cameras
US10694118B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method
WO2018005221A1 (en) Fixed pattern noise mitigation for a thermal imaging system
US10600164B2 (en) Image adjustment based on locally flat scenes
KR101041136B1 (en) Method for processing thermal image
KR20160037479A (en) Method for adjusting contrast of thermal image and apparatus for using the same
US20110122277A1 (en) Focus adjustment based on indicator of randomness of pixel values
US20180176445A1 (en) Imaging device and imaging method
CN115211098B (en) Image processing apparatus, image processing method, and storage medium
JP2008311834A (en) Defective pixel correcting device and method
US10791290B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
KR101918761B1 (en) Method and apparatus for processing defect pixel in infrared thermal detector
JP2008287448A (en) Intruder detector
KR20200100350A (en) Method of correcting non-uniformity for thermal image camera
WO2022196324A1 (en) Image processing device, image processing method, and program
WO2023119751A1 (en) Image processing device, image processing method, and program
JP2016061692A (en) Human body detection device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant