KR101920369B1 - Apparatus and method for image processing of thermal imaging camera - Google Patents

Apparatus and method for image processing of thermal imaging camera Download PDF

Info

Publication number
KR101920369B1
KR101920369B1 KR1020180048107A KR20180048107A KR101920369B1 KR 101920369 B1 KR101920369 B1 KR 101920369B1 KR 1020180048107 A KR1020180048107 A KR 1020180048107A KR 20180048107 A KR20180048107 A KR 20180048107A KR 101920369 B1 KR101920369 B1 KR 101920369B1
Authority
KR
South Korea
Prior art keywords
image
image processing
unit
thermal imaging
imaging camera
Prior art date
Application number
KR1020180048107A
Other languages
Korean (ko)
Inventor
노승환
Original Assignee
주식회사 인트모션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인트모션 filed Critical 주식회사 인트모션
Priority to KR1020180048107A priority Critical patent/KR101920369B1/en
Application granted granted Critical
Publication of KR101920369B1 publication Critical patent/KR101920369B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Abstract

The present invention relates to an image processing apparatus and method for a thermal imaging camera, capable of visually displaying a temperature distribution of an object by sensing heat and expressing a different color according to a temperature by detecting infrared rays generated in the object. According to the present invention, To solve problems of image processing method and apparatuses of the prior art in which high quality hardware is required and a processing time is long as the quality of the image is increased because only the improvement quality of the image taken by the thermal imaging camera is considered, provided are the image processing apparatus and method for a thermal imaging camera configured to improve the quality of an infrared image obtained through the thermal imaging camera with a simple configuration and low costs by increasing data transmission and processing speed for image processing and shortening the whole processing time by simplifying a hardware configuration while improving the quality of the thermal image using a histogram equalization technique.

Description

열화상 카메라의 영상처리장치 및 영상처리방법{Apparatus and method for image processing of thermal imaging camera} Technical Field [0001] The present invention relates to an image processing apparatus and an image processing method for a thermal imaging camera,

본 발명은 물체에서 발생하는 적외선을 검출하여 열을 감지하고 온도에 따라 다른 색으로 표현하여 물체의 온도분포를 시각적으로 표시하도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것으로, 더 상세하게는, 열화상 카메라로 촬영된 영상의 화질을 개선하는 데에만 중점을 둠으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것이다. The present invention relates to an image processing apparatus and an image processing method of a thermal imaging camera configured to detect infrared rays generated from an object to detect heat and display the temperature distribution of an object in a different color according to temperature, In particular, since the emphasis is placed only on improving the image quality of an image photographed by a thermal imaging camera, the image processing method of the related art, which requires a high-end hardware and a long processing time, To an image processing apparatus and an image processing method of a thermal imaging camera configured to solve the problems of devices.

또한, 본 발명은, 상기한 바와 같이 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결하기 위해, 히스토그램 평활화(Histogram Equlization) 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에, 하드웨어 구성을 간소화하여 영상처리를 위한 데이터 전송 및 처리속도를 높이고 이미지 향상을 위한 영상처리의 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것이다. In order to solve the problems of the conventional image processing methods and apparatuses in which high-quality hardware is required as the quality of an image is increased as described above and the processing time is long, a histogram equalization ) Technology to improve the image quality of a thermal image and simplify the hardware configuration to increase data transmission and processing speed for image processing and shorten the overall processing time of image processing for image enhancement And an image processing method of the camera.

일반적으로, 열화상 카메라는 물체에서 발생하는 적외선을 검출하여 열을 감지하고 온도에 따라 다른 색으로 표현하여 눈으로 확인할 수 있도록 물체의 온도분포를 시각적으로 표시하는 카메라이다. 2. Description of the Related Art Generally, a thermal camera is a camera that detects infrared rays generated from an object, senses heat, expresses the temperature in different colors, and visually displays the temperature distribution of the object so that the object can be visually recognized.

이러한 열화상 카메라는 촬영 대상이 되는 물체가 어느 정도로 열을 내는지에 따라 영상이 표현되므로 연기와 같은 장애물의 유무나 빛의 유무와 상관없이 물체를 확인할 수 있으며, 이러한 특징으로 인해, 현재 열화상 카메라는 군수용으로 가장 많이 활용되고 있다. Since the image is displayed according to how much the object to be imaged is heated, the object can be identified regardless of presence or absence of an obstacle such as smoke or the presence of light. Due to this feature, Are most widely used for military purposes.

또한, 최근에는, 상기한 바와 같은 군수용 분야 이외의 분야에도 열화상 카메라의 활용분야가 확대되고 있으며, 즉, 예를 들면, 의료진단 및 영상시스템, 일반 산업용, 인공위성의 지상 및 기상관측을 위한 우주항공용, 보안시스템이나 소방구조용 및 차량용 나이트비젼 등과 같이, 군수용뿐만 아니라 민수용으로도 열화상 카메라의 활용분야가 확대되고 있다. In recent years, the field of application of thermal imaging cameras has been extended to fields other than the military field as described above. For example, medical imaging and imaging systems, general industrial fields, The application fields of thermal imaging cameras are expanding not only for military use but also for civil purposes, such as public, security systems, firefighting structures, and vehicle night vision.

그러나 열화상 카메라는 대부분 적외선 센서를 포함하여 구성되므로 부피가 커서 휴대하기 어려움이 있고, 또한, 적외선 센서가 좋아질수록 가격이 매우 비싸지므로 일반인 사용자가 전문가들이 사용하는 열화상 카메라와 동등한 품질의 이미지를 얻기는 매우 어려우나, 상기한 바와 같이 열화상 카메라의 활용분야가 확대되는 추세에 따라 열화상 카메라를 통해 얻어지는 적외선 이미지의 품질 향상에 대한 요구가 증가하고 있다. However, because infrared cameras are mostly composed of infrared sensors, they are bulky and difficult to carry. In addition, since infrared sensors are more expensive, the price of the infrared cameras is so high that ordinary users can use images of the same quality However, as described above, there is an increasing demand for improving the quality of the infrared image obtained through the thermal imaging camera as the application field of the thermal imaging camera is expanded.

이에, 종래, 열화상 카메라를 통해 얻어지는 적외선 이미지를 향상시키기 위한 여러 가지 연구가 이루어지고 있으며, 더 상세하게는, 상기한 바와 같이 열화상 카메라의 화질을 향상시키기 위한 종래기술의 예로는, 예를 들면, 한국 등록특허공보 제10-1625471호에 따르면, 광량에 따라 자동으로 영상의 촬영과 저장을 제어하여 고해상도의 영상을 촬영하는 일반영상촬영부; 일반영상촬영부에서 야간이나 주위가 어두워 촬영하는 영상이 인식하기 어려운 경우 일반영상촬영부의 촬영정보를 바탕으로 열화상 영상을 촬영하는 열화상촬영부 및 일반영상촬영부와 열화상촬영부의 촬영정보에 대한 메타데이터 매칭 테이블을 통해서 상호 동일한 대상을 촬영하도록 제어하는 영상 제어부를 포함하여, 주간에 고해상도 일반 카메라로 촬영한 영상과 촬영정보를 데이터베이스에 저장해 두었다가 야간에 보급형 저해상도 열화상 카메라로 촬영한 영상을 일반 카메라의 고해상도 촬영영상과 매칭시켜 보급형 열화상 카메라의 저해상도 영상을 향상시키도록 구성되는 보급형 열화상 카메라의 해상도 향상방법 및 장치가 제시된 바 있다. Conventionally, various studies have been made to improve the infrared image obtained through the thermal imaging camera. More specifically, as an example of the prior art for improving the image quality of the thermal imaging camera as described above, Korean Patent Registration No. 10-1625471 discloses a general image capturing unit for capturing a high resolution image by automatically controlling the image capturing and storage according to the amount of light; When it is difficult for the general image capturing section to recognize an image taken at night or in a dark environment, the image capturing section for capturing a thermal image based on the capturing information of the general image capturing section and the capturing information of the general image capturing section and the thermal image capturing section And a shooting control unit for controlling shooting of the same object through a meta data matching table for shooting a high-resolution general camera in the daytime, A method and an apparatus for improving the resolution of a general-purpose thermal imaging camera configured to match a high-resolution photographed image of a general camera to improve a low-resolution image of a general-purpose thermal imaging camera have been proposed.

또한, 상기한 바와 같이 열화상 카메라의 화질을 향상시키기 위한 종래기술의 다른 예로는, 예를 들면, 한국 공개특허공보 제10-2016-0066445호에 따르면, 제1 열화상을 저장하는 메모리; 피측정체의 온도를 측정하는 제1 센싱부; 피측정체와의 거리를 측정하는 제2 센싱부; 열화상 생성 장치의 움직임을 측정하는 제3 센싱부; 및 제1 센싱부로부터 수신한 온도 정보, 제2 센싱부로부터 수신한 거리 정보 및 상기 제3 센싱부로부터 수신한 움직임 정보에 기초하여 제2 열화상을 생성하고, 제1 열화상 및 제2 열화상에 기초하여 제3 열화상을 생성하는 제어부를 포함하여, 피측정체의 온도, 피측정체와의 거리, 센서의 움직임에 대한 정보에 기초하여 복수의 열화상 정보를 생성하는 것에 의해 일반 사용자가 휴대하는 모바일 장치에 포함될 수 있는 적외선 센서를 이용하더라도 고해상도의 열화상을 얻을 수 있도록 구성되는 구성되는 열화상 생성 장치 및 방법이 제시된 바 있다. As another example of the prior art for improving the image quality of the thermal imaging camera as described above, for example, in Korean Patent Laid-Open Publication No. 10-2016-0066445, a memory for storing a first thermal image; A first sensing unit for measuring a temperature of the measured object; A second sensing unit for measuring a distance to the object to be measured; A third sensing unit for measuring a motion of the thermal image generating apparatus; And a second sensing unit for generating a second thermal image based on the temperature information received from the first sensing unit, the distance information received from the second sensing unit, and the motion information received from the third sensing unit, A plurality of pieces of thermal image information are generated based on information on the temperature of the measured object, the distance from the measured object, and the motion of the sensor, thereby generating a third thermal image based on the image, A thermal image generating apparatus and method configured to obtain a high-resolution thermal image even if an infrared ray sensor that can be included in a mobile device carried by a user is used.

아울러, 상기한 바와 같이 열화상 카메라의 화질을 향상시키기 위한 종래기술의 또 다른 예로는, 예를 들면, 한국 공개특허공보 제10-2014-0045856호에 따르면, 영상을 입력받는 영상입력부; 영상을 분할하여 밝은 부분인 명부와 어두운 부분인 암부를 검출하는 명부/암부 분할영역 검출부; 명부와 상기 암부를 분석하여 명부의 노이즈 레벨, 암부의 노이즈 레벨, 명부의 밝기영역 및 암부의 밝기영역을 특정하는 파라미터를 계산하는 파라미터 계산부; 명부의 노이즈 레벨 및 암부의 노이즈 레벨과 시스템 자체가 가진 시스템 노이즈를 비교하여 차이를 반영하는 제한인자를 계산하는 개선 제한인자 계산부; 영상의 밝기에 따른 히스토그램을 계산하는 히스토그램 계산부; 히스토그램을 분석하여 전달함수(CDF)를 계산하고 상기 제한인자를 적용하여 상기 전달함수를 수정 및 적용하여 명암비가 증폭된 영상을 출력하는 CDF 계산/수정 및 출력변환부; 및 명암비가 증폭된 상기 영상을 출력하는 영상 출력부를 포함하여, 열상카메라의 영상잡음 수준을 파악하여 대조비 증폭폭을 조절하는 것에 의해 열상카메라의 영상잡음이 대조비와 함께 증폭되지 않도록 하여 열상카메라의 화질개선이 가능하도록 구성되는 열화상 대조비 향상장치 및 방법이 제시된 바 있다. As another example of the prior art for improving the image quality of the thermal imaging camera as described above, for example, in Korean Patent Laid-Open No. 10-2014-0045856, there is provided an image input device, A bright / dark divided area detecting unit for dividing the image into a bright part and a dark part; A parameter calculation unit for analyzing the list portion and the dark portion to calculate a parameter specifying the noise level of the list portion, the noise level of the dark portion, the brightness region of the list, and the brightness region of the dark portion; An improvement limiting factor calculating unit for comparing the noise level of the list and the noise level of the dark area with the system noise of the system itself and calculating a limiting factor reflecting the difference; A histogram calculation unit for calculating a histogram according to the brightness of the image; A CDF calculating / correcting and outputting unit for calculating a transfer function (CDF) by analyzing a histogram and applying the limiting factor to correct and apply the transfer function to output an image in which the contrast ratio is amplified; And an image output unit for outputting the image with the contrast ratio amplified. By controlling the image noise level of the thermal camera and controlling the amplification width of the contrast ratio, the image noise of the thermal camera is not amplified together with the contrast ratio, An apparatus and a method for enhancing thermal image contrast ratio that are configured to be improved can be provided.

더욱이, 상기한 바와 같이 열화상 카메라의 화질을 향상시키기 위한 종래기술의 또 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1339026호에 따르면, 객체 온도정보를 수신하여 감시대상 객체의 온도범위를 설정하는 단계; 열화상 카메라를 통해 감시영역에 대한 제1 열화상 영상을 획득하는 단계; 제1 열화상 영상에 대한 히스토그램 평활화를 수행하는 단계; 및 히스토그램 평활화된 제1 열화상 영상의 온도범위 중 설정된 감시대상 객체의 온도범위에 가중치를 부여하여 제2 열화상 영상을 생성하는 단계를 포함하여, 열화상 카메라의 노이즈는 이퀄라이징을 통해 감소시고 관심객체의 온도범위는 가중치로 보상하여 관심객체의 데이터량을 증가시키는 것에 의해 객체식별성능을 개선할 수 있도록 구성되는 열화상 카메라의 가시성 개선 방법이 제시된 바 있다. Further, as another example of the prior art for improving the image quality of the thermal imaging camera as described above, for example, Korean Patent Registration No. 10-1339026 discloses a technique of receiving object temperature information, Setting a range; Acquiring a first thermal image for a surveillance region via an infrared camera; Performing histogram smoothing on the first thermal image; And generating a second thermal image by weighting the temperature range of the object to be monitored among the temperature range of the histogram smoothed first thermal image so that the noise of the thermal camera is reduced through equalization, There has been proposed a method for improving the visibility of the thermal imaging camera which is configured to improve the object identification performance by compensating the temperature range of the object with the weight and increasing the data amount of the object of interest.

상기한 바와 같이, 종래, 열화상 카메라의 화질을 향상시키기 위한 여러 가지 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다. As described above, various techniques for improving the image quality of a thermal imaging camera have been proposed. However, the above-described conventional techniques have the following problems.

더 상세하게는, 열화상 카메라에 적용되는 적외선 이미지는 관찰된 물체와 주변의 온도특성에 의존하므로, 적외선 영상의 화질을 향상시키기 위한 가장 효과적인 방법으로는 열화상 카메라에 의해 얻어진 적외선 영상에 대하여 이미지 향상을 위한 디지털 영상처리 알고리즘을 적용하는 방법이 고려될 수 있다. More specifically, since the infrared image applied to the thermal imaging camera depends on the temperature characteristic of the observed object and its surroundings, the most effective method for improving the image quality of the infrared image is to use an infrared image obtained by a thermal imaging camera A method of applying a digital image processing algorithm for improvement can be considered.

여기서, 영상데이터는 여러 가지 데이터 형식 중에서도 용량이 큰 편에 해당하므로, 이와 같이 대용량의 영상데이터에 영상처리 알고리즘을 적용하여 화질을 개선하기 위해서는 고사양의 하드웨어 성능이 요구되며, 영상데이터의 용량이 커지거나 화질이 높아질수록 영상처리를 위한 하드웨어 요구사양 및 처리시간이 크게 증가하게 된다. Since the image data has a large capacity among various data formats, high-performance hardware performance is required for applying image processing algorithms to large-capacity image data to improve image quality, and the capacity of image data is large Or image quality increases, the hardware requirement for image processing and the processing time are greatly increased.

이에, 영상처리 알고리즘 및 영상데이터의 데이터 처리방식을 개선하여 하드웨어 구성을 간소화하면서도 영상의 품질은 높일 수 있도록 하기 위한 고효율 저비용의 영상처리 장치 및 방법에 대한 요구가 높아지고 있으나, 상기한 바와 같은 종래기술의 영상처리장치 및 방법들은 대부분 열화상 카메라로 촬영된 영상의 화질을 개선하는 데에만 중점을 두고 있을 뿐, 보다 간단한 구성 및 저렴한 비용으로 영상처리를 수행하기 위한 기술내용에 대하여는 고려되지 못한 한계가 있는 것이었다. Accordingly, there is an increasing demand for a high-efficiency and low-cost image processing apparatus and method for improving the image quality while improving the image processing algorithm and data processing method of the image data to simplify the hardware configuration. However, Image processing apparatuses and methods of the present invention are mainly focused on improving the image quality of an image captured by a thermal imaging camera. However, there is a limit to the technical contents for performing a simple image processing and a low cost image processing Was.

따라서 상기한 바와 같이, 열화상 카메라로 촬영된 영상의 화질을 개선하는 데에만 중점을 둠으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결하기 위하여는, 영상처리 알고리즘 및 데이터 처리방식을 개선하여 영상처리 작업의 효율을 높이는 동시에 하드웨어 구성은 간소화할 수 있는 새로운 구성의 영상처리 장치 및 방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다. Therefore, as described above, since the emphasis is placed only on improving the image quality of the image photographed by the thermal imaging camera, the higher quality of the image requires a higher level of hardware and a longer processing time than the conventional image processing It is desirable to provide an image processing apparatus and method of a new configuration capable of improving the efficiency of the image processing operation and improving the hardware configuration by improving the image processing algorithm and the data processing method However, there are no devices or methods that satisfy all of these requirements yet.

[선행기술문헌] [Prior Art Literature]

1. 한국 등록특허공보 제10-1625471호(2016.05.24.) 1. Korean Registered Patent No. 10-1625471 (May 26, 2014)

2. 한국 공개특허공보 제10-2016-0066445호(2016.06.10.) 2. Korean Patent Publication No. 10-2016-0066445 (June 10, 2016).

3. 한국 공개특허공보 제10-2014-0045856호(2014.04.17.) 3. Korean Patent Publication No. 10-2014-0045856 (April 17, 2014).

4. 한국 등록특허공보 제10-1339026호 (2013.12.03.) 4. Korean Patent Registration No. 10-1339026 (Dec. 23, 2013)

본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 열화상 카메라로 촬영된 영상의 화질개선만이 고려됨으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결하기 위해, 열화상 카메라로 얻어진 적외선 영상에 대하여 히스토그램 평활화(Histogram Equlization)를 포함한 영상처리 기술을 이용하여 열화상 이미지의 화질을 향상시키는 데 더하여, 영상처리의 과정이 FPGA(Field Programmable Gate Array)를 이용하여 이루어지는 하드웨어 블록을 통하여 실시간으로 수행되고 처리된 영상이 외부로 전송되도록 구성됨으로써, 데이터 전송 및 영상처리 속도를 높이고 이미지 향상을 위한 영상처리의 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 제공하고자 하는 것이다. SUMMARY OF THE INVENTION It is an object of the present invention to solve the above-mentioned problems of the prior art and to provide a high-quality image processing apparatus, In order to solve the problems of the conventional image processing methods and apparatuses in which the processing time is lengthened, an infrared image obtained by a thermal imaging camera is imaged using an image processing technique including histogram equalization, The image processing is performed in real time through a hardware block using FPGA (Field Programmable Gate Array), and the processed image is transmitted to the outside, so that the data transmission and image processing speed The overall processing of image processing to enhance and enhance the image And to provide an image processing apparatus and an image processing method of a thermal imaging camera which are configured to shorten a time interval.

또한, 본 발명의 다른 목적은, 적외선 센서에서 수집되는 데이터에는 온도데이터가 포함되어 있으나 온도값을 영상에 표시하기 위해서는 영상처리를 하지 않고 컴퓨터로 전송해야 하므로, 이를 위해, 열화상 카메라의 적외선 센서로부터 데이터를 수집하고 FPGA를 통해 하드웨어로 실시간 영상처리를 행하여 영상이미지를 출력하는 동시에, 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송할 수 있도록 구성됨으로써, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 제공하고자 하는 것이다. It is another object of the present invention to provide an infrared ray sensor and a thermal image sensor in which the temperature data is included in the data collected by the infrared ray sensor but is transmitted to a computer without image processing in order to display the temperature value on the image. And real-time image processing is performed on the hardware through the FPGA to output a video image and raw data including temperature data can be directly transmitted to an external computer or the like, And an image processing method and an image processing method of a thermal imaging camera configured to simultaneously output an image frame and a temperature data frame.

아울러, 본 발명의 또 다른 목적은, 상기한 바와 같이 히스토그램 평활화 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에, 하드웨어 구성을 간소화하여 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 적용하여, 전체적인 구성을 간소화하고 저렴한 비용으로 고품질의 영상을 제공할 수 있도록 구성되는 열화상 카메라를 제공하고자 하는 것이다. It is still another object of the present invention to provide a method and apparatus for improving the image quality of a thermal image using the histogram smoothing technique as described above and simplifying the hardware configuration to shorten the overall processing time And to provide a thermal imaging camera configured to simplify the entire configuration and to provide a high-quality image at a low cost by applying a processing device and an image processing method.

상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 열화상 카메라의 영상처리장치에 있어서, 열화상 카메라로 촬영되어 전송되는 영상데이터의 버퍼링이 수행되는 이미지 버퍼부; 상기 이미지 버퍼부로부터 전달된 상기 영상데이터에서 불량화소를 제거하는 처리가 수행되는 BPR(Bad Pixel Replacement)부; 상기 BPR부에서 불량화소가 제거된 상기 영상데이터에 히스토그램 평활화(Histogram Equlization ; HE) 및 자동이득제어(Auto Gain Control; AGC) 처리를 포함하는 영상처리가 수행되는 제 1 영상처리부; 상기 제 1 영상처리부에서 히스토그램 평활화(HE) 및 자동이득제어(AGC)가 수행된 상기 영상데이터에 화질개선을 위한 필터처리를 포함하는 이미지 처리가 수행되는 제 2 영상처리부; 상기 제 2 영상처리부에서 처리된 상기 영상데이터에 각종 화면표시(On Screen Disply)를 부가하여 OSD가 포함된 영상데이터를 생성하는 처리가 수행되는 OSD 처리부; 상기 OSD 처리부에서 생성된 영상데이터를 수신하여 외부 기기로 출력하는 영상출력(Video Output)부; 상기 OSD 처리부에서 생성된 영상데이터를 수신하여 미리 정해진 포맷으로 변환하는 영상 인코딩(Video Encoding)부; 및 상기 영상 인코딩부에서 인코딩된 영상을 외부로 전송(Ethernet Output)하는 RTSP(Real-Time Streaming Protocol) 서버부를 포함하여 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치가 제공된다. In order to achieve the above object, according to the present invention, there is provided an image processing apparatus of a thermal imaging camera, comprising: an image buffer unit for buffering image data photographed and transmitted by a thermal imaging camera; A Bad Pixel Replacement (BPR) unit for performing a process of removing bad pixels from the image data transmitted from the image buffer unit; A first image processing unit for performing image processing including histogram equalization (HE) and automatic gain control (AGC) processing on the image data from which the defective pixels have been removed in the BPR unit; A second image processing unit for performing image processing including filter processing for improving image quality on the image data on which histogram smoothing (HE) and automatic gain control (AGC) are performed in the first image processing unit; An OSD processing unit for performing a process of generating image data including an OSD by adding various screen displays (On Screen Display) to the image data processed by the second image processing unit; A video output unit for receiving the video data generated by the OSD processing unit and outputting the video data to an external device; A video encoding unit for receiving the image data generated by the OSD processing unit and converting the received image data into a predetermined format; And an RTSP (Real-Time Streaming Protocol) server unit for externally transmitting an image encoded by the image encoding unit.

여기서, 상기 영상처리장치는, 열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하고, 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부를 통하여 영상처리된 영상을 상기 영상출력부를 통해 외부 기기로 출력하는 동시에, 상기 영상 인코딩부를 통하여 미리 정해진 포맷으로 인코딩한 후 상기 RTSP 서버부를 통해 외부로 스트리밍 전송하는 영상스트림 동작; 및 열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하여 영상과 온도정보를 외부로 전송하고, 수신측에서 영상처리를 행하여 영상과 온도정보를 출력하는 데이터 전송동작 중 하나의 동작으로 동작되거나, 또는, 상기 영상스트림 동작 및 상기 데이터 전송동작이 동시에 수행되도록 구성되는 것을 특징으로 한다. Here, the image processing apparatus receives raw data collected through a thermal imaging camera through the image buffer unit and the BPR unit, and transmits the raw image data to the first image processing unit, the second image processing unit, and the OSD processing unit A video stream operation for outputting an image processed through an image output unit to an external device, encoding the encoded image in a predetermined format through the image encoding unit, and then streaming the stream to the outside through the RTSP server unit; And raw data collected through an infrared camera are received through the image buffer unit and the BPR unit, the image and temperature information are transmitted to the outside, the image is processed at the receiving side, and the image and temperature information are output The video streaming operation and the data transferring operation are performed at the same time.

또한, 상기 영상처리장치는, 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부가 FPGA(Field Programmable Gate Array)를 이용하여 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부의 기능을 단일의 하드웨어로 구현하도록 이루어지는 FPGA 블록으로 구성됨으로써, 전체적인 구성을 간소화하고 데이터 전송속도 및 처리효율을 개선할 수 있도록 구성되는 것을 특징으로 한다. In addition, the image processing apparatus may further include a first image processing unit, a second image processing unit, and the OSD processing unit, using the first image processing unit, the second image processing unit, and the OSD processing unit FPGA (Field Programmable Gate Array) The present invention is characterized in that it is configured as an FPGA block configured to realize functions in a single hardware, thereby simplifying the overall configuration and improving the data transfer rate and processing efficiency.

여기서, 상기 FPGA 블록은, 히스토그램 평활화(HE)를 행한 후 자동이득제어(AGC) 처리를 수행하는 HE 및 AGC 처리부; 및 상기 HE 및 AGC 처리부에서 HE 및 AGC 처리된 영상데이터에 필터처리를 수행하는 필터처리부를 포함하여 구성되는 것을 특징으로 한다. Here, the FPGA block includes an HE and AGC processor for performing an automatic gain control (AGC) process after performing histogram smoothing (HE); And a filter processing unit for performing a filtering process on the HE and AGC processed image data in the HE and AGC processing units.

아울러, 상기 HE 및 AGC 처리부는, 누적 히스토그램 평활화(Cumulative Histogram Equalization ; CHE) 알고리즘을 이용하여 상기 히스토그램 평활화(HE) 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the HE and AGC processing units are configured to perform the histogram smoothing (HE) processing using a cumulative histogram equalization (CHE) algorithm.

즉, 상기 HE 및 AGC 처리부는, 이하의 수학식을 이용하여 상기 영상데이터의 누적분포함수(Cumulative Distribution Function)를 계산하고, That is, the HE and AGC processing unit calculates a cumulative distribution function of the image data using the following equation,

Figure 112018041292012-pat00001
Figure 112018041292012-pat00001

(여기서, x는 회색(gray) 값이며, h는 상기 영상데이터의 히스토그램을 나타냄) (Where x is a gray value and h is a histogram of the image data)

이하의 수학식을 이용하여 누적 히스토그램 평활화(CHE) 처리가 수행되도록 구성되는 것을 특징으로 한다. And a cumulative histogram smoothing (CHE) process is performed using the following equation.

Figure 112018041292012-pat00002
Figure 112018041292012-pat00002

(여기서, cdfmin은 누적분포함수의 최소값이고, M×N은 상기 영상데이터의 행과 열의 수의 곱을 나타내며, L은 회색도(gray level)의 수(8비트, 256개)를 나타냄) (Where cdf min is the minimum value of the cumulative distribution function, M x N is the product of the number of rows and columns of the image data, and L is the number of gray levels (8 bits, 256)

아울러, 상기 HE 및 AGC 처리부는, 히스토그램 평활화가 수행되도록 동작하는 On 모드와, 사용자가 입력한 색상/명암 대비값을 적용하는 off 모드 및 마지막으로 적용된 색상/명암 대비값을 유지하는 유지(Maintenance) 모드 중 하나로 동작하도록 구성되는 것을 특징으로 한다. In addition, the HE and AGC processors may include an On mode for performing histogram smoothing, an off mode for applying a color / contrast value input by the user, and a maintenance mode for maintaining the last applied color / Mode of operation.

더욱이, 상기 필터처리부는, 노이즈제거 필터(De-Noise Filter)로서 가이드 필터(Guided Filter)를 이용하여 상기 필터처리가 수행되거나, 또는, 노이즈제거 필터로서 가우시안 필터(Gaussian Filter)를 적용한 후 언샵 마스크 필터(Unsharp Mask Filter)를 적용하여 상기 필터처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the filter processing unit may perform the filtering process using a guided filter as a De-Noise Filter, or apply a Gaussian filter as a noise removing filter, And the filter processing is performed by applying a filter (Unsharp Mask Filter).

또한, 상기 FPGA 블록은, 열화상 카메라로부터 입력된 영상데이터를 영상처리하여 출력하는(Video Output) 동시에, 영상처리되지 않은 원시 데이터(raw data)를 이더넷(ethernet)을 통해 출력하여(Ethernet Output) 원격 컴퓨터로 전송하고, 상기 원시 데이터를 수신한 상기 원격 컴퓨터에 설치된 영상처리 소프트웨어를 이용하여 영상처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the FPGA block performs image processing of video data input from a thermal imaging camera (video output), and simultaneously outputs raw data (unprocessed raw data) through an Ethernet (Ethernet Output) The image data is transmitted to a remote computer, and image processing is performed using image processing software installed in the remote computer that received the raw data.

아울러, 본 발명에 따르면, 상기에 기재된 열화상 카메라의 영상처리장치를 이용하여 열화상 카메라로 얻어진 영상의 영상처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리방법이 제공된다. According to the present invention, there is provided an image processing method of a thermal imaging camera, characterized in that the image processing of the image obtained by the thermal imaging camera is performed using the image processing apparatus of the thermal imaging camera described above.

더욱이, 본 발명에 따르면, 상기에 기재된 열화상 카메라의 영상처리장치를 포함하여 영상처리 기능을 가지도록 구성되는 것을 특징으로 하는 열화상 카메라가 제공된다. Further, according to the present invention, there is provided a thermal imaging camera including an image processing apparatus of the thermal imaging camera described above and configured to have an image processing function.

상기한 바와 같이, 본 발명에 따르면, 열화상 카메라로 얻어진 적외선 영상에 대하여 히스토그램 평활화(Histogram Equlization)를 포함한 영상처리 기술을 이용하여 열화상 이미지의 화질을 향상시키는 데 더하여, 영상처리의 과정이 FPGA(Field Programmable Gate Array)를 이용하여 이루어지는 하드웨어 블록을 통하여 실시간으로 수행되고 처리된 영상이 외부로 전송되도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법이 제공됨으로써, 열화상 카메라로 촬영된 영상의 화질개선만이 고려됨으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있다. As described above, according to the present invention, in addition to improving the image quality of a thermal image by using an image processing technique including histogram equalization for an infrared image obtained by a thermal imaging camera, And an image processing method and an image processing method of a thermal imaging camera in which an image processed and executed in real time through a hardware block using a field programmable gate array (FPGA) is transmitted to the outside, It is possible to solve the problems of the image processing methods and apparatuses of the related art in which high-end hardware is required and the processing time is long as the quality of the image is increased.

또한, 본 발명에 따르면, 상기한 바와 같이 열화상 카메라의 적외선 센서로부터 데이터를 수집하고 FPGA를 통해 하드웨어로 실시간 영상처리를 행하여 영상이미지를 출력하는 동시에, 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법이 제공됨으로써, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있으므로 적외선 센서에서 수집되는 온도데이터를 영상에 표시하기 위해서는 영상처리를 하지 않고 컴퓨터로 전송해야 하고 영상처리를 행하면 온도데이터가 상실되는 문제가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있다. In addition, according to the present invention, as described above, data is collected from an infrared sensor of a thermal camera, real-time image processing is performed on hardware through an FPGA to output a video image, raw data including temperature data, The image frame and the temperature data frame can be simultaneously output to one data frame. Therefore, the temperature of the infrared sensor can be reduced. In order to display data on an image, it is necessary to transmit the data to a computer without performing image processing, and it is possible to solve the problems of the conventional image processing methods and apparatuses in which temperature data is lost when image processing is performed.

아울러, 본 발명에 따르면, 상기한 바와 같이 히스토그램 평활화 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에 하드웨어 구성을 간소화하여 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 적용하여, 전체적인 구성을 간소화하고 저렴한 비용으로 고품질의 영상을 제공할 수 있도록 구성되는 열화상 카메라를 제공하고자 하는 것이다. In addition, according to the present invention, as described above, the image processing apparatus and image processing method of a thermal imaging camera configured to improve the image quality of the thermal image using the histogram smoothing technique and to shorten the overall processing time by simplifying the hardware configuration And to provide a thermal imaging camera configured to simplify the overall configuration and provide a high-quality image at a low cost.

도 1은 본 발명의 실시예에 따른 열화상 카메라의 영상처리장치의 전체적인 구성 및 데이터 처리 흐름을 개략적으로 나타내는 도면이다.
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 영상처리장치에서 히스토그램 평활화(HE)와 자동이득제어(AGC) 및 OSD 처리를 단일의 하드웨어로 수행하도록 구성되는 FPGA 블록의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 FPGA 블록으로부터 출력되는 영상데이터의 경로를 개략적으로 나타내는 도면이다.
도 4는 FPGA 블록의 출력영상의 형식(format)을 개략적으로 나타내는 도면이다.
도 5는 FPGA 블록의 출력신호의 타이밍 다이어그램(timing diagram)을 나타내는 도면이다, 1 is a diagram schematically showing the overall configuration and data processing flow of an image processing apparatus of a thermal imaging camera according to an embodiment of the present invention.
FIG. 2 schematically shows an overall configuration of an FPGA block configured to perform histogram smoothing (HE), automatic gain control (AGC), and OSD processing in a single hardware in an image processing apparatus according to an embodiment of the present invention shown in FIG. Fig.
3 is a diagram schematically showing a path of image data output from an FPGA block according to an embodiment of the present invention.
4 is a diagram schematically showing a format of an output image of an FPGA block.
5 is a timing diagram of an output signal of the FPGA block.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법의 구체적인 실시예에 대하여 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a specific embodiment of an image processing apparatus and an image processing method of a thermal imaging camera according to the present invention will be described with reference to the accompanying drawings.

여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다. Hereinafter, it is to be noted that the following description is only an embodiment for carrying out the present invention, and the present invention is not limited to the contents of the embodiments described below.

또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다. In the following description of the embodiments of the present invention, parts that are the same as or similar to those of the prior art, or which can be easily understood and practiced by a person skilled in the art, It is important to bear in mind that we omit.

즉, 본 발명은, 후술하는 바와 같이, 열화상 카메라로 촬영된 영상의 화질개선만이 고려됨으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결하기 위해, 열화상 카메라로 얻어진 적외선 영상에 대하여 히스토그램 평활화(Histogram Equlization)를 포함한 영상처리 기술을 이용하여 열화상 이미지의 화질을 향상시키는 데 더하여, 영상처리의 과정이 FPGA(Field Programmable Gate Array)를 이용하여 이루어지는 하드웨어 블록을 통하여 실시간으로 수행되고 처리된 영상이 외부로 전송되도록 구성됨으로써, 데이터 전송 및 영상처리 속도를 높이고 이미지 향상을 위한 영상처리의 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것이다. That is, according to the present invention, as only the image quality of the image photographed by the thermal camera is taken into consideration, the present invention is not limited to the conventional technology in which high-quality hardware is required and the processing time is long as the quality of the image is increased In order to solve the problems of the processing method and the apparatus, in addition to improving the image quality of the thermal image by using the image processing technique including the histogram equalization for the infrared image obtained by the thermal imaging camera, The real-time and processed image is transmitted to the outside through a hardware block using FPGA (Field Programmable Gate Array), thereby improving data transmission and image processing speed and shortening overall processing time of image processing for image enhancement An image processing apparatus of a thermal imaging camera It relates to an image processing method.

아울러, 본 발명은, 후술하는 바와 같이, 적외선 센서에서 수집되는 데이터에는 온도데이터가 포함되어 있으나 온도값을 영상에 표시하기 위해서는 영상처리를 하지 않고 컴퓨터로 전송해야 하므로, 이를 위해, 열화상 카메라의 적외선 센서로부터 데이터를 수집하고 FPGA를 통해 하드웨어로 실시간 영상처리를 행하여 영상이미지를 출력하는 동시에, 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송할 수 있도록 구성됨으로써, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것이다. In the present invention, temperature data is included in the data collected by the infrared sensor, but in order to display the temperature value on the image, it is necessary to transmit the data to the computer without performing the image processing. It is configured to collect data from an infrared sensor, perform real-time image processing with hardware through an FPGA, output a video image, and transmit raw data including temperature data directly to an external computer or the like, The present invention relates to an image processing apparatus and an image processing method of a thermal imaging camera configured to simultaneously output an image frame and a temperature data frame in a data frame.

더욱이, 본 발명은, 후술하는 바와 같이, 히스토그램 평활화 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에, 하드웨어 구성을 간소화하여 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 적용하여, 전체적인 구성을 간소화하고 저렴한 비용으로 고품질의 영상을 제공할 수 있도록 구성되는 열화상 카메라에 관한 것이다. Furthermore, the present invention provides an image processing apparatus of a thermal imaging camera configured to improve the image quality of a thermal image using a histogram smoothing technique and shorten the overall processing time by simplifying the hardware configuration, and And more particularly, to a thermal imaging camera configured to simplify the overall configuration and provide a high-quality image at a low cost by applying an image processing method.

계속해서, 도면을 참조하여, 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법의 구체적인 내용에 대하여 설명한다. Next, the details of the image processing apparatus and the image processing method of the thermal imaging camera according to the present invention will be described with reference to the drawings.

먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 열화상 카메라의 영상처리장치의 전체적인 구성 및 데이터 처리 흐름을 개략적으로 나타내는 도면이다. Referring first to FIG. 1, FIG. 1 is a view schematically showing the overall configuration and data processing flow of an image processing apparatus of a thermal imaging camera according to an embodiment of the present invention.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 열화상 카메라의 영상처리장치(10)는, 크게 나누어, 열화상 카메라로 촬영되어 전송되는 영상데이터의 버퍼링을 수행하는 이미지 버퍼부(11), 이미지 버퍼부(11)로부터 전달된 영상데이터에서 불량화소를 제거하는 BPR(Bad Pixel Replacement)부(12), BPR부(12)에서 불량화소가 제거된 영상데이터에 히스토그램 평활화(Histogram Equlization ; HE) 및 자동이득제어(Auto Gain Control; AGC) 처리를 포함하는 영상처리를 수행하는 제 1 영상처리부(13), 제 1 영상처리부(13)에서 히스토그램 평활화(HE) 및 자동이득제어(AGC)가 수행된 영상데이터에 화질개선을 위한 필터처리 등의 이미지 처리를 수행하는 제 2 영상처리부(14), 영상이나 디스플레이 화면상에 표시될 각종 화면표시(On Screen Disply)를 제 2 영상처리부(14)에서 이미지 처리된 영상데이터에 부가하여 OSD가 포함된 영상데이터를 생성하는 처리가 수행되는 OSD 처리부(15), OSD 처리부(15)에서 생성된 영상데이터를 외부 기기로 출력하는 영상출력(Video Output)부, OSD 처리부(15)에서 생성된 영상데이터를 미리 정해진 포맷으로 변환하는 영상 인코딩(Video Encoding)부(16) 및 영상 인코딩부(16)에서 인코딩된 영상을 인터넷을 통해 외부로 전송(Ethernet Output)하는 RTSP(Real-Time Streaming Protocol) 서버부(17)를 포함하여 구성될 수 있다. 1, an image processing apparatus 10 of a thermal imaging camera according to an embodiment of the present invention roughly includes an image buffer unit 11 for buffering image data captured and transmitted by a thermal imaging camera, A Bad Pixel Replacement (BPR) unit 12 for removing defective pixels from the image data transmitted from the image buffer unit 11, a histogram equalization (HE) A histogram smoothing (HE) and an automatic gain control (AGC) are performed in the first image processing unit 13, a first image processing unit 13 for performing an image processing including an automatic gain control (AGC) A second image processor 14 for performing image processing such as a filter process for improving the image quality on the image data, a second image processor 14 for displaying various images (On Screen Display) to be displayed on the image or the display screen, Image processed in An OSD processing unit 15 for performing processing of generating image data including an OSD in addition to data, a video output unit for outputting image data generated by the OSD processing unit 15 to an external device, an OSD processing unit (Video Encoding) unit 16 for converting the video data generated in the video encoding unit 16 into a predetermined format and an RTSP (Real-Time Video Recoding) unit 16 for externally transmitting the video encoded in the video encoding unit 16 via the Internet -Time Streaming Protocol) server unit 17.

여기서, 도 1을 참조하여 이하에 설명하는 본 발명의 실시예에서는 상기한 열화상 카메라가 Tamarisk사의 Tamarisk 320인 경우를 예로 하여 본 발명을 설명하였으나, 본 발명은 반드시 이러한 경우로만 한정되는 것은 아니며, 다른 열화상 카메라의 경우에도 동일 내지 유사하게 적용될 수 있는 것임에 유념해야 한다. In the following description of the present invention with reference to FIG. 1, the thermal camera described above is a Tamarisk 320 from Tamarisk. However, the present invention is not limited thereto, It should be noted that the same or similar can be applied to other infrared cameras.

더 상세하게는, 도 1에 나타낸 본 발명의 실시예에 따른 영상처리장치(10)는, 열화상 카메라에서 수집된 데이터를 영상처리하여 이더넷을 통해 완성된 영상을 전송하는 영상스트림 동작과, 열화상 카메라에서 수집된 14비트 원시데이터(raw data)를 이더넷으로 전송하고 수신 컴퓨터에서 영상처리하여 영상과 온도정보를 출력하는 데이터 전송동작의 두가지 동작을 모두 구현 가능하며, 용도에 따라 두 동작 중에서 하나의 동작만 수행하거나 동시에 모두 동작하도록 구성될 수 있다. More specifically, the image processing apparatus 10 according to the embodiment of the present invention shown in Fig. 1 includes a video stream operation for processing the data collected by the thermal imaging camera and transmitting a completed image through Ethernet, It is possible to implement both of the two operations of transmitting the 14-bit raw data collected by the image camera to the Ethernet and receiving the image and the data transmission operation for outputting the image and temperature information by the receiving computer, Or may be configured to operate all at the same time.

먼저, 영상스트림 동작은, Tamarisk는 14비트이며, 8비트로 영상처리를 하여 NTSC/PAL로 출력을 하거나 인코더를 통해 RTSP로 스트림 전송하기 위한 모든 영상처리가 영상처리장치(10)에서 이루어지게 되므로 처리과정이 영상처리장치(10)의 성능에 영향을 받게 된다. First, in the video streaming operation, since the Tamarisk is 14 bits, all the image processing for performing image processing with 8 bits and outputting to the NTSC / PAL or stream transmission to the RTSP through the encoder is performed in the image processing apparatus 10 The performance of the image processing apparatus 10 is affected.

여기서, 히스토그램 평활화(HE)와 자동이득제어(AGC) 및 필터처리와 같은 영상처리 과정을 후술하는 바와 같이 FPGA(Field Programmable Gate Array)를 이용하여 단일의 FPGA 블록으로 처리하는 것에 의해 영상처리에 따른 부하를 줄이고 데이터 전송 및 처리속도를 높일 수 있다. Here, image processing such as histogram smoothing (HE), automatic gain control (AGC), and filter processing is processed by a single FPGA block using an FPGA (Field Programmable Gate Array) Thereby reducing load and increasing data transmission and processing speed.

또한, 영상스트림 동작은 영상처리 과정에서 온도정보를 상실할 수 있으므로 온도계로 사용하지 않는 감시카메라로 사용하도록 구성될 수 있다. Also, the video stream operation may be configured to be used as a surveillance camera not used as a thermometer because the temperature information may be lost during image processing.

다음으로, 데이터 전송동작은, 수신 컴퓨터에서 온도데이터를 수신할 수 있으므로 온도표기가 가능하며, 데이터량이 많아서 네트워크의 전송속도에 영향을 받을 수 있으므로 데이터를 압축하여 전송하고, 데이터 전송동작은 수신 컴퓨터에서 모든 영상처리를 수행하므로 영상처리장치(10)의 성능에 따른 영향이 적어 개발에 용이한 장점이 있다. Next, the data transmission operation compresses and transmits the data because the temperature data can be received at the receiving computer, temperature can be expressed, and the amount of data is large and the transmission speed of the network may be affected. So that there is little effect on the performance of the image processing apparatus 10, which is advantageous in development.

계속해서, 도 2를 참조하여, 이미지 처리를 위한 FPGA 블록의 구성에 대하여 설명한다. Next, the configuration of the FPGA block for image processing will be described with reference to FIG.

도 2를 참조하면, 도 2는 도 1에 나타낸 본 발명의 실시예에 따른 영상처리장치(10)에서 히스토그램 평활화(HE)와 자동이득제어(AGC) 및 OSD 처리를 단일의 하드웨어로 수행하도록 구성되는 FPGA 블록(20)의 전체적인 구성을 개략적으로 나타내는 도면이다. Referring to FIG. 2, FIG. 2 is a block diagram illustrating a configuration in which histogram smoothing (HE), automatic gain control (AGC), and OSD processing are performed by a single hardware in the image processing apparatus 10 according to the embodiment of the present invention shown in FIG. FIG. 2 is a diagram schematically showing the overall configuration of the FPGA block 20 shown in FIG.

도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 영상처리장치(10)에 적용되는 FPGA 블록(20)은, 히스토그램을 통해 영상을 분석(영상분포 분석)하여 히스토그램 평활화(HE)를 행한 후 자동이득제어(AGC) 처리를 수행하는 HE 및 AGC 처리부(21)와, HE 및 AGC 처리부(21)에서 HE 및 AGC 처리된 영상데이터에 노이즈제거 및 언샵 마스크 필터와 같은 각종 필터처리 및 OSD 처리를 수행하는 필터처리부(22)를 포함하여 구성될 수 있다. 2, the FPGA block 20 applied to the image processing apparatus 10 according to the embodiment of the present invention performs histogram smoothing (HE) by analyzing an image (image distribution analysis) through a histogram An HE and AGC processing unit 21 for performing automatic gain control (AGC) processing, various filter processing such as noise removal and unsharp mask filter, and OSD processing for HE and AGC processed image data in the HE and AGC processing unit 21 And a filter processing unit 22 that performs a filtering process.

즉, 도 2에 나타낸 FPGA 블록(20)은 도 1에 나타낸 제 1 영상처리부(13), 제 2 영상처리부(14) 및 OSD 처리부(15)의 기능을 FPGA 형태의 단일의 하드웨어로 구현하도록 구성되는 것이며, 이러한 구성을 통해 영상처리장치(10)의 전체적인 하드웨어 구성을 간소화하고, 데이터 전송 및 처리효율을 개선할 수 있다. That is, the FPGA block 20 shown in FIG. 2 is configured to implement the functions of the first image processing unit 13, the second image processing unit 14, and the OSD processing unit 15 shown in FIG. 1 as a single FPGA With this configuration, the overall hardware configuration of the image processing apparatus 10 can be simplified, and data transmission and processing efficiency can be improved.

여기서, HE 및 AGC 처리부(21)는, AGC 처리시 구간 선형 변환(piecewise-linear transformation) 알고리즘을 적용하며, 이러한 구간 선형 변환 알고리즘은 처리영역을 2영역 이상으로 나눈 후 각 영역에 대조(contrast) 및 밝기(brightness) 값을 적용하는 것에 의해 히스토그램이 한쪽으로 치우친 영상을 자연스럽게 만들어 주고, 고온 또는 저온 일부 영역을 강조할 수 있으며, 전체 노이즈를 감소하는 효과가 있다. Here, the HE and AGC processing unit 21 applies a piecewise-linear transformation algorithm during the AGC processing, and the segmented linear transformation algorithm divides the processing region into two or more regions, And a brightness value, it is possible to naturally make an image in which the histogram is biased to one side, to emphasize a high temperature or a low temperature part of the area, and to reduce the total noise.

여기서, 히스토그램 평활화(HE)의 다른 예로서, 예들 들면, CLAHE(Contrast Limited Adaptive Histogram Equalization)을 적용하는 방법을 고려해볼 수 있으나, CLAHE는 정지영상에 대하여는 효과가 좋지만 동영상에서는 필터로 제거할 수 없는 허상과 노이즈를 발생시키는 문제가 있다. As another example of the histogram smoothing (HE), a method of applying CLAHE (Contrast Limited Adaptive Histogram Equalization) can be considered. However, CLAHE is effective for still images, There is a problem of generating a virtual image and noise.

더 상세하게는, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 영상처리장치(10)에 적용된 히스토그램 평활화(Histogram Equalization) 알고리즘의 보다 구체적인 내용에 대하여 설명하면, 히스토그램 평활화 기술은 히스토그램의 형상을 분석하여 밝기 분포가 특정한 부분으로 치우친 것을 어느 정도 넓은 영역에 걸쳐 밝기 분포를 넓히는 것에 의해 원본 영상을 개선하는 이미지 향상 기술의 하나로서, 최근 다양한 디지털 영상처리 장치 및 방법에 널리 사용되고 있다. More specifically, a more detailed description of the histogram equalization algorithm applied to the image processing apparatus 10 according to the embodiment of the present invention as described above will be described. The histogram smoothing technique includes a histogram shape Is widely used in various digital image processing apparatuses and methods as one of image enhancement techniques for improving the original image by broadening the brightness distribution over a wide range to the extent that the brightness distribution is shifted to a specific portion by analyzing the brightness distribution.

또한, 영상처리에서의 히스토그램은 이미지에서 픽셀단위 특정 이미지 값에 대한 확률분포를 나타낸 것으로, 디지털 이미지 명암의 정도의 분포를 도식적으로 나타낸다. In addition, the histogram in the image processing shows a probability distribution with respect to a pixel-specific image value in the image, and graphically shows the distribution of the degree of digital image darkness.

예를 들면, 한 픽셀이 8비트의 크기를 갖는다고 할 때, 8비트 데이터이므로 256의 회색도(gray level)를 가질 수 있으나, 일반적으로, 원본 이미지에서는 50 ~ 100 사이의 값만 주로 가지므로 원본 이미지는 매우 낮은 색상 대비를 가지며, 이러한 원본 영상에 히스토그램 평활화를 적용하면 이미지가 다양한 회색도(gray level)를 가지게 되므로 색상 대비가 향상된다. For example, if a pixel has 8 bits of data, it can have 256 gray levels because it is 8-bit data. However, since the original image usually has a value between 50 and 100, An image has a very low color contrast, and applying histogram smoothing to such an original image will result in an image having various gray levels, thus improving the color contrast.

이에, 본 발명에서는, 누적 히스토그램 평활화(Cumulative Histogram Equalization; CHE) 알고리즘을 구현하고 적외선 영상에 적용하여 이미지를 향상시키는 기술을 제안하였다. Accordingly, in the present invention, a technique of implementing a cumulative histogram equalization (CHE) algorithm and improving the image by applying it to an infrared image has been proposed.

여기서, CHE는 다른 알고리즘보다 향상된 성능을 보이며, 누적 히스토그램을 생성하기 위해서는 많은 연산이 필요하지만 DSP가 내장된 프로세서를 사용하거나, FPGA에서 구현한다면 지연시간을 낮출 수 있으므로 매우 효율적인 알고리즘이다. Here, CHE shows better performance than other algorithms, and it requires a lot of computation to generate a cumulative histogram, but it is a very efficient algorithm because it can reduce the delay time if the DSP is embedded in a processor or implemented in an FPGA.

더 상세하게는, CHE 알고리즘을 구현하기 위해서는 먼저 이하의 [수학식 1]에 나타낸 바와 같이 하여 이미지의 누적분포함수(Cumulative Distribution Function)를 계산한다. More specifically, in order to implement the CHE algorithm, a cumulative distribution function of an image is calculated as shown in Equation (1) below.

[수학식 1] [Equation 1]

Figure 112018041292012-pat00003
Figure 112018041292012-pat00003

여기서, 상기한 [수학식 1]에서 x는 회색(gray) 값이며, h는 이미지의 히스토그램을 나타낸다. In Equation (1), x is a gray value and h is a histogram of an image.

또한, 본 발명에서 적용하고자 하는 히스토그램의 공식은 이하의 [수학식 2]와 같이 나타낼 수 있다. In addition, the formula of the histogram to be applied in the present invention can be expressed as the following formula (2).

[수학식 2] &Quot; (2) "

Figure 112018041292012-pat00004
Figure 112018041292012-pat00004

여기서, 상기한 [수학식 2]에 있어서, cdfmin은 누적 분포함수의 최소값이고, M×N은 이미지의 행과 열의 수의 곱을 나타내며, L은 회색도(gray level)의 수(8비트, 256개)를 나타낸다. In Equation (2), cdf min is the minimum value of the cumulative distribution function, M x N is the product of the number of rows and columns of the image, L is the number of gray levels (8 bits, 256).

아울러, 본 발명의 실시예에 따른 영상처리장치(10)에 있어서, AGC 모드는 On/Off/Maintenance 기능이 있으며, On에서는 히스토그램 평활화 알고리즘이 동작하도록 하고, Off에서는 사용자가 입력한 색상/명암 대비값을 적용하며, Maintenance에서는 AGC On에서 마지막으로 적용한 색상/명암 대비값을 유지한다. In the image processing apparatus 10 according to the embodiment of the present invention, the AGC mode has an On / Off / Maintenance function. On, a histogram smoothing algorithm is operated. In Off, a color / Value, and Maintenance keeps the last applied color / contrast value at AGC On.

상기한 바와 같은 과정을 통하여 적외선 검출기로부터 얻어진 온도 데이터 시각화 과정에서 이미지 영상의 품질을 향상시킬 수 있으며, 이때, 히스토그램을 생성하는데 매우 많은 동작이 필요함으로 인해 소프트웨어로 구현할 경우 실시간으로 영상을 분석하고 적용할 수 없으므로, 히스토그램을 생성하는 부분은 하드웨어로 구현한다. In the process of visualizing the temperature data obtained from the infrared detector through the above process, the quality of the image can be improved. In this case, since a lot of operations are required to generate the histogram, Because it can not, the part that generates the histogram is implemented in hardware.

여기서, 히스토그램 평활화 알고리즘을 하드웨어로 구현하는 것은 로직이 복잡해지므로, 히스토그램 범위 상위와 하위값을 소프트웨어로 전달한 후 적용하도록 구성될 수 있다. Here, the hardware implementation of the histogram smoothing algorithm is complicated in logic, so that the upper and lower values of the histogram range can be transmitted to the software and then applied.

또한, 필터처리부(22)는, 도 2에 나타낸 바와 같이, 가이드 필터(Guided Filter)나 가우시안 필터(Gaussian Filter) 등과 같은 노이즈제거 필터(De-Noise Filter) 및 언샵 마스크 필터(Unsharp Mask Filter)를 포함하여 구성될 수 있으며, 가이드 필터를 적용한 경우는 그대로 출력되고, 가우시안 필터를 적용한 경우는 언샙 마스크 필터를 거쳐 출력되도록 구성될 수 있다. 2, the filter processing unit 22 includes a de-noise filter and an unsharp mask filter such as a guided filter and a Gaussian filter, In the case where a guide filter is applied, it is outputted as it is. When a Gaussian filter is applied, it can be configured to be outputted through an unshown mask filter.

여기서, 가이드 필터 및 가우시안 필터는 에지(edge)는 보존하면서 노이즈를 제거할 수 있으며, 유사한 필터로 양방향 필터(Bilateral filter)가 있다. Here, the guide filter and the Gaussian filter can remove the noise while preserving the edge, and there is a bilateral filter as a similar filter.

아울러, 도 1 및 도 2를 참조하여 상기에 설명한 본 발명의 실시예에 있어서, 예를 들면, 히스토그램 평활화(HE) 알고리즘이나 AGC 처리 및 상기한 각종 필터들의 원리나 구체적인 동작 등과 같이, 당업자에게 있어 자명하거나 종래기술의 문헌 등을 참조하여 용이하게 이해하고 실시할 수 있는 내용에 대하여는 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다. In the embodiments of the present invention described above with reference to FIG. 1 and FIG. 2, it will be apparent to those skilled in the art, such as, for example, a histogram smoothing (HE) algorithm or an AGC process and the principles and specific operations of the various filters It should be noted that the detailed description of the contents that can be easily understood and practiced by referring to the literature or the like of the prior art is omitted for brevity.

다음으로, 도 3 내지 도 5를 참조하여, 상기한 바와 같이 하여 구성되는 FPGA 블록(20)으로부터 영상데이터의 출력 방식에 대하여 설명한다. Next, a method of outputting video data from the FPGA block 20 configured as described above will be described with reference to Figs. 3 to 5. Fig.

먼저, 도 3을 참조하면, 도 3은 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 FPGA 블록(20)으로부터 출력되는 영상데이터의 경로를 개략적으로 나타내는 도면이다. Referring to FIG. 3, FIG. 3 is a diagram schematically showing a path of image data output from the FPGA block 20 according to an embodiment of the present invention.

또한, 도 4 및 도 5를 참조하면, 도 4는 FPGA 블록(20)의 출력영상의 형식(format)을 개략적으로 나타내는 도면이고, 도 5는 FPGA 블록(20)의 출력신호의 타이밍 다이어그램(timing diagram)을 나타내는 도면이다. 4 and 5, FIG. 4 is a diagram schematically showing the format of an output image of the FPGA block 20, FIG. 5 is a timing diagram of an output signal of the FPGA block 20, FIG.

도 3에 나타낸 바와 같이, 열화상 카메라로부터 입력되는 영상을 FPGA 블록(20)에서 처리하여 출력(8비트)함과 동시에 영상처리가 실시되지 않은 영상(14bit raw data)이 동시에 출력된다. As shown in FIG. 3, the FPGA block 20 processes the input image (8 bits) and simultaneously outputs the image (14 bit raw data) in which the image processing is not performed.

즉, FPGA 블록(20)에서 처리된 영상은 영상처리장치(10)의 출력단(video(NTSC/PAL))을 통하여 모니터로 직접 디스플레이 되며, 처리되지 않은 원시 데이터(raw data)는 이더넷(ethernet)을 거쳐 원격 컴퓨터로 전송되어 해당 영상 데이터를 수신한 컴퓨터에 설치된 영상처리 소프트웨어를 통하여 소프트웨어적으로 영상처리가 실시되도록 구성될 수 있다. That is, the image processed in the FPGA block 20 is directly displayed on the monitor through the output terminal (video (NTSC / PAL)) of the image processing apparatus 10, and the raw data is processed by ethernet, And transmitted to a remote computer, and image processing is performed by software through image processing software installed in a computer receiving the image data.

이때, FPGA 블록(20)에서 출력되는 영상데이터의 형식(format) 및 타이밍은 도 4 및 도 5에 나타낸 바와 같이 구성될 수 있다.At this time, the format and timing of the video data output from the FPGA block 20 can be configured as shown in FIGS. 4 and 5. FIG.

여기서, 도 3 내지 도 5는 본 발명의 실시예에 따른 FPGA 블록(20)의 구성에 대한 일례를 나타낸 것일 뿐이며, 즉, 본 발명은 상기한 실시예에 나타낸 구성 이외에도 필요에 따라 적절히 구성될 수 있는 것임에 유념해야 한다. 3 to 5 show an example of the configuration of the FPGA block 20 according to the embodiment of the present invention. In other words, the present invention can be appropriately configured as needed It should be noted that there is.

상기한 바와 같이 하여 본 발명의 실시예에 따른 영상처리장치(10)의 하드웨어 구성을 구현할 수 있으며, 그것에 의해, 단순히 열화상 카메라로 얻어진 영상의 품질을 개선하는 것에 더하여, 영상처리를 위한 하드웨어 구성을 간소화하고 처리속도 및 효율을 높일 수 있으며, 더욱이, 영상처리를 행하여 영상이미지를 출력하는 동시에 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송하여, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있다. As described above, the hardware configuration of the image processing apparatus 10 according to the embodiment of the present invention can be implemented, thereby improving the quality of the image obtained by the thermal imaging camera, It is possible to improve the processing speed and efficiency. Furthermore, the image processing is performed to output a video image, and at the same time, raw data including temperature data is directly transmitted to an external computer or the like, The image frame and the temperature data frame can be output simultaneously.

따라서 상기한 바와 같이 하여 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법을 구현할 수 있다. Therefore, the image processing apparatus and the image processing method of the thermal imaging camera according to the present invention can be implemented as described above.

또한, 상기한 바와 같이 하여 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법을 구현하는 것에 의해, 본 발명에 따르면, 열화상 카메라로 얻어진 적외선 영상에 대하여 히스토그램 평활화(Histogram Equlization)를 포함한 영상처리 기술을 이용하여 열화상 이미지의 화질을 향상시키는 데 더하여, 영상처리의 과정이 FPGA(Field Programmable Gate Array)를 이용하여 이루어지는 하드웨어 블록을 통하여 실시간으로 수행되고 처리된 영상이 외부로 전송되도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법이 제공됨으로써, 열화상 카메라로 촬영된 영상의 화질개선만이 고려됨으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있다. Further, by implementing the image processing apparatus and the image processing method of the thermal imaging camera according to the present invention as described above, according to the present invention, the infrared image obtained by the thermal imaging camera is subjected to the histogram equalization including the histogram equalization In addition to improving the image quality of the thermal image using the image processing technology, the image processing is performed in real time through a hardware block using FPGA (Field Programmable Gate Array), and the processed image is transmitted to the outside The image processing apparatus and the image processing method of the thermal imaging camera are provided so that only the improvement of the image quality of the image taken by the thermal imaging camera is taken into consideration. Therefore, the higher the quality of the image, the higher the required hardware and the longer the processing time Which can solve the problems of the conventional image processing methods and apparatuses have.

아울러, 본 발명에 따르면, 상기한 바와 같이 열화상 카메라의 적외선 센서로부터 데이터를 수집하고 FPGA를 통해 하드웨어로 실시간 영상처리를 행하여 영상이미지를 출력하는 동시에, 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법이 제공됨으로써, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있으므로 적외선 센서에서 수집되는 온도데이터를 영상에 표시하기 위해서는 영상처리를 하지 않고 컴퓨터로 전송해야 하고 영상처리를 행하면 온도데이터가 상실되는 문제가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있다. In addition, according to the present invention, as described above, data is collected from an infrared sensor of a thermal camera, real-time image processing is performed on the hardware through the FPGA to output a video image, raw data including temperature data, The image frame and the temperature data frame can be simultaneously output to one data frame. Therefore, the temperature of the infrared sensor can be reduced. In order to display data on an image, it is necessary to transmit the data to a computer without performing image processing, and it is possible to solve the problems of the conventional image processing methods and apparatuses in which temperature data is lost when image processing is performed.

더욱이, 본 발명에 따르면, 상기한 바와 같이 히스토그램 평활화 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에, 하드웨어 구성을 간소화하여 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 적용하여, 전체적인 구성을 간소화하고 저렴한 비용으로 고품질의 영상을 제공할 수 있도록 구성되는 열화상 카메라를 제공할 수 있다. Furthermore, according to the present invention, the image processing apparatus and the image processing apparatus of the thermal imaging camera are configured to improve the image quality of the thermal image using the histogram smoothing technique as described above, and to simplify the hardware configuration and shorten the overall processing time. It is possible to provide a thermal imaging camera configured to simplify the overall configuration and provide a high-quality image at a low cost by applying an image processing method.

이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments It will be understood by those skilled in the art that various changes, modifications, combinations and substitutions may be made without departing from the scope of the present invention. .

10. 영상처리장치 11. 이미지 버퍼부
12. BPR부 13. 제 1 영상처리부
14. 제 2 영상처리부 15. OSD 처리부
16. 영상 인코딩부 17. RTSP 서버부
20. FPGA 블록 21. HE 및 AGC 처리부
22. 필터처리부 10. Image processing apparatus 11. Image buffer unit
12. BPR section 13. First image processing section
14. Second image processor 15. OSD processor
16. Video encoding unit 17. RTSP server unit
20. FPGA block 21. HE and AGC processor
22. Filter processor

Claims (11)

열화상 카메라의 영상처리장치에 있어서,
열화상 카메라로 촬영되어 전송되는 영상데이터의 버퍼링이 수행되는 이미지 버퍼부;
상기 이미지 버퍼부로부터 전달된 상기 영상데이터에서 불량화소를 제거하는 처리가 수행되는 BPR(Bad Pixel Replacement)부;
상기 BPR부에서 불량화소가 제거된 상기 영상데이터에 히스토그램 평활화(Histogram Equlization ; HE) 및 자동이득제어(Auto Gain Control; AGC) 처리를 포함하는 영상처리가 수행되는 제 1 영상처리부;
상기 제 1 영상처리부에서 히스토그램 평활화(HE) 및 자동이득제어(AGC)가 수행된 상기 영상데이터에 화질개선을 위한 필터처리를 포함하는 이미지 처리가 수행되는 제 2 영상처리부;
상기 제 2 영상처리부에서 처리된 상기 영상데이터에 각종 화면표시(On Screen Disply)를 부가하여 OSD가 포함된 영상데이터를 생성하는 처리가 수행되는 OSD 처리부;
상기 OSD 처리부에서 생성된 영상데이터를 수신하여 외부 기기로 출력하는 영상출력(Video Output)부;
상기 OSD 처리부에서 생성된 영상데이터를 수신하여 미리 정해진 포맷으로 변환하는 영상 인코딩(Video Encoding)부; 및
상기 영상 인코딩부에서 인코딩된 영상을 외부로 전송(Ethernet Output)하는 RTSP(Real-Time Streaming Protocol) 서버부를 포함하여 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
An image processing apparatus of a thermal imaging camera,
An image buffer unit for buffering image data captured and transmitted by an infrared camera;
A Bad Pixel Replacement (BPR) unit for performing a process of removing bad pixels from the image data transmitted from the image buffer unit;
A first image processing unit for performing image processing including histogram equalization (HE) and automatic gain control (AGC) processing on the image data from which the defective pixels have been removed in the BPR unit;
A second image processing unit for performing image processing including filter processing for improving image quality on the image data on which histogram smoothing (HE) and automatic gain control (AGC) are performed in the first image processing unit;
An OSD processing unit for performing a process of generating image data including an OSD by adding various screen displays (On Screen Display) to the image data processed by the second image processing unit;
A video output unit for receiving the video data generated by the OSD processing unit and outputting the video data to an external device;
A video encoding unit for receiving the image data generated by the OSD processing unit and converting the received image data into a predetermined format; And
And an RTSP (Real-Time Streaming Protocol) server unit for externally transmitting an image encoded by the image encoding unit.
제 1항에 있어서,
상기 영상처리장치는,
열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하고, 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부를 통하여 영상처리된 영상을 상기 영상출력부를 통해 외부 기기로 출력하는 동시에, 상기 영상 인코딩부를 통하여 미리 정해진 포맷으로 인코딩한 후 상기 RTSP 서버부를 통해 외부로 스트리밍 전송하는 영상스트림 동작; 및
열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하여 영상과 온도정보를 외부로 전송하고, 수신측에서 영상처리를 행하여 영상과 온도정보를 출력하는 데이터 전송동작 중 하나의 동작으로 동작되거나, 또는, 상기 영상스트림 동작 및 상기 데이터 전송동작이 동시에 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
The method according to claim 1,
The image processing apparatus comprising:
The image processing apparatus according to claim 1, wherein the image processing unit receives the raw data collected through the thermal imaging camera through the image buffer unit and the BPR unit, and outputs the image processed through the first image processing unit, the second image processing unit, Outputting the encoded video stream to an external device through an output unit, encoding the encoded video signal in a predetermined format through the video encoding unit, and streaming the encoded stream to the outside through the RTSP server unit; And
The image processing apparatus receives raw data collected through a thermal imaging camera through the image buffer unit and the BPR unit, transmits image and temperature information to the outside, performs image processing on the receiving side, and outputs image and temperature information Wherein the image processing unit is configured to operate as one of the transfer operations, or the image stream operation and the data transfer operation are performed simultaneously.
제 1항에 있어서,
상기 영상처리장치는,
상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부가 FPGA(Field Programmable Gate Array)를 이용하여 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부의 기능을 단일의 하드웨어로 구현하도록 이루어지는 FPGA 블록으로 구성됨으로써, 전체적인 구성을 간소화하고 데이터 전송속도 및 처리효율을 개선할 수 있도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
The method according to claim 1,
The image processing apparatus comprising:
The first image processing unit, the second image processing unit, and the OSD processing unit may implement the functions of the first image processing unit, the second image processing unit, and the OSD processing unit in a single hardware using an FPGA (Field Programmable Gate Array) And an FPGA block configured to simplify the overall configuration and improve the data transfer rate and processing efficiency.
제 3항에 있어서,
상기 FPGA 블록은,
상기 제 1 영상처리부를 대신하여, 열화상 카메라를 통해 수집된 영상데이터에 히스토그램 평활화(HE)를 행한 후 자동이득제어(AGC) 처리가 수행되도록 이루어지는 HE 및 AGC 처리부; 및
상기 제 2 영상처리부 및 상기 OSD 처리부를 대신하여, 상기 HE 및 AGC 처리부에서 HE 및 AGC 처리된 영상데이터에 필터처리를 행하고 OSD를 부가하는 처리가 수행되도록 이루어지는 필터처리부를 포함하여 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
The method of claim 3,
The FPGA block includes:
An HE and AGC processing unit for performing automatic gain control (AGC) processing after histogram smoothing (HE) is performed on image data collected through a thermal imaging camera instead of the first image processing unit; And
And a filter processing unit for performing a filtering process on the image data HE and AGC processed by the HE and AGC processing unit and adding the OSD, instead of the second image processing unit and the OSD processing unit, And the image processing device of the thermal imaging camera.
제 4항에 있어서,
상기 HE 및 AGC 처리부는,
누적 히스토그램 평활화(Cumulative Histogram Equalization ; CHE) 알고리즘을 이용하여 상기 히스토그램 평활화(HE) 처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
5. The method of claim 4,
The HE and AGC processing units,
Wherein the histogram smoothing (HE) processing is performed using a Cumulative Histogram Equalization (CHE) algorithm.
제 5항에 있어서,
상기 HE 및 AGC 처리부는,
이하의 수학식을 이용하여 상기 영상데이터의 누적분포함수(Cumulative Distribution Function)를 계산하고,

Figure 112018041292012-pat00005


(여기서, x는 회색(gray) 값이며, h는 상기 영상데이터의 히스토그램을 나타냄)

이하의 수학식을 이용하여 누적 히스토그램 평활화(CHE) 처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.

Figure 112018041292012-pat00006


(여기서, cdfmin은 누적분포함수의 최소값이고, M×N은 상기 영상데이터의 행과 열의 수의 곱을 나타내며, L은 회색도(gray level)의 수(8비트, 256개)를 나타냄)
6. The method of claim 5,
The HE and AGC processing units,
Calculating a cumulative distribution function of the image data using the following equation,

Figure 112018041292012-pat00005


(Where x is a gray value and h is a histogram of the image data)

And a cumulative histogram smoothing (CHE) process is performed using the following equation.

Figure 112018041292012-pat00006


(Where cdf min is the minimum value of the cumulative distribution function, M x N is the product of the number of rows and columns of the image data, and L is the number of gray levels (8 bits, 256)
제 4항에 있어서,
상기 HE 및 AGC 처리부는,
히스토그램 평활화가 수행되도록 동작하는 On 모드와,
사용자가 입력한 색상/명암 대비값을 적용하는 off 모드 및
마지막으로 적용된 색상/명암 대비값을 유지하는 유지(Maintenance) 모드 중 하나로 동작하도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
5. The method of claim 4,
The HE and AGC processing units,
An On mode in which histogram smoothing is performed,
Off mode to apply color / contrast values entered by the user, and
And a maintenance mode for maintaining the color / contrast value last applied to the image.
제 4항에 있어서,
상기 필터처리부는,
노이즈제거 필터(De-Noise Filter)로서 가이드 필터(Guided Filter)를 이용하여 상기 필터처리가 수행되거나,
또는, 노이즈제거 필터로서 가우시안 필터(Gaussian Filter)를 적용한 후 언샵 마스크 필터(Unsharp Mask Filter)를 적용하여 상기 필터처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
5. The method of claim 4,
The filter processing unit,
The filter processing is performed using a guided filter as a de-noise filter,
Or the filter processing is performed by applying a Gaussian filter as a noise removing filter and then applying an Unsharp Mask Filter to the image processing apparatus.
제 3항에 있어서,
상기 FPGA 블록은,
열화상 카메라로부터 입력된 영상데이터를 영상처리하여 출력하는(Video Output) 동시에, 영상처리되지 않은 원시 데이터(raw data)를 이더넷(ethernet)을 통해 출력하여(Ethernet Output) 원격 컴퓨터로 전송하고, 상기 원시 데이터를 수신한 상기 컴퓨터에 설치된 영상처리 소프트웨어를 이용하여 영상처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
The method of claim 3,
The FPGA block includes:
(Video output) of the image data input from the thermal imaging camera and outputs raw data not processed with image through ethernet (Ethernet Output) to the remote computer, Wherein image processing is performed using image processing software installed in the computer that has received the raw data.
청구항 1항 내지 청구항 9항 중 어느 한 항에 기재된 열화상 카메라의 영상처리장치를 이용하여 열화상 카메라로 얻어진 영상의 영상처리가 수행되도록 구성되는 열화상 카메라의 영상처리방법에 있어서,
열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 열화상 카메라의 영상처리장치의 이미지 버퍼부 및 BPR부를 통해 수신하고, 상기 열화상 카메라의 영상처리장치의 제 1 영상처리부, 제 2 영상처리부 및 OSD 처리부, 또는, 상기 열화상 카메라의 영상처리장치의 FPGA 블록을 통하여 영상처리된 영상을 상기 열화상 카메라의 영상처리장치의 영상출력부를 통해 외부 기기로 출력하며, 상기 열화상 카메라의 영상처리장치의 영상 인코딩부를 통하여 미리 정해진 포맷으로 인코딩한 후 상기 열화상 카메라의 영상처리장치의 RTSP 서버부를 통해 외부로 스트리밍 전송하는 처리가 수행되는 영상스트림 처리단계; 및
열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하여 영상과 온도정보를 외부로 전송하고, 수신측에서 영상처리를 행하여 영상과 온도정보를 출력하는 처리가 수행되는 데이터전송 처리단계를 포함하여 구성되고,
상기 영상스트림 처리단계와 상기 데이터전송 처리단계 중 하나의 처리가 수행되도록 동작되거나, 또는, 상기 영상스트림 처리단계와 및 상기 데이터전송 처리단계가 동시에 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리방법.
An image processing method of a thermal imaging camera configured to perform image processing of an image obtained by a thermal imaging camera using the image processing apparatus of the thermal imaging camera according to any one of claims 1 to 9,
A first image processing unit of the image processing apparatus of the thermal imaging camera, a second image processing unit of the image processing apparatus of the thermal imaging camera, and a second image processing unit of the image processing apparatus of the thermal imaging camera, Processing unit, an OSD processing unit, or an FPGA block of the image processing apparatus of the thermal imaging camera, through an image output unit of the image processing apparatus of the thermal imaging camera, and outputs the image of the thermal imaging camera A video stream processing step in which a process of encoding a video signal in a predetermined format through a video encoding unit of a processing apparatus and then streaming the video signal to the outside through an RTSP server unit of the image processing apparatus of the thermal imaging camera is performed; And
A process of receiving raw data collected through an infrared camera through the image buffer unit and the BPR unit, transmitting image and temperature information to the outside, performing image processing at a receiving side, and outputting image and temperature information And a data transmission processing step in which,
Wherein the image stream processing step and the data transfer processing step are configured to be performed to perform one of the image stream processing step and the data transfer processing step, Processing method.
청구항 1항 내지 청구항 9항 중 어느 한 항에 기재된 열화상 카메라의 영상처리장치를 포함하여 영상처리 기능을 가지도록 구성되는 것을 특징으로 하는 열화상 카메라. A thermal imaging camera comprising an image processing apparatus of the thermal imaging camera according to any one of claims 1 to 9 and configured to have an image processing function.
KR1020180048107A 2018-04-25 2018-04-25 Apparatus and method for image processing of thermal imaging camera KR101920369B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180048107A KR101920369B1 (en) 2018-04-25 2018-04-25 Apparatus and method for image processing of thermal imaging camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180048107A KR101920369B1 (en) 2018-04-25 2018-04-25 Apparatus and method for image processing of thermal imaging camera

Publications (1)

Publication Number Publication Date
KR101920369B1 true KR101920369B1 (en) 2018-11-20

Family

ID=64568442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048107A KR101920369B1 (en) 2018-04-25 2018-04-25 Apparatus and method for image processing of thermal imaging camera

Country Status (1)

Country Link
KR (1) KR101920369B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220093467A (en) * 2020-12-28 2022-07-05 (주)제로센서 Thermal Imaging Sensor Image Transfer Unit and its Method using Low Speed Interface
KR20240043944A (en) 2022-09-28 2024-04-04 써모아이 주식회사 Pixel-based object counting method and apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101167567B1 (en) 2011-10-19 2012-07-27 (주)그린시스 Fish monitoring digital image processing apparatus and method
KR101339026B1 (en) 2013-10-14 2013-12-09 (주)유디피 Method and apparatus for thermal camera visibility enhancing
KR101350922B1 (en) 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 Method and apparatus for object tracking based on thermo-graphic camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101167567B1 (en) 2011-10-19 2012-07-27 (주)그린시스 Fish monitoring digital image processing apparatus and method
KR101339026B1 (en) 2013-10-14 2013-12-09 (주)유디피 Method and apparatus for thermal camera visibility enhancing
KR101350922B1 (en) 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 Method and apparatus for object tracking based on thermo-graphic camera

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220093467A (en) * 2020-12-28 2022-07-05 (주)제로센서 Thermal Imaging Sensor Image Transfer Unit and its Method using Low Speed Interface
KR102447239B1 (en) * 2020-12-28 2022-09-27 주식회사 제로센서 Thermal Imaging Sensor Image Transfer Unit using Low Speed Interface
KR20240043944A (en) 2022-09-28 2024-04-04 써모아이 주식회사 Pixel-based object counting method and apparatus

Similar Documents

Publication Publication Date Title
US9344638B2 (en) Constant bracket high dynamic range (cHDR) operations
TWI554099B (en) Method and camera for determining an image adjustment parameter
JP7077395B2 (en) Multiplexed high dynamic range image
JP6024952B2 (en) Image transmission apparatus, image transmission method, image transmission program, and image recognition authentication system
US7444075B2 (en) Imaging device, camera, and imaging method
CN110290323B (en) Image processing method, image processing device, electronic equipment and computer readable storage medium
CN107395991B (en) Image synthesis method, image synthesis device, computer-readable storage medium and computer equipment
US20160125618A1 (en) Method, device, and system for pre-processing a video stream for subsequent motion detection processing
JP4764487B2 (en) Video surveillance system
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
JP2013218487A (en) Image processing apparatus, imaging apparatus, image processing method, and program
KR101920369B1 (en) Apparatus and method for image processing of thermal imaging camera
JP4561649B2 (en) Image compression apparatus, image compression program and image compression method, HDR image generation apparatus, HDR image generation program and HDR image generation method, image processing system, image processing program and image processing method
US11310440B2 (en) Image processing apparatus, surveillance camera system, and image processing method
JP2010226646A (en) Video processing apparatus
US20100303355A1 (en) Image processing apparatus, image processing method, and image processing program
US11861814B2 (en) Apparatus and method for sensing image based on event
JP4680087B2 (en) Image transmission device
WO2017094504A1 (en) Image processing device, image processing method, image capture device, and program
JP4508043B2 (en) Video surveillance device and video surveillance program
JP2007266787A (en) Imaging apparatus provided with process for making excessive-noise pixel usable
CN112241735A (en) Image processing method, device and system
KR101637637B1 (en) Method and apparatus for local auto exposure in video sensor systems
KR101989868B1 (en) Electronic device and controlling method thereof
KR101429006B1 (en) Method for detecting motion area and device thereby

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant