KR20200009667A - Apparatus and Method for Synthesizing Image - Google Patents

Apparatus and Method for Synthesizing Image Download PDF

Info

Publication number
KR20200009667A
KR20200009667A KR1020180084320A KR20180084320A KR20200009667A KR 20200009667 A KR20200009667 A KR 20200009667A KR 1020180084320 A KR1020180084320 A KR 1020180084320A KR 20180084320 A KR20180084320 A KR 20180084320A KR 20200009667 A KR20200009667 A KR 20200009667A
Authority
KR
South Korea
Prior art keywords
image
thermal
real
camera
real image
Prior art date
Application number
KR1020180084320A
Other languages
Korean (ko)
Inventor
강인정
Original Assignee
주식회사 한컴엠디에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한컴엠디에스 filed Critical 주식회사 한컴엠디에스
Priority to KR1020180084320A priority Critical patent/KR20200009667A/en
Publication of KR20200009667A publication Critical patent/KR20200009667A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • G06T3/0093
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to an image synthesizing apparatus and an image synthesizing method thereof. According to the present invention, the image synthesizing method comprises the following steps: acquiring a thermal image and a real image from a thermal imaging camera and a real imaging camera, respectively, installed at a first position and at a second position facing a thermal detection target; correcting at least one of the thermal image and the real image using location information of the thermal imaging camera and location information of the real imaging camera so that the acquired thermal image and real image become images photographed from the same camera angle; and synthesizing the corrected thermal image and real image. According to the present invention, a thermal image and a real image of a thermal detection target photographed at different positions are corrected to become images photographed from the same camera angle, after which the images are synthetized, and thus, a monitoring area of the thermal detection target can be expanded and temperature distribution of the thermal detection target can be more clearly and accurately identified.

Description

영상 합성 장치 및 그의 영상 합성 방법{Apparatus and Method for Synthesizing Image}Apparatus and Method for Synthesizing Image

본 발명은 영상 합성 장치 및 그의 영상 합성 방법에 관한 것으로, 보다 상세하게는 열감지 대상의 열화상 이미지와 실화상 이미지를 합성할 수 있는 영상 합성 장치 및 그의 영상 합성 방법에 관한 것이다.The present invention relates to an image synthesizing apparatus and an image synthesizing method thereof, and more particularly, to an image synthesizing apparatus and an image synthesizing method capable of synthesizing a thermal image and a real image of a thermal sensing target.

일반적으로 열화상 기술은 감지 대상의 표면에 있는 복사 에너지를 검출하고, 이를 온도로 환산하여 실시간으로 영상을 제공하는 기술로서, 감지 대상의 표면 온도 변화를 비접촉, 비파괴 및 실시간으로 측정 가능하기 때문에 재료의 열적 특성 평가, 열화 진단, 결함 검사, 체열 측정을 통한 의료 진단, 화재나 가스누출 감시 또는 보안구역 침입 감시 등과 같은 다양한 분야에서 활용되고 있다. In general, thermal imaging technology detects radiant energy on a surface of a sensing object and converts it into a temperature to provide an image in real time. Since a change in surface temperature of the sensing object can be measured in a non-contact, non-destructive and real-time manner, It is used in various fields such as thermal characterization, deterioration diagnosis, defect inspection, medical diagnosis through body temperature measurement, fire or gas leak monitoring, or security zone intrusion monitoring.

이러한 열화상 기술이 적용되는 열화상 카메라는 모든 물체가 가지고 있는 고유한 복사 에너지로부터 방출되는 적외선 파장을 받아들여 출력되는 전기적인 신호를 사람이 인식할 수 있는 정지 영상 혹은 동영상으로 변환하여 출력하는 장치로서, 모터, 큰 부품이나 전기 패널 등을 단번에 측정할 수 있으며, 과열되거나 기타 위험한 부분이 아무리 작더라도 쉽게 발견할 수 있는 장점이 있다. 즉, 수 천 개의 적외선 온도계를 동시에 사용하는 것과 같은 효과가 있으며, 적외선 온도계는 한 지점의 온도만 측정할 수 있는 반면, 열화상 카메라는 대상 물체 전체의 온도를 동시에 측정할 수 있다. This thermal imaging camera is a device that converts an electric signal output by receiving infrared wavelengths from the unique radiant energy of all objects and converts it into a human-readable still image or video. As a result, it is possible to measure a motor, a large part or an electric panel at a time, and there is an advantage that it can be easily found no matter how small the overheating or other dangerous parts. In other words, the effect of using several thousand infrared thermometers at the same time, infrared thermometers can measure the temperature of only one point, while thermal imaging cameras can measure the temperature of the entire object at the same time.

그리고 열화상 카메라에서 적외선 파장을 전기적인 신호로 변환하는 적외선 센서의 종류로는 열형의 상온방식과 광자형의 저온방식이 있는데, 이 중에서 저온방식은 성능이 뛰어나지만 액체질소 냉각기가 필요하고 가격이 높은 단점이 있는 반면에, 상온방식은 복사 에너지를 저항이나 전류 또는 기전력 변화로 검출하는 방식으로, 저온방식에 비하여 성능은 떨어지지만 냉각기가 필요 없고 가격이 저렴하여 일반적으로 많이 사용되고 있다. In addition, there are two types of infrared sensors that convert infrared wavelengths into electrical signals in thermal imaging cameras. The thermal room temperature method and the photon-type low temperature method are used. Among them, the low temperature method is excellent in performance but requires a liquid nitrogen cooler and the price is low. On the other hand, the room temperature method is a method of detecting the radiant energy as a change in resistance, current or electromotive force, and the performance is lower than that of the low temperature method, but it is generally used because it does not require a cooler and is inexpensive.

하지만, 상온방식의 적외선 센서는 저온방식에 비해서 해상도가 낮기 때문에 사물의 구분 성능이 매우 부족한 문제점이 있었다. 그렇다고, 고해상도의 열화상 카메라를 사용하기에는 많은 비용이 소모되므로 경제적인 부담을 초래하게 되는 문제점이 있었다.However, the infrared sensor of the room temperature method has a problem that the separation performance of the object is very insufficient because of the lower resolution than the low temperature method. However, there is a problem in that it takes a lot of money to use a high-resolution thermal imaging camera, resulting in an economic burden.

상술한 문제점을 해결하기 위하여 일반 카메라에서 촬영된 실화상 이미지와 열화상 카메라에서 촬영된 열화상 이미지를 합성하여 해상도를 향상시킬 수 있도록 하였다. 일례로, 열화상 카메라의 기능과 실화상 카메라의 기능을 하나로 통합하여 사용자가 휴대하면서 촬영할 수 있도록 한 소형의 장치가 개발되었으나, 해당 장치는 사용자가 촬영하는 방향에 대응하는 감지 대상의 일부 영역만 모니터링 할 수 있으며, 다른 위치에서 감지 대상을 촬영하고자 할 경우 사용자가 매번 이동해야 하는 번거로움이 있었다.In order to solve the above problems, the resolution can be improved by synthesizing the real image image photographed by a general camera and the thermal image photographed by a thermal imager. For example, a small device has been developed that integrates the functions of a thermal imaging camera with the functions of a real image camera so that a user can take a picture while carrying it, but the device has only a portion of a sensing target corresponding to the direction in which the user is shooting. If you want to monitor, and if you want to shoot the target from a different location, the user has to move every time.

이에 따라, 감지 대상의 모니터링 영역이 제한되는 문제점이 있었다.Accordingly, there is a problem in that the monitoring area of the sensing target is limited.

한국등록특허공보 제10-0984679호(등록일 2010. 10. 01.)Korean Patent Publication No. 10-0984679 (Registration date 2010. 10. 01.)

따라서 본 발명이 해결하고자 하는 기술적 과제는 서로 다른 위치에 설치된 열화상 카메라 및 실화상 카메라에서 열감지 대상을 각각 촬영하도록 하고, 촬영된 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지로 되도록 보정한 후 이를 합성함으로써 열감지 대상의 모니터링 영역을 확장할 수 있으면서도 열감지 대상의 온도분포를 보다 선명하고 정확하게 파악할 수 있는 영상 합성 장치 및 그의 영상 합성 방법을 제공하는 것이다. Therefore, the technical problem to be solved by the present invention is to shoot the thermal sensing target in each of the thermal imaging camera and the real image camera installed in different positions, and the thermal image and the real image image taken by the image taken at the same camera angle The present invention provides an image synthesizing apparatus and an image synthesizing method capable of expanding the monitoring area of a heat sensing object and more clearly and accurately grasping a temperature distribution of a heat sensing object by correcting the composition after the correction.

또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.In addition to the objects explicitly stated, the present invention also includes other objects that can be achieved from the configurations of the present invention described below.

상기한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 합성 방법은 열감지 대상을 향하는 제1 위치 및 제2 위치에 각각 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 단계, 상기 획득된 열화상 이미지와 상기 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 카메라의 위치 정보 및 상기 실화상 카메라의 위치 정보를 이용하여 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 단계 및 상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계를 포함한다.According to an embodiment of the present invention for solving the above technical problem, a thermal image and a real image image are obtained from a thermal image camera and a real image camera respectively installed at a first position and a second position facing a thermal sensing object. Acquiring each of the thermal image and the thermal image by using the position information of the thermal image camera and the position information of the real image camera such that the obtained thermal image and the real image are taken at the same camera angle. Correcting at least one of the real image images and synthesizing the corrected thermal image and the real image image.

상기 적어도 하나의 이미지를 보정하는 단계는 이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지의 픽셀 위치를 보정할 수 있다.The correcting of the at least one image may correct pixel positions of at least one of the thermal image and the real image image according to an image warping algorithm.

상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 단계를 더 포함할 수 있다.The method may further include performing image processing on the obtained thermal image and the real image.

상기 이미지 프로세싱을 수행하는 단계는 상기 열화상 이미지 및 상기 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행할 수 있다.The performing of the image processing may perform image preprocessing to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution.

상기 이미지 프로세싱을 수행하는 단계는 상기 열화상 이미지 및 상기 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정할 수 있다.In the performing of the image processing, the size may be adjusted based on a smaller size of the thermal image and the real image.

상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계는 상기 열화상 이미지와 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성할 수 있다.The synthesizing of the corrected thermal image and the real image may include synthesizing the contour region of the thermal sensing object in the thermal image and the real image.

상기 열감지 대상의 윤곽선 영역은 상기 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다.The contour region of the thermal sensing object may be a color complementary to the color of the thermal image.

상기 열화상 카메라의 위치 정보는 상기 열감지 대상과 상기 제1 위치까지의 거리 정보 및 상기 열감지 대상과 상기 열화상 카메라가 이루는 각도 정보를 포함하고, 상기 실화상 카메라의 위치 정보는 상기 열감지 대상과 상기 제2 위치까지의 거리 정보 및 상기 열감지 대상과 상기 실화상 카메라가 이루는 각도 정보를 포함할 수 있다.The positional information of the thermal imaging camera includes distance information between the thermal sensing object and the first position and angle information between the thermal sensing object and the thermal imaging camera, and the positional information of the actual image camera is the thermal sensing. Distance information between an object and the second location, and angle information between the heat sensing object and the real image camera.

한편, 본 발명의 실시예에 따른 영상 합성 장치는 열감지 대상을 향하는 제1 위치 및 제2 위치에 각각 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 이미지 획득부, 상기 획득된 열화상 이미지와 상기 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 카메라의 위치 정보 및 상기 실화상 카메라의 위치 정보를 이용하여 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지를 보정하는 이미지 보정부 및 상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 이미지 합성부를 포함한다.On the other hand, the image synthesizing apparatus according to the embodiment of the present invention is an image acquisition unit for acquiring the thermal image and the real image from the thermal imaging camera and the real image camera respectively installed at the first position and the second position facing the thermal sensing target From among the thermal image and the real image using the position information of the thermal image camera and the position information of the real image camera such that the obtained thermal image and the real image are captured at the same camera angle. And an image compensator for compensating at least one image and an image composer for synthesizing the corrected thermal image and the real image.

상기 이미지 보정부는 이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지의 픽셀 위치를 보정할 수 있다.The image corrector may correct pixel positions of at least one of the thermal image and the real image image according to an image warping algorithm.

상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 이미지 처리부를 더 포함할 수 있다.The method may further include an image processor configured to perform image processing on the obtained thermal image and the real image.

상기 이미지 처리부는 상기 열화상 이미지 및 상기 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행할 수 있다.The image processor may perform image preprocessing to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution.

상기 이미지 처리부는 상기 열화상 이미지 및 상기 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정할 수 있다.The image processor may adjust the size of the thermal image and the real image based on a smaller image.

상기 이미지 합성부는 상기 열화상 이미지와 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성할 수 있다.The image synthesizing unit may synthesize the contour region of the thermal sensing object in the thermal image and the real image.

상기 열감지 대상의 윤곽선 영역은 상기 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다.The contour region of the thermal sensing object may be a color complementary to the color of the thermal image.

상기 열화상 카메라의 위치 정보는 상기 열감지 대상과 상기 제1 위치까지의 거리 정보 및 상기 열감지 대상과 상기 열화상 카메라가 이루는 각도 정보를 포함하고, 상기 실화상 카메라의 위치 정보는 상기 열감지 대상과 상기 제2 위치까지의 거리 정보 및 상기 열감지 대상과 상기 실화상 카메라가 이루는 각도 정보를 포함할 수 있다.The positional information of the thermal imaging camera includes distance information between the thermal sensing object and the first position and angle information between the thermal sensing object and the thermal imaging camera, and the positional information of the actual image camera is the thermal sensing. Distance information between an object and the second location, and angle information between the heat sensing object and the real image camera.

이와 같이 본 발명의 실시예에 따른 영상 합성 장치 및 그의 영상 합성 방법에 따르면, 서로 다른 위치에서 촬영된 열감지 대상의 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지로 되도록 보정한 후 이를 합성할 수 있기 때문에 카메라의 위치에 대응하여 열감지 대상의 모니터링 영역을 확장할 수 있는 장점이 있다. 특히, 카메라가 좌우 또는 상하 방향으로 이동 가능하게 설치된 경우, 열감지 대상의 모니터링 영역을 더욱 확장시킬 수 있는 장점이 있다.As described above, according to the image synthesizing apparatus and the image synthesizing method according to the embodiment of the present invention, after correcting such that the thermal image and the real image of the thermal sensing target photographed at different positions are captured at the same camera angle, Since it can be synthesized, there is an advantage in that the monitoring area of the thermal sensing target can be extended in response to the position of the camera. In particular, when the camera is installed to be movable in the left and right or up and down direction, there is an advantage that can further expand the monitoring area of the thermal sensing target.

그리고 실화상 이미지에 있는 윤곽선 영역과 열화상 이미지를 합성하여 열화상 이미지에 있는 윤곽선의 선명도를 향상시킬 수 있기 때문에 열감지 대상의 온도분포를 보다 정확하게 파악할 수 있는 장점이 있다.In addition, since the sharpness of the contour in the thermal image may be improved by synthesizing the contour region and the thermal image in the real image, the temperature distribution of the thermal sensing object may be more accurately understood.

이에 따라, 합성된 이미지의 품질을 향상시킬 수 있는 효과를 창출한다.This creates an effect that can improve the quality of the synthesized image.

한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.On the other hand, the effects of the present invention are not limited to those described above, and other effects that can be derived from the configuration of the present invention described below are also included in the effects of the present invention.

도 1은 본 발명의 일 실시예에 따른 열감지 대상을 모니터링하기 위한 구성을 개략적으로 보여주는 도면이다.
도 2는 도 1에 도시한 영상 합성 장치의 세부 구성도이다.
도 3은 카메라 앵글을 설명하기 위한 예시도를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 영상을 합성하는 과정을 보여주는 동작 흐름도이다.
1 is a view schematically showing a configuration for monitoring a heat sensing target according to an embodiment of the present invention.
FIG. 2 is a detailed configuration diagram of the image synthesizing apparatus shown in FIG. 1.
3 shows an exemplary view for explaining a camera angle.
4 is an operation flowchart showing a process of synthesizing an image according to an embodiment of the present invention.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

도 1은 본 발명의 일 실시예에 따른 열감지 대상을 모니터링하기 위한 구성을 개략적으로 보여주는 도면을 나타낸다.1 is a view schematically showing a configuration for monitoring a heat sensing target according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 열감지 대상(10)을 모니터링하기 위한 시스템은 열화상 카메라(100), 실화상 카메라(200) 및 영상 합성 장치(300)를 포함하여 구성된다. 열감지 대상(10)은 온도 분포의 확인을 위해 모니터링이 필요한 모든 대상으로서, 예컨대, 가공 및 생산 작업장, 데이터 센터, 발전소 및 변/배전 시설, 운수 및 대중교통 시설, 냉동 창고 및 각종 저장시설 등의 중요한 전기/기계 부품이나 설비 등이 될 수 있다. As shown in FIG. 1, the system for monitoring the thermal sensing object 10 includes a thermal imaging camera 100, a real image camera 200, and an image synthesizing apparatus 300. The heat sensing object 10 is any object that needs to be monitored to confirm the temperature distribution, for example, a processing and production workshop, a data center, a power plant and a stool / distribution facility, a transportation and public transportation facility, a freezing warehouse, and various storage facilities. Can be an important electrical / mechanical component or facility.

열화상 카메라(100)는 열감지 대상(10)을 바라보는 제1 위치에 설치되어 열감지 대상(10)을 촬영할 수 있다. 즉 열화상 카메라(100)는 열감지 대상(10)을 촬영하여 열화상 이미지를 생성하고, 생성된 열화상 이미지를 영상 합성 장치(300)에 전송할 수 있다. The thermal imaging camera 100 may be installed at a first position facing the thermal sensing object 10 to photograph the thermal sensing object 10. That is, the thermal imaging camera 100 may photograph the thermal sensing target 10 to generate a thermal image, and transmit the generated thermal image to the image synthesizing apparatus 300.

열화상 카메라(100)는 제1 위치에 고정 설치되거나, 제1 위치에서 회전 가능하게 설치될 수 있다. 보다 자세하게는, 열화상 카메라(100)는 열감지 대상(10)의 임의의 한 방향을 촬영할 수 있도록 움직이지 않게 고정 설치되거나, 제1 위치에 고정된 상태에서 상하 또는 좌우 방향으로 회전 가능하도록 설치될 수 있다. 또는, 열화상 카메라(100)는 미리 정해진 동선을 따라 움직이면서 상하 또는 좌우 방향으로 회전하여 열감지 대상(10)의 표면 온도를 골고루 측정하도록 구성될 수도 있다.The thermal imaging camera 100 may be fixedly installed at the first position or may be rotatably installed at the first position. In more detail, the thermal imaging camera 100 is fixedly installed so as not to move so as to photograph any one direction of the thermal sensing object 10, or installed to be rotatable vertically or horizontally in a state fixed to the first position. Can be. Alternatively, the thermal imaging camera 100 may be configured to evenly measure the surface temperature of the thermal sensing object 10 by rotating in the vertical direction or left and right directions while moving along a predetermined copper line.

실화상 카메라(200)는 열감지 대상(10)을 바라보는 제2 위치에 설치되어 열감지 대상(10)을 촬영할 수 있다. 즉 실화상 카메라(200)는 열감지 대상(10)을 촬영하여 실화상 이미지를 생성하고, 생성된 실화상 이미지를 영상 합성 장치(300)에 전송할 수 있다. The real image camera 200 may be installed at a second position facing the heat sensing object 10 to photograph the heat sensing object 10. That is, the real image camera 200 may photograph the thermal sensing target 10 to generate a real image, and transmit the generated real image image to the image synthesizing apparatus 300.

실화상 카메라(200)는 제2 위치에 고정 설치되거나, 제2 위치에서 회전 가능하게 설치될 수 있다. 보다 자세하게는, 실화상 카메라(200)는 열감지 대상(10)의 임의의 한 방향을 촬영할 수 있도록 움직이지 않게 고정 설치되거나, 제2 위치에 고정된 상태에서 상하 또는 좌우 방향으로 회전 가능하도록 설치될 수 있다. 또는, 실화상 카메라(200)는 미리 정해진 동선을 따라 움직이면서 상하 또는 좌우 방향으로 회전하여 열감지 대상(10)을 골고루 촬영하도록 구성될 수도 있다.The real image camera 200 may be fixedly installed at the second position or may be rotatably installed at the second position. In more detail, the real image camera 200 is fixedly installed so as not to move so as to photograph any one direction of the thermal sensing object 10, or installed to be rotatable vertically or horizontally in a state fixed to the second position. Can be. Alternatively, the real image camera 200 may be configured to evenly photograph the thermal sensing target 10 by rotating in a vertical direction or left and right directions while moving along a predetermined copper line.

실화상 카메라(200)는 열감지 대상(10)의 색에 따라 미리 정해진 픽셀 값을 가지는 일반적인 영상 데이터인 실화상 이미지를 생성할 수 있고, CCD(Charge Coupled Device) 카메라와 같이 CCD 소자를 이용한 촬상 장치나, CMOS(Complementary Metal Oxide Semiconductor) 카메라와 같이 CMOS 이미지 센서를 이용한 촬상 장치 등으로 이루어질 수 있다. The real image camera 200 may generate a real image image, which is general image data having a predetermined pixel value according to the color of the thermal sensing object 10, and capture an image using a CCD device such as a charge coupled device (CCD) camera. Or an imaging device using a CMOS image sensor, such as a complementary metal oxide semiconductor (CMOS) camera.

본 발명의 실시예에서는 열화상 카메라(100)와 실화상 카메라(200)가 열감지 대상(10)을 기준으로 서로 대칭되게 설치되었으나, 이는 본 발명에 따른 일실시예로서 열화상 카메라(100)와 실화상 카메라(200)는 열감지 대상(10)을 촬영할 수 있는 다양한 위치에 설치될 수 있다. In the embodiment of the present invention, the thermal imaging camera 100 and the real image camera 200 are installed symmetrically with respect to the thermal sensing target 10, but this is an embodiment of the thermal imaging camera 100 according to the present invention. And the real image camera 200 may be installed at various locations that can shoot the thermal sensing target 10.

열화상 카메라(100) 및 실화상 카메라(200)는 생성된 열화상 이미지 및 실화상 이미지를 영상 합성 장치(300)에 전송하기 위하여 통신 모듈(미도시)이 각각 설치될 수 있다. 여기서, 통신 모듈은 USB 케이블 등과 같은 유선 통신 모듈 또는 무선 통신 모듈로 이루어질 수 있다. 통신 모듈이 무선 통신 모듈로 이루어질 경우 열화상 카메라(100) 및 실화상 카메라(200)는 영상 합성 장치(300)와의 거리에 구애받지 않고 열화상 이미지 및 실화상 이미지를 용이하게 영상 합성 장치(300)에 전송할 수 있다. The thermal imaging camera 100 and the actual imaging camera 200 may each be provided with a communication module (not shown) to transmit the generated thermal image and the actual image to the image synthesizing apparatus 300. Here, the communication module may be made of a wired communication module or a wireless communication module such as a USB cable. When the communication module is formed of a wireless communication module, the thermal imaging camera 100 and the real image camera 200 may easily integrate the thermal image and the actual image image regardless of the distance from the image synthesizing apparatus 300. ) Can be sent.

이하에서는 도 1에 도시된 영상 합성 장치의 구체적인 구성에 대해 도 2를 참조하여 설명하기로 한다.Hereinafter, a detailed configuration of the image synthesizing apparatus shown in FIG. 1 will be described with reference to FIG. 2.

도 2는 도 1에 도시한 영상 합성 장치의 세부 구성도이다.FIG. 2 is a detailed configuration diagram of the image synthesizing apparatus shown in FIG. 1.

도 2를 참조하면, 영상 합성 장치(300)는 이미지 획득부(310), 이미지 처리부(320), 이미지 보정부(330) 및 이미지 합성부(340)를 포함하여 구성된다. Referring to FIG. 2, the image synthesizing apparatus 300 includes an image acquirer 310, an image processor 320, an image corrector 330, and an image synthesizer 340.

이미지 획득부(310)는 열감지 대상(10)의 온도에 따라 미리 정해진 색상의 픽셀 값을 가지는 열화상 이미지를 열화상 카메라(100)로부터 획득하여 이미지 처리부(320)에 전송할 수 있다. 그리고 이미지 획득부(310)는 열감지 대상(10)의 색에 따라 미리 정해진 픽셀 값을 가지는 실화상 이미지를 실화상 카메라(200)로부터 획득하여 이미지 처리부(320)에 전송할 수 있다.The image acquirer 310 may acquire a thermal image having a pixel value of a predetermined color according to the temperature of the thermal sensing object 10 from the thermal imager 100 and transmit the thermal image to the image processor 320. The image acquirer 310 may acquire a real image image having a predetermined pixel value according to the color of the thermal sensing object 10 from the real image camera 200 and transmit it to the image processor 320.

이미지 처리부(320)는 열화상 이미지와 실화상 이미지에 이미지 프로세싱을 수행할 수 있다. The image processor 320 may perform image processing on the thermal image and the real image.

보다 자세하게는, 이미지 처리부(320)는 열화상 이미지 및 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행할 수 있다. 예컨대, 이미지 처리부(320)는 모션 블러(motion blur)를 제거하는 알고리즘 및 이미지의 가장자리를 선명하게 하는 알고리즘 등을 이용하여 필요에 따라 이미지에 있는 노이즈를 전반적으로 줄일 수 있고, 열화상 이미지와 실화상 이미지의 해상도를 전반적으로 높일 수 있는 이미지 프로세싱을 수행할 수 있다.In more detail, the image processor 320 may perform image preprocessing to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution. For example, the image processor 320 may reduce noise in the image as a whole by using an algorithm for removing motion blur and an algorithm for sharpening the edge of the image. Image processing that can increase the resolution of the image image as a whole can be performed.

그리고 이미지 처리부(320)는 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정할 수 있다. 이미지 처리부(320)는 하기에서 설명할 이미지 합성을 위하여 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 줄이는 프로세싱을 수행할 수 있다. 예컨대, 열화상 이미지가 실화상 이미지보다 크기가 작을 경우 열화상 이미지의 크기를 맞게 실화상 이미지의 크기를 조정하여 두 이미지의 사이즈를 맞추는 프로세싱을 수행할 수 있다. In addition, the image processor 320 may adjust the size based on the smaller image among the thermal image and the real image. The image processor 320 may perform a process of reducing the size of the thermal image and the real image based on the smaller image for image synthesis, which will be described later. For example, when the thermal image is smaller than the real image, processing of adjusting the size of the two images may be performed by adjusting the size of the real image to match the size of the thermal image.

이미지 보정부(330)는 이미지 처리부(320)에서 이미지 프로세싱된 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 열화상 카메라(100)의 위치 정보 및 실화상 카메라(200)의 위치 정보를 이용하여 열화상 이미지 및 실화상 이미지 중에서 적어도 하나의 이미지를 보정할 수 있다. 동일한 렌즈를 통해 입사하는 가시광선과 적외선을 이용하여 열화상 이미지와 실화상 이미지를 획득한 경우라면 보정이 필요하지 않지만, 서로 다른 카메라 앵글로 설치된 열화상 카메라와 실화상 카메라를 이용하여 해당 이미지를 획득한 경우에는, 획득한 이미지를 허용 오차 범위에 속하도록 카메라 앵글을 조정할 필요가 있다. The image corrector 330 may include the positional information of the thermal imaging camera 100 and the real image camera 200 so that the thermal image processed by the image processor 320 and the real image are taken at the same camera angle. At least one of the thermal image and the real image may be corrected using the location information. If a thermal image or a real image is acquired using visible and infrared rays incident through the same lens, no correction is necessary, but the image is acquired using a thermal imager and a real image camera installed at different camera angles. In one case, it is necessary to adjust the camera angle so that the acquired image falls within the tolerance range.

여기서, 열화상 카메라(100)의 위치 정보는 열감지 대상(10)과 제1 위치까지의 거리 정보 및 열감지 대상(10)과 열화상 카메라(100)가 이루는 각도 정보를 포함하고, 실화상 카메라(200)의 위치 정보는 열감지 대상(10)과 제2 위치까지의 거리 정보 및 열감지 대상(10)과 실화상 카메라(200)가 이루는 각도 정보를 포함할 수 있다.Here, the positional information of the thermal imaging camera 100 includes distance information between the thermal sensing object 10 and the first position and angle information between the thermal sensing object 10 and the thermal imaging camera 100. The location information of the camera 200 may include distance information between the thermal sensing object 10 and the second position and angle information between the thermal sensing object 10 and the real image camera 200.

도 1에서 열감지 대상(10)과 제1 위치까지의 거리가 d1, 열감지 대상(10)과 열화상 카메라(100)가 이루는 각도가 θ1, 열감지 대상(10)과 제2 위치까지의 거리기 d2, 열감지 대상(10)과 실화상 카메라(200)가 이루는 각도가 θ2인 경우, 이미지 보정부(330)는 실화상 이미지가 열화상 카메라(100)와 동일한 위치 정보인 d1의 거리와 θ1의 각도에서 촬영된 이미지가 되도록 보정할 수 있거나, 열화상 이미지가 실화상 카메라(200)와 동일한 위치 정보인 d2의 거리와 θ2의 각도에서 촬영된 이미지가 되도록 보정할 수 있다. In FIG. 1, the distance between the thermal sensing object 10 and the first position is d1, and the angle formed by the thermal sensing object 10 and the thermal imaging camera 100 is θ1, and the thermal sensing object 10 is connected to the second position. When the distance between the distance d2 and the thermal sensing object 10 and the real image camera 200 is θ2, the image corrector 330 may determine a distance between the real image and the distance of d1 of the same location information as that of the thermal image camera 100. The image may be corrected to be an image photographed at an angle of θ1, or the thermal image may be corrected to be an image photographed at an angle of θ2 and a distance of d2, which is the same position information as the real image camera 200.

도 3은 카메라 앵글을 설명하기 위한 예시도를 나타낸다.3 shows an exemplary view for explaining a camera angle.

도 3을 참조하여 예를 들면, (1)번 이미지는 제1 카메라 앵글에서 열화상 카메라로 촬영한 열화상 이미지이고, (3)번 이미지는 제2 카메라 앵글에서 실화상 카메라로 촬영한 실화상 이미지이고, (2)번 이미지는 열감지 대상(10)의 정면에서 촬영한 이미지이다.For example, referring to FIG. 3, image (1) is a thermal image photographed by a thermal imaging camera at a first camera angle, and image (3) is a real image photographed by a real image camera at a second camera angle. The image (2) is an image taken from the front of the heat sensing target 10.

이미지 보정부(330)는 서로 다른 카메라 앵글에서 촬영된 (1)번 및 (3)번 이미지의 픽셀을 조정해서 양 이미지를 일치시키는 보정을 수행할 수 있다. 즉 이미지 보정부(330)는 열화상 카메라(100)의 위치나 각도를 직접 이동시키지 않아도 열화상 이미지가 제2 카메라 앵글에서 촬영된 것처럼 조정할 수 있다. 또는 이미지 보정부(330)는 실화상 카메라(200)의 위치나 각도를 직접 이동시키지 않아도 실화상 이미지가 제1 카메라 앵글에서 촬영된 것처럼 조정할 수 있다. 이외에 이미지 보정부(330)는 열화상 이미지가 제3 카메라 앵글에서 촬영된 이미지가 되도록 보정하고 실화상 이미지가 제3 카메라 앵글에서 촬영된 이미지가 되도록 보정하여 열화상 이미지와 실화상 이미지가 모두 제3 카메라 앵글에서 촬영된 것처럼 조정할 수 있다. 여기서, 제3 카메라 앵글은 예컨대, 열감지 대상(10)을 정면에서 촬영하기 위한 카메라의 위치 및 각도로서, 열감지 대상(10)을 정면에서 촬영하기 위한 위치와 각도를 미리 알고 있는 경우, 이를 이용하여 열화상 이미지와 실화상 이미지를 모두 보정하는 것도 가능하다. 즉, 이미지 보정부(330)는 열화상 이미지의 카메라 앵글을 실화상 이미지에 맞게 보정하거나, 그 반대로 보정하거나, 양 이미지가 정면 앵글에 해당하게 보정할 수 있다. The image corrector 330 may perform correction to match both images by adjusting the pixels of the images (1) and (3) photographed at different camera angles. That is, the image corrector 330 may adjust the thermal image as if the thermal image was captured at the second camera angle without directly moving the position or angle of the thermal imager 100. Alternatively, the image corrector 330 may adjust the real image as if the real image was captured at the first camera angle without directly moving the position or angle of the real image camera 200. In addition, the image corrector 330 corrects the thermal image to be the image photographed at the third camera angle and corrects the real image to be the image photographed at the third camera angle, thereby removing both the thermal image and the real image image. 3 You can adjust the camera as if it were shot at an angle. Here, the third camera angle is, for example, the position and angle of the camera for photographing the thermal sensing target 10 from the front side, and when the position and angle for photographing the thermal sensing target 10 from the front are known in advance, It is also possible to correct both the thermal image and the real image. That is, the image corrector 330 may correct the camera angle of the thermal image to correspond to the real image, or vice versa, or correct both images to correspond to the front angle.

이미지 보정부(330)는 이미지 워핑(Image Warping) 알고리즘에 따라 열화상 이미지 및 실화상 이미지 중에서 적어도 하나의 이미지에 대한 픽셀의 위치 및 픽셀 값을 보정할 수 있다. 이미지 워핑 알고리즘은 이미지 픽셀의 위치를 이동시켜 이미지의 형태를 가변시키는 기하학적인 처리 기술로서, 이미지의 픽셀별로 이동하는 정도를 다르게 하여 원하는 영상을 얻을 수 있도록 한다. 이를 위하여 이미지 보정부(330)는 이미지 워핑 알고리즘에 따라 열화상 카메라(100)의 위치 정보 및 실화상 카메라(200)의 위치 정보에 대응하는 위치 변환 함수를 생성한 후, 생성된 위치 변환 함수를 이용하여 보정하고자 하는 이미지에 대한 픽셀의 위치를 이동시키거나 픽셀 값을 조정함으로써 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다. 즉 이미지 보정부(330)는 제어선, 제어점, 그물망 또는 다각형에 의한 이미지 워핑 알고리즘을 기초로 열화상 이미지와 실화상 이미지의 대응 관계를 기술하여 이미지의 픽셀 위치나 픽셀 값을 보정할 수 있다. The image corrector 330 may correct the position and pixel value of the pixel with respect to at least one of the thermal image and the real image image according to an image warping algorithm. Image warping algorithm is a geometric processing technique that changes the shape of an image by shifting the position of the image pixel, it is possible to obtain a desired image by varying the degree of movement for each pixel of the image. To this end, the image correction unit 330 generates a position conversion function corresponding to the position information of the thermal imaging camera 100 and the position information of the real image camera 200 according to an image warping algorithm, and then generates the generated position conversion function. At least one of the thermal image and the real image may be corrected by moving the position of the pixel with respect to the image to be corrected or adjusting the pixel value. That is, the image corrector 330 may correct the pixel position or the pixel value of the image by describing a correspondence relationship between the thermal image image and the real image image based on an image warping algorithm based on a control line, a control point, a mesh, or a polygon.

이와 같이, 이미지 보정부(330)는 이미지 워핑 알고리즘을 이용하여 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 보정할 수 있다. As described above, the image corrector 330 may correct the thermal image and the real image so that the image is captured at the same camera angle by using an image warping algorithm.

이미지 보정부(330)는 사용자 인터페이스를 통해 사용자로부터 열화상 카메라(100)의 위치 정보와 실화상 카메라(200)의 위치 정보를 직접 입력 받을 수 있거나, 열화상 카메라(100) 및 실화상 카메라(200)의 통신 모듈을 통해 열화상 카메라(100) 및 실화상 카메라(200)의 센서에서 측정된 열화상 카메라(100)의 위치 정보와 실화상 카메라(200)의 위치 정보를 입력 받을 수 있다. 예컨대, 열화상 카메라(100) 및 실화상 카메라(200)에 각각 설치된 초음파 센서를 통하여 열감지 대상(10)과 열화상 카메라(100)까지의 거리 및 열감지 대상(10)과 실화상 카메라(200)까지의 거리를 획득할 수 있으며, 열화상 카메라(100) 및 실화상 카메라(200)가 팬틸트 유닛에 각각 설치된 경우, 팬틸트 유닛에 설치된 센서를 이용하여 열화상 카메라 및 실화상 카메라의 틸팅 각도와 패닝 각도를 검출함으로써 열감지 대상(10)과 열화상 카메라(100)가 이루는 각도 및 열감지 대상(10)과 실화상 카메라(200)가 이루는 각도를 획득할 수 있다.The image corrector 330 may directly receive the positional information of the thermal imager 100 and the positional information of the real image camera 200 from a user through a user interface, or the thermal imager 100 and the real image camera ( The location information of the thermal imaging camera 100 and the location information of the actual imaging camera 200 measured by the thermal imaging camera 100 and the sensors of the actual imaging camera 200 may be input through the communication module of the 200. For example, the distance between the thermal sensing object 10 and the thermal imaging camera 100 and the distance between the thermal sensing object 10 and the thermal imaging camera through the ultrasonic sensors installed in the thermal imaging camera 100 and the actual imaging camera 200, respectively. Distance to the camera 200, and when the thermal imaging camera 100 and the real image camera 200 are installed in the pan tilt unit, respectively, the sensors installed in the pan tilt unit By detecting the tilting angle and the panning angle, the angle between the thermal sensing object 10 and the thermal imaging camera 100 and the angle between the thermal sensing object 10 and the real image camera 200 may be obtained.

이미지 합성부(340)는 보정된 열화상 이미지 및 실화상 이미지를 합성할 수 있다.The image synthesizing unit 340 may synthesize the corrected thermal image and the real image.

보다 자세하게는, 이미지 합성부(340)는 열화상 이미지와, 실화상 이미지에 있는 열감지 대상(10)의 윤곽선 영역을 합성하여 열감지 대상(10)의 윤곽선을 보다 선명하게 구분할 수 있도록 한다. 즉 이미지 합성부(340)는 열화상 이미지에 있는 온도분포 영역과, 실화상 이미지에 있는 열감지 대상(10)의 윤곽선 특징을 기반으로 이미지 매칭을 수행하여 고해상도의 열화상 이미지를 생성할 수 있다. 이를 위하여 이미지 합성부(340)는 실화상 이미지에서 열감지 대상(10)의 윤곽선 영역을 추출하고, 열화상 이미지에서는 열감지 대상(10)의 윤곽선을 제외한 온도분포 이미지를 추출한 후 이를 합성할 수 있다.In more detail, the image synthesizing unit 340 synthesizes the thermal image image and the contour region of the thermal sensing object 10 in the real image image to more clearly distinguish the contour of the thermal sensing object 10. That is, the image synthesizing unit 340 may generate a high resolution thermal image by performing image matching based on a temperature distribution region of the thermal image and a contour feature of the thermal sensing object 10 of the real image. . To this end, the image synthesizing unit 340 extracts the contour region of the thermal sensing object 10 from the real image image, and extracts a temperature distribution image excluding the contour of the thermal sensing object 10 from the thermal image image and then synthesizes it. have.

여기서, 열감지 대상의 윤곽선 영역은 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다. 보다 자세하게는, 이미지 합성부(340)는 열화상 이미지에서 열감지 대상(10)의 윤곽선 영역과 접하거나 인접한 영역의 색상을 추출한 후, 이미지의 합성 시 추출된 색상에 대비되는 색상으로 열감지 대상의 윤곽선 영역을 조정할 수 있다. 이에 따라, 합성된 이미지에 있는 윤곽선 영역의 선명도를 향상시키면서도 열감지 대상(10)의 온도분포를 보다 정확하게 파악할 수 있게 된다.Here, the contour area of the thermal sensing object may be formed of a color complementary to the color of the thermal image. In more detail, the image synthesizing unit 340 extracts a color of a region in contact with or adjacent to the contour region of the thermal sensing target 10 in the thermal image, and then the thermal sensing target with a color contrasted with the extracted color when the images are synthesized. You can adjust the contour area of. Accordingly, it is possible to more accurately grasp the temperature distribution of the thermal sensing object 10 while improving the sharpness of the contour area in the synthesized image.

하기에서는 본 발명의 실시예에 따른 영상 합성 방법에 대하여 설명하도록 한다.Hereinafter, an image synthesis method according to an embodiment of the present invention will be described.

도 4는 본 발명의 일 실시예에 따른 영상 합성 과정을 보여주는 동작 흐름도를 나타낸다.4 is an operation flowchart showing an image synthesis process according to an embodiment of the present invention.

도 4를 참조하면, 열감지 대상을 향하는 제1 위치 및 제2 위치에 각각 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득한다(S400).Referring to FIG. 4, a thermal image and a real image are respectively obtained from a thermal image camera and a real image camera respectively installed at a first position and a second position facing a thermal sensing object (S400).

보다 자세하게는, 열감지 대상의 온도에 따라 미리 정해진 색상의 픽셀 값을 가지는 열화상 이미지를 열화상 카메라로부터 획득할 수 있고, 열감지 대상의 색에 따라 미리 정해진 픽셀 값을 가지는 실화상 이미지를 실화상 카메라로부터 획득할 수 있다.More specifically, a thermal image having a pixel value of a predetermined color according to the temperature of the thermal sensing object may be obtained from a thermal imager, and a real image image having a predetermined pixel value according to the color of the thermal sensing object may be implemented. Can be obtained from an image camera.

다음으로, 획득된 열화상 이미지 및 실화상 이미지에 이미지 프로세싱을 수행한다(S410).Next, image processing is performed on the obtained thermal image and the real image image (S410).

보다 자세하게는, 열화상 이미지 및 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행할 수 있다. 예컨대, 모션 블러(motion blur)를 제거하는 알고리즘 및 이미지의 가장자리를 선명하게 하는 알고리즘 등을 이용하여 필요에 따라 이미지에 있는 노이즈를 전반적으로 줄일 수 있고, 열화상 이미지와 실화상 이미지의 해상도를 전반적으로 높일 수 있는 이미지 프로세싱을 수행할 수 있다.More specifically, image preprocessing may be performed to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution. For example, by using an algorithm that removes motion blur and an algorithm that sharpens the edges of an image, it is possible to reduce noise in the image as needed in general and to reduce the resolution of thermal images and real images. You can perform image processing to increase.

그리고 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정할 수 있다. 즉 하기에서 설명할 이미지 합성을 위하여 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 줄이는 프로세싱을 수행할 수 있다. 예컨대, 열화상 이미지가 실화상 이미지보다 크기가 작을 경우 열화상 이미지의 크기를 맞게 실화상 이미지의 크기를 조정하여 두 이미지의 사이즈를 맞추는 프로세싱을 수행할 수 있다. 이외에 열화상 이미지에 있는 열감지 대상의 크기와 실화상 이미지에 있는 열감지 대상의 크기를 동일하게 조정하는 프로세싱을 수행할 수도 있다. The size of the image may be adjusted based on a smaller image among the thermal image and the real image. That is, processing for reducing the size may be performed based on a smaller image among the thermal image and the real image image for image synthesis to be described below. For example, when the thermal image is smaller than the real image, processing of adjusting the size of the two images may be performed by adjusting the size of the real image to match the size of the thermal image. In addition, processing may be performed to equally adjust the size of the thermal sensing object in the thermal image and the size of the thermal sensing object in the real image.

그리고, 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 열화상 카메라의 위치 정보 및 실화상 카메라의 위치 정보를 이용하여 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정한다(S420). 동일한 렌즈를 통해 입사하는 가시광선과 적외선을 이용하여 열화상 이미지와 실화상 이미지를 획득한 경우라면 보정이 필요하지 않지만, 서로 다른 카메라 앵글로 설치된 열화상 카메라와 실화상 카메라를 이용하여 해당 이미지를 획득한 경우에는, 획득한 이미지를 허용 오차 범위에 속하도록 카메라 앵글을 조정할 필요가 있다. 전술한 바와 같이 이미지 앵글의 조정은 열화상 이미지의 카메라 앵글을 실화상 이미지에 맞게 보정하거나, 그 반대로 보정하거나, 양 이미지가 정면 방향의 카메라 앵글에 해당하게 보정할 수 있다.Then, at least one of the thermal image and the real image image is corrected using the position information of the thermal image camera and the position information of the real image camera such that the thermal image and the real image are captured at the same camera angle. (S420). If a thermal image or a real image is acquired using visible and infrared rays incident through the same lens, no correction is necessary, but the image is acquired using a thermal imager and a real image camera installed at different camera angles. In one case, it is necessary to adjust the camera angle so that the acquired image falls within the tolerance range. As described above, the adjustment of the image angle may correct the camera angle of the thermal image to correspond to the real image, or vice versa, or correct both images to correspond to the front camera angle.

그리고 이미지 워핑(Image Warping) 알고리즘에 따라 열화상 이미지 및 실화상 이미지 중에서 적어도 하나의 이미지에 대한 픽셀의 위치나 픽셀 값을 보정할 수 있다. 이미지 워핑 알고리즘은 이미지 픽셀의 위치를 이동시켜 이미지의 형태를 가변시키는 기하학적인 처리 기술로서, 이미지의 픽셀별로 이동하는 정도를 다르게 하여 원하는 영상을 얻을 수 있도록 한다. 이를 위하여 이미지 워핑 알고리즘에 따라 열화상 카메라의 위치 정보 및 실화상 카메라의 위치 정보에 대응하는 위치 변환 함수를 생성한 후, 생성된 위치 변환 함수를 이용하여 보정하고자 하는 이미지에 대한 픽셀의 위치를 이동시키거나 픽셀 값을 조정함으로써 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다. 즉 제어선, 제어점, 그물망 또는 다각형에 의한 이미지 워핑 알고리즘을 기초로 열화상 이미지와 실화상 이미지의 대응 관계를 기술하 여이미지의 픽셀 위치나 픽셀 값을 보정할 수 있다.The pixel position or pixel value of at least one of the thermal image and the real image may be corrected according to an image warping algorithm. Image warping algorithm is a geometric processing technique that changes the shape of an image by shifting the position of the image pixel, it is possible to obtain a desired image by varying the degree of movement for each pixel of the image. To this end, after generating a position conversion function corresponding to the positional information of the thermal imaging camera and the positional information of the real image camera according to the image warping algorithm, the position of the pixel with respect to the image to be corrected is moved by using the generated position conversion function. Or at least one of the thermal image and the real image by adjusting the pixel value. That is, the pixel position or pixel value of an image may be corrected by describing a correspondence relationship between a thermal image and a real image based on an image warping algorithm based on a control line, a control point, a mesh, or a polygon.

그런 후, 보정된 열화상 이미지 및 실화상 이미지를 합성한다(S430).Thereafter, the corrected thermal image and the real image are synthesized (S430).

보다 자세하게는, 열화상 이미지와, 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성하여 열감지 대상의 윤곽선을 보다 선명하게 구분할 수 있도록 한다. 즉 열화상 이미지에 있는 온도분포 영역과, 실화상 이미지에 있는 열감지 대상의 윤곽선 특징을 기반으로 이미지 매칭을 수행하여 고해상도의 열화상 이미지를 생성할 수 있다. 이를 위하여 실화상 이미지에서 열감지 대상의 윤곽선 영역을 추출하고, 열화상 이미지에서는 열감지 대상의 윤곽선을 제외한 온도분포 이미지를 추출한 후 이를 합성할 수 있다.In more detail, the contour of the thermal sensing object can be distinguished more clearly by combining the thermal image with the contour region of the thermal sensing object in the real image. That is, high resolution thermal images may be generated by performing image matching on the basis of the temperature distribution region in the thermal image and the contour characteristics of the thermal sensing object in the real image. To this end, the contour region of the thermal sensing object may be extracted from the real image, and the temperature distribution image excluding the contour of the thermal sensing object may be extracted and then synthesized.

여기서, 열감지 대상의 윤곽선 영역은 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다. 보다 자세하게는, 열화상 이미지에서 열감지 대상의 윤곽선 영역과 접하거나 인접한 영역의 색상을 추출한 후, 이미지의 합성 시 추출된 색상에 대비되는 색상으로 열감지 대상의 윤곽선 영역을 조정할 수 있다. 이에 따라, 합성된 이미지에 있는 윤곽선 영역의 선명도를 향상시키면서도 열감지 대상의 온도분포를 보다 정확하게 파악할 수 있게 된다.Here, the contour area of the thermal sensing object may be formed of a color complementary to the color of the thermal image. In more detail, after extracting the color of the region contacting or adjacent to the contour region of the thermal sensing object in the thermal image, it is possible to adjust the contour region of the thermal sensing object to be a color contrasted with the extracted color when the images are synthesized. Accordingly, it is possible to more accurately grasp the temperature distribution of the thermal sensing object while improving the sharpness of the contour area in the synthesized image.

본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 영상 합성 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations. This medium records a program for executing the above-described image synthesizing method. The media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like. Hardware devices configured to store and perform such operations. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

100: 열화상 카메라
200: 실화상 카메라
300: 영상 합성 장치
310: 이미지 획득부
320: 이미지 처리부
330: 이미지 보정부
340: 이미지 합성부
100: thermal imaging camera
200: visual camera
300: video synthesis device
310: image acquisition unit
320: image processing unit
330: image correction unit
340: image synthesis unit

Claims (16)

열감지 대상을 향하는 제1 위치 및 제2 위치에 각각 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 단계,
상기 획득된 열화상 이미지와 상기 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 카메라의 위치 정보 및 상기 실화상 카메라의 위치 정보를 이용하여 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 단계, 및
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계
를 포함하는 영상 합성 방법.
Acquiring a thermal image and a virtual image from a thermal imaging camera and a virtual imaging camera respectively installed at a first position and a second position facing a thermal sensing object;
At least one of the thermal image and the real image using the position information of the thermal image camera and the position information of the real image camera such that the obtained thermal image and the real image are captured at the same camera angle. Correcting one image, and
Synthesizing the corrected thermal image and the real image
Image synthesis method comprising a.
제 1 항에서,
상기 적어도 하나의 이미지를 보정하는 단계는,
이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지에 대한 픽셀의 위치 및 픽셀 값을 보정하는 영상 합성 방법.
In claim 1,
Compensating the at least one image,
And a pixel position and pixel value of at least one of the thermal image and the real image image according to an image warping algorithm.
제 1 항에서,
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 단계를 더 포함하는 영상 합성 방법.
In claim 1,
And performing image processing on the obtained thermal image and the real image.
제 3 항에서,
상기 이미지 프로세싱을 수행하는 단계는,
상기 열화상 이미지 및 상기 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행하는 영상 합성 방법.
In claim 3,
Performing the image processing,
And image preprocessing to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution.
제 3 항에서,
상기 이미지 프로세싱을 수행하는 단계는,
상기 열화상 이미지 및 상기 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정하는 영상 합성 방법.
In claim 3,
Performing the image processing,
And adjusting the size of the thermal image and the real image based on a smaller image.
제 1 항에서,
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계는,
상기 열화상 이미지와 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성하는 영상 합성 방법.
In claim 1,
Synthesizing the corrected thermal image and the real image image,
And a contour region of the thermal sensing object in the thermal image and the real image.
제 6 항에서,
상기 열감지 대상의 윤곽선 영역은,
상기 열화상 이미지의 색상에 보색인 색상으로 이루어지는 영상 합성 방법.
In claim 6,
The contour area of the heat sensing target is
And a color complementary to the color of the thermal image.
제 1 항에서,
상기 열화상 카메라의 위치 정보는,
상기 열감지 대상과 상기 제1 위치까지의 거리 정보 및 상기 열감지 대상과 상기 열화상 카메라가 이루는 각도 정보를 포함하고,
상기 실화상 카메라의 위치 정보는,
상기 열감지 대상과 상기 제2 위치까지의 거리 정보 및 상기 열감지 대상과 상기 실화상 카메라가 이루는 각도 정보를 포함하는 영상 합성 방법.
In claim 1,
Position information of the thermal imaging camera,
Distance information between the thermal sensing object and the first position and angle information between the thermal sensing object and the thermal imaging camera;
Position information of the real image camera,
And distance information between the heat sensing object and the second position and angle information between the heat sensing object and the real image camera.
열감지 대상을 향하는 제1 위치 및 제2 위치에 각각 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 이미지 획득부,
상기 획득된 열화상 이미지와 상기 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 카메라의 위치 정보 및 상기 실화상 카메라의 위치 정보를 이용하여 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지를 보정하는 이미지 보정부, 및
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 이미지 합성부
를 포함하는 영상 합성 장치.
An image acquisition unit for acquiring a thermal image and a real image from a thermal imaging camera and a virtual imaging camera respectively installed at a first position and a second position facing a thermal sensing object;
At least one of the thermal image and the real image using the position information of the thermal image camera and the position information of the real image camera such that the obtained thermal image and the real image are captured at the same camera angle. An image corrector for correcting one image, and
An image synthesizer configured to synthesize the corrected thermal image and the real image;
Image synthesizing apparatus comprising a.
제 9 항에서,
상기 이미지 보정부는,
이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지에 대한 픽셀의 위치 및 픽셀 값을 보정하는 영상 합성 장치.
In claim 9,
The image correction unit,
And a pixel position and pixel value of the at least one of the thermal image and the real image image according to an image warping algorithm.
제 9 항에서,
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 이미지 처리부를 더 포함하는 영상 합성 장치.
In claim 9,
And an image processor configured to perform image processing on the obtained thermal image and the real image.
제 11 항에서,
상기 이미지 처리부는,
상기 열화상 이미지 및 상기 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행하는 영상 합성 장치.
In claim 11,
The image processing unit,
And performing image preprocessing to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution.
제 11 항에서,
상기 이미지 처리부는,
상기 열화상 이미지 및 상기 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정하는 영상 합성 장치.
In claim 11,
The image processing unit,
An image synthesizing apparatus for adjusting the size of the thermal image and the real image based on a smaller image.
제 9 항에서,
상기 이미지 합성부는,
상기 열화상 이미지와, 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성하는 영상 합성 장치.
In claim 9,
The image synthesis unit,
And a contour region of the thermal sensing object in the real image image.
제 14 항에서,
상기 열감지 대상의 윤곽선 영역은,
상기 열화상 이미지의 색상에 보색인 색상으로 이루어지는 영상 합성 장치.
The method of claim 14,
The contour area of the heat sensing target is
And a color complementary to the color of the thermal image.
제 9 항에서,
상기 열화상 카메라의 위치 정보는,
상기 열감지 대상과 상기 제1 위치까지의 거리 정보 및 상기 열감지 대상과 상기 열화상 카메라가 이루는 각도 정보를 포함하고,
상기 실화상 카메라의 위치 정보는,
상기 열감지 대상과 상기 제2 위치까지의 거리 정보 및 상기 열감지 대상과 상기 실화상 카메라가 이루는 각도 정보를 포함하는 영상 합성 장치.
In claim 9,
Position information of the thermal imaging camera,
Distance information between the thermal sensing object and the first position and angle information between the thermal sensing object and the thermal imaging camera;
Position information of the real image camera,
And distance information between the heat sensing object and the second position and angle information between the heat sensing object and the real image camera.
KR1020180084320A 2018-07-19 2018-07-19 Apparatus and Method for Synthesizing Image KR20200009667A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180084320A KR20200009667A (en) 2018-07-19 2018-07-19 Apparatus and Method for Synthesizing Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180084320A KR20200009667A (en) 2018-07-19 2018-07-19 Apparatus and Method for Synthesizing Image

Publications (1)

Publication Number Publication Date
KR20200009667A true KR20200009667A (en) 2020-01-30

Family

ID=69321618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180084320A KR20200009667A (en) 2018-07-19 2018-07-19 Apparatus and Method for Synthesizing Image

Country Status (1)

Country Link
KR (1) KR20200009667A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102368794B1 (en) 2021-06-08 2022-03-02 탑아이티 주식회사 Thermal image and real image automatic matching system
WO2022114371A1 (en) * 2020-11-27 2022-06-02 (주)메쉬 Automatic optimal mapping method of real image and thermographic image of fever screening device and fever screening device to which same method is applied

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100984679B1 (en) 2009-12-23 2010-10-01 주식회사 비츠로테크 Estimation system of detecting the deterioration of switchgear by using a heat image camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100984679B1 (en) 2009-12-23 2010-10-01 주식회사 비츠로테크 Estimation system of detecting the deterioration of switchgear by using a heat image camera

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114371A1 (en) * 2020-11-27 2022-06-02 (주)메쉬 Automatic optimal mapping method of real image and thermographic image of fever screening device and fever screening device to which same method is applied
KR20220075095A (en) * 2020-11-27 2022-06-07 (주)메쉬 Optimal automatic mapping method of real image and thermal image in a body heat tester and body heat tester applying thereof method
KR102368794B1 (en) 2021-06-08 2022-03-02 탑아이티 주식회사 Thermal image and real image automatic matching system

Similar Documents

Publication Publication Date Title
US9369612B2 (en) Image fusion system and method
US8410441B2 (en) Thermal imaging camera for taking thermographic images
JP5580164B2 (en) Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program
EP1914682B1 (en) Image processing system and method for improving repeatability
Sinha et al. Pan–tilt–zoom camera calibration and high-resolution mosaic generation
CN107836111B (en) System and method for enhanced dynamic range infrared imaging
JP6036824B2 (en) Angle of view variation detection device, angle of view variation detection method, and field angle variation detection program
WO2018164969A1 (en) Multi-channel compressive sensing-based object recognition
KR102096576B1 (en) Method and Apparatus for Synthesizing Image
KR101524548B1 (en) Apparatus and method for alignment of images
CN102685365A (en) Image synthesizing apparatus, image synthesizing method, and image synthesizing program
JP2010136302A5 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
US10348963B2 (en) Super resolution binary imaging and tracking system
KR102144394B1 (en) Apparatus and method for alignment of images
KR101630281B1 (en) Image processing apparatus
JPH11337493A (en) Detecting system for position of abnormal point by image processing
KR20200009667A (en) Apparatus and Method for Synthesizing Image
JP6967464B2 (en) Image processing device
KR102278200B1 (en) Image processing apparatus, medium, and method
US20210335010A1 (en) Calibration method and calibration apparatus
KR101625471B1 (en) Method and apparatus for enhancing resolution of popular low cost thermal image camera
CN110995982B (en) Image processing apparatus, control method therefor, imaging apparatus, and recording medium
KR20200016508A (en) Method and Apparatus for Synthesizing Image
JP7306408B2 (en) Temperature estimation device, temperature estimation method and temperature estimation program
JP2007036743A (en) Method of synthesizing multiple images and imaging apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application