KR20200009667A - Apparatus and Method for Synthesizing Image - Google Patents
Apparatus and Method for Synthesizing Image Download PDFInfo
- Publication number
- KR20200009667A KR20200009667A KR1020180084320A KR20180084320A KR20200009667A KR 20200009667 A KR20200009667 A KR 20200009667A KR 1020180084320 A KR1020180084320 A KR 1020180084320A KR 20180084320 A KR20180084320 A KR 20180084320A KR 20200009667 A KR20200009667 A KR 20200009667A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- thermal
- real
- camera
- real image
- Prior art date
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001931 thermography Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 22
- 230000000295 complement effect Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 3
- 238000001308 synthesis method Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 abstract description 11
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 238000003384 imaging method Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract 4
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상 합성 장치 및 그의 영상 합성 방법에 관한 것으로, 보다 상세하게는 열감지 대상의 열화상 이미지와 실화상 이미지를 합성할 수 있는 영상 합성 장치 및 그의 영상 합성 방법에 관한 것이다.The present invention relates to an image synthesizing apparatus and an image synthesizing method thereof, and more particularly, to an image synthesizing apparatus and an image synthesizing method capable of synthesizing a thermal image and a real image of a thermal sensing target.
일반적으로 열화상 기술은 감지 대상의 표면에 있는 복사 에너지를 검출하고, 이를 온도로 환산하여 실시간으로 영상을 제공하는 기술로서, 감지 대상의 표면 온도 변화를 비접촉, 비파괴 및 실시간으로 측정 가능하기 때문에 재료의 열적 특성 평가, 열화 진단, 결함 검사, 체열 측정을 통한 의료 진단, 화재나 가스누출 감시 또는 보안구역 침입 감시 등과 같은 다양한 분야에서 활용되고 있다. In general, thermal imaging technology detects radiant energy on a surface of a sensing object and converts it into a temperature to provide an image in real time. Since a change in surface temperature of the sensing object can be measured in a non-contact, non-destructive and real-time manner, It is used in various fields such as thermal characterization, deterioration diagnosis, defect inspection, medical diagnosis through body temperature measurement, fire or gas leak monitoring, or security zone intrusion monitoring.
이러한 열화상 기술이 적용되는 열화상 카메라는 모든 물체가 가지고 있는 고유한 복사 에너지로부터 방출되는 적외선 파장을 받아들여 출력되는 전기적인 신호를 사람이 인식할 수 있는 정지 영상 혹은 동영상으로 변환하여 출력하는 장치로서, 모터, 큰 부품이나 전기 패널 등을 단번에 측정할 수 있으며, 과열되거나 기타 위험한 부분이 아무리 작더라도 쉽게 발견할 수 있는 장점이 있다. 즉, 수 천 개의 적외선 온도계를 동시에 사용하는 것과 같은 효과가 있으며, 적외선 온도계는 한 지점의 온도만 측정할 수 있는 반면, 열화상 카메라는 대상 물체 전체의 온도를 동시에 측정할 수 있다. This thermal imaging camera is a device that converts an electric signal output by receiving infrared wavelengths from the unique radiant energy of all objects and converts it into a human-readable still image or video. As a result, it is possible to measure a motor, a large part or an electric panel at a time, and there is an advantage that it can be easily found no matter how small the overheating or other dangerous parts. In other words, the effect of using several thousand infrared thermometers at the same time, infrared thermometers can measure the temperature of only one point, while thermal imaging cameras can measure the temperature of the entire object at the same time.
그리고 열화상 카메라에서 적외선 파장을 전기적인 신호로 변환하는 적외선 센서의 종류로는 열형의 상온방식과 광자형의 저온방식이 있는데, 이 중에서 저온방식은 성능이 뛰어나지만 액체질소 냉각기가 필요하고 가격이 높은 단점이 있는 반면에, 상온방식은 복사 에너지를 저항이나 전류 또는 기전력 변화로 검출하는 방식으로, 저온방식에 비하여 성능은 떨어지지만 냉각기가 필요 없고 가격이 저렴하여 일반적으로 많이 사용되고 있다. In addition, there are two types of infrared sensors that convert infrared wavelengths into electrical signals in thermal imaging cameras. The thermal room temperature method and the photon-type low temperature method are used. Among them, the low temperature method is excellent in performance but requires a liquid nitrogen cooler and the price is low. On the other hand, the room temperature method is a method of detecting the radiant energy as a change in resistance, current or electromotive force, and the performance is lower than that of the low temperature method, but it is generally used because it does not require a cooler and is inexpensive.
하지만, 상온방식의 적외선 센서는 저온방식에 비해서 해상도가 낮기 때문에 사물의 구분 성능이 매우 부족한 문제점이 있었다. 그렇다고, 고해상도의 열화상 카메라를 사용하기에는 많은 비용이 소모되므로 경제적인 부담을 초래하게 되는 문제점이 있었다.However, the infrared sensor of the room temperature method has a problem that the separation performance of the object is very insufficient because of the lower resolution than the low temperature method. However, there is a problem in that it takes a lot of money to use a high-resolution thermal imaging camera, resulting in an economic burden.
상술한 문제점을 해결하기 위하여 일반 카메라에서 촬영된 실화상 이미지와 열화상 카메라에서 촬영된 열화상 이미지를 합성하여 해상도를 향상시킬 수 있도록 하였다. 일례로, 열화상 카메라의 기능과 실화상 카메라의 기능을 하나로 통합하여 사용자가 휴대하면서 촬영할 수 있도록 한 소형의 장치가 개발되었으나, 해당 장치는 사용자가 촬영하는 방향에 대응하는 감지 대상의 일부 영역만 모니터링 할 수 있으며, 다른 위치에서 감지 대상을 촬영하고자 할 경우 사용자가 매번 이동해야 하는 번거로움이 있었다.In order to solve the above problems, the resolution can be improved by synthesizing the real image image photographed by a general camera and the thermal image photographed by a thermal imager. For example, a small device has been developed that integrates the functions of a thermal imaging camera with the functions of a real image camera so that a user can take a picture while carrying it, but the device has only a portion of a sensing target corresponding to the direction in which the user is shooting. If you want to monitor, and if you want to shoot the target from a different location, the user has to move every time.
이에 따라, 감지 대상의 모니터링 영역이 제한되는 문제점이 있었다.Accordingly, there is a problem in that the monitoring area of the sensing target is limited.
따라서 본 발명이 해결하고자 하는 기술적 과제는 서로 다른 위치에 설치된 열화상 카메라 및 실화상 카메라에서 열감지 대상을 각각 촬영하도록 하고, 촬영된 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지로 되도록 보정한 후 이를 합성함으로써 열감지 대상의 모니터링 영역을 확장할 수 있으면서도 열감지 대상의 온도분포를 보다 선명하고 정확하게 파악할 수 있는 영상 합성 장치 및 그의 영상 합성 방법을 제공하는 것이다. Therefore, the technical problem to be solved by the present invention is to shoot the thermal sensing target in each of the thermal imaging camera and the real image camera installed in different positions, and the thermal image and the real image image taken by the image taken at the same camera angle The present invention provides an image synthesizing apparatus and an image synthesizing method capable of expanding the monitoring area of a heat sensing object and more clearly and accurately grasping a temperature distribution of a heat sensing object by correcting the composition after the correction.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.In addition to the objects explicitly stated, the present invention also includes other objects that can be achieved from the configurations of the present invention described below.
상기한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 합성 방법은 열감지 대상을 향하는 제1 위치 및 제2 위치에 각각 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 단계, 상기 획득된 열화상 이미지와 상기 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 카메라의 위치 정보 및 상기 실화상 카메라의 위치 정보를 이용하여 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 단계 및 상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계를 포함한다.According to an embodiment of the present invention for solving the above technical problem, a thermal image and a real image image are obtained from a thermal image camera and a real image camera respectively installed at a first position and a second position facing a thermal sensing object. Acquiring each of the thermal image and the thermal image by using the position information of the thermal image camera and the position information of the real image camera such that the obtained thermal image and the real image are taken at the same camera angle. Correcting at least one of the real image images and synthesizing the corrected thermal image and the real image image.
상기 적어도 하나의 이미지를 보정하는 단계는 이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지의 픽셀 위치를 보정할 수 있다.The correcting of the at least one image may correct pixel positions of at least one of the thermal image and the real image image according to an image warping algorithm.
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 단계를 더 포함할 수 있다.The method may further include performing image processing on the obtained thermal image and the real image.
상기 이미지 프로세싱을 수행하는 단계는 상기 열화상 이미지 및 상기 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행할 수 있다.The performing of the image processing may perform image preprocessing to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution.
상기 이미지 프로세싱을 수행하는 단계는 상기 열화상 이미지 및 상기 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정할 수 있다.In the performing of the image processing, the size may be adjusted based on a smaller size of the thermal image and the real image.
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계는 상기 열화상 이미지와 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성할 수 있다.The synthesizing of the corrected thermal image and the real image may include synthesizing the contour region of the thermal sensing object in the thermal image and the real image.
상기 열감지 대상의 윤곽선 영역은 상기 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다.The contour region of the thermal sensing object may be a color complementary to the color of the thermal image.
상기 열화상 카메라의 위치 정보는 상기 열감지 대상과 상기 제1 위치까지의 거리 정보 및 상기 열감지 대상과 상기 열화상 카메라가 이루는 각도 정보를 포함하고, 상기 실화상 카메라의 위치 정보는 상기 열감지 대상과 상기 제2 위치까지의 거리 정보 및 상기 열감지 대상과 상기 실화상 카메라가 이루는 각도 정보를 포함할 수 있다.The positional information of the thermal imaging camera includes distance information between the thermal sensing object and the first position and angle information between the thermal sensing object and the thermal imaging camera, and the positional information of the actual image camera is the thermal sensing. Distance information between an object and the second location, and angle information between the heat sensing object and the real image camera.
한편, 본 발명의 실시예에 따른 영상 합성 장치는 열감지 대상을 향하는 제1 위치 및 제2 위치에 각각 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 이미지 획득부, 상기 획득된 열화상 이미지와 상기 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 카메라의 위치 정보 및 상기 실화상 카메라의 위치 정보를 이용하여 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지를 보정하는 이미지 보정부 및 상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 이미지 합성부를 포함한다.On the other hand, the image synthesizing apparatus according to the embodiment of the present invention is an image acquisition unit for acquiring the thermal image and the real image from the thermal imaging camera and the real image camera respectively installed at the first position and the second position facing the thermal sensing target From among the thermal image and the real image using the position information of the thermal image camera and the position information of the real image camera such that the obtained thermal image and the real image are captured at the same camera angle. And an image compensator for compensating at least one image and an image composer for synthesizing the corrected thermal image and the real image.
상기 이미지 보정부는 이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지의 픽셀 위치를 보정할 수 있다.The image corrector may correct pixel positions of at least one of the thermal image and the real image image according to an image warping algorithm.
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 이미지 처리부를 더 포함할 수 있다.The method may further include an image processor configured to perform image processing on the obtained thermal image and the real image.
상기 이미지 처리부는 상기 열화상 이미지 및 상기 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행할 수 있다.The image processor may perform image preprocessing to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution.
상기 이미지 처리부는 상기 열화상 이미지 및 상기 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정할 수 있다.The image processor may adjust the size of the thermal image and the real image based on a smaller image.
상기 이미지 합성부는 상기 열화상 이미지와 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성할 수 있다.The image synthesizing unit may synthesize the contour region of the thermal sensing object in the thermal image and the real image.
상기 열감지 대상의 윤곽선 영역은 상기 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다.The contour region of the thermal sensing object may be a color complementary to the color of the thermal image.
상기 열화상 카메라의 위치 정보는 상기 열감지 대상과 상기 제1 위치까지의 거리 정보 및 상기 열감지 대상과 상기 열화상 카메라가 이루는 각도 정보를 포함하고, 상기 실화상 카메라의 위치 정보는 상기 열감지 대상과 상기 제2 위치까지의 거리 정보 및 상기 열감지 대상과 상기 실화상 카메라가 이루는 각도 정보를 포함할 수 있다.The positional information of the thermal imaging camera includes distance information between the thermal sensing object and the first position and angle information between the thermal sensing object and the thermal imaging camera, and the positional information of the actual image camera is the thermal sensing. Distance information between an object and the second location, and angle information between the heat sensing object and the real image camera.
이와 같이 본 발명의 실시예에 따른 영상 합성 장치 및 그의 영상 합성 방법에 따르면, 서로 다른 위치에서 촬영된 열감지 대상의 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지로 되도록 보정한 후 이를 합성할 수 있기 때문에 카메라의 위치에 대응하여 열감지 대상의 모니터링 영역을 확장할 수 있는 장점이 있다. 특히, 카메라가 좌우 또는 상하 방향으로 이동 가능하게 설치된 경우, 열감지 대상의 모니터링 영역을 더욱 확장시킬 수 있는 장점이 있다.As described above, according to the image synthesizing apparatus and the image synthesizing method according to the embodiment of the present invention, after correcting such that the thermal image and the real image of the thermal sensing target photographed at different positions are captured at the same camera angle, Since it can be synthesized, there is an advantage in that the monitoring area of the thermal sensing target can be extended in response to the position of the camera. In particular, when the camera is installed to be movable in the left and right or up and down direction, there is an advantage that can further expand the monitoring area of the thermal sensing target.
그리고 실화상 이미지에 있는 윤곽선 영역과 열화상 이미지를 합성하여 열화상 이미지에 있는 윤곽선의 선명도를 향상시킬 수 있기 때문에 열감지 대상의 온도분포를 보다 정확하게 파악할 수 있는 장점이 있다.In addition, since the sharpness of the contour in the thermal image may be improved by synthesizing the contour region and the thermal image in the real image, the temperature distribution of the thermal sensing object may be more accurately understood.
이에 따라, 합성된 이미지의 품질을 향상시킬 수 있는 효과를 창출한다.This creates an effect that can improve the quality of the synthesized image.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.On the other hand, the effects of the present invention are not limited to those described above, and other effects that can be derived from the configuration of the present invention described below are also included in the effects of the present invention.
도 1은 본 발명의 일 실시예에 따른 열감지 대상을 모니터링하기 위한 구성을 개략적으로 보여주는 도면이다.
도 2는 도 1에 도시한 영상 합성 장치의 세부 구성도이다.
도 3은 카메라 앵글을 설명하기 위한 예시도를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 영상을 합성하는 과정을 보여주는 동작 흐름도이다.1 is a view schematically showing a configuration for monitoring a heat sensing target according to an embodiment of the present invention.
FIG. 2 is a detailed configuration diagram of the image synthesizing apparatus shown in FIG. 1.
3 shows an exemplary view for explaining a camera angle.
4 is an operation flowchart showing a process of synthesizing an image according to an embodiment of the present invention.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.
도 1은 본 발명의 일 실시예에 따른 열감지 대상을 모니터링하기 위한 구성을 개략적으로 보여주는 도면을 나타낸다.1 is a view schematically showing a configuration for monitoring a heat sensing target according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 열감지 대상(10)을 모니터링하기 위한 시스템은 열화상 카메라(100), 실화상 카메라(200) 및 영상 합성 장치(300)를 포함하여 구성된다. 열감지 대상(10)은 온도 분포의 확인을 위해 모니터링이 필요한 모든 대상으로서, 예컨대, 가공 및 생산 작업장, 데이터 센터, 발전소 및 변/배전 시설, 운수 및 대중교통 시설, 냉동 창고 및 각종 저장시설 등의 중요한 전기/기계 부품이나 설비 등이 될 수 있다. As shown in FIG. 1, the system for monitoring the
열화상 카메라(100)는 열감지 대상(10)을 바라보는 제1 위치에 설치되어 열감지 대상(10)을 촬영할 수 있다. 즉 열화상 카메라(100)는 열감지 대상(10)을 촬영하여 열화상 이미지를 생성하고, 생성된 열화상 이미지를 영상 합성 장치(300)에 전송할 수 있다. The
열화상 카메라(100)는 제1 위치에 고정 설치되거나, 제1 위치에서 회전 가능하게 설치될 수 있다. 보다 자세하게는, 열화상 카메라(100)는 열감지 대상(10)의 임의의 한 방향을 촬영할 수 있도록 움직이지 않게 고정 설치되거나, 제1 위치에 고정된 상태에서 상하 또는 좌우 방향으로 회전 가능하도록 설치될 수 있다. 또는, 열화상 카메라(100)는 미리 정해진 동선을 따라 움직이면서 상하 또는 좌우 방향으로 회전하여 열감지 대상(10)의 표면 온도를 골고루 측정하도록 구성될 수도 있다.The
실화상 카메라(200)는 열감지 대상(10)을 바라보는 제2 위치에 설치되어 열감지 대상(10)을 촬영할 수 있다. 즉 실화상 카메라(200)는 열감지 대상(10)을 촬영하여 실화상 이미지를 생성하고, 생성된 실화상 이미지를 영상 합성 장치(300)에 전송할 수 있다. The
실화상 카메라(200)는 제2 위치에 고정 설치되거나, 제2 위치에서 회전 가능하게 설치될 수 있다. 보다 자세하게는, 실화상 카메라(200)는 열감지 대상(10)의 임의의 한 방향을 촬영할 수 있도록 움직이지 않게 고정 설치되거나, 제2 위치에 고정된 상태에서 상하 또는 좌우 방향으로 회전 가능하도록 설치될 수 있다. 또는, 실화상 카메라(200)는 미리 정해진 동선을 따라 움직이면서 상하 또는 좌우 방향으로 회전하여 열감지 대상(10)을 골고루 촬영하도록 구성될 수도 있다.The
실화상 카메라(200)는 열감지 대상(10)의 색에 따라 미리 정해진 픽셀 값을 가지는 일반적인 영상 데이터인 실화상 이미지를 생성할 수 있고, CCD(Charge Coupled Device) 카메라와 같이 CCD 소자를 이용한 촬상 장치나, CMOS(Complementary Metal Oxide Semiconductor) 카메라와 같이 CMOS 이미지 센서를 이용한 촬상 장치 등으로 이루어질 수 있다. The
본 발명의 실시예에서는 열화상 카메라(100)와 실화상 카메라(200)가 열감지 대상(10)을 기준으로 서로 대칭되게 설치되었으나, 이는 본 발명에 따른 일실시예로서 열화상 카메라(100)와 실화상 카메라(200)는 열감지 대상(10)을 촬영할 수 있는 다양한 위치에 설치될 수 있다. In the embodiment of the present invention, the
열화상 카메라(100) 및 실화상 카메라(200)는 생성된 열화상 이미지 및 실화상 이미지를 영상 합성 장치(300)에 전송하기 위하여 통신 모듈(미도시)이 각각 설치될 수 있다. 여기서, 통신 모듈은 USB 케이블 등과 같은 유선 통신 모듈 또는 무선 통신 모듈로 이루어질 수 있다. 통신 모듈이 무선 통신 모듈로 이루어질 경우 열화상 카메라(100) 및 실화상 카메라(200)는 영상 합성 장치(300)와의 거리에 구애받지 않고 열화상 이미지 및 실화상 이미지를 용이하게 영상 합성 장치(300)에 전송할 수 있다. The
이하에서는 도 1에 도시된 영상 합성 장치의 구체적인 구성에 대해 도 2를 참조하여 설명하기로 한다.Hereinafter, a detailed configuration of the image synthesizing apparatus shown in FIG. 1 will be described with reference to FIG. 2.
도 2는 도 1에 도시한 영상 합성 장치의 세부 구성도이다.FIG. 2 is a detailed configuration diagram of the image synthesizing apparatus shown in FIG. 1.
도 2를 참조하면, 영상 합성 장치(300)는 이미지 획득부(310), 이미지 처리부(320), 이미지 보정부(330) 및 이미지 합성부(340)를 포함하여 구성된다. Referring to FIG. 2, the
이미지 획득부(310)는 열감지 대상(10)의 온도에 따라 미리 정해진 색상의 픽셀 값을 가지는 열화상 이미지를 열화상 카메라(100)로부터 획득하여 이미지 처리부(320)에 전송할 수 있다. 그리고 이미지 획득부(310)는 열감지 대상(10)의 색에 따라 미리 정해진 픽셀 값을 가지는 실화상 이미지를 실화상 카메라(200)로부터 획득하여 이미지 처리부(320)에 전송할 수 있다.The
이미지 처리부(320)는 열화상 이미지와 실화상 이미지에 이미지 프로세싱을 수행할 수 있다. The
보다 자세하게는, 이미지 처리부(320)는 열화상 이미지 및 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행할 수 있다. 예컨대, 이미지 처리부(320)는 모션 블러(motion blur)를 제거하는 알고리즘 및 이미지의 가장자리를 선명하게 하는 알고리즘 등을 이용하여 필요에 따라 이미지에 있는 노이즈를 전반적으로 줄일 수 있고, 열화상 이미지와 실화상 이미지의 해상도를 전반적으로 높일 수 있는 이미지 프로세싱을 수행할 수 있다.In more detail, the
그리고 이미지 처리부(320)는 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정할 수 있다. 이미지 처리부(320)는 하기에서 설명할 이미지 합성을 위하여 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 줄이는 프로세싱을 수행할 수 있다. 예컨대, 열화상 이미지가 실화상 이미지보다 크기가 작을 경우 열화상 이미지의 크기를 맞게 실화상 이미지의 크기를 조정하여 두 이미지의 사이즈를 맞추는 프로세싱을 수행할 수 있다. In addition, the
이미지 보정부(330)는 이미지 처리부(320)에서 이미지 프로세싱된 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 열화상 카메라(100)의 위치 정보 및 실화상 카메라(200)의 위치 정보를 이용하여 열화상 이미지 및 실화상 이미지 중에서 적어도 하나의 이미지를 보정할 수 있다. 동일한 렌즈를 통해 입사하는 가시광선과 적외선을 이용하여 열화상 이미지와 실화상 이미지를 획득한 경우라면 보정이 필요하지 않지만, 서로 다른 카메라 앵글로 설치된 열화상 카메라와 실화상 카메라를 이용하여 해당 이미지를 획득한 경우에는, 획득한 이미지를 허용 오차 범위에 속하도록 카메라 앵글을 조정할 필요가 있다. The
여기서, 열화상 카메라(100)의 위치 정보는 열감지 대상(10)과 제1 위치까지의 거리 정보 및 열감지 대상(10)과 열화상 카메라(100)가 이루는 각도 정보를 포함하고, 실화상 카메라(200)의 위치 정보는 열감지 대상(10)과 제2 위치까지의 거리 정보 및 열감지 대상(10)과 실화상 카메라(200)가 이루는 각도 정보를 포함할 수 있다.Here, the positional information of the
도 1에서 열감지 대상(10)과 제1 위치까지의 거리가 d1, 열감지 대상(10)과 열화상 카메라(100)가 이루는 각도가 θ1, 열감지 대상(10)과 제2 위치까지의 거리기 d2, 열감지 대상(10)과 실화상 카메라(200)가 이루는 각도가 θ2인 경우, 이미지 보정부(330)는 실화상 이미지가 열화상 카메라(100)와 동일한 위치 정보인 d1의 거리와 θ1의 각도에서 촬영된 이미지가 되도록 보정할 수 있거나, 열화상 이미지가 실화상 카메라(200)와 동일한 위치 정보인 d2의 거리와 θ2의 각도에서 촬영된 이미지가 되도록 보정할 수 있다. In FIG. 1, the distance between the
도 3은 카메라 앵글을 설명하기 위한 예시도를 나타낸다.3 shows an exemplary view for explaining a camera angle.
도 3을 참조하여 예를 들면, (1)번 이미지는 제1 카메라 앵글에서 열화상 카메라로 촬영한 열화상 이미지이고, (3)번 이미지는 제2 카메라 앵글에서 실화상 카메라로 촬영한 실화상 이미지이고, (2)번 이미지는 열감지 대상(10)의 정면에서 촬영한 이미지이다.For example, referring to FIG. 3, image (1) is a thermal image photographed by a thermal imaging camera at a first camera angle, and image (3) is a real image photographed by a real image camera at a second camera angle. The image (2) is an image taken from the front of the
이미지 보정부(330)는 서로 다른 카메라 앵글에서 촬영된 (1)번 및 (3)번 이미지의 픽셀을 조정해서 양 이미지를 일치시키는 보정을 수행할 수 있다. 즉 이미지 보정부(330)는 열화상 카메라(100)의 위치나 각도를 직접 이동시키지 않아도 열화상 이미지가 제2 카메라 앵글에서 촬영된 것처럼 조정할 수 있다. 또는 이미지 보정부(330)는 실화상 카메라(200)의 위치나 각도를 직접 이동시키지 않아도 실화상 이미지가 제1 카메라 앵글에서 촬영된 것처럼 조정할 수 있다. 이외에 이미지 보정부(330)는 열화상 이미지가 제3 카메라 앵글에서 촬영된 이미지가 되도록 보정하고 실화상 이미지가 제3 카메라 앵글에서 촬영된 이미지가 되도록 보정하여 열화상 이미지와 실화상 이미지가 모두 제3 카메라 앵글에서 촬영된 것처럼 조정할 수 있다. 여기서, 제3 카메라 앵글은 예컨대, 열감지 대상(10)을 정면에서 촬영하기 위한 카메라의 위치 및 각도로서, 열감지 대상(10)을 정면에서 촬영하기 위한 위치와 각도를 미리 알고 있는 경우, 이를 이용하여 열화상 이미지와 실화상 이미지를 모두 보정하는 것도 가능하다. 즉, 이미지 보정부(330)는 열화상 이미지의 카메라 앵글을 실화상 이미지에 맞게 보정하거나, 그 반대로 보정하거나, 양 이미지가 정면 앵글에 해당하게 보정할 수 있다. The
이미지 보정부(330)는 이미지 워핑(Image Warping) 알고리즘에 따라 열화상 이미지 및 실화상 이미지 중에서 적어도 하나의 이미지에 대한 픽셀의 위치 및 픽셀 값을 보정할 수 있다. 이미지 워핑 알고리즘은 이미지 픽셀의 위치를 이동시켜 이미지의 형태를 가변시키는 기하학적인 처리 기술로서, 이미지의 픽셀별로 이동하는 정도를 다르게 하여 원하는 영상을 얻을 수 있도록 한다. 이를 위하여 이미지 보정부(330)는 이미지 워핑 알고리즘에 따라 열화상 카메라(100)의 위치 정보 및 실화상 카메라(200)의 위치 정보에 대응하는 위치 변환 함수를 생성한 후, 생성된 위치 변환 함수를 이용하여 보정하고자 하는 이미지에 대한 픽셀의 위치를 이동시키거나 픽셀 값을 조정함으로써 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다. 즉 이미지 보정부(330)는 제어선, 제어점, 그물망 또는 다각형에 의한 이미지 워핑 알고리즘을 기초로 열화상 이미지와 실화상 이미지의 대응 관계를 기술하여 이미지의 픽셀 위치나 픽셀 값을 보정할 수 있다. The
이와 같이, 이미지 보정부(330)는 이미지 워핑 알고리즘을 이용하여 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 보정할 수 있다. As described above, the
이미지 보정부(330)는 사용자 인터페이스를 통해 사용자로부터 열화상 카메라(100)의 위치 정보와 실화상 카메라(200)의 위치 정보를 직접 입력 받을 수 있거나, 열화상 카메라(100) 및 실화상 카메라(200)의 통신 모듈을 통해 열화상 카메라(100) 및 실화상 카메라(200)의 센서에서 측정된 열화상 카메라(100)의 위치 정보와 실화상 카메라(200)의 위치 정보를 입력 받을 수 있다. 예컨대, 열화상 카메라(100) 및 실화상 카메라(200)에 각각 설치된 초음파 센서를 통하여 열감지 대상(10)과 열화상 카메라(100)까지의 거리 및 열감지 대상(10)과 실화상 카메라(200)까지의 거리를 획득할 수 있으며, 열화상 카메라(100) 및 실화상 카메라(200)가 팬틸트 유닛에 각각 설치된 경우, 팬틸트 유닛에 설치된 센서를 이용하여 열화상 카메라 및 실화상 카메라의 틸팅 각도와 패닝 각도를 검출함으로써 열감지 대상(10)과 열화상 카메라(100)가 이루는 각도 및 열감지 대상(10)과 실화상 카메라(200)가 이루는 각도를 획득할 수 있다.The
이미지 합성부(340)는 보정된 열화상 이미지 및 실화상 이미지를 합성할 수 있다.The
보다 자세하게는, 이미지 합성부(340)는 열화상 이미지와, 실화상 이미지에 있는 열감지 대상(10)의 윤곽선 영역을 합성하여 열감지 대상(10)의 윤곽선을 보다 선명하게 구분할 수 있도록 한다. 즉 이미지 합성부(340)는 열화상 이미지에 있는 온도분포 영역과, 실화상 이미지에 있는 열감지 대상(10)의 윤곽선 특징을 기반으로 이미지 매칭을 수행하여 고해상도의 열화상 이미지를 생성할 수 있다. 이를 위하여 이미지 합성부(340)는 실화상 이미지에서 열감지 대상(10)의 윤곽선 영역을 추출하고, 열화상 이미지에서는 열감지 대상(10)의 윤곽선을 제외한 온도분포 이미지를 추출한 후 이를 합성할 수 있다.In more detail, the
여기서, 열감지 대상의 윤곽선 영역은 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다. 보다 자세하게는, 이미지 합성부(340)는 열화상 이미지에서 열감지 대상(10)의 윤곽선 영역과 접하거나 인접한 영역의 색상을 추출한 후, 이미지의 합성 시 추출된 색상에 대비되는 색상으로 열감지 대상의 윤곽선 영역을 조정할 수 있다. 이에 따라, 합성된 이미지에 있는 윤곽선 영역의 선명도를 향상시키면서도 열감지 대상(10)의 온도분포를 보다 정확하게 파악할 수 있게 된다.Here, the contour area of the thermal sensing object may be formed of a color complementary to the color of the thermal image. In more detail, the
하기에서는 본 발명의 실시예에 따른 영상 합성 방법에 대하여 설명하도록 한다.Hereinafter, an image synthesis method according to an embodiment of the present invention will be described.
도 4는 본 발명의 일 실시예에 따른 영상 합성 과정을 보여주는 동작 흐름도를 나타낸다.4 is an operation flowchart showing an image synthesis process according to an embodiment of the present invention.
도 4를 참조하면, 열감지 대상을 향하는 제1 위치 및 제2 위치에 각각 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득한다(S400).Referring to FIG. 4, a thermal image and a real image are respectively obtained from a thermal image camera and a real image camera respectively installed at a first position and a second position facing a thermal sensing object (S400).
보다 자세하게는, 열감지 대상의 온도에 따라 미리 정해진 색상의 픽셀 값을 가지는 열화상 이미지를 열화상 카메라로부터 획득할 수 있고, 열감지 대상의 색에 따라 미리 정해진 픽셀 값을 가지는 실화상 이미지를 실화상 카메라로부터 획득할 수 있다.More specifically, a thermal image having a pixel value of a predetermined color according to the temperature of the thermal sensing object may be obtained from a thermal imager, and a real image image having a predetermined pixel value according to the color of the thermal sensing object may be implemented. Can be obtained from an image camera.
다음으로, 획득된 열화상 이미지 및 실화상 이미지에 이미지 프로세싱을 수행한다(S410).Next, image processing is performed on the obtained thermal image and the real image image (S410).
보다 자세하게는, 열화상 이미지 및 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행할 수 있다. 예컨대, 모션 블러(motion blur)를 제거하는 알고리즘 및 이미지의 가장자리를 선명하게 하는 알고리즘 등을 이용하여 필요에 따라 이미지에 있는 노이즈를 전반적으로 줄일 수 있고, 열화상 이미지와 실화상 이미지의 해상도를 전반적으로 높일 수 있는 이미지 프로세싱을 수행할 수 있다.More specifically, image preprocessing may be performed to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution. For example, by using an algorithm that removes motion blur and an algorithm that sharpens the edges of an image, it is possible to reduce noise in the image as needed in general and to reduce the resolution of thermal images and real images. You can perform image processing to increase.
그리고 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정할 수 있다. 즉 하기에서 설명할 이미지 합성을 위하여 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 줄이는 프로세싱을 수행할 수 있다. 예컨대, 열화상 이미지가 실화상 이미지보다 크기가 작을 경우 열화상 이미지의 크기를 맞게 실화상 이미지의 크기를 조정하여 두 이미지의 사이즈를 맞추는 프로세싱을 수행할 수 있다. 이외에 열화상 이미지에 있는 열감지 대상의 크기와 실화상 이미지에 있는 열감지 대상의 크기를 동일하게 조정하는 프로세싱을 수행할 수도 있다. The size of the image may be adjusted based on a smaller image among the thermal image and the real image. That is, processing for reducing the size may be performed based on a smaller image among the thermal image and the real image image for image synthesis to be described below. For example, when the thermal image is smaller than the real image, processing of adjusting the size of the two images may be performed by adjusting the size of the real image to match the size of the thermal image. In addition, processing may be performed to equally adjust the size of the thermal sensing object in the thermal image and the size of the thermal sensing object in the real image.
그리고, 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 열화상 카메라의 위치 정보 및 실화상 카메라의 위치 정보를 이용하여 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정한다(S420). 동일한 렌즈를 통해 입사하는 가시광선과 적외선을 이용하여 열화상 이미지와 실화상 이미지를 획득한 경우라면 보정이 필요하지 않지만, 서로 다른 카메라 앵글로 설치된 열화상 카메라와 실화상 카메라를 이용하여 해당 이미지를 획득한 경우에는, 획득한 이미지를 허용 오차 범위에 속하도록 카메라 앵글을 조정할 필요가 있다. 전술한 바와 같이 이미지 앵글의 조정은 열화상 이미지의 카메라 앵글을 실화상 이미지에 맞게 보정하거나, 그 반대로 보정하거나, 양 이미지가 정면 방향의 카메라 앵글에 해당하게 보정할 수 있다.Then, at least one of the thermal image and the real image image is corrected using the position information of the thermal image camera and the position information of the real image camera such that the thermal image and the real image are captured at the same camera angle. (S420). If a thermal image or a real image is acquired using visible and infrared rays incident through the same lens, no correction is necessary, but the image is acquired using a thermal imager and a real image camera installed at different camera angles. In one case, it is necessary to adjust the camera angle so that the acquired image falls within the tolerance range. As described above, the adjustment of the image angle may correct the camera angle of the thermal image to correspond to the real image, or vice versa, or correct both images to correspond to the front camera angle.
그리고 이미지 워핑(Image Warping) 알고리즘에 따라 열화상 이미지 및 실화상 이미지 중에서 적어도 하나의 이미지에 대한 픽셀의 위치나 픽셀 값을 보정할 수 있다. 이미지 워핑 알고리즘은 이미지 픽셀의 위치를 이동시켜 이미지의 형태를 가변시키는 기하학적인 처리 기술로서, 이미지의 픽셀별로 이동하는 정도를 다르게 하여 원하는 영상을 얻을 수 있도록 한다. 이를 위하여 이미지 워핑 알고리즘에 따라 열화상 카메라의 위치 정보 및 실화상 카메라의 위치 정보에 대응하는 위치 변환 함수를 생성한 후, 생성된 위치 변환 함수를 이용하여 보정하고자 하는 이미지에 대한 픽셀의 위치를 이동시키거나 픽셀 값을 조정함으로써 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다. 즉 제어선, 제어점, 그물망 또는 다각형에 의한 이미지 워핑 알고리즘을 기초로 열화상 이미지와 실화상 이미지의 대응 관계를 기술하 여이미지의 픽셀 위치나 픽셀 값을 보정할 수 있다.The pixel position or pixel value of at least one of the thermal image and the real image may be corrected according to an image warping algorithm. Image warping algorithm is a geometric processing technique that changes the shape of an image by shifting the position of the image pixel, it is possible to obtain a desired image by varying the degree of movement for each pixel of the image. To this end, after generating a position conversion function corresponding to the positional information of the thermal imaging camera and the positional information of the real image camera according to the image warping algorithm, the position of the pixel with respect to the image to be corrected is moved by using the generated position conversion function. Or at least one of the thermal image and the real image by adjusting the pixel value. That is, the pixel position or pixel value of an image may be corrected by describing a correspondence relationship between a thermal image and a real image based on an image warping algorithm based on a control line, a control point, a mesh, or a polygon.
그런 후, 보정된 열화상 이미지 및 실화상 이미지를 합성한다(S430).Thereafter, the corrected thermal image and the real image are synthesized (S430).
보다 자세하게는, 열화상 이미지와, 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성하여 열감지 대상의 윤곽선을 보다 선명하게 구분할 수 있도록 한다. 즉 열화상 이미지에 있는 온도분포 영역과, 실화상 이미지에 있는 열감지 대상의 윤곽선 특징을 기반으로 이미지 매칭을 수행하여 고해상도의 열화상 이미지를 생성할 수 있다. 이를 위하여 실화상 이미지에서 열감지 대상의 윤곽선 영역을 추출하고, 열화상 이미지에서는 열감지 대상의 윤곽선을 제외한 온도분포 이미지를 추출한 후 이를 합성할 수 있다.In more detail, the contour of the thermal sensing object can be distinguished more clearly by combining the thermal image with the contour region of the thermal sensing object in the real image. That is, high resolution thermal images may be generated by performing image matching on the basis of the temperature distribution region in the thermal image and the contour characteristics of the thermal sensing object in the real image. To this end, the contour region of the thermal sensing object may be extracted from the real image, and the temperature distribution image excluding the contour of the thermal sensing object may be extracted and then synthesized.
여기서, 열감지 대상의 윤곽선 영역은 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다. 보다 자세하게는, 열화상 이미지에서 열감지 대상의 윤곽선 영역과 접하거나 인접한 영역의 색상을 추출한 후, 이미지의 합성 시 추출된 색상에 대비되는 색상으로 열감지 대상의 윤곽선 영역을 조정할 수 있다. 이에 따라, 합성된 이미지에 있는 윤곽선 영역의 선명도를 향상시키면서도 열감지 대상의 온도분포를 보다 정확하게 파악할 수 있게 된다.Here, the contour area of the thermal sensing object may be formed of a color complementary to the color of the thermal image. In more detail, after extracting the color of the region contacting or adjacent to the contour region of the thermal sensing object in the thermal image, it is possible to adjust the contour region of the thermal sensing object to be a color contrasted with the extracted color when the images are synthesized. Accordingly, it is possible to more accurately grasp the temperature distribution of the thermal sensing object while improving the sharpness of the contour area in the synthesized image.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 영상 합성 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations. This medium records a program for executing the above-described image synthesizing method. The media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like. Hardware devices configured to store and perform such operations. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
100: 열화상 카메라
200: 실화상 카메라
300: 영상 합성 장치
310: 이미지 획득부
320: 이미지 처리부
330: 이미지 보정부
340: 이미지 합성부100: thermal imaging camera
200: visual camera
300: video synthesis device
310: image acquisition unit
320: image processing unit
330: image correction unit
340: image synthesis unit
Claims (16)
상기 획득된 열화상 이미지와 상기 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 카메라의 위치 정보 및 상기 실화상 카메라의 위치 정보를 이용하여 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 단계, 및
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계
를 포함하는 영상 합성 방법.Acquiring a thermal image and a virtual image from a thermal imaging camera and a virtual imaging camera respectively installed at a first position and a second position facing a thermal sensing object;
At least one of the thermal image and the real image using the position information of the thermal image camera and the position information of the real image camera such that the obtained thermal image and the real image are captured at the same camera angle. Correcting one image, and
Synthesizing the corrected thermal image and the real image
Image synthesis method comprising a.
상기 적어도 하나의 이미지를 보정하는 단계는,
이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지에 대한 픽셀의 위치 및 픽셀 값을 보정하는 영상 합성 방법.In claim 1,
Compensating the at least one image,
And a pixel position and pixel value of at least one of the thermal image and the real image image according to an image warping algorithm.
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 단계를 더 포함하는 영상 합성 방법.In claim 1,
And performing image processing on the obtained thermal image and the real image.
상기 이미지 프로세싱을 수행하는 단계는,
상기 열화상 이미지 및 상기 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행하는 영상 합성 방법.In claim 3,
Performing the image processing,
And image preprocessing to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution.
상기 이미지 프로세싱을 수행하는 단계는,
상기 열화상 이미지 및 상기 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정하는 영상 합성 방법.In claim 3,
Performing the image processing,
And adjusting the size of the thermal image and the real image based on a smaller image.
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계는,
상기 열화상 이미지와 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성하는 영상 합성 방법.In claim 1,
Synthesizing the corrected thermal image and the real image image,
And a contour region of the thermal sensing object in the thermal image and the real image.
상기 열감지 대상의 윤곽선 영역은,
상기 열화상 이미지의 색상에 보색인 색상으로 이루어지는 영상 합성 방법. In claim 6,
The contour area of the heat sensing target is
And a color complementary to the color of the thermal image.
상기 열화상 카메라의 위치 정보는,
상기 열감지 대상과 상기 제1 위치까지의 거리 정보 및 상기 열감지 대상과 상기 열화상 카메라가 이루는 각도 정보를 포함하고,
상기 실화상 카메라의 위치 정보는,
상기 열감지 대상과 상기 제2 위치까지의 거리 정보 및 상기 열감지 대상과 상기 실화상 카메라가 이루는 각도 정보를 포함하는 영상 합성 방법.In claim 1,
Position information of the thermal imaging camera,
Distance information between the thermal sensing object and the first position and angle information between the thermal sensing object and the thermal imaging camera;
Position information of the real image camera,
And distance information between the heat sensing object and the second position and angle information between the heat sensing object and the real image camera.
상기 획득된 열화상 이미지와 상기 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 카메라의 위치 정보 및 상기 실화상 카메라의 위치 정보를 이용하여 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지를 보정하는 이미지 보정부, 및
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 이미지 합성부
를 포함하는 영상 합성 장치.An image acquisition unit for acquiring a thermal image and a real image from a thermal imaging camera and a virtual imaging camera respectively installed at a first position and a second position facing a thermal sensing object;
At least one of the thermal image and the real image using the position information of the thermal image camera and the position information of the real image camera such that the obtained thermal image and the real image are captured at the same camera angle. An image corrector for correcting one image, and
An image synthesizer configured to synthesize the corrected thermal image and the real image;
Image synthesizing apparatus comprising a.
상기 이미지 보정부는,
이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 상기 실화상 이미지 중에서 적어도 하나의 이미지에 대한 픽셀의 위치 및 픽셀 값을 보정하는 영상 합성 장치.In claim 9,
The image correction unit,
And a pixel position and pixel value of the at least one of the thermal image and the real image image according to an image warping algorithm.
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 이미지 처리부를 더 포함하는 영상 합성 장치.In claim 9,
And an image processor configured to perform image processing on the obtained thermal image and the real image.
상기 이미지 처리부는,
상기 열화상 이미지 및 상기 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행하는 영상 합성 장치.In claim 11,
The image processing unit,
And performing image preprocessing to remove noise in the thermal image and the real image and to increase the resolution to a predetermined resolution.
상기 이미지 처리부는,
상기 열화상 이미지 및 상기 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정하는 영상 합성 장치.In claim 11,
The image processing unit,
An image synthesizing apparatus for adjusting the size of the thermal image and the real image based on a smaller image.
상기 이미지 합성부는,
상기 열화상 이미지와, 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성하는 영상 합성 장치.In claim 9,
The image synthesis unit,
And a contour region of the thermal sensing object in the real image image.
상기 열감지 대상의 윤곽선 영역은,
상기 열화상 이미지의 색상에 보색인 색상으로 이루어지는 영상 합성 장치. The method of claim 14,
The contour area of the heat sensing target is
And a color complementary to the color of the thermal image.
상기 열화상 카메라의 위치 정보는,
상기 열감지 대상과 상기 제1 위치까지의 거리 정보 및 상기 열감지 대상과 상기 열화상 카메라가 이루는 각도 정보를 포함하고,
상기 실화상 카메라의 위치 정보는,
상기 열감지 대상과 상기 제2 위치까지의 거리 정보 및 상기 열감지 대상과 상기 실화상 카메라가 이루는 각도 정보를 포함하는 영상 합성 장치.In claim 9,
Position information of the thermal imaging camera,
Distance information between the thermal sensing object and the first position and angle information between the thermal sensing object and the thermal imaging camera;
Position information of the real image camera,
And distance information between the heat sensing object and the second position and angle information between the heat sensing object and the real image camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180084320A KR20200009667A (en) | 2018-07-19 | 2018-07-19 | Apparatus and Method for Synthesizing Image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180084320A KR20200009667A (en) | 2018-07-19 | 2018-07-19 | Apparatus and Method for Synthesizing Image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200009667A true KR20200009667A (en) | 2020-01-30 |
Family
ID=69321618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180084320A KR20200009667A (en) | 2018-07-19 | 2018-07-19 | Apparatus and Method for Synthesizing Image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200009667A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102368794B1 (en) | 2021-06-08 | 2022-03-02 | 탑아이티 주식회사 | Thermal image and real image automatic matching system |
WO2022114371A1 (en) * | 2020-11-27 | 2022-06-02 | (주)메쉬 | Automatic optimal mapping method of real image and thermographic image of fever screening device and fever screening device to which same method is applied |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100984679B1 (en) | 2009-12-23 | 2010-10-01 | 주식회사 비츠로테크 | Estimation system of detecting the deterioration of switchgear by using a heat image camera |
-
2018
- 2018-07-19 KR KR1020180084320A patent/KR20200009667A/en not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100984679B1 (en) | 2009-12-23 | 2010-10-01 | 주식회사 비츠로테크 | Estimation system of detecting the deterioration of switchgear by using a heat image camera |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022114371A1 (en) * | 2020-11-27 | 2022-06-02 | (주)메쉬 | Automatic optimal mapping method of real image and thermographic image of fever screening device and fever screening device to which same method is applied |
KR20220075095A (en) * | 2020-11-27 | 2022-06-07 | (주)메쉬 | Optimal automatic mapping method of real image and thermal image in a body heat tester and body heat tester applying thereof method |
KR102368794B1 (en) | 2021-06-08 | 2022-03-02 | 탑아이티 주식회사 | Thermal image and real image automatic matching system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9369612B2 (en) | Image fusion system and method | |
US8410441B2 (en) | Thermal imaging camera for taking thermographic images | |
JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
EP1914682B1 (en) | Image processing system and method for improving repeatability | |
Sinha et al. | Pan–tilt–zoom camera calibration and high-resolution mosaic generation | |
CN107836111B (en) | System and method for enhanced dynamic range infrared imaging | |
JP6036824B2 (en) | Angle of view variation detection device, angle of view variation detection method, and field angle variation detection program | |
WO2018164969A1 (en) | Multi-channel compressive sensing-based object recognition | |
KR102096576B1 (en) | Method and Apparatus for Synthesizing Image | |
KR101524548B1 (en) | Apparatus and method for alignment of images | |
CN102685365A (en) | Image synthesizing apparatus, image synthesizing method, and image synthesizing program | |
JP2010136302A5 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
US10348963B2 (en) | Super resolution binary imaging and tracking system | |
KR102144394B1 (en) | Apparatus and method for alignment of images | |
KR101630281B1 (en) | Image processing apparatus | |
JPH11337493A (en) | Detecting system for position of abnormal point by image processing | |
KR20200009667A (en) | Apparatus and Method for Synthesizing Image | |
JP6967464B2 (en) | Image processing device | |
KR102278200B1 (en) | Image processing apparatus, medium, and method | |
US20210335010A1 (en) | Calibration method and calibration apparatus | |
KR101625471B1 (en) | Method and apparatus for enhancing resolution of popular low cost thermal image camera | |
CN110995982B (en) | Image processing apparatus, control method therefor, imaging apparatus, and recording medium | |
KR20200016508A (en) | Method and Apparatus for Synthesizing Image | |
JP7306408B2 (en) | Temperature estimation device, temperature estimation method and temperature estimation program | |
JP2007036743A (en) | Method of synthesizing multiple images and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |