KR20120109057A - Image synthesis system and image synthesis method - Google Patents

Image synthesis system and image synthesis method Download PDF

Info

Publication number
KR20120109057A
KR20120109057A KR1020110026458A KR20110026458A KR20120109057A KR 20120109057 A KR20120109057 A KR 20120109057A KR 1020110026458 A KR1020110026458 A KR 1020110026458A KR 20110026458 A KR20110026458 A KR 20110026458A KR 20120109057 A KR20120109057 A KR 20120109057A
Authority
KR
South Korea
Prior art keywords
image
visible light
thermal
thermal image
camera
Prior art date
Application number
KR1020110026458A
Other languages
Korean (ko)
Other versions
KR101314259B1 (en
Inventor
오재윤
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020110026458A priority Critical patent/KR101314259B1/en
Publication of KR20120109057A publication Critical patent/KR20120109057A/en
Application granted granted Critical
Publication of KR101314259B1 publication Critical patent/KR101314259B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: An image synthesis system and a method thereof are provided to use a remote temperature sensing function of a thermal image camera while using a monitoring function based on high resolution. CONSTITUTION: A visible ray camera(10) generates a first visible ray image which expresses brightness distribution of an object. A thermal image camera(20) is controlled at the same visible angle as the visible ray camera. The thermal image camera generates a first thermal image which expresses temperature information of the object. An image fusion unit(30) generates a second thermal image by resolution compensation about the object to which temperature information is requested. The image fusion unit fuses the first visible ray image and the second thermal image. [Reference numerals] (10) Visible ray camera; (20) Thermal image camera; (30) Image fusion unit; (40) Display unit

Description

영상 융합 시스템 및 그 방법{IMAGE SYNTHESIS SYSTEM AND IMAGE SYNTHESIS METHOD}Image fusion system and its method {IMAGE SYNTHESIS SYSTEM AND IMAGE SYNTHESIS METHOD}

본 발명은 가시광 카메라와 열상 카메라의 화각 제어에 기반한 영상 융합 시스템에 관한 것이다. The present invention relates to an image fusion system based on field of view control of a visible light camera and a thermal camera.

일반적인 감시 시스템용 가시광 카메라, 예를 들어 CCD 카메라는 다른 카메라에 비해 기술적으로 높은 수준에 도달해 있으며 광범위한 범위에 응용이 되고 있다. 그러나, CCD 카메라는 빛이 있는 곳에서만 감시 기능을 구현할 수 있으며 빛이 없는 곳에서는 감시 기능을 구현하는 것이 불가능하기 때문에 별도의 조명을 사용하지 않는 감시 시스템에 이용하기가 어렵다. 빛이 전혀 없는 환경에서의 감시를 위해 적외선 열상카메라를 이용할 수 있다. 적외선 열상카메라는 조명이 없는 곳에서의 감시 기능을 구현함은 물론이고 피사체의 열 손실 탐지, 회로 기판의 분석과 같은 열 방출과 관련된 다양한 범위에 응용되고 있다. Visible light cameras for general surveillance systems, such as CCD cameras, have reached a technically high level compared to other cameras and have a wide range of applications. However, since the CCD camera can implement a monitoring function only in the presence of light, and it is impossible to implement a monitoring function in the absence of light, it is difficult to use a CCD camera in a surveillance system that does not use a separate light. Infrared thermal cameras can be used for surveillance in the absence of light. Infrared thermal imaging cameras are used in various areas related to heat dissipation such as detection of heat loss of a subject and analysis of a circuit board as well as realizing a surveillance function in the absence of lighting.

그러나, 열상 카메라는 도 6에 도시된 바와 같이, 피사체가 방출하는 열, 즉 적외선의 검출에 목적이 있는 장비이기 때문에 화질이나 해상도의 측면에서는 기존의 CCD를 이용한 감시용 카메라에 비해 성능이 낮다. 즉, 적외선 열상 카메라 단독으로는 피사체의 열 방출 특성을 감지하는데 적합할 수 있으나 피사체의 디테일한 형태를 구분하기에는 부적합하다. However, as shown in FIG. 6, since the thermal camera is a device for detecting heat emitted from a subject, that is, an infrared ray, performance of the thermal camera is lower than that of a conventional surveillance camera using a CCD in terms of image quality and resolution. That is, the infrared thermal camera alone may be suitable for detecting heat emission characteristics of the subject, but not suitable for distinguishing the detailed form of the subject.

본 발명은 고해상도의 감시 화면에 특정한 온도를 갖는 피사체의 온도 정보를 고해상도로 중첩하여 표시할 수 있는 영상 융합 시스템을 제공한다. The present invention provides an image fusion system that can display and superimpose the temperature information of a subject having a specific temperature on a high resolution surveillance screen in high resolution.

본 발명의 일 실시예에 따른 영상 융합 시스템은, 물체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하는 가시광 카메라; 상기 가시광 카메라와 동일한 화각으로 제어되고, 상기 물체의 온도 정보를 표현하는 제1 열상 영상을 생성하는 열상 카메라; 및 상기 제1 열상 영상에서 온도 정보가 요청되는 물체에 대해 해상도 보정을 수행하여 제2 열상 영상을 생성하고, 상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 영상 융합부;를 포함할 수 있다. An image fusion system according to an embodiment of the present invention, the visible light camera for generating a first visible light image representing the luminance distribution of the object; A thermal camera controlled by the same angle of view as the visible light camera and generating a first thermal image representing temperature information of the object; And an image fusion unit configured to perform a resolution correction on an object for which temperature information is requested in the first thermal image to generate a second thermal image, and to fuse the first visible light image and the second thermal image. have.

상기 영상 융합부는, 상기 제1 가시광 영상과 상기 제1 열상 영상의 사이즈를 동일하게 제어하는 사이즈 변경부; 및 상기 제1 열상 영상에서 상기 제1 가시광 영상의 물체를 구성하는 픽셀과 겹치는 픽셀의 온도 정보만을 표현하는 상기 해상도 보정을 기초로 상기 제2 열상 영상을 생성하고, 상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 정보 융합부;를 포함할 수 있다. The image fusion unit may include: a size change unit configured to equally control sizes of the first visible light image and the first thermal image; And generating the second thermal image based on the resolution correction representing only temperature information of pixels overlapping with pixels constituting the object of the first visible image in the first thermal image, and generating the first visible image and the second image. And an information fusion unit for fusing two thermal images.

상기 정보 융합부는, 상기 제1 가시광 영상의 물체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성하는 분리부; 및 사이즈가 동일한 상기 제2 가시광 영상과 상기 제1 열상 영상을 픽셀별로 매칭시키고, 상기 제1 열상 영상에서 상기 제2 가시광 영상의 물체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 상기 제2 열상 영상을 생성하는 해상도 보정부;를 포함할 수 있다. The information fusion unit may include: a separation unit generating one or more second visible light images by separately separating objects of the first visible light image; And matching the second visible light image having the same size with the first thermal image for each pixel, and removing temperature information of pixels that do not overlap with pixels constituting an object of the second visible light image from the first thermal image. And a resolution corrector configured to generate a second thermal image.

본 발명의 일 실시예에 따른 영상 융합 방법은, 가시광 카메라로 물체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하는 단계; 상기 가시광 카메라와 동일한 화각으로 제어된 열상 카메라로 상기 물체의 온도 정보를 표현하는 제1 열상 영상을 생성하는 단계; 상기 제1 열상 영상에서 온도 정보가 요청되는 물체에 대해 해상도 보정을 수행하여 제2 열상 영상을 생성하는 단계; 및 상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 단계;를 포함할 수 있다. An image fusion method according to an embodiment of the present invention includes generating a first visible light image representing a luminance distribution of an object with a visible light camera; Generating a first thermal image representing temperature information of the object with a thermal camera controlled at the same angle of view as the visible light camera; Generating a second thermal image by performing resolution correction on an object for which temperature information is requested in the first thermal image; And fusing the first visible light image and the second thermal image.

상기 제2 열상 영상 생성 단계는, 상기 제1 가시광 영상과 상기 제1 열상 영상의 사이즈를 동일하게 제어하는 단계; 상기 제1 가시광 영상의 물체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성하는 단계; 및 사이즈가 동일한 상기 제2 가시광 영상과 상기 제1 열상 영상을 픽셀별로 매칭시키고, 상기 제1 열상 영상에서 상기 제2 가시광 영상의 물체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 상기 제2 열상 영상을 생성하는 단계;를 포함할 수 있다. The generating of the second thermal image may include controlling the sizes of the first visible light image and the first thermal image to be the same; Generating at least one second visible light image by individually separating objects of the first visible light image; And matching the second visible light image having the same size with the first thermal image for each pixel, and removing temperature information of pixels that do not overlap with pixels constituting an object of the second visible light image from the first thermal image. And generating a second thermal image.

상기 융합 단계는, 상기 제2 열상 영상과 상기 제1 가시광 영상에 가중치를 적용하여 각 영상의 강도를 조절하는 단계;를 더 포함할 수 있다. The fusion step may further include adjusting the intensity of each image by applying weights to the second thermal image and the first visible light image.

본 발명은 일반 감시용 카메라가 가진 고해상도 기반의 감시 기능을 이용함과 동시에 열상카메라의 원격 온도 감지 기능을 사용하기 때문에 최적의 감시 성능을 구현할 수 있다. The present invention uses the high resolution based surveillance function of the general surveillance camera and at the same time uses the remote temperature sensing function of the thermal camera, it is possible to implement the optimal surveillance performance.

본 발명은 빛이 없는 환경에서의 감시가 가능하고, 일반 고해상도 감시 기능 구현 중에 피사체의 발열 상태 검출이 가능하고, 또한 피사체의 발열 상태 감시 기능 구현 중에 피사체의 형상 검출이 가능하다. The present invention is capable of monitoring in a light-free environment, it is possible to detect the heating state of the subject during the implementation of the general high-resolution monitoring function, and also to detect the shape of the subject during the heating state monitoring function of the subject.

도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 융합부의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 정보 융합부의 구성을 개략적으로 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 정보 융합부의 영상 융합 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 융합 방법을 설명하는 흐름도이다.
도 6은 열상 카메라에 의해 촬영된 영상이다. 1 is a block diagram schematically illustrating an image fusion system according to an embodiment of the present invention.
2 is a block diagram schematically illustrating a configuration of an image fusion unit according to an embodiment of the present invention.
3 is a block diagram schematically illustrating a configuration of an information fusion unit according to an embodiment of the present invention.
4 is a view illustrating an image fusion method of an information fusion unit according to an embodiment of the present invention.
5 is a flowchart illustrating an image fusion method according to an embodiment of the present invention.
6 is an image photographed by a thermal camera.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다. 1 is a block diagram schematically illustrating an image fusion system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 영상 융합 시스템은 가시광 카메라(10), 열상 카메라(20), 영상 융합부(30), 및 디스플레이부(40)를 포함한다. Referring to FIG. 1, the image fusion system of the present invention includes a visible light camera 10, a thermal camera 20, an image fusion unit 30, and a display unit 40.

가시광 카메라(10)는 빛(light)을 검출하는 방식으로 영상 정보를 획득하여 물체의 휘도 분포에 따른 가시광 영상을 생성하는 일반적인 감시 카메라로서, 사람의 눈과 같이 가시광선 영역의 물체를 감시하는데 사용된다. 예를 들어, 가시광 카메라(10)는 CCD(Charge Coupled Device)를 촬상소자로 사용하는 CCD 카메라일 수 있다. 가시광 카메라(10)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다. 본 명세서에서 물체는 배경 및 피사체를 포함하는 용어로 사용된다. The visible light camera 10 is a general surveillance camera that acquires image information by detecting light and generates a visible light image according to the luminance distribution of the object. The visible light camera 10 is used to monitor an object in the visible light region such as a human eye. do. For example, the visible light camera 10 may be a CCD camera using a charge coupled device (CCD) as an image pickup device. Visible light camera 10 is installed inside and outside offices, houses, hospitals, banks and public buildings that require security, and is used for access control or crime prevention. It can have In this specification, an object is used as a term including a background and a subject.

가시광 카메라(10)는 일반 촬영 조건에서 탁월한 감도와 고해상도의 화질을 제공하고, 가시광 카메라(10)의 이미지 센서는 다른 센서에 비해 비교적 넓은 다이나믹 레인지를 갖는다. The visible light camera 10 provides excellent sensitivity and high resolution image quality under normal shooting conditions, and the image sensor of the visible light camera 10 has a relatively wide dynamic range compared to other sensors.

열상 카메라(20)는 물체가 발산하는 복사 에너지(열에너지)를 감지하여 전자파의 일종인 적외선 파장 형태로 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상의 열상 영상을 생성한다. 열상 영상은 물체 표면을 온도의 높낮이에 따라 서로 다른 색으로 매핑하여 표현한다. The thermal imaging camera 20 detects radiant energy (thermal energy) emitted by an object and detects it in the form of infrared wavelength, which is a kind of electromagnetic waves, and measures the intensity of thermal energy to generate thermal images of different colors according to the intensity. The thermal image is represented by mapping the object surface to different colors according to the temperature of the object.

열상 카메라(20)는 빛이 없는 환경에서도 물체의 영상을 획득할 수 있으나, 가시광 카메라(10)에 비해 해상도가 낮아 촬영된 영상 내의 물를 인식하기가 어렵다는 단점이 있다. The thermal camera 20 may acquire an image of an object even in an environment without light, but has a disadvantage that it is difficult to recognize water in the captured image because the resolution is lower than that of the visible light camera 10.

가시광 카메라(10)와 열상 카메라(20)는 동일한 화각에서 영상을 촬영하도록 줌렌즈가 제어된다. 각 카메라에 장착된 센서의 크기와 줌 렌즈의 줌 구간별 초점 거리가 상이할 수 있으므로, 두 카메라가 촬영하는 영상의 화각이 동일해지도록 줌 렌즈를 정밀하게 제어할 필요가 있다. The zoom lens is controlled so that the visible light camera 10 and the thermal camera 20 take images at the same angle of view. Since the size of the sensor mounted on each camera and the focal length of each zoom section of the zoom lens may be different, it is necessary to precisely control the zoom lens so that the angle of view of the image photographed by the two cameras is the same.

영상 융합부(30)는 수신된 영상 신호를 디스플레이 규격에 맞는 신호로 출력하는 신호 처리를 수행한다. 영상 융합부(30)는 가시광 카메라(10)가 출력하는 가시광 영상과 열상 카메라(20)가 출력하는 열상 영상을 융합한다. 열상 카메라(20)는 물체의 열적 분포는 잘 나타낼 수 있으나 측정된 물체의 형상이 명확하지 않으며 가시광 카메라(10)는 물체의 형상은 명확하게 나타낼 수 있으나 물체의 열적 분포는 나타낼 수 없다. 영상 융합부(30)는 이와 같이 가시광 카메라(10)와 열상 카메라(20)의 상호 장단점을 적절히 이용하여 물체의 영상을 표시함과 동시에 그 물체의 열적 분포 상태를 명확하게 나타낸다. The image fusion unit 30 performs signal processing to output the received image signal as a signal conforming to the display standard. The image fusion unit 30 fuses the visible light image output from the visible light camera 10 and the thermal image output from the thermal camera 20. The thermal camera 20 may well indicate the thermal distribution of the object, but the shape of the measured object is not clear, and the visible light camera 10 may clearly indicate the shape of the object but not the thermal distribution of the object. The image fusion unit 30 displays the image of the object while properly using the mutual advantages and disadvantages of the visible light camera 10 and the thermal camera 20 as described above, and clearly shows the thermal distribution of the object.

영상 융합부(30)는 가시광 카메라(10)가 출력하는 가시광 영상과 열상 카메라(20)가 출력하는 열상 영상을 융합한다. 영상 융합부(30)는 열상 카메라(20)로부터 획득한 특정한 온도를 갖는 물체의 온도 정보를 나타내는 열상 영상을 고해상도로 보정한 후, 가시광 카메라(10)에 의해 획득된 고해상도의 가시광 영상(감시 영상)에, 보정된 열상 영상을 중첩한다. 이에 따라, 열상 카메라(20)와 가시광 카메라(10)에 의해 동시에 획득된 물체의 영상을 처리하여 상기 물체의 형상 및 열 발생 분포를 명확하게 검출할 수 있어, 기존 감시 카메라에서 구현할 수 없었던 융합된 정보를 디스플레이하는 것이 가능하다. The image fusion unit 30 fuses the visible light image output from the visible light camera 10 and the thermal image output from the thermal camera 20. The image fusion unit 30 corrects a thermal image indicating temperature information of an object having a specific temperature obtained from the thermal camera 20 in high resolution and then displays a high resolution visible light image obtained by the visible light camera 10 (monitored image). ), The corrected thermal image is superimposed. Accordingly, by processing the image of the object obtained by the thermal camera 20 and the visible light camera 10 at the same time, it is possible to clearly detect the shape and heat generation distribution of the object, the convergence that could not be implemented in the existing surveillance cameras It is possible to display information.

디스플레이부(40)는 영상 융합부(30)로부터 출력되는 가시광 영상과 열상 영상이 융합된 비디오 신호를 신호 처리하여 사용자에게 제공함으로써, 사용자가 디스플레이되는 영상을 모니터링할 수 있도록 한다. 디스플레이부(40)는 가시광 영상 위에 열상 영상이 중첩된 융합 영상을 디스플레이한다. 디스플레이부(40)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이부(50)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다. The display unit 40 processes a video signal in which the visible light image and the thermal image, which are output from the image fusion unit 30, is fused to provide the user with a signal, thereby enabling the user to monitor the displayed image. The display unit 40 displays the fused image in which the thermal image is superimposed on the visible light image. The display unit 40 may include a liquid crystal display panel (LCD), an organic light emitting display panel (OLED), an electrophoretic display panel (EPD), and the like. The display unit 50 may be provided in the form of a touch screen to receive an input through a user's touch and operate as a user input interface.

도 2는 본 발명의 일 실시예에 따른 영상 융합부의 구성을 개략적으로 도시한 블록도이다. 2 is a block diagram schematically illustrating a configuration of an image fusion unit according to an embodiment of the present invention.

도 2를 참조하면, 영상 융합부(30)는 가시광 영상 처리부(310), 열상 영상 처리부(320), 정보 융합부(340), 코덱(360), 및 출력 제어부(380)를 포함한다. Referring to FIG. 2, the image fusion unit 30 includes a visible light image processor 310, a thermal image processor 320, an information fusion unit 340, a codec 360, and an output controller 380.

가시광 영상 처리부(310)는 A/D 변환부(312), 전처리부(314), 사이즈 변경부(316)를 포함한다. The visible light image processor 310 includes an A / D converter 312, a preprocessor 314, and a size changer 316.

A/D 변환부(312)는 가시광 카메라로부터 입력된 아날로그 가시광 영상 신호를 처리하여, 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터로 변환시킨다.The A / D converter 312 processes an analog visible light image signal input from a visible light camera, removes noise, adjusts an amplitude, and converts the image into digital image data.

전처리부(314)는 디지털 영상 데이터에 대해 정규화 등 이미지 프로세싱을 위한 전처리(pre-processing)를 수행한다. The preprocessor 314 performs pre-processing for image processing such as normalization on the digital image data.

사이즈 변경부(316)는 가시광 영상과 열상 영상이 서로 1:1 매칭이 가능하도록 가시광 영상을 열상 영상과 동일한 사이즈로 변환한다. 사이즈 변경부(316)는 사이즈 변환을 위해 픽셀 보간을 수행하고, 이때 픽셀 보간 방법으로 선형 보간 방법 등 다양한 방법이 사용될 수 있다. The size changing unit 316 converts the visible light image to the same size as the thermal image so that the visible light image and the thermal image can be 1: 1 matched with each other. The size changing unit 316 performs pixel interpolation for size conversion, and various methods such as linear interpolation may be used as the pixel interpolation method.

열상 영상 처리부(320)는 A/D 변환부(322), 전처리부(324), 사이즈 변경부(326)를 포함한다. The thermal image processor 320 includes an A / D converter 322, a preprocessor 324, and a size changer 326.

A/D 변환부(322)는 열상 카메라로부터 입력된 아날로그 열상 영상 신호를 처리하여, 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터로 변환시킨다.The A / D converter 322 processes the analog thermal image signal input from the thermal camera, removes noise, adjusts an amplitude, and converts the image into digital image data.

전처리부(324)는 디지털 영상 데이터에 대해 정규화 등 이미지 프로세싱을 위한 전처리(pre-processing)를 수행한다. The preprocessor 324 performs pre-processing for image processing such as normalization on the digital image data.

사이즈 변경부(326)는 열상 영상과 가시광 영상이 서로 1:1 매칭이 가능하도록 열상 영상을 가시광 영상과 동일한 사이즈로 변환한다. 사이즈 변경부(326)는 사이즈 변환을 위해 픽셀 보간을 수행하고, 픽셀 보간 방법으로 선형 보간 방법 등 다양한 방법이 사용될 수 있다. 대체로 열상 영상의 픽셀 수가 가시광 영상의 픽셀 수보다 적기 때문에, 열상 영상이 가시광 영상과 동일 사이즈를 갖도록 픽셀 보간이 수행될 수 있다. The size changing unit 326 converts the thermal image to the same size as the visible light image so that the thermal image and the visible light image may be 1: 1 matched with each other. The size changing unit 326 performs pixel interpolation for size conversion, and various methods such as linear interpolation may be used as the pixel interpolation method. Since the number of pixels of the thermal image is generally smaller than the number of pixels of the visible light image, pixel interpolation may be performed such that the thermal image has the same size as the visible light image.

정보 융합부(340)는 동일한 사이즈의 디지털 가시광 영상과 열상 영상을 융합한다. 이때의 가시광 영상은 고해상도 영상이나, 열상 영상은 저해상도 영상이다. 정보 융합부(340)는 가시광 영상과 동일한 사이즈의 열상 영상을 픽셀별로 매칭시키고, 가시광 영상의 물체를 구성하는 픽셀과 겹치는 픽셀의 온도 정보(열상 정보)만을 포함하여 해상도가 향상된 고해상도의 열상 영상을 생성한다. 여기서, 고해상도 열상 영상은 저해상도의 열상 영상에 비해 고해상도임을 의미한다. The information fusion unit 340 fuses the digital visible light image and the thermal image of the same size. The visible light image at this time is a high resolution image, but the thermal image is a low resolution image. The information fusion unit 340 matches a thermal image having the same size as that of the visible light image for each pixel, and includes a high resolution thermal image having improved resolution including only temperature information (thermal information) of pixels overlapping with pixels constituting an object of the visible light image. Create Here, the high resolution thermal image is higher resolution than the low resolution thermal image.

정보 융합부(340)는 가시광 영상과 고해상도 열상 영상을 융합한다. 예를 들어, 정보 융합부(340)는 가시광 영상 위에 고해상도 열상 영상을 오버레이(overlay)(중첩) 처리하며, 각 영상의 강도(투명도)를 조절할 수 있다. 정보 융합부(340)는 영상의 강도 조절에 의해, 가시광 영상, 고해상도 열상 영상, 고해상도 융합 영상, 및 고해상도 피사체 융합 영상 중 하나의 영상을 출력할 수 있다. 고해상도 피사체 융합 영상은 배경은 가시광 영상인 상태에서 특정 피사체만 고해상도 열상 정보가 중첩된 영상이다. 정보 융합부(340)의 상세한 설명은 추후 설명하겠다. The information fusion unit 340 fuses the visible light image and the high resolution thermal image. For example, the information fusion unit 340 may overlay (overlay) a high resolution thermal image on the visible light image and adjust the intensity (transparency) of each image. The information fusion unit 340 may output one of a visible light image, a high resolution thermal image, a high resolution fusion image, and a high resolution object fusion image by adjusting the intensity of the image. The high-resolution subject fusion image is an image in which high-resolution thermal information is superimposed only on a specific subject while the background is a visible light image. Detailed description of the information fusion unit 340 will be described later.

코덱(360)은 정보 융합부(340)로부터 출력되는 가시광 영상과 고해상도 열상 영상을 코딩하여 영상 출력부(380)를 통해 단일 영상으로 출력한다. The codec 360 codes the visible light image and the high resolution thermal image output from the information fusion unit 340 and outputs the single image through the image output unit 380.

출력 제어부(390)는 정보 융합부(340)가 출력하는 영상의 유형을 제어한다. 또한, 출력 제어부(390)는 가시광 카메라(10)와 열상 카메라(20)의 출력을 제어한다. The output controller 390 controls the type of the image output by the information fusion unit 340. In addition, the output control unit 390 controls the output of the visible light camera 10 and the thermal camera 20.

도 3은 본 발명의 일 실시예에 따른 정보 융합부의 구성을 개략적으로 도시한 블록도이고, 도 4는 본 발명의 일 실시예에 따른 정보 융합부의 영상 융합 방법을 설명하는 도면이다. 이하, 도 3 및 도 4를 함께 참조하여 정보 융합부의 영상 융합 방법을 설명하겠다. 3 is a block diagram schematically illustrating a configuration of an information fusion unit according to an embodiment of the present invention, and FIG. 4 is a view illustrating an image fusion method of the information fusion unit according to an embodiment of the present invention. Hereinafter, the image fusion method of the information fusion unit will be described with reference to FIGS. 3 and 4.

정보 융합부(340)는 분리부(420), 해상도 보정부(440), 및 가중치 적용부(460)를 포함한다. 정보 융합부(340)는 사이즈가 동일한 고해상도 가시광 영상과 저해상도 열상 영상을 수신한다.The information fusion unit 340 includes a separator 420, a resolution corrector 440, and a weight applier 460. The information fusion unit 340 receives a high resolution visible light image and a low resolution thermal image of the same size.

분리부(420)는 고해상도 가시광 영상에 포함된 하나 이상의 물체를 개별적으로 분리한다. 예를 들어, 분리부(420)는 고해상도 가시광 영상에 포함된 배경과 피사체를 분리하여 배경만 포함된 고해상도 배경 영상과 피사체만 포함된 고해상도 피사체 영상을 생성할 수 있다. 배경과 피사체를 분리하는 방법은 다양한 공지의 방법이 사용될 수 있다. 예를 들어 가시광 영상을 시간축으로 축적시켜 평균을 구하는 방법 또는 가시광 영상을 MPEC으로 인코딩하여 해당 블록의 통계적 특성을 시간적으로 구분하는 방법을 통해 배경과 피사체를 분리할 수 있다. The separator 420 individually separates one or more objects included in the high resolution visible light image. For example, the separating unit 420 may separate the background and the subject included in the high resolution visible light image to generate a high resolution background image including only the background and a high resolution subject image including only the subject. As a method of separating the background from the subject, various known methods may be used. For example, the background and the subject may be separated by accumulating the visible light image on the time axis to obtain an average, or by encoding the visible light image by MPEC to distinguish statistical characteristics of the corresponding block in time.

해상도 보정부(440)는 저해상도 열상 영상에서 온도 정보가 요청되는 물체에 대해 해상도 보정을 수행한다. 예를 들어, 하나의 피사체와 하나의 배경에 대해 온도 정보가 요청되는 경우, 해상도 보정부(440)는 고해상도 피사체 영상을 저해상도 열상 영상과 1:1 픽셀별로 매칭시킨다. 해상도 보정부(440)는 저해상도 열상 영상에서 피사체를 구성하는 피사체 픽셀과 고해상도 피사체 영상에서 피사체를 구성하는 피사체 픽셀을 매칭시킨다. 해상도 보정부(440)는 저해상도 열상 영상에서 피사체 영상의 피사체 픽셀이 겹치지 않는 픽셀의 온도 정보를 제거한다. 그리고, 해상도 보정부(440)는 고해상도 배경 영상을 저해상도 열상 영상과 1:1 픽셀별로 매칭시킨다. 해상도 보정부(440)는 저해상도 열상 영상에서 배경을 구성하는 배경 픽셀과 고해상도 배경 영상에서 배경을 구성하는 배경 픽셀을 매칭시킨다. 해상도 보정부(440)는 저해상도 열상 영상에서 배경 영상의 배경 픽셀이 겹치지 않는 픽셀의 온도 정보를 제거한다. The resolution corrector 440 performs resolution correction on an object for which temperature information is requested in the low resolution thermal image. For example, when temperature information is requested for one subject and one background, the resolution corrector 440 matches the high resolution subject image with the low resolution thermal image by 1: 1 pixel. The resolution correction unit 440 matches the subject pixels constituting the subject in the low resolution thermal image with the subject pixels constituting the subject in the high resolution subject image. The resolution correction unit 440 removes temperature information of pixels in which the subject pixels of the subject image do not overlap in the low resolution thermal image. The resolution correction unit 440 matches the high resolution background image with the low resolution thermal image by 1: 1 pixels. The resolution correction unit 440 matches the background pixels constituting the background in the low resolution thermal image with the background pixels constituting the background in the high resolution background image. The resolution correction unit 440 removes temperature information of pixels in which the background pixels of the background image do not overlap in the low resolution thermal image.

도 4의 실시 예에서는 고해상도 피사체 영상과 저해상도 열상 영상에서 피사체의 경계 영역을 확대하여 표시하고 있다. 해상도 보정부(440)는 저해상도 열상 영상의 피사체 픽셀과 고해상도 피사체 영상의 피사체 픽셀 중 겹치는 픽셀의 온도 정보만을 남기고 그 외 픽셀의 온도 정보를 제거한다. 이에 따라 고해상도 열상 영상은 고해상도 피사체 영상과 동일한 픽셀 위치의 온도 정보만 갖게 된다. In the embodiment of FIG. 4, the boundary region of the subject is enlarged and displayed in the high resolution subject image and the low resolution thermal image. The resolution correcting unit 440 removes only the temperature information of the overlapping pixel among the subject pixels of the low resolution thermal image and the subject pixels of the high resolution subject image, and removes the temperature information of the other pixels. Accordingly, the high resolution thermal image only has temperature information of the same pixel position as the high resolution object image.

상기 실시예에서는 분리부(420)에 의한 고해상도 가시광 영상의 배경 및 피사체 분리 후 저해상도 열상 영상의 해상도를 향상시키고 있으나, 고해상도 가시광 영상의 배경 및 피사체 분리 과정을 생략하고, 고해상도 가시광 영상과 저해상도 열상 영상의 픽셀 매칭 및 해상도 보상을 수행하는 것도 가능함은 물론이다. 이 경우, 배경과 피사체의 경계 픽셀만을 매칭시켜 고해상도 열상 영상을 생성할 수 있다. In the above embodiment, the resolution of the low resolution thermal image is improved after separating the background and the subject of the high resolution visible light image by the separating unit 420, but the background and subject separation process of the high resolution visible light image is omitted, and the high resolution visible light image and the low resolution thermal image Of course it is also possible to perform pixel matching and resolution compensation. In this case, a high resolution thermal image may be generated by matching only the boundary pixels of the background and the subject.

가중치 적용부(460)는 고해상도 가시광 영상과 고해상도 열상 영상에 가중치를 적용한다. 특정한 픽셀 좌표(X,Y)에서 가시광 영상의 픽셀 값을 A(X,Y)라 하고, 고해상도 열상 영상의 픽셀 값을 B(X,Y)라고 하면, 융합 영상의 픽셀 값 C(X,Y)는 아래 식(1)과 같다. The weight applying unit 460 applies weights to the high resolution visible light image and the high resolution thermal image. If the pixel value of the visible light image is A (X, Y) at a specific pixel coordinate (X, Y) and the pixel value of the high resolution thermal image is B (X, Y), the pixel value C (X, Y) of the fused image ) Is shown in Equation (1) below.

C(X,Y)=a*A(X,Y) + b*B(X,Y).....(1) C (X, Y) = a * A (X, Y) + b * B (X, Y) ..... (1)

여기서, a와 b는 1보다 작고 a+b=1을 만족하는 계수이며, 이 계수를 조정하면 고해상도 가시광 영상과 고해상도 열상 영상의 융합 시, 각 영상의 강도를 자유롭게 조정할 수 있다. Here, a and b are coefficients smaller than 1 and satisfy a + b = 1, and by adjusting this coefficient, the intensity of each image can be freely adjusted when the high resolution visible light image and the high resolution thermal image are fused.

가중치 적용부(460)는 고해상도 가시광 영상의 계수(a)를 1로 설정하고, 고해상도 열상 영상의 계수(b)를 0으로 설정하여, 고해상도 가시광 영상을 출력한다. 가중치 적용부(460)는 고해상도 가시광 영상의 계수(a)를 0으로 설정하고, 고해상도 열상 영상의 계수(b)를 1로 설정하여, 고해상도 열상 영상을 출력한다. 가중치 적용부(460)는 a+b=1을 만족하도록 임의의 a, b를 설정하고, 고해상도 융합 영상을 출력한다. 이때 특정 피사체에 대해서만 고해상도 열상 영상을 생성한 경우,배경은 고해상도의 가시광 영상인 상태에서 특정 피사체만 온도 정보를 표시하는 고해상도 피사체 융합 영상을 출력할 수 있다. 도 4에서는 고해상도 피사체 융합 영상의 출력을 도시하고 있다. The weight applying unit 460 sets the coefficient a of the high resolution visible light image to 1 and sets the coefficient b of the high resolution thermal image to 0 to output the high resolution visible light image. The weight applying unit 460 sets the coefficient (a) of the high resolution visible light image to 0, sets the coefficient (b) of the high resolution thermal image to 1, and outputs the high resolution thermal image. The weight applier 460 sets arbitrary a and b to satisfy a + b = 1 and outputs a high resolution fusion image. In this case, when a high resolution thermal image is generated only for a specific subject, the background may be a high resolution visible light image and may output a high resolution subject fusion image in which only a specific subject displays temperature information. 4 illustrates the output of a high resolution object fusion image.

배경 영상, 피사체 영상 및 융합 영상은 메모리(미도시)에 임시 저장될 수 있다. The background image, the subject image, and the fusion image may be temporarily stored in a memory (not shown).

도 5는 본 발명의 일 실시예에 따른 영상 융합 방법을 설명하는 흐름도이다. 5 is a flowchart illustrating an image fusion method according to an embodiment of the present invention.

도 5를 참조하면, 가시광 카메라는 물체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하고, 열상 카메라는 물체의 온도 정보를 표현하는 제1 열상 영상을 생성한다(S501). 이때 열상 카메라는 가시광 카메라와 동일한 화각으로 물체를 촬영할 수 있도록 렌즈 화각이 제어된다. Referring to FIG. 5, the visible light camera generates a first visible light image representing a luminance distribution of an object, and the thermal camera generates a first thermal image representing temperature information of an object (S501). At this time, the thermal angle camera has a lens angle of view controlled so that an object can be photographed at the same angle of view as the visible light camera.

영상 융합부는 제1 가시광 영상과 제1 열상 영상에 대해 각각 A/D 변환 및 전처리를 수행한다(S503). The image fusion unit performs A / D conversion and preprocessing on the first visible light image and the first thermal image, respectively (S503).

영상 융합부는 제1 가시광 영상과 제1 열상 영상의 사이즈를 동일하게 제어한다(S505). 이를 위해 영상 융합부는 제1 가시광 영상 또는 제1 열상 영상에 대해 사이즈 변환을 위한 픽셀 보간을 수행한다. 대체로 열상 영상의 픽셀 수가 가시광 영상의 픽셀 수보다 적기 때문에, 열상 영상이 가시광 영상과 동일 사이즈를 갖도록 픽셀 보간이 수행될 수 있다. The image fusion unit controls the sizes of the first visible light image and the first thermal image to be the same (S505). To this end, the image fusion unit performs pixel interpolation for size conversion on the first visible light image or the first thermal image. Since the number of pixels of the thermal image is generally smaller than the number of pixels of the visible light image, pixel interpolation may be performed such that the thermal image has the same size as the visible light image.

영상 융합부는 제1 가시광 영상의 물체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성한다(S507). 하나 이상의 제2 가시광 영상은 배경 영상과 피사체 영상일 수 있다. The image fusion unit individually separates objects of the first visible light image to generate at least one second visible light image (S507). The at least one second visible light image may be a background image and a subject image.

영상 융합부는 사이즈가 동일한 제2 가시광 영상과 제1 열상 영상을 픽셀별로 매칭시키고, 제1 열상 영상에서 제2 가시광 영상의 물체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 제2 열상 영상을 생성한다(S509). 이에 따라 제2 열상 영상은 제1 열상 영상에 비해 고해상도 영상이 된다. The image fusion unit matches the second visible light image having the same size and the first thermal image for each pixel, and removes temperature information of pixels that do not overlap with pixels constituting the object of the second visible light image in the first thermal image to remove the second thermal image. To generate (S509). As a result, the second thermal image is a higher resolution image than the first thermal image.

영상 융합부는 제2 열상 영상과 제1 가시광 영상에 가중치를 적용하여 각 영상의 강도(투명도)를 조절한다(S511). The image fusion unit adjusts the intensity (transparency) of each image by applying weights to the second thermal image and the first visible light image (S511).

디스플레이부는 제1 가시광 영상과 제2 열상 영상을 중첩하여 표시한다(S513). 디스플레이부는 제1 가시광 영상과 제2 열상 영상에 적용되는 가중치에 따라 가시광 영상, 고해상도 열상 영상, 고해상도 융합 영상, 및 고해상도 피사체 융합 영상 중 하나를 표시할 수 있다. The display unit overlaps and displays the first visible light image and the second thermal image (S513). The display unit may display one of a visible light image, a high resolution thermal image, a high resolution fusion image, and a high resolution object fusion image according to weights applied to the first visible light image and the second thermal image.

본 발명의 영상 융합 시스템 및 방법에 의해 고해상도의 융합된 영상 정보를 디스플레이할 수 있기 때문에 감시 기능을 극대화할 수 있다. 또한 본 발명은 감시 분야 외에 다양한 분야에 적용할 수 있으며, 특히 의료 분야의 경우, 고해상도의 CT 영상과 신체 기능 분석이 가능한 저해상도의 MRI 영상 정보의 융합을 가능하게 한다. Since the image fusion system and method of the present invention can display high-resolution fused image information, the surveillance function can be maximized. In addition, the present invention can be applied to various fields in addition to the field of surveillance, in particular in the medical field, it is possible to fuse the high resolution CT image and low resolution MRI image information capable of analyzing the body function.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims (8)

물체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하는 가시광 카메라;
상기 가시광 카메라와 동일한 화각으로 제어되고, 상기 물체의 온도 정보를 표현하는 제1 열상 영상을 생성하는 열상 카메라; 및
상기 제1 열상 영상에서 온도 정보가 요청되는 물체에 대해 해상도 보정을 수행하여 제2 열상 영상을 생성하고, 상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 영상 융합부;를 포함하는 것을 특징으로 하는 영상 융합 시스템.A visible light camera generating a first visible light image representing a luminance distribution of an object;
A thermal camera controlled by the same angle of view as the visible light camera and generating a first thermal image representing temperature information of the object; And
And an image fusion unit for generating a second thermal image by performing resolution correction on an object for which temperature information is requested in the first thermal image, and fusing the first visible light image and the second thermal image. Image fusion system. 제1항에 있어서, 상기 영상 융합부는,
상기 제1 가시광 영상과 상기 제1 열상 영상의 사이즈를 동일하게 제어하는 사이즈 변경부; 및
상기 제1 열상 영상에서 상기 제1 가시광 영상의 물체를 구성하는 픽셀과 겹치는 픽셀의 온도 정보만을 표현하는 상기 해상도 보정을 기초로 상기 제2 열상 영상을 생성하고, 상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 정보 융합부;를 포함하는 것을 특징으로 하는 영상 융합 시스템.The method of claim 1, wherein the image fusion unit,
A size changer configured to equally control sizes of the first visible light image and the first thermal image; And
The second thermal image is generated based on the resolution correction representing only temperature information of pixels overlapping with pixels constituting the object of the first visible light image in the first thermal image, and the first visible light image and the second visible image are generated. And an information fusion unit for fusing thermal images. 제2항에 있어서, 상기 정보 융합부는,
상기 제1 가시광 영상의 물체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성하는 분리부; 및
사이즈가 동일한 상기 제2 가시광 영상과 상기 제1 열상 영상을 픽셀별로 매칭시키고, 상기 제1 열상 영상에서 상기 제2 가시광 영상의 물체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 상기 제2 열상 영상을 생성하는 해상도 보정부;를 포함하는 것을 특징으로 하는 영상 융합 시스템.The method of claim 2, wherein the information fusion unit,
A separator configured to separately separate objects of the first visible light image to generate at least one second visible light image; And
The second visible light image having the same size and the first thermal image are matched for each pixel, and the second thermal image is removed from the first thermal image by removing temperature information of pixels that do not overlap with pixels constituting an object of the second visible light image. And a resolution correction unit for generating a thermal image. 제3항에 있어서, 상기 정보 융합부는,
상기 제2 열상 영상과 상기 제1 가시광 영상에 가중치를 적용하여 각 영상의 강도를 조절하는 가중치 적용부;를 더 포함하는 것을 특징으로 하는 영상 융합 시스템.The method of claim 3, wherein the information fusion unit,
And a weight applying unit configured to adjust the intensity of each image by applying weights to the second thermal image and the first visible light image. 제1항에 있어서,
상기 제1 가시광 영상과 상기 제2 열상 영상을 중첩하여 표시하는 디스플레이부;를 더 포함하는 것을 특징으로 하는 영상 융합 시스템.The method of claim 1,
And a display unit configured to overlap the first visible light image and the second thermal image. 가시광 카메라로 물체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하는 단계;
상기 가시광 카메라와 동일한 화각으로 제어된 열상 카메라로 상기 물체의 온도 정보를 표현하는 제1 열상 영상을 생성하는 단계;
상기 제1 열상 영상에서 온도 정보가 요청되는 물체에 대해 해상도 보정을 수행하여 제2 열상 영상을 생성하는 단계; 및
상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 단계;를 포함하는 것을 특징으로 하는 영상 융합 방법.Generating a first visible light image representing a luminance distribution of an object with a visible light camera;
Generating a first thermal image representing temperature information of the object with a thermal camera controlled at the same angle of view as the visible light camera;
Generating a second thermal image by performing resolution correction on an object for which temperature information is requested in the first thermal image; And
Fusing the first visible light image and the second thermal image; 제6항에 있어서, 상기 제2 열상 영상 생성 단계는,
상기 제1 가시광 영상과 상기 제1 열상 영상의 사이즈를 동일하게 제어하는 단계;
상기 제1 가시광 영상의 물체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성하는 단계; 및
사이즈가 동일한 상기 제2 가시광 영상과 상기 제1 열상 영상을 픽셀별로 매칭시키고, 상기 제1 열상 영상에서 상기 제2 가시광 영상의 물체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 상기 제2 열상 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 융합 방법.The method of claim 6, wherein the generating of the second thermal image comprises:
Controlling the size of the first visible light image and the first thermal image to be the same;
Generating at least one second visible light image by individually separating objects of the first visible light image; And
The second visible light image having the same size and the first thermal image are matched for each pixel, and the second thermal image is removed from the first thermal image by removing temperature information of pixels that do not overlap with pixels constituting an object of the second visible light image. Generating a thermal image; image fusion method comprising a. 제7항에 있어서, 상기 융합 단계는,
상기 제2 열상 영상과 상기 제1 가시광 영상에 가중치를 적용하여 각 영상의 강도를 조절하는 단계;를 더 포함하는 것을 특징으로 하는 영상 융합 방법.
The method of claim 7, wherein the fusing step,
And adjusting the intensity of each image by applying weights to the second thermal image and the first visible light image.
KR1020110026458A 2011-03-24 2011-03-24 Image synthesis system and image synthesis method KR101314259B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110026458A KR101314259B1 (en) 2011-03-24 2011-03-24 Image synthesis system and image synthesis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110026458A KR101314259B1 (en) 2011-03-24 2011-03-24 Image synthesis system and image synthesis method

Publications (2)

Publication Number Publication Date
KR20120109057A true KR20120109057A (en) 2012-10-08
KR101314259B1 KR101314259B1 (en) 2013-10-02

Family

ID=47280494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110026458A KR101314259B1 (en) 2011-03-24 2011-03-24 Image synthesis system and image synthesis method

Country Status (1)

Country Link
KR (1) KR101314259B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455071B1 (en) * 2013-09-17 2014-10-30 주식회사 서울텍 Method for enhancing night time image using digital compositing
US20150325021A1 (en) * 2014-05-08 2015-11-12 Samsung Techwin Co., Ltd. Image fusing method
US9369612B2 (en) 2013-08-20 2016-06-14 Hanwha Techwin Co., Ltd. Image fusion system and method
KR101964898B1 (en) * 2018-02-21 2019-04-09 심완규 Apparatus, method and computer readable medium for monitoring electrical panel using thermal image
KR20190063670A (en) * 2017-11-30 2019-06-10 (주)코어센스 Intelligent system for ignition point surveillance using composite image of thermal camera and color camera
KR102036593B1 (en) * 2018-04-19 2019-10-25 주식회사 아이티아이비전 Forward and back ward detecting system for emergency vehicle on bad visuality
KR102092552B1 (en) * 2019-11-11 2020-03-24 주식회사 삼주전자 Intelligent Camera System
WO2020159165A1 (en) * 2019-02-01 2020-08-06 엘지전자 주식회사 Infrared stereo camera
KR20200094257A (en) * 2019-01-29 2020-08-07 주식회사 유니크 Multiple ir band sensor module system using spatial alignment and image fusion method using the same
KR20200145379A (en) * 2019-06-21 2020-12-30 국방과학연구소 Apparatus for aligning multiple camera images having different resolutions and method thereof
KR20210116904A (en) * 2020-03-18 2021-09-28 주식회사 아이엔지시스템 Hidden camera detection system, method and computing device for performing the same

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102183906B1 (en) 2014-06-11 2020-11-27 한화테크윈 주식회사 Method and system for image fusion
KR102149276B1 (en) 2014-10-23 2020-08-28 한화테크윈 주식회사 Method of image registration
KR101583773B1 (en) * 2014-10-29 2016-01-20 동국대학교 산학협력단 Apparatus and method for object detection
KR20160129168A (en) 2015-04-29 2016-11-09 주식회사 서울텍 Method for enhancing night time image using digital compositing
KR101912651B1 (en) * 2016-11-17 2018-10-29 전라남도 Apparatus for processing information used in temperature identification system each crop organ using to thermal image in colony
KR102248235B1 (en) * 2020-05-06 2021-05-04 주식회사 에스엠전자 History management system for a feverish person and a person who contacts on the feverish person

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100387106B1 (en) * 2001-04-06 2003-06-12 티오엠테크놀로지 주식회사 Segmentation method for interesting object in natural infrared images
JP2005031800A (en) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp Thermal image display device
JP4872829B2 (en) * 2007-06-28 2012-02-08 ソニー株式会社 Imaging device

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369612B2 (en) 2013-08-20 2016-06-14 Hanwha Techwin Co., Ltd. Image fusion system and method
KR101455071B1 (en) * 2013-09-17 2014-10-30 주식회사 서울텍 Method for enhancing night time image using digital compositing
US20150325021A1 (en) * 2014-05-08 2015-11-12 Samsung Techwin Co., Ltd. Image fusing method
KR20150128107A (en) * 2014-05-08 2015-11-18 한화테크윈 주식회사 Method of image fusion
CN105894009A (en) * 2014-05-08 2016-08-24 韩华泰科株式会社 IMAGE FUSING METHOD and apparatus
US9508136B2 (en) 2014-05-08 2016-11-29 Hanwha Techwin Co., Ltd. Image fusing method
CN105894009B (en) * 2014-05-08 2020-05-19 韩华泰科株式会社 Image fusion method and image fusion device
KR20190063670A (en) * 2017-11-30 2019-06-10 (주)코어센스 Intelligent system for ignition point surveillance using composite image of thermal camera and color camera
WO2019164047A1 (en) * 2018-02-21 2019-08-29 심완규 Apparatus and method for monitoring switchgear by using thermal image, and computer-readable recording medium
KR101964898B1 (en) * 2018-02-21 2019-04-09 심완규 Apparatus, method and computer readable medium for monitoring electrical panel using thermal image
KR102036593B1 (en) * 2018-04-19 2019-10-25 주식회사 아이티아이비전 Forward and back ward detecting system for emergency vehicle on bad visuality
KR20200094257A (en) * 2019-01-29 2020-08-07 주식회사 유니크 Multiple ir band sensor module system using spatial alignment and image fusion method using the same
WO2020159165A1 (en) * 2019-02-01 2020-08-06 엘지전자 주식회사 Infrared stereo camera
KR20200145379A (en) * 2019-06-21 2020-12-30 국방과학연구소 Apparatus for aligning multiple camera images having different resolutions and method thereof
KR102092552B1 (en) * 2019-11-11 2020-03-24 주식회사 삼주전자 Intelligent Camera System
KR20210116904A (en) * 2020-03-18 2021-09-28 주식회사 아이엔지시스템 Hidden camera detection system, method and computing device for performing the same

Also Published As

Publication number Publication date
KR101314259B1 (en) 2013-10-02

Similar Documents

Publication Publication Date Title
KR101314259B1 (en) Image synthesis system and image synthesis method
US9369612B2 (en) Image fusion system and method
KR102010228B1 (en) Image processing apparatus, image processing method, and program
US9648285B2 (en) Monitoring method and camera
KR102144394B1 (en) Apparatus and method for alignment of images
JP2014241584A (en) Image processing method and image processing system
JP2005210728A (en) Method and device for continuously adjusting focus and exposure in digital imaging apparatus
JP2013013050A5 (en)
KR20150085710A (en) Dispaly apparatus and controlling method thereof
JP2015127668A (en) Measurement device, system and program
JP5708036B2 (en) Imaging device
US9300860B2 (en) Image-capturing apparatus
KR102083926B1 (en) Image fusion system and image fusion method
JP2010146094A (en) Image processing apparatus, image processing method, and image processing program
KR20200137744A (en) Monitoring System and Method for Controlling PTZ using Fisheye Camera thereof
JP2010217984A (en) Image detector and image detection method
JP2007045336A (en) System and method for detecting obstacle
JP2007190060A (en) Endoscopic instrument
KR101625471B1 (en) Method and apparatus for enhancing resolution of popular low cost thermal image camera
US10051195B2 (en) Apparatus and method for acquiring differential image
KR102050418B1 (en) Apparatus and method for alignment of images
JP2016178370A (en) Imaging device
KR102450629B1 (en) Thermal image camera apparatus and control method thereof
KR101007405B1 (en) Apparatus and method for correcting pixel of infrared detector
JP2013090063A (en) Monitoring device, monitoring method, and monitoring program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180829

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 7