KR101934815B1 - Multi-function output system using thermal image camera and visible camera - Google Patents

Multi-function output system using thermal image camera and visible camera Download PDF

Info

Publication number
KR101934815B1
KR101934815B1 KR1020180098348A KR20180098348A KR101934815B1 KR 101934815 B1 KR101934815 B1 KR 101934815B1 KR 1020180098348 A KR1020180098348 A KR 1020180098348A KR 20180098348 A KR20180098348 A KR 20180098348A KR 101934815 B1 KR101934815 B1 KR 101934815B1
Authority
KR
South Korea
Prior art keywords
image
data
camera
visible light
unit
Prior art date
Application number
KR1020180098348A
Other languages
Korean (ko)
Inventor
최규태
신민규
Original Assignee
(주)큐브이미징시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)큐브이미징시스템즈 filed Critical (주)큐브이미징시스템즈
Priority to KR1020180098348A priority Critical patent/KR101934815B1/en
Application granted granted Critical
Publication of KR101934815B1 publication Critical patent/KR101934815B1/en

Links

Images

Classifications

    • H04N5/23232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

The present invention relates to a multifunctional output system using a thermal imagery camera and a visible light camera, capable of outputting an image corresponding to a temperature state and edge strength by automatically selecting and combining images, which are taken through a visible light camera and a thermal imagery camera in accordance with the temperature state and the edge strength, or outputting an image manually combined by a user. According to the present invention, since images taken through a visible light camera and a thermal imagery camera are able to be variously combined and outputted, the user is able to have images which are more intuitive and more visible. Moreover, the user is able to manually select and output an image corresponding to a situation, and if the user has difficulty in manually setting an image corresponding to a situation, the image is able to be automatically set and outputted through an automatic setting mode.

Description

열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템{MULTI-FUNCTION OUTPUT SYSTEM USING THERMAL IMAGE CAMERA AND VISIBLE CAMERA}MULTI-FUNCTION OUTPUT SYSTEM USING THERMAL IMAGE CAMERA AND VISIBLE CAMERA USING THERMAL IMAGE CAMERA AND VISIBLE CAMERA

본 발명은 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템에 관한 것으로, 더욱 상세하게는 자동 또는 수동 설정 기능을 이용하여 열영상 카메라가 촬영한 영상과 가시광 카메라가 촬영한 영상을 다양하게 조합하여 출력할 수 있는 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템에 관한 것이다.The present invention relates to a multifunction output system using a thermal image camera and a visible light camera. More particularly, the present invention relates to a multifunction output system using a thermal image camera and a visible light camera, And a multifunction output system using a visible image camera and a visible light camera.

열영상 카메라는 온도차를 영상으로 보여주는 센서이다. 따라서 사람의 눈으로 보이는 윤곽선이 온도차가 나지 않으면 열영상 카메라에서는 구분하여 보여지지 않는다. The thermal image camera is a sensor that displays the temperature difference as an image. Therefore, if the outline of the human eye is not temperature difference, it can not be distinguished in the thermal imaging camera.

현재의 열영상 카메라는 열영상 위주의 기능으로 열영상 단독의 영상만을 제공한다. 심지어 열영상 카메라(Thermal imaging camera)와 가시광 카메라(Visible camera)가 융합된 카메라에서 가시광 카메라는 열영상 카메라의 보조적인 수단에 불과하다. The present thermal image camera is a thermal image-oriented function and provides only a thermal image alone. Even in the case of a camera in which a thermal imaging camera and a visible camera are fused, the visible light camera is only an auxiliary means of a thermal imaging camera.

그리고, 열영상 카메라와 가시광 카메라가 함께 있는 타입의 열영상 융합 카메라는 한가지 또는 두가지 영상만을 제공하고 있어 다양한 소비자의 요구를 충족하지 못하고 있다. 또한, 현재의 열영상 융합 카메라는 사용자에 의해 수동으로 선택된 영상만을 출력하고 있다. 따라서 영상의 상태에 따라 사용자가 직접 제어해야 하는 불편함이 있다.In addition, a thermal image fusion camera having a thermal image camera and a visible light image camera is provided with only one image or two images, and thus can not meet various consumer needs. Also, the current thermal image fusion camera outputs only images manually selected by the user. Therefore, it is inconvenient for the user to directly control according to the state of the image.

등록특허 제10-1455071호는 상기와 같은 종래의 열영상 카메라의 불편한 점을 개선하기 위한 것이다.Japanese Patent Application No. 10-1455071 is intended to overcome the disadvantages of the conventional thermal imaging camera.

등록특허 제10-1455071호는 광학식 영상 데이터와 열영상 데이터의 매핑을 통해 저조도 환경에서도 윤곽선이 뚜렷한 칼라 영상을 생성할 수 있는 디지털 합성을 이용한 야간 촬영 성능 개선방법에 관한 것이다.Japanese Patent Registration No. 10-1455071 relates to a method of improving nighttime photographing performance by using digital synthesis capable of generating a color image having a sharp outline even in a low-illuminance environment through mapping of optical image data and thermal image data.

등록특허 제10-1455071호는 광학식 영상으로부터 촬영 대상에 대한 색상 데이터를 추출하고, 열영상으로부터 촬영 대상에 대한 윤곽선 데이터를 추출하며, 색상 데이터와 윤곽선 데이터를 디지털 합성하여 하나의 출력영상을 구성하는 디지털 합성과정으로 이루어져 출력영상을 구성한다.Japanese Patent Application No. 10-1455071 extracts color data for an object to be imaged from an optical image, extracts outline data for an object to be imaged from a thermal image, synthesizes color data and contour data digitally and composes one output image And a digital synthesis process to construct an output image.

등록특허 제10-1455071호Patent No. 10-1455071

본 발명은 상기와 같은 문제점을 개선하기 위하여 발명된 것으로, 열영상 카메라가 촬영한 영상에서 감지되는 온도 상태와 엣지(edge) 강도에 따라 가시광 카메라가 촬영한 영상과 열영상 카메라가 촬영한 영상을 자동으로 선택하고 조합하여 온도 상태와 엣지 강도에 맞는 영상을 출력하거나, 사용자에 의해 수동으로 조합되어 영상을 출력할 수 있는 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템을 제공하기 위한 것이다. SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to provide an image capturing apparatus and a method of capturing an image captured by a visible light camera and an image captured by a thermal image camera, And a multifunction output system using a thermal image camera and a visible light camera that can output images matching the temperature state and the edge strength automatically by selecting and combining them automatically or by manually combining images by a user.

상기와 같은 목적을 달성하기 위하여, 본 발명은 가시광 카메라(visible camera); 열영상 카메라(thermal imaging camera); 상기 열영상 카메라가 촬영한 영상에서 감지되는 온도 상태와 엣지(edge) 강도에 따라 상기 가시광 카메라가 촬영한 영상과 열영상 카메라가 촬영한 영상을 조합하여 상기 온도 상태와 엣지 강도에 맞는 영상을 출력하는 영상제어부를 포함하는 것을 특징으로 하는 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템을 제공한다.According to an aspect of the present invention, there is provided a display device comprising: a visible camera; A thermal imaging camera; The image captured by the visible light camera and the image captured by the thermal imaging camera are combined according to the temperature state and the edge intensity sensed by the thermal imaging camera to output an image corresponding to the temperature state and the edge strength And a multi-function output system using a thermal imaging camera and a visible light camera.

또한, 상기 영상제어부는, 상기 열영상 카메라가 촬영한 영상의 온도를 감지하는 온도감지부; 상기 열영상 카메라가 촬영한 영상의 엣지 강도를 분석하는 엣지분석부; 상기 온도감지부가 감지한 온도와 엣지분석부가 분석한 엣지 강도를 입력 받아 가시광 카메라가 촬영한 영상과 열영상 카메라가 촬영한 영상을 서로 다른 방식으로 조합하여 출력하기 위한 영상선택신호를 전송하는 데이터선택부; 및 상기 데이터선택부에서 수신한 영상선택신호에 따라 상기 가시광 카메라가 촬영한 영상과 열영상 카메라가 촬영한 영상을 조합하여 출력하는 영상융합부를 포함한다.The image control unit may include a temperature sensing unit for sensing a temperature of an image captured by the thermal imaging camera; An edge analyzer for analyzing an edge intensity of an image taken by the thermal imaging camera; A data selection unit for receiving a temperature sensed by the temperature sensing unit and an edge strength analyzed by the edge analysis unit and transmitting an image selection signal for outputting a combined image of the image photographed by the visible light camera and the image photographed by the thermal imaging camera in different manners; part; And an image fusion unit for combining and outputting an image captured by the visible light camera and an image captured by the thermal imaging camera according to the image selection signal received by the data selection unit.

그리고, 상기 데이터선택부는, 상기 온도감지부가 감지한 온도가 1차 설정온도 미만으로 감지되면 상기 엣지분석부가 분석한 엣지 강도에 따라 서로 다른 영상을 조합하여 출력하기 위한 영상선택신호를 전송하고, 1차 설정온도 이상으로 감지되면 2차 설정온도 이상 감지 여부에 따라 또 다른 영상을 조합하여 출력하기 위한 영상선택신호를 전송한다.When the temperature sensed by the temperature sensing unit is lower than the first set temperature, the data selection unit transmits an image selection signal for combining and outputting different images according to the edge intensity analyzed by the edge analysis unit. If it is detected that the temperature is higher than the second set temperature, it transmits an image selection signal for outputting another image in accordance with whether the second set temperature is abnormal or not.

그리고, 상기 데이터선택부는, 상기 온도감지부가 감지한 온도가 1차 설정온도 미만으로 감지되고, 상기 엣지분석부가 분석한 엣지 강도가 설정 강도보다 작으면 가시광 카메라가 촬영한 영상에 대한 윤곽선 데이터와 열영상 카메라가 촬영한 영상 데이터를 합성하여 출력하도록 제1 영상선택신호를 전송하고, 상기 온도감지부가 감지한 온도가 1차 설정온도 미만으로 감지되고, 상기 엣지분석부가 분석한 엣지 강도가 설정 강도 이상이면 열영상 카메라가 촬영한 영상 데이터에 색상 정보를 반영하여 출력하도록 제2 영상선택신호를 전송하고, 상기 온도감지부가 감지한 온도가 1차 설정온도 이상 그리고 2차 설정온도 미만으로 감지되면 가시광 카메라가 촬영한 영상 데이터와 열영상 카메라가 촬영한 영상 데이터의 데이터 강도를 조절한 후 합성하여 출력하도록 제3 영상선택신호를 전송하고, 상기 온도감지부가 감지한 온도가 1차 설정온도 이상 그리고 2차 설정온도 이상으로 감지되면 열영상 카메라가 촬영한 영상에서 설정온도 범위에 해당하는 영상 데이터를 추출하고, 그 외 영역에 대해서는 가시광 카메라가 촬영한 영상 데이터를 합성하여 출력하도록 제4 영상선택신호를 전송한다.If the temperature sensed by the temperature sensing unit is lower than the first set temperature and the edge strength analyzed by the edge analysis unit is lower than the preset strength, the data selection unit selects contour data and heat A first image selection signal is transmitted so as to synthesize and output image data taken by an image camera, the temperature sensed by the temperature sensor is detected as being below a first set temperature, and the edge intensity analyzed by the edge analyzer is higher than a preset intensity The second image selection signal is transmitted so as to reflect the color information on the image data taken by the thermal imaging camera. When the temperature sensed by the temperature sensing unit is higher than the first set temperature and lower than the second set temperature, And the data intensity of the image data captured by the thermal imaging camera is adjusted and then synthesized If the temperature sensed by the temperature sensing unit is higher than the first set temperature and higher than the second set temperature, the image data corresponding to the set temperature range is displayed on the image captured by the thermal imaging camera. And transmits the fourth image selection signal to synthesize and output the image data photographed by the visible light camera in the other area.

그리고, 상기 영상융합부는, 상기 가시광 카메라가 촬영한 영상에 대한 윤곽선을 추출 및 조절하거나, 상기 열영상 카메라가 촬영한 영상에 색상정보를 반영하거나, 상기 가시광 카메라의 영상 데이터 및 열영상 카메라의 영상 데이터를 강도를 조절하거나, 상기 열영상 카메라가 촬영한 영상에서 표시하고자 하는 온도에 해당하는 영상 데이터를 추출하는 영상처리부; 및 상기 영상처리부가 조절한 가시광 영상에 대한 윤곽선 데이터와 상기 열영상 카메라가 촬영한 영상 데이터를 합성하여 제1 영상신호를 출력하거나, 상기 열영상 카메라가 촬영한 영상 데이터에 색상 정보를 반영한 제2 영상신호를 출력하거나, 상기 영상처리부에서 데이터의 강도가 조절된 가시광 카메라의 영상 데이터와 열영상 카메라의 영상 데이터를 합성하여 제3 영상신호를 출력하거나, 상기 영상처리부가 추출한 표시하고자 하는 온도를 갖는 위치에 해당하는 열영상 데이터와 그 외 영역에 대해서는 상기 가시광 카메라가 촬영한 영상 데이터를 합성하여 제4 영상신호를 출력하는 영상합성부를 포함한다.The image fusion unit may extract and adjust an outline of the image captured by the visible light camera, reflect the color information on the image captured by the thermal imaging camera, or display the image data of the visible light camera and the image of the thermal imaging camera An image processor for adjusting intensity of data or extracting image data corresponding to a temperature to be displayed on an image taken by the thermal imaging camera; And a second image signal processing unit for outputting a first image signal by combining the contour data of the visible light image adjusted by the image processing unit and the image data photographed by the thermal image camera, And outputs the third video signal by synthesizing the video data of the visible light camera and the video data of the thermal video camera whose data intensity is controlled by the video processing unit, And a video synthesizer for synthesizing the thermal image data corresponding to the position and the image data photographed by the visible light camera for the other regions and outputting the fourth video signal.

또한, 상기 영상처리부는, 상기 가시광 카메라가 촬영한 영상에서 윤곽선을 추출하는 윤곽선추출부; 상기 윤곽선추출부에서 추출한 윤곽선 데이터 값을 일정 범위 내에서 낮추어 조절 후 상기 영상합성부로 전달하는 윤곽선데이터조절부; 상기 열영상 카메라가 촬영한 영상에서 설정온도 범위에 해당하는 영상 데이터를 추출하여 상기 영상합성부로 전달하는 설정영상추출부; 및 상기 가시광 카메라가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 상기 영상합성부로 전달하고, 상기 열영상 카메라가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 상기 영상합성부로 전달하는 데이터강도조절부를 구비한다.The image processing unit may further include: an outline extracting unit that extracts outlines in an image captured by the visible light camera; A contour data adjusting unit that adjusts the contour data values extracted by the contour extracting unit to a predetermined range and transmits the adjusted contour data values to the image combining unit; A set image extracting unit for extracting image data corresponding to a set temperature range from the image captured by the thermal imager and delivering the image data to the image synthesizer; And controlling the data intensity of the image photographed by the visible light camera to reduce the data by a predetermined value and then transmitting the data to the image synthesizing unit and adjusting the data intensity of the image photographed by the thermal imaging camera, And a data intensity controller for transmitting the data to the image combining unit.

한편, 본 발명은 가시광 카메라(visible camera); 열영상 카메라(thermal imaging camera); 상기 가시광 카메라가 촬영한 영상에 대한 윤곽선을 추출 및 조절하거나, 상기 열영상 카메라가 촬영한 영상에 색상정보를 반영하거나, 상기 가시광 카메라의 영상 데이터 및 열영상 카메라의 영상 데이터를 강도를 조절하거나, 상기 열영상 카메라가 촬영한 영상에서 표시하고자 하는 온도에 해당하는 영상 데이터를 추출하는 영상처리부; 및 상기 영상처리부가 조절한 가시광 영상에 대한 윤곽선 데이터와 상기 열영상 카메라가 촬영한 영상 데이터를 합성하여 제1 영상신호를 출력하거나, 상기 열영상 카메라가 촬영한 영상 데이터에 색상 정보를 반영한 제2 영상신호를 출력하거나, 상기 영상처리부에서 데이터의 강도가 조절된 가시광 카메라의 영상 데이터와 열영상 카메라의 영상 데이터를 합성하여 제3 영상신호를 출력하거나, 상기 영상처리부가 추출한 표시하고자 하는 온도를 갖는 위치에 해당하는 열영상 데이터와 그 외 영역에 대해서는 상기 가시광 카메라가 촬영한 영상 데이터를 합성하여 제4 영상신호를 출력하는 영상합성부를 포함하는 것을 특징으로 하는 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템을 제공한다.According to another aspect of the present invention, there is provided a display device comprising: a visible camera; A thermal imaging camera; And a controller for controlling the intensity of the image data of the visible light camera and the image data of the thermal image camera or adjusting the intensity of the image data of the thermal image camera, An image processing unit for extracting image data corresponding to a temperature to be displayed on the image taken by the thermal imaging camera; And a second image signal processing unit for outputting a first image signal by combining the contour data of the visible light image adjusted by the image processing unit and the image data photographed by the thermal image camera, And outputs the third video signal by synthesizing the video data of the visible light camera and the video data of the thermal video camera whose data intensity is controlled by the video processing unit, And an image synthesizer for synthesizing the thermal image data corresponding to the position and the image data photographed by the visible light camera for the other region and outputting the fourth image signal. System.

그리고, 상기 영상처리부는, 상기 가시광 카메라가 촬영한 영상에서 윤곽선을 추출하는 윤곽선추출부; 상기 윤곽선추출부에서 추출한 윤곽선 데이터 값을 일정 범위 내에서 낮추어 조절 후 상기 영상합성부로 전달하는 윤곽선데이터조절부; 상기 열영상 카메라가 촬영한 영상에서 설정온도 범위에 해당하는 영상 데이터를 추출하여 상기 영상합성부로 전달하는 설정영상추출부; 및 상기 가시광 카메라가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 상기 영상합성부로 전달하고, 상기 열영상 카메라가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 상기 영상합성부로 전달하는 데이터강도조절부를 구비한다.The image processing unit may further include: an outline extracting unit for extracting outlines of the image photographed by the visible light camera; A contour data adjusting unit that adjusts the contour data values extracted by the contour extracting unit to a predetermined range and transmits the adjusted contour data values to the image combining unit; A set image extracting unit for extracting image data corresponding to a set temperature range from the image captured by the thermal imager and delivering the image data to the image synthesizer; And controlling the data intensity of the image photographed by the visible light camera to reduce the data by a predetermined value and then transmitting the data to the image synthesizing unit and adjusting the data intensity of the image photographed by the thermal imaging camera, And a data intensity controller for transmitting the data to the image combining unit.

상기와 같은 구성의 본 발명에 따르면, 다음과 같은 효과를 도모할 수 있다.According to the present invention having the above-described configuration, the following effects can be achieved.

우선, 본 발명은 가시광 카메라와 열영상 카메라가 촬영한 영상을 다양하게 조합하여 출력할 수가 있기 때문에 사용자에게 더 직관적이고 시인성이 향상된 영상을 제공할 수가 있다.The present invention can provide a user with more intuitive and visually improved images since various images can be outputted by combining the images photographed by the visible light camera and the thermal image camera.

또한, 사용자는 상황에 맞는 영상을 수동으로 선택하여 출력할 수가 있고, 사용자가 상황에 맞는 영상을 수동으로 설정하는데 어려움이 있거나, 수동으로 설정하는데 번거로움을 느낀다면, 자동 설정을 통해 상황에 맞는 영상을 자동으로 선택하여 출력할 수도 있다.In addition, the user can manually select and output an image suitable for the situation, and if the user has difficulty manually setting the image suitable for the situation, or if it is troublesome to manually set the image, You can also automatically select and output images.

도 1은 본 발명의 제1 실시 예에 따른 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템의 블록도
도 2는 본 발명의 제1 실시 예 및 제2 실시 예에 따른 영상융합부의 블록도
도 3은 본 발명의 제1 실시 예 및 제2 실시 예에 따라 제1 영상신호를 출력하기 위한 영상융합부의 블록도
도 4는 본 발명의 제1 실시 예 및 제2 실시 예에 따라 제4 영상신호를 출력하기 위한 영상융합부의 블록도
도 5는 본 발명의 제1 실시 예 및 제2 실시 예에 따라 제3 영상신호를 출력하기 위한 영상융합부의 블록도
도 6은 본 발명의 제1 실시 예에 따른 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템의 순서도
도 7은 본 발명의 제1 실시 예 및 제2 실시 예에 따라 다양하게 출력되는 영상화면의 예1 is a block diagram of a multifunction output system using a thermal imaging camera and a visible light camera according to a first embodiment of the present invention;
2 is a block diagram of the image fusion unit according to the first and second embodiments of the present invention.
3 is a block diagram of an image fusion unit for outputting a first video signal according to the first and second embodiments of the present invention.
4 is a block diagram of an image fusion unit for outputting a fourth image signal according to the first and second embodiments of the present invention.
5 is a block diagram of an image fusion unit for outputting a third video signal according to the first and second embodiments of the present invention.
6 is a flow chart of a multifunction output system using a thermal imaging camera and a visible light camera according to the first embodiment of the present invention
7 shows an example of a video screen output in various ways according to the first and second embodiments of the present invention

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예를 참조하면 명확해질 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and how to accomplish them, will become apparent by reference to the embodiments described in detail below with reference to the accompanying drawings.

그러나, 본 발명은 이하에서 개시되는 실시 예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.However, the present invention is not limited to the embodiments disclosed below, but may be embodied in various forms.

본 명세서에서 본 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.The present embodiments are provided so that the disclosure of the present invention is thoroughly disclosed and that those skilled in the art will fully understand the scope of the present invention.

그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다.And the present invention is only defined by the scope of the claims.

따라서, 몇몇 실시 예에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.Thus, in some embodiments, well known components, well known operations, and well-known techniques are not specifically described to avoid an undesirable interpretation of the present invention.

또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하고, 본 명세서에서 사용된(언급된) 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.In addition, throughout the specification, like reference numerals refer to like elements, and the terms (mentioned) used herein are intended to illustrate the embodiments and not to limit the invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함하며, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.In this specification, the singular forms include plural forms unless the context clearly dictates otherwise, and the constituents and acts referred to as " comprising (or comprising) " do not exclude the presence or addition of one or more other constituents and actions .

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs.

또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Also, commonly used predefined terms are not ideally or excessively interpreted unless they are defined.

이하, 첨부된 도면을 참고로 본 발명의 다양한 실시 예에 대하여 설명한다.Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings.

[제1 실시 [First implementation 예] 자동모드Yes] Automatic mode

도 1 내지 도 7을 참고하면, 본 발명의 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템(1000)은 가시광 카메라(visible camera)(100), 열영상 카메라(thermal imaging camera)(200) 및 영상제어부(300)를 포함한다.1 to 7, a multifunctional output system 1000 using a thermal imaging camera and a visible light camera of the present invention includes a visible camera 100, a thermal imaging camera 200, And a control unit 300.

영상제어부(300)는 열영상 카메라(200)가 촬영한 영상에서 감지되는 온도 상태와 엣지(edge) 강도에 따라 가시광 카메라(100)가 촬영한 영상과 열영상 카메라(200)가 촬영한 영상을 조합하여 온도 상태와 엣지 강도에 맞는 영상을 출력한다. 제1 실시 예는 자동모드로 설정된 경우에 해당한다.The image controller 300 controls the image captured by the visible light camera 100 and the image captured by the thermal imaging camera 200 according to the temperature state and the edge strength detected in the image captured by the thermal imaging camera 200 And outputs an image corresponding to the temperature state and the edge strength in combination. The first embodiment corresponds to the case where the automatic mode is set.

자동모드에서는 열영상 카메라(200)가 촬영한 영상의 온도와 엣지 강도를 판단하여 가시광 카메라(100)가 촬영한 영상과 열영상 카메라(200)가 촬영한 영상을 다양하게 조합하여 출력할 수가 있다.In the automatic mode, the temperature and edge intensity of the image captured by the thermal imaging camera 200 are determined, and the image captured by the visible light camera 100 and the image captured by the thermal imaging camera 200 can be output in various combinations .

구체적으로, 영상제어부(300)는 온도감지부(310), 엣지분석부(320), 데이터선택부(330) 및 영상융합부(340)를 구비한다.Specifically, the image controller 300 includes a temperature sensor 310, an edge analyzer 320, a data selector 330, and an image fusion unit 340.

온도감지부(310)는 열영상 카메라(200)가 촬영한 영상의 온도를 감지한다. 열영상 이미지로부터 1차 설정온도와 2차 설정온도를 감지하는 블록이다.The temperature sensing unit 310 senses the temperature of the image captured by the thermal imaging camera 200. It is a block that detects the first set temperature and the second set temperature from the thermal image.

엣지분석부(320)는 열영상 카메라(200)가 촬영한 영상의 엣지 강도를 분석한다. The edge analyzer 320 analyzes the edge strength of the image captured by the thermal imaging camera 200.

데이터선택부(330)는 온도감지부(310)가 감지한 온도와 엣지분석부(320)가 분석한 엣지 강도를 입력 받아 가시광 카메라(100)가 촬영한 영상과 열영상 카메라(200)가 촬영한 영상을 서로 다른 방식으로 조합하여 출력하기 위한 영상선택신호를 전송한다.The data selecting unit 330 receives the temperature sensed by the temperature sensing unit 310 and the edge strength analyzed by the edge analyzing unit 320 and displays the image captured by the visible light camera 100 and the image captured by the thermal imaging camera 200 And transmits an image selection signal for outputting a combination of images in different ways.

영상융합부(340)는 데이터선택부(330)에서 수신한 영상선택신호에 따라 가시광 카메라(100)가 촬영한 영상과 열영상 카메라(200)가 촬영한 영상을 조합하여 합성 후 출력한다.The image fusion unit 340 combines the image photographed by the visible light camera 100 and the image photographed by the thermal imaging camera 200 according to the image selection signal received by the data selection unit 330, and outputs the combined image.

도 6은 제1, 제2, 제3, 제4 영상선택신호 각각의 선택에 따라 제1, 제2, 제3, 제4 영상신호가 선택되어 출력되는 순서를 설명한 것이다.FIG. 6 illustrates a sequence in which the first, second, third, and fourth video signals are selected and output according to the selection of the first, second, third, and fourth video selection signals, respectively.

도 6을 참고하면, 데이터선택부(300)는 온도감지부(310)가 감지한 온도가 1차 설정온도 미만으로 감지되면 엣지분석부(320)가 분석한 엣지 강도에 따라 서로 다른 영상을 조합하여 출력하기 위한 영상선택신호를 전송한다. 그리고 데이터선택부(300)는 온도감지부(310)가 감지한 온도가 1차 설정온도 이상으로 감지되면 2차 설정온도 이상 감지 여부에 따라 또 다른 영상을 조합하여 출력하기 위한 영상선택신호를 전송한다. 도 6에서 Visible 영상은 가시광 카메라(100)가 촬영한 영상을 말한다. 6, when the temperature sensed by the temperature sensing unit 310 is detected to be lower than the first set temperature, the data selection unit 300 may combine different images according to the edge intensity analyzed by the edge analysis unit 320 And transmits an image selection signal for output. When the temperature sensed by the temperature sensing unit 310 is detected to be equal to or higher than the first set temperature, the data selection unit 300 transmits an image selection signal do. In FIG. 6, the Visible image refers to an image captured by the visible light camera 100.

이를 더욱 구체적으로 설명하면, 데이터선택부(300)는 온도감지부(310)가 감지한 온도가 1차 설정온도 미만으로 감지되고, 엣지분석부(320)가 분석한 엣지 강도가 설정 강도보다 작으면 가시광 카메라(100)가 촬영한 영상에 대한 윤곽선 데이터와 열영상 카메라(200)가 촬영한 영상 데이터를 합성하여 출력하도록 제1 영상선택신호를 전송하고, 영상융합부(340)는 제1 영상신호를 출력한다.More specifically, if the temperature sensed by the temperature sensing unit 310 is lower than the first set temperature and the edge strength analyzed by the edge analysis unit 320 is less than the preset strength The image fusion unit 340 transmits the first image selection signal so that the outline data of the image photographed by the visible light camera 100 and the image data captured by the thermal imaging camera 200 are combined and output, And outputs a signal.

데이터선택부(300)는 온도감지부(310)가 감지한 온도가 1차 설정온도 미만으로 감지되고, 엣지분석부(320)가 분석한 엣지 강도가 설정 강도 이상이면 열영상 카메라(200)가 촬영한 영상 데이터에 색상 정보를 반영하여 출력하도록 제2 영상선택신호를 전송하고, 영상융합부(340)는 제2 영상신호를 출력한다. 자동모드로 설정 시 기본 출력은 열영상에 색상 정보가 나타나는 영상을 출력한다.If the temperature sensed by the temperature sensing unit 310 is lower than the first set temperature and the edge intensity analyzed by the edge analysis unit 320 is equal to or higher than the preset intensity, the data selection unit 300 selects the thermal image camera 200 The second image selection signal is transmitted so as to reflect the color information on the photographed image data, and the image fusion unit 340 outputs the second image signal. When set to the automatic mode, the default output will output the image in which the color information appears in the column image.

데이터선택부(300)는 온도감지부(310)가 감지한 온도가 1차 설정온도 이상 그리고 2차 설정온도 미만으로 감지되면 가시광 카메라(100)가 촬영한 영상 데이터와 열영상 카메라(200)가 촬영한 영상 데이터의 데이터 강도를 조절한 후 합성하여 출력하도록 제3 영상선택신호를 전송하고, 영상융합부(340)는 제3 영상신호를 출력한다.When the temperature sensed by the temperature sensing unit 310 is detected to be higher than the first set temperature and lower than the second set temperature, the data selection unit 300 selects the image data captured by the visible light camera 100 and the thermal image camera 200 The third image selection signal is transmitted so that the data intensity of the photographed image data is adjusted and output, and the image fusion unit 340 outputs the third image signal.

데이터선택부(300)는 온도감지부(310)가 감지한 온도가 1차 설정온도 이상 그리고 2차 설정온도 이상으로 감지되면 열영상 카메라(200)가 촬영한 영상에서 설정온도 범위에 해당하는 영상 데이터를 추출하고, 그 외 영역에 대해서는 가시광 카메라(100)가 촬영한 영상 데이터를 합성하여 출력하도록 제4 영상선택신호를 전송하고, 영상융합부(340)는 제4 영상신호를 출력한다.When the temperature sensed by the temperature sensing unit 310 is sensed above the first set temperature and above the second set temperature, the data selection unit 300 selects the image corresponding to the set temperature range from the image captured by the thermal video camera 200 And transmits the fourth image selection signal to synthesize and output the image data photographed by the visible light camera 100 in the other regions. The image fusion unit 340 outputs the fourth image signal.

영상융합부(340)는 영상처리부(341) 및 영상합성부(349)를 구비한다. 영상처리부(341)는 여러 가지의 기능 블록을 구비하여 아래 각각의 기능을 수행한다. 영상처리부(341)는 영상 합성을 위한 전처리를 수행한다. 각 기능 블록에 대해서는 아래에서 도 3 내지 도 5를 참조하여 구체적으로 설명한다.The image fusion unit 340 includes an image processing unit 341 and an image synthesizing unit 349. The image processing unit 341 includes various functional blocks and performs the following respective functions. The image processor 341 performs preprocessing for image synthesis. Each functional block will be described in detail with reference to Figs. 3 to 5 below.

영상처리부(341)는 가시광 카메라(100)가 촬영한 영상에 대한 윤곽선을 추출 및 조절한다. The image processing unit 341 extracts and adjusts contours of the image photographed by the visible light camera 100.

영상처리부(341)는 열영상 카메라(200)가 촬영한 영상에 색상정보를 반영한다. The image processing unit 341 reflects the color information on the image taken by the thermal imaging camera 200.

영상처리부(341)는 가시광 카메라(100)의 영상 데이터 및 열영상 카메라(200)의 영상 데이터를 강도를 조절한다. The image processing unit 341 adjusts the intensity of the image data of the visible light camera 100 and the image data of the thermal image camera 200.

영상처리부(341)는 열영상 카메라(200)가 촬영한 영상에서 표시하고자 하는 온도에 해당하는 영상 데이터를 추출한다. The image processing unit 341 extracts image data corresponding to a temperature to be displayed on the image captured by the thermal imaging camera 200.

영상처리부(341)는 각각의 기능처리 블록을 이용하여 위와 같은 여러 가지의 기능을 수행하며, 물론 열영상 단독의 영상이나, 가시광(Visible) 단독의 영상도 출력할 수 있으나 자세한 설명은 생략한다.The image processing unit 341 performs various functions as described above using the respective function processing blocks. Of course, a single image of a thermal image or an image of a single visible can also be output, but a detailed description thereof will be omitted.

도 6 및 도 7을 참고하면, 영상합성부(349)는 영상처리부(341)가 조절한 가시광 영상에 대한 윤곽선 데이터와 열영상 카메라(200)가 촬영한 영상 데이터를 합성하여 제1 영상신호를 출력한다[ 열영상 +윤곽선 영상 출력].6 and 7, the image combining unit 349 combines the contour data of the visible light image adjusted by the image processing unit 341 with the image data captured by the thermal imaging camera 200, and outputs the first image signal Output [ Thermal image + Outline video output] .

영상합성부(349)는 열영상 카메라(200)가 촬영한 영상 데이터에 색상 정보를 반영한 제2 영상신호를 출력한다[ 열영상에 색상정보 출력].Image combining unit 349 outputs a second image signal that reflects the color information in the image data recording the thermal image camera 200 Color information output to the thermal image.

영상합성부(349)는 영상처리부(341)에서 데이터의 강도가 조절된 가시광 카메라(100)의 영상 데이터와 열영상 카메라(200)의 영상 데이터를 합성하여 제3 영상신호를 출력한다[ 열영상 +Visible 영상 출력]. Image synthesis unit 349 synthesizes the image data of the image data and thermal image camera 200 of the strength of the data in the image processor 341 is controlled visible light camera 100 and outputs a third video signal Columns image + Visible video output].

영상합성부(349)는 영상처리부(341)가 추출한 표시하고자 하는 온도를 갖는 위치에 해당하는 열영상 데이터와 그 외 영역에 대해서는 가시광 카메라(100)가 촬영한 영상 데이터를 합성하여 제4 영상신호를 출력한다[Visible+ 열영상 부분 출력].The image synthesizing unit 349 synthesizes the thermal image data corresponding to the position of the temperature to be displayed extracted by the image processing unit 341 and the image data photographed by the visible light camera 100 for the other region, [Visible + Thermal image partial output] .

도 2 내지 도 5를 참고하면, 영상처리부(341)에 포함되는 기능 블록들을 살펴보면 다음과 같다.Referring to FIGS. 2 to 5, functional blocks included in the image processing unit 341 will be described below.

영상처리부(341)는 윤곽선추출부(342), 윤곽선데이터조절부(343), 설정영상추출부(344) 및 데이터강도조절부(345, 346)를 구비한다.The image processing unit 341 includes an outline extractor 342, a contour data adjuster 343, a set image extractor 344, and data intensity adjusters 345 and 346.

윤곽선추출부(342)는 가시광 카메라(100)가 촬영한 영상에서 윤곽선을 추출한다. 윤곽선을 추출하는 알고리즘은 기존의 어떠한 것을 사용하여도 무방하다.The contour extracting section 342 extracts contour lines from the image photographed by the visible light camera 100. Any algorithm can be used to extract contour lines.

윤곽선데이터조절부(343)는 윤곽선추출부(342)에서 추출한 윤곽선 데이터 값을 일정 범위 내에서 낮추어 조절 후 영상합성부(349)로 전달한다.The contour data adjusting unit 343 lowers the contour data values extracted by the contour extracting unit 342 within a predetermined range and transmits the adjusted contour data values to the adjusting image synthesizing unit 349. [

윤곽선데이터조절은 열영상 이미지에 가시광 영상에서 추출한 윤곽선 데이터를 합성하기 전에 조절하는 블록이다. 일반적으로 윤곽선을 추출하면 거의 최대값에 수렴한다. 예를 들어, 8bit data라면 윤곽선 데이터는 Oxff 값이거나 이에 가까운 값이 된다. 따라서, 열영상 카메라 데이터와 융합시 윤곽선과 융합되는 데이터는 최대값을 초과하게 된다. 따라서 이를 조절하여 열영상 이미지에 윤곽선이 잘 보이도록 조절하는 것이다. 이 블록 없이 영상을 합성하여도 열영상 이미지에 대부분의 윤곽선은 보이게 되나, 조금 더 좋은 품질의 합성 영상을 얻기 위해서 추가하는 것이다.Contour data adjustment is a block that adjusts the contour data extracted from the visible image to the thermal image before compositing it. In general, when the contour is extracted, it converges to almost the maximum value. For example, if the data is 8-bit data, the outline data is the Oxff value or a value close to the value. Therefore, the data fused with the contour line when merging with the thermal image camera data exceeds the maximum value. Therefore, it is necessary to adjust the image so that the contour lines can be clearly seen on the thermal image. Even if the images are synthesized without this block, most of the contours are visible in the thermal image, but they are added to obtain a better quality composite image.

설정영상추출부(344)는 열영상 카메라(200)가 촬영한 영상에서 설정온도 범위에 해당하는 영상 데이터를 추출하여 영상합성부(349)로 전달한다.The set image extracting unit 344 extracts image data corresponding to the set temperature range from the image captured by the thermal image camera 200 and transmits the extracted image data to the image synthesizing unit 349.

설정영상추출 블록은 표시하고자 하는 온도에 대한 열영상 이미지를 추출한다. 즉, 설정온도 이상의 이미지를 추출할 수도 있고, 설정온도 이하의 이미지를 추출할 수도 있다. 또한 조건에 맞는 범위에 있는 이미지를 추출할 수도 있다.The set image extraction block extracts the thermal image for the temperature to be displayed. That is, it is possible to extract an image of a temperature equal to or higher than the set temperature, or to extract an image below the set temperature. It is also possible to extract images in a range that meets the conditions.

영상합성부(349)는 추출된 위치에 있는 열영상 이미지는 열영상 이미지를 출력하고, 그 외 영역의 이미지는 가시광 이미지를 출력한다.The image combining unit 349 outputs the column image image at the extracted position and the image of the other region outputs the visible light image.

데이터강도조절부(345, 346)는 가시광 카메라(100)가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 영상합성부(349)로 전달하고, 열영상 카메라(200)가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 영상합성부(349)로 전달한다.The data intensity adjusters 345 and 346 adjust the data intensity of the image photographed by the visible light camera 100 to reduce the data by a predetermined value and then transmit the data to the image synthesizer 349. The thermal image camera 200 Adjusts the data intensity of the photographed image, reduces the data by the set value, and transmits the data to the image synthesizer 349.

데이터강도조절은 설정된 값만큼 데이터를 줄이는 블록이다. 예를 들어, 8bit 영상데이터를 가시광 영상 20%와 열영상 80%로 설정하면 가시광 카메라(100)가 촬영한 가시광 영상은 최대값 256의 20%인 51로 줄어들고, 열영상 카메라(200)가 촬영한 열영상 데이터는 80%에 해당하는 205로 줄어든다.Data intensity adjustment is a block that reduces the data by the set value. For example, if the 8-bit image data is set to 20% of the visible light image and 80% of the thermal image 80%, the visible light image taken by the visible light camera 100 is reduced to 51, which is 20% One column image data is reduced to 205, corresponding to 80%.

데이터 강도 조절 알고리즘이나 영상 합성 알고리즘은 기존의 어떠한 것을 사용하여도 무방하다.The data intensity adjustment algorithm or the image synthesis algorithm may be any conventional one.

[제2 실시 [Second implementation 예] 수동모드Yes] Manual mode

도 2 내지 도 5 및 도 7을 참고하면, 본 발명의 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템(1000)은 가시광 카메라(visible camera)(100), 열영상 카메라(thermal imaging camera)(200), 영상처리부(341) 및 영상합성부(349)를 포함한다. 제1 실시 예의 경우와 다르게 사용자가 가시광 영상과 열영상의 합성 조합을 선택하여 출력하는 구성이다. 제1 실시 예와 중복되는 부분에 대해서는 자세한 설명을 생략한다.2 to 5 and 7, a multifunctional output system 1000 using a thermal imaging camera and a visible light camera of the present invention includes a visible camera 100, a thermal imaging camera 200 An image processing unit 341, and an image synthesizing unit 349. [ Unlike the case of the first embodiment, the user selects and outputs a combined combination of the visible light image and the column image. The detailed description of the parts overlapping with the first embodiment will be omitted.

도면에는 도시하지 않았으나, 자동모드 및 수동모드를 설정하는 기능이 있으며 사용자에 의해 설정된 모드로 동작한다.Although not shown in the figure, the function has a function of setting the automatic mode and the manual mode, and operates in a mode set by the user.

영상처리부(341)는 가시광 카메라(100)가 촬영한 영상에 대한 윤곽선을 추출 및 조절하거나, 열영상 카메라(200)가 촬영한 영상에 색상정보를 반영하거나, 가시광 카메라(100)의 영상 데이터 및 열영상 카메라(200)의 영상 데이터를 강도를 조절하거나, 열영상 카메라(200)가 촬영한 영상에서 표시하고자 하는 온도에 해당하는 영상 데이터를 추출한다.The image processing unit 341 extracts and adjusts the contour of the image photographed by the visible light camera 100, reflects the color information on the image taken by the thermal imaging camera 200, The intensity of the image data of the thermal imaging camera 200 is adjusted or the image data corresponding to the temperature to be displayed on the image captured by the thermal imaging camera 200 is extracted.

영상합성부(349)는 영상처리부(341)가 조절한 가시광 영상에 대한 윤곽선 데이터와 열영상 카메라(200)가 촬영한 영상 데이터를 합성하여 제1 영상신호를 출력하거나, 열영상 카메라(200)가 촬영한 영상 데이터에 색상 정보를 반영한 제2 영상신호를 출력하거나, 영상처리부(341)에서 데이터의 강도가 조절된 가시광 카메라(100)의 영상 데이터와 열영상 카메라(200)의 영상 데이터를 합성하여 제3 영상신호를 출력하거나, 영상처리부(341)가 추출한 표시하고자 하는 온도를 갖는 위치에 해당하는 열영상 데이터와 그 외 영역에 대해서는 가시광 카메라(100)가 촬영한 영상 데이터를 합성하여 제4 영상신호를 출력한다.The image synthesis unit 349 synthesizes the contour data of the visible light image adjusted by the image processing unit 341 with the image data captured by the thermal imaging camera 200 to output the first image signal, Or the image data of the visible light camera 100 and the image data of the thermal imaging camera 200, which have been adjusted in data intensity by the image processing unit 341, are synthesized Or combines the thermal image data corresponding to the position having the temperature to be displayed extracted by the image processing unit 341 and the image data captured by the visible light camera 100 for the other region, And outputs a video signal.

영상처리부(349)는 가시광 카메라(100)가 촬영한 영상에서 윤곽선을 추출하는 윤곽선추출부(342), 윤곽선추출부(342)에서 추출한 윤곽선 데이터 값을 일정 범위 내에서 낮추어 조절 후 영상합성부(349)로 전달하는 윤곽선데이터조절부(343), 열영상 카메라(200)가 촬영한 영상에서 설정온도 범위에 해당하는 영상 데이터를 추출하여 영상합성부(349)로 전달하는 설정영상추출부(344), 가시광 카메라(100)가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 영상합성부(349)로 전달하고, 열영상 카메라(200)가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 영상합성부(349)로 전달하는 데이터강도조절부(345, 346)를 구비한다.The image processing unit 349 includes a contour extracting unit 342 for extracting a contour line from the image photographed by the visible light camera 100 and a contour line extracting unit 342 for reducing the contour line data values within a predetermined range, A configuration image extracting unit 344 for extracting image data corresponding to a set temperature range from the image captured by the thermal imaging camera 200 and delivering the image data to the image synthesizing unit 349; ), The data intensity of the image photographed by the visible light camera 100 is adjusted to reduce the data by a predetermined value, and the data is transmitted to the image synthesizing unit 349. The data intensity of the image photographed by the thermal imaging camera 200 is And a data intensity adjusting unit 345 and 346 for reducing the data by the adjusted value and transmitting the data to the image combining unit 349. [

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시할 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.Although the present invention has been described in detail with reference to the preferred embodiments thereof, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. It is to be understood that the embodiments are to be considered in all respects as illustrative and not restrictive.

그리고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 특정되는 것이며, 특허청구 범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents are included in the scope of the present invention. .

100...가시광 카메라
200...열영상 카메라
300...영상제어부
310...온도감지부
320...엣지분석부
330...데이터선택부
340...영상융합부
341...영상처리부
342...윤곽선추출부
343...윤곽선데이터조절부
344...설정영상추출부
345, 346...데이터강도조절부
349...영상합성부
1000... 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템100 ... Visible light camera
200 ... thermal imaging camera
300:
310 ... temperature sensing unit
320 ... edge analysis unit
330 ... data selector
340 ... Image fusion department
341 ... image processing section
342 ... contour extracting unit
343 ... contour data adjustment section
344 ... set image extracting unit
345, 346 ... Data intensity adjustment unit
349 ... image synthesis unit
1000 ... Multi-function output system using thermal image camera and visible light camera

Claims (8)

가시광 카메라(visible camera);
열영상 카메라(thermal imaging camera);
상기 열영상 카메라가 촬영한 영상에서 감지되는 온도 상태와 엣지(edge) 강도에 따라 상기 가시광 카메라가 촬영한 영상과 열영상 카메라가 촬영한 영상을 조합하여 상기 온도 상태와 엣지 강도에 맞는 영상을 출력하는 영상제어부를 포함하되,
상기 영상제어부는,
상기 열영상 카메라가 촬영한 영상의 온도를 감지하는 온도감지부;
상기 열영상 카메라가 촬영한 영상의 엣지 강도를 분석하는 엣지분석부;
상기 온도감지부가 감지한 온도와 엣지분석부가 분석한 엣지 강도를 입력 받아 가시광 카메라가 촬영한 영상과 열영상 카메라가 촬영한 영상을 서로 다른 방식으로 조합하여 출력하기 위한 영상선택신호를 전송하는 데이터선택부; 및
상기 데이터선택부에서 수신한 영상선택신호에 따라 상기 가시광 카메라가 촬영한 영상과 열영상 카메라가 촬영한 영상을 조합하여 출력하는 영상융합부를 포함하고,
상기 영상융합부는,
상기 가시광 카메라가 촬영한 영상에 대한 윤곽선을 추출 및 조절하거나, 상기 열영상 카메라가 촬영한 영상에 색상정보를 반영하거나, 상기 가시광 카메라의 영상 데이터 및 열영상 카메라의 영상 데이터를 강도를 조절하거나, 상기 열영상 카메라가 촬영한 영상에서 표시하고자 하는 온도에 해당하는 영상 데이터를 추출하는 영상처리부; 및
상기 영상처리부가 조절한 가시광 영상에 대한 윤곽선 데이터와 상기 열영상 카메라가 촬영한 영상 데이터를 합성하여 제1 영상신호를 출력하거나, 상기 열영상 카메라가 촬영한 영상 데이터에 색상 정보를 반영한 제2 영상신호를 출력하거나, 상기 영상처리부에서 데이터의 강도가 조절된 가시광 카메라의 영상 데이터와 열영상 카메라의 영상 데이터를 합성하여 제3 영상신호를 출력하거나, 상기 영상처리부가 추출한 표시하고자 하는 온도를 갖는 위치에 해당하는 열영상 데이터와 그 외 영역에 대해서는 상기 가시광 카메라가 촬영한 영상 데이터를 합성하여 제4 영상신호를 출력하는 영상합성부를 포함하며,
상기 영상처리부는,
상기 가시광 카메라가 촬영한 영상에서 윤곽선을 추출하는 윤곽선추출부;
상기 윤곽선추출부에서 추출한 윤곽선 데이터 값을 일정 범위 내에서 낮추어 조절 후 상기 영상합성부로 전달하는 윤곽선데이터조절부;
상기 열영상 카메라가 촬영한 영상에서 설정온도 범위에 해당하는 영상 데이터를 추출하여 상기 영상합성부로 전달하는 설정영상추출부; 및
상기 가시광 카메라가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 상기 영상합성부로 전달하고, 상기 열영상 카메라가 촬영한 영상에 대한 데이터 강도를 조절하여 설정된 값만큼 데이터를 줄인 후 상기 영상합성부로 전달하는 데이터강도조절부를 구비하되,
상기 윤곽선데이터조절부는 열영상 이미지에 가시광 영상에서 추출한 윤곽선 데이터를 합성하기 전에 가시광 영상에서 추출한 최대값에 수렴하는 윤곽선 데이터값을 조절하여 열영상 이미지에 가시광 영상에서 추출한 윤곽선 데이터를 합성 시 윤곽선과 융합되는 데이터값이 최대값을 초과하지 않도록 하고,
상기 데이터강도조절부는 영상 데이터에 대한 가시광 영상과 열영상의 비율을 X % 와 (100-X) % 로 설정하면 가시광 카메라가 촬영한 가시광 영상은 해당 영상데이터를 나타내기 위한 bit수로 표현할 수 있는 최대값의 X % 로 줄어들고, 열영상 카메라가 촬영한 열영상 데이터는 최대값의 (100-X) % 로 줄어드는 것을 특징으로 하는 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템.
A visible camera;
A thermal imaging camera;
The image captured by the visible light camera and the image captured by the thermal imaging camera are combined according to the temperature state and the edge intensity sensed by the thermal imaging camera to output an image corresponding to the temperature state and the edge strength And an image control unit,
The image control unit includes:
A temperature sensing unit for sensing a temperature of an image captured by the thermal imaging camera;
An edge analyzer for analyzing an edge intensity of an image taken by the thermal imaging camera;
A data selection unit for receiving a temperature sensed by the temperature sensing unit and an edge strength analyzed by the edge analysis unit and transmitting an image selection signal for outputting a combined image of the image photographed by the visible light camera and the image photographed by the thermal imaging camera in different manners; part; And
And an image fusion unit for combining and outputting the image photographed by the visible light camera and the image photographed by the thermal imaging camera according to the image selection signal received by the data selection unit,
The image fusion unit includes:
And a controller for controlling the intensity of the image data of the visible light camera and the image data of the thermal image camera or adjusting the intensity of the image data of the thermal image camera, An image processing unit for extracting image data corresponding to a temperature to be displayed on the image taken by the thermal imaging camera; And
A first image signal obtained by combining the outline data of the visible light image adjusted by the image processing unit and the image data photographed by the thermal image camera or outputting a first image signal, Or outputs the third video signal by combining the video data of the visible light camera and the video data of the thermal video camera whose data intensity is controlled by the video processor, And an image synthesizer for synthesizing the image data photographed by the visible light camera for the other region and outputting a fourth image signal,
Wherein the image processing unit comprises:
An outline extracting unit for extracting an outline of the image photographed by the visible light camera;
A contour data adjusting unit that adjusts the contour data values extracted by the contour extracting unit to a predetermined range and transmits the adjusted contour data values to the image combining unit;
A set image extracting unit for extracting image data corresponding to a set temperature range from the image captured by the thermal imager and delivering the image data to the image synthesizer; And
Adjusting a data intensity of an image photographed by the visible light camera, reducing the data by a predetermined value, and transmitting the data to the image synthesizer, adjusting data intensity of the image photographed by the thermal imaging camera, And a data intensity controller for transmitting the data intensity to the image synthesizer,
The contour data controller adjusts the contour data values converging on the maximum value extracted from the visible light image before synthesizing the contour data extracted from the visible light image to the thermal image to output contour data extracted from the visible image to the thermal image, So that the data value does not exceed the maximum value,
If the ratio of the visible light image and the column image to the image data is X% and (100-X)%, the data intensity controller adjusts the maximum visible light image captured by the visible light camera to a maximum number And the thermal image data captured by the thermal imaging camera is reduced to a maximum value of (100-X)%. The multifunction output system using the thermal imaging camera and the visible light camera.
삭제delete 청구항 1에 있어서,
상기 데이터선택부는,
상기 온도감지부가 감지한 온도가 1차 설정온도 미만으로 감지되면 상기 엣지분석부가 분석한 엣지 강도에 따라 서로 다른 영상을 조합하여 출력하기 위한 영상선택신호를 전송하고, 1차 설정온도 이상으로 감지되면 2차 설정온도 이상 감지 여부에 따라 또 다른 영상을 조합하여 출력하기 위한 영상선택신호를 전송하는 것을 특징으로 하는 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템.
The method according to claim 1,
Wherein the data selection unit comprises:
If the temperature sensed by the temperature sensing unit is lower than the first set temperature, the edge analyzing unit transmits an image selection signal for outputting a combination of different images according to the analyzed edge strength, And a video selection signal for outputting a combination of still images according to whether the second set temperature is abnormal or not is transmitted to the multi-function output system using the thermal video camera and the visible camera.
청구항 1에 있어서,
상기 데이터선택부는,
상기 온도감지부가 감지한 온도가 1차 설정온도 미만으로 감지되고, 상기 엣지분석부가 분석한 엣지 강도가 설정 강도보다 작으면 가시광 카메라가 촬영한 영상에 대한 윤곽선 데이터와 열영상 카메라가 촬영한 영상 데이터를 합성하여 출력하도록 제1 영상선택신호를 전송하고,
상기 온도감지부가 감지한 온도가 1차 설정온도 미만으로 감지되고, 상기 엣지분석부가 분석한 엣지 강도가 설정 강도 이상이면 열영상 카메라가 촬영한 영상 데이터에 색상 정보를 반영하여 출력하도록 제2 영상선택신호를 전송하고,
상기 온도감지부가 감지한 온도가 1차 설정온도 이상 그리고 2차 설정온도 미만으로 감지되면 가시광 카메라가 촬영한 영상 데이터와 열영상 카메라가 촬영한 영상 데이터의 데이터 강도를 조절한 후 합성하여 출력하도록 제3 영상선택신호를 전송하고,
상기 온도감지부가 감지한 온도가 1차 설정온도 이상 그리고 2차 설정온도 이상으로 감지되면 열영상 카메라가 촬영한 영상에서 설정온도 범위에 해당하는 영상 데이터를 추출하고, 그 외 영역에 대해서는 가시광 카메라가 촬영한 영상 데이터를 합성하여 출력하도록 제4 영상선택신호를 전송하는 것을 특징으로 하는 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템.The method according to claim 1,
Wherein the data selection unit comprises:
If the temperature detected by the temperature sensing unit is less than the first set temperature and the edge intensity analyzed by the edge analysis unit is less than the set intensity, the outline data of the image photographed by the visible light camera and the image data And outputs the first image selection signal so that the first image selection signal is output,
If the temperature detected by the temperature sensing unit is lower than the first set temperature and the edge intensity analyzed by the edge analysis unit is equal to or higher than the preset intensity, Signal,
If the temperature detected by the temperature sensing unit is higher than the first set temperature and lower than the second set temperature, the data intensity of the image data photographed by the visible light camera and the image data photographed by the thermal image camera are adjusted, 3 video selection signal,
If the temperature sensed by the temperature sensing unit is higher than the first set temperature and higher than the second set temperature, the image data corresponding to the set temperature range is extracted from the image captured by the thermal imaging camera, and the visible light camera And the fourth image selection signal is transmitted so as to synthesize and output the photographed image data. The multi-function output system using the thermal imaging camera and the visible light camera. 삭제delete 삭제delete 삭제delete 삭제delete
KR1020180098348A 2018-08-23 2018-08-23 Multi-function output system using thermal image camera and visible camera KR101934815B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180098348A KR101934815B1 (en) 2018-08-23 2018-08-23 Multi-function output system using thermal image camera and visible camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180098348A KR101934815B1 (en) 2018-08-23 2018-08-23 Multi-function output system using thermal image camera and visible camera

Publications (1)

Publication Number Publication Date
KR101934815B1 true KR101934815B1 (en) 2019-01-03

Family

ID=65021974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180098348A KR101934815B1 (en) 2018-08-23 2018-08-23 Multi-function output system using thermal image camera and visible camera

Country Status (1)

Country Link
KR (1) KR101934815B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102152072B1 (en) * 2019-09-27 2020-09-04 조소정 Object detection system integrating real video camera and thermal video camera
CN111780877A (en) * 2020-07-06 2020-10-16 广东智芯光电科技有限公司 Method and system for measuring object temperature based on camera
KR102450629B1 (en) * 2021-05-07 2022-10-07 한국자동차연구원 Thermal image camera apparatus and control method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455071B1 (en) * 2013-09-17 2014-10-30 주식회사 서울텍 Method for enhancing night time image using digital compositing
JP2017011504A (en) * 2015-06-22 2017-01-12 カシオ計算機株式会社 Imaging device, image processing method and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455071B1 (en) * 2013-09-17 2014-10-30 주식회사 서울텍 Method for enhancing night time image using digital compositing
JP2017011504A (en) * 2015-06-22 2017-01-12 カシオ計算機株式会社 Imaging device, image processing method and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102152072B1 (en) * 2019-09-27 2020-09-04 조소정 Object detection system integrating real video camera and thermal video camera
CN111780877A (en) * 2020-07-06 2020-10-16 广东智芯光电科技有限公司 Method and system for measuring object temperature based on camera
KR102450629B1 (en) * 2021-05-07 2022-10-07 한국자동차연구원 Thermal image camera apparatus and control method thereof

Similar Documents

Publication Publication Date Title
KR101934815B1 (en) Multi-function output system using thermal image camera and visible camera
KR101900097B1 (en) Image capturing method and image capturing apparatus
US8830348B2 (en) Imaging device and imaging method
US8681242B2 (en) Image signal processing system
US8111946B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US9083929B2 (en) Image-pickup apparatus and white-balance control method provided therefor
US20100177215A1 (en) Image processing apparatus and recording medium
JP2011041089A (en) Method, device and program for processing image, and imaging device
JP2008118383A (en) Digital camera
JP7250483B2 (en) Imaging device, computer program, and storage medium
JP7412920B2 (en) Image processing device, image processing method and program
US11361408B2 (en) Image processing apparatus, system, image processing method, and non-transitory computer-readable storage medium
JP2011228807A (en) Image processing program, image processing apparatus, and image processing method
KR20180001869A (en) Image Improving Apparatus for AVM System and Improving Method thereof
JP2018186514A (en) Image processing device, imaging system having the same and image processing method
US20030108337A1 (en) Electronic instrument
KR101753261B1 (en) Photographing system and method for synchronizing image quality thereof
CN110771142A (en) Imaging device, method for controlling imaging device, and program for controlling imaging device
US20220053145A1 (en) Information processing apparatus having capability of appropriately setting regions displayed within an image capturing region using different image categories
JP4857856B2 (en) Electronic camera having saturation adjustment function and image processing program
JP2001311867A (en) Electronic camera
JP2017126914A (en) Image processing system
JP4941424B2 (en) Imaging apparatus and image processing program
WO2023276446A1 (en) Imaging device, imaging method, and program
JP5446619B2 (en) Digital camera and image data editing program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant