KR20090089931A - Real time complex image display apparatus - Google Patents

Real time complex image display apparatus Download PDF

Info

Publication number
KR20090089931A
KR20090089931A KR1020080015099A KR20080015099A KR20090089931A KR 20090089931 A KR20090089931 A KR 20090089931A KR 1020080015099 A KR1020080015099 A KR 1020080015099A KR 20080015099 A KR20080015099 A KR 20080015099A KR 20090089931 A KR20090089931 A KR 20090089931A
Authority
KR
South Korea
Prior art keywords
visible light
image
infrared
cameras
images
Prior art date
Application number
KR1020080015099A
Other languages
Korean (ko)
Inventor
구자일
모연섭
이덕형
Original Assignee
유넷웨어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유넷웨어(주) filed Critical 유넷웨어(주)
Priority to KR1020080015099A priority Critical patent/KR20090089931A/en
Publication of KR20090089931A publication Critical patent/KR20090089931A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

A real-time complex image output device for outputting a visible ray image and an infrared image on a screen are provided to perform double monitoring and track a monitoring target by photographing an overall monitoring area by using complex cameras. A plurality of complex cameras(100) is comprised of visible light cameras visible light images and infrared cameras taking a picture of the infrared ray images of the same domain as the visible light camera. A visible ray image combiner(200) combines images inputted from visible light cameras. An infrared image combiner(300) combines images inputted from infrared cameras based on the connection information. A screen output unit outputs the combined visible light images as described above and infrared ray images on the screen.

Description

실시간 복합 영상 출력 장치{Real time complex image display apparatus}Real time complex image display apparatus

본 발명은 영상 감시 시스템에 관한 것으로, 특히 다수의 카메라를 가지고 여러 영역을 동시에 감시하는 영상 감시 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to video surveillance systems, and more particularly, to video surveillance systems having multiple cameras to monitor multiple areas simultaneously.

일반적으로 영상 감시 시스템은 감시 카메라로부터 입력받은 영상을 처리하여 디스플레이 장치에 화면을 디스플레이한다. 통상 감시 카메라는 가시광 영상을 촬영하는 가시광 카메라이며, 다수대가 설치된다. 다수대가 설치되는 경우에는 바람직하게 화면을 4분할, 8분할, 16분할 등으로 분할하여 각 감시 카메라로부터 출력되는 영상을 분할 화면에 디스플레이 처리한다. 각각의 감시 영역을 한 화면에 디스플레이하므로, 효과적으로 감시할 수가 있다. 그러나 빛이 없는 야간이나 조명이 없거나 혹은 비나 눈이 내리거나 혹은 안개가 짙게 끼는 등의 요인으로 인해, 가시광 카메라로는 충분한 영상 감시가 이루어지지 못하는 한계가 있다.In general, an image surveillance system processes an image received from a surveillance camera and displays a screen on a display device. Usually, a surveillance camera is a visible light camera which photographs a visible light image, and many are provided. In the case where a large number is provided, the screen is preferably divided into 4, 8, 16, and the like to display the image output from each surveillance camera on the split screen. Each monitoring area is displayed on one screen, which enables effective monitoring. However, due to factors such as no light at night, no light, rain or snow, or heavy fog, there is a limit in that a visible light camera cannot sufficiently monitor video.

한편, 적외선 카메라를 이용하여 넓은 지역의 영상을 관찰, 감시하는 것이 요구된다. 특히 화학 플랜트(chemical plant)에 있어서, 열화상 분석을 통해 화학 플랜트의 실시간 온도 감시가 매우 중요하기 때문에 적외선 카메라의 이용이 필수적이다. 따라서 적외선 카메라를 이용함으로써, 도 1에서와 같이 화학 플랜트의 실시간 온도를 감시하는 것이 가능하다. On the other hand, it is required to observe and monitor an image of a large area by using an infrared camera. Especially in chemical plants, the use of infrared cameras is essential because real-time temperature monitoring of chemical plants through thermal imaging is very important. Therefore, by using an infrared camera, it is possible to monitor the real-time temperature of the chemical plant as shown in FIG.

그러나 적외선 카메라는 언급한 가시광 카메라의 문제점을 해결할 수는 있지만, 그 특성상 촬영된 영상 내의 물체를 인식하기가 어렵다는 것과 사용자들의 사용 편리성이 가시광 카메라보다는 떨어진다는 단점이 있다. 또한 적외선 카메라는 가시광 카메라 대비 고가라는 단점이 있으며, 특히 해상도가 높아질수록 가격이 급격히 올라간다는 단점이 있다.However, although the infrared camera can solve the problems of the visible light camera mentioned above, there are disadvantages in that it is difficult to recognize an object in the captured image and that user convenience is inferior to that of the visible light camera. In addition, infrared cameras have a disadvantage that they are expensive compared to visible light cameras, and in particular, the higher the resolution, the faster the price increases.

본 발명은 이 같은 배경에서 도출된 것으로, 영상 감시 방식을 개선한 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.SUMMARY OF THE INVENTION The present invention is derived from such a background, and an object of the present invention is to provide a real-time composite video output device having an improved video surveillance method.

또한 저가의 적외선 카메라들을 이용해서도 충분히 넓은 지역을 용이하게 감시할 수 있는 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.It also aims to provide a real-time composite video output device that can easily monitor a large enough area using low-cost infrared cameras.

또한 다수의 적외선 카메라들로부터 촬상된 영상을 용이하게 결합할 수 있는 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.It is also an object of the present invention to provide a real-time composite image output device that can easily combine the images captured from a plurality of infrared cameras.

전술한 기술적 과제를 달성하기 위한 본 발명의 실시간 복합 영상 출력 장치는, 가시광 영상을 촬상하는 가시광 카메라 및 상기 가시광 카메라와 동일 영역의 적외선 영상을 촬상하는 적외선 카메라를 포함하는 다수의 복합 카메라들; 상기 가시광 카메라들로부터 입력되는 영상을 결합하는 가시광 영상 결합부; 상기 가시광 영상 결합부의 결합 정보를 기초로 상기 적외선 카메라들로부터 입력되는 영상을 결합하는 적외선 영상 결합부; 상기 가시광 영상 결합부 및 상기 적외선 영상 결합부에 의해 결합된 가시광 영상 및 적외선 영상을 화면 출력하는 화면 출력부;를 포함한다.According to an aspect of the present invention, there is provided a real-time composite image output apparatus comprising: a plurality of composite cameras including a visible light camera for capturing a visible light image and an infrared camera for capturing an infrared image in the same area as the visible light camera; A visible light image combiner configured to combine images input from the visible light cameras; An infrared image combiner configured to combine images input from the infrared cameras based on the combined information of the visible light image combiner; And a screen output unit configured to screen-display the visible light image and the infrared image combined by the visible light image combiner and the infrared image combiner.

상기 장치는, 상기 화면 출력부로부터 출력되는 가시광 영상을 디스플레이하는 가시광 디스플레이부; 및 상기 화면 출력부로부터 출력되는 적외선 영상을 디스플레이하는 적외선 디스플레이부;를 더 포함한다.The apparatus may include a visible light display configured to display a visible light image output from the screen output unit; And an infrared display unit displaying an infrared image output from the screen output unit.

상기 화면 출력부는, 상기 가시광 영상 결합부 및 상기 적외선 영상 결합부로부터 출력된 가시광 영상과 적외선 영상을 합성하여 출력하는 영상 합성부;를 더 포함한다.The screen output unit may further include an image synthesizer configured to synthesize the visible light image and the infrared image output from the visible light image combiner and the infrared image combiner.

본 발명은 다수의 복합 카메라로 전체 감시 영역을 빈틈없이 촬영하므로, 감시 대상에 대한 용이한 추적(tracking)을 가능하게 한다. 뿐만 아니라 동일한 감시 영역에 대해 가시광 영상과 적외선 영상으로 이중 감시하므로, 기후 및 외부요인에 관계없이 보다 확실한 감시를 가능하게 한다. 또한 저가의 낮은 해상도를 갖는 적외선 카메라를 이용하더라도 감시 영역에 대한 정보는 가시광 카메라에 의해 보완되므로, 수개의 저가 적외선 카메라를 이용하여 넓은 지역을 감시하는 것을 가능하게 한다. 또한 본 발명은 적외선 영상들의 결합 방식에 대한 독창적인 기술적 방안을 제시함으로써, 적외선 영상들의 결합을 용이하게 하는 효과를 창출한다.The present invention captures the entire surveillance area seamlessly with multiple composite cameras, thus enabling easy tracking of the surveillance object. In addition, dual monitoring of visible and infrared images of the same surveillance area enables more reliable monitoring regardless of weather and external factors. In addition, even when using an inexpensive low resolution infrared camera, the information on the surveillance area is supplemented by a visible light camera, thereby making it possible to monitor a large area using several low cost infrared cameras. In addition, the present invention proposes an original technical scheme for the combination method of the infrared images, thereby creating an effect of facilitating the combination of the infrared images.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.The foregoing and further aspects of the present invention will become more apparent through the preferred embodiments described with reference to the accompanying drawings. Hereinafter, the present invention will be described in detail to enable those skilled in the art to easily understand and reproduce the present invention.

도 2는 본 발명에 따른 실시간 복합 영상 출력 장치의 블록도이다. 본 발명에 따른 실시간 복합 영상 출력 장치는 다수의 복합 카메라(100)들을 포함하며, 각각의 복합 카메라(100)는 가시광 카메라(110)와 적외선 카메라(120)가 일체로 구현 된 카메라이다. 여기서 가시광 카메라(110)는 빛(light)을 검출하는 방식으로 영상 정보를 획득하는 일반적인 카메라를 말한다. 그리고 적외선 카메라(120)는 열화상 카메라로써, 일반적인 가시광 카메라와 같이 동작하나 빛(light)이 아닌 적외선 에너지(infrared energy, heat)를 검출하는 것이 다르다. 통상 열 영상은 물체의 표면의 온도가 수천 개의 점으로써 온도의 높낮이에 따라 서로 다른 색으로 매핑되어 표현된다. 이 같은 가시광 카메라(110)와 적외선 카메라(120)를 일체로 구현함으로써, 용이하게 동일 영역의 가시광 영상과 적외선 영상을 촬상할 수 있다.2 is a block diagram of a real-time composite image output apparatus according to the present invention. The real-time composite image output apparatus according to the present invention includes a plurality of composite cameras 100, and each composite camera 100 is a camera in which the visible light camera 110 and the infrared camera 120 are integrally implemented. Here, the visible light camera 110 refers to a general camera that acquires image information by detecting light. In addition, the infrared camera 120 is a thermal imaging camera, which operates like a general visible light camera, but detects infrared energy (heat) rather than light. In general, thermal images have thousands of points on the surface of an object and are mapped to different colors according to the temperature of the object. By integrally implementing the visible light camera 110 and the infrared camera 120, it is possible to easily capture the visible light image and the infrared image of the same area.

그리고 복합 카메라(100)들은 서로 다른 영역의 영상을 촬상하되, 인접 카메라와 일부 영역에 대해 중첩되도록 화각(angle of view)이 조절되어 있음이 바람직하며, 도 4에서 그 예를 나타내고 있다. 도 4에 도시된 A영역 내지 I영역은 각각의 복합 카메라(100)에 의한 촬상 영역을 나타내며, 빗금은 인접 영역과의 중첩 부위를 나타낸다. 이 같이 다수의 복합 카메라(100)들의 촬상 영역을 중첩시킴으로써, 감시하고자 하는 전체 영역을 완벽하게 감시할 수 있다.In addition, the composite cameras 100 may capture images of different areas, but the angle of view is preferably adjusted so as to overlap the adjacent cameras and some areas, and the example is illustrated in FIG. 4. Areas A to I shown in FIG. 4 represent imaging areas by the respective composite cameras 100, and hatched areas represent overlapping areas with adjacent areas. By overlapping the imaging areas of the multiple cameras 100 as described above, the entire area to be monitored can be completely monitored.

가시광 영상 결합부(200)는 가시광 카메라(110)들로부터 입력되는 가시광 영상을 결합한다. 가시광 영상 결합은 통상의 알려진 알고리즘을 이용함에 의해 가능하다. 일 실시예에 있어서, 가시광 영상 결합부(200)는 각 가시광 영상의 중첩 부분(도 4의 빗금 부분)을 확인하고 경계선 검출(Boundary Detection)한 후 패턴 매칭(Pattern Matching)을 하는 방식으로 가능하다. 다시 말해, 가시광 영상들의 이음을 위한 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 가시광 영상들을 결합하는 것이다. 이 같은 방식을 통해 도 5에서와 같이 두 가시광 영상을 결 합할 수 있다.The visible light image combiner 200 combines the visible light images input from the visible light cameras 110. Visible light image combining is possible by using conventional known algorithms. In an exemplary embodiment, the visible light image combiner 200 may check the overlapped portions (hatched portions of FIG. 4) of each visible light image, perform boundary matching, and perform pattern matching. . In other words, the pixel position value for the joint of the visible light images is calculated, and the visible light images are combined with the calculated pixel position value. In this manner, two visible light images may be combined as shown in FIG. 5.

적외선 영상 결합부(300)는 적외선 카메라(120)들로부터 입력되는 적외선 영상을 결합하되, 가시광 영상 결합부(200)의 영상 결합 정보를 기초로 하여 적외선 영상을 결합한다. 본 실시예에 있어서, 적외선 영상 결합부(300)는 가시광 영상 결합부(200)에서 가시광 영상의 결합(이음)을 위해 산출된 픽셀 위치값을 가지고 적외선 영상들을 결합한다. 만일 적외선 영상이 가시광 영상보다 저해상도를 갖는다면, 적외선 영상 결합부(300)는 가시광 영상 결합부(200)에 의해 산출된 픽셀 위치값들을 추렴(decimation) 처리하여 적외선 영상의 픽셀 위치값을 산출하고, 산출된 적외선 영상의 픽셀 위치값을 가지고 적외선 영상들을 결합한다. 예를 들어, 가시광 영상이 M*N 해상도이고, 적외선 영상이 m*n 해상도이며, M = am, N = bn (a,b는 유리수)일 때, 가시광 영상에서 X축 방향으로 x1에서 겹치도록 결합하는 것으로 산출되었다면, 적외선 영상에서는 X축 방향으로 x1/a에서 겹치도록 결합하는 것이다.The infrared image combiner 300 combines infrared images input from the infrared cameras 120, and combines infrared images based on the image combining information of the visible light image combiner 200. In the present embodiment, the infrared image combiner 300 combines the infrared images with the pixel position value calculated for combining the visible light image by the visible light combiner 200. If the infrared image has a lower resolution than the visible image, the infrared image combiner 300 calculates the pixel position value of the infrared image by processing the pixel position values calculated by the visible image combiner 200. Infrared images are combined with the pixel position values of the calculated infrared image. For example, when the visible light image is M * N resolution, the infrared image is m * n resolution, and M = am, N = bn (a, b is rational), the visible light image overlaps at x1 in the X-axis direction. If it is calculated to combine, the infrared image is combined so as to overlap at x1 / a in the X-axis direction.

참고로 적외선 영상은 픽셀 간의 온도 정보이기 때문에 가시광 영상에서 보이는 영상 정보와는 전혀 다른 특성을 가지고 있다. 적외선 영상의 특성이 일반 가시영상에서와 같이 광자(photon)의 세기를 말하는 것이 아니기 때문에, 즉 인간의 눈이 인식하는 방식과 다르기 때문에 기존 가시광 영상을 기본으로 하는 이미지 처리 알고리즘(Image Processing Algorithm)이 적외선 영상에서 제대로 동작하지 않는다. 따라서 본 출원인은 상술한 바와 같이 기존에 알려져 있는 가시광 영상 결합 알고리즘에 의해 획득되는 결합 정보를 가지고 적외선 영상을 결합하는 방식 을 도출한 것이다.For reference, since infrared images are temperature information between pixels, they have completely different characteristics from those of visible images. Because the characteristics of the infrared image do not refer to the intensity of the photon as in the normal visible image, that is, it is different from the way the human eye perceives, the image processing algorithm based on the existing visible light image It does not work well with infrared images. Accordingly, the present applicant derives a method of combining the infrared image with the combination information obtained by the known visible light image combining algorithm as described above.

화면 출력부(400)는 가시광 영상 결합부(200) 및 적외선 영상 결합부(300)로부터 출력된 가시광 영상 및 적외선 영상을 화면 표시 방식에 맞게 처리하여 디스플레이 장치로 출력한다. 일 실시예에 있어서, 화면 출력부(400)는 가시광 영상을 가시광 영상 디스플레이부(500)로 출력하고, 적외선 영상을 적외선 영상 디스플레이부(600)로 출력한다. 따라서 가시광 영상 디스플레이부(500) 및 적외선 영상 디스플레이부(600)는 동일한 영역에 대해 동일하게 가시광 영상과 적외선 영상을 디스플레이하게 된다. The screen output unit 400 processes the visible light image and the infrared image output from the visible light image combiner 200 and the infrared image combiner 300 according to a screen display method, and outputs them to the display device. In one embodiment, the screen output unit 400 outputs a visible light image to the visible light image display unit 500, and outputs an infrared image to the infrared image display unit 600. Accordingly, the visible light image display unit 500 and the infrared image display unit 600 display the visible light image and the infrared image in the same area.

이에 따라 두 개의 디스플레이 화면을 통해 가시광 영상으로는 감시가 불가능한 대상에 대해서도 적외선 영상을 통해 감시가 가능하다. 또한 통상 적외선 영상은 온도에 따라 서로 다른 색상이 매핑되어 디스플레이되는데, 감시되는 대상의 색상만으로는 그 대상을 파악하기 어려우나 본 발명에 따라 가시광 영상을 통해 확인이 가능하게 된다.Accordingly, the two display screens can be monitored through the infrared image for the object that can not be monitored by the visible light image. In addition, the infrared image is usually displayed by mapping the different colors according to the temperature, it is difficult to determine the target only by the color of the monitored object, but can be confirmed through the visible light image according to the present invention.

도 3은 본 발명에 따른 또다른 실시간 복합 영상 출력 장치의 블록도이다. 도 2와 동일 도면 부호를 가진 기술구성은 도 2를 참조로 한 설명과 동일하므로, 중복 설명은 생략한다. 도 3에 도시된 바와 같이, 화면 출력부(400)는 영상 합성부(410)를 포함한다. 영상 합성부(410)는 가시광 영상 결합부(200) 및 적외선 영상 결합부(300)에서 출력된 가시광 영상과 적외선 영상을 합성한다. 일 실시예에 있어서, 디스플레이 장치가 단일로 구비되거나 하나의 화면으로 영상을 디스플레이하고자 하는 경우에, 영상 합성부(410)는 가시광 영상과 적외선 영상을 합성하여 디스플레이부(700)로 출력한다. 일 실시예에 있어서, 가시광 영상 위에 핫 스팟 영역의 적외선 영상을 오버레이(overlay) 처리하며, 바람직하게 투명도 설정을 가능하게 한다. 또한 경우에 따라서 원하는 합성 영역(Region of Interest)을 지정하여 지정된 영역에 대해서만 합성이 이루어지도록 할 수도 있다. 이 같이 가시광 영상에 적외선 영상을 합성함에 의해 가시광 영상만으로는 감시가 어려운 상황 혹은 대상에 대해서도, 보다 넓은 영역을 저가의 복합 영상 장치를 이용하여 용이하게 감시할 수 있다.3 is a block diagram of another real-time composite image output apparatus according to the present invention. Since the technical configuration having the same reference numerals as that of FIG. 2 is the same as that described with reference to FIG. 2, redundant descriptions are omitted. As shown in FIG. 3, the screen output unit 400 includes an image synthesizer 410. The image synthesizer 410 synthesizes the visible light image and the infrared image output from the visible light image combiner 200 and the infrared image combiner 300. In one embodiment, when the display device is provided as a single unit or a single screen is to display an image, the image synthesizing unit 410 synthesizes the visible light image and the infrared image and outputs the image to the display unit 700. In one embodiment, the infrared image of the hot spot area is overlaid on the visible light image, and preferably the transparency setting is enabled. In addition, in some cases, a desired region of interest may be designated so that the synthesis is performed only for the designated region. By combining an infrared image with the visible light image as described above, a wider area can be easily monitored using a low-cost composite imaging device even in a situation or a target where it is difficult to monitor only the visible light image.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 화학 플랜트의 열화상 예시도.1 is an exemplary thermal image of a chemical plant.

도 2는 본 발명에 따른 실시간 복합 영상 출력 장치의 블록도.2 is a block diagram of a real-time composite image output apparatus according to the present invention.

도 3은 본 발명에 따른 또다른 실시간 복합 영상 출력 장치의 블록도.3 is a block diagram of another real-time composite video output device according to the present invention;

도 4는 복합 카메라별 촬상 영역의 중첩 부분 예시도.4 is an exemplary view of an overlapping portion of an imaging area for each composite camera.

도 5는 가시광 영상의 결합 예시도.5 illustrates an example of combining visible light images.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100 : 복합 카메라 110 : 가시광 카메라100: composite camera 110: visible light camera

120 : 적외선 카메라 200 : 가시광 영상 결합부120: infrared camera 200: visible light image combining unit

300 : 적외선 영상 결합부 400 : 화면 출력부300: infrared image combiner 400: screen output unit

410 : 영상 합성부410: image synthesis unit

Claims (5)

가시광 영상을 촬상하는 가시광 카메라 및 상기 가시광 카메라와 동일 영역의 적외선 영상을 촬상하는 적외선 카메라를 포함하는 다수의 복합 카메라들;A plurality of composite cameras including a visible light camera capturing a visible light image and an infrared camera capturing an infrared image in the same area as the visible light camera; 상기 가시광 카메라들로부터 입력되는 영상을 결합하는 가시광 영상 결합부;A visible light image combiner configured to combine images input from the visible light cameras; 상기 가시광 영상 결합부의 결합 정보를 기초로 상기 적외선 카메라들로부터 입력되는 영상을 결합하는 적외선 영상 결합부; 및An infrared image combiner configured to combine images input from the infrared cameras based on the combined information of the visible light image combiner; And 상기 가시광 영상 결합부 및 상기 적외선 영상 결합부에 의해 결합된 가시광 영상 및 적외선 영상을 화면 출력하는 화면 출력부;A screen output unit configured to output a visible light image and an infrared image combined by the visible light image combiner and the infrared image combiner; 를 포함하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.Real-time composite image output device comprising a. 제1항에 있어서, The method of claim 1, 상기 가시광 영상 결합부는, 가시광 영상들의 이음을 위한 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 가시광 영상들을 결합하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.The visible light image combiner is configured to calculate a pixel position value for jointing of the visible light images, and combines the visible light images with the calculated pixel position value. 제2항에 있어서,The method of claim 2, 상기 적외선 영상이 상기 가시광 영상보다 저해상도이며, The infrared image is lower resolution than the visible light image, 상기 적외선 영상 결합부는, 상기 픽셀 위치값들의 추렴(decimation) 처리에 의해 적외선 영상의 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 적외선 영상들을 결합하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.And the infrared image combiner calculates a pixel position value of the infrared image by a process of deciding the pixel position values, and combines the infrared images with the calculated pixel position value. 제1항 내지 제3항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 상기 화면 출력부로부터 출력되는 가시광 영상을 디스플레이하는 가시광 디스플레이부; 및A visible light display unit displaying a visible light image output from the screen output unit; And 상기 화면 출력부로부터 출력되는 적외선 영상을 디스플레이하는 적외선 디스플레이부;An infrared display unit displaying an infrared image output from the screen output unit; 를 더 포함하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.Real-time composite image output device further comprises. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 화면 출력부는 :The screen output unit of claim 1, wherein the screen output unit comprises: 상기 가시광 영상 결합부 및 상기 적외선 영상 결합부로부터 출력된 가시광 영상과 적외선 영상을 합성하여 출력하는 영상 합성부;An image synthesizer configured to synthesize the visible light image and the infrared image output from the visible light image combiner and the infrared image combiner; 를 포함하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.Real-time composite image output device comprising a.
KR1020080015099A 2008-02-20 2008-02-20 Real time complex image display apparatus KR20090089931A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080015099A KR20090089931A (en) 2008-02-20 2008-02-20 Real time complex image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080015099A KR20090089931A (en) 2008-02-20 2008-02-20 Real time complex image display apparatus

Publications (1)

Publication Number Publication Date
KR20090089931A true KR20090089931A (en) 2009-08-25

Family

ID=41207904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080015099A KR20090089931A (en) 2008-02-20 2008-02-20 Real time complex image display apparatus

Country Status (1)

Country Link
KR (1) KR20090089931A (en)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110114096A (en) * 2010-04-12 2011-10-19 주식회사 영국전자 Monitoring system employing thermal imaging camera and nighttime monitoring method using the same
KR101128946B1 (en) * 2009-10-23 2012-03-27 (주)이지템 Apparatus and method for photographing temperature picture in monitoring camera
KR101131095B1 (en) * 2011-06-10 2012-04-02 주식회사 창성에이스산업 Gas Leak Detection System and Method
CN103595916A (en) * 2013-11-11 2014-02-19 南京邮电大学 Double-camera target tracking system and implementation method thereof
KR101428913B1 (en) * 2012-12-28 2014-08-11 한국산업기술대학교산학협력단 Surveillance system for overheating state utilizing micro-size image array sensor
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
KR101583773B1 (en) * 2014-10-29 2016-01-20 동국대학교 산학협력단 Apparatus and method for object detection
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
KR20180095775A (en) * 2017-02-17 2018-08-28 (주)유우일렉트로닉스 Image processing apparatus equipped with a ccd camera and thermo-graphic camera and image processing method using thereof
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10033944B2 (en) 2009-03-02 2018-07-24 Flir Systems, Inc. Time spaced infrared image enhancement
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
KR101128946B1 (en) * 2009-10-23 2012-03-27 (주)이지템 Apparatus and method for photographing temperature picture in monitoring camera
KR20110114096A (en) * 2010-04-12 2011-10-19 주식회사 영국전자 Monitoring system employing thermal imaging camera and nighttime monitoring method using the same
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9716844B2 (en) 2011-06-10 2017-07-25 Flir Systems, Inc. Low power and small form factor infrared imaging
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9538038B2 (en) 2011-06-10 2017-01-03 Flir Systems, Inc. Flexible memory systems and methods
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
KR101131095B1 (en) * 2011-06-10 2012-04-02 주식회사 창성에이스산업 Gas Leak Detection System and Method
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10250822B2 (en) 2011-06-10 2019-04-02 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9723228B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Infrared camera system architectures
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10230910B2 (en) 2011-06-10 2019-03-12 Flir Systems, Inc. Infrared camera system architectures
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
KR101428913B1 (en) * 2012-12-28 2014-08-11 한국산업기술대학교산학협력단 Surveillance system for overheating state utilizing micro-size image array sensor
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
CN103595916A (en) * 2013-11-11 2014-02-19 南京邮电大学 Double-camera target tracking system and implementation method thereof
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
KR101583773B1 (en) * 2014-10-29 2016-01-20 동국대학교 산학협력단 Apparatus and method for object detection
KR20180095775A (en) * 2017-02-17 2018-08-28 (주)유우일렉트로닉스 Image processing apparatus equipped with a ccd camera and thermo-graphic camera and image processing method using thereof

Similar Documents

Publication Publication Date Title
KR100932752B1 (en) Real-time composite video output device with hot spot tracking
KR20090089931A (en) Real time complex image display apparatus
TWI383680B (en) Integrated image surveillance system and manufacturing method thereof
US9369612B2 (en) Image fusion system and method
EP2779623B1 (en) Apparatus and method for multispectral imaging with parallax correction
US8599264B2 (en) Comparison of infrared images
US20140002588A1 (en) Multiple View and Multiple Object Processing in Wide-Angle Video Camera
US20100002070A1 (en) Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US8982245B2 (en) Method and system for sequential viewing of two video streams
JP2010245901A (en) Image processing apparatus, image processing method and the like
WO2015087730A1 (en) Monitoring system
CN106709894B (en) Image real-time splicing method and system
KR101778744B1 (en) Monitoring system through synthesis of multiple camera inputs
KR101977635B1 (en) Multi-camera based aerial-view 360-degree video stitching and object detection method and device
JP2007027948A (en) Apparatus and method for monitoring vehicle periphery
JP2010193227A (en) Video processing system
WO2018105097A1 (en) Image synthesis device, image synthesis method, and image synthesis program
JP2011077981A (en) Surveillance camera system
JP2007235760A (en) Ultraviolet image, imaging apparatus for imaging ultraviolet image, and imaging method
JP4676385B2 (en) Image composition method, image composition apparatus, and image composition program
JP2005229317A (en) Image display system and imaging device
JP2016213759A (en) Rear monitor
JP2011077982A (en) Surveillance camera system
KR101619953B1 (en) Method for image processing of surveilance camera by using auto multi-tracing
JP2010230552A (en) Infrared imaging device, and method for display of infrared image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application