KR100932752B1 - 핫 스팟 추적이 가능한 실시간 복합 영상 출력 장치 - Google Patents

Abstract

가시광 영상과 적외선 영상을 복합적으로 화면 출력하는 실시간 복합 영상 출력 장치가 개시된다. 본 발명의 실시간 복합 영상 출력 장치는, 가시광 영상을 촬상하는 가시광 카메라 및 상기 가시광 카메라와 동일 영역의 적외선 영상을 촬상하는 적외선 카메라를 포함하는 다수의 복합 카메라들; 상기 가시광 카메라들로부터 입력되는 영상을 결합하는 가시광 영상 결합부; 상기 가시광 영상 결합부의 결합 정보를 기초로 상기 적외선 카메라들로부터 입력되는 영상을 결합하는 적외선 영상 결합부; 상기 결합된 적외선 영상에서 일정 온도 이상 혹은 최대 온도값을 갖는 부위인 핫 스팟(hot spot)을 추출하는 핫 스팟 추출부; 및 상기 추출된 핫 스팟을 상기 가시광 영상 결합부에 의해 결합된 가시광 영상에 합성하여 화면 출력하는 화면 출력부;를 포함한다. 이에 의해 다수의 복합 카메라들을 이용해 넓은 범위의 가시광 영상 상에서 핫 스팟을 추적하는 것이 가능하며, 또한 적외선 영상을 용이하게 결합할 수 있다.

Description

핫 스팟 추적이 가능한 실시간 복합 영상 출력 장치{Real time complex image display apparatus for tracking hot spot}

본 발명은 영상 감시 시스템에 관한 것으로, 특히 다수의 카메라를 가지고 여러 영역을 동시에 감시하는 영상 감시 시스템에 관한 것이다.

일반적으로 영상 감시 시스템은 감시 카메라로부터 입력받은 영상을 처리하여 디스플레이 장치에 화면을 디스플레이한다. 통상 감시 카메라는 가시광 영상을 촬영하는 가시광 카메라이며, 다수대가 설치된다. 다수대가 설치되는 경우에는 바람직하게 화면을 4분할, 8분할, 16분할 등으로 분할하여 각 감시 카메라로부터 출력되는 영상을 분할 화면에 디스플레이 처리한다. 각각의 감시 영역을 한 화면에 디스플레이하므로, 효과적으로 감시할 수가 있다. 그러나 빛이 없는 야간이나 조명이 없거나 혹은 비나 눈이 내리거나 혹은 안개가 짙게 끼는 등의 요인으로 인해, 가시광 카메라로는 충분한 영상 감시가 이루어지지 못하는 한계가 있다.

한편, 적외선 카메라를 이용하여 넓은 지역의 영상을 관찰, 감시하는 것이 요구된다. 특히 화학 플랜트(chemical plant)에 있어서, 열화상 분석을 통해 화학 플랜트의 실시간 온도 감시는 물론, 일정 온도 이상 혹은 최대 온도값을 갖는 핫 스팟(hot spot)을 확인하는 것이 매우 중요하기 때문에 적외선 카메라의 이용이 필수적이다. 따라서 적외선 카메라를 이용함으로써, 도 1에서와 같이 화학 플랜트의 실시간 온도를 감시 및 감시를 통해 핫 스팟의 위치를 확인하는 것이 가능하다. 그러나 적외선 카메라는 그 특성상 촬영된 영상 내의 물체를 정확히 인식하기가 어렵다는 것과 사용자들의 사용 편리성이 가시광 카메라보다는 떨어진다는 단점이 있다. 또한 적외선 카메라는 가시광 카메라 대비 고가라는 단점이 있으며, 특히 해상도가 높아질수록 가격이 급격히 올라간다는 단점이 있다.

본 발명은 이 같은 배경에서 도출된 것으로, 영상 감시 방식을 개선한 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.

또한 여러 대의 저가의 적외선 카메라들을 이용해서도 충분한 감시가 이루어질 수 있도록 하는 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.

또한 화학 플랜트와 같은 경우에 있어서 핫 스팟을 다수의 카메라 환경하에서 자동 추적할 수 있도록 하는 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.

또한 다수의 적외선 카메라들로부터 촬상된 영상을 용이하게 결합할 수 있는 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.

전술한 기술적 과제를 달성하기 위한 본 발명의 실시간 복합 영상 출력 장치는, 가시광 영상을 촬상하는 가시광 카메라 및 상기 가시광 카메라와 동일 영역의 적외선 영상을 촬상하는 적외선 카메라를 포함하는 다수의 복합 카메라들; 상기 가시광 카메라들로부터 입력되는 영상을 결합하는 가시광 영상 결합부; 상기 가시광 영상 결합부의 결합 정보를 기초로 상기 적외선 카메라들로부터 입력되는 영상을 결합하는 적외선 영상 결합부; 상기 결합된 적외선 영상에서 일정 온도 이상 혹은 최대 온도값을 갖는 부위인 핫 스팟(hot spot)을 추출하는 핫 스팟 추출부; 및 상기 추출된 핫 스팟을 상기 가시광 영상 결합부에 의해 결합된 가시광 영상에 합성 하여 화면 출력하는 화면 출력부;를 포함한다.

상기 가시광 영상 결합부는, 가시광 영상들의 이음을 위한 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 가시광 영상들을 결합한다.

본 발명은 다수의 복합 카메라로 전체 감시 영역을 빈틈없이 촬영하므로, 감시 대상에 대한 용이한 추적(tracking)을 가능하게 한다. 또한 저가의 낮은 해상도를 갖는 적외선 카메라를 이용하더라도 감시 영역에 대한 정보는 가시광 카메라에 의해 보완되므로, 수개의 저가 적외선 카메라를 이용하여 넓은 지역을 감시하는 것을 가능하게 한다. 뿐만 아니라, 본 발명은 화학 플랜트에 있어 핫 스팟(hot spot)을 용이하게 추적할 수 있게 한다. 또한 본 발명은 적외선 영상들의 결합 방식에 대한 독창적인 기술적 방안을 제시함으로써, 적외선 영상들의 결합을 용이하게 하는 효과를 창출한다.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 2는 본 발명에 따른 실시간 복합 영상 출력 장치의 블록도이다. 본 발명에 따른 실시간 복합 영상 출력 장치는 다수의 복합 카메라(100)들을 포함하며, 각각의 복합 카메라(100)는 가시광 카메라(110)와 적외선 카메라(120)가 일체로 구현 된 카메라이다. 여기서 가시광 카메라(110)는 빛(light)을 검출하는 방식으로 영상 정보를 획득하는 일반적인 카메라를 말한다. 그리고 적외선 카메라(120)는 열화상 카메라로써, 일반적인 카메라와 같이 동작하나 빛(light)이 아닌 적외선 에너지(infrared energy, heat)를 검출하는 것이 다르다. 통상 열 영상은 물체의 표면의 온도가 수천 개의 점으로써 온도의 높낮이에 따라 서로 다른 색으로 매핑되어 표현된다. 이 같은 가시광 카메라(110)와 적외선 카메라(120)를 일체로 구현함으로써, 용이하게 동일 영역의 가시광 영상과 적외선 영상을 촬상할 수 있다.

복합 카메라(100)들은 서로 다른 영역의 영상을 촬상하되, 인접 카메라와 일부 영역에 대해 중첩되도록 화각(angle of view)이 조절되어 있음이 바람직하며, 도 3에서 그 예를 나타내고 있다. 도 3에 도시된 A영역 내지 I영역은 각각의 복합 카메라(100)에 의한 촬상 영역을 나타내며, 빗금은 인접 영역과의 중첩 부위를 나타낸다. 이 같이 다수의 복합 카메라(100)들의 촬상 영역을 중첩시킴으로써, 감시하고자 하는 전체 영역을 완벽하게 감시할 수 있다.

가시광 영상 결합부(200)는 가시광 카메라(110)들로부터 입력되는 가시광 영상을 결합한다. 가시광 영상 결합은 통상의 알려진 알고리즘을 이용함에 의해 가능하다. 일 실시예에 있어서, 가시광 영상 결합부(200)는 각 가시광 영상의 중첩 부분(도 3의 빗금 부분)을 확인하고 경계선 검출(Boundary Detection)한 후 패턴 매칭(Pattern Matching)을 하는 방식으로 가능하다. 다시 말해, 가시광 영상들의 이음을 위한 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 가시광 영상들을 결합하는 것이다. 이 같은 방식을 통해 도 4에서와 같이 두 가시광 영상을 결 합할 수 있다.

적외선 영상 결합부(300)는 적외선 카메라(120)들로부터 입력되는 적외선 영상을 결합하되, 가시광 영상 결합부(200)의 영상 결합 정보를 기초로 하여 적외선 영상을 결합한다. 본 실시예에 있어서, 적외선 영상 결합부(300)는 가시광 영상 결합부(200)에서 가시광 영상의 결합(이음)을 위해 산출된 픽셀 위치값을 가지고 적외선 영상들을 결합한다. 만일 적외선 영상이 가시광 영상보다 저해상도를 갖는다면, 적외선 영상 결합부(300)는 가시광 영상 결합부(200)에 의해 산출된 픽셀 위치값들을 추렴(decimation) 처리하여 적외선 영상의 픽셀 위치값을 산출하고, 산출된 적외선 영상의 픽셀 위치값을 가지고 적외선 영상들을 결합한다. 예를 들어, 가시광 영상이 M*N 해상도이고, 적외선 영상이 m*n 해상도이며, M = am, N = bn (a,b는 유리수)일 때, 가시광 영상에서 X축 방향으로 x1에서 겹치도록 결합하는 것으로 산출되었다면, 적외선 영상에서는 X축 방향으로 x1/a에서 겹치도록 결합하는 것이다.

참고로 적외선 영상은 픽셀 간의 온도 정보이기 때문에 가시광 영상에서 보이는 영상 정보와는 전혀 다른 특성을 가지고 있다. 적외선 영상의 특성이 일반 가시영상에서와 같이 광자(photon)의 세기를 말하는 것이 아니기 때문에, 즉 인간의 눈이 인식하는 방식과 다르기 때문에 기존 가시광 영상을 기본으로 하는 이미지 처리 알고리즘(Image Processing Algorithm)이 적외선 영상에서 제대로 동작하지 않는다. 따라서 본 출원인은 상술한 바와 같이 기존에 알려져 있는 가시광 영상 결합 알고리즘에 의해 획득되는 결합 정보를 가지고 적외선 영상을 결합하는 방식 을 도출한 것이다.

핫 스팟 추출부(400)는 적외선 영상 결합부(300)에 의해 결합된 전체 적외선 영상에서 핫 스팟(hot spot)을 추출한다. 여기서 핫 스팟(hot spot)이란 관리자에 의해 설정된 일정 온도값 이상 혹은 최대 온도값을 말한다. 핫 스팟 추출부(400)는 전체 적외선 영상에서 핫 스팟을 검출하고 검출된 핫 스팟 영역을 추출한다. 화면 출력부(500)는 영상을 화면 표시 방식에 맞게 처리하여 디스플레이 장치로 출력하는 것으로, 바람직하게 영상 합성부(510)를 포함한다. 영상 합성부(510)는 가시광 영상 결합부(200)로부터 출력된 가시광 영상과 핫 스팟 추출부(400)로부터 출력된 핫 스팟 영역의 적외선 영상을 합성한다. 일 실시예에 있어서, 가시광 영상 위에 핫 스팟 영역의 적외선 영상을 오버레이(overlay) 처리하며, 바람직하게 투명도 설정을 가능하게 한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 화학 플랜트의 열화상 예시도.

도 2는 본 발명에 따른 실시간 복합 영상 출력 장치의 블록도.

도 3은 복합 카메라별 촬상 영역의 중첩 부분 예시도.

도 4는 가시광 영상의 결합 예시도.

<도면의 주요 부분에 대한 부호의 설명>

100 : 복합 카메라 110 : 가시광 카메라

120 : 적외선 카메라 200 : 가시광 영상 결합부

300 : 적외선 영상 결합부 400 : 핫 스팔 추출부

500 : 화면 출력부 510 : 영상 합성부

Claims (3)

1. 가시광 영상을 촬상하는 가시광 카메라 및 상기 가시광 카메라와 동일 영역의 적외선 영상을 촬상하는 적외선 카메라를 포함하는 다수의 복합 카메라들;

   상기 가시광 카메라들로부터 입력되는 가시광 영상들을 결합하는 가시광 영상 결합부;

   상기 가시광 영상 결합부가 상기 가시광 영상들을 결합한 정보를 이용하여 상기 적외선 카메라들로부터 입력되는 적외선 영상들을 결합하는 적외선 영상 결합부;

   상기 적외선 영상 결합부에 의해 결합된 적외선 영상에서 일정 온도 이상 혹은 최대 온도값을 갖는 부위인 핫 스팟(hot spot)을 추출하는 핫 스팟 추출부; 및

   상기 추출된 핫 스팟을 상기 가시광 영상 결합부에 의해 결합된 가시광 영상에 합성하여 화면 출력하는 화면 출력부;

   를 포함하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.
2. 제1항에 있어서,

   상기 가시광 영상 결합부는, 가시광 영상들의 이음을 위한 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 가시광 영상들을 결합하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.
3. 제2항에 있어서,

   상기 적외선 영상이 상기 가시광 영상보다 저해상도이며,

   상기 적외선 영상 결합부는, 상기 픽셀 위치값들의 추렴(decimation) 처리에 의해 적외선 영상의 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 적외선 영상들을 결합하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.

Images