WO2023149603A1 - 다수의 카메라를 이용한 열화상 감시 시스템 - Google Patents

Abstract

본 발명의 일 실시예는 이동체의 열화상 감시 방법에 관한 것으로, 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하는 단계, 제1 영상 정보 내의 이동체를 도출하는 단계, 이동체에 관한 정보를 기반으로 이동체의 위치 정보를 생성하는 단계, 이동체의 위치 정보를 기반으로 스피드 돔 카메라가 이동체를 향하도록 스피드 돔 카메라의 움직임을 제어하는 단계, 스피드 돔 카메라로부터 이동체에 대한 제2 영상 정보를 획득하는 단계, 스피드 돔 카메라의 일 측에 탑재된 열화상 카메라로부터 이동체에 대한 열화상 영상 정보를 획득하는 단계, 열화상 영상 정보 및 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계, 개선된 열화상 영상 정보를 기반으로 이동체의 온도를 획득하는 단계 및 이동체의 온도를 기반으로 이동체에 대한 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

다수의 카메라를 이용한 열화상 감시 시스템

본 발명은 다수의 카메라를 이용한 열화상 감시 시스템에 관한 것으로, 더욱 상세하게는 광학 카메라, 스파드 돔 카메라 및 열화상 카메라를 이용하여 추적 대상 판단 및 추적 감시를 수행하는 감시 시스템에 관한 것이다.

최근 다양한 목적에 의해 CCTV(closed-circuit television)의 설치가 늘어나고 있으며, 단순히 CCTV의 수가 늘어나는 것뿐만 아니라 여러 목적에 따라 다양한 기능이 탑재된 CCTV도 개발되고 있는 실정이다.

이러한 CCTV의 여러 목적 중 가장 주된 목적은 특정 지역 또는 특정 대상을 감시하기 위한 것으로, 최근에는 감염병에 따른 환경을 고려할 때 감염병에 걸린 대상을 판단하고, 대상의 이동 경로를 추적하기 위해 많이 이용되고 있다.

다만, 현재 CCTV 또는 감시 시스템은 일반적으로 고정된 영역을 촬영하여 사거리 등과 같은 환경에서 이동체의 이동 방향을 정확히 알기 어려운 문제점이 있으며, 대상을 추적하는 CCTV 또는 감시 시스템의 경우 이동체가 감염병에 감염되었는지 확인이 어려워 모든 이동체에 대하여 추적 촬영하게 됨으로써 자원 낭비가 발생되는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 다수의 카메라를 이용한 열화상 감시 시스템을 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 다수의 카메라를 이용한 열화상 감시 시스템의 동작 방법을 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 다수의 카메라를 이용한 열화상 감시 장치를 제공하는데 있다.

본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적어도 하나의 광학 카메라, 스피드 돔 카메라 및 열화상 카메라를 탑재한 전자 장치에 의해 수행되는 이동체의 열화상 감시 방법은 상기 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하는 단계, 상기 제1 영상 정보 내의 이동체를 도출하는 단계, 상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성하는 단계, 상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어하는 단계, 상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득하는 단계, 상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득하는 단계, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계, 상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득하는 단계 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함할 수 있다.

여기서, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계는 상기 제2 영상 정보로부터 에지 검출을 통해 상기 이동체의 윤곽선 영상 정보를 생성하는 단계 및 상기 열화상 영상 정보 및 상기 윤곽선 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계를 포함할 수 있다.

여기서, 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계는 미리 학습된 환경 기반 임계 온도 결정 모델 및 상기 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 기반으로 임계 온도를 결정하는 단계 및 상기 임계 온도 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함할 수 있다.

여기서, 상게 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 제1 영상 정보보다 고배율의 영상 정보를 나타낼 수 있다.

여기서, 상기 전자 장치는 상기 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치 및 상기 스피드 돔 카메라와 상기 열화상 카메라가 탑재된 제2 전자 장치를 포함할 수 있고, 상기 제1 전자 장치는 고정될 수 있고, 상기 제2 전자 장치는 상기 이동체의 위치 정보를 기반으로 움직임이 제어될 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적어도 하나의 광학 카메라, 스피드 돔 카메라, 열화상 카메라, 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하는 전자 장치로서, 상기 적어도 하나의 명령은 상기 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하도록 실행되고, 상기 제1 영상 정보 내의 이동체를 도출하도록 실행되고, 상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성하도록 실행되고, 상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어하도록 실행되고, 상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득하도록 실행되고, 상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득하도록 실행되고, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하도록 실행되고, 상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득하도록 실행되고, 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하도록 실행될 수 있다.

여기서, 상기 적어도 하나의 명령은 상기 제2 영상 정보로부터 에지 검출을 통해 상기 이동체의 윤곽선 영상 정보를 생성하도록 실행되고, 상기 열화상 영상 정보 및 상기 윤곽선 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하도록 실행될 수 있다.

여기서, 상기 적어도 하나의 명령은 미리 학습된 환경 기반 임계 온도 결정 모델 및 상기 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 기반으로 임계 온도를 결정하도록 실행되고, 상기 임계 온도 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하도록 실행될 수 있다.

여기서, 상게 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 제1 영상 정보보다 고배율의 영상 정보를 나타낼 수 있다.

여기서, 상기 전자 장치는 상기 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치 및 상기 스피드 돔 카메라와 상기 열화상 카메라가 탑재된 제2 전자 장치를 포함할 수 있고, 상기 제1 전자 장치는 고정될 수 있고, 상기 제2 전자 장치는 상기 이동체의 위치 정보를 기반으로 움직임이 제어될 수 있다.

과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따르면, 복수의 광학 카메라를 방사상으로 배치하고, 중심의 광학 카메라 또는 어안 카메라의 촬영 영역과 나머지 광학 카메라의 촬영 영역이 오버랩되도록 배치하여 사각지대가 최소화된 감시 시스템을 제공할 수 있다.

본 발명에 따르면, 열화상 카메라를 통해 감시 영역 내의 대상에 대하여 추적 촬영 여부를 결정하고, 결과에 따라 특정 대상만을 스피드 돔 카메라를 통해 추적 촬영함으로써 불필요한 대상에 대해서는 광학 카메라를 통한 상대적 저배율 영상으로 감시가 수행되고, 일부 대상에 대해서만 스피드 돔 카메라를 통한 상대적 고배율 영상으로 감시가 수행되어 개체별 차등적인 감시를 수행하는 효율적인 감시 시스템을 제공할 수 있다.

다양한 실시예들에 따르면, 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 블록 구성도이다.

도 2는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 모습을 나타낸 도면이다.

도 3은 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 제어 모듈의 블록 구성도이다.

도 4는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 시스템이 사거리에 적용된 모습을 나타낸 도면이다.

도 5는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 시스템의 동작 방법을 나타낸 도면이다.

도 6은 본 발명의 일 실시예에 따른 가시광 영상 및 열화상 영상을 기반으로 개선된 열화상 영상을 도출하는 방법을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 블록 구성도이며, 도 2는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 모습을 나타낸 도면이다.

도 1 및 도 2를 참조하면, 다수의 카메라를 이용한 열화상 감시 장치(100)는 제1 전자 장치(110) 및 제2 전자 장치(120)를 포함할 수 있다. 여기서, 제1 전자 장치(110)는 고정되어 동일한 영역을 연속적으로 촬영할 수 있고, 제2 전자 장치(120)는 회전 및/또는 각도 조절 등을 통해 촬영하는 영역을 이동시킬 수 있으며, 이를 통해 특정 대상을 트래킹할 수 있다. 일 실시예에 따른 열화상 감시 장치(100)는 지면에 설치되어 감시 구역의 공중으로 연장된 폴대의 단부에 고정 설치될 수 있다.

예를 들어, 제1 전자 장치(110)는 적어도 하나의 광학 카메라(111)를 포함할 수 있다. 여기서, 적어도 하나의 광학 카메라(111)는 5개의 광학 카메라가 포함될 수 있으나, 광학 렌즈의 시야각에 따라 사용되는 광학 카메라의 개수가 변경될 수도 있다. 또한, 적어도 하나의 광학 카메라(111)는 1개의 어안 카메라(어안 렌즈를 이용한 카메라) 및 4개의 광학 카메라가 포함될 수도 있으나, 어안 렌즈 또는 광학 렌즈의 시야각에 따라 사용되는 광학 카메라의 개수가 변경될 수도 있는 바, 이에 한정되는 것은 아니다. 다만, 1개의 어안 카메라가 포함될 경우, 어안 카메라는 중심 영역을 비추는 중앙 카메라로서 이용될 수 있고, 나머지 광학 카메라가 외곽 영역(예를 들어, 각 방위에 대응되는 영역)을 비추는 외곽 카메라로서 이용될 수도 있다.

예를 들어, 복수의 광학 카메라는 어안 카메라의 주변에 인접하게 위치하되, 각각의 광학 카메라는 어안 카메라를 중심으로 반경 방향 외측으로 렌즈 배향될 수 있다. 즉, 각 광학 카메라는 감시 구역의 전 영역 중, 어안 카메라 외측을 타겟팅하여 해당 방위의 광학 영상을 획득할 수 있다. 이러한 광학 카메라는 어안 카메라를 중심으로 복수의 방사상으로 배치되는 바, 감시 구역의 복수의 방위에 대한 광학 영상을 획득할 수 있다. 예를 들어, 일 실시예는 어안 카메라를 중심으로 4개의 광학 카메라가 90도 간격으로 방사상으로 배치되고, 각 광학 카메라의 렌즈가 카메라의 중심축과 동일하게 배향되어 있을 수 있다. 즉, 어안 카메라로부터 획득되는 영상의 중심에서 바깥쪽을 향하여 이동체의 출현이 예상되는 방향을 바라보도록 각 광학 카메라가 배향될 수 있다.

제2 전자 장치(120)는 스피드 돔 카메라(121) 및 열화상 카메라(122)를 포함할 수 있다. 여기서, 스피드 돔 카메라(121)는 PTZ 카메라의 일종으로서, 감시 구역에 들어온 이동체를 지속적으로 따라가면서 촬영할 수 있다. 스피드 돔 카메라를 통해 각 고정 영상 내에서 이동체의 위치 이동을 확인할 수 있고, 스피드 돔 카메라가 패닝 또는 틸팅 구동에 의해 이동체의 위치 이동을 추적한 이동 영상을 통해서도 이동체의 이동 경로를 확인할 수도 있다.

열화상 카메라(122)는 스피드 돔 카메라(121)에 탑재되어 함께 패닝 또는 틸팅 구동이 수행되어 이동체의 위치 이동을 추적한 열화상 이동 영상을 획득할 수 있다. 도 2의 스피드 돔 카메라(121) 및 열화상 카메라(122)가 결합된 제2 전자 장치(120)는 일 예이므로, 다른 모습/형태로 결합될 수 있는 바, 도 2의 모습에 본 발명의 범위가 한정되는 것은 아니다.

도 3은 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 제어 모듈의 블록 구성도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 열화상 감시 장치의 제어 모듈(300)은 적어도 하나의 프로세서(310) 및 메모리(320)를 포함할 수 있고, 송수신 장치(330), 입력 인터페이스 장치(340), 출력 인터페이스 장치(350) 및 저장 장치(360) 중 적어도 하나를 더 포함할 수 있다. 또한, 열화상 감시 장치의 제어 모듈(300)에 포함된 각각의 구성 요소들은 버스(bus)(370)에 의해 연결되어 서로 통신을 수행할 수 있다. 예를 들어, 열화상 감시 장치의 제어 모듈(300)은 제어 장치라 나타낼 수 있으며, 상술한 구성 요소들 중 일부가 제외될 수 있으며, 다른 구성 요소가 추가될 수도 있다.

예를 들어, 적어도 하나의 프로세서(310)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(320) 및 저장 장치(360) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(320)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(360)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.

예를 들어, 메모리(320) 또는 저장 장치(360)는 적어도 하나의 프로세서(310)에 의해 실행될 수 있는 적어도 하나의 명령을 저장하고 있을 수 있다. 예를 들어, 적어도 하나의 명령은 상기 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하는 명령, 상기 제1 영상 정보 내의 이동체를 도출하는 명령, 상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성하는 명령, 상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어하는 명령, 상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득하는 명령, 상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득하는 명령, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 명령, 상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득하는 명령 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 명령을 포함할 수 있다.

예를 들어, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 명령은 상기 제2 영상 정보로부터 에지 검출을 통해 상기 이동체의 윤곽선 영상 정보를 생성하는 명령 및 상기 열화상 영상 정보 및 상기 윤곽선 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 명령을 포함할 수 있다.

예를 들어, 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 명령은 미리 학습된 환경 기반 임계 온도 결정 모델 및 상기 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 기반으로 임계 온도를 결정하는 명령 및 상기 임계 온도 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 명령을 포함할 수 있다.

예를 들어, 상게 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 제1 영상 정보보다 고배율의 영상 정보를 나타낼 수 있다.

예를 들어, 상기 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치(110)는 고정되어 있을 수 있고, 상기 스피드 돔 카메라와 상기 열화상 카메라가 탑재된 제2 전자 장치(120)는 상기 이동체의 위치 정보를 기반으로 움직임이 제어될 수 있다.

일 실시예에 따른 열화상 감시 장치의 제어 모듈(300)은 열화상 감시 장치(100) 내에 포함될 수 있으며, 제1 전자 장치(110) 및 제2 전자 장치(120)와 연결될 수 있다. 또는, 열화상 감시 장치의 제어 모듈(300)은 제1 전자 장치(110) 내에 포함되어 제2 전자 장치(120)와 연결될 수 있으며, 제2 전자 장치(120) 내에 포함되어 제1 전자 장치(110)와 연결될 수도 있다. 또는, 열화상 감시 장치(100)의 외부에 위치하고, 열화상 감시 장치(100)와 유무선 통신을 통해 연결될 수도 있다.

도 4는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 시스템이 사거리에 적용된 모습을 나타낸 도면이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 열화상 감시 시스템은 제1 전자 장치(110)에 포함된 적어도 하나의 광각 카메라를 통해 제1 영상 정보(410)를 획득할 수 있으며, 사거리에서 제1 영상 정보(410)는 제1 방위에 대응되는 영역에 대한 영상 정보(411), 제2 방위에 대응되는 영역에 대한 영상 정보(412), 제3 방위에 대응되는 영역에 대한 영상 정보(413), 제4 방위에 대응되는 영역에 대한 영상 정보(414) 및 중심 영역에 대한 영상 정보(415)를 포함할 수 있다. 예를 들어, 적어도 하나의 광각 카메라 중 하나가 어안 카메라로 대체되는 경우, 중심 영역에 대한 영상 정보(415)는 어안 렌즈에 따른 어안 영상 정보일 수 있다.

또한, 일 실시예에 따른 열화상 감시 시스템은 제2 전자 장치(120)를 통해 제1 영상 정보(410)에 포함되는 영역 중 일부에 대한 영상 정보(420)를 획득할 수 있다. 여기서, 제1 영상 정보(410)는 고정된 제1 전자 장치(110)에 의해 획득되는 바, 동일한 영역을 지속적으로 촬영하는 영상일 수 있고, 일부에 대한 영상 정보(420)는 제2 전자 장치(120)에 의해 획득되는 바, 제1 영상 정보(410)에 포함된 영역 내의 이동체에 따라 이동하며 촬영되는 이동 영상일 수 있다. 또한, 일부에 대한 영상 정보(420)는 제1 영상 정보(410)에 포함된 영역 중 일부 영역 및 포함되지 않은 일부 영역을 포함하는 영상 정보일 수도 있다.

여기서, 제2 전자 장치(120)를 통해 획득되는 일부에 대한 영상 정보(420)는 스피드 돔 카메라(121)를 통해 획득되는 제2 영상 정보일 수 있고, 열화상 카메라(122)를 통해 획득되는 열화상 영상 정보는 제2 영상 정보에 따른 영역을 포함하는 상대적으로 넓은 영역의 영상일 수 있으나, 제2 영상 정보에 따른 영역 내에 포함되는 상대적으로 좁은 영역의 영상일 수도 있다.

일 실시예에 따른 열화상 감시 장치(100)는 지면에 설치되어 감시 구역의 공중으로 연장된 폴대의 단부에 고정 설치될 수 있다.

이상에서는 설명의 편의를 위해 사거리를 가정하여 설명하였으나, 사거리에 한정되는 것은 아니며, 분기되는 거리의 수에 따라 광각 카메라의 수가 변경될 수도 있고, 변경되지 않을 수도 있다.

도 5는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 시스템의 동작 방법을 나타낸 도면이다.

도 5를 참조하면, S510 단계에서 일 실시예는 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득할 수 있고, S520 단계에서 상기 제1 영상 정보 내의 이동체를 도출할 수 있다. 예를 들어, 상기 적어도 하나의 광학 카메라 중 적어도 하나는 어안 카메라로 대체될 수 있으며, 중심 영역을 촬영하는 카메라가 어안 카메라로 대체될 수도 있고, 다른 영역을 촬영하는 카메라가 어안 카메라로 대체될 수도 있다.

상기 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타낼 수 있으며, 도 4와 같이 미리 설정된 사거리 영역일 수 있으나, 삼거리 또는 오거리 등의 다른 영역이 포함될 수도 있는 바, 이에 한정되는 것은 아니며, 고정된 영역에 대한 연속적으로 촬영된 영상 정보를 나타내는 것일 수 있다. 따라서, 제1 영상 정보를 획득하는 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치는 고정되어 있을 수 있다.

또한, S530 단계에서 일 실시예는 상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성할 수 있다. 여기서, 일 실시예는 제1 영상 정보에 따른 영상 내에 이동체가 존재하는지 여부를 감지할 수 있고, 영상 내에 감지되는 서로 다른 이동체에 대하여 각각 식별 코드를 부여할 수 있다.

예를 들어, 일 실시예는 영상 내의 이동체를 식별하기 위하여 GMM(Gaussian Mixture Model) 기법을 이용할 수 있다. GMM은 복수의 가우시안 확률 밀도 함수로 데이터의 분포를 모델링하는 방법으로, 영상 내의 각 화소에 대하여 가우시안 확률 밀도 함수로 모델링하고, 화소의 변화에 따라 평균과 분산, 가중치를 적용하여 매 프레임마다 새로 입력되는 값을 적응시켜 학습된 배경을 형성하며, 배경의 학습을 통해 이동체를 분리하고 검출할 수 있다.

또한, 일 실시예는 감지된 이동체에 대한 좌표를 추출할 수 있으며, 이동체가 영상 내에서 이동하는 경우, 이동 궤적을 따라 지속적으로 위치 좌표를 추출할 수 있다. 여기서, 위치 좌표는 각 식별 코드 별로 및 시간 별로 산출될 수 있다.

예를 들어, 하나의 어안 카메라가 중심 영역을 촬영하는 광학 카메라를 대체하는 경우, 일 실시예는 공지의 방식에 따라 제1 영상 정보에 포함되는 어안 영상에서 이동체의 좌표를 2차원 극좌표 형태로 산출할 수 있다. 여기서, 이동체의 극좌표는 이동체의 영상 중심점으로부터의 거리 및 미리 설정된 기준선으로부터의 방위각으로 나타낼 수 있다. 다만, 어안 카메라로 대체되지 않는 경우에도 중심 영역을 촬영하는 영상 정보에서의 이동체의 좌표는 극좌표로 도출될 수 있다. 이후, 극좌표는 제1 영상 정보에 포함되는 다른 영상(예를 들어, 광학 영상)에서의 x-y 평면 좌표와 동일한 좌표로 변환될 수 있으며, 광학 영상으로부터 이동체의 평면 좌표가 산출될 수 있다. 이때, 영상 간의 이미지 정합을 위하여 RANSAC(random sample consensus) 알고리즘을 사용하며, 정합된 몇 개의 특징점 쌍을 가지고 광학 영상의 호모그래피 계산을 수행할 수 있다. 또한, 좌표 변환 파라미터에 기초하여 광학 영상으로부터 이동체의 좌표를 산출할 수 있다. 이후, 일 실시예는 이동체의 좌표 정보를 포함하는 위치 정보를 기반으로 스피드 돔 카메라의 움직임을 제어할 수 있다.

예를 들어, 하나의 이동체가 제1 영상 정보에 포함되는 복수의 영상의 오버랩 영역에 출현하는 경우, 복수의 영상에서 이동체가 감지되는 바, 각 영상에서의 이동체 간의 동일 여부를 판단할 수 있다. 이 경우, 동일 여부 판단은 각 영상으로부터 도출되는 이동체의 위치 좌표 및 시간에 따른 위치 좌표의 변화 정보(예를 들어, 이동 방향)를 서로 비교하여 판단될 수 있다.

또는 예를 들어, 일 실시예는 제1 영상 정보에 포함된 복수의 영상을 병합하여 하나의 병합 영상을 생성하여 제공할 수도 있다. 이 경우, 중심 영역을 촬영하는 영상 정보를 기준으로 각 방위의 영상 정보의 시야각을 고려하여 병합될 수 있다. 이에 따라, 이동체가 감지되는 구역이 일 영상에서 타 영상으로 변경되어도 자연스럽게 이동체가 이동하는 것과 같은 시각적인 효과를 제공할 수도 있다. 또한, 일 실시예는 제1 영상 정보에 대응되는 2차원 지도를 생성할 수 있고, 이동체를 표시하여 시간에 따라 2차원 지도 내에서 이동체가 움직이는 영상을 생성하고 제공할 수도 있다.

이후, S540 단계에서 일 실시예는 상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어할 수 있고, S550 단계에서 상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득할 수 있으며, S560 단계에서 상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득할 수 있다. 예를 들어, 상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타낼 수 있고, 열화상 영상 정보는 제2 영상 정보와 동일한 영역이 촬영된 영상 정보일 수 있으나, 열화상 영상 정보가 제2 영상 정보의 영역을 포함하는 상대적으로 넓은 영역이 촬영된 영상 정보일 수 있고, 제2 영상 정보가 열화상 영상 정보의 영역을 포함하는 상대적으로 넓은 영역이 촬영된 영상 정보일 수도 있다. 이는 제2 영상 정보를 획득하는 스피드 둠 카메라의 성능과 열화상 영상 정보를 획득하는 열화상 카메라의 성능을 기반으로 구현 상 변경될 수 있는 부분인 바, 이에 본 발명의 범위가 한정되는 것은 아니다.

다만, 상기 제2 영상 정보는 특정 대상에 대한 영상 정보인 바, 넓은 범위에 대한 감시가 목적인 상기 제1 영상 정보보다 고배율의 영상 정보일 수 있다.

또한, 상기 스피드 돔 카메라 및 상기 열화상 카메라는 하나의 전자 장치(예를 들어, 제2 전자 장치)에 함께 탑재되어 제어 명령에 의해 함께 움직일 수 있다. 즉, 스피드 돔 카메라의 움직임 제어 명령에 의해 열화상 카메라가 함께 움직임이 제어될 수 있다. 여기서, 스피드 돔 카메라의 움직임 제어 명령은 스피드 돔 카메라와 열화상 카메라가 함께 움직이게 되는 경우, 제2 전자 장치의 제어 명령 또는 열화상 카메라의 움직임 제어 명령이라 나타낼 수도 있다.

S570 단계에서 일 실시예는 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득할 수 있으며, S580 단계에서 상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득할 수 있다. 예를 들어, 개선된 열화상 영상 정보는 제2 영상 정보로부터 에지 검출을 통해 생성되는 이동체의 윤곽선 영상 정보 및 열화상 카메라를 통해 획득되는 열화상 영상 정보를 기반으로 획득될 수 있으며, 이에 대한 상세한 설명은 도 6과 함께 후술하겠다.

S590 단계에서 일 실시예는 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정할 수 있다. 예를 들어, 일 실시예는 획득되는 이동체의 온도와 미리 학습된 환경 기반 임계 온도 결정 모델에 따라 결정되는 임계 온도를 기반으로 추적 촬영 여부를 결정할 수 있다.

구체적으로, 일 실시예는 환경 정보에 기반한 학습 데이터를 기반으로 머신 러닝을 통해 환경 기반 임계 온도 결정 모델을 학습할 수 있다. 여기서, 학습 데이터는 학습용 시간대 정보, 학습용 그늘 여부 정보, 학습용 바람 유무 정보, 학습용 온도 정보, 학습용 습도 정보 및 학습용 다른 열원에 의한 열적 반사 정보 중 적어도 하나와 학습용 임계 온도 정보를 포함할 수 있으며, 임계 온도는 감염병에 감염된 것으로 판단할 온도를 나타낼 수 있다. 이때 머신 러닝에는 합성곱 신경망(convolutional neural networks, CNN), 심층 신경망(artificial neural network, ANN), 순환신경망(recurrent neural networks, RNN) 등 다양한 신경망 또는 알고리즘이 이용될 수 있으나, 이에 한정되는 것은 아니며, 통상의 학습 신경망 또는 알고리즘이 다양하게 이용될 수 있다.

이후, 일 실시예는 학습된 환경 기반 임계 온도 결정 모델에 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 입력하여 임계 온도를 획득할 수 있으며, 제1 영상 정보에 대응되는 영역에 대한 환경 정보는 외부 서버 또는 해당 영역에 위치한 다른 센서로부터 획득될 수도 있다. 다만, 환경 정보를 획득하는 방안은 다양한 바, 상술한 바에 한정되지 않는다.

이후, 일 실시예는 이동체의 온도가 임계 온도보다 같거나 높은 경우, 추적 촬영 대상으로 판단할 수 있고, 스피드 돔 카메라를 통해 제1 영상 정보에 대응되는 영역을 벗어날 때까지 이동체를 지속적으로 추적 촬영할 수 있다. 또는 일 실시예는 이동체의 온도가 임계 온도보다 낮은 경우, 추적 촬영 대상이 아닌 것으로 판단할 수 있고, 스피드 돔 카메라가 다른 이동체를 향하도록 스피드 돔 카메라의 움직임을 제어할 수 있다. 예를 들어, 이동체의 온도는 이동체의 발열 영역의 중심부의 온도를 기반으로 설정될 수 있으며, 중심부는 여러 도형의 도형 내의 다양한 중심을 결정하는 방법이 이용될 수 있으나, 이에 한정되는 것은 아니다. 또한, 이동체의 발열 영역은 후술하는 개선된 열화상 영상 정보를 통해 획득되는 윤곽선 내의 영역만이 포함될 수 있으며, 열을 가지는 영역이나 윤곽선의 밖에 위치하는 영역의 경우, 이동체의 발열 영역에 포함시키지 않을 수 있다.

도 6은 본 발명의 일 실시예에 따른 가시광 영상 및 열화상 영상을 기반으로 개선된 열화상 영상을 도출하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 일 실시예는 스피드 돔 카메라를 통해 획득되는 이동체에 대한 제2 영상 정보(가시광 영상) 및 열화상 카메라를 통해 획득되는 이동체에 대한 열화상 영상 정보를 기반으로 개선된 열화상 정보를 획득할 수 있다.

구체적으로, 일 실시예는 제2 영상 정보로부터 에지 검출을 통해 이동체에 대한 윤곽선 영상 정보를 생성할 수 있다. 여기서, 에지 검출은 디지털 영상에서 영상의 밝기가 급격히 변하는 지점을 도출하는 것으로, 검출된 에지는 윤곽선을 나타낼 수 있다. 예를 들어, 에지 검출 방법은 2차 미분 연산 역할을 수행하는 3x3 라플라시안 연산자 또는 1차 미분 연산 역할을 수행하는 프리윗(prewitt) 연산자가 이용될 수 있으나, 다른 다양한 에지 검출 방법이 이용될 수도 있으므로, 이에 한정되는 것은 아니다.

이후, 일 실시예는 윤곽선 영상 정보 및 열화상 영상 정보를 차분하여 개선된 열화상 영상 정보를 획득할 수 있다. 다시 말해, 개선된 열화상 영상 정보는 열화상 영상 정보에 윤곽선 영상 정보를 차분한 영상 정보를 나타낼 수 있고, 나아가 차분한 영상 정보에 클램핑 처리한 영상 정보를 나타낼 수도 있다. 즉, 개선된 열화상 영상 정보는 개체의 윤곽선이 표시된 열화상 영상 정보를 나타낼 수 있다.

또는 예를 들어, 이동체로부터 일정 거리 내에 다른 이동체 또는 다른 사물 주위에 다른 이동체 등에 따라 에지 검출 방법을 결정하여 이동체의 윤곽선의 두께를 조절할 수도 있다. 즉, 이동체의 주변 정보를 기반으로 이동체의 윤곽선의 두께가 상대적으로 두꺼워야 하는 경우, x 방향 및 y 방향의 결과값에 절대값을 취하여 더하는 1차 미분인 프리윗 연산자가 이용될 수 있고, 그 반대로 윤곽선의 두께가 상대적으로 얇아야 하는 경우, 절대값을 취하지 않는 2차 미분인 라플라시안 연산자가 이용될 수 있다.

본 명세서의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

1. 적어도 하나의 광학 카메라, 스피드 돔 카메라 및 열화상 카메라를 탑재한 전자 장치에 의해 수행되는 이동체의 열화상 감시 방법으로서,

   상기 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하는 단계;

   상기 제1 영상 정보 내의 이동체를 도출하는 단계;

   상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성하는 단계;

   상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어하는 단계;

   상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득하는 단계;

   상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득하는 단계;

   상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계;

   상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득하는 단계; 및

   상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함하는, 이동체의 열화상 감시 방법.
2. 청구항 1에 있어서,

   상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계는,

   상기 제2 영상 정보로부터 에지 검출을 통해 상기 이동체의 윤곽선 영상 정보를 생성하는 단계; 및

   상기 열화상 영상 정보 및 상기 윤곽선 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계를 포함하는, 이동체의 열화상 감시 방법.
3. 청구항 1에 있어서,

   상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계는,

   미리 학습된 환경 기반 임계 온도 결정 모델 및 상기 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 기반으로 임계 온도를 결정하는 단계; 및

   상기 임계 온도 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함하는, 이동체의 열화상 감시 방법.
4. 청구항 1에 있어서,

   상게 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타내고,

   상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타내고,

   상기 제2 영상 정보는 상기 제1 영상 정보보다 고배율의 영상 정보를 나타내는, 이동체의 열화상 감시 방법.
5. 청구항 1에 있어서,

   상기 전자 장치는 상기 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치 및 상기 스피드 돔 카메라와 상기 열화상 카메라가 탑재된 제2 전자 장치를 포함하고,

   상기 제1 전자 장치는 고정되고,

   상기 제2 전자 장치는 상기 이동체의 위치 정보를 기반으로 움직임이 제어되는, 이동체의 열화상 감시 방법.

Images