KR101468117B1 - 지능형 영상 감시 방법 및 그 장치 - Google Patents

Abstract

본 발명은 지능형 영상 감시 방법 및 그 장치에 관한 것이다. 본 발명에 따르면, 감시대상 구역에 설치된 광역 카메라 및 근접 카메라를 이용한 지능형 영상 감시 장치의 지능형 영상 감시 방법에 있어서, 상기 광역 카메라의 촬상 영상으로부터 적어도 하나의 객체를 검출하고 상기 객체의 특징 정보를 추출하는 단계와, 상기 객체의 특징 정보를 이용하여 상기 객체에 대한 촬영의 우선 순위를 설정하는 단계, 및 상기 우선 순위가 가장 높은 객체를 상기 근접 카메라 상에서 추적하도록 상기 근접 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 단계를 포함하는 지능형 영상 감시 방법을 제공한다.
상기 지능형 영상 감시 방법 및 그 장치에 따르면, 광역 카메라의 영상에서 얻어진 객체의 특징 정보로부터 식별력 특성에 기반한 촬영 우선 순위를 결정하여 근접 카메라의 동작을 그에 대응되도록 제어할 수 있으며 식별력이 높은 영상을 획득할 수 있는 이점이 있다.

Description

지능형 영상 감시 방법 및 그 장치{Intelligent image monitoring method and apparatus thereof}

본 발명은 지능형 영상 감시 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 감시대상 구역에 설치되어 있는 광역 카메라 및 근접 카메라를 이용하여 객체에 대한 감시 성능을 높일 수 있는 지능형 영상 감시 방법 및 그 장치에 관한 것이다.

CCTV 카메라를 이용한 영상 감시 시스템이 차량 단속 및 방범에 효과가 있음이 입증되면서 각종 범죄 해결과 예방을 위해 공원, 골목, 학교 주변, 실내 공간 등에 방범용 카메라가 설치되는 사례가 급증하고 있다. 카메라의 증가는 운영 인력과 비용의 증가를 수반하게 되는데, 대개의 경우 운영 요원은 최소한으로 운영되고 있으며 운영 요원의 상시적인 감시 업무는 집중력 저하를 유발하고 감시 효율을 떨어뜨리는 문제점이 있다.

최근에는 카메라에서 촬영하는 영상을 분석 및 처리하는 지능형 영상 감시 시스템이 제안되고 있다. 지능형 영상 감시 시스템은 주로 사람, 차량, 오토바이, 동물 등과 같은 피사체(객체)의 행동에 기반한 데이터의 획득이 가능한 시스템이다. 이를 통해, 객체의 분류, 객체의 침입, 사라짐, 배회, 쓰러짐, 출입 카운팅, 범죄행동 패턴 분석 등을 수행할 수 있다.

지능형 영상 감시 시스템은 영역 감시 과정에서 객체가 출현하면 객체의 식별력을 높이기 위하여 근접 촬영을 수행하거나, 이동 상황을 지속적으로 추적 촬영하는 형태로 발전하고 있다. 그 대표적인 방법인 고정형 카메라와 이동형 카메라를 포함하는 듀얼 감시 시스템은 영역 전체에 대한 감시뿐만 아니라 특정 위험 지점에 대한 정밀 감시 및 추적을 동시에 수행하므로 매우 효율적이다.

그러나 지능형 영상 감시 시스템이라 하더라도 각기 다른 방향에서 다수의 객체가 짧은 시간 이내에 검출되는 경우 영상 내의 모든 객체를 동시에 추적하는 것은 불가능하다. 또한 일반적으로 영상에서 객체가 검출되면 영상 내에서의 해당 객체의 식별성과는 관계없이 객체를 추적하여 촬영하므로, 식별성이 떨어지거나 중요도가 떨어지는 객체의 경우 저장된 정보에 대한 효용성이 낮은 문제가 있다.

본 발명의 배경이 되는 기술은 국내공개특허 제2010-0132739호(2010.12.20 공개)에 개시되어 있다.

본 발명은 감시대상 구역에 설치되어 있는 광역 카메라 및 근접 카메라를 이용하여 객체에 대한 감시 성능을 높일 수 있는 지능형 영상 감시 방법 및 그 장치를 제공하기 위한 것이다.

본 발명은, 감시대상 구역에 설치된 광역 카메라 및 근접 카메라를 이용한 지능형 영상 감시 장치의 지능형 영상 감시 방법에 있어서, 상기 광역 카메라의 촬상 영상으로부터 적어도 하나의 객체를 검출하고 상기 객체의 특징 정보를 추출하는 단계와, 상기 객체의 특징 정보를 이용하여 상기 객체에 대한 촬영의 우선 순위를 설정하는 단계, 및 상기 설정된 우선 순위가 가장 높은 객체를 상기 근접 카메라 상에서 추적하도록 상기 근접 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 단계를 포함하는 지능형 영상 감시 방법을 제공한다.

여기서, 상기 특징 정보는, 상기 객체의 종류, 크기, 위치, 진행 방향, 색상, 상기 객체가 가진 고유 패턴 중 적어도 하나를 포함할 수 있다.

또한, 상기 객체에 대한 우선 순위를 설정하는 단계는, 상기 특징 정보의 종류 별로 가중치를 서로 달리하여 상기 우선 순위를 설정할 수 있다.

또한, 상기 객체에 대한 우선 순위를 설정하는 단계는, 각각의 객체에 대한 상기 특징 정보로부터 상기 객체의 식별 가능성 정도를 판단하고 상기 식별 가능성이 높은 순으로 상기 우선 순위를 설정할 수 있다.

또한, 상기 우선 순위를 설정하는 단계는, 상기 객체의 정면 또는 후면 중 중요도가 높은 한 면이 촬상되는 경우 높은 우선 순위를 설정하거나, 상기 객체가 상기 광역 카메라를 향하는 방향으로 이동 중인 경우 높은 우선 순위를 설정하거나, 상기 객체가 기 설정된 관심 영역 내에 위치하는 경우 높은 우선 순위를 설정할 수 있다.

여기서, 상기 객체에 대한 우선 순위를 설정하는 단계는, 상기 객체에 대한 특징 정보로부터 상기 촬상 영상 내에서 상기 객체의 정면 또는 후면이 촬상되고 있는지의 여부를 판단할 수 있다.

또한, 상기 특징정보를 추출하는 단계는, 상기 각각의 객체 별로 고유 ID를 할당하고, 상기 고유 ID 별로 상기 추출된 특징 정보를 매핑하며, 상기 객체에 대한 우선 순위를 설정하는 단계는, 상기 고유 ID 별로 상기 식별 가능성 정도를 매핑하여 상기 우선 순위를 정렬하되, 상기 촬상 영상 내에 포함된 각 객체의 위치 또는 개수의 변경에 대응하여, 상기 각 객체의 고유 ID 별로 상기 우선 순위를 갱신할 수 있다.

상기 객체에 대한 우선 순위를 설정하는 단계는, 상기 각각의 객체 별로 고유 ID를 할당하고, 상기 고유 ID 별로 상기 객체의 특징 정보 및 상기 식별 가능성 정도를 매핑하여 상기 우선 순위를 정렬하되, 상기 촬상 영상 내에 포함된 각 객체의 위치 또는 개수의 변경에 대응하여, 상기 각 객체의 고유 ID 별로 상기 우선 순위를 갱신할 수 있다.

여기서, 상기 우선 순위가 동일한 객체가 N(N은 2 이상의 정수) 개인 경우, 상기 근접 카메라를 제어하는 단계는, 기 설정된 감시시간 구간을 N개의 서브시간 구간으로 분할하고, 상기 서브시간 구간마다 각각의 객체를 개별 추적하도록 상기 근접 카메라를 상기 서브시간 구간 단위로 제어할 수 있다.

또한, 상기 우선 순위가 동일한 객체가 N(N은 2 이상의 정수) 개인 경우, 상기 근접 카메라를 제어하는 단계는, 상기 N개의 객체에 대한 평균 위치 지점이 상기 근접 카메라의 화면 중심 또는 설정 지점에 세팅되도록 상기 근접 카메라를 제어할 수 있다.

그리고, 감시대상 구역에 설치된 광역 카메라 및 근접 카메라를 이용한 지능형 영상 감시 장치에 있어서, 상기 광역 카메라의 촬상 영상으로부터 적어도 하나의 객체를 검출하고 상기 객체의 특징 정보를 추출하는 특징정보 추출부와, 상기 객체의 특징 정보를 이용하여 상기 객체에 대한 촬영의 우선 순위를 설정하는 우선순위 설정부, 및 상기 설정된 우선 순위가 가장 높은 객체를 상기 근접 카메라 상에서 추적하도록 상기 근접 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 카메라 제어부를 포함하는 지능형 영상 감시 장치를 제공한다.

여기서, 상기 특징 정보는, 상기 객체의 종류, 크기, 위치, 진행 방향, 색상, 상기 객체가 가진 고유 패턴 중 적어도 하나를 포함하며, 상기 우선순위 설정부는, 각각의 객체에 대한 상기 특징 정보로부터 상기 객체의 식별 가능성 정도를 판단하고 상기 식별 가능성이 높은 순으로 상기 우선 순위를 설정하며, 상기 특징 정보의 종류 별로 가중치를 서로 달리하여 상기 우선 순위를 설정할 수 있다.

또한, 상기 우선 순위 설정부는, 상기 객체의 정면 또는 후면 중 중요도가 높은 한 면이 촬상되는 경우 높은 우선 순위를 설정하거나, 상기 객체가 상기 광역 카메라를 향하는 방향으로 이동 중인 경우 높은 우선 순위를 설정하거나, 상기 객체가 기 설정된 관심 영역 내에 위치하는 경우 높은 우선 순위를 설정할 수 있다.

또한, 상기 특징정보를 추출부는, 상기 각각의 객체 별로 고유 ID를 할당하고, 상기 고유 ID 별로 상기 추출된 특징 정보를 매핑하며, 상기 우선순위 설정부는, 상기 고유 ID 별로 상기 식별 가능성 정도를 매핑하여 상기 우선 순위를 정렬하되, 상기 촬상 영상 내에 포함된 각 객체의 위치 또는 개수의 변경에 대응하여, 상기 각 객체의 고유 ID 별로 상기 우선 순위를 갱신할 수 있다.

여기서, 상기 우선 순위가 동일한 객체가 N(N은 2 이상의 정수) 개인 경우, 상기 카메라 제어부는, 기 설정된 감시시간 구간을 N개의 서브시간 구간으로 분할하고, 상기 서브시간 구간마다 각각의 객체를 개별 추적하도록 상기 근접 카메라를 상기 서브시간 구간 단위로 제어할 수 있다.

또한, 상기 우선 순위가 동일한 객체가 N(N은 2 이상의 정수) 개인 경우, 상기 카메라 제어부는, 상기 N개의 객체에 대한 평균 위치 지점이 상기 근접 카메라의 화면 중심 또는 설정 지점에 세팅되도록 상기 근접 카메라를 제어할 수 있다.

또한, 상기 지능형 영상 감시 장치는, 상기 근접 카메라 상에서 추적되는 객체의 영상으로부터 상기 객체를 인식하기 위한 영상 처리부를 더 포함할 수 있다.

본 발명에 따른 지능형 영상 감시 방법 및 그 장치에 따르면, 광역 카메라의 영상에서 얻어진 객체의 특징 정보로부터 식별력 특성에 기반한 촬영 우선 순위를 결정하여 근접 카메라의 동작을 그에 대응되도록 제어할 수 있으며 식별력이 높은 영상을 획득할 수 있는 이점이 있다.

도 1은 본 발명의 실시예에 따른 지능형 영상 감시 장치의 구성도이다.
도 2는 도 1을 이용한 지능형 영상 감시 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 영상 감시의 예시 화면을 나타낸다.
도 4a 및 도 4b는 본 발명의 실시예를 설명하는 예시도이다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

본 발명은 광역 카메라 및 근접 카메라를 이용한 지능형 영상 감시 방법으로서, 광역 카메라로부터 획득된 촬상 영상으로부터 각각의 객체에 대한 특징 정보를 추출하고 추출된 특징 정보에 기반하여 각 객체에 대한 촬영 우선 순위를 결정하여 우선 순위가 높은 객체를 우선적으로 추적하도록 근접 카메라의 촬영 동작을 제어하는 기법을 제공한다.

본 실시예에서 광역 카메라 및 근접 카메라는 감시대상 구역에 설치되어 있다. 여기서, 감시대상 구역이란 감시를 필요로 하는 실내 또는 실내 공간에 해당될 수 있다. 만약 감시대상 구역이 도로인 경우 본 실시예의 카메라들은 감시대상 영역의 시야를 확보할 수 있는 전봇대, 지주 등의 각종 시설물에 설치되어 동작될 수 있다.

상기 광역 카메라는 근접 카메라보다 상대적으로 광역 범위의 영상을 촬영하도록 구성된다. 이러한 광역 카메라는 감시대상 구역에 진입하는 객체(ex, 사람, 차량, 오토바이, 동물)에 대한 관심 영역의 출현 여부를 검출하기 위한 기초 영상을 수집하는 역할을 한다. 광역 카메라는 고정식 또는 이동식 카메라를 사용할 수 있으며 통상적으로는 고정식을 사용한다.

근접 카메라는 광역 카메라에서 검출된 여러 객체 중에서도 우선 순위가 높은 해당 객체가 위치하는 지점으로 근접 촬영을 위한 팬 각도, 틸트 각도, 줌 배율, 포커싱 등을 조절하여 해당 객체를 집중적으로 추적 촬영하는 역할을 한다. 이러한 근접 카메라는 팬/틸팅/줌 촬영이 가능한 PTZ(Pan/Tilt/Zoom) 카메라로 구성된다.

여기서, 카메라 간의 연동을 위해서는 기본적으로 광역 카메라의 영상 좌표와 근접 카메라의 영상 좌표 간의 일치를 위한 좌표 매핑 과정이 사전에 수반되어야 한다. 이는 본 기술분야에서 자명한 것이며 카메라 간의 좌표 매핑 과정은 기 공지된 방식 중에서 선택적으로 적용할 수 있다.

또한 소정의 객체를 추적 또는 근접 촬영하는 방법은 객체의 출현 순서에 우선하여 FIFO(First In First Out) 방식으로 배정하여 추적 촬영 시간을 설정할 수 있다. 예를 들어 하나의 객체에 5초 또는 10초 등과 같이 시간을 두어 촬영할 수 있다. 따라서 출현하는 객체가 1개인 경우에는 지속적인 추적 촬영이 가능하고, 객체가 많은 경우에는 3~5초 정도의 근접 촬영이 될 것이다. 따라서 추적 촬영 또는 근접 촬영의 의미는 본 발명에서는 동일한 개념이다.

광역 카메라에 대한 근접 카메라의 대수는 하나 또는 복수일 수 있다. 근접 카메라가 복수의 대수로 사용되는 경우 자신이 담당하는 시야각 구간을 개별적으로 가지도록 하여 담당 시야각 구간에 포함된 객체만을 추적하도록 구현할 수 있다.

이하에서는 본 발명의 실시예에 따른 지능형 영상 감시 방법에 관하여 상세히 설명한다. 본 발명의 실시예는 소정의 영상에 포함된 객체의 종류와 특징을 분석하는 지능형 알고리즘을 이용하여 객체의 특징 정보(메타 데이터)를 추출하고, 추출된 특징 정보에 기반하여 객체를 추적 또는 근접 촬영하는 카메라 시스템을 제공한다.

지능형 영상감시 시스템은 광역 카메라를 이용하여 감시대상 구역을 상대적으로 광역으로 촬영하는 과정, 해당 영상을 분석 처리하여 객체에 대한 메타 데이터를 산출하는 과정, 이를 이용하여 회전과 줌이 가능한 근접 카메라를 통하여 객체를 추적 촬영하는 과정을 포함하여 동작한다.

도 1은 본 발명의 실시예에 따른 지능형 영상 감시 장치의 구성도이고, 도 2는 도 1을 이용한 지능형 영상 감시 방법의 흐름도이다.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 지능형 영상 감시 장치(100)는 특징정보 추출부(110), 우선순위 설정부(120), 카메라 제어부(130), 정보 저장부(140), 영상 처리부(150)를 포함한다. 여기서, 영상 처리부(150)는 지능형 영상 감시 장치(100)에 선택적으로 부가될 수 있다.

먼저, 특징정보 추출부(110)는 상기 광역 카메라(10)의 촬상 영상으로부터 적어도 하나의 객체를 검출하고 상기 객체의 특징 정보를 추출한다(S210). 여기서, 특징 정보란 영상을 분석 처리하여 추출 가능한 모든 객체의 정보들을 포괄하는 개념이다.

특징정보 추출부(110)는 광역 카메라(10)의 이미지 프로세싱(Image Processing) 기법을 통하여 촬상 영상으로부터 객체를 검출하고 분류하는 기능을 수행할 수 있다. 여기서 획득하고자 하는 정보의 종류에 따라 다양한 객체 검출 알고리즘을 적용할 수 있다. 촬상 영상으로부터 객체를 검출 또는 인식하는 기법은 기 공지된 다양한 기법을 사용할 수 있다.

본 실시예에서 특징정보 추출부(110)는 검출된 각각의 객체 별로 고유 ID를 할당하고, 상기 고유 ID 별로 상기 추출된 특징 정보를 매핑할 수 있으며, 그 정보는 정보 저장부(140)에서 저장 및 관리될 수 있다. 예를 들어, 촬상 영상으로부터 객체의 출현을 검출하면 각각의 객체에 ID를 부여하며, 영상 처리를 통하여 상기 객체의 벡터를 산출하고, 객체의 종류, 크기, 위치, 진행 방향, 색상 등을 포함하는 객체의 특징 정보를 산출할 수 있다.

상기 특징 정보는, 상기 객체의 종류(ex, 사람, 자동차, 오토바이), 크기, 위치(객체 좌표), 진행 방향(이동 벡터), 속도, 색상, 상기 객체가 가진 고유 패턴 중 적어도 하나를 포함할 수 있다. 물론, 특징 정보에는 해당 객체가 검출된 시각 정보를 추가로 포함할 수 있다. 앞서와 같이 영상으로부터 상술한 특징 정보들의 획득에 필요한 검출 알고리즘은 기 공지된 다양한 방법 중 선택적으로 사용 가능하다.

상기 객체의 종류는 촬상 영상 내에서 검출된 객체의 형상(ex, 사람인 경우, 머리, 팔, 몸통의 구분), 윤곽선(엣지 검출), 객체가 가진 고유 패턴(ex, 차량인 경우, 번호판), 객체의 색상, 객체의 크기 중 적어도 하나를 바탕으로 판단이 가능할 수 있다. 이를 통해, 해당 객체가 사람, 자동차, 오토바이 등 중에서 어떠한 카테고리에 해당되는지를 확인할 수 있다. 여기서 객체의 종류 판단을 위하여 사용되는 기준 특징 정보들은 정보 저장부(140)에 미리 저장될 수 있다. 기준 특징 정보는 객체의 종류별로 미리 학습된 특징 정보에 해당될 수 있으며 본 발명이 반드시 이에 한정되는 것은 아니다.

다음, 우선순위 설정부(120)는 상기 객체의 특징 정보를 이용하여 상기 객체에 대한 촬영의 우선 순위를 설정한다(S220). 여기서, 촬영의 우선 순위란 객체의 식별 가능성 정도에 따라 결정될 수 있으며, 식별 가능성이 높은 객체일수록 우선 순위가 높아지도록 구성한다. 즉, 우선순위 설정부(120)는 상기 특징 정보를 인자(Factor)로 하여 객체의 식별력을 결정하고 이로부터 근접 촬영 대상이 되는 객체의 우선 순서(Priority)를 결정하는 기능을 수행한다. 우선 순위 결정 시에는 특징 정보의 종류 별로 가중치를 서로 달리하여 우선 순위를 결정할 수도 있다.

객체의 특징 정보로부터 해당 객체가 식별 가능한 정도인지 혹은 식별 가능성이 높은지를 판단한 이후에는 그 결과에 따라 근접 카메라(20)의 촬영 조건을 제어하도록 한다. 즉, 카메라 제어부(130)는 상기 설정된 우선 순위가 가장 높은 객체를 상기 근접 카메라 상에서 추적하도록, 상기 근접 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어한다(S230).

이상과 같이 본 발명의 실시예에 따르면, 광역 카메라(10)에서 촬영된 영상으로부터 객체의 출현 또는 존재를 검출한 다음, 검출된 객체의 식별 가능성 정도에 기반하여 각 객체의 촬영 우선 순위를 판단하여, 최우선 순위의 객체를 근접 카메라(20)가 추적 촬영하도록 근접 카메라(20)의 각도, 줌, 포커싱 등을 제어하는 구성을 가진다.

이러한 지능형 감시 장치(100)는 감시대상 구역에 직접 설치되는 형태 또는 원격지에 설치되는 형태 등이 가능하며, 각각의 카메라들과 유무선 네트워크로 연결되어 동작할 수 있다. 또한 지능형 감시 장치(100)는 원격지에 설치되어 직접 서버의 역할을 수행할 수 있으며 감시대상 구역에 직접 설치되어 보조적인 서버 역할을 수행할 수 있다. 각각의 감시대상 구역마다 직접 설치되는 경우 지능형 감시 장치(100)들은 별도의 메인 서버와 유무선 연결되어 메인 서버에 의해 종합 관리될 수 있다. 이러한 지능형 감시 장치의 설치 위치 및 구현 예는 설치 비용, 서버의 메모리 용량 등을 고려하여 변경이 가능하다.

이하에서는 광역 카메라의 촬상 영상에 포함된 각 객체에 대하여 촬영 우선 순위를 설정하는 방법에 대하여 설명한다.

우선순위 설정부(120)는 상기 검출된 각각 객체에 대한 특징 정보를 분석하여, 각 객체의 식별 가능성 정도를 판단한 다음, 식별 가능성이 높은 순으로 상기 우선 순위를 설정한다. 이때, 각 객체의 고유 ID 별로 상기 식별 가능성 정도를 매핑하여 상기 우선 순위를 정렬할 수 있으며, 그 결과로부터 우선 순위가 가장 높은 객체와 그 ID를 확인할 수 있다.

여기서, 해당 객체에 대한 특징 정보들을 분석하면, 현재 광역 카메라상에 객체의 정면 또는 후면이 촬영되고 있는지, 객체가 어떤 방향으로 이동 중인지, 또는 객체가 기 설정된 관심 영역 내에 위치하고 있는지 등을 확인할 수 있다. 여기서, 관심 영역이란 촬영 영상 내에서 상대적으로 식별력이 높은 우선 촬영 위치 또는 구역(Zone)에 해당될 수 있다. 관심 영역은 별도의 설정부를 통해 미리 설정 가능하다.

본 실시예에서는, 상기 객체의 정면 또는 후면 중 중요도가 높은 한 면이 촬상되는 경우, 상기 객체가 상기 광역 카메라를 향하는 방향으로 이동 중인 경우, 또는 상기 객체가 기 설정된 관심 영역 내에 위치하는 경우일수록, 해당 객체에 대한 우선 순위가 높아지도록 설정할 수 있다.

예를 들어, 우선 순위의 결정에는 상술한 세 가지 조건 중에서 한 가지 조건만 이용하거나, 선택된 복수의 조건을 이용할 수 있다. 복수의 조건을 활용하는 경우에는 복수의 조건을 모두 만족하는 객체 또는 가장 많은 조건을 만족하는 객체를 최우선 순위로 설정할 수 있다. 또한, 우선 순위의 결정 시에, 상기 복수의 조건 중에서도 우선적으로 적용하는 조건의 순서가 존재할 수 있으며, 그 순서에 맞게 객체가 해당 조건을 만족하는 지를 분석할 수 있다. 순서가 높은 조건일 경우 해당 조건 만족 시에 적용되는 점수(또는 가중치)가 차등적으로 부가될 수 있다.

한편, 상기 객체의 정면 또는 후면 중 중요도가 높은 한 면이란, 객체의 종류에 따라 정면 또는 후면으로 달라질 수 있다. 만약, 객체가 사람인 것으로 판단된 경우는 얼굴이 보이는 정면의 중요도가 높고, 차량으로 판단된 경우에는 운전자와 번호판의 인식이 용이한 정면의 중요도가 높고, 오토바이로 판단된 경우에는 번호판이 부착된 후면의 중요도가 높다.

다시 말해서, 객체가 사람이면 사람의 정면 얼굴을 촬영하는 것이 뒷모습을 촬영하는 것보다 당연히 식별력이 좋으며, 차량의 경우에도 전면의 번호판과 운전석을 포함하는 영상을 획득하는 것이 식별력이 우수하며, 오토바이 경우에는 번호판이 후방에 부착되어 있으므로 후방 촬영이 바람직하다. 즉, 객체의 특징 또는 종류에 따라서 촬영 방향이 달라질 수 있음은 당연하다.

여기서 물론, 상기 객체에 대한 특징 정보를 분석하면, 해당 객체의 종류(ex, 사람, 자동차)를 파악할 수 있으며, 촬상 영상 내에서 해당 종류의 객체의 정면 또는 후면이 촬상되고 있는지의 여부 또한 판단할 수 있다.

정면 또는 후면의 여부는 객체에 대한 형상, 색상, 고유 패턴 등을 통해서도 판단이 가능하며, 이동 벡터를 통해서도 판단 가능하다. 만약, 객체가 사람인 경우 사람의 이동하는 방향에 대응하는 면을 객체의 정면으로 판단할 수 있다. 즉, 객체가 사람이고 이동 벡터가 광역 카메라(10)의 화면을 향해 이동하는 방향인 경우 현재 사람의 정면이 촬영되고 있는 것이고, 그 반대의 경우 사람의 후면이 촬영되고 있는 것으로 판단할 수 있다. 이는 통상적인 사람의 행동 패턴을 반영한 것이다.

한편, 상기와 같은 객체의 식별 가능성 정도는 각 객체의 ID 별로 수치 또는 문자, 혹은 수치와 문자의 혼용에 의해 관리될 수 있다. 그리고 객체의 이동 속도가 빨라서 근접 카메라(20)가 추적 촬영하기 어려운 경우 식별력에 대한 설정 기능을 포함할 수 있다.

이러한 본 실시예의 경우, 객체의 특징 정보를 이용하여 동일한 시각에 다수의 객체가 출현하더라도, 식별력이 높은 방향을 촬영 가능한 객체에 우선권을 할당하여 근접 카메라(20)가 근접 촬영을 하도록 하여, 촬영된 영상으로부터 식별력이 높은 영상 부분을 확보할 수 있다.

도 3은 본 발명의 실시예에 따른 영상 감시의 예시 화면을 나타낸다. 도 3에는 각 객체(object) 별로 아이디가 부여되고 좌표 정보가 표시된 것을 확인할 수 있다. 도 3의 경우 검출된 객체에 대해 단위 별로 박스가 도시되어 있는데, 보행자로 인식된 객체(사람) 중에 정면이 인식된 객체는 하늘색, 뒤돌아 있는 상태는 붉은색, 객체가 미인식된 것은 초록색으로 표시하여 검출하는 실시예를 나타낸 것이다.

한편, 본 발명의 실시예에서는 상기 고유 ID 별로 상기 식별 가능성 정도를 매핑하여 우선 순위를 정렬하되, 상기 촬상 영상 내에 포함된 각 객체의 위치 또는 개수의 변경에 대응하여, 상기 각 객체의 고유 ID 별로 상기 우선 순위를 갱신할 수 있다. 이는 촬상 영상 내에 출현하는 객체의 개수와 위치는 실시간 변동할 수 있으며, 시간에 따라 적응적으로 우선 순위를 수정 및 갱신하여 실시간 최적의 감시 및 추적을 수행할 수 있다.

또한, 상기 S220 단계에서 우선 순위의 판단 결과, 우선 순위(최우선 순위)가 동일한 객체가 N(N은 2 이상의 정수)개인 경우가 발생할 수 있다. 이러한 경우, 카메라 제어부(130)는 기 설정된 감시시간 구간을 N개의 서브시간 구간으로 분할하고, 상기 서브시간 구간마다 각각의 객체를 개별 추적하도록 상기 근접 카메라를 상기 서브시간 구간 단위로 제어할 수 있다. 만약 감시시간 구간이 1분이고 우선 순위가 동일한 객체가 2개이면, 개별 객체를 1분씩 나누어 추적 감시할 수 있다.

이외에도 광역 영상에서 검출하는 영역에서 객체가 1개이면 지속적인 추적 촬영, 2개이면 객체별 60초, 5개 이내이면 객체별 20초, 10개 이내이면 객체별 7초 등의 촬영 조건으로 가변적으로 구성이 가능하다. 이는 객체의 출현 개수를 고려하여 촬영 조건을 산출하고 이로부터 근접 촬영 시간을 고루 할당하는 것이다.

또한, 우선 순위가 동일한 객체가 N개인 경우, 즉 근접 카메라(20)가 객체 N개 모두를 근접 촬영하기에 불가능한 경우에는, 상기 카메라 제어부(130)는 상기 N개의 객체에 대한 평균 위치 지점이 상기 근접 카메라의 화면 중심에 세팅되도록 또는 촬영이 용이하거나 중요한 지점으로 촬영 지점을 이동하도록 설정하여 상기 근접 카메라를 제어할 수 있다. 이는 각 객체의 중심 지점을 촬영할 경우 대부분의 객체가 화면에 들어올 확률이 높아지기 때문이다. 이와 같이 우선 순위가 동일한 다수의 객체가 동시에 출현한 경우 근접 카메라(20)는 다수의 객체의 중심 부근을 센터로 하여 촬영할 수 있다.

이상과 같이 카메라 제어부(130)는 식별 가능성 정보에 기반한 우선 순위를 바탕으로 근접 카메라(20)가 작동해야 하는 상황에서 실시간 변동하는 촬영 조건을 수용하여 근접 카메라(20)를 제어함으로써 능동적인 근접 촬영이 가능하며 식별력이 우수한 영상 획득이 가능하다. 또한 근접 촬영 시간의 할당과 객체의 특징 정보(ex, 사람 얼굴 검출, 자동차 번호판 검출)의 검출 기능을 혼용하여, 소정시간 이내이지만 특징정보를 추출하면 다음 객체를 근접 촬영을 하도록 구성할 수 있다.

지능형 영상 감시 시스템은 통상적으로 2개 또는 그 이상의 광역 카메라부를 이용하는 경우가 많이 있는데 각각의 광역 카메라부가 감시하는 방향에 따라서 촬영 조건을 달리해야 하는 경우가 대부분 발생하게 된다. 동서로 배치된 도로에 광역 카메라가 배치되는 경우에 동쪽을 촬영하는 카메라는 일출을 포함한 오전에 또는 오후에는 반대로 역광에 위치하게 된다. 이런 상황에서 근접 카메라의 촬영 조건(ex, 지속시간, 인식검출, 노출, 조명)을 정의하여 제어하면 식별력이 좋은 영상을 확보하는 것이 가능하며, 감시 시스템의 효율을 높일 수 있다.

그리고, 객체의 출현 개수가 근접 카메라(20)의 기능 이내이면, 모든 객체의 출현에 대해 대응이 가능하지만, 본 실시예의 경우 우선 순위에서 식별력인 우수한 것(정면 촬영이 가능한 것)에 우선권을 부여하여 우선 촬영하고, 차 순위 식별력 객체를 후순위로 촬영하도록 한다.

한편, 본 실시예에서 영상 처리부(150)는 근접 카메라(20)의 영상을 이용하여 객체의 보다 구체적인 인식을 위한 영상 처리를 수행할 수 있다. 예를 들면 객체가 차량이면 차종, 컬러, 차량의 특징, 차량의 번호 판독 등과 같은 차량의 상세한 식별정보를 추출하기 위한 기능을 수행할 수 있다. 또한 객체가 사람이면, 사람의 전체 형상보다는 보다 얼굴의 메타 데이터를 생성하여 소정의 데이터 베이스와 비교가 가능한 얼굴 인식을 수행하는 기능으로 확장하는 것이 가능하다. 이를 통해 범죄자, 수배자 등의 분석 및 검출에 이용될 수 있다.

영상 처리부(150)는 근접 촬영된 영상을 처리하고 분석하기 위한 다양한 알고리즘을 포함하며, 본 발명과 별개로 구성하거나 본 발명에 포함하여 구성하는 것이 가능하다

도 4a 및 도 4b는 본 발명의 실시예를 설명하는 예시도이다. 도 4a를 참조하면, 감시 대상구역에 광역 카메라(10a,10b)와 근접 카메라(20)가 시설되어 있으며, 객체(사람) 1,2,3은 시간 순으로 출현한다. 또한, 근접 카메라(20)가 근접 촬영을 수행하는 영역(관심 영역)은 방향과 거리에 따라 설정된 영역 A와 영역 B가 존재한다.

광역 카메라(10a) 측에서 정면에 있는 객체 1,3은 좌에서 우측(영역 A에서 B로 이동)으로 진행하며, 광역 카메라(10b)의 정면에 있는 객체 2는 우에서 좌(영역 B 에서 A로 이동)로 이동하며 영역 B 지나서 영역 A를 통과하고 있는 상황을 가정하여 설명하기로 한다.

관심 영역(A,B)에 도달하는 객체 1과 객체 2를 순서대로 근접카메라(20)가 작동하여 촬영하는 부분은 동일하다.

도 4b는 소정 시간이 경과 후에 관심 영역 A에 객체 2와 객체 3이 동시 출현하거나, 작은 시간 간격으로 객체 2가 객체 3보다 먼저 출현하게 되는 경우를 나타낸 것이다.

기존의 지능형 영상 감시 시스템에서는 객체 2, 3 순으로 검출하게 되며, 이에 기반하여 근접 촬영을 수행하게 될 것이다.

그러나 본 발명에 의하면, 광역 카메라(10a)는 관심 영역 A 지점으로 들어오는 객체들에 대하여 객체 3은 정면, 객체 2는 후면을 촬영하게 되므로, 식별력이 높은 객체 3에 우선 순위를 부여하여, 근접 촬영을 수행하도록 구성된다. 객체 2에 대해서는 이후에 촬영하도록 구성하여도 크게 식별에 영향을 주지 않으며, 또한 객체 3은 관심 영역 B를 지나올 때 이미 우선적으로 근접 촬영을 하였기 때문이다. 본 실시예에서는 객체의 이동 방향에 대해서만 설명하였지만, 객체의 종류, 객체의 행동특성, 이동속도, 세분화된 관심영역을 각각 또는 혼용하여 식별력을 결정하는 것이 바람직하다.

이상과 같은 본 발명에 따른 지능형 영상 감시 방법 및 그 장치에 따르면, 광역 카메라의 영상에서 얻어진 객체의 특징 정보로부터 식별력 특성에 기반한 촬영 우선 순위를 결정하여 근접 카메라의 동작을 그에 대응되도록 제어할 수 있으며 식별력이 높은 영상을 획득할 수 있는 이점이 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

10: 광역 카메라 20: 근접 카메라
100: 지능형 영상 감시 장치 110: 특징정보 추출부
120: 우선순위 설정부 130: 카메라 제어부
140: 정보 저장부 150: 영상 처리부

Claims (15)

1. 감시대상 구역에 설치된 광역 카메라 및 근접 카메라를 이용한 지능형 영상 감시 장치의 지능형 영상 감시 방법에 있어서,
   상기 광역 카메라의 촬상 영상으로부터 적어도 하나의 객체를 검출하고 상기 객체의 이동 방향, 상기 객체가 촬영되는 면 및 상기 객체의 위치 중 적어도 하나가 포함된 특징 정보를 추출하는 단계;
   상기 특징 정보를 기초로 상기 객체의 식별 가능성을 판단하여 상기 객체에 대한 촬영의 우선 순위를 설정하는 단계; 및
   상기 설정한 우선 순위가 가장 높은 객체를 상기 근접 카메라 상에서 추적하도록 상기 근접 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 단계를 포함하며,
   상기 제어하는 단계는,
   상기 우선 순위가 동일한 복수 개의 객체가 있으면, 상기 근접 카메라를 시간별 할당하여 촬영하거나 상기 복수 개의 객체의 중심 지점 또는 소정 지점을 촬영하도록 제어하는 지능형 영상 감시 방법.
2. 청구항 1에 있어서,
   상기 특징 정보는,
   상기 객체의 종류, 색상, 상기 객체의 패턴 중 적어도 하나를 더 포함하며,
   상기 우선 순위를 설정하는 단계는,
   상기 객체의 식별 가능성을 판단하거나 상기 객체의 종류별 상이한 가중치를 사용하여 상기 객체에 대한 촬영의 우선 순위를 설정하는 지능형 영상 감시 방법.
3. 삭제
4. 삭제
5. 삭제
6. 청구항 2에 있어서,
   상기 특징정보를 추출하는 단계는,
   상기 각각의 객체 별로 고유 ID를 할당하고, 상기 고유 ID 별로 상기 추출된 특징 정보를 매핑하며,
   상기 객체에 대한 우선 순위를 설정하는 단계는,
   상기 고유 ID 별로 상기 식별 가능성 정도를 매핑하여 상기 우선 순위를 정렬하되, 상기 촬상 영상 내에 포함된 각 객체의 위치 또는 개수의 변경에 대응하여, 상기 각 객체의 고유 ID 별로 상기 우선 순위를 갱신하는 지능형 영상 감시 방법.
7. 청구항 2에 있어서,
   상기 우선 순위가 동일한 객체가 N(N은 2 이상의 정수) 개인 경우,
   상기 근접 카메라를 제어하는 단계는,
   기 설정된 감시시간 구간을 N개의 서브시간 구간으로 분할하고, 상기 서브시간 구간마다 각각의 객체를 개별 추적하도록 상기 근접 카메라를 상기 서브시간 구간 단위로 제어하는 지능형 영상 감시 방법.
8. 청구항 2에 있어서,
   상기 우선 순위가 동일한 객체가 N(N은 2 이상의 정수) 개인 경우,
   상기 근접 카메라를 제어하는 단계는,
   상기 N개의 객체에 대한 평균 위치 지점이 상기 근접 카메라의 화면 중심 또는 설정 지점에 세팅되도록 상기 근접 카메라를 제어하는 지능형 영상 감시 방법.
9. 감시대상 구역에 설치된 광역 카메라 및 근접 카메라를 이용한 지능형 영상 감시 장치에 있어서,
   상기 광역 카메라의 촬상 영상으로부터 적어도 하나의 객체를 검출하고 상기 객체의 이동 방향, 상기 객체가 촬영되는 면 및 상기 객체의 위치 중 적어도 하나가 포함된 특징 정보를 추출하는 특징정보 추출부;
   상기 특징 정보를 기초로 상기 객체의 식별 가능성을 판단하여 상기 객체에 대한 촬영의 우선 순위를 설정하는 우선순위 설정부; 및
   상기 설정한 우선 순위가 가장 높은 객체를 상기 근접 카메라 상에서 추적하도록 상기 근접 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 카메라 제어부를 포함하며,
   상기 카메라 제어부는,
   상기 우선 순위가 동일한 복수 개의 객체가 있으면, 상기 근접 카메라를 시간별 할당하여 촬영하거나 상기 복수 개의 객체의 중심 지점 또는 소정 지점을 촬영하도록 제어하는 지능형 영상 감시 장치.
10. 청구항 9에 있어서,
    상기 특징 정보는,
    상기 객체의 종류, 색상, 상기 객체의 패턴 중 적어도 하나를 더 포함하며,
    상기 우선순위 설정부는,
    상기 객체의 식별 가능성을 판단하거나 상기 객체의 종류별 상이한 가중치를 사용하여 상기 객체에 대한 촬영의 우선 순위를 설정하는 지능형 영상 감시 장치.
11. 삭제
12. 청구항 10에 있어서,
    상기 특징정보를 추출부는,
    상기 각각의 객체 별로 고유 ID를 할당하고, 상기 고유 ID 별로 상기 추출된 특징 정보를 매핑하며,
    상기 우선순위 설정부는,
    상기 고유 ID 별로 상기 식별 가능성 정도를 매핑하여 상기 우선 순위를 정렬하되, 상기 촬상 영상 내에 포함된 각 객체의 위치 또는 개수의 변경에 대응하여, 상기 각 객체의 고유 ID 별로 상기 우선 순위를 갱신하는 지능형 영상 감시 장치.
13. 청구항 10에 있어서,
    상기 우선 순위가 동일한 객체가 N(N은 2 이상의 정수) 개인 경우,
    상기 카메라 제어부는,
    기 설정된 감시시간 구간을 N개의 서브시간 구간으로 분할하고, 상기 서브시간 구간마다 각각의 객체를 개별 추적하도록 상기 근접 카메라를 상기 서브시간 구간 단위로 제어하는 지능형 영상 감시 장치.
14. 청구항 10에 있어서,
    상기 우선 순위가 동일한 객체가 N(N은 2 이상의 정수) 개인 경우,
    상기 카메라 제어부는,
    상기 N개의 객체에 대한 평균 위치 지점이 상기 근접 카메라의 화면 중심 또는 설정 지점에 세팅되도록 상기 근접 카메라를 제어하는 지능형 영상 감시 장치.
15. 청구항 9에 있어서,
    상기 근접 카메라 상에서 추적되는 객체의 영상으로부터 상기 객체를 인식하기 위한 영상 처리부를 더 포함하는 지능형 영상 감시 장치.

Images