KR20010016639A - 전방향 카메라와 다 수의 능동 카메라가 연동된 감시시스템 및 그 제어방법 - Google Patents

Abstract

본 발명에서는 실내 공간에 침입자가 들어오면 자동으로 그 움직임 대상을 감지하고 추적하는 영상 감시 및 추적 시스템을 소개한다. 본 발명의 시스템은 한대의 전방향 카메라와 다 수의 능동 팬·틸트·줌 카메라들로 구성되어 있다. 전방향 카메라로부터 촬상되는 영상은 실내 공간에서 실시간으로 다 수의 움직임을 검출하고 추적하는데 사용된다. 그리고 2차원 전방향 영상 좌표계와 3차원 실세계 좌표계간의 맵핑을 통하여 전방향 영상 상에서 추적되는 대상을 실세계 상에서 다 수의 능동 팬·틸트·줌 카메라가 동시에 추적하도록 연동 제어됨으로 추적 대상에 대한 고해상도 영상을 지속적으로 촬상한다.

상기와 같은 본 발명은 기존의 감시 시스템의 움직임 대상 추적 기능 구현의 어려움과 전방향 카메라 영상의 저해상도 문제를 같이 해결함으로 감시 시스템의 성능을 상당히 증가시킨다. 또한 본 발명의 결과로 얻어지는 추적 대상의 얼굴 영역을 포함한 고해상도 영상은 얼굴 인식, 대상 종류 분류 등과 같은 고급 기능을 감시 및 보안 시스템에 확장 할 수 있도록 함으로 감시 효과 더욱 증대시켜준다.

Description

전방향 카메라와 다 수의 능동 카메라가 연동된 감시 시스템 및 그 제어방법{Surveillance System using an Omni-directional Camera and Multiple Pan·Tilt·Zoom Cameras and Controlling Method therefore}

본 발명은 전방향 카메라와 다 수의 능동 카메라가 연동된 감시 시스템 및 그 제어 방법에 관한 것이다. 특히 전방향 감시 카메라를 전방향의 시야에서 움직임 대상을 추적하는 전방향 카메라로 사용하고 이와 연동하여 팬·틸트·줌이 가능한 다 수의 능동 카메라들을 동시 제어하여 추적 대상을 감시함으로 인해 감시의 성능을 상당히 증가시키는 시스템 및 그 제어 방법에 관한 것이다.

오늘날 보안 및 감시 시스템은 복잡하고 빠르게 변화하는 현대 사회에서 인적 혹은 기술적 자원을 보호 또는 감시할 필요성이 증가함에 따라 그 중요성이 나날이 높아져가고 있다. 특히 기업, 관공서 그리고 은행 등의 출입자 감시 및 증거물 확보를 위해서 비약적으로 감시시스템의 활용이 증가되고 있다. 이러한 감시 시스템의 감시 성능은 그 시스템의 자동화성과 시스템의 결과로 얻어지는 영상으로 나타난다. 자동화성은 점차 감시 구역이 나날이 넓어져가고 복잡해져 가는 것과 모든 감시영역을 감시자가 지켜봐야 하는 초기 감시 시스템의 문제점에서 그 필요성이 대두되었다. 예를 들어 감시 구역에서 침입자의 움직임을 감지되면 자동으로 경보를 울리고 그 침입자를 추적하는 것은 침입자 감지 및 추적 자동화의 예이다. 이런 자동화성은 복잡해져 가는 현대 사회의 많은 감시 구역들에 대한 감시 요구를 만족시키기 위해 필수적인 것이 되어가고 있다. 그런데 오늘날 보편적인 감시 시스템을 보면, 해당 감시 구역을 보통 많은 수의 CCD 카메라로 구성하거나 팬·틸트·줌이 가능한 돔형 능동 카메라(들)로 구성하여 침입자를 감시하고 있다. 이런 감시 시스템 구조는 위의 침입자의 움직임 감지 및 추적과 같은 감시 시스템의 자동화를 이루기에 어려움이 많은 구조이다. 다 수의 CCD 카메라로 이루어진 감시 시스템에서 각 CCD 카메라 별로 움직임 대상 감지는 각 CCD 카메라의 제한적인 시야 내에서 가능하지만 전체적인 감시 시스템의 움직임 감지 자동화에는 무리가 있으며, 특히 대상을 지속적으로 추적하는 고급 자동화기능은 갖추기 어렵다. 더욱이 팬·틸트·줌이 가능한 돔형 능동 카메라(들)로 이루어진 감시 시스템의 경우에는 이러한 움직임 감지 및 추적 기능은 구현은 더욱 어려운 문제가 된다(주식회사 삼정, 다수개의 감시용 카메라를 이용한 피사체 추적방법, 출원번호 특1995-009466).

그런데, 최근의 파노라마 영상시스템이라는 전방향 카메라를 장착한 감시 시스템이 개발되어 사용되고 있다. 이 시스템을 통해 얻어지는 파노라마 영상은 기존 감시 시스템의 좁은 시야의 영상을 보완하고, 고정된 카메라로 들어오는 전방향 범위의 영상이므로 움직임 감지 및 추적과 같은 자동화를 구현하기에 용이하다(이성환, 파노라마 영상 감시 시스템 및 그 제어방법, 출원번호 10-2000-0035713).

그러나, 전방향 카메라를 사용하는 파노라마 영상 감시 시스템은 그 해당 감시 구역이 더 넓어질수록 결과로 얻어지는 파노라마 영상이 저해상도로 떨어진다는 단점을 갖고 있다. 이것은 파노라마 영상 감시 시스템의 우수한 전방향 움직임 감지 및 추적기능에도 불구하고, 증거 영상 확보시 저해상도로 인해 감시 성능이 저하되고 저해상도로 인한 얼굴 인식 등의 확장된 응용이 어려울 것임을 말해준다.

이에 본 발명은 상기 언급한 기존 감시 시스템의 두 가지 큰 문제점을 해결하기 위해 발명된 것으로, 우선 기존의 다 수의 CCD 카메라 및 돔형 능동 카메라(들)로 구성된 감시 시스템의 움직임 감지 및 추적 기능 구현의 어려움을 파라볼라형(혹은 반구형) 거울을 이용하는 전방향 카메라를 전방향 카메라로 사용함으로써 극복하고, 전방향 카메라를 사용함으로 나타나는 추적 대상에 대한 저해상도 영상문제를 전방향 카메라의 추적 정보를 이용하여 팬·틸트·줌이 가능한 다 수의 능동 카메라들을 연동시키는 시스템 구조로 해결하는 감시 시스템 및 그 제어방법을 제공함에 그 목적이 있다.

본 발명의 또 다른 목적 및 이점은 기존의 감시 시스템에서 구조적인 한계로 인해 구현하기가 어려웠던 얼굴 인식 등의 확장된 출입 감시 기능을 감시 시스템에 구현할 수 있도록, 밀폐된 실내 공간에서 지속적으로 움직임 대상의 얼굴 영역을 포함한 고해상도 영상을 얻어내도록 고안된 본 전방향 카메라와 다 수의 능동카메라가 연동된 감시 시스템 및 그 제어방법을 제공하는 것이다.

상기와 같은 목적을 달성하기 위한 본 발명은 감시 대상의 위치를 전방향에서 계산할 수 있는 전방향 영상을 촬상해주는 전방향 카메라와 전방향 카메라에서 추적되는 감시 대상을 팬·틸트·줌 제어를 통하여 연동하여 추적하고 감시 대상의 고해상도 영상을 촬상하는 다 수의 능동 카메라들, 그리고 전방향 카메라와 팬·틸트·줌이 가능한 다 수의 능동카메라들을 연동시켜 제어하고 움직임 감지 및 추적과 같은 영상 처리를 담당하는 컴퓨터 시스템부 및 그 영상을 모니터 화면에 출력해주는 화면출력부, 그리고 경보 기능을 맡은 경보 장치부로 이루어진 감시 시스템을 제공한다.

본 발명의 또 다른 특징은 얼굴 찾기 기능을 본 발명의 감시 시스템에 확장하여 구현했을 때의 그 성능의 현저한 증가에 있다. 즉, 하나의 전방향 카메라와 팬·틸트·줌이 가능한 다 수의 능동 카메라들로 이루어진 본 발명의 감시 시스템은 밀폐된 실내 공간에 설치되어 동작될 때, 침입자가 들어오면 침입자가 임의의 방향으로 얼굴을 향하더라도 그 침입자의 얼굴 영역을 포함한 고해상도 영상을 효과적으로 얻어 낼 수 있다는 특징을 제공한다.

도 1은 본 발명의 시스템 배치도.

도 2는 본 발명의 시스템 하드웨어 구성도.

도 3은 본 발명의 시스템 평면배치도.

도 4는 본 발명의 플로우차트.

도 5는 맵핑 모듈의 팬 계산의 기하학적 원리를 나타낸 설명도.

도 6은 맵핑 모듈의 틸트 계산의 기하학적 원리를 나타낸 설명도.

〈부호의 상세한 설명〉

1 : 전방향 카메라 2 : 능동 카메라

3 : 카메라 장치부 4 : 컴퓨터 시스템부

5 : 화면 출력부 6 : 경보 장치부

이하, 본 발명을 첨부된 예시도면에 의거 상세히 설명한다.

본 발명의 시스템은 도 1에 도시된 바와 같이 출입문이 있는 특정 실내 공간에 설치된다. 도 1에서와 같이 실내 공간의 천장의 중심부에 전방향 카메라로 동작하는 전방향 (Omni-directional)카메라(1)가 배치된다. 그리고 출입문을 고려하여 실내 공간의 벽에 팬·틸트·줌이 가능한 다 수의 능동 카메라들(2)이 배치된다. 도 1에서는 출입문 쪽 구석을 제외한 세 개의 구석에 능동 카메라가 각각 하나씩 배치되었다(2-1, 2-2, 2-3). 전방향 카메라에서 사용하는 거울은 반구형, 파라볼라형 등의 여러 가지 다른 곡률을 가진 거울을 사용할 수 있음을 밝혀둔다. 도 1에서 h는 실내 공간의 벽에 설치되는 능동카메라(2)의 설치 높이를 가리킨다. 대략 성인의 평균 신장을 고려하여 1.6m 정도의 값을 사용한다.

도 1에 도시된 것처럼 실내 공간에 배치되는 본 발명의 시스템 장치 구성도는 도 2에 도시된 것과 같다. 본 발명은 크게 전방향 카메라(1)와 다 수의 능동 카메라들(2)로 이루어진 카메라 장치부(3)와 전방향 카메라(1)와 다 수의 능동 카메라들(2)을 연동 제어하고 그 영상을 실제로 촬상하며 추적 등의 영상 처리를 담당하는 컴퓨터 시스템부(4), 시스템의 동작 결과로 얻어진 추적 대상의 영상을 모니터 화면에 출력해주는 화면출력부(5) 그리고 전방향 카메라(1)로 움직임 대상 감지시에 경보음을 울리는 경보 장치부(6)로 구성되어있다. 도 2에 도시된 바와 같이 컴퓨터 시스템부(4)는 직렬 통신 등의 네트웍을 구성함으로 전방향 카메라(1)와 다수의 능동 카메라(2)를 연동시켰으며, 4-채널 프레임 그랩버를 통하여 전방향 카메라(1)와 다 수의 능동 카메라(2)를 통해 영상을 촬상한다. 여기서 직렬 통신 대신 TCP/IP를 사용한 LAN과 같은 다른 네트웍 구성으로 대체할 수도 있으며, 4-채널 그랩버 대신 각 카메라마다 그랩버를 하나씩 별도로 연결시킬 수도 있다. 도 2에 나타난 구성은 본 발명의 시스템을 구현하기에 가장 비용이 최소화된 구성임을 밝혀둔다. 도 2와 같은 구성을 갖춘 본 발명의 시스템 평면 배치도의 예를 도 3에 도시하였다.

다음에는 상기와 같이 구성된 본 발명의 시스템 제어방법을 설명한다.

본 발명 시스템은 도 4에 도시된 바와 같이 초기상태(S1)에서 360도 전방향 영상 촬상단계(S2)로 진행하여 감시 대상 공간의 천장의 중심부에 설치된 전방향 카메라로 감시 대상 공간의 전방향 영상을 촬상하게 된다. 그리고, 상기 360도 전방향 영상 촬상 단계 후에 영상 촬상 판단 단계(S3)로 진행하여 현재 설정된 감시대상의 영상의 촬상이 일정 시간 내에 완료되었는지를 판단한다. 또한, 상기 영상 촬상 판단단계(S3) 중에 판단한 결과 만약 현재 설정된 감시대상의 영상의 촬상이 일정 시간 내에 완료되지 않았을 경우는 전 단계(S2)로 복귀하여 루프를 반복 수행한다. 그러나, 상기 영상 촬상 판단 단계(S3)중에 판단한 결과 현재 설정된 감시대상의 영상의 촬상이 일정 시간 내에 완료되었을 경우는 움직임 검출 단계(S4)로 진행하여 전방향 영상에서 움직임을 검출하여 그 영역을 계산해낸다. 그리고, 상기 움직임 검출 단계(S4) 후에 움직임 대상 추적 단계(S5)로 진행하여 전방향 영상에서 가장 큰 움직임을 보이는, 혹은 감시자가 선택한 움직임 대상을 추적한다. 상기 움직임 대상 추적 단계(S5) 후에 추적 대상 경로 분석 단계(S6)로 진행하여 추적 대상의 2차원 전방향 영상상의 현재 위치정보를 계산해낸다. 또한 상기 추적 대상 경로 분석 단계(S6) 후에 좌표계 맵핑 단계(S7)로 진행하여 추적 대상의 2차원 전방향 영상상의 현재 위치정보를 3차원 실세계상의 위치정보로 변환한다. 그리고 상기 좌표계 맵핑 단계(S7) 후에 능동 카메라 제어 단계(S8)로 진행하여 추적 대상의 3차원 실세계상의 위치정보를 사용하여 각 능동 카메라의 팬·틸트·줌을 제어한다. 본 능동 카메라 제어 단계(S8)를 통하여 전방향 카메라와 연동 제어 되도록 설치된 각 능동 카메라들은 추적 대상을 향하여 초점을 맞추도록 동작되어진다. 상기 능동 카메라 제어 단계 후(S8)에 고해상도 영상 촬상 단계(S9)로 진행하여 각 능동 카메라 별로 상기 능동 카메라 제어 단계(S8)에서 이동한 팬·틸트·줌의 위치에서 추적 대상에 대한 최적의 고해상도 영상을 각기 촬상한다.

이후, 상기 고해상도 영상 촬상 단계 후(S9)에 고해상도 영상 촬상 판단 단계(S10)로 진행하여 현재 설정된 추적 대상의 영상의 촬상이 일정 시간 내에 완료되었는지를 판단한다. 또한, 상기 고해상도 영상 촬상 판단 단계(S10)중에 판단한 결과 만약 현재 설정된 추적 대상의 영상의 촬상이 일정 시간 내에 완료되었다면 영상 출력단계(S11)로 진행하여 각 능동 카메라별로 촬상되었던 추적 대상의 고해상도 영상들을 출력시키게 된다. 그러나, 상기 고해상도 영상 촬상 판단 단계(S10) 중에 판단한 결과 만약 현재 설정된 추적 대상의 영상의 촬상이 일정 시간 내에 완료되지 못했을 경우는 종료한다. 그리고, 상기 고해상도 영상 출력 단계(S11) 후에 추적 대상의 얼굴 찾기 단계(S12)로 진행하여 촬상된 다 수의 고해상도 영상들을 사용하여 얼굴 찾기를 실행한다. 이후, 추적 대상의 얼굴 찾기 판단 단계(S13)로 진행하여 추적 대상의 얼굴 영역이 찾아졌는지를 판단한다. 상기 추적 대상의 얼굴 찾기 판단 단계(S13)에서 판단한 결과 만약 현재 촬상된 고해상도 영상들 중에 추적 대상의 얼굴 영역이 찾아졌다면 추적 대상의 얼굴 영역 출력 단계(S14)로 진행하여 고해상도 영상에서 얻어진 추적 대상의 얼굴 영역 영상을 출력한다. 그러나, 상기 추적 대상의 얼굴 찾기 판단 단계(S13)에서 판단한 결과 만약 현재 촬상된 고해상도 영상들 중에서 추적 대상의 얼굴 영역을 찾지 못했다고 판단되었을 경우에는 종료한다.

즉, 카메라 장치부(3)의 전방향 카메라(1)를 통하여 촬상된 감시 대상 공간의 전방향 영상을 가지고 컴퓨터 시스템부(4)에서 움직임 검출을 판단하여, 움직임이 검출되면 가장 큰 움직임 영역을 판단하여 추적한다. 또한 감시 대상 공간의 현재 추적 대상의 위치정보를 도 5, 6에 도시된 바와 같은 기하학적 원리를 이용하여서, 전방향 영상상의 2차원적 추적 대상의 위치정보를 실세계상의 3차원 위치정보로 좌표계 맵핑 단계(S7)를 통하여 변환시킨다. 그러면 컴퓨터 시스템부(4)와 네트웍으로 연결되어 있는 다 수의 각 능동 카메라들(2)로 추적 대상의 실세계상의 3차원 위치정보가 팬·틸트·줌 제어 정보로 계산되어 네트웍을 통하여 전송된다. 그리고 각 능동 카메라(2)별로 능동 카메라 제어 단계(S8)를 거쳐 각 능동 카메라(2)는 추적 대상을 향하여 움직이도록 팬·틸트가 제어되며, 추적 대상에 대한 최적의 해상도를 갖도록 줌이 제어된다. 여기서 팬·틸트 값은 도 5, 6에 도시된 바와 같이 전방향 카메라(1)의 실세계상의 위치를 기준으로 하여 추적 대상의 위치와 해당 능동 카메라(2)의 위치 정보를 이용하여 계산된다. 줌 값은 추적 대상과 해당 능동 카메라(2)와의 실세계상의 거리에 비례하여 제어된다.

그리고, 각 능동 카메라별(2)로 실세계 상의 추적 대상을 향하여 팬·틸트·줌이 최적으로 제어된 다음, 각 능동 카메라별(2)로 고해상도 영상 촬상 단계(S9)를 거쳐 고해상도 영상을 촬상하게 되는데, 이 촬상 단계에서 촬상된 고해상도 영상 중에 추적 대상의 얼굴 영역을 포함한 고해상도 영상이 포함되게 된다. 추적 대상의 얼굴 영역을 포함한 고해상도 영상은 전방향 카메라(1)와 연동 제어 되도록 설치된 능동 카메라(2)의 개수가 많을수록 그 촬상 확률이 높아짐을 알 수 있지만, 보통 실내 공간의 감시에서는 3개 정도의 능동 카메라(2)로 추적 대상의 얼굴 영역을 포함한 고해상도 영상을 촬상할 수 있다.

이상 설명에서와 같이 본 발명은 상기 언급한 기존 감시 시스템의 두 가지 큰 문제점 즉, 기존의 다 수의 CCD 카메라 및 돔형 능동 카메라(들)로 구성된 감시 시스템들이 움직임 감지 및 추적 기능을 갖추기가 어려웠다는 문제점과 감시시스템에 전방향 카메라를 사용함으로 나타나는 추적 대상에 대한 영상의 저해상도 문제점을 전방향 카메라와 그 추적 정보를 이용하여 팬·틸트·줌이 가능한 다 수의 능동 카메라들을 연동시키는 시스템 구조로 해결함으로 기존 감시 시스템들의 구조적 한계를 극복하고, 감시 성능을 상당히 증가시키는 효과가 있다.

또한 본 발명에 의하면, 얼굴 찾기 기능을 본 발명의 감시 시스템에 확장하여 구현했을 때의 그 성능의 현저한 증가 효과를 얻을 수 있다. 즉, 하나의 전방향 카메라와 팬·틸트 줌이 가능한 다 수의 능동 카메라들로 이루어진 본 발명의 감시 시스템은 실내 공간에 설치되어 동작될 때, 침입자가 들어오면 침입자가 임의의 방향으로 얼굴을 향하더라도 그 침입자의 얼굴 영역을 포함한 고해상도 영상을 지속적으로 촬상 할 수 있는 특징을 제공함으로 출입 감시 성능을 탁월하게 증가시키는 효과가 있다.

Claims (4)

1. 전방향 카메라와 다 수의 능동 카메라들로 이루어진 카메라 장치부와 전방향 카메라와 다 수의 능동 팬·틸트·줌 카메라들을 연동 제어하고 그 영상을 실제로 촬상하며 움직임 검출 및 추적 등의 영상 처리를 담당하는 컴퓨터 시스템부, 컴퓨터 시스템부와 카메라 장치부의 다 수의 능동 카메라들의 연동 제어동작 결과로 촬상된 추적 대상의 얼굴 영역을 포함한 고해상도 영상들을 모니터 화면에 출력해주는 화면출력부 그리고 전방향 카메라로 움직임 대상 감지 시에 경보음을 울리는 경보 장치부로 구성된 전방향 카메라와 다 수의 능동 카메라가 연동된 감시 시스템.
2. 전방향 카메라와 다 수의 능동 카메라가 연동된 감시 시스템에서 감시 대상 공간의 천장의 중심부에 설치된 전방향 카메라로 감시 대상 공간의 전방향 영상을 촬상하는 360도 전방향 영상 촬상 단계와, 촬상된 전방향 영상에서 움직임을 검출하여 그 영역을 계산해내는 움직임 검출 단계와, 전방향 영상에서 가장 큰 움직임을 보이는 대상을 혹은 감시자가 선택한 움직임 대상을 추적하는 움직임 대상 추적 단계와, 이 추적 단계 후에 추적 대상의 2차원 전방향 영상상의 현재 위치정보를 계산해내는 추적 대상 경로 분석 단계와, 이 추적 대상 경로 분석 단계 후에 추적 대상의 2차원 전방향 영상상의 현재 위치정보를 3차원 실세계상의 위치정보로 변환하는 좌표계 행정 단계와, 이 좌표계 법정 단계 후에 추적 대상의 3차원 실세계상의 위치정보를 사용하여 각 능동 카메라의 팬·틸트·줌을 제어하는 능동 카메라 제어 단계와, 이 능동 카메라 제어 단계 후에 각 능동 카메라 별로 추적 대상에 대한 최적의 고해상도 영상을 각기 촬상하는 고해상도 영상 촬상 단계와, 이 고해상도 영상 촬상 단계 후에 추적 대상의 영상의 촬상이 일정 시간 내에 완료되면 각 능동 카메라별로 촬상되었던 추적 대상의 고해상도 영상들을 출력하는 추적대상의 고해상도 영상 출력 단계와, 이 고해상도 영상 출력 단계 후에 촬상된 고해상도 영상들에서 추적 대상의 얼굴 영역을 찾는 단계와, 이 추적 대상의 얼굴 영역을 찾는 단계 후에 추적 대상의 얼굴 영역이 찾아지면 찾아진 추적 대상의 얼굴 영상을 출력하는 추적 대상의 얼굴 영상 출력 단계를 포함하는 것을 특징으로 하는 전방향 카메라와 다 수의 능동 카메라가 연동된 감시 시스템의 제어방법.
3. 전방향 영상상의 추적 대상에 대한 위치정보를 이용하여 실세계상의 능동 카메라의 줌 인자를 제어함으로 추적 대상에 대한 얼굴 영역을 포함한 고해상도 영상을 획득하는 방법.
4. 제 3항을 통하여 능동 카메라들로부터 촬상된 고해상도 영상들에 얼굴 찾기를 적용하여 추적 대상의 얼굴 영상을 획득하는 시스템 구조 및 방법.