KR20050103597A

KR20050103597A - 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법

Info

Publication number: KR20050103597A
Application number: KR1020040028814A
Authority: KR
Inventors: 장정훈
Original assignee: 주식회사 일리시스
Priority date: 2004-04-26
Filing date: 2004-04-26
Publication date: 2005-11-01
Also published as: KR100585822B1

Abstract

본 발명은 실시간으로 얻어지는 원통형(또는 구형) 좌표계의 파노라마 비디오 영상의 특정위치를 간편하게 추적하여 감시카메라로 촬영할 수 있는 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그 시스템의 제어방법에 관한 것으로서, 그 특징적인 구성은 주변의 영상을 촬영하도록 지지바(1)의 외측 둘레면에 등간격으로 설치된 복수개의 아날로그 컴포넌트 카메라(2)와, 상기 컴포넌트 카메라(2)에 촬영된 직각 좌표계의 영상을 원통 좌표계의 영상으로 변환하는 변환부(20)와, 상기 변환부(20)에서 변환된 영상을 표시하는 표시부(30)와, 상기 지지바(1)의 상단부에 회전 및 상하이동이 가능하도록 설치된 PTZ카메라(3)와, 상기 표시부(30)에 표시되는 영상의 특정부분을 PTZ카메라(3)가 촬영하도록 각도 및 거리를 연산하고 PTZ카메라(3)를 회전시는 제어부(10)와, 상기 제어부(10)로 각종 명령을 입력하기 위한 조작부(40)를 포함하여서 된 것이다.

Description

실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그 시스템의 제어방법{Monitor system use panorama image and control method the system}

본 발명은 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그 시스템의 제어방법에 관한 것으로서, 더욱 상세하게는 실시간으로 얻어지는 원통형(또는 구형) 좌표계의 파노라마 비디오 영상의 특정위치를 간편하게 추적하여 감시카메라로 촬영할 수 있는 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그 시스템의 제어방법에 관한 것이다.

사회가 복잡해짐에 따라, 보안/감시 분야의 중요성이 날로 증대되고 있고, 현대의 보안/감시 시스템을 대표하는 것이 비디오 카메라 장비를 이용하는 시스템이다.

현재 가장 많이 보급되어 있는 카메라는 고정식 카메라이며, 이러한 고정식 카메라는 특정한 배율로 특정한 방향만을 촬영하도록 설치되어 있다. 보통의 고정식 카메라는 화각의 제한으로 인하여 감시할 수 있는 공간이 상당히 한정되어 있기 때문에, 넓은 공간을 감시하기 위해서는 다수의 카메라를 반드시 설치하여야만 했다.

또한 고정식 카메라는 렌즈의 초점거리가 고정되어 있기 때문에 사건 발생 시 원하는 부분을 확대해서 보는데 한계가 있다.

따라서, 원하는 방향 및 배율을 조절할 수 있는 기계식 카메라가 개발되어 사용되고 있다. 상기 기계식 카메라는 일명 : PTZ(Pan/Tilt/Zoom)카메라 이고, 상기 PTZ카메라는 상하좌우로 회전이 가능하고, 렌즈의 초점거리를 제어하는 것이 가능하며, 조이스틱과 같은 전용 컨트롤러를 이용하여 제어하거나, PC에 연결한 후 키보드의 방향 키 등을 이용하여 제어하고 있다.

그러나 이러한 PTZ카메라는 고정식 카메라의 여러가지 문제점을 해결하였지만, 여전히 한 순간에 볼 수 있는 영역에는 한계가 있어서 PTZ카메라가 특정한 방향을 바라보고 있는 동안 다른 방향에서는 어떠한 일들이 일어나고 있는지 알 수가 없는 문제점이 있다.

따라서 고정식 카메라나 PTZ카메라나 넓은 공간에서 일어나는 사건을 한눈에 파악하기에는 적합하지 않다. 최근에는 인터넷 또는 무선망을 통해 원격으로 카메라 화상을 보고자 하는 요구가 증가하고 있는데, PTZ 카메라의 경우 다수의 사용자가 동시에 접속하여 서로 다른 방향을 보는 것을 허용하지 않는다.

이러한 문제점을 해결하기 위하여 파노라마 비디오 카메라(Panoramic Video Camera) 또는 전방향 비디오 카메라(Omnidirectional Video Camera)가 개발되었다.

상기 파노라마 비디오 카메라는 흔히 고정식 카메라가 제공하는 50~60도 정도의 화각을 벗어나 180도 내지 360도의 화각까지도 제공한다. 파노라마 비디오 카메라의 구현 방식으로 몇가지가 존재하는데, 기존에 가장 많이 활용되던 방식은 사발(bowl) 형태의 반사경 밑에 한대의 비디오 카메라를 설치하여 사발에 반사된 영상을 카메라로 얻은 후, 그것을 컴퓨터로 가져와 영상 처리를 통해 원통 또는 구(球)에 맵핑한 영상으로 바꾸는 방식이다.

이러한 방식은 간단하게 360도 영상을 얻을 수 있는 장점이 있으나, 하나의 카메라에 의존하기 때문에 해상도가 상당히 저하되며, 사발의 형태적인 특성 상, 사발 밑으로 갈수록 영상의 왜곡이 심해지는 문제가 있다.

최근에는 PC의 처리 능력이 비약적으로 향상되고, 소형 비디오 카메라가 대량 생산됨에 따라 다수의 소형 비디오 카메라를 방사 형태로 배치한 후, 비디오 카메라들로부터 얻은 영상들을 실시간으로 처리하여 파노라마 비디오 영상을 생성하는 시스템이 등장하고 있다.

이러한 형태의 파노라마 비디오 카메라를 통해 기존 것보다 고해상도의 선명한 파노라마 비디오 영상을 얻는 것이 가능하게 되었다. 그러나 파노라마 비디오 카메라는 고정식 카메라와 마찬가지로 렌즈의 초점 거리가 고정되어 있어서 특정한 부분을 확대해서 보는데 한계가 있다.

본 발명은 상기한 문제점 해결하기 위하여 발명한 것으로서, 그 목적은 복수개의 파노라마 비디오 카메라를 이용하여 주변의 상황을 원통좌표계의 영상으로 촬영하고 그 촬영된 영상의 특정위치를 연산 처리하여 PTZ카메라를 정확하게 이동시켜 확대촬영 또는 목표물의 이동상황을 연속적으로 촬영할 수 있는 실시간 파노라마 비디오 영상을 이용한 감시카메라의 제어방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 특징적인 구성을 설명하면 다음과 같다.

본 발명의 실시간 파노라마 비디오 영상을 이용한 감시 시스템은 주변(360ㅀ범위)의 영상을 촬영하도록 지지바의 외측 둘레면에 등간격으로 설치된 복수개의 아날로그 컴포넌트 카메라와, 상기 컴포넌트 카메라에 촬영된 직각 좌표계의 영상을 원통 좌표계의 영상으로 변환하는 변환부와, 상기 변환부에서 변환된 영상을 표시하는 표시부와, 상기 지지바의 상단부에 상하좌우로 회전이 가능하도록 설치된 PTZ카메라와, 상기 표시부에 표시되는 영상의 특정부분을 PTZ카메라가 촬영하도록 각도 및 거리를 연산하고 PTZ카메라를 회전시는 제어부와, 상기 제어부로 각종 명령을 입력하기 위한 조작부를 포함하여서 된 것이다.

또한 본 발명의 실시간 파노라마 비디오 영상을 이용한 감시 시스템의 제어방법은 복수개의 컴포넌트 카메라로 주변(360ㅀ)의 영상을 촬영하고 촬영된 직각 좌표계의 영상을 원통 좌표계의 영상으로 변환하는 단계와, 상기 변환된 원통 좌표계의 영상을 사용자가 육안으로 확인할 수 있도록 표시부로 출력하는 단계와, 상기 표시부로 출력되는 영상 중 특정부분의 원통 좌표계의 좌표값(θ,Φ)을 연산하고 PTZ카메라를 이동시켜 촬영하는 단계와, 상기 PTZ카메라로 촬영되는 특정부분의 영상을 출력하는 단계를 포함하여서 된 것이다.

이와 같은 특징을 갖는 본 발명을 상세하게 설명하면 다음과 같다.

도 1은 본 발명에 따른 감시 시스템을 나타낸 개략도이고, 도 2는 본 발명에 따른 감시 시스템의 원통 좌표계의 영상이며, 도 3은 본 발명에 따른 감시 시스템의 컴포넌트 카메라 영상들로부터 파노라마 영상을 만드는 원리를 설명하기 위한 개략도이고, 도 4는 본 발명에 따른 감시 시스템의 원통 투영 파노라마 영상에서 특정한 이미지 포인트에 대응하는 옵티컬 레이의 방향을 설명하기 위한 개략도이다.

여기에서 참조되는 바와 같이 주변(360ㅀ범위)의 영상을 촬영하도록 지지바(1)의 외측 둘레면에 등간격으로 설치된 복수개의 아날로그 컴포넌트 카메라(2)가 설치되어 있고, 상기 지지바(1)의 상단부에 상하좌우로 회전이 가능하도록 PTZ카메라(3)가 설치되어 있되, 상기 지지바(1)에 컴포넌트 카메라(2)와 PTZ카메라(3)를 설치하는 이유는 컴포넌트 카메라(2)에 촬영된 영상 중 관심영역을 PTZ카메라(3)로 근접 촬영하여 세밀하게 관찰하기 위함이다.

또한, 컴포넌트 카메라(2)를 천정에 매다는 경우, PTZ카메라(3)는 컴포넌트 카메라(2)의 바로 밑에 장착하는 것이 바람직하다.

한편, 상기 컴포넌트 카메라(2)에는 촬영된 영상의 처리 및 사용자의 조작에 의한 제어신호가 발생되는 제어부(10)가 전기적으로 연결되어 있고, 그 제어부(10)에는 컴포넌트 카메라(2)에 의해서 촬영된 직각 좌표계의 영상을 원통 좌표계의 영상으로 변환하는 변환부(20)가 전기적으로 연결되어 있으며, 상기 제어부(10)에는 상기 변환부(20)에서 변환된 영상을 표시하는 표시부(30)가 전기적으로 연결되어 있다.

그리고, 상기 제어부(10)는 표시부(30)에 표시되는 영상의 특정부분을 PTZ카메라(3)가 촬영하도록 각도 및 거리를 연산하고 PTZ카메라(3)가 회전되도록 제어신호가 출력되는 것이며, 상기 제어부(10)에는 사용자가 각종 명령을 입력하기 위한 조작부(40)가 전기적으로 연결되어 있되, 상기 조작부(40)는 조이스틱이나 키보드를 이용하 수도 있지만 표시부(30)에 표시되는 특정부분을 간편하게 선택할 수 있도록 마우스 또는 터치 스크린을 구비하는 것이 바람직하다.

이와 같이 구성된 본 발명을 상세히 설명하면 다음과 같다.

지지바(1)의 외측 둘레면에 설치된 복수개의 컴포넌트 카메라(2)는, 예를 들면 네 대를 설치할 경우, 90ㅀ간격으로 배치되는 한편, 각 컴포넌트 카메라의 화각은 약 110ㅀ를 유지하도록 광각렌즈(도면 미도시)를 설치하여 전방향(360ㅀ)을 촬영하게 된다.

이와 같이 촬영된 영상은 렌즈의 왜곡(Lens Distortion)이 제거된 후, 도 2에 나타낸 바와 같이 원통면에 투영되어 변환부(20)에서 원통 좌표계의 영상으로 변환되며, 이와 같이 변환된 원통 좌표계의 영상은 도 3에 나타낸 바와 같이 표시부(30)에 표시된다.

이미지 포인트(100)의 위치는 3D 포인트(101)와 컴포넌트 카메라의 투영 중심(102)을 지나는 선(103)(옵티컬 레이)이 이미지 평면(104)과 교차하는 곳이라고 모델링 할 수 있다. 이러한 모델로부터, 평면을 투영면으로 사용해서는 180도 이상의 화각을 갖는 영상을 생성할 수 없다는 것을 알 수 있다. 180도 이상의 화각을 갖는 영상을 얻기 위해서는 곡면을 투영면으로 사용해야 하는데, 대표적으로 많이 사용하는 것이 원통(Cylinder) 또는 구(Sphere)이다.

도 2에서는 각 컴포넌트 카메라의 이미지 평면에 접하는 가상의 원통면(105)을 보이고 있다. 이러한 원통의 반지름은 컴포넌트 카메라의 초점 거리와 같다. 컴포넌트 카메라의 이미지 평면에 투영된 영상을 원통에 재투영하기 위해서는, 평면 투영 영상을 구성하는 각각의 이미지 포인트에 대응하는 옵티컬 레이를 구해야 한다. 원통 투영 영상에서의 대응되는 이미지 포인트의 위치는 옵티컬 레이와 원통면의 교차점의 위치에 해당된다. 이러한 옵티컬 레이를 구하기 위해서는 각 컴포넌트 카메라의 자세(즉, XYZ축으로의 회전각)와 초점 거리를 알아야 한다.

또한 각 컴포넌트 카메라(2)는 광각 렌즈를 장작하고 있으므로, 영상에서 렌즈 왜곡을 제거하기 위해서는 렌즈 왜곡 상수 값들을 알아야 한다. 이러한 카메라 파라메타 값들을 알아내는 작업을 카메라 보정(Camera Calibration)이라고 한다. 카메라 보정 방법은 본 발명의 범위에서 벗어나므로 생략한다.

상기 컴포넌트 카메라(2)들은 고정되어 있기 때문에 카메라 파라메타 값들은 바뀌지 않는다. 따라서 카메라 보정은 최초의 파노라마 영상을 만들 때 한번만 필요하다. 일단 각 컴포넌트 카메라로부터 얻은 영상의 이미지 포인트와 파노라마 영상의 이미지 포인트와의 대응 관계를 찾아내면 그 결과를 맵핑 테이블(Mapping Table)의 형식으로 저장한다. 이 맵핑 테이블을 이용하면, 새로운 영상이 컴포넌트 카메라를 통해 획득될 때마다 즉시 파노라마 영상을 생성하는 것이 가능하다. 맵핑 테이블을 이용한 실시간 파노라마 비디오 생성 방법 또한 본 발명의 범위에서 벗어나므로 생략한다.

상술한 바와 같이 원통 투영에 의해 얻어진 파노라마 영상은 표시부(30)에 표시되는 것으로서, 사용자가 조작부(40)를 조작하여 파노라마 영상의 특정 부분에 대한 확대 영상을 PTZ카메라를 통해 얻으라는 명령을 내리면, PTZ카메라를 제어하기 위하여, 사용자가 지정한 파노라마 영상의 픽셀을 관통하는 옵티컬 레이의 방향을 구해야 하는데, 그 방법은 다음과 같다.

먼저, 투영면이 원통일 경우에는 수학식 1에 의해서 구하여진다.

[수학식 1]

여기에서,

x, y : 직각 좌표계의 좌표값, θ,φ: 옵티컬 레이의 방향

W ; 영상의 너비, h: 영상의 높이,

θ_H: 수평화각, θ_V: 수직화각,

R : 중심으로부터 좌표의 거리.

그리고, 투영면이 구일 경우에는 수학식 2에 의해서 구하여 진다.

[수학식 2]

여기에서,

x, y : 직각 좌표계의 좌표값, θ,φ: 옵티컬 레이의 방향

W ; 영상의 너비, h: 영상의 높이,

θ_H: 수평화각, θ_V: 수직화각,

R : 중심으로부터 좌표의 거리.

상술한 바와 같이 옵티컬 레이의 방향이 구해지면, 수학식 3에 의해서 구하여진 이동 위치로 PTZ카메라(3)를 이동시켜 특정 부분을 촬영하는 것이다.

[수학식 3]

여기에서

θ,φ: 옵티컬 레이의 방향,

Δθ,Δφ: PTZ카메라의 이동 위치의 옵셋(offset). PTZ카메라 설치 시 결정됨.

θ',φ: PTZ카메라의 이동 위치.

한편, PTZ카메라(3)의 회전 중심과 컴포넌트 카메라(2)의 투영 중심이 일치하지 않을 경우에는 오차가 발생하기 시작한다. PTZ카메라(3)의 회전 중심과 컴포넌트 카메라(2)의 투영 중심이 멀어질수록, 그리고 바라보고자 하는 물체가 카메라로부터 가까울수록 오차가 커진다.

현실적으로 PTZ카메라(3)의 회전 중심이 컴포넌트 카메라(2)의 투영 중심과 일치하도록 설치할 수는 없기 때문에 항상 오차를 수반하게 되어 있으나, 일반적인 동작 환경(PTZ 카메라의 회전 중심과 파노라마 비디오 카메라의 투영 중심 사이의 거리가 50cm 이내이고 4m 이상 떨어진 물체를 본다고 가정함)에서는 거의 무시할 수 있다.

본 시스템의 구성 예로, 컴포넌트 카메라(2)는 NTSC/PAL 신호를 출력하는 아날로그 카메라이고, 이들은 제어부(10)(일반적인 PC를 사용하여도 무방하다)에 장착된 다중 채널 이미지 캡쳐 보드((Multi-Channel Image Capture Board)에 연결된다.

또한, PTZ카메라(3)의 제어부(10)는 직렬 통신 포트에 연결이 되고, 영상 신호 출력부는 이미지 캡쳐 보드에 연결된다. 수동 감시 모드에서 사용자는 표시부(30)에 표시되는 파노라마 비디오 영상을 보고 있다가 상세히 관찰하고 싶은 곳이 있으면 조작부(40)(마우스 등)으로 그곳을 클릭한다.

그러면 고속의 PTZ카메라(3)가 동작하여 그곳을 표시부(30)로 출력하게 되는 것이며, 사용자는 마우스 휠(Wheel) 등을 조작하여 PTZ카메라(3)의 배율을 조정한다.

한편, 자동 감시 모드에서 프로그램은 파노라마 비디오 영상에서 움직임이 있는 물체를 감지하면 PTZ카메라(3)를 구동하여 그 물체를 촬영하며, 자동 감시 모드에서 촬영하는 방법은 상황에 따라 여러 가지 경우가 있을 수 있다.

예를 들어, 움직이는 물체가 파노라마 영상에서 차지하는 영역이 일정 크기 이상 될 때만 촬영한다던가, 움직이는 물체가 여러 개일 때, 지정된 위치 근방에 있는 것에 더 많은 시간을 할애해서 촬영한다던가 하는 고려를 해 볼 수 있을 것이다.

이와 같이 본 발명은 파노라마 컴포넌트 카메라에 의해서 촬영되는 파노라마 영상을 이용하여 전방향(360ㅀ)에서 일어나는 상황을 동시에 확인하게 됨은 물론, 마우스를 클릭하여 PTZ카메라가 특정부분의 영상을 세밀하게 감시할 수 있게 되는 특유의 효과가 있다.

또한 본 발명은 프로그램에 의하여 움직이는 물체의 자동 감시는 물론, 파노라마 영상에서 검출된 움직이는 물체를 보다 상세하게 촬영할 수 있게 되는 특유의효과가 있다.

도 1은 본 발명에 따른 감시 시스템을 나타낸 개략도.

도 2는 본 발명에 따른 감시 시스템의 컴포넌트 카메라 영상들로부터 파노라마 영상을 만드는 원리를 설명하기 위한 개략도.

도 3은 본 발명에 따른 감시 시스템의 원통 좌표계의 영상.

도 4는 본 발명에 따른 감시 시스템의 원통 투영 파노라마 영상에서 특정한 이미지 포인트에 대응하는 옵티컬 레이의 방향을 설명하기 위한 개략도.

※도면의 주요부분에 대한 부호의 설명※

1 : 지지바 2 : 컴포넌트 카메라

3 : PTZ카메라 10 : 제어부

20 : 변환부 30 : 표시부

40 : 조작부

Claims

주변의 영상을 촬영하도록 지지바(1)의 외측 둘레면에 등간격으로 설치된 복수개의 아날로그 컴포넌트 카메라(2)와, 상기 컴포넌트 카메라(2)에 촬영된 직각 좌표계의 영상을 원통 좌표계의 영상으로 변환하는 변환부(20)와, 상기 변환부(20)에서 변환된 영상을 표시하는 표시부(30)와, 상기 지지바(1)의 상단부에 회전 및 상하이동이 가능하도록 설치된 PTZ카메라(3)와, 상기 표시부(30)에 표시되는 영상의 특정부분을 PTZ카메라(3)가 촬영하도록 각도 및 거리를 연산하고 PTZ카메라(3)를 회전시키는 제어부(10)와, 상기 제어부(10)로 각종 명령을 입력하기 위한 조작부(40)를 포함함을 특징으로 하는 실시간 파노라마 비디오 영상을 이용한 감시 시스템.
제 1항에 있어서, 상기 컴포넌트 카메라(2)는 적어도 3개 이상 설치됨을 특징으로 하는 실시간 파노라마 비디오 영상을 이용한 감시 시스템.
복수개의 컴포넌트 카메라(2)로 주변(360ㅀ)의 영상을 촬영하고 촬영된 직각 좌표계의 영상을 원통 좌표계의 영상으로 변환하는 단계와, 상기 변환된 원통 좌표계의 영상을 사용자가 육안으로 확인할 수 있도록 표시부로 출력하는 단계와, 상기 표시부로 출력되는 영상 중 특정부분에 대응하는 옵티컬 레이의 방향(θ,φ)을 연산하고 PTZ카메라(3)를 이동시켜 촬영하는 단계와, 상기 PTZ카메라로 촬영되는 특정부분의 영상을 출력하는 단계를 포함함을 특징으로 하는 실시간 파노라마 비디오 영상을 이용한 감시 시스템의 제어방법.
제 3 항에 있어서, 상기 특정부분의 대응하는 옵티컬 레이의 방향(θ,φ)은

여기에서,

x, y : 직각 좌표계의 좌표값, θ,φ: 옵티컬 레이의 방향,

W ; 영상의 너비, h: 영상의 높이,

θ_H: 수평화각 θ_V: 수직화각

R : 중심으로부터 좌표의 거리

상기 식에 의해서 구하여 짐을 특징으로 하는 실시간 파노라마 비디오 영상을 이용한 감시 시스템의 제어방법.
복수개의 컴포넌트 카메라(2)로 주변(360ㅀ)의 영상을 촬영하고 촬영된 직각 좌표계의 영상을 구 좌표계의 영상으로 변환하는 단계와, 상기 변환된 구 좌표계의 영상을 사용자가 육안으로 확인할 수 있도록 표시부로 출력하는 단계와, 상기 표시부로 출력되는 영상 중 특정부분에 대응하는 옵티컬 레이의 방향(θ,φ)을 연산하고 PTZ카메라(3)를 이동시켜 촬영하는 단계와, 상기 PTZ카메라로 촬영되는 특정부분의 영상을 출력하는 단계를 포함함을 특징으로 하는 실시간 파노라마 비디오 영상을 이용한 감시 시스템의 제어방법.
제 5 항에 있어서, 상기 특정부분에 대응하는 옵티컬 레이의 방향(θ,φ)은

여기에서,

x, y : 직각 좌표계의 좌표값, θ,φ: 옵티컬 레이의 방향,

W ; 영상의 너비, h: 영상의 높이,

θ_H: 수평화각 θ_V: 수직화각

R : 중심으로부터 좌표의 거리

상기 식에 의해서 구하여 짐을 특징으로 하는 실시간 파노라마 비디오 영상을 이용한 감시 시스템의 제어방법.