KR20000058739A - 파노라마 영상 감시 시스템 및 그 제어방법 - Google Patents

Abstract

본 발명은 감시대상의 위치가 360도로 입사되는 영상을 반사시키는 반구형 거울과, 이 반구형 거울과 수직방향으로 설치되어 상기 거울로부터 반사되는 영상을 촬상하는 제1 카메라와, 이 제1 카메라의 후면에 수직으로 설치되어 제1 카메라에 의해 가려진 영상부분만을 촬상하는 제2 카메라와, 이 제1 및 제2 카메라에 의해 촬상된 상기 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상의 왜곡을 보정하여 합성한 다음 영상변환 및 보간하여 파노라마 영상으로 출력하는 컴퓨터시스템부로 이루어진 것을 특징으로 하는 파노라마 영상 감시 시스템을 제공한다.

본 발명은 수평 및 수직방향을 감시할 수 있는 복수개의 카메라에 의해 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상을 합성하여 파노라마 영상을 출력함으로써, 반사거울에 따른 가려진 영상없이 전방향의 영상을 2차원 평면상의 파노라마 영상으로 표현할 수 있으므로 이에 따라 시스템의 전방향 감시특성을 상당히 증가시키게 된다.

Description

파노라마 영상 감시 시스템 및 그 제어방법{Panorama video surveillance system and controlling method therefore}

본 발명은 파노라마 영상 감시 시스템 및 그 제어방법에 관한 것으로, 특히 수평 및 수직방향을 감시할 수 있는 복수개의 카메라에 의해 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상을 합성하여 파노라마 영상을 출력함으로써 반사거울에 따른 가려진 영상없이 전방향의 영상을 2차원 평면상의 파노라마 영상으로 표현할 수 있어 시스템의 전방향 감시특성을 상당히 증가시키는 파노라마 영상 감시 시스템 및 그 제어방법에 관한 것이다.

일반적으로 사회가 발달함에 따라 인적 혹은 기술적 자원을 보호 또는 감시할 필요성이 증대하게 되었는데, 예를 들어, 관공서 및 기업의 출입자 감시, 금융권의 객장 감시 및 증거물 확보를 위한 영상획득 및 사거리 / 교차로 등의 교통 통행량 감시 등 사회의 다양한 분야에서 감시시스템의 활용이 제기되었다.

그런데, 최근에는 그러한 감시시스템의 다양한 형태의 하나로 파노라마 영상시스템이 개발되어 사용되고 있는데, 이러한 파노라마 영상은 기존의 좁은 시야의 영상을 보완하고 Virtual Reality 같은 가상의 경험을 위해 발전되고 있다.

예컨데, 이러한 파노라마 영상을 얻는 다양한 방법 중에는 360도의 원형영상으로 각각의 개별 영상을 만들 수 있는 타원형(Hyperboloidal)의 거울을 개시된 Rees특허[Rees, D. W.(1970, April), Panoramic Tele-vision Viewing System, United States Patent(3,505,465).]와, Yagi는 하이퍼옴니(HyperOmni)라는 거울과 카메라가 통합된 시스템을 통해 파노라마 영상을 얻어서 COPIS라는 이동로봇에 적용한 야기(yagi)특허, 반구형의 거울을 이용하여 상기 삼각뿔형태의 거울을 사용하여 시야의 한계와 영상의 왜곡이 심했던 야기특허의 단점을 극복한 야마자와( yamazawa)특허 등이 있다.

이러한 선행기술들에 사용된 거울을 이용한 파노라마 영상들은 거울의 모양이나 카메라의 성능에 따라 영상의 차이가 많이 나기 때문에 거울 구조를 통해 좋은 파노라마 영상을 구현하려고 노력하였다.

그러면, 상기와 같은 종래 거울을 이용한 파노라마 영상 감시시스템을 도1을 참고로 살펴보면, 입사되는 360도의 영상을 반사시키는 반구형 반사거울(70)과, 이 반구형 반사거울(70)로부터 반사되는 영상을 촬상하는 카메라(71)와, 이 카메라(71)로부터 촬상된 영상을 파노라마 영상으로 데이터 신호처리하는 데이터신호처리부(72)와, 이 데이터신호처리부(72)로부터 신호처리된 파노라마 영상을 디스플레이시키거나 인쇄하는 출력부(73)로 이루어진다.

한편, 상기와 같은 종래 파노라마 감시시스템의 동작을 살펴보면, 먼저 상기 반구형의 거울(70)을 감시할 대상의 위치에 설치한 다음 이 반구형 거울(70)과 수직으로 카메라(71)를 배치시킨다. 그러면, 상기 반구형 거울(70)상에 360로 입사되는 감시위치의 영상을 반사시키게되는데, 이때 카메라(71)가 이 영상을 도 2에 도시된 바와 같은 영상(74)으로 촬상하여 데이터신호처리부(72)로 입력시킨다. 그리고, 이 데이터신호처리부(72)는 입력된 카메라(71)의 영상을 파노라마 영상으로 신호 처리하여 출력부(73)를 통해 파노라마 영상으로 표시한다.

그러나, 상기와 같은 종래 반사거울을 이용한 파노라마 감시시스템은 반구형의 거울(70)과 카메라(71)가 수직으로 배치되기 때문에 수평각으로 360도의 파노라마 영상을 얻을 수는 있지만 카메라(71)의 설치위치로 인하여 도 2의 "A"와 같이 영상가림부분이 발생되어 전영역의 파노라마 영상을 얻을 수 없었으며, 또한 상기와 같은 파노라마 영상(74)은 반구형 거울(70)상에서 반사되는 영상을 카메라(71)가 촬상 처리한 휘어진 화면이므로 2차원 평면영상으로 처리하면 영상에 왜곡이 생겨 영상이 제대로 파악하기가 어렵다는 문제점이 있었다.

이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 수평 및 수직방향을 감시할 수 있는 복수개의 카메라에 의해 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상을 합성하여 파노라마 영상을 출력함으로써 반사거울에 따른 왜곡된 영상없이 전방향의 영상을 2차원 평면상의 파노라마 영상으로 표현할 수 있어 시스템의 전방향 감시특성을 상당히 증가시키는 파노라마 영상 감시 시스템 및 그 제어방법을 제공함에 그 목적이 있다.

본 발명의 또 다른 목적은 반사 거울의 특성에 의해 수평 및 수직방향으로 왜곡된 개별영상을 정상적인 영상으로 변환 처리하여 디스플레이상에 표시하게 되므로 개별영상의 표시특성을 극대화시키는 파노라마 영상 감시 시스템 및 그 제어방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명은 감시대상의 위치가 360도로 입사되는 영상을 반사시키는 반구형 거울과, 이 반구형 거울과 수직방향으로 설치되어 상기 거울로부터 반사되는 영상을 촬상하는 제1 카메라와, 이 제1 카메라의 후면에 수직으로 설치되어 제1 카메라에 의해 가려진 영상부분만을 촬상하는 제2 카메라와, 이 제1 및 제2 카메라에 의해 촬상된 상기 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상의 왜곡을 보정하여 합성한다음 영상변환 및 보간하여 파노라마 영상으로 출력하는 컴퓨터시스템부로 이루어진 파노라마 영상 감시 시스템을 제공한다.

본 발명의 다른 특징은 파노라마 영상 감시 시스템에서 감시대상위치에 설치된 반구형 거울로부터 전방향으로 반사되는 영상을 복수개의 카메라로 촬상하는 영상촬상단계와, 이 영상촬상단계에 의해 촬상된 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상을 합성하는 영상합성단계와, 이 영상합성단계 후에 영상신호를 정상영상으로 회전하여 보정한 다음 표준영상으로 영상보간하여 저장장치부에 저장되어 있는 지정된 감시대상 위치의 전방향 파노라마 영상을 출력시키는 파노라마 영상출력단계와, 보간단계후에 개별영역의 영상출력신호가 입력되었을 경우는 저장장치부에 저장되어 있는 지정된 감시대상 위치의 개별영역의 영상을 출력하는 개별영역 영상출력단계를 포함하는 파노라마 영상 감시 시스템의 제어방법을 제공한다.

도 1은 종래 파노라마 감시시스템의 볼록도.

도 2는 도 1의 카메라에 의해 가려진 영역을 설명하는 설명도.

도 3은 본 발명 시스템의 간략한 구성도.

도 4는 본 발명 시스템의 일 실시예의 볼록도.

도 5는 본 발명의 플로우차트

도 6은 본 발명 시스템의 기하학적 원리를 나타낸 설명도.

도 7은 본 발명에 적용된 두 카메라의 입력 영상의 합성을 설명하는 설명도.

도 8은 반사거울에 의해 휘어진 원형영상을 정상 파노라마 영상으로의 변환과정을 설명한 설명도.

〈도면의 주요 부분에 대한 부호의 설명〉

1 : 반구형 거울 2 : 제1 카메라

3 : 가려진 영상부분 4 : 제2 카메라

5 : 컴퓨터시스템부 6 : 데이터신호처리부

7 : 중앙연산처리부 8 : 저장장치부

9 : 출력부 10: 키패널부

이하, 본 발명을 첨부된 예시도면에 의거 상세히 설명한다.

본 발명 시스템은 도 3에 도시된 바와 같이 감시대상의 위치가 360도로 입사되는 영상을 반사시키는 반구형 거울(1)과, 이 반구형 거울(1)과 수직방향으로 설치되어 거울(1)로부터 반사되는 영상을 촬상하는 제1 카메라(2)와, 이 제1 카메라(2)의 후면에 수직으로 설치되어 제1 카메라(2)에 의해 가려진 영상부분만(도2의 A)을 촬상하는 제2 카메라(4)와, 이 제1 및 제2 카메라(4)에 의해 촬상된 상기 반구형 거울상(1)에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상의 왜곡을 보정하여 합성한 다음 영상변환 및 보간하여 파노라마 영상 및 개별영상으로 출력하는 컴퓨터시스템부(5)로 이루어진다.

여기서, 상기 반구형 거울(1)은 파라볼라형 거울로 구성할 수도 있다.

그리고, 상기 컴퓨터시스템부(5)는 도 4에 도시된 바와 같이 상기 제1 및 제2 카메라(4)에 의해 촬상된 상기 반구형 거울상(1)에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상신호를 데이터 신호처리 예컨데, 인코딩 및 에러보정처리하는 데이터신호처리부(6)와, 이 데이터신호처리부(6)에 의해 데이터신호처리된 영상신호의 왜곡을 보정하여 합성한 다음 영상변환 및 보간하여 파노라마 영상으로 출력하는 중앙연산처리부(7)와, 이 중앙연산처리부(7)에 의해 신호처리된 데이터신호를 저장하는 저장장치부(8)와, 상기 중앙연산처리부(7)로부터 출력된 파노라마 영상 혹은 개별 영상을 디스플레이시키거나 인쇄하는 출력부(9)로 이루어진다.

여기서, 상기 중앙연산처리부(7)에는 사용자의 제어명령신호를 입력시키는 키패널부(10)가 연결되어 있으며, 상기 제1 카메라(2)는 고해상도 촬상 카메라이고, 제2 카메라(4)는 저해상도 촬상 카메라이다.

다음에는 상기와 같이 구성된 본 발명 시스템의 제어방법을 설명한다.

본 발명 시스템은 도 5에 도시된 바와 같이 초기상태(S1)에서 영상촬상단계(S2)로 진행하여 감시대상위치에 설치된 반구형 거울로부터 전방향으로 반사되는 영상을 복수개의 카메라로 촬상하게 된다. 그리고, 상기 영상촬상단계(S2)후에 영상촬상 판단단계(S3)로 진행하여 현재 설정된 감시대상의 영상의 촬상이 일정시간내에 모두 완료되었는지를 판단한다. 또한, 상기 영상촬상 판단단계(S3)중에 판단한 결과 만약 현재 설정된 감시대상의 영상의 촬상이 일정시간내에 모두 완료되지않았을 경우는 전단계(S2)로 복귀하여 루프를 반복 수행한다.

그러나, 상기 영상촬상 판단단계(S3)중에 판단한 결과 현재 설정된 감시대상의 영상의 촬상이 일정 시간내에 모두 완료되었을 경우는 영상합성단계(S4)로 진행하여 제1 및 제2 카메라(2)(4)에 의해 촬상된 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상의 왜곡된 부분을 추출하여 보정한 다음 그 보정된 영상을 합성한다. 그리고, 상기 영상합성단계(S4)후에 영상 변환 및 보간단계(S5)로 진행하여 합성영상을 변환 및 보간한 뒤 저장한다. 또한, 상기 영상보간단계(S5) 후에 파노라마영상 출력단계(S6)로 진행하여 저장장치부(8)에 저장되어 있는 지정된 감시대상 위치의 전방향 파노라마 영상을 출력시키게 된다.

이후, 상기 파노라마영상 출력단계후에 상기 개별영상 출력판단단계(S7)로 진행하여 개별영역의 영상출력신호가 입력되었는지를 판단한다. 이때 상기 개별영상 출력판단단계(S7)중에 판단한 결과 만약 개별영역의 영상출력신호가 입력되었을 경우는 개별영역 영상출력단계(S8)로 진행하여 저장장치부(8)에 저장되어 있는 지정된 감시대상 위치의 개별영역의 영상을 출력시키게 된다. 그러나, 상기 개별영상 출력판단단계(S7)중에 판단한 결과 만약 개별영역의 영상출력신호가 입력되지 않았을 경우는 종료한다.

즉, 사용자가 컴퓨터시스템부(5)의 키패널부(10)를 촬상기능 제어신호를 설정해주게되면 컴퓨터시스템부(5)의 중앙연산처리부(7)가 이를 인식하여 감시대상위치에 설치된 반구형 거울(1)로부터 전방향으로 반사되는 영상을 제1 및 제2 카메라(4)를 통해 도 6에 도시된 바와 같이 촬상을 하게 된다.

즉, 도 6에 도시된 바와 같이 실제 카메라(2)에 맺히는 영상부분(도 2의 A)은 가상의 평면 영상부(11)에 맺히는 영상처럼 2차원의 영상을 가지게 된다. 이때, 이 영상은 상기 거울(1)과 실제 좌표계(12)가 이루는 각도의 계산을 통해서 휘어짐이 없는 실제 영상의 좌표값(X,Y,Z)을 계산 가능하게 한다. 상기 제2 카메라(4)는 상기 제1 카메라(2)에 의해 가려진 영역(도 2의 A)의 직접적인 수직영상을 촬상한다.

그러면, 상기 제1 및 제2 카메라(4)는 그 촬상된 감시대상위치의 영상화면을 일정신호처리한다음 데이터신호처리부(6)로 입력시킨다. 따라서, 이 데이터신호처리부(6)는 입력된 상기 제1 및 제2 카메라(4)에 의해 촬상된 상기 반구형 거울상(1)에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상신호를 데이터 신호처리 예컨데, 인코딩 및 에러보정처리하여 중앙연산처리부(7)로 입력시킨다. 그러면, 이 중앙연산처리부(7)는 데이터신호처리부(6)로부터 입력된 영상신호의 왜곡을 보정하게 된다. 즉, 이 중앙연산처리부(7)는 상기 제1 및 제2 카메라(4)에 의해 촬상된 상기 반구형 거울상(1)에 수평방향으로 입사되는 360도의 영상중에서 도 7에 도시된 바와같이 제1 카메라(2)가 촬상한 영상(13)중 제1 카메라(2)에 의해 가려진 영상부분(도2의 A)을 추출하고 이와 동시에 제2 카메라(4)에 의해 수직방향으로만 입사되는 영상신호중 그 경계영역(14)내의 영상신호만을 추출하여 두영상을 도 7에 도시된 바와 같이 합성시킨다.

그리고, 상기 중앙연산처리부(7)는 상기 합성된 영상신호가 휘어짐을 가진 영상이므로 이를 정상 영상으로 회전하여 정상의 파노라마 영상으로 변환시키는데, 이때 도 8에 도시된 바와 같이 필요한 특정영역(15)을 선택하여 추출한 후에 정상영상으로 회전(17)을 하여 보간한 뒤 휘어진 영상을 점대점 블록의 매칭을 통해 펼쳐진 파노라마 영상(16)으로 표시된다. 그리고, 상기 파노라마 영상(16)은 저장장치부(8)에 저장시킨다.

그리고, 상기 컴퓨터시스템부(5)의 키패널부(10)를 통해 파노라마 영상(16)의 출력신호를 입력시키게 되면 중앙연산처리부(7)가 이를 인식하여 저장장치부(8)에 저장된 감시대상위치의 전방향 영상화면을 출력부(9)를 통해 출력시켜주게 된다. 또한, 상기 컴퓨터시스템부(5)의 키패널부(10)를 통해 상기 파노라마신호중 개별 영역의 영상신호만의 출력신호를 요구할 경우 중앙연산처리부(7)가 이를 인식하여 저장장치부(8)에 저장된 파노라마 영상중 선택된 개별영역의 영상화면을 출력부(9)를 통해 출력시켜주게 된다.

이상 설명에서와 같이 본 발명은 본 발명은 수평 및 수직방향을 감시할 수 있는 복수개의 카메라에 의해 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상을 합성하여 파노라마 영상을 출력함으로써 반사거울에 따른 가려진 영상없이 전방향의 영상을 2차원 평면상의 파노라마 영상으로 표현할 수 있으므로 시스템의 전방향 감시특성을 상당히 증가시키게 된다.

또한, 본 발명에 의하면, 반사 거울의 특성에 의해 수평 및 수직방향으로 왜곡된 개별영상을 정상적인 영상으로 변환 처리하여 디스플레이상에 표시하게 되므로 개별영상의 표시특성을 극대화시켜 다수개의 카메라의 사용과 같은 효과가 있다.

Claims (4)

1. 감시대상의 위치가 360도로 입사되는 영상을 반사시키는 반구형 거울과, 이 반구형 거울과 수직방향으로 설치되어 상기 거울로부터 반사되는 영상을 촬상하는 제1 카메라와, 이 제1 카메라의 후면에 수직으로 설치되어 제1 카메라에 의해 가려진 영상부분만을 촬상하는 제2 카메라와, 이 제1 및 제2 카메라에 의해 촬상된 상기 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상의 왜곡을 보정하여 합성한 다음 영상변환 및 보간하여 파노라마 영상으로 출력하는 컴퓨터시스템부로 이루어진 것을 특징으로 하는 파노라마 영상 감시 시스템.
2. 제1항에 있어서, 제1 카메라 영상과 제2 카메라 영상의 합성을 통해 파노라마 영상을 구현하는 것을 특징으로 하는 파노라마 영상 감시 시스템.
3. 제1항에 있어서, 상기 컴퓨터시스템부는 상기 제1 및 제2 카메라에 의해 촬상된 상기 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상신호의 왜곡을 보정하여 합성한 다음 영상변환 및 보간하여 파노라마 영상으로 출력하는 중앙연산처리부와, 이 중앙연산처리부에 의해 신호처리된 데이터신호를 저장하는 저장장치부와, 상기 중앙연산처리부로부터 출력된 파노라마 영상혹은 개별 영상을 디스플레이시키거나 인쇄하는 출력부를 구비하는 것을 특징으로 하는 파노라마 영상 감시 시스템.
4. 파노라마 영상 감시 시스템에서 감시대상위치에 설치된 반구형 거울로부터 전방향으로 반사되는 영상을 복수개의 카메라로 촬상하는 영상촬상단계와, 이 영상촬상단계에 의해 촬상된 반구형 거울상에 수평방향으로 입사되는 360도의 영상과 수직방향으로만 입사되는 영상의 왜곡된 부분을 추출하여 정상영상으로 회전하여 보정한다음 그 보정된 영상을 합성하는 영상합성단계와, 이 영상합성단계후에 영상 합성된 영상신호중에서 선택된 개별영역을 추출하여 표준시점으로 영상변환한다음 보간하여 저장하는 영상 보간단계와, 이 영상보간단계후에 파노라마영상의 출력신호가 입력되었을 경우는 저장장치부에 저장되어 있는 지정된 감시대상 위치의 전방향 파노라마 영상을 출력시키는 파노라마 영상출력단계와, 상기 영상 보간단계후에 개별영역의 영상출력신호가 입력되었을 경우는 저장장치부에 저장되어 있는 지정된 감시대상 위치의 개별영역의 영상을 출력하는 개별영역 영상출력단계를 포함하는 것을 특징으로 하는 파노라마 영상 감시 시스템의 제어방법.