KR20100122768A - 광각영상을 이용한 이동물체추적 방법 - Google Patents

Abstract

본 발명은 광각영상을 이용한 이동물체추적 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 센서의 역할을 하는 광각렌즈 카메라에서 이동물체를 설정하면 PTZ카메라가 이를 추적함으로써, 다수개의 이동물체를 추적할 수 있고, 추적 중인 이동물체를 정확하게 추적할 있는 광각영상을 이용한 이동물체추적 시스템 및 그 방법에 관한 것이다.

광각카메라, PTZ카메라, 블록, 이동물체, 센서

Description

광각영상을 이용한 이동물체추적 시스템 및 그 방법{The mobile object tracking system which uses a wide angle image and the method}

본 발명은 광각영상을 이용한 이동물체추적 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 센서의 역할을 하는 광각렌즈 카메라에서 이동물체를 설정하면 PTZ카메라가 이를 추적함으로써, 다수의 이동물체를 추적할 수 있고, 추적 중인 이동물체를 정확하게 추적할 수 있는 광각영상을 이용한 이동물체추적 시스템 및 그 방법에 관한 것이다.

인간의 시각은 주위의 변화에 빠르게 대처하고, 움직임 및 이동 물체를 쉽게 감지하고 추적할 수 있다. 이에 반해 컴퓨터를 이용한 영상 인식 분야에서의 시차를 두고 연속적으로 입력되는 영상을 분석하고 추론하는 영상처리 기술은 하드웨어의 비약적인 발전에도 아직까지 인간의 눈을 대신하기에는 미흡한 실정이며, 일부 분야에서 성과를 나타내고 있는 추세이다. 실제로 컴퓨터 비전을 적용한 머신 비전 시스템(machine vision system)은 산업 현장에 투입되어 유용하게 활용되고 있다.

보안에 대한 중요성이 여러 분야에서 대두함에 따라 기존의 아날로그 CCTV 분야에 있어서 디지털화는 VCR에서부터 시작하여 DVR에 이르기까지 비약적인 발전 이 이루어졌으며, 최근에는 네트워크 인프라를 활용한 완벽한 디지털 보안 시스템을 구축하기에 이르렀다. 네트워크 영상 보안 시스템은 일명 IP Surveillance 라고 통칭하며, 이는 인터넷을 통한 모니터링이 가능할 뿐 아니라 다수의 원격 접근이 가능하고 설치 및 가격 효율성으로 인하여 2008년에는 기존의 아날로그 CCTV 시장 대부분이 디지털화된다고 한다. 이것은 24시간 보안이 필요한 곳부터 시작하여 기존에는 필요하지 않았던 단순 감시에 이르기까지 소비자들의 성향이 변화하고 있다는 것을 의미한다.

이를 위해, 이동물체를 추적가능한 PTZ카메라를 이용하여 다양한 발명이 개발되었으나, PTZ카메라를 하나만 구성할 경우 감시영역에 이동물체가 다수 나타날 경우 이동물체를 잃어버리는 문제점이 발생한다. 또한, PTZ카메라가 이동물체를 추적하기 위해 과도한 운행으로 그 수명이 단축되는 문제점이 있었다.

따라서, 본 발명은 이상의 문제점을 해결하기 위하여 창출된 것으로서, 본 발명의 목적은 다음과 같다.

첫째, 본 발명은 센서역할을 광각렌즈카메라와 PTZ카메라를 함께 형성하여 다수의 이동물체를 동시에 추적할 수 있는데 그 목적이 있다.

둘째, 본 발명은 센서역할을 광각렌즈카메라와 PTZ카메라를 함께 형성하여 이동물체를 정확히 추적할 수 있는데 그 목적이 있다.

셋째, 본 발명은 블록기반 움직임의 감지 및 이를 이용한 추적시스템을 제공하는데 그 목적이 있다.

넷째, 물체의 특징점을 이용한 이동물체 추적시스템을 제공하는데 그 목적이 있다.

이와 같은, 본 발명의 목적을 달성하기 위한 기술수단은 다음과 같다.

감시영역의 상부 또는 일측에 이동물체를 추적하는 PTZ카메라; PTZ카메라 일측에 구비되어 감시영역을 감지하는 광각렌즈카메라; PTZ카메라 및 광각렌즈카메라의 정보를 수신하고, PTZ카메라를 제어하는 비디오서버; 및 비디오서버와 연결되어 비디오서버를 제어하는 클라이언트;를 포함한 것을 특징으로 한다.

비디오서버는, PTZ카메라 및 광각렌즈카메라와 연결되어 영상을 제공받는 인코팅부; 인코딩부와 연결되어 영상을 수신하여 이동물체를 감지하고, 감지된 이동 물체를 추적하도록 PTZ카메라에 연결된 제어부; 및 제어부는 클라이언트와 연결하는 네트워크통신부;를 포함한 것을 특징으로 한다.

비디오서버와 클라이언트의 연결은 유선통인인 인터넷통신망 또는 무선통신인 것을 특징으로 한다.

클라이언트는 원격 컴퓨터, 원격 서버인, 핸드폰 및 PDA인 것을 특징으로 한다.

비디오서버는, 제어부에 연결되어 제어부에서 전달된 추적할 이동물체데이터를 시리얼데이터로 변환하는 데이터변환부; 및 데이터변환부에 연결되어 변환된 이동물체데이터를 PTZ카메라로 전송하는 데이터통신부;를 포함한 것을 특징으로 한다.

비디오서버는, 제어부에 연결되어 이동물체의 영상을 저장하는 SD메모리, 플래시메모리 및 하드디스트인 저장부를 더 구비한 것을 특징으로 한다.

광각렌즈카메라에서 제공된 원본이미지를 제어부가 수신하는 단계; 수신된 원본이미지를 비디오서버가 전처리하는 단계; 전처리된 이미지를 배경영상으로 비디오서버가 처리하는 단계; 처리된 배경영상과 업데이트영상을 비디오서버가 비교처리하는 단계; 비교된 업데이트영상을 이진차영상으로 비디오서버에 저장하는 단계; 처리된 이진차영상 중 움직임이 있는 블록에 비디오서버가 라벨링하는 단계; 라벨링된 이진차영상 중 움직임이 있는 경계를 물체의 경계로 비디오서버가 파악하는 단계; 물체의 경계로 파악된 블록의 특징점을 비디오서버가 검출하는 단계; 특징점과 현시점의 이동물체 정보와 비디오서버가 비교하는 단계; 비교된 이동물체 정보 중 추적대상을 비디오서버가 선정하는 단계; 추적대상을 비디오서버가 PTZ카메라를 제어하여 추적하는 단계; 및 추적대상을 PTZ카메라로 촬영하는 단계;를 포함한 것을 특징으로 한다.

수신된 원본이미지 전처리단계는, 원본이미지를 단색영상으로 변환하는 단계; 및 단색처리된 원본이미지를 필터처리하는 단계;를 포함한 것을 특징으로 한다.

필러처리단계는, 주변에 있는 픽셀끼리 색을 평균화, 시간적인 색상의 평균화 및 전체적인 색조의 변화처리 중 적어도 하나를 실행하는 것을 특징으로 한다.

배경영상 처리단계는, 일정시간 동안 이동물체가 발견되지 않은 배경 영상을 등록하는 배경으로 전체업데이트하는 단계; 및 전체업데이트가 되지 않더라도 이동물체가 존재하지 않은 부분만 부분배경으로 부분업데이트하는 단계;를 포함한 것을 특징으로 한다.

영상 비교단계는, 배경영상의 등록을 판단하는 단계; 배경영상과 업데이트영상을 블록기반으로 처리하는 단계; 블록기반으로 처리된 배경영상과 업데이트영상를 비교하는 단계; 및 비교된 블록기반으로 처리된 업데이트영상을 이진차영상으로 획득하는 단계;를 포함한 것을 특징으로 한다.

블록기반 처리단계는, 배경영상과 업데이트영상의 각 픽셀을 4*4단위로 하나의 블록으로 설정하는 것을 특징으로 한다.

배경영상과 업데이트 비교단계는, 블록기반으로 처리된 배경영상과 업데이트영상 중 블록 내의 픽셀마다 색차이가 소정 수준 이상이면 변화된 픽셀로 판정하 고, 변화된 픽셀의 비율이 블록 내에서 소정 수준이상이면 해당 블록 전체가 변화된 블록으로 판정하는 것을 특징으로 한다.

이진차영상 획득단계는, 변화된 블록은 1, 변화되지 않은 블록은 0으로 기록하는 것을 특징으로 한다.

라벨링단계는, 이진차영상을 사이즈필터링하는 단계; 및 사이즈필터링된 이진차영상을 라벨링하는 단계;를 포함한 것을 특징으로 한다.

사이즈필터링단계는, 하나의 물체로 판단된 개체의 크기가 일정크기 이하일 경우 물체로 판단하지 않고, 물체의 임계값은 카메라에서 보이는 사람의 크기로 설정해 사람보다 작은 이동물체는 무시하는 것을 특징으로 한다.

라벨링단계는, 이진차영상에서 변화된 블록들이 서로 인접한 경우 하나의 이동물체로 판별하고, 이진차영상을 1회 이상 스캔하여 인접한 블록을 모아 하나의 물체로 인식하는 것을 특징으로 한다.

특징점 검출단계는, 이진차영상 중 움직임이 있는 경계를 물체의 경계로 파악된 각 물체의 특징점을 추출하는 단계; 추출된 특징점의 이동물체데이터를 저장하는 단계; 저장된 특징점에서 물체의 유입, 물체의 소멸, 물체의 중첩 및 물체의 분리와 같은 물체의 변화를 처리하는 단계; 및 물체의 변화와 이동물체데이터를 비교하는 단계;를 포함한 것을 특징으로 한다.

이동물체의 변화 처리단계에서, 물체의 유입은 이동물체데이터에서 유사한 이동물체를 찾지 못한 경우 새로운 물체로 등록하고, 물체의 소멸은 사라진 이동물체가 감시범위의 가장자리에 있었던 경우 감시범위 밖으로 나갔다고 판정하며, 물 체의 중첩은 이동물체가 중앙에 있던 경우 주위에 있는 다른 사이 이동물체와 중첩되었다고 판정하며, 물체의 분리는 겹쳤던 이동물체가 이동물체데이터에서 유사한 이동물체를 발견한 경우 겹쳤던 이동물체가 분리된 것으로 판정하는 것을 특징으로 한다.

추적대상 선정단계는, 추적기준에 따라 이동물체를 평가하는 단계; 및 평가된 이동물체 중 추적물체를 선정하는 단계;를 포함한 것을 특징으로 한다.

추적기준은, 진입순서, 지정위치에 근접한 이동물체 및 이동속도인 것을 특징으로 한다.

PTZ카메라 추적단계는 이동물체데이터에서 추정대상의 중심좌표를 계산하는 단계; 계산된 중심좌표를 PTZ카메라 좌표로 변환하는 단계; 및 좌표로 PTZ카메라가 이동하는 단계;를 포함한 것을 특징으로 한다.

추적대상 촬영단계는, 추적대상을 그림파일로 저장, 추적대상의 번호 및 시간을 기록 및 추적대상을 주기마다 촬영하는 것을 특징으로 한다.

이상과 같이 본 발명의 효과는 다음과 같다.

첫째, 본 발명은 센서역할을 광각렌즈카메라와 PTZ카메라를 함께 형성함으로써, 다수의 이동물체를 동시에 추적하는 효과가 있다.

둘째, 본 발명은 센서역할을 광각렌즈카메라와 PTZ카메라를 함께 형성함으로써, 이동물체를 정확하게 추적하는 효과가 있다.

셋째, 본 발명은 광각렌즈카메라에서 제공한 영상을 블록기반 움직임으로 변 환하여 이동물체를 감지, 추적시스템을 제공함으로써, 이동물체를 더욱 정확히 감지하는 효과가 있다.

넷째, 본 발명은 물체의 특징점을 이용하여 이동물체 추적시스템을 제공함으로써, 이동물체를 다양하게 추적할 수 있는 효과가 있다.

다섯째, 원격지 클라이언트의 도움없이 장비 자체에서 이동물체 추적을 수행할 수 있는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.

< 실시예에 따른 구성>

도 1에 도시한 바와 같이, 본 발명은 PTZ카메라(1), 광각렌즈카메라(2), 비디오서버(3) 및 클라이언트(4)로 구성된다. PTZ카메라(1)는 감시영역의 상부 또는 일측에 이동물체를 추적하는 것이다. 이러한, PTZ카메라(1)는 통상의 PAN, TILT 및ZOOM 기능을 갖는 카메라이다. 이때 PTZ카메라는 감시하고자 하는 영역을 전체적으로 확보할 수 있도록 위에서 아래로 시야가 넓은 장소에 설치하고, 건물인 경우 실내 천장에 설치된다.

광각렌즈카메라(2)는 PTZ카메라(1) 하부에 구비되어 감시영역을 감지한다. 이때, 도 2에 도시한 바와 같이, 광각렌즈카메라(1)는 PTZ카메라(2) 하부에 일측에 지지대(21)를 형성하고, 지지대(21)에 힌지(22)결합하여 광각렌즈카메라(2)의 감시영역을 자유롭게 조절할 수 있도록 구성한다. 이러한, 광각렌즈카메라(2)는 이동물 체를 추적하기 위한 센서로서의 역할을 한다. 따라서, PTZ카메라(1)는 광각렌즈카메라(2)의 영상에 의해 처리된 추적대상의 이동물체만을 추적하도록 하여 PTZ카메라(1)의 수명을 연장한다.

도 3에 도시한 바와 같이, 비디오서버(3)는 광각렌즈카메라(2)의 정보를 수신하고, PTZ카메라(1)를 제어한다. 이때, 비디오서버(3)는 인코팅부(31), 제어부(32) 및 네트워크통신부(33)로 구성된다. 인코팅부(31)는 PTZ카메라(1) 및 광각렌즈카메라(2)와 연결되어 영상을 제공받아 제어부(32)에서 사용할 수 있도록 영상을 영상데이터로 변환한다. 여기서, 비디오서버(3)는 PTZ카메라(1)와 일체로 제작하거나 클아이언트(4) 내부에 설치할 수도 있다.

제어부(32)는 인코딩부(31)와 연결되어 인코딩부(31)에서 변환한 영상데이터를 수신하여 이동물체를 감지하고, 감지된 이동물체를 추적하도록 PTZ카메라(1)에 연결된다. 이때, 제어부(32)는 인코딩부(31)에서 전달된 변환한 영상데이터를 분석하여 영상데이터 중 이동물체를 선정하기 위해 프로그램화된 블록을 이용한 이진차영상을 비교하는 영상비교기법을 이용한다.

네트워크통신부(33)는 클라이언트(4)와 연결하여 원격지 클라이언트(4)에게 제어부(32)에 수신된 영상데이터를 제공한다.

클라이언트(4)는 비디오서버(3)와 연결되어 비디오서버(3)를 제어하거나 또는 비디오서버(3)에서 영상정보를 제공받는다. 이때, 비디오서버(3)와 클라이언트(4)의 연결은 유선통신은 인터넷통신망(5)으로 하는 것이 바람직하다. 또한, 유선통신을 대신하여 무선 통신으로도 가능하다. 이때 무선통신은 무선렌, 와이브로, 블루투스 등을 이용할 수 있다. 또한, 클라이언트(4)는 원격 컴퓨터, 원격 서버, 핸드폰 및 PDA 등이 가능하다. 이때, 클라이언트(4)는 를 이용하여 원격지에서 관리자가 영상데이터를 제공받고, 감지된 이동물체 중 추적대상을 설정하는 역할을 한다.

비디오서버(3)는, PTZ카메라(1)의 동작을 제어하기 위해 데이터변환부(34) 및 데이터통신부(35)를 구비한다. 이때, 데이터변환부(34)는 제어부(32)에 연결되어 제어부(32)에서 전달된 추적할 이동물체데이터를 시리얼데이터로 변환한다. 여기서, PTZ카메라를 제어하기 위해서는 이동물체데이터 즉 이동물체를 포함한 영상정보가 이동물체데이터이기 때문에 PTZ카메라(1)의 위치를 제어할 수 시리얼데이터 즉 위치데이터로 변환이 이루어져야 한다. 이렇게 이동물체의 영상데이터가 이동물체의 위치데이터로 변환된 것을 데이터통신부(35)를 통해 PTZ카메라로 전송한다. 이때, 데이터통신부(35)는 시리얼통신을 이용하여 PTZ카메라(1)는 시리얼데이터를 전송한다.

이와 함께, 비디오서버(3)는 제어부(32)에 연결되어 이동물체의 영상을 저장하는 SD메모리, 플래시메모리 및 하드디스크 중 적어도 하나를 이용한 저장부(36)를 구비하여 감지지역의 이동물체의 특징, 감시영역의 배경영상 및 추적대상의 영상을 사진파일로 저장하여 감시영역에서 발생한 사고의 예방 및 사고가 발생하였을 때 특히 추적대상의 얼굴과 같은 주요정보를 획득하여 빠르게 사고를 대처할 수 있다.

도 4는 본 발명에 따른 광각렌즈카메라(2)가 감시영역(6)을 감지하고, PTZ카 메라(1)가 이동물체(7)를 추적하는 것을 나타낸다.

< 실시예에 따른 방법>

도 5에 도시한 바와 같이, 본 발명은 비디오서버에서 원본이미지 수신단계(S100)는 광각렌즈카메라에서 제공한 감시영역의 원본이미지를 수신한다.

원본이미지 전처리단계(S200)는 비디오서버에서 단색영상 변환단계(S210) 및 필터처리단계(S220)로 이루어진다. 이때, 단색영상 변환단계(S210)는 수신된 감시영역의 원본이미지를 단색영상으로 변환하는 것으로, RGB, HSL, CMYK 등 컬러의 표현 방식은 3~4가지 수의 조합을 이용하기 때문에 영상처리가 복잡하기 때문에 1가지 수의 표현이 가능한 단색영상으로 변환하는 것이다. 단색영상은 통상 흑백영상으로 변환, 이동물체가 사람을 기준으로 하기 때문에 피부색의 붉은 톤을 활용하기 위해 RGB의 붉은 색상만을 채취 및 HSL에서 명도 값을 나타내는 H값만을 사용하는 것 중 어느 하나를 선택적으로 이용한다.

필터처리단계(S220)는 비디오서버에서 단색영상 변환단계를 거친 후 단색처리된 원본이미지를 필터처리하는 것이다. 이때, 단색처리된 원본이미지는 빛의 롤링, 순간적인 깜빡임 등 다양한 노이즈가 섞이게 되고, 이를 이동물체로 잘못 판단할 우려가 있기 때문에 노이즈를 제거하기 위해 단색처리된 원본이미지의 각 픽셀을 2*2로 하나로 묶어 주변에 있는 픽셀끼리 색을 평균화한다. 또한, 시간적인 색상을 평균화하고, 전체적인 색조의 변화를 처리한다. 여기서 시간적인 색상은 시간에 따른 빛의 밝기와 같은 외부요인을 나타낸다.

배경영상 처리단계(S300)는 비디오서버에서 전체업데이트단계(S310)와 부분업데이트단계(S320)로 이루어진다. 전체업데이트단계(S310)는 일정시간 동안 일정시간 동안 이동물체가 발견되지 않은 배경 영상을 등록하는 배경으로 등록한다. 부분업데이트단계(S320)는 전체업데이트가 되지 않더라도 이동물체가 존재하지 않은 부분만 부분배경으로 등록한다.

배경영상과 업데이트영상 비교단계(S400)는 비디오서버에서 판단단계(S410), 처리단계(S420), 비교단계(S430), 획득단계(S440)로 이루어진다. 판단단계(S410)는 배경영상이 등록되었는지 판단하여 배경영상이 등록되었으면 처리단계(S420)로 이동하고, 배경영상이 등록되어 있지 않으면 비교단계(S430)로 이동한다.

처리단계(S420)는 배경영상과 업데이트 영상을 블록기반으로 처리한다. 이때, 배경영상과 업데이트영상의 각 픽셀을 4*4단위로 하나의 블록으로 설정한다.

비교단계(S430)는 블록기반으로 처리된 배경영상과 업데이트영상을 비교한다. 이때, 블록기반으로 처리된 배경영상과 업데이트영상 중 블록 내의 픽셀마다 색차이가 소정 수준 이상이면 변화된 픽셀로 판정하고, 변화된 픽셀의 비율이 블록 내에서 소정 수준이상이면 해당 블록 전체가 변화된 블록으로 판정한다.

도 6에 도시한 바와 같이, 획득단계(S440)는 비교된 블록기반으로 처리된 업데이트영상을 이진차영상을 획득한다. 이때, 이진차영상은 변화된 블록은 1, 변화되지 않은 블록은 0으로 기록한다.

비교된 업데이트영상은 이진차영상 저장단계(S500)에서 비디오서버에서 이진차영상으로 저장된다. 이때, 이진차영상은 비디오서버(3)의 저장부(36)에 저장된 다.

라벨링단계(S600)는 비디오서버에서 처리된 이진차영상 중 움직임이 있는 블록에 라벨링하는 것이다, 이때 라벨링단계(S600)는 사이즈필터링단계(S610) 및 라벨링단계(S620)로 이루어진다.

사이즈필터링단계(S610)는 이진차영상을 사이즈필터링하는 것으로, 하나의 물체로 판단된 개체의 크기가 일정크기 이하일 경우 물체로 판단하지 않고, 물체의 임계값은 카메라에서 보이는 사람의 크기로 설정해 사람보다 작은 이동물체는 무시하는 것이다. 이는 정확한 이동물체를 정보를 획득하기 위한 것이다.

도 7과 도 8에 도시한 바와 같이, 라벨링단계(S620)는 사이즈필터링된 이진차영상을 라벨링하는 것으로, 이진차영상에서 변화된 블록들이 서로 인접한 경우 하나의 이동물체로 판별하고, 이진차영상을 1회 이상 스캔하여 인접한 블록을 모아 하나의 물체로 인식한다. 이때, 라벨링단계(S620)는 더욱 정확한 이동물체 정보를 얻기 위해 2회에 걸쳐 스캔하여 이진차영상을 라벨링하는 것이 바람직하다.

도 9 내지 도 12에 도시한 바와 같이, 물체의 경계 파악단계(S700)는 비디오서버에서 라벨링된 이진차영상 중 움직임이 있는 경계를 물체의 경계로 파악한다. 이는 감시영역의 이동물체 위치를 정확하게 획득하기 위함이다.

특징점 검출단계(S800)는 비디오서버에서 물체의 경계로 파악된 블록의 특징점을 검출한다. 이때, 특징점 검출단계는 특징점 추출단계(S810), 이동물체데이터를 저장단계(S820), 물체의 변화 처리단계(S830) 및 물체의 변화와 이동물체데이터 비교단계(S840)로 이루어진다.

특징점 추출단계(S810)는 이진차영상 중 움직임이 있는 경계를 물체의 경계로 파악된 각 물체의 특징점을 추출하는 것이다. 여기서 특징점은 각 물체의 정체를 파악하기 위한 특징적인 데이터를 의미하고, 특징점의 판단요소는 위치, 색상 밑 크기로 판단한다. 이때 위치는 0.1~0.1초마다 영상이 새로 업데이트되고 이 시간 사이에 사람이 이동할 수 있는 거리에는 한계가 있음을 이용한다. 색상은 위치가 가까운 경우 옷의 색상으로 구분한다 이때는 단색영상이 아니라 컬러영상 자체를 이용한다. 크기는 사람이 일부 가려졌거나 자세가 다른 경우 크기에 차이가 생기는 점을 이용한다. 이상의 특징점을 추출하기 위한 우선순위는 위치> 색상> 크기 순으로 하는 것이 바람직하다. 이러한, 특징점은 각 영상마다 일부분 변경되므로 점진적으로 업데이트하는 것이 바람직하다.

이동물체데이터 저장단계(S820)는 추출된 특징점의 이동물체데이터를 등록하고 이를 저장부(36)에 저장한다.

이동물체의 변화 처리단계(S830)는 추출된 특징점의 이동물체데이터를 저장하는 단계(S820)에서 저장된 특징점에서 물체의 유입, 물체의 소멸, 물체의 중첩 및 물체의 분리와 같은 물체의 변화를 처리하는 것이다. 이때, 물체의 유입은 이동물체데이터에서 유사한 이동물체를 찾지 못한 경우 새로운 물체로 등록하고, 물체의 소멸은 사라진 이동물체가 감시범위의 가장자리에 있었던 경우 감시범위 밖으로 나갔다고 판정하며, 물체의 중첩은 이동물체가 중앙에 있던 경우 주위에 있는 다른 사이 이동물체와 중첩되었다고 판정하며, 물체의 분리는 겹쳤던 이동물체가 이동물체데이터에서 유사한 이동물체를 발견한 경우 겹쳤던 이동물체가 분리된 것으로 판 정한다.

물체의 변화와 이동물체데이터 비교단계(S840)는 이동물체데이터에서 물체의 변화를 확인하여 이동물체의 변화를 정확히 판단하기 위함이다. 이때 처음부터 감지된 이동물체의 특징점 정보를 메모리에 기억하고, 각 영상마다 발견되는 물체의 특징점 정보를 짝짓기 알고리즘을 통해 각 영상마다 발견되는 물체의 특징점 정보에서 발견된 이동물체들이 이전에 어떤 물체였는지 처음부터 감지된 이동물체의 특징점 정보에서 탐색한다. 여기서, 기존에 존재했던 이동물체는 해당 이동물체로 인식하고, 새롭게 나타난 이동물체는 새로운 이동물체로 파악하고 등록한다. 이때, 업데이트되는 각 영상마다 새롭게 얻어진 각 이동물체의 특징점 정보를 처음부터 감지된 이동물체의 특징점 정보에 등록하여 최신영상정보를 유지한다.

특징점과 현시점의 이동물체 정보 비교단계(S900)는 비디오서버에서 추적하기 위한 이동물체를 선정하기 전 이동물체의 정보를 정리한다.

추적대상을 선정단계(S1000)는 비디오서버에서 비교된 이동물체 정보 중 추적대상을 선정하는 것으로, 이동물체 평가단계(S1010) 및 추적물체 선정단계(S1020)로 이루어진다. 이동물체 평가단계(S1010)는 추적기준에 따라 이동물체를 평가하는 것이다. 이때 추적기준은 진입순서, 지정위치에 근접한 이동물체 및 이동속도이다. 여기서, 추적기준은 가중치를 부여할 수 있다.

추적물체 선정단계(S1020)는 비디오서버에서 평가된 이동물체 중 추적물체를 선정한다. 여기서 추적물체의 선정은 모든 물체를 번갈아 가며 추적하는 방법, 추적 중이던 물체가 감시영역의 영상에서 사라질 때까지 계속 추적하는 방법 및 추적 중이던 물체의 촬영영상이 정상적으로 촬영될 때 까지 계속 추적하는 방법 중 어느 하나를 이용할 수 있다.

PTZ카메라 추적단계(S1100)는 추적대상을 PTZ카메라로 추적하는 것으로, 중심좌표 계산단계(S1110), PTZ카메라 좌표 변환단계(1120), 및 PTZ카메라 이동단계(S1130)로 이루어진다. 이때 중심좌표 계산단계(S1110)는 이동물체데이터에서 추정대상의 중심좌표를 계산하는 것으로, 도 14에 도시된 바와 같이, 데카르트 좌표계인 X-Y좌표계를 원형 좌표계인 r-θ좌표계로 변환한다. 이때 사용되는 수학식 1은 아래와 같다.

여기서, PTZ카메라의 PAN의 좌표값을 설정하기 위해 광각렌즈카메라에서 전달된 원형상의 영상을 12시부터 반시계방향으로 0~36000 값을 설정하고, 이를 사분면으로 형성한다.

제 1사분면의 PAN의 좌표는 아래의 수학식 2와 같다.

제 2사분면의 PAN의 좌표는 아래의 수학식 3과 같다.

제 3사분면의 PAN의 좌표는 아래의 수학식 4와 같다.

제 4사분면의 PAN의 좌표는 아래의 수학식 4와 같다.

여기서, PTZ카메라의 TILT의 좌표값을 설정하기 위해 광각렌즈카메라에서 전달된 원형상의 영상을 외곽에서부터 중앙으로 0~36000 값을 설정한 후 TILT의 좌표값은 아래의 수학식 6과 같다.

PTZ카메라 좌표 변환단계(S1120)는 앞서 설명한 수학식에 의해 계산된 중심좌표를 PTZ카메라 좌표로 변환한다.

PTZ카메라 이동단계(S1130)는 변환된 좌표로 PTZ카메라로 전송하여 감시영역의 중심좌표로 PTZ카메라를 이동한다.

도 13에 도시한 바와 같이, 추적대상 촬영단계(S1200)는 감시영역에서 이동 물체의 중심좌표로 PTZ카메라 이동하여 추적대상 촬영한다. 이때 추적대상의 촬영요소는 추적대상을 그림파일로 저장, 추적대상의 번호, 시간을 기록 및 추적대상을 주기마다 촬영을 이용한다. 이러한 촬영된 추적대상의 영상은 비디오서버에서의 저장부(36)에 저장한다. 이는 추적대상의 정보를 기억하여 보안을 강화하기 위함이다.

이상에서 설명한 바와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.

도 1은 본 발명에 따른 광각영상을 이용한 이동물체추적 시스템을 도시한 개략도.

도 2는 본 발명에 따른 PTZ카메라 및 광각렌즈카메라를 도시한 사시도.

도 3은 본 발명에 따른 비디오서버를 도시한 구성도.

도 4는 본 발명에 따른 광각영상을 이용한 이동물체추적 시스템을 도시한 작동상태도.

도 5는 본 발명에 따른 광각영상을 이용한 이동물체추적방법을 도시한 순서도.

도 6은 본 발명에 따른 이진차영상의 변화된 블록을 도시한 구성도.

도 7은 본 발명에 따른 라벨링 단계를 도시한 제1라벨링표시도.

도 8은 본 발명에 따른 라벨링 단계를 도시한 제2라벨링표시도.

도 9는 본 발명에 따른 물체의 경계 파악단계를 도시한 제1영상처리도.

도 10은 본 발명에 따른 물체의 경계 파악단계를 도시한 제2영상처리도.

도 11은 본 발명에 따른 물체의 경계 파악단계를 도시한 제3영상처리도.

도 12는 본 발명에 따른 물체의 경계 파악단계를 도시한 제4영상처리도.

도 13은 본 발명에 따른 좌표를 설정하기 위한 감시영역을 도시한 배경영상.

도 14는 본 발명에 따른 촬영된 영상을 도시한 사진영상.

<도면의 주요 부분에 대한 부호의 설명>

1: PTZ카메라 2: 광각렌즈카메라

3: 비디오서버 31: 인코딩부

32: 제어부 33: 네트워크통신부

34: 데이터변환부 35: 데이터통신부

36: 저장부 4: 클라이언트

5: 인터넷통신망 6: 감시영역

7: 이동물체

Claims (12)

1. 감시영역의 상부 또는 일측에 이동물체를 추적하는 PTZ카메라;

   상기 PTZ카메라 일측에 구비되어 상기 감시영역을 감지하는 광각렌즈카메라;

   상기 PTZ카메라 및 상기 광각렌즈카메라의 정보를 수신하고, 상기 PTZ카메라를 제어하는 비디오서버; 및

   상기 비디오서버와 연결되어 상기 비디오서버를 제어하는 클라이언트;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 시스템.
2. 제 1항에 있어서,

   상기 비디오서버는,

   상기 PTZ카메라 및 상기 광각렌즈카메라와 연결되어 영상을 제공받는 인코팅부;

   상기 인코딩부와 연결되어 영상을 수신하여 이동물체를 감지하고, 감지된 이동물체를 추적하도록 상기 PTZ카메라에 연결된 제어부; 및

   상기 제어부는 상기 클라이언트와 연결하는 네트워크통신부;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 시스템.
3. 제 1항에 있어서,

   상기 비디오서버는,

   상기 제어부에 연결되어 제어부에서 전달된 추적할 이동물체데이터를 시리얼데이터로 변환하는 데이터변환부; 및

   상기 데이터변환부에 연결되어 변환된 상기 이동물체데이터를 상기 PTZ카메라로 전송하는 데이터통신부;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 시스템.
4. 제 1항에 있어서,

   상기 비디오서버는, 상기 제어부에 연결되어 이동물체의 영상을 저장하는 SD메모리, 플래시메모리 및 하드디스크 중 적어도 하나인 저장부를 더 구비한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 시스템.
5. 광각렌즈카메라에서 제공된 원본이미지를 제어부가 수신하는 단계;

   상기 수신된 원본이미지를 상기 비디오서버가 전처리하는 단계;

   상기 전처리된 이미지를 배경영상으로 상기 비디오서버가 처리하는 단계;

   상기 처리된 배경영상과 업데이트영상을 상기 비디오서버가 비교처리하는 단계;

   상기 비교된 상기 업데이트영상을 이진차영상으로 상기 비디오서버에 저장하는 단계;

   상기 처리된 이진차영상 중 움직임이 있는 블록에 상기 비디오서버가 라벨링하는 단계;

   상기 라벨링된 이진차영상 중 움직임이 있는 경계를 물체의 경계로 상기 비디오서버가 파악하는 단계;

   상기 물체의 경계로 파악된 블록의 특징점을 상기 비디오서버가 검출하는 단계;

   상기 특징점과 현시점의 이동물체 정보와 상기 비디오서버가 비교하는 단계;

   상기 비교된 이동물체 정보 중 추적대상을 상기 비디오서버가 선정하는 단계;

   상기 추적대상을 상기 비디오서버가 PTZ카메라를 제어하여 추적하는 단계; 및

   상기 추적대상을 상기 PTZ카메라로 촬영하는 단계;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 방법.
6. 제 5항에 있어서,

   상기 수신된 원본이미지 전처리단계는,

   상기 원본이미지를 단색영상으로 변환하는 단계; 및

   상기 단색처리된 원본이미지를 필터처리하는 단계;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 방법.
7. 제 5항에 있어서,

   상기 배경영상 처리단계는,

   상기 일정시간 동안 이동물체가 발견되지 않은 배경 영상을 등록하는 배경으로 전체업데이트하는 단계; 및

   상기 전체업데이트가 되지 않더라도 상기 이동물체가 존재하지 않은 부분만 부분배경으로 부분업데이트하는 단계;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 방법.
8. 제 5항에 있어서,

   상기 배경영상과 업데이트영상 비교처리단계는,

   상기 배경영상의 등록을 판단하는 단계;

   상기 배경영상과 상기 업데이트영상을 블록기반으로 처리하는 단계;

   상기 블록기반으로 처리된 상기 배경영상과 상기 업데이트영상을 비교하는 단계; 및

   상기 비교된 상기 블록기반으로 처리된 상기 업데이트영상을 이진차영상으로 획득하는 단계;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 방법.
9. 제 5항에 있어서,

   상기 라벨링단계는,

   상기 이진차영상을 사이즈필터링하는 단계; 및

   상기 사이즈필터링된 이진차영상을 라벨링하는 단계;를 포함한 것을 특징으 로 하는 광각영상을 이용한 이동물체추적 방법.
10. 제 5항에 있어서,

    상기 특징점 검출단계는,

    상기 이진차영상 중 움직임이 있는 경계를 물체의 경계로 파악된 각 물체의 특징점을 추출하는 단계;

    상기 추출된 특징점의 이동물체데이터를 저장하는 단계;

    상기 저장된 특징점에서 물체의 유입, 물체의 소멸, 물체의 중첩 및 물체의 분리와 같은 상기 이동물체의 변화를 처리하는 단계; 및

    상기 이동물체의 변화와 상기 이동물체데이터와 비교하는 단계;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 방법.
11. 제 5항에 있어서,

    상기 추적대상 선정단계는,

    상기 추적기준에 따라 상기 이동물체를 평가하는 단계; 및

    상기 평가된 이동물체 중 추적물체를 선정하는 단계;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 방법.
12. 제 5항에 있어서,

    상기 PTZ카메라 추적단계는

    상기 이동물체데이터에서 추정대상의 중심좌표를 계산하는 단계;

    상기 계산된 중심좌표를 상기 PTZ카메라 좌표로 변환하는 단계; 및

    상기 좌표로 PTZ카메라가 이동하는 단계;를 포함한 것을 특징으로 하는 광각영상을 이용한 이동물체추적 방법.

Images