KR101552600B1

KR101552600B1 - 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법

Info

Publication number: KR101552600B1
Application number: KR1020150045318A
Authority: KR
Inventors: 박영; 전성호
Original assignee: (주)서광시스템
Priority date: 2015-03-31
Filing date: 2015-03-31
Publication date: 2015-09-11

Abstract

본 발명은 차량 단속 및 방범 기능의 다목적 카메라에서 적어도 2M픽셀 이상으로 촬영한 이미지에서 복수의 보행자를 동시에 검출하고, 검출된 보행자들을 정규화 하여 중복 보행자를 제거하고, 대상 보행자를 실시간으로 추적 및 저장하는 영상분할 감지를 이용한 보행자 추적 방법에 관한 것으로서, 카메라를 통해 원거리에서 촬영 영역이 촬영된 고해상도 이미지를 추적서버에 전송하고, 상기 추적서버에서 전송된 고해상도 이미지를 멀티섹터 이미지로 분할하여 복수의 보행자를 동시에 검출하는 단계; 상기 분할된 멀티섹터 이미지에서 검출되는 각각의 보행자를 정규화 하는 단계 및 상기 정규화된 보행자 중 중복되는 보행자를 제거하는 단계를 포함하여, 복수의 보행자를 동시 검출하고, 이동경로를 지속적으로 추적하여 저장하는 것을 특징으로 한다.

Description

영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법{Method for tracking multiple walking object simultaneously using sectioned image}

본 발명은 영상분할 이용한 복수의 보행자 객체를 동시에 추적 방법에 관한 것으로서, 더욱 상세하게는 종래의 회전형 카메라를 이용한 기계적 PTZ 방식으로 보행자를 추적하는 대신에, 고정형 카메라의 고해상도 영상을 소프트웨어적으로 처리하여 복수의 보행자를 동시에 검출하여 추적하는 방법에 관한 것이다.

일반적으로, 범죄자나 관심 대상이 되는 보행자의 추적 방식은 고정형 카메라로 보행자를 인지한 후 회전형 카메라를 통하여 보행자를 추적하는 방식과, 회전형 카메라로 대상이 되는 보행자 보행자를 감지 및 추적하는 방식으로 구성되어 있다. 이러한 2가지 방식 모두 회전형 카메라의 기계적 PTZ(pan/tilt/zoom) 제어를 통해 근거리 확대 추적 방식으로 하나의 보행자만 추적할 수 있다.

도 1과 같은 회전형 카메라의 경우 PTZ제어를 통해 대상이 되는 보행자를 카메라가 지속적으로 따라가며 촬영하기 때문에 하나의 카메라가 하나의 대상밖에 추적하지 못한다. 대상이 되는 보행자를 지속적으로 추적하려면 다수의 카메라가 필요하며 PTZ제어가 가능한 회전형 카메라가 필수적으로 필요하다.

기계적 PTZ 제어를 통한 보행자 추적 시에는 대상을 확인하고 추적해야 하기 때문에, 수시로 카메라의 거리조절을 진행해야 하며 PTZ제어가 늦으면 추적 대상이 카메라 밖으로 사라져 놓쳐 버리는 경우가 있다.

또한, 기계적 PTZ 구동은 대상이 되는 보행자를 추적하는데 시간이 많이 걸릴 뿐 아니라, 과도한 구동으로 잦은 고장이 발생할 수 있어 카메라의 수명을 단축시키고, 촬영범위가 좁아 대상이 되는 객체를 추적 도중에 놓쳐 추적할 수 없는 문제점이 있다.

종래의 기술로서 특허문헌 1은 촬영되는 영상에서 객체를 추출하여 배경을 제거하고, 대상 객체의 특징점들을 기반으로 관심영역 ROI(Region Of Interest)를 이동시키면서 추출된 객체를 추적하는 기술이 기재되어 있고, 특허문헌 2는 촬영하여 저장된 영상 속에 움직임이 있는 객체를 다양한 파라메터에 의해 식별함으로써 광범위한 감시영역에서 해당 객체 고유 식별자(ID)를 재생 시 지속적으로 추적할 수 있도록 하는 구성이 기재되어 있으나, 카메라의 PTZ제어를 통해 대상이 되는 객체를 자동 감지, 추적 및 실시간 감시가 불가능하고, 복수의 객체를 동시에 감지할 수 없는 종래의 문제점을 그대로 가지고 있다.

1. 한국등록특허 제10-1492059호 2. 한국공개특허 제10-2003-0064668호

본 발명은 종래의 회전형 카메라를 사용하여 기계적 PTZ 방식으로 보행자 객체를 추적하는 대신에, 고정형 카메라의 영상을 소프트웨어적으로 영상처리하여 복수의 보행자 객체를 동시에 검출하여 추적하고, 각 보행자 객체의 이동경로를 정지영상으로 저장하여 동영상과 연계하는 방법을 제공하고자 한다.

상기의 해결하고자 하는 과제를 위한 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법은, 추적서버에서 관심영역을 원거리에서 전체적으로 촬영할 수 있도록 고정형 디지털 카메라를 제어하여 원거리 촬영 모드로 설정하는 단계; 상기 디지털 카메라로부터 고해상도 영상을 획득하여 추적서버로 전송하고 동영상을 데이터베이스에 저장하는 단계; 추적서버에서 전송된 고해상도 이미지를 멀티섹터 이미지로 중첩 분할하는 단계; 분할된 이미지 각각으로부터 HFCC(Haar Feature-based Cascade Classifier)방식으로 복수의 보행자 객체를 동시에 검출하는 단계; 검출된 객체의 특징값 히스토그램을 작성하고 정규화하는 단계; 정규화된 이미지에서 중복된 보행자 객체를 제거하는 단계 및 정규화된 특징값을 이전값들과 비교하여 동일 보행자 객체의 이동경로를 추적하는 단계를 포함하여, 복수의 보행자를 동시에 검출하고 이동경로를 추적하는 것을 특징으로 한다.

상기 고해상도 이미지는 적어도 2M 픽셀인 것을 특징으로 하고, 추적하는 보행자 객체에 대하여, 보행자의 정지영상을 소정 시간 간격으로 저장하고, 데이터베이스에 저장되는 동영상과 정지영상을 연계하여 보행자의 이동경로를 확인하는 것을 특징으로 한다.

상기 추적서버는 멀티코어 CPU를 가진 것을 특징으로 한다.

상기 중첩 분할하는 단계는 추적서버의 CPU 코어 수에 맞추어 분할하며, 경계부분에서 추출 보행자가 유실되지 않도록 중첩 분할하는 것을 특징으로 한다.

상기 HFCC 방식은 검출기를 난이도 순으로 배치하여 이전 난이도를 통과한 후보 보행자 객체만이 다음 난이도의 검출기로 검출을 진행하는 것을 특징으로 한다.

정규화 단계에서는 특징값 히스토그램 간에 유사도 또는 거리를 구하는 것을 특징으로 한다.

중복된 보행자 객체 제거 단계에서는 검출된 각 보행자의 위치를 원본 이미지 상의 좌표로 매핑 후 비교하여 중복 보행자 객체를 제거하는 것을 특징으로 한다.

보행자 객체의 이동경로를 추적하는 단계에서는 추출된 각 보행자들의 특징값 히스토그램, 위치 및 크기 요소에 가중치와 임계값을 적용하여 유사도를 평가하여 추적하는 것을 특징으로 한다.

본 발명은 카메라에서 촬영되는 고해상도 이미지에서 추적하고자 하는 복수의 보행자를 소프트웨어적으로 동시에 추출하여 추적하므로, 카메라의 PTZ제어를 하지 않고 대상 보행자를 추적할 수 있어 카메라의 고장을 방지하여 내구성 및 시스템 신뢰성을 확보할 수 있는 이점이 있다.

또한, 기존에 사용되는 카메라를 이용하여 방범용으로 사용할 수 있어 중복으로 투자되는 예산을 절감하는 경제적 효과를 얻을 수 있으며, 추후 이미지 검색 엔진 연동을 통하여 저장된 보행자 정지 영상에서 관심 보행자 검색으로 확장 활용이 가능한 이점이 있다.

또한, 본 발명의 영상분할 감지를 이용한 보행자 추적 방법은 대상 보행자를 추적하는 것뿐만 아니라 불법주정차 단속, 수배차량, 불법 쓰레기 투기, 방범 및 주차 관제시스템 등 다목적으로 활용할 수 있다.

도 1은 종래기술에 의한 보행자 객체 추적방법을 나타낸 도면이다.
도 2는 본 발명에 따른 영상분할 감지에 의한 보행자 객체 추적 및 저장하는 시스템의 구성도이다.
도 3은 본 발명에 따른 영상분할 감지를 이용한 보행자 객체 추적 방법의 흐름도이다.
도 4는 본 발명에 따른 영상분할 감지를 이용한 보행자 객체 추적 방법의 카메라 촬영 범위를 나타내는 도면이다.
도 5는 본 발명에 따라 하나의 고해상도 이미지를 멀티섹터 이미지로 중첩 분할하는 것을 나타낸 사진이다.
도 6은 본 발명에 따라 분할된 멀티섹터 이미지에서 Haar feature 방식을 통해 특징을 추출하는 방법을 보여준다.
도 7은 본 발명에 따라 Haar feature 방식을 통해 검출되는 객체들을 캐스케이드 검출방식으로 검출하여 대상 객체가 아닌 것을 순차적으로 제거하는 것을 나타낸 도면이다.
도 8은 본 발명에 따라 검출된 보행자 객체의 정지영상을 저장하는 것을 나타낸 사진이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 어느 곳에서든지 동일한 부호로 표시한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 2는 본 발명에 따른 영상분할 감지에 의한 보행자 추적 및 저장하는 시스템의 구성도로서, 적어도 2M 픽셀의 영상을 촬영하는 카메라, 카메라에서 촬영된 동영상을 저장하는 데이터베이스 및 추적서버를 포함하여 구성된다.

상기 카메라는 높은 위치에 고정식으로 설치되는 디지털 방식의 카메라이며, 원거리에서 도로나 풍경 등의 촬영 영역을 보행자와 함께 촬영하고, 촬영되는 영상은 프레임당 적어도 2M 픽셀의 화소를 가지고 있어 영상을 분할 확대하여도 충분히 보행자를 인식할 수 있다.

이러한 상기 카메라는 고정형 CCTV, 이동형 CCTV, 방범용 CCTV, 다목적 CCTV 및 IP카메라로 이루어질 수 있으며, 유선 또는 무선으로 추적서버와 연결하여 설치할 수 있다.

상기 데이터베이스는 카메라에서 촬영되는 동영상을 지속적으로 저장한다.

상기 추적서버는 카메라에서 촬영된 고해상도 이미지를 멀티섹터로 중첩 분할하여 이미지에 나타난 보행자를 검출하고, 검출된 보행자의 특징값 히스토그램을 정규화하며, 정규화된 각 보행자의 위치를 원본 이미지 상의 좌표와 매핑 후 비교하여 중복되는 보행자를 제거하고, 다수의 보행자를 추적함과 동시에 보행자의 정지 영상을 동영상과 연계하여 저장한다.

상기 추적서버는 고해상도 이미지를 멀티 섹터로 분할할 때에는 CPU 코어 수에 준하여 분할하게 되며, 동시에 멀티 프로세싱을 하기 위하여 복수의 코어를 가진 멀티코어 CPU를 채택한다. 멀티코어는 통상 12개 정도이나 분할 섹터 수에 대응한 코어가 적당하다.

도 3은 본 발명에 따른 영상분할 감지를 이용한 보행자 추적 방법의 흐름도를 나타낸다.

도 4는 본 발명에 따라 고정형 카메라가 촬영 영역을 촬영하는 것을 나타낸 것으로서, 하나의 고정형 카메라가 한 장의 고해상도 이미지에 원거리로 촬영 영역 전체를 촬영하는 것이 특징이다.

추적서버는 촬영 관심영역이 적절한 원거리에서 촬영되도록 고정형 카메라를 제어하여 원거리 촬영모드로 설정하고, 설정이 완료되면 촬영 관심영역을 카메라로 촬영하여 고해상도 이미지를 추적서버에 전송하고, 동시에 고해상도로 이루어지는 동영상을 데이터베이스로 전송하여 저장하게 된다.

상기 데이터베이스에 저장되는 동영상과 멀티섹터 이미지로 분할되어 검출되는 보행자의 정지영상을 연계하여 보행자의 이동경로를 확인하게 된다.

상기 카메라에서 촬영되는 고해상도 이미지는 적어도 2M 픽셀로 촬영된다. 기존 아날로그 카메라는 704 x 480 픽셀로 촬영하여 화면 분할을 하여 확대할 경우 객체 추출이 어려우나 2메가급(1920 x 1080) 디지털 카메라를 사용하여 촬영하여 분할해도 객체 검출에 충분한 이미지를 확보할 수 있다.

도 5는 하나의 고해상도 이미지를 멀티섹터 이미지로 중첩 분할하는 것을 나타낸 사진이다.

상기 추적서버로 고해상도 이미지가 전송되면, 추적서버에서 고해상도 이미지를 멀티섹터 이미지로 분할하고, 분할되는 멀티섹터 이미지에서 복수의 보행자를 검출해낸다.

상기 추적서버에서 고해상도 이미지를 멀티섹터 이미지로 분할할 때에는 추적서버의 CPU 코어 수에 준하여 분할하며, 상기 멀티섹터 이미지는 경계부분에서 추출 보행자가 유실되지 않도록 중첩 분할한다.

상기 분할된 멀티섹터 이미지는 Haar feature 기반 캐스케이드 검출(HFCC: Haar Feature-based Cascade Classifier)방식을 통해 보행자 객체를 검출하게 된다.

상기 HFCC 방식은 Haar feature 방식과 캐스케이드 검출(cascade classifier) 방식이 결합된 방식이다.

도 6은 Haar feature 방식을 통해 특징을 추출하는 것을 보여주는 것으로, 기본적으로 영역의 밝기차를 이용하여 도 6의 왼쪽과 같이 다양한 형태(edge, line center)의 기본적인 특징(elementary feature)들을 조합하여 객체의 특징을 검출한다.

각 기본적인 특징에 대한 특징값은 feature의 흰색 부분에 해당하는 영상 픽셀들의 밝기 합에서 검은색 부분의 밝기 합을 뺀 차로 계산된다. feature를 이용한 대상의 식별은 계산된 영역의 밝기 차가 feature에 부여된 임계값(threshold)보다 큰지 작은지 여부를 이용한다. 하나의 feature를 사용하는 것이 아니라 다수의 feature를 조합하여 사용하게 되며, 예를 들어 사용한 feature가 f1, f2, ..., fn이라면 f1<t1이고 f2<t2이고 f3>t3, ..., fn<tn을 만족하면 대상 객체이고 만족하지 않으면 배경이라고 판단하는 식이다.

같은 종류의 feature라 할지라도 객체 내에서의 위치 및 크기(scale)에 따라 서로 다른 feature로 간주하기 때문에 거의 무한대에 가까운 feature 조합이 가능하다. 이들 중 의미있는 feature들을 선정하는 것이 중요한데, 의미있는 feature란 인식하고자 하는 대상들에서는 비슷한 값을 나타내면서 대상이 아닌 경우에는 랜덤한 값을 내는 feature들로 볼 수 있다. 예를 들어, 도 6의 오른쪽 그림과 같이 사람의 눈 영역에 대해 feature를 잡으면 눈 영역은 대체로 주변보다 어둡기 때문에 사람 얼굴 검출을 위한 의미있는 feature가 된다. 이러한 의미있는 feature의 선정은 수작업보다는 boosting 알고리즘 등과 같이 자동화된 학습 알고리즘을 사용한다.

도 7은 Haar feature 방식을 통해 검출되는 보행자들을 캐스케이드 검출방식으로 검출하여 대상 객체가 아닌 것을 순차적으로 제거하는 것을 나타낸 도면이다.

캐스케이드 검출방식이란 다수의 검출기를 구비하고, 각각의 검출기는 검출 난이도가 점차 정교해지도록 다르게 설정하여 순차적으로 배열하며, 이러한 검출기를 순차적으로 통과하며 추적하고자 하는 개체의 특징과 비교하여 특징이 다른 보행자 객체를 순차적으로 제거하여 보행자 객체의 범위를 점차 좁혀 나가며 대상 보행자 객체를 검출하게 된다.

캐스케이드 검출 방식은 초기 난이도가 낮은 검출기를 통과한 후보 보행자 객체만을 다음 난이도의 검출기에서 다음 단계의 검출을 진행하므로 전체적인 검출속도가 향상되는 이점이 있다.

즉, 하나의 검출기로 물체를 찾는 것이 아니라 여러 개의 검출기를 순차적으로 사용하되 처음에는 간단한 검출기를 적용하고 점점 더 정교한 검출기를 적용하므로, 시간이 많이 걸리는 강력한 검출기는 초기 단순 검출기를 통과한 후보에만 적용되어 전체적으로 검출 속도가 크게 향상된다.

상기 멀티섹터 이미지에서 보행자가 검출되지 않으면 다시 카메라에서 촬영되는 고해상도 이미지를 멀티섹터 이미지로 분할하여 보행자를 검출하게 된다.

검출된 객체의 특징값들은 히스토그램(histogram)으로 작성한다. 히스토그램은 구간별 도수분포도로서 밝기(흑백) 분포도나 색상(RGB) 분포도로 나타낼 수 있다. 히스토그램은 전역특징을 표현하므로 이동, 회전, 크기변화에 강인하고 처리속도가 빨라서 이동 객체를 추적하는데 적합하다.

보행자 객체의 추적은 히스토그램 매칭으로 할 수 있다. 히스토그램 정합(matching)은 두 히스토그램 간의 유사도 또는 거리를 측정한다.

히스토그램의 유사도는 다음 수학식 1로 계산되며 결과값이 클수록 인식하고자 하는 객체와 유사하다.

(수학식 1)

여기서 H_I(j)는 입력 영상 I(x,y)의 히스토그램이고, H_M(j)는 모델영상의 히스토그램이고, 입력 영상과 모델 영상은 동일한 n개의 밝기 값을 가진다.

히스토그램 빈(bin)간의 거리는 수학식 2와 같이 계산된다.

(수학식 2)

두 개의 히스토그램의 정합도가 0과 1사이를 갖도록 히스토그램을 수학식 3을 이용하여 nH(I,M)으로 정규화 한다.

(수학식 3)

특징값 화소들이 같은 밝기를 갖는 경우에는 정합도가 커지고, 특정 밝기의 화소 개수가 모델 영상에서의 화소 개수가 적으면 정합도가 커진다.

상기 정규화 과정에서 사용되는 각 보행자의 특징값 히스토그램은 밝기(음영)외에 색상을 사용하여 이루어질 수 있다.

또한, 원근에 따라 사이즈를 정규화 시킬 수 있어, 멀리 있는 보행자는 크게 확대되며, 가까이 있는 보행자는 작게 축소된다. 섹터 분리된 영상의 픽셀수가 소정의 규격보다 적으면 양선형 보간법(bilinear interpolation)을 통해 원영상의 픽셀수보다 많은 픽셀들을 생성하고, 섹터 분리된 영상의 픽셀수가 소정의 규격보다 많으면 재표본추출(resampling) 기법을 적용하여 일부 픽셀만을 추출함으로써 픽셀수를 조절한다.

상기 정규화가 이루어진 멀티섹터 이미지는 중첩 분할되기 때문에 동일한 보행자가 각 멀티섹터 이미지에 포함될 수 있어 동일 보행자가 중첩 추출될 수 있다.

각 멀티섹터 이미지에서 중복 추출될 수 있는 보행자는 제거하여 하나만 남기게 되는데, 이때 중복 보행자를 제거하는 방법은 각 보행자의 위치를 원본 이미지 상의 좌표로 매핑 후 비교하여 중복 보행자를 제거한다.

상기 매핑 작업을 위해 고해상도 이미지를 멀티섹터 이미지로 분할할 때 원본이미지와 분할되는 멀티섹터 이미지에 동일한 좌표가 매핑된다.

고해상도 원본 이미지는 노이즈 제거 및 색대비(contrast) 불량 제거를 위하여 이미지 전처리(image preprocessing)를 수행할 수 있다.

이미지 전처리 기법은 메디안 필터링(median filtering) 기법, 히스토그램 등화(histogram equalization) 및 모폴로지(morphology) 처리 기법을 사용한다.

메디안 필터링(median filtering) 기법은 영상의 노이즈를 감소시키기 위한 비선형 필터링 방식을 적용하여, N개의 데이터가 주어지는 경우, 전체 N개의 데이터에서 최소값이나 최대값을 찾은 후, 남은 데이터로부터 다시 최소값이나 최대값을 찾고, 하나씩 배제함으로써 중간값을 찾는다. N이 홀수이면 평균 필터는 N에 비례한 연산이 필요하며, 메디안 필터는 N²에 비례하는 연산을 수행한다. 메디안 필터링은 출력에 잡음의 영향을 감소시킬 수 있고 선명도가 개선된다. 필요에 따라 메디안 필터링 단계를 생략하고 평균 필터(mean filter)를 적용할 수 있다.

히스토그램 등화 기법은 등화 이후에 등화 전과 비교하여 확산된 분포를 가진 히스토그램을 생성하고, 생성된 히스토그램을 이용하여 변환함수를 얻고, 변환함수를 이용하여 등화 전 영상의 명도의 동적 영역을 재조절함으로써 영상의 명도를 개선시킨다. 히스토그램 알고리즘에서는 빈번히 발생하는 최저 비트값을 할당하고 빈도수의 크기가 적어짐에 따라 좀 더 큰 비트값을 할당하여 영상값을 분석한다.

모폴로지 처리 기법은 영상 내에 존재하는 특정 보행자의 형태를 변형시키는 용도로 사용되는 영상 처리 기법이며, 영상의 경계, 블록, 골격등 형태를 표현하거나 서술하는데 필요한 영상요소를 추출할 때 활용한다. 이러한 모폴로지 처리 기법은 영상의 경계 너비가 일정치 않거나 중간에 단절되어 이를 일정하게 하거나 연결할 때 사용되며, 이진 영상 처리에 주로 사용되고, 그레이스케일 영상에도 확장되어 적용될 수 있다.

상기 멀티섹터 이미지에서 중복된 보행자가 제거되면, 추출된 각 보행자들의 특징값 히스토그램과 위치 및 크기 요소에 가중치(weight value)와 임계값(threshold Value)을 적용하여 유사도를 평가한 후 동일 보행자 여부를 확인하여 추적하고 지형지물과 같은 오탐지 객체는 제거한다.

추적하는 과정에서 초당 한 장씩의 정지영상을 저장하여 보관한다.

도 8은 본 발명에 따라 검출된 보행자의 정지영상을 저장하는 것을 나타낸 사진이다.

대상 보행자를 추적하게 되면 초당 한 장씩 보행자의 정지영상을 데이터베이스에 저장하여 보관한다. 이때 정지영상이 추출된 동영상과 시간 또는 일련번호로 연계시켜 저장하여 추후 비교 검증과 증거자료로 활용할 수 있다.

데이터베이스에 저장되는 정지영상과, 동영상은 보행자를 추적할 때 서로 연계되어 보행자의 이동경로를 확인 및 추적할 수 있다.

즉, 멀티섹터 이미지로 분할되어 감지되는 복수의 보행자 중 대상 보행자가 감지되면 정지영상으로 대상 보행자를 확대하여 표시하고, 동영상을 통해 대상 보행자의 이동경로를 표시하도록 할 수 있다.

상기의 과정을 반복하여 대상이 되는 보행자를 다수의 보행자 중에서 추출하여 지속적으로 감지 및 저장하고, 보행자의 이동경로에 따라 다음 카메라에서도 동일한 과정을 진행하여 대상보행자를 계속 추적할 수 있도록 한다.

본 발명은 카메라에서 촬영되는 고해상도 이미지에서 추적하고자 하는 보행자를 소프트웨어적으로 추출하여 추적하므로, 카메라의 기계적 PTZ제어를 하지 않고 대상 보행자를 추적할 수 있어 카메라의 고장을 방지하여 내구성 및 시스템 신뢰성을 확보할 수 있는 이점이 있다.

상기와 같은 영상분할 감지를 이용한 보행자 추적 방법은 위에서 설명된 실시예들의 구성과 작동 방식에 한정되는 것이 아니다. 상기 실시예들은 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있도록 구성될 수도 있다.

Claims

추적서버에서 관심영역을 원거리에서 전체적으로 촬영할 수 있도록 하나의 고정형 디지털 카메라를 제어하여 원거리 촬영 모드로 설정하는 단계;
상기 디지털 카메라로부터 고해상도 영상을 획득하여 추적서버로 전송하고 동영상을 데이터베이스에 저장하는 단계;
추적서버에서 전송된 적어도 2M 픽셀의 고해상도 정지영상 이미지를 멀티섹터 이미지로 중첩 분할하는 단계;
분할된 이미지 각각으로부터 HFCC(Haar Feature-based Cascade Classifier)방식으로 복수의 보행자 객체를 동시에 검출하는 단계;
검출된 객체의 특징값 히스토그램을 작성하고 특징값 히스토그램을 정규화하는 단계;
양선형 보간법 및 재표본추출 기법으로 객체의 원근에 따라 이미지 사이즈를 정규화하는 단계;
이미지 사이즈가 정규화된 이미지에서 중복된 보행자 객체를 제거하는 단계 및
정규화된 특징값 히스토그램에서 이전값들과 비교하여 동일 보행자 객체의 이동경로를 추적하는 단계를 포함하여,
복수의 보행자를 동시에 검출하고 이동경로를 추적하는 것을 특징으로 하는 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법.
삭제
제1항에 있어서,
추적하는 보행자 객체에 대하여 보행자의 정지영상을 소정 시간 간격으로 저장하고, 데이터베이스에 저장되는 동영상과 정지영상을 연계하여 보행자의 이동경로를 확인하는 것을 특징으로 하는 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법.
제1항에 있어서,
상기 추적서버는 멀티코어 CPU를 가진 것을 특징으로 하는 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법.
제1항에 있어서,
상기 중첩 분할하는 단계는 추적서버의 CPU 코어 수에 맞추어 분할하며, 경계부분에서 추출 보행자가 유실되지 않도록 중첩 분할하는 것을 특징으로 하는 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법.
제1항에 있어서,
상기 HFCC 방식은 검출기를 난이도 순으로 배치하여 이전 난이도를 통과한 후보 보행자 객체만이 다음 난이도의 검출기로 검출을 진행하는 것을 특징으로 하는 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법.
제1항에 있어서,
특징값 히스토그램 정규화 단계에서는 특징값 히스토그램 간에 유사도 또는 거리를 구하는 것을 특징으로 하는 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법.
제1항에 있어서,
중복된 보행자 객체 제거 단계에서는 검출된 각 보행자의 위치를 원본 이미지 상의 좌표로 매핑 후 비교하여 중복 보행자 객체를 제거하는 것을 특징으로 하는 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법.
제1항에 있어서,
보행자 객체의 이동경로를 추적하는 단계에서는 추출된 각 보행자들의 특징값 히스토그램, 위치 및 크기 요소에 가중치와 임계값을 적용하여 유사도를 평가하여 추적하는 것을 특징으로 하는 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법.