KR101380628B1 - 복수의 카메라를 사용한 객체 추적 방법 및 장치 - Google Patents

Abstract

복수의 카메라를 사용하여 중첩 감시 공간의 객체를 통합적으로 추적하면서 객체에 대한 식별성을 높이도록 한 복수의 카메라를 사용한 객체 추적 방법 및 장치에 관한 것으로, 동일 공간을 감시하는 복수 카메라 영상의 객체를 월드 좌표계로 변환하여 변환된 월드 좌표계를 기준으로 객체를 추적하도록 하여 일부 카메라에서는 포착되지 않는 객체에 대해서도 공간을 기준으로 통합적인 객체 추적이 가능한 효과가 있다. 또한, 동일 공간을 감시하는 복수 카메라의 시차에 따라 얻어지는 객체별 특징 정보를 산출하여 월드 좌표계에서 식별되는 객체에 매핑한 후 새로운 객체가 나타날 때 해당 객체의 특징 정보를 추출하여 기 추적되던 객체의 특징 정보와 대비하는 것으로 새로운 객체가 신규 객체인지 기 추적되건 객체인지 구분하도록 함으로써 추적 객체에 대한 식별성을 높여 객체 추적 지속성을 개선하는 효과가 있다.

Description

복수의 카메라를 사용한 객체 추적 방법 및 장치{METHOD AND APPARATUS FOR OBJECT TRACKING USING MULTIPLE CAMERAS}

본 발명은 객체 추적 방법에 관한 것으로서 보다 상세하게는 복수의 카메라를 사용하여 중첩 감시 공간의 객체를 통합적으로 추적하면서 객체에 대한 식별성을 높이도록 한 복수의 카메라를 사용한 객체 추적 방법 및 장치에 관한 것이다.

연속 영상에서 객체의 추적은 최근 몇 년간 여러 실용적 응용 분야에서 관심을 가지는 주제 중 하나이다. 특히, 다중 물체 추적 시스템은 주위 환경 변화가 존재하는 연속 영상으로부터 움직이는 객체를 추출할 수 있어야 한다. 움직이는 객체 추적을 위한 방법은 3-D(dimension) 모델 기반의 방법, 영역 기반의 방법, 능동 윤곽선 기반의 방법, 특징 기반의 방법이 있다.

3-D 모델 기반의 방법은 소수의 객체에 대해 정확성이 높은 모델과 궤적을 복원하는 것이며, 상세한 기하학적 물체의 모델이 주어져야 하는 단점이 있다. 모든 움직이는 물체에 대한 상세한 모델을 기대하는 것은 비현실적이기 때문이다. 영역 기반 방법은 연속 영상에서 연결된 영역을 구하고 상관관계(cross-correlation) 측정을 이용하여 움직이는 물체를 추적하는 방법이며 현재의 배경을 측정하여 입력되는 영상과의 차영상에서 물체를 검출한다. 이 방법은 차영상에 임계값 이상의 화소를 연결한 영역은 찾으나 혼잡한 물체의 상태에서 각각의 물체를 분할해야 하는 단점이 존재한다. 능동 윤곽선 기반의 방법은 물체의 경계진 윤곽선을 표현하고, 그것을 동적으로 갱신하면서 추적하는 방법이며, 이 방법의 이점은 영역 기반에 비해 복잡한 계산이 줄어든다는 것이나 부분적 가려짐이 발생할 경우 물체를 분할할 능력이 없다.

특히, 중요한 공간을 복수의 카메라로 감시할 경우 개별 객체에 대한 정확한 식별이 쉽지 않고 공간을 기반으로 해당 공간 내 객체를 통합적으로 추적 관리하는 것이 쉽지 않을 뿐만 아니라 각 카메라의 시차에 의해 동일 객체 여부나 객체의 군집 여부 등을 파악하기 어려울 뿐만 아니라, 복수의 객체가 군집한 후 분화되는 경우 객체 식별을 유지하는 것은 더더욱 어렵다.

본 발명의 제1 목적은 동일 공간을 감시하는 복수 카메라 영상의 객체를 월드 좌표계로 변환하여 변환된 월드 좌표계를 기준으로 객체를 추적하도록 하여 일부 카메라에서는 포착되지 않는 객체에 대해서도 공간을 기준으로 통합적인 객체 추적이 가능하도록 한 복수의 카메라를 사용한 객체 추적 방법 및 장치를 제공하는 것이다.

본 발명의 제2 목적은 동일 공간을 감시하는 복수 카메라의 시차에 따라 얻어지는 객체별 특징 정보를 산출하여 월드 좌표계에서 식별되는 객체에 매핑한 후 새로운 객체가 나타날 때 해당 객체의 특징 정보를 추출하여 기 추적되던 객체의 특징 정보와 대비하는 것으로 새로운 객체가 신규 객체인지 기 추적되건 객체인지 구분하도록 함으로써 추적 객체에 대한 식별성을 높여 객체 추적 지속성을 개선하도록 한 복수의 카메라를 사용한 객체 추적 방법 및 장치를 제공하는 것이다.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 객체 추적 장치가 복수의 객체 추적 카메라를 기반으로 객체를 추적하는 방법은 상기 객체 추적 장치가 상기 복수의 객체 추적 카메라에서 촬영된 영상에서 객체를 식별하는 단계, 상기 객체 추적 장치가 상기 식별된 객체의 좌표를 카메라 좌표계에서 월드 좌표계로 변환하는 단계, 상기 객체 추적 장치가 상기 식별된 객체의 제1 특징 정보를 상기 복수의 객체 추적 카메라 영상들로부터 각각 추출하는 단계, 상기 객체 추적 장치가 상기 제1 특징 정보와 기존에 식별된 객체에 매핑된 제2 특징 정보를 기반으로 상기 제1 특징 정보와 상기 제2 특징 정보가 설정된 임계값 이상으로 유사한지 여부를 판단하는 단계, 상기 객체 추적 장치가 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 이상으로 유사하다고 판단하는 경우, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 단계와 상기 객체 추적 장치가 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 제2 특징 정보에 매핑된 식별자를 상기 식별된 객체에 매핑하여 상기 월드 좌표계를 기반으로 상기 식별된 객체를 추적하는 단계를 포함할 수 있다.

복수의 객체 추적 카메라를 기반으로 객체를 추적하는 방법은 상기 객체 추적 장치가 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 미만으로 유사하다고 판단하는 경우, 상기 식별된 객체를 새롭게 식별된 객체로 결정하는 단계와 상기 객체 추적 장치가 상기 식별된 객체를 상기 새롭게 식별된 객체로 결정하는 경우, 새로운 식별자를 상기 식별된 객체에 매핑하여 상기 월드 좌표계를 기반으로 상기 식별된 객체를 추적하는 단계를 더 포함할 수 있다.

상기 객체 추적 장치가 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 객체 추적 장치가 상기 제1 특징 정보로 제2 특징 정보를 갱신하거나, 제1 특징 정보를 제2 특징 정보에 누적하거나 혹은 제1 특징 정보를 제2 특징 정보와 병합할 수 있다.

상기 객체 추적 장치는 칼만 필터를 기반으로 상기 식별된 객체를 추적하되, 상기 칼만 필터는 월드 좌표계에서 과거에 필터링된 상기 식별된 객체의 추정치와 현재 상기 식별된 객체의 측정치를 기반으로 상기 식별된 객체의 미래 상태에 대한 예측치를 산출하는 필터일 수 있다.

상기 제1 특징 정보 및 상기 제2 특징 정보는 복수의 객체 추적 카메라의 서로 다른 촬영 각도를 기반으로 촬영된 영상에서 개별적으로 산출된 복수의 특징 정보를 포함할 수 있다.

상기 제1 특징 정보는 상기 복수의 객체 추적 카메라에서 촬영된 상기 식별된 객체에 대한 제1 HOG(histogram of oriented gradient) 특징 벡터이고, 상기 제2 특징 정보는 상기 복수의 객체 추적 카메라에서 촬영된 상기 식별된 상기 기존에 식별된 객체에 대한 제2 HOG 특징 벡터일 수 있다. 상기 제1 HOG 특징 벡터는 상기 제1 특징 정보에 포함된 제1 그레디언트의 크기 및 상기 제1 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터이고, 상기 제2 HOG 특징 벡터는 상기 제2 특징 정보에 포함된 제2 그레디언트의 크기 및 상기 제2 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터일 수 있다.

상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 복수의 객체 추적 카메라를 기반으로 객체를 추적하는 객체 추적 장치는 프로세서를 포함하고, 상기 프로세서는, 상기 복수의 객체 추적 카메라에서 촬영된 영상에서 객체를 식별하고, 상기 식별된 객체의 좌표를 카메라 좌표계에서 월드 좌표계로 변환하고, 상기 식별된 객체의 제1 특징 정보를 상기 복수의 객체 추적 카메라 영상들로부터 각각 추출하고, 상기 제1 특징 정보와 기존에 식별된 객체에 매핑된 제2 특징 정보를 기반으로 상기 제1 특징 정보와 상기 제2 특징 정보가 설정된 임계값 이상으로 유사한지 여부를 판단하고, 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 이상으로 유사하다고 판단하는 경우, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하고, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 제2 특징 정보에 매핑된 식별자를 상기 식별된 객체에 매핑하여 상기 월드 좌표계를 기반으로 상기 식별된 객체를 추적하도록 구현될 수 있다.

상기 프로세서는 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 미만으로 유사하다고 판단하는 경우, 상기 식별된 객체를 새롭게 식별된 객체로 결정하고, 상기 식별된 객체를 상기 새롭게 식별된 객체로 결정하는 경우, 새로운 식별자를 상기 식별된 객체에 매핑하여 상기 월드 좌표계를 기반으로 상기 식별된 객체를 추적하도록 구현될 수 있다.

상기 프로세서는, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 제1 특징 정보로 제2 특징 정보를 갱신하거나, 제1 특징 정보를 제2 특징 정보에 누적하거나 혹은 제1 특징 정보를 제2 특징 정보와 병합할 수 있다.

상기 프로세서는 칼만 필터를 기반으로 상기 식별된 객체를 추적하되, 상기 칼만 필터는 월드 좌표계에서 과거에 필터링된 상기 식별된 객체의 추정치와 현재 상기 식별된 객체의 측정치를 기반으로 상기 식별된 객체의 미래 상태에 대한 예측치를 산출하는 필터일 수 있다.

상기 제1 특징 정보 및 상기 제2 특징 정보는 복수의 객체 추적 카메라의 서로 다른 촬영 각도를 기반으로 촬영된 영상에서 개별적으로 산출된 복수의 특징 정보를 포함할 수 있다. 상기 제1 특징 정보는 상기 복수의 객체 추적 카메라에서 촬영된 상기 식별된 객체에 대한 제1 HOG 특징 벡터이고, 상기 제2 특징 정보는 상기 복수의 객체 추적 카메라에서 촬영된 상기 식별된 상기 기존에 식별된 객체에 대한 제2 HOG 특징 벡터일 수 있다.

한편, 상기 제1 HOG 특징 벡터는 상기 제1 특징 정보에 포함된 제1 그레디언트의 크기 및 상기 제1 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터이고, 상기 제2 HOG 특징 벡터는 상기 제2 특징 정보에 포함된 제2 그레디언트의 크기 및 상기 제2 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터일 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 복수의 카메라를 사용한 객체 추적 방법 및 장치는 동일 공간을 감시하는 복수 카메라 영상의 객체를 월드 좌표계로 변환하여 변환된 월드 좌표계를 기준으로 객체를 추적하도록 하여 일부 카메라에서는 포착되지 않는 객체에 대해서도 공간을 기준으로 통합적인 객체 추적이 가능한 효과가 있다.

본 발명의 실시예에 따른 복수의 카메라를 사용한 객체 추적 방법 및 장치는 동일 공간을 감시하는 복수 카메라의 시차에 따라 얻어지는 객체별 특징 정보를 산출하여 월드 좌표계에서 식별되는 객체에 매핑한 후 새로운 객체가 나타날 때 해당 객체의 특징 정보를 추출하여 기 추적되던 객체의 특징 정보와 대비하는 것으로 새로운 객체가 신규 객체인지 기 추적되건 객체인지 구분하도록 함으로써 추적 객체에 대한 식별성을 높여 객체 추적 지속성을 개선하는 효과가 있다.

도 1은 본 발명의 실시예에 따른 카메라의 카메라 좌표를 월드 좌표계로 변환하는 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 복수의 카메라에서 객체를 추적하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 객체의 특징 정보를 추출하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 복수의 카메라를 이용한 객체 추적 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 추적 대상 객체를 칼만 필터를 기반으로 추적하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 객체의 특징 정보에 따라 식별자를 매칭하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 복수의 객체 추적 카메라를 사용하여 객체를 추적하는 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 객체 추적 장치를 나타낸 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해 되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

본 발명의 실시예에서는 단일 공간을 다중 카메라를 통해 감시할 경우 발생되는 객체 추적의 문제점을 해결하기 위하여 복수 카메라에 대한 3차원 로컬 좌표와 모든 카메라의 감시 공간을 포괄하는 월드 좌표에 대한 관계를 정립하고 객체에 대해 식별자 정보를 특징 정보를 기준으로 구분하여 객체 추적의 지속성을 유지할 수 있도록 한다.

도 1은 본 발명의 실시예에 따른 카메라의 카메라 좌표를 월드 좌표계로 변환하는 방법을 나타낸 개념도이다.

도 1의 상단을 참조하면, 월드 좌표계(150)는 복수의 카메라가 각각 촬영한 객체의 위치를 표현할 때 기준이 되는 좌표계일 수 있다. 월드 좌표계(150)는 지면이 XY 평면, 지면의 수직으로 위치한 축을 Z 축으로 정의할 수 있다.

카메라 좌표계(100)는 카메라를 기준으로 한 좌표계일 수 있다. 각각의 카메라의 광학축 방향이 Zc 축, 카메라의 오른쪽 방향을 Xc 축, 카메라의 아래쪽 방향을 Yc 축으로 설정할 수 있다.

월드 좌표계(150) 내에서 카메라의 위치 및 방향은 카메라의 위치, 팬(Pan), 틸트(Tilt)를 기준으로 정의할 수 있다. 카메라의 위치는 월드 좌표계(150) 내에서 카메라 좌표축 원점의 위치(X1, Y1, Z1)을 지시한다. 팬은 카메라의 좌우 회전각을 나타낸다. 팬은 광학축이 월드 좌표계 Y축과 평행한 경우, 0도, Y축을 기준으로 왼쪽으로 회전각이 존재하는 경우 양의 값, 오른쪽으로 회전각이 존재하는 경우 음의 값을 가질 수 있다. 틸트는 카메라의 상하 회전각을 나타낼 수 있다. 틸트는 광학축이 월드 좌표계 Y 축과 평행한 경우 0도, 광학축이 위쪽으로 회전각을 가지는 경우 양의 값, 광학축이 아래쪽으로 회전각을 가지는 경우 음의 값을 가질 수 있다.

도 1의 하단을 참조하면, 월드 좌표계(150)과 카메라 좌표계(100)간의 변환 관계는 선형 변환 행렬 R에 의해 산출될 수 있다. 각각의 좌표축의 단위 벡터들 사이의 관계를 기반으로 변환 행렬 R을 산출할 수 있다.

<수학식 1>

X축 단위 벡터인 (1,0,0)이 (a1, a2, a3), Y축 단위 벡터 (0,1,0)이 (b1, b2, b3), Z축 단위 벡터인 (0,0,1)이 (c1, c2, c3)가 된다면 변환 행렬 R은 수학식 1과 같이 결정될 수 있다.

도 1의 하단을 참조하면, 월드 좌표계(150)의 각각의 단위 벡터는 아래의 수학식 2와 같이 이동될 수 있다.

<수학식 2>

위의 수학식 2를 기반으로 변환 행렬 R은 아래의 수학식 3과 같이 산출된다.

<수학식 3>

본 발명의 실시예에 따르면, 복수의 카메라는 각각의 로컬 카메라 좌표계(100)를 수학식 3을 기반으로 월드 좌표계(150)로 변환할 수 있고, 복수의 카메라에서 변환된 월드 좌표계(150)를 기준으로 객체의 위치를 연속적으로 추적할 수 있다.

도 2는 본 발명의 실시예에 따른 복수의 카메라에서 객체를 추적하는 방법을 나타낸 개념도이다.

도 2는 복수의 카메라가 서로 다른 방향에서 객체(200)를 탐색하는 경우의 예를 보인 것이다. 도 2의 좌측 영상은 제1 객체 추적 카메라가 촬영한 영상이고, 도 2의 우측 영상은 제2 객체 추적 카메라가 촬영한 영상이라고 가정한다.

제1 객체 추적 카메라가 촬영한 객체(200)의 위치는 도 1에서 전술한 변환식에 의해 월드 좌표계로 변환되어 관리되며 제2 객체 추적 카메라가 촬영한 객체(200)의 위치 역시 월드 좌표계로 변환되어 월드좌표계에서는 단일 객체(200)로서 관리된다. 이러한 상이한 추적 카메라에 의해 상이한 방향에서 촬영된 객체를 월드 좌표계에서 통합하여 관리하므로 실질적으로 월드 좌표계에서 하나의 객체(200)를 정확한 공간상 위치를 기반으로 추적할 수 있으며 각 카메라의 객체 식별 좌표나 월드 좌표계 변환의 오차가 있더라도 수정이 가능하다.

본 발명의 실시예에 따른 객체 추적 방법에서는 객체 추적 카메라에서 탐색된 객체(200)의 특징 정보를 산출하여 각 객체(200)의 특징 정보와 객체(200)의 식별자를 매칭하여 각 객체(200)를 추적 관리하는데, 월드 좌표계에서 단일 객체(200)에 대한 특징 정보는 카메라 별로 상이할 수 있고, 이들을 통합하여 해당 객체의 특징 정보로 관리한다.

본 발명의 실시예에 따르면, 복수의 카메라를 이용하므로 다양한 위치에서 촬영된 객체의 특징 정보를 산출하므로 촬영된 객체의 특징 정보가 좀 더 정확하게 산출될 수 있고, 객체가 기존의 객체인지 여부에 대해 좀 더 정확하게 식별될 수 있다. 또한, 복수의 카메라에서 촬영된 객체가 월드 좌표계로 변환되어 추적되므로 복수의 카메라 사이에서 하나의 참조 좌표를 기반으로 유기적으로 객체를 추적할 수 있다.

예를 들어, 객체(200)에 대한 특징 정보는 HOG(Histogram of Oriented Gradients)를 통해 산출될 수 있다. 산출된 특징 정보는 미리 분류기를 통해 학습될 수 있다. 특징 정보와 객체(200)의 식별자를 매핑되어 추후 촬영된 영상에서 객체(200)를 식별하기 위해 사용될 수 있다.

도 3은 본 발명의 실시예에 따른 객체의 특징 정보를 추출하는 방법을 나타낸 개념도로서 도 3에서는 객체의 특징 정보를 HOG(Histogram of Oriented Gradients)를 기반으로 추출하는 방법에 대해 개시한다.

도 3을 참조하면, HOG는 영상 내 객체에 대한 특징 정보 중 하나로 객체의 특징 정보로 사용될 수 있다. HOG는 특정한 객체가 가지는 지역적인 그레디언트(gradient) 분포 특징을 나타낼 수 있다.

HOG를 산출하기 위해 나뉘어진 셀과 블록 내의 각 픽셀에서의 x, y축 그레디언트(Δx, Δy)를 각각 구할 수 있다. 그레디언트의 크기(M)와 방향(θ)은 아래의 수학식 4 및 5를 기반으로 산출할 수 있다.

<수학식 4>

<수학식 5>

수학식 4을 통해 산출된 그레디언트의 크기는 블록 단위로 가우시안 윈도우잉을 거쳐 위치에 따라 다른 중요도를 가지게 할 수 있다. 또한, 360˚를 P개의 영역으로 나누어 수학식 5를 통해 계산된 방향(θ)이 포함되는 영역에 윈도우잉을 거친 크기(M·g(xb, yb)) 값을 누적시킬 수 있다. 여기서, g(xb, yb)는 블록 내의 위치(xb, yb)에 따른 가우시안 계수를 나타낸다.

도 3을 참조하면, 도 3의 좌측과 같이 객체에 대한 그레디언트 값을 구하고, 도 3의 가운데와 같이 블록별로 생성된 각 영역별 그레디언트 누적값을 도 2의 우측과 같이 연접하여 벡터화하고, 정규화 과정을 거치면 객체에 대한 HOG 특징 벡터를 생성할 수 있다. 정규화 과정에서는 L1-norm, L2-norm, L2-Hys, L1-sqrt 등이 사용될 수 있다.

이러한 객체에 대한 특징 추출 방법을 통해 산출된 객체의 특징 정보는 객체와 매핑되어 추적하고자 하는 객체를 식별하기 위해 사용될 수 있다.

본 발명의 실시예에서는 HOG에 기반한 객체의 특징 정보 추출에 대해서만 개시하였으나, HOG가 아닌 다른 특징 추출 방법(Harr-like 특징, Co-occurrence HOG, LBP(local binary pattern), FAST(features from accelerated segment test), 외형, 색상 분포 등)을 사용할 수도 있다.

도 4는 본 발명의 실시예에 따른 복수의 카메라를 이용한 객체 추적 방법을 나타낸 개념도이다.

도 4에서는 제1 객체 추적 카메라(410)와 제2 객체 추적 카메라(420) 가 감시하는 공간을 객체(400)가 이동을 하는 경우를 나타낸다. 객체 추적 장치(미도시)는 각 카메라 내부나 일부 카메라의 내부 혹은 원격지에 구성될 수 있다.

도 4를 참조하면, 객체(400)는 제1 객체 추적 카메라(410) 및 제2 객체 추적 카메라(420)의 촬영 범위 내에서 촬영되는데, 제1 객체 추적 카메라(410) 및 제2 객체 추적 카메라는 개별 객체 추적 카메라의 촬영 방향에 기반하여 객체를 촬영하며, 촬영된 영상을 수신한 객체 추적 장치(미도시)는 각 영상에서 객체(400)의 특징 정보를 산출할 수 있다. 객체 추적 장치는 제1 객체 추적 카메라(410)의 영상에서 산출된 객체(400)의 제1 특징 정보 및 제2 객체 추적 카메라(420)의 영상에서 산출된 객체(400)의 제2 특징 정보로 기존에 객체와 특징 정보 사이의 관계를 저장해놓은 데이터베이스를 검색한다. 이러한 검색 결과를 기반으로 현재 제1 객체 추적 카메라(410) 및 제2 객체 추적 카메라(420)에서 촬영되는 객체(400)가 기존에 식별자가 부여된 객체(400)인지 아니면 새로운 객체(400)인지 여부를 판단할 수 있다.

만약, 산출한 객체(400)의 특징 정보가 기존에 식별자가 부여된 특징 정보가 아닌 경우, 객체 추적 장치는 특징 정보에 객체(400)의 식별자를 새롭게 매핑할 수 있다. 반대로 만약, 산출한 객체(400)의 특징 정보가 기존에 식별자가 부여된 특징 정보인 경우, 객체 추적 장치는 객체(400)에 기존에 매핑하였던 식별자 정보를 재할당하여 객체(400)를 추적할 수 있다.

객체(400)의 특징 정보 및 객체(400)의 식별자를 포함하는 정보를 객체(400)의 추적 정보라고 한다. 이러한 추적 정보는 데이터 베이스에 등록되어 촬영된 객체가 신규한 객체인지 아니면 기존에 데이터 베이스에 등록된 객체인지 여부를 판단하기 위해 사용할 수 있다.

도 5는 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 순서도이다.

도 5에서는 객체 추적 장치가 복수의 객체 추적 카메라를 기반으로 객체를 추적하는 동작에 대해 개시한다.

도 5를 참조하면, 객체 추적 장치가 복수의 객체 추적 카메라 영상에서 객체를 검출한다(단계 S500).

객체 추적 카메라 영상으로부터 다양한 방법으로 객체를 검출할 수 있는데, 예를 들어 사람을 객체로 설정하여 복수의 객체 추적 카메라가 사람을 추적하는 경우를 가정할 수 있다. 이러한 경우, 촬영된 영상에서 사람의 움직임이 발생하면, 배경과 전경을 분리하고 전경에서 객체 인식 방법을 통해 이동되는 객체를 식별할 수 있다. 복수의 객체 추적 카메라는 서로 다른 촬영각, 촬영 방향을 가지므로 서로 다른 방향에서 객체를 촬영하게 되며 일부 카메라에서는 사각에 의해 해당 객체가 촬영되지 않을 수도 있다.

그 다음, 객체 추적 장치가 객체의 위치를 카메라 좌표계에서 월드 좌표계로 변환하고 객체의 특징 정보를 산출한다(단계 S510).

제1 객체 추적 카메라 및 제2 객체 추적 카메라의 영상에서 객체가 검출되는 경우, 객체 추적 장치는 각 카메라 영상별 객체의 위치를 월드 좌표계로 변환할 수 있다. 이러한 방법을 통해 복수의 객체 추적 카메라 영상에서 객체를 추적할 경우 하나의 참조 좌표(월드 좌표계)를 기준으로 활용할 수 있으며, 그 반대로 여러 카메라 영상으로부터 얻은 객체의 월드 좌표계 변환 정보를 통해 대응 관계에 대한 오류를 수정할 수도 있다. 또한 객체 추적 장치는 제1 객체 추적 카메라 및 제2 객체 추적 카메라 각각의 촬영 방향에 기반하여 각 영상에서 얻어지는 객체에 대한 특징 정보를 산출할 수 있다. 즉, 단일 객체에 대해서 복수의 객체 추적 카메라 영상으로부터 객체의 특징 정보를 산출하여 보다 정확하게 객체를 추적할 수 있다.

복수의 객체 추적 카메라 영상으로부터 산출되는 객체의 특징 정보는 예를 들어, HOG를 기반으로 산출한 특징 벡터일 수 있다.

이제, 객체 추적 장치가 획득된 객체의 특징 정보가 기존 객체의 특징 정보와 유사한지 여부를 판단한다(단계 S520).

즉, 객체 추적 장치가 제1 객체 추적 카메라 및 제2 객체 추적 카메라 영상으로부터 산출된 신규 객체의 특징 정보는 기존에 획득되어 데이터 베이스에 저장된 기존의 객체의 특징 정보와 비교하는데, 신규 객체의 카메라별 특징 정보와 기존 객체에 매핑된 카메라별 특징 정보가 임계치 이상 유사할 경우 기존 객체와 동일한 것으로 판단할 수 있다. 물론 객체가 방향을 전환하는 경우 등이 있으므로 카메라별 특징 정보는 객체에 대한 다중 특징을 포괄한다는 개념으로 판단될 수 있으며 카메라와 특징 정보의 대응 관계까지 유사성 판단 시 고려되지 않아도 된다. 한편, 신규 객체가 일부 카메라에서는 식별되지 않을 수도 있으므로 이러한 경우 해당 객체는 일부 객체 추적 카메라 영상에서 얻어진 특징 정보만을 기준으로 이러한 과정이 수행될 수 있다.

객체 추적 장치는 만일 신규 객체의 특징 정보와 기존에 획득되어 식별자 정보가 매칭된 특징 정보가 임계치 이상 일치되는 경우, 기존에 부여된 식별자 정보를 해당 신규 객체에 부여하여 객체에 대한 추적을 수행한다(단계 S530).

산출된 객체의 특징 정보가 기존에 획득되어 식별자 정보가 매칭된 특징 정보인 경우, 기존에 부여된 식별자 정보를 객체에 부여하여 객체가 동일한 식별자를 할당받아 연속적으로 추적될 수 있도록 할 수 있다. 이때 해당 신규 객체에 매핑된 특징 정보는 식별자가 할당된 기존 객체의 특징 정보에 반영될 수 있는데 기존 특징 정보를 갱신하거나 기존 특징 정부에 누적되거나 혹은 기존 특징 정보와 병합될 수 있다.

한편, 객체 추적 장치는 산출된 객체의 특징 정보가 기존에 획득되어 식별자 정보가 매칭된 특징 정보가 아닌 경우, 새로운 식별자 정보를 객체에 부여하여 객체에 대한 추적을 수행한다(단계 S540).

산출된 객체의 특징 정보가 기존에 획득되어 식별자 정보가 매칭된 특징 정보가 아닐 수 있다. 이러한 경우, 새로운 식별자 정보를 객체에 부여하여 객체에 대한 추적을 수행할 수 있다. 이때 해당 객체에 대한 식별자와 객체의 특징은 매핑되어 저장 관리된다.

이후 객체 추적 장치는 월드 좌표계에서 식별된 객체를 추적 및 관리 한다(단계 S550).

단계 S530 또는 단계 S540을 통해 식별자가 부여된 객체는 부여된 식별자를 기반으로 추적될 수 있다. 즉, 본 발명의 실시예에 따르면, 전체 공간(월드 좌표계)에서 이동하는 객체에 식별자와 특징 정보를 맵핑하여 객체를 추적할 수 있다. 이러한 방법을 사용함으로서 복수의 객체 추적 카메라가 하나의 공간 내에서 객체의 수와 위치 및 특징을 설정하여 객체를 추적할 수 있다.

그러나 모든 프레임마다 객체들의 특징을 추출하여 기존 객체 특징과 비교하는 과정을 해야하는 것은 아니며 검출된 객체가 추적 중인 객체가 아닌 상황에서 선택적으로 수행될 수 있다. 즉, 검출되는 객체가 추적 중인 객체만 존재할 경우라면 특징 추출 및 비교 없이 각 객체의 위치만 월드 좌표계로 변환한 후 변환된 월드 좌표계를 이용하여 객체를 추적할 수 있다. 예를 들어, 칼만 필터를 기반으로 객체의 이동을 추적할 수 있다.

도 6은 본 발명의 실시예에 따른 추적 대상 객체를 칼만 필터를 기반으로 추적하는 방법을 나타낸 개념도이다.

도 6에서는 식별된 객체를 칼만 필터를 사용하여 추적하는 방법에 대해 개시한다.

칼만 필터는 동적인 시스템에서 상태 변수(state variable)를 기반으로 수식화될 수 있다. 상태 변수는 시스템 정보를 포함할 수 있다. 칼만 필터에 과거에 필터링된 추정치(filtered estimates)와 현재의 측정치가 입력된 경우, 현재 상태에 대해 필터링된 추정치와 미래 상태에 대한 예측 추정치(predicted estimates)를 출력할 수 있다. 추정을 위한 입력되는 데이터에는 잡음 성분이 추가될 수 있으므로 올바르게 필터링된 추정치 및 미래 상태에 대한 예측을 위해서는 적절한 모델링이 필요하다. 칼만 필터는 상태 방정식(state equation)과 측정 방정식(measurement equation)으로 모델링될 수 있다.

본 발명의 실시예에 따르면, 칼만 필터를 모델링시 입력되는 상태 변수가 복수개의 객체 추정 카메라를 사용하여 결정한 객체를 기반으로 산출될 수 있다. 복수개의 객체 추정 카메라를 사용하여 결정한 객체에서 특징 정보가 산출될 수 있고, 특징 정보를 기반으로 상태 변수를 결정하여 칼만 필터에 입력할 수 있다. 이러한 방법을 사용함으로서 기존의 객체 추적 방법보다 정확하게 미래 상태에 대한 예측을 수행할 수 있어 효과적으로 객체를 트래킹할 수 있다. 예를 들어, 본 발명의 실시예에 따르면, 복수의 카메라들이 각각의 영상을 기준으로 객체를 트래킹하는 대신 복수 카메라에서 식별된 객체의 좌표를 월드 좌표계로 변환하고 이러한 월드 좌표계의 정보를 기준으로 칼만 필터를 통한 객체 이동을 예측함으로써 한 번의 예측으로 복수 카메라의 객체 트래킹이 가능하게 된다. 칼만 필터는 예측 단계와 보정 단계가 수행될 수 있다. 본 발명의 실시예에 따른 칼만 필터의 예측 단계에서 사용하는 상태 방정식은 아래의 수학식 6과 같이 표현될 수 있다.

<수학식 6>

는 특정 시간 k에 예측되는 객체의 상태 정보,

는 특정 시간 k에서 이전 상태에 기반한 상태 전이 행렬이고,

는 특정 시간 k-1에 예측되는 객체의 상태 정보,

는 특정 시간 k의 사용자 입력에 의한 상태 전이 행렬 및 잡음 변수 등에 의해 결정되는 변수일 수 있다.

수학식 6을 참조하면, 특정 시간 k-1에 예측되는 객체의 상태 정보에 입력되는 상태 정보는 객체의 특징 정보를 기반으로 식별된 객체로부터 산출된 정보일 수 있다. 이러한 방법을 사용함으로서 객체의 특정 시간 k에 예측되는 객체의 상태에 대해 정확하게 예측할 수 있다.

도 7은 본 발명의 실시예에 따른 객체의 특징 정보에 따라 식별자를 매칭하는 방법을 나타낸 개념도이다.

도 7에서는 제1 객체 추적 카메라와 제2 객체 추적 카메라에서 각각 촬영된 영상을 기반으로 객체를 추적하는 방법에 대해 개시한다.

도 7을 참조하면, 제1 객체 추적 카메라와 제2 객체 추적 카메라는 객체를 촬영하는 방향에 따라 서로 다른 객체의 특징 정보를 산출할 수 있다. 복수개의 객체 추적 카메라를 기반으로 촬영된 영상은 객체 식별 및 월드 좌표계 변환부(310)로 전송될 수 있다. 객체 식별 및 월드 좌표계 변환부(310)는 촬영된 영상에서 객체를 식별하고 객체의 위치를 월드 좌표계로 변환할 수 있다. 본 발명의 실시예에 따르면 각각의 객체 추적 카메라에서 촬영된 객체는 하나의 월드 좌표계에서 변환되어 추적될 수 있다. 산출된 객체의 위치 정보는 추적부로 전송되어 객체를 추적하기 위해 사용될 수 있다. 즉, 객체 식별 및 월드 좌표계 변환부(310)는 복수 카메라에 대한 3차원 로컬 좌표와 모든 카메라의 감시 공간을 포괄하는 월드 좌표에 대한 관계 정립하기 위해 구현될 수 있다.

객체 특징 추출부(320)는 식별된 객체의 특징 정보를 산출할 수 있다. 예를 들어, 객체 특징 추출부(320)는 식별된 객체의 특징 정보(예를 들어, HOG, 컬러 배치 등)를 추출할 수 있다. 객체 특징 추출부(320)는 수신한 객체 위치 정보와 산출한 객체의 카메라 영상별 특징 정보를 식별자 매핑부(330)로 전송할 수 있다.

식별자 매핑부(330)는 전체 공간에 매핑된 객체에 식별자를 매핑할 수 있다. 식별자 매핑부(330)는 수신한 객체의 특징 정보를 기반으로 객체가 기존에 식별되어 등록된 객체인 경우 기존에 등록된 식별자 정보를 객체에 매핑시킬 수 있다. 반대로 식별자 매핑부(330)는 수신한 객체의 특징 정보를 기반으로 객체가 기존에 식별되어 등록된 객체가 아닌 경우 새로운 식별자 정보를 객체에 매핑시킬 수 있다. 새로운 식별자 정보가 매핑된 경우 새로운 식별자 정보는 데이터베이스로 전송되어 다른 객체 추적 카메라가 동일한 객체를 추적하고 식별자를 부여하기 위해 사용될 수 있다.

도 8은 본 발명의 실시예에 따른 복수의 객체 추적 카메라를 사용하여 객체를 추적하는 방법을 나타낸 개념도이다.

도 8에서는 복수의 객체가 군집을 이루고, 복수의 카메라가 군집된 객체가 해산될 경우 각 객체를 식별하는 방법에 대해 개시한다.

도 8의 상단을 참조하면, 제1 객체 추적 카메라(810)와 제2 객체 추적 카메라(820)에서 얻어지는 영상으로부터 복수의 객체(830, 840, 850, 860, 870)를 식별하여 추적을 수행할 수 있다. 복수의 객체(830, 840, 850, 860, 870)의 위치는 월드 좌표계로 변환되고 개별 객체(830, 840, 850, 860, 870)마다 식별자 정보가 부여되어 추적될 수 있다. 개별 객체(830, 840, 850, 860, 870)의 특징 정보는 제1 객체 추적 카메라(810)와 제2 객체 추적 카메라(820)에서 개별적으로 촬영된 영상에서 각각 산출될 수 있다.

복수의 개별 객체 추적 카메라(810, 820) 영상들에서 식별된 각각의 객체(830, 840, 850, 860, 870)는 월드 좌표계에서 각각의 식별자를 할당받아 할당받은 식별자를 기반으로 추적될 수 있다. 제1 객체 추적 카메라(810)와 제2 객체 추적 카메라(820)는 각각의 촬영 범위에 해당하는 객체를 추적할 수 있다.

도 8의 중단을 참조하면, 지속적으로 추적을 수행하던 각각의 객체들이 군집(880)을 이루는 경우, 객체 추적 카메라가 다른 객체들의 간섭으로 인해 객체를 식별하지 못해 개별 객체에 대한 추적이 불가능할 수 있다.

결국, 이러한 경우 개별 객체에 대한 추적은 중단되며 군집(880)에 대한 정보가 관리되는데, 해당 군집(880)에 어떠한 객체들이 존재하고 있는지는 알 수 있다.

도 8의 하단을 참조하면, 군집(880)에서 객체가 분리되는 경우를 보인 것이다. 해당 분리된 객체는 군집에서 분리된 새로운 객체로 간주되어 특징이 추출되며 해당 특징은 기존에 추적되던 객체들(830~870)에 매핑된 특징 정보와 비교된다. 만일 이러한 새로운 객체의 특징 정보가 기존의 객체(870)와 유사한 것이 확인되면 해당 새로운 객체는 기존의 객체(870)로 재식별되어 해당 객체에 대한 추적이 유지된다.

도 9는 본 발명의 실시예에 따른 객체 추적 장치를 나타낸 개념도이다.

도 9를 참조하면, 객체 추적 장치는 객체 추적 카메라(1000)와 객체 식별 및 월드 좌표계 변환부(1030), 객체 특징 추출부(1010), 식별자 매핑부(1020), 추적부(1040)를 구비한 프로세서(1060)를 를 포함할 수 있다. 여기서 프로세서(1060)에 해당하는 구성은 도시된 바와 같이 객체 추적 카메라(1000)와 통합 구성되는 대신 원격지 영상 처리 서버에 구성될 수 있음은 물론이다.

객체 추적 카메라(1000)는 객체를 촬영하는 방향에 따라 서로 다른 객체의 특징 정보를 산출할 수 있다. 복수 개의 객체 추적 카메라를 기반으로 촬영된 영상은 객체 식별 및 월드 좌표계 변환부(1030)로 전송될 수 있다.

객체 식별 및 월드 좌표계 변환부(1030)는 촬영된 영상에서 객체를 식별하고 객체의 위치를 월드 좌표계로 변환할 수 있다. 본 발명의 실시예에 따르면 각각의 객체 추적 카메라에서 촬영된 객체는 하나의 월드 좌표계로 변환되어 추적될 수 있다. 산출된 객체의 위치 정보는 추적부(1040)로 전송되어 객체를 추적하기 위해 사용될 수 있다. 즉, 객체 식별 및 월드 좌표계 변환부(1030)는 복수 카메라에 대한 3차원 로컬 좌표와 모든 카메라의 감시 공간을 포괄하는 월드 좌표에 대한 관계가 정립된 변환 구성을 포함할 수 있다.

객체 특징 추출부(1010)는 영상별로 식별된 객체의 특징 정보를 산출할 수 있다. 예를 들어, 객체 특징 추출부(1010)는 식별된 객체의 특징 정보(예를 들어, HOG, 컬러 배치 등)를 해당 객체가 식별된 영상들로부터 추출할 수 있다. 객체 특징 추출부(1010)는 객체 위치 정보와 산출한 객체의 특징 정보를 식별자 매핑부(1020)로 전송할 수 있다.

식별자 매핑부(1020)는 전체 공간에 매핑된 객체에 식별자를 매핑할 수 있다. 식별자 매핑부(1020)는 수신한 객체의 특징 정보를 기반으로 객체가 기존에 식별되어 등록된 객체인 경우 기존에 등록된 식별자 정보를 객체에 매핑시킬 수 있다. 반대로 식별자 매핑부(330)는 수신한 객체의 특징 정보를 기반으로 객체가 기존에 식별되어 등록된 객체가 아닌 경우 새로운 식별자 정보를 객체에 매핑시킬 수 있다. 새로운 식별자 정보가 매핑된 경우 새로운 식별자 정보와 그에 대응되는 객체의 위치 및 특징 정보는 데이터베이스(미도시)로 전송되어 저장된다. 한편, 새로운 객체가 기존에 식별되어 등록된 객체인 경우 새롭게 얻어진 위치와 특징 정보는 기존 객체에 매핑된 위치와 특징 정보에 반영(갱신, 누적, 병합 등)될 수 있다.

추적부(1040)는 객체 식별 및 월드 좌표계 변환부(1030)로부터 수신한 객체의 위치 정보 및 식별자 매핑부(1020)로부터 수신한 객체의 식별자 매핑 정보를 기반으로 객체를 추적할 수 있다.

도 10에서는 설명의 편의상 각 구성부를 기능상으로 분리하여 표현하였으나, 구현에 따라 하나의 구성부가 복수의 구성부로 구성되거나 복수의 구성부가 하나의 구성부로 생성될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (14)

1. 객체 추적 장치가 복수의 객체 추적 카메라를 기반으로 객체를 추적하는 방법에 있어서,
   상기 객체 추적 장치가 상기 복수의 객체 추적 카메라에서 촬영된 영상에서 객체를 식별하는 단계;
   상기 객체 추적 장치가 상기 식별된 객체의 좌표를 카메라 좌표계에서 월드 좌표계로 변환하는 단계;
   상기 객체 추적 장치가 상기 식별된 객체의 제1 특징 정보를 상기 복수의 객체 추적 카메라 영상들로부터 각각 추출하는 단계;
   상기 객체 추적 장치가 상기 제1 특징 정보와 기존에 식별된 객체에 매핑된 제2 특징 정보를 기반으로 상기 제1 특징 정보와 상기 제2 특징 정보가 설정된 임계값 이상으로 유사한지 여부를 판단하는 단계;
   상기 객체 추적 장치가 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 이상으로 유사하다고 판단하는 경우, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 단계; 및
   상기 객체 추적 장치가 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 제2 특징 정보에 매핑된 식별자를 상기 식별된 객체에 매핑하여 상기 월드 좌표계를 기반으로 상기 식별된 객체를 추적하는 단계를 포함하고,
   상기 제1 특징 정보 및 상기 제2 특징 정보는 복수의 객체 추적 카메라의 서로 다른 촬영 각도를 기반으로 촬영된 영상에서 개별적으로 산출된 복수의 특징 정보를 포함하며,
   상기 제1 특징 정보는 상기 복수의 객체 추적 카메라에서 촬영된 상기 식별된 객체에 대한 제1 HOG(histogram of oriented gradient) 특징 벡터이고,
   상기 제2 특징 정보는 상기 복수의 객체 추적 카메라에서 촬영된 상기 기존에 식별된 객체에 대한 제2 HOG 특징 벡터이며,
   상기 제1 HOG 특징 벡터는 상기 제1 특징 정보에 포함된 제1 그레디언트의 크기 및 상기 제1 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터이고,
   상기 제2 HOG 특징 벡터는 상기 제2 특징 정보에 포함된 제2 그레디언트의 크기 및 상기 제2 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터인 것을 특징으로 하는 복수의 카메라를 사용한 객체 추적 방법.
   
2. 제1항에 있어서,
   상기 객체 추적 장치가 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 미만으로 유사하다고 판단하는 경우, 상기 식별된 객체를 새롭게 식별된 객체로 결정하는 단계; 및
   상기 객체 추적 장치가 상기 식별된 객체를 상기 새롭게 식별된 객체로 결정하는 경우, 새로운 식별자를 상기 식별된 객체에 매핑하여 상기 월드 좌표계를 기반으로 상기 식별된 객체를 추적하는 단계를 더 포함하는 것을 특징으로 하는 복수의 카메라를 사용한 객체 추적 방법.
   
3. 제1항에 있어서,
   상기 객체 추적 장치가 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우,
   상기 객체 추적 장치는 상기 제1 특징 정보로 제2 특징 정보를 갱신하거나, 제1 특징 정보를 제2 특징 정보에 누적하거나 혹은 제1 특징 정보를 제2 특징 정보와 병합하는 것을 특징으로 하는 복수의 카메라를 사용한 객체 추적 방법.
   
4. 제1항에 있어서,
   상기 객체 추적 장치는 칼만 필터를 기반으로 상기 식별된 객체를 추적하되,
   상기 칼만 필터는 월드 좌표계에서 과거에 필터링된 상기 식별된 객체의 추정치와 현재 상기 식별된 객체의 측정치를 기반으로 상기 식별된 객체의 미래 상태에 대한 예측치를 산출하는 필터인 것을 특징으로 하는 복수의 카메라를 사용한 객체 추적 방법.
   
5. 삭제
6. 삭제
7. 삭제
8. 복수의 객체 추적 카메라를 기반으로 객체를 추적하는 객체 추적 장치에 있어서, 상기 객체 추적 장치는 프로세서를 포함하고, 상기 프로세서는,
   상기 복수의 객체 추적 카메라에서 촬영된 영상에서 객체를 식별하고,
   상기 식별된 객체의 좌표를 카메라 좌표계에서 월드 좌표계로 변환하고,
   상기 식별된 객체의 제1 특징 정보를 상기 복수의 객체 추적 카메라 영상들로부터 각각 추출하고,
   상기 제1 특징 정보와 기존에 식별된 객체에 매핑된 제2 특징 정보를 기반으로 상기 제1 특징 정보와 상기 제2 특징 정보가 설정된 임계값 이상으로 유사한지 여부를 판단하고,
   상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 이상으로 유사하다고 판단하는 경우, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하고,
   상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 제2 특징 정보에 매핑된 식별자를 상기 식별된 객체에 매핑하여 상기 월드 좌표계를 기반으로 상기 식별된 객체를 추적하도록 구현되고,
   상기 제1 특징 정보 및 상기 제2 특징 정보는 복수의 객체 추적 카메라의 서로 다른 촬영 각도를 기반으로 촬영된 영상에서 개별적으로 산출된 복수의 특징 정보를 포함하며,
   상기 제1 특징 정보는 상기 복수의 객체 추적 카메라에서 촬영된 상기 식별된 객체에 대한 제1 HOG 특징 벡터이고,
   상기 제2 특징 정보는 상기 복수의 객체 추적 카메라에서 촬영된 상기 기존에 식별된 객체에 대한 제2 HOG 특징 벡터이며,
   상기 제1 HOG 특징 벡터는 상기 제1 특징 정보에 포함된 제1 그레디언트의 크기 및 상기 제1 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터이고,
   상기 제2 HOG 특징 벡터는 상기 제2 특징 정보에 포함된 제2 그레디언트의 크기 및 상기 제2 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터인 것을 특징으로 하는 복수의 카메라를 사용한 객체 추적 장치.
   
9. 제8항에 있어서, 상기 프로세서는,
   상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 미만으로 유사하다고 판단하는 경우, 상기 식별된 객체를 새롭게 식별된 객체로 결정하고,
   상기 식별된 객체를 상기 새롭게 식별된 객체로 결정하는 경우, 새로운 식별자를 상기 식별된 객체에 매핑하여 상기 월드 좌표계를 기반으로 상기 식별된 객체를 추적하도록 구현되는 것을 특징으로 하는 복수의 카메라를 사용한 객체 추적 장치.
   
10. 제8항에 있어서, 상기 프로세서는,
    상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우,
    상기 제1 특징 정보로 제2 특징 정보를 갱신하거나, 제1 특징 정보를 제2 특징 정보에 누적하거나 혹은 제1 특징 정보를 제2 특징 정보와 병합하는 것을 특징으로 하는 복수의 카메라를 사용한 객체 추적 장치.
    
11. 제8항에 있어서, 상기 프로세서는,
    칼만 필터를 기반으로 상기 식별된 객체를 추적하되,
    상기 칼만 필터는 월드 좌표계에서 과거에 필터링된 상기 식별된 객체의 추정치와 현재 상기 식별된 객체의 측정치를 기반으로 상기 식별된 객체의 미래 상태에 대한 예측치를 산출하는 필터인 것을 특징으로 하는 복수의 카메라를 사용한 객체 추적 장치.
    
12. 삭제
13. 삭제
14. 삭제

Images