KR101897018B1 - 객체 추적 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따른 객체 추적 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 객체 추적 방법은 객체 추적 장치에서 특정 장소에 분산 배치된 복수의 카메라에서 동시 획득한 영상을 이용한 객체를 추적하는 방법에 있어서, 상기 복수의 카메라에서 동시에 획득한 비디오 프레임을 병합하는 단계, 상기 병합된 비디오 프레임에서 적어도 하나의 특정 객체를 검출하는 단계, 상기 검출된 각 특정 객체에 대한 적어도 하나의 특징을 추출하여 이를 기초로 상기 각 특정 객체에 대한 특징값을 생성하는 단계 및 상기 각 특정 객체의 특징값을 기초로 이전 프레임 내에서 상기 각 특정 객체에 대응하는 객체와 그 위치를 탐지하고, 이를 기초로 상기 각 특정 객체의 이동경로를 생성하는 단계를 포함하여 구성된다.

Description

객체 추적 방법 및 장치{METHOD FOR TRACKING AN OBJECT AND APPARATUS THEREOF}

본 발명은 객체 추적 방법 및 장치에 관한 것으로, 더욱 상세하게는 복수의 카메라로부터 획득한 영상을 이용하여 매장 내 객체를 추적하는 방법 및 장치에 관한 것이다.

종래의 무인 매장은 쇼핑을 마친 고객이 계산대를 지나갈 때 상품에 붙은 RFID 칩을 인식하여 결제하는 방식이 이용되어 왔다. 그러나 이러한 방식은 물건에 일일이 RFID 칩을 부착해야 하는 제약이 있어서, 최근에는 고객이 물건을 집을 때마다 물건값이 자동으로 계산되어 매장을 나갈 때 자동으로 결제되도록 하는 방법이 개발되고 있다.

예를 들면, 무인 매장을 운영하는 백화점의 식품 매장에서는 고객이 바코드 스캐너를 들고 다니면서 쇼핑을 하면서 사고자 하는 물건을 스캐닝한 후 매장 출구에서 스캐너를 반납하고 구매목록을 확인하고 결제버튼을 누름으로써 쇼핑이 완료되는 서비스를 제공하고 있다. 이와 같은 서비스는 계산원이 별도로 배치될 필요는 없지만 고객이 일일이 바코드 스캐너로 물건을 스캐닝해야 하는 불편이 존재한다.

인터넷 쇼핑몰 아마존이 최근 오픈한 무인 매장인 아마존고의 경우에는 매장 내에 설치된 카메라 및 각종 센서로 구매자의 움직임을 분석해서 어떤 물건을 샀는지 파악하고, 아마존 계정에 연결된 구매자의 카드에 청구하도록 하는 방식을 적용하고 있다. 아마존고와 같이 영상인식 기술로 상품을 구별하는 방식에서는, 상품인식 정확도를 높이기 위해서 매장의 구획마다 미리 정해진 상품군만 진열해 놓고, 특정 구획에서 고객이 상품을 담을 때, 정해진 범주에 속하는 상품들 중에서 해당 상품을 영상 검색해서 인식하는 과정을 거치게 된다. 예를 들어, 어떤 고객이 매장 내의 C 구역에서 특정 상품을 집어들면, 그 상품의 영상으로 상품명을 알아내기 위해서, 스낵 범주(C 구역에 진열된 상품군)에 해당하는 상품들만 검색하게 된다. 또한, 아마존고는 매장 내 고객의 위치를 파악하기 위해서, 고객이 쇼핑 내내 아마존고 앱이 실행되고 있는 스마트폰을 소지해야 하는 불편을 겪는다.

또한, 본 발명이 속한 분야는 실내 측위 기술을 사용하는데, 대표적인 종래 기술로는 '와이파이 삼각 측량’ 방식이 있다. 이 방식은 고객이 와이파이 모바일 기기(예를 들면, 스마트폰)를 갖고 있을 때, 3개 이상의 액세스 포인트(Access Point, AP)로부터 신호 강도를 측정하고 이를 거리로 환산하여 고객의 위치를 추정하는 기술이다. 그러나 이 방식은 무선 신호가 벽, 장애물, 다른 사람 등에 의해 신호의 감쇄, 반사, 회절되기 때문에 추정된 거리 자체에 오차가 생기게 된다. 따라서, 오프라인 매장과 같이 실내에 진열대가 설치된 환경에서는 와이파이 삼각 측량 기술로 고객의 위치를 추정하기 어렵고, 고객이 항상 와이파이 단말기를 소지해야 한다는 제약이 존재한다. 이외에도 블루투스 기반의 비콘(Beacon) 방식이 있으나, 이 방식 또한 매장 내에서는 상당한 오차를 보이며 단말이 필요하다는 제약이 따른다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 무선 단말 소지 여부와 상관없이 객체의 이동경로를 실시간으로 추적할 수 있는 객체 추적 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 무선 단말 소지 여부와 상관없이 객체의 이동경로를 실시간으로 추적할 수 있는 객체 추적 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명은, 객체추적장치를 이용하여 특정 장소에 분산 배치된 복수의 카메라에서 동시 획득한 영상을 이용한 객체를 추적하는 방법에 있어서, 상기 복수의 카메라에서 동시에 획득한 비디오 프레임을 병합하는 단계, 상기 병합된 비디오 프레임에서 적어도 하나의 특정 객체를 검출하는 단계, 상기 검출된 각 특정 객체에 대한 적어도 하나의 특징을 추출하여 이를 기초로 상기 각 특정 객체에 대한 특징값을 생성하는 단계 및 상기 각 특정 객체의 특징값을 기초로 이전 프레임 내에서 상기 각 특정 객체에 대응하는 객체와 그 위치를 탐지하고, 이를 기초로 상기 각 특정 객체의 이동경로를 생성하는 단계를 포함하는, 객체 추적 방법을 제공한다.

상기 다른 목적을 달성하기 위한 본 발명은, 복수의 카메라로부터 동시 획득한 영상을 이용하여 객체를 추적하는 객체추적장치에 있어서, 상기 복수의 카메라가 동시에 촬영한 영상을 획득하는 영상획득부와, 상기 획득한 영상의 비디오 프레임을 병합하는 영상병합부와, 상기 병합된 비디오 프레임에서 적어도 하나의 특정 객체를 검출하고, 상기 검출된 각 특정 객체에 대한 적어도 하나의 특징을 기초로 하는 특징값을 생성하는 객체 검출부와, 상기 각 특정 객체의 특징값을 기초로 이전 프레임 내에서 상기 각 특정 객체에 대응하는 객체와 그 위치를 탐지하고, 이를 기초로 상기 각 특정 객체의 이동경로를 생성하는 경로 생성부와, 연속하는 프레임 간 대응하는 객체의 위치를 순차적으로 연결하여 상기 각 특정 객체의 방향과 속도를 산출하고, 이를 기초로 다음 프레임 내의 위치를 예측하는 경로 예측부를 포함하되, 상기 경로 예측부는 연속하는 프레임 내에서 특정 객체가 유실된 구간이 발견된 경우, 상기 위치 예측 결과를 기초로, 상기 유실된 특정 객체가 사라진 프레임부터 상기 유실된 특정 객체가 재탐지된 프레임까지의 이동 경로를, 일정 시간 단위로 예측하여 연결함으로써 상기 유실된 구간을 복원하는 것을 특징으로 하는, 객체 추적 장치를 제공한다.

상기와 같은 본 발명에 따른 객체 추적 방법 및 장치를 이용할 경우에는 천정에 일정 간격으로 정방형 배치된 복수의 카메라로부터 획득한 영상을 병합하여, 객체를 검출하고 이동 경로를 추적함으로써 객체가 유실되는 사각지대를 없애고, 한 대의 카메라로는 감시할 수 없는 넓은 구역에 대한 감시가 가능해지며, 보다 정확하게 객체를 검출할 수 있는 장점이 있다. 또한, 일시적으로 추적에 실패하는 경우 다른 카메라에서 검출된 위치 추정을 통해서 추적 실패 구간에서의 객체의 위치를 복원해 낼 수 있다.

도 1은 본 발명에 따른 객체추적 방법이 적용되는 복수의 카메라가 배치된 매장을 예시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 매장 천정에 돔 카메라를 배치한 예를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체추적 장치의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 객체추적 방법의 과정을 보여주는 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명은 영상인식기술을 기반으로 객체를 인식하여 추적하는 장치 및 방법을 개시한다. 예를 들면, 무인 매장에 설치된 복수의 카메라로부터 획득한 영상을 분석하여 매장 내의 고객의 위치와 이동경로를 추적하고 예측할 수 있는 기술을 제안한다. 이와 관련하여 본 발명의 일 실시예는 복수의 카메라에서 동시에 획득한 영상 분석 방법과 고객의 동선에서 유실된 구간 복원방법을 개시한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명에 따른 객체추적 방법이 적용되는 복수의 카메라가 배치된 매장을 예시하는 도면이다.

도 1을 참조하면, 매장 내부에는 방범용 카메라(30) 이외에 고객(40)을 인식하여 특정할 수 있도록, 천정에 복수의 돔 카메라(10)를 설치하고, 매장 진열대에 고객의 정면을 촬영할 수 있도록 핀홀 카메라(20)를 일정 간격으로 설치할 수 있다. 돔 카메라(10)의 간격은 각 카메라(10)에서 촬영한 영상의 가장자리의 일정부분이 인접한 카메라 간에 겹쳐지도록 설치하는 것이 좋다. 이때, 카메라(10)의 배치 간격은 카메라와 매장 바닥까지의 거리에 비례할 수 있으며, 일반적으로 2m ~ 7m 간격으로 설치하는 것이 좋다. 이와 같이 인접하여 배치된 복수의 카메라(10)에서 촬영된 영상을 병합하여 객체를 검출하고 이동경로를 추적하게 되면 객체가 카메라에서 사라지는 구간을 없앨 수 있다. 특히, 인접한 카메라의 영상이 서로 일정 부분 겹치도록 배치하는 것이 좋다. 예를 들면, 천정에 가로와 세로로 각각 7대와 8대의 카메라를 일정 간격으로 배치하여, 총 56대의 카메라에서 동시에 획득한 56개의 영상을 병합하여 객체(40)를 검출하게 되면, 객체를 포착할 수 없는 사각지대가 존재하지 않으므로 객체를 유실하지 않고 보다 정확하게 이동 경로를 추적할 수 있다.

도 2는 본 발명의 일 실시예에 따른 매장 천정에 돔 카메라를 배치한 예를 보여주는 도면이다.

도 2를 참조하면, 하나의 돔 카메라 영상이 인접한 돔 카메라 영상과 일정 부분 겹쳐지도록 돔 카메라(50,60)가 배치된다. 이때, 돔 카메라(60)와 같이 객체(고객)가 위치할 수 없는 고정 구조물(진열대) 위에 배치되는 것은 설치에서 제외할 수도 있다.

본 발명의 일 실시예에서, 매장이란 대형 마트 및 편의점 등과 같은 오프라인 매장이 계산원 등이 없이 무인으로 운영되는 매장을 포함할 수 있고, 객체는 매장 내에서 물건을 구매하는 고객을 포함할 수 있고, 매장은 고객의 얼굴정보를 포함하여 개인 정보와 결제 수단 등의 신용 정보 등을 미리 알고 있을 수 있다. 또한, 본 발명의 일 실시예에 의한 객체 추적 방법 및 장치는 고객이 매장에 들어와서 쇼핑을 마치고 나갈 때까지, 고객이 매장 내에서 이동하는 경로를 추적하고 예측하기 위하여 복수의 카메라에서 촬영한 복수의 영상을 병합하여 분석하는 영상 인식 기반의 추적 방법 및 장치를 설명한다.

도 3은 본 발명의 일 실시예에 따른 객체추적 장치의 구성도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 객체추적 장치(100)는, 천정에 설치되는 돔 카메라(10) 및 핀홀 카메라(20)와 연결되어, 카메라(10,20)에서 촬영한 영상을 획득하여 객체를 검출하고 이동경로를 추적할 수 있다.

또한, 본 발명의 일 실시예에 따른 객체추적 장치(100)는 복수의 카메라(10, 20)에서 촬영한 영상을 획득하도록 구성되는 영상획득부(110), 획득한 영상을 병합하는 영상병합부(120), 병합된 영상을 분석하여 객체(예를 들면, 고객)를 검출하여 식별하는 객체검출부(130), 전후 프레임 영상에서 식별된 객체의 위치와 속도를 추적하여 이동경로를 생성하는 경로생성부(140), 그리고 생성된 이동경로를 기초로 다음경로를 예측하는 경로예측부(150)를 포함하여 구성될 수 있다.

이하, 도면을 참조하여 본 발명의 일 실시예에 따른 객체추적장치에서 수행하는 객체추적방법을 좀더 상세하게 설명한다.

도 4는 본 발명의 일 실시예에 따른 객체추적 방법의 과정을 보여주는 순서도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 객체추적 방법은 영상획득 단계(S210), 영상 보정단계(S220), 영상병합단계(S230), 객체검출단계(S240), 객체 특징값 생성단계(S250), 이동경로생성단계(S260), 유실구간복원단계(S270, 280)를 포함하여 구성될 수 있다.

영상획득단계(S210)는 복수의 카메라에서 동시에 촬영한 영상을 획득할 수 있다. 예를 들면, 매장의 천정에 일정 간격으로 설치된 돔 카메라에서 동시에 촬영한 영상을 획득할 수 있다. 이때, 돔 카메라는 각 카메라에서 촬영한 영상의 가장자리의 일정부분이 인접한 카메라 간에 겹쳐지도록 배치되는 것이 좋다.

영상보정단계(S220)는 복수의 카메라에서 동시에 획득한 각 비디오 프레임에 대하여, 인접한 카메라의 프레임과 중첩되는 부분에 대한 왜곡을 방지하기위한 보정(rectification)을 할 수 있다.

즉 일반적인 카메라 영상은 이미지의 가장자리 부분이 바깥쪽으로 휘어지는 배럴 왜곡(barrel distortion)을 보이기 때문에, 인접한 두 카메라 간에 중첩되는 부분의 영상은 각 카메라 간에 서로 다르게 투영되어 나타난다. 따라서 이 부분이 정확히 겹치도록 영상을 보정하는 것이 좋다. 예를 들면, 객체가 각 카메라 영상의 가장자리에 위치할 경우에는 영상의 중앙에 위치하는 경우보다 객체의 크기가 상대적으로 작게 투영되므로, 객체의 중심위치가 영상의 가장자리에 가까울수록 객체의 크기를 키우는 보정을 할 수 있다.

다음으로, 영상보정단계(S220)에서 보정된 각 비디오 프레임을 병합(S230)한 후에, 병합된 비디오 프레임에서 객체를 검출할 수 있다(S240). 객체의 검출은 병합된 비디오 프레임을 구성하는 배경 영상과 객체 영상을 획득한 후, 병합된 비디오 프레임에서 하나 또는 복수의 객체를 검출하는데, 배경 영상은 상기 각 카메라의 시간에 따른 누적영상을 병합한 영상일 수 있다.

즉, 객체는 객체가 없을 때의 영상인 배경 영상을 객체가 존재하는 영상인 객체침입 영상에서 빼는 뺄셈 연산을 수행하여 검출하는데, 뺄셈 연산을 통해서 침입 객체가 정확히 오려지지 않기 때문에, 그림자 제거 기술이 추가되는 것이 좋다.

또한, 매장 내 설치된 카메라 영상은 시간에 따라서 조명이 변할 수 있고, 조명의 변화에 따라서, 영상의 명암이나 색상도 조금씩 변할 수 있다. 따라서, 배경 영상도 시간에 따라서 지속적으로 갱신되어야 하므로, 시간에 따른 누적 영상(cumulated image)을 배경 영상으로 사용하는 것이 좋다.

다음으로, 객체를 식별하기 위한 특징값을 생성할 수 있다(S250). 영상에서 하나 또는 복수의 객체가 검출될 수 있는데, 동일 프레임 내의 각 객체를 정확히 오려내어 식별하고 또한 식별된 각 객체에 대응하는 객체를 연속하는 프레임 내에서 검출하고 추적하기 위하여 객체의 모델링이 필요하다. 모델링이란, 객체의 외형(shape)을 정확하게 판별하고, 객체의 속성을 구성하는 색상 특징이나 패턴 특징을 수학적 벡터값으로 산출하여 객체를 식별하기 위한 특징값을 생성하는 일련의 과정일 수 있다.

특히, 복수의 객체가 동일 프레임 내에 동시에 탐지될 경우, 이들을 추적하는 과정에서 둘 이상의 객체가 서로 병합되었다가 분할될 수 있는데, 각 프레임에서 각 객체 고유의 특징값이 도출되면, 이후 병합이나 분리의 과정을 거치더라도, 이전 프레임에서 도출한 객체 고유의 특징값을 근거로 연속하는 프레임에서 검출된 객체에서 각각 도출한 특징값과 비교하여 대응하는 객체를 식별할 수 있다.

다음으로, 이동경로 생성 단계(S260)는 앞서 생성된 각 객체의 특징값을 기초로 이전 프레임 내에서 각 객체에 대응하는 객체와 그 위치를 탐지하고, 이를 기초로 각 객체의 이동경로를 생성할 수 있다. 또한, 앞에서 설명한 것처럼, 복수의 객체가 탐지되는 각 객체를 구분하기 위해서, 각 객체의 특징값에 기초하여 연속하는 프레임에서 각 객체에 대응하는 객체를 식별하고, 연속하는 프레임 간에 대응하는 객체의 위치를 순차적으로 연결하여 각 객체의 방향과 속도를 산출하고, 이를 기초로 다음 프레임 내의 위치를 예측할 수 있다.

즉, 객체의 추적은, 연속된 각 프레임에 탐지된 객체의 위치를 연결하여 구성되는데, 프레임들은 시간적으로 균일한 간격으로 입력되므로(예를 들면, 1/30초마다) 각 프레임에서 구한 객체의 중심위치를 순차적으로 연결하면 이동하는 객체의 방향과 속도를 산출할 수 있고, 다음 프레임에서의 위치를 예측할 수 있게 된다. 이때, 추적된 각 객체의 일련의 위치값을 그대로 연결하면 2차원 좌표값이 조금씩 튈 수 있는데(fluctuation), 이를 부드럽게 보정하는 위치 필터링이 후처리로 수행되는 것이 좋다.

만일, 연속하는 프레임 내에서 객체가 유실된 구간이 발견된 경우에는 이동경로 생성 단계(S260)에서의 위치 예측 결과를 기초로, 유실된 객체가 사라진 프레임부터 재탐지된 프레임까지의 이동 경로를, 일정 시간 단위로 예측하여 연결함으로써 상기 유실된 구간을 복원할 수 있다(S270).

유실된 구간이란 객체가 사라진 순간부터 재검출된 순간까지의 구간을 의미하는 것으로, 유실된 구간을 복원하기 위해서는,

1) 객체가 사라진 순간부터 일정 시간 동안의 이동 경로를 예측하고,

2) 재 검출된 순간 이전의 일정 시간 동안의 이동 경로를 예측하고,

3) 사라진 순간의 객체의 특징값(크기/외형/칼라/패턴 등)과 재검출된 순간의 특징값 간의 유사도를 비교하고,

4) 사라진 위치부터 재검출된 위치까지의 최단 거리가 유실된 시간 내에 이동 불가능한 거리인지를 확인한다.

이와는 별개로, 매장의 진열대에 설치되는 카메라와 같이 객체의 정면촬영을 위해 별도로 배치된 카메라에서 획득한 영상을 이용하여 유실된 구간에서의 객체의 얼굴을 식별하고 해당 위치를 검출함으로써, 유실된 구간을 복원할 수도 있다(S280).

즉, 천정에 설치된 카메라에서 획득한 영상과는 별개로, 진열대에 위치한 카메라 영상을 통해 객체의 얼굴을 인식하여 유실된 객체의 위치를 보정한다. 예를 들면, 진열대 내부에 고객을 마주하여 촬영할 수 있도록 일정한 간격(예를 들면, 20~50 cm)으로 배치된 카메라의 영상에서 획득하는 고객의 얼굴 크기에 따라서 고객의 위치를 1m 오차 범위 내에서 결정할 수 있다. 이때, 진열대 내부에 설치된 카메라는 천정에 설치된 돔 카메라와 사전에 도면 기준으로 매핑되는 것이 좋다.

이 경우, 진열대 내부에 설치된 카메라 영상에서 고객의 얼굴이 인식되면 미리 그 위치와 시간을 기록하였다가, 천정에 설치된 카메라 영상에서 객체의 위치가 유실되었을 때 유실된 구간에서의 객체의 위치를 참조하도록 사용할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

1. 객체 추적 장치에서 특정장소에 분산 배치된 복수의 카메라에서 동시 획득한 영상을 이용한 객체를 추적하는 방법에 있어서,
   상기 복수의 카메라에서 동시에 획득한 비디오 프레임을 병합하는 단계;
   상기 병합된 비디오 프레임에서 적어도 하나의 특정 객체를 검출하는 단계;
   상기 검출된 각 특정 객체에 대하여 각각 적어도 하나의 특징을 추출하여 이를 기초로 상기 각 특정 객체에 대한 특징값을 생성하는 단계; 및
   상기 각 특정 객체의 특징값을 기초로 이전 프레임 내에서 상기 각 특정 객체에 대응하는 객체와 그 위치를 탐지하고, 이를 기초로 상기 각 특정 객체의 이동경로를 생성하는 단계를 포함하는, 객체 추적 방법으로서,
   상기 객체의 이동경로를 생성하는 단계는,
   연속하는 프레임 간 대응하는 객체의 위치를 순차적으로 연결하여 상기 각 특정 객체의 방향과 속도를 산출하고, 이를 기초로 다음 프레임 내의 위치를 예측하고,
   연속하는 프레임 내에서 특정 객체가 유실된 구간이 발견된 경우, 매장의 진열대에 설치되는 카메라와 같이 객체의 정면촬영을 위해 별도로 배치된 카메라에서 획득한 영상을 이용하여 유실된 구간에서의 객체의 얼굴을 식별하고 해당 위치를 검출함으로써, 유실된 구간을 복원하는 유실 구간 복원 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
2. 제1항에 있어서, 상기 적어도 하나의 특정 객체를 검출하는 단계는,
   상기 병합된 비디오 프레임을 구성하는 배경 영상과 객체 영상을 획득한 후, 상기 병합된 비디오 프레임에서 적어도 하나의 특정 객체를 검출하되, 상기 배경 영상은 상기 각 카메라의 시간에 따른 누적영상을 병합한 영상인 것을 특징으로 하는, 객체 추적 방법.
3. 제 1항에 있어서, 상기 비디오 프레임을 병합하는 단계 이전에
   상기 복수의 카메라에서 동시에 획득한 각 비디오 프레임에 대하여,
   인접한 카메라의 프레임과 중첩되는 부분에 대한 왜곡을 방지하기 위한 보정을 수행하는 영상보정 단계를 더 포함하는, 객체 추적 방법.
4. 삭제
5. 삭제
6. 제1항 내지 제3항 중 어느 하나의 청구항에 기재된 객체 추적 방법을 실행하는 프로그램이 기록되어 컴퓨터로 읽을 수 있는 기록매체.
7. 복수의 카메라로부터 동시 획득한 영상을 이용하여 객체를 추적하는 객체추적장치에 있어서,
   상기 복수의 카메라 중 천정에 설치된 카메라가 동시에 촬영한 영상을 획득하는 영상획득부와,
   상기 획득한 영상의 비디오 프레임을 병합하는 영상병합부와
   상기 병합된 비디오 프레임에서 적어도 하나의 특정 객체를 검출하고, 상기 검출된 각 특정 객체에 대하여 각각 적어도 하나의 특징을 기초로 하는 특징값을 생성하는 객체 검출부와,
   상기 각 특정 객체의 특징값을 기초로 이전 프레임 내에서 상기 각 특정 객체에 대응하는 객체와 그 위치를 탐지하고, 이를 기초로 상기 각 특정 객체의 이동경로를 생성하는 경로 생성부와,
   연속하는 프레임 간 대응하는 객체의 위치를 순차적으로 연결하여 상기 각 특정 객체의 방향과 속도를 산출하고, 이를 기초로 다음 프레임 내의 위치를 예측하는 경로 예측부를 포함하되,
   상기 경로 예측부는 연속하는 프레임 내에서 특정 객체가 유실된 구간이 발견된 경우, 상기 복수의 카메라 중 매장의 진열대에 설치되는 카메라와 같이 객체의 정면촬영을 위해 별도로 배치된 카메라에서 획득한 영상을 이용하여 유실된 구간에서의 객체의 얼굴을 식별하고 해당 위치를 검출함으로써, 유실된 구간을 복원하는 것을 특징으로 하는 객체 추적 장치.
8. 제7항에 있어서,
   상기 복수의 카메라 중 천정에 설치된 카메라는 상기 각 카메라에서 촬영한 영상의 가장자리의 일정부분이 인접한 카메라 간에 겹쳐지도록 간격을 두고 배치되는 것을 특징으로 하는, 객체 추적 장치.

Images