KR20230081016A - 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램 - Google Patents

복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20230081016A
KR20230081016A KR1020210168679A KR20210168679A KR20230081016A KR 20230081016 A KR20230081016 A KR 20230081016A KR 1020210168679 A KR1020210168679 A KR 1020210168679A KR 20210168679 A KR20210168679 A KR 20210168679A KR 20230081016 A KR20230081016 A KR 20230081016A
Authority
KR
South Korea
Prior art keywords
tracking
local
graph
node
feature
Prior art date
Application number
KR1020210168679A
Other languages
English (en)
Inventor
김민철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020210168679A priority Critical patent/KR20230081016A/ko
Publication of KR20230081016A publication Critical patent/KR20230081016A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

복수의 카메라를 이용하여 객체를 추적하는 장치에 있어서, 영상 데이터에 포함된 적어도 하나의 객체를 검출하는 객체 검출부; 상기 객체의 특징 정보를 추출하는 특징 추출부; 상기 객체가 검출된 위치에 대한 위치 정보, 상기 특징 정보에 기초하여 상기 객체의 로컬 식별번호를 설정하고, 상기 객체를 추적하는 로컬 추적부; 복수의 카메라에 대한 카메라 노드 및 상기 객체에 대한 객체 노드를 생성하고, 상기 카메라 노드와 상기 객체 노드를 연결하여 로컬 그래프를 생성하는 로컬 그래프 생성부; 상기 복수의 카메라 간의 위치 관계에 기초하여 상기 로컬 그래프를 연결하여 글로벌 그래프를 생성하는 글로벌 그래프 생성부; 및 상기 글로벌 그래프에 기초하여 상기 객체를 추적하는 글로벌 추적부를 포함한다.

Description

복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램{DEVICE, METHOD AND COMPUTER PROGRAM FOR TRACKING OBJECT USING MULTIPLE CAMERAS}
본 발명은 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
지능형 감시 시스템(Intelligent Surveillance Systems)은 복수의 카메라를 이용하여 객체를 인식하고 추적한다.
객체를 추적하는 기술은 촬영 영상에 기초하여 객체의 좌표 정보를 활용한 IOU(Intersection Over Union) 기반의 추적 방법이 있다. 예를 들어, 객체의 좌표 정보를 이용하여 객체의 이동 속도 및 이동 방향 등을 산출하고, 객체가 나타나는 시점과 위치를 예측한다.
또한, 객체의 특징 정보를 활용한 KLT(Kanade-Lucas-Tomasi) 추적기 및 DCF(Discriminative Correlation Filter) 추적기 등이 있다. 예를 들어, 객체의 특징 정보를 이용하여 해당 특징 정보와 동일한 객체를 인식하고 객체를 추적한다.
그러나, 객체의 좌표 정보를 이용하여 객체를 추적하는 기술은 카메라의 설치 위치에 의존하는 경향이 있어, 객체를 추적하는 과정에서 객체가 카메라의 시야에서 사라지고 다시 등장하는 시간이 길어지면 객체 추적에 실패하는 경우가 종종 있다. 따라서, 종래 추적 기술은 카메라의 화각을 최대한 겹치도록 설치해야 하므로, 카메라 설치에 따른 비용 상의 문제가 존재한다.
한편, 객체의 특징 정보를 이용하여 객체를 추적하는 기술은 추적하는 객체의 수가 많아지면, 객체와 특징 정보를 매칭하는데 많은 시간이 소요된다. 또한, 객체와 특징 정보 간의 매칭은 시각적인 정보에 기초한다. 따라서, 카메라의 설치 각도 및 위치에 따라 조명 등의 영향으로 동일한 객체가 상이하게 촬영되는 경우, 객체 인식에 실패할 우려가 있다.
한국등록특허공보 제10-1897018호 (2018. 9. 4. 등록) 한국등록특허공보 제10-1645959호 (2016. 8. 1. 등록)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 카메라의 설치 위치 및 수에 의존하지 않고 객체를 정확하게 추적할 수 있는 객체 추적 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
또한, 조명 등을 포함한 주변 환경의 영향으로 인해 동일한 객체가 상이하게 촬영되는 경우에도 객체 간의 동일 여부를 정확하게 인식하고 추적할 수 있는 객체 추적 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 복수의 카메라를 이용하여 객체를 추적하는 장치에 있어서, 영상 데이터에 포함된 적어도 하나의 객체를 검출하는 객체 검출부; 상기 객체의 특징 정보를 추출하는 특징 추출부; 상기 객체가 검출된 위치에 대한 위치 정보, 상기 특징 정보에 기초하여 상기 객체의 로컬 식별번호를 설정하고, 상기 객체를 추적하는 로컬 추적부; 복수의 카메라에 대한 카메라 노드 및 상기 객체에 대한 객체 노드를 생성하고, 상기 카메라 노드와 상기 객체 노드를 연결하여 로컬 그래프를 생성하는 로컬 그래프 생성부; 상기 복수의 카메라 간의 위치 관계에 기초하여 상기 로컬 그래프를 연결하여 글로벌 그래프를 생성하는 글로벌 그래프 생성부; 및 상기 글로벌 그래프에 기초하여 상기 객체를 추적하는 글로벌 추적부를 제공할 수 있다.
본 발명의 다른 실시예는, 복수의 카메라를 이용하여 객체를 추적하는 방법에 있어서, 영상 데이터에 포함된 적어도 하나의 객체를 검출하는 단계; 상기 객체의 특징 정보를 추출하는 단계; 상기 객체가 검출된 위치에 대한 위치 정보, 상기 특징 정보에 기초하여 상기 객체의 로컬 식별번호를 설정하고, 상기 객체를 추적하는 단계; 복수의 카메라에 대한 카메라 노드 및 상기 객체에 대한 객체 노드를 생성하는 단계; 상기 카메라 노드와 상기 객체 노드를 연결하여 로컬 그래프를 생성하는 단계; 상기 복수의 카메라 간의 위치 관계에 기초하여 상기 로컬 그래프를 연결하여 글로벌 그래프를 생성하는 단계; 및 상기 글로벌 그래프에 기초하여 상기 객체를 추적하는 단계를 포함하는, 객체 추적 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 복수의 카메라를 이용하여 객체를 추적하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 영상 데이터에 포함된 적어도 하나의 객체를 검출하고, 상기 객체의 특징 정보를 추출하고, 상기 객체가 검출된 위치에 대한 위치 정보, 상기 특징 정보에 기초하여 상기 객체의 로컬 식별번호를 설정하고, 상기 객체를 추적하고, 복수의 카메라에 대한 카메라 노드 및 상기 객체에 대한 객체 노드를 생성하고, 상기 카메라 노드와 상기 객체 노드를 연결하여 로컬 그래프를 생성하고, 상기 복수의 카메라 간의 위치 관계에 기초하여 상기 로컬 그래프를 연결하여 글로벌 그래프를 생성하고, 상기 글로벌 그래프에 기초하여 상기 객체를 추적하도록 하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 복수의 카메라 및 추적하고자 하는 객체들의 관계를 하나의 정보로 생성할 수 있다. 복수의 카메라 및 객체들의 관계 정보에 기초하여 객체를 추적할 수 있다.
따라서, 카메라의 설치 위치 및 수에 의존하지 않을 뿐만 아니라, 조명 등을 포함한 주변 환경의 영향으로 인해 동일한 객체가 상이하게 촬영되는 경우에도 객체 간의 동일 여부를 정확하게 인식하고 추적할 수 있는 객체 추적 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 객체의 검출을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 로컬 그래프를 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 글로벌 그래프를 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 글로벌 그래프에 기초하여 객체를 추적하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체에 대하여 생성된 매트릭스를 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 객체 간 동일인일 확률값에 대한 매트릭스를 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 판단 모델을 학습하는 과정을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 객체를 판단하는 과정을 설명하기 위한 예시적인 도면이다.
도 10은 본 발명의 일 실시예에 따른 객체 추적 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 장치의 구성도이다. 도 1을 참조하면, 객체 추적 장치(100)는 객체 검출부(110), 특징 추출부(120), 로컬 추적부(130), 로컬 그래프 생성부(140), 글로벌 그래프 생성부(150) 및 글로벌 추적부(160)를 포함할 수 있다. 다만 위 구성 요소들(110 내지 160)은 객체 추적 장치(100)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것일 뿐이다.
도 1의 객체 추적 장치(100)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 객체 검출부(110), 특징 추출부(120), 로컬 추적부(130), 로컬 그래프 생성부(140), 글로벌 그래프 생성부(150) 및 글로벌 추적부(160)는 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
본 발명의 일 실시예에 따른 객체 추적 장치(100)는 복수의 카메라 및 추적하고자 하는 객체들의 관계를 하나의 정보로 생성할 수 있다. 객체 추적 장치(100)는 복수의 카메라 및 객체들의 관계 정보에 기초하여 객체를 추적할 수 있다.
예를 들어, 객체 추적 장치(100)는 복수의 카메라 및 복수의 카메라로부터 촬영된 각각의 객체들을 연결한 그래프 정보를 생성할 수 있다. 객체 추적 장치(100)는 그래프 정보에 포함된 카메라 및 객체 간의 관계성에 기초하여 각각의 객체를 보다 정확하게 인식하고 추적할 수 있다.
따라서, 객체 추적 장치(100)는 카메라의 설치 위치 및 수에 의존하지 않을 뿐만 아니라, 조명 등을 포함한 주변 환경의 영향으로 인해 동일한 객체가 상이하게 촬영되는 경우에도 객체 간의 동일 여부를 정확하게 인식하고 추적할 수 있다.
이하, 객체 추적 장치(100)의 각 구성을 살펴보도록 한다.
객체 검출부(110)는 영상 데이터에 포함된 적어도 하나의 객체를 검출할 수 있다. 예를 들어, 객체 검출부(110)는 복수의 카메라로부터 촬영된 영상 데이터에서 객체의 위치 및 크기를 검출할 수 있다.
객체 검출부(110)는 객체가 검출된 좌표 및 객체에 대한 크기에 기초하여 위치 정보를 생성할 수 있다. 예를 들어, 객체 검출부(110)는 영상 데이터를 분석하여 검출된 객체의 좌표 정보, 크기 정보 및 위치 정보를 도출할 수 있다.
특징 추출부(120)는 객체의 특징 정보를 추출할 수 있다. 예를 들어, 특징 추출부(120)는 검출된 객체에 대한 객체 영상을 특징 추출기에 입력하여 객체의 특징 정보 및 속성 정보를 추출할 수 있다. 여기서, 특징 추출기는 Resnet50 및 EfficientNet 등을 포함하는 딥러닝 기반 특징 추출기이거나, SIFT, HOG, LBP 등을 포함하는 영상 처리 기반 특징 추출기일 수 있고, 본 일실시예에 한정되지 않는다.
예를 들어, 특징 추출부(120)는 객체 검출기를 통해 검출된 객체에 대한 객체의 분류 정보(예: 사람, 차량, 동물 등), 색상 정보 및 기타 정보(예: 의상, 성별 등) 등 다양한 형태의 정보를 추출할 수 있다.
로컬 추적부(130)는 각각의 카메라 별로 객체를 추적할 수 있다. 예를 들어, 로컬 추적부(130)는 KLT 추적기, DCF 추적기 등을 포함하는 로컬 추적기를 이용할 수 있다.
로컬 추적부(130)는 객체가 검출된 위치에 대한 위치 정보, 특징 정보에 기초하여 객체의 로컬 식별번호를 설정하고, 객체를 추적할 수 있다. 예를 들어, 로컬 추적부(130)는 검출된 객체를 추적하고, 각 객체의 이동 방향 및 속도를 산출할 수 있다.
또한, 로컬 추적부(130)는 객체에 대한 속성 확률값에 기초하여 제 1 객체에 대한 제 1 영상 및 제 2 객체에 대한 제 2 영상으로부터 도출된 영역별 특징값을 포함하는 영역별 특징 매트릭스를 생성할 수 있다. 예를 들어, 로컬 추적부(130)는 객체 영상을 영역별로 구분하여 각 영역에 대한 객체의 특징 정보를 도출할 수 있다. 로컬 추적부(130)는 영역별로 도출된 객체의 특징 정보에 기초하여 영역별 특징 매트릭스를 생성할 수 있다.
로컬 추적부(130)는 영역별 특징값에 기초하여 제 1 객체와 제 2 객체가 동일인일 확률값을 산출한 영역별 확률 매트릭스를 생성할 수 있다. 예를 들어, 로컬 추적부(130)는 영역별로 도출된 객체의 특징 정보를 객체간 서로 비교하여 동일인 여부를 판단할 수 있다. 로컬 추적부(130)는 객체 간 동일인 여부를 객체 영상의 영역별 정보에 기초하여 판단하고 이를 수치화한 영역별 확률 매트릭스를 생성할 수 있다.
로컬 추적부(130)는 복수의 카메라별로 검출된 객체의 특징 정보에 대한 전체 특징값을 포함하는 전체 특징 매트릭스를 생성할 수 있다. 예를 들어, 로컬 추적부(130)는 객체 영상의 전체 영역으로부터 객체에 대한 전체 특징값을 추출할 수 있다. 로컬 추적부(130)는 객체에 대한 전체 특징값에 기초하여 전체 특징 매트릭스를 생성할 수 있다. 전체 특징 매트릭스는 복수의 객체에 대한 각 객체의 전체 특징값을 포함할 수 있다.
로컬 추적부(130)는 전체 특징값에 기초하여 객체 간 동일인일 확률값을 산출한 전체 확률 매트릭스를 생성할 수 있다. 예를 들어, 로컬 추적부(130)는 객체 영상의 전체 영역으로부터 추출된 전체 특징값을 비교하여 객체 간 동일인 여부를 판단할 수 있다. 로컬 추적부(130)는 객체 간 동일인 여부를 객체 영상의 전체 정보에 기초하여 판단하고 이를 수치화한 전체 확률 매트릭스를 생성할 수 있다.
로컬 추적부(130)는 검출된 객체에 대하여 기설정된 속성에 해당하는지 여부를 판단할 수 있다. 로컬 추적부(130)는 객체별 속성 판단 정보를 확률값으로 산출하여 속성 매트릭스를 생성할 수 있다. 예를 들어, 로컬 추적부(130)는 검출된 객체가 사람인 경우, 객체 영상을 분석하여 해당 객체가 성별이 여자일 확률값, 모자를 착용했을 확률값, 핸드백을 소지했을 확률값을 각각 산출할 수 있다.
로컬 그래프 생성부(140)는 각각의 카메라 별로 객체 정보를 포함하고 있는 로컬 그래프를 생성할 수 있다. 예를 들어, 로컬 그래프 생성부(140)는 1번 카메라에 대한 정보 및 1번 카메라로부터 검출된 객체들에 대한 정보를 포함하고 있는 제 1 로컬 그래프를 생성할 수 있고, 2번 카메라에 대한 정보 및 2번 카메라로부터 검출된 객체들에 대한 정보를 포함하고 있는 제 2 로컬 그래프를 생성할 수 있다.
로컬 그래프 생성부(140)는 카메라 노드와 객체 노드를 연결하여 로컬 그래프를 생성할 수 있다. 로컬 그래프 생성부(140)는 복수의 카메라에 대한 카메라 노드 및 객체에 대한 객체 노드를 생성할 수 있다.
로컬 그래프 생성부(140)는 복수의 카메라 중 어느 하나의 카메라에 대한 식별번호, 어느 하나의 카메라에 대한 위치 정보 및 어느 하나의 카메라에 대한 화각 정보를 포함하여 어느 하나의 카메라에 대한 카메라 노드를 생성할 수 있다. 예를 들어, 카메라 노드는 카메라의 식별번호, 카메라의 설치 위치 및 카메라의 화각 정보 등 카메라의 성능 및 설치 목적 등에 따라 다양한 형태의 정보를 포함할 수 있다.
로컬 그래프 생성부(140)는 어느 하나의 카메라에 기초하여 검출된 적어도 하나 이상의 객체에 대한 객체의 종류, 객체의 로컬 식별번호, 객체의 위치 정보, 객체의 특징 정보, 객체의 속성 정보, 객체의 이동 방향 및 속도 정보를 포함한 객체 노드를 생성할 수 있다.
로컬 그래프 생성부(140)는 어느 하나의 카메라에 대한 카메라 노드 및 객체 노드를 연결하여 어느 하나의 카메라에 대한 로컬 그래프를 생성할 수 있다. 예를 들어, 로컬 그래프 생성부(140)는 카메라 노드와 객체 노드를 엣지로 연결할 수 있다.
로컬 그래프 생성부(140)는 객체의 종류 및 객체의 특징 정보에 기초하여 객체 노드 간의 연결을 생성하고, 객체 노드 간의 연결을 로컬 그래프에 포함할 수 있다. 예를 들어, 로컬 그래프 생성부(140)는 객체 간의 관계성에 기초하여 객체 노드와 객체 노드를 엣지로 연결할 수 있다.
글로벌 그래프 생성부(150)는 복수의 카메라 간의 위치 관계에 기초하여 로컬 그래프를 연결하여 글로벌 그래프를 생성할 수 있다. 예를 들어, 각각의 카메라 별로 생성된 로컬 그래프를 전체적으로 연결하여 복수의 카메라로부터 검출된 복수의 객체에 대한 정보를 포함하고 있는 글로벌 그래프를 생성할 수 있다.
글로벌 그래프 생성부(150)는 로컬 그래프 간의 구간 노드를 추가하여 글로벌 그래프를 생성할 수 있다. 예를 들어, 글로벌 그래프 생성부(150)는 로컬 그래프 간의 구간 노드를 추가하여 로컬 그래프를 연결할 수 있다.
글로벌 추적부(160)는 글로벌 그래프에 기초하여 객체를 추적할 수 있다. 예를 들어, 글로벌 추적부(160)는 복수의 카메라로부터 검출된 복수의 객체를 동시에 추적할 수 있다.
글로벌 추적부(160)는 각 카메라에서 검출되어 추적하고 있는 객체가 다른 카메라로 이동한 경우, 글로벌 그래프에 포함된 구간 노드를 이용하여 해당 객체의 이동 경로를 정확하게 추적할 수 있다. 예를 들어, 글로벌 추적부(160)는 제 1 카메라에서 검출된 객체가 사라진 경우, 해당 객체에 대한 정보를 제 1 카메라 및 제 2 카메라 사이의 구간 노드로 이동시킬 수 있다. 글로벌 추적부(160)는 해당 객체와 제 2 카메라에서 신규로 검출된 객체를 비교하여 해당 객체의 이동 경로를 추적할 수 있다.
이와 같이, 객체 추적 장치(100)는 특정 객체가 특정 카메라의 시야에서 사라진 경우에도 글로벌 그래프에 포함된 복수의 카메라에 대한 정보 및 복수의 카메라로부터 검출된 복수의 객체에 대한 정보를 이용하여 특정 객체의 위치를 정확하게 추적할 수 있다. 따라서, 객체 추적 장치(100)는 객체를 추적하는 과정에서 객체가 카메라의 시야에서 사라지고 다시 등장하는 시간이 길어지는 경우에 객체 추적에 실패하는 종래 기술의 문제점을 해결할 수 있다.
또한, 글로벌 추적부(160)는 영역별 특징 매트릭스 및 영역별 확률 매트릭스에 기초하여 제 1 판단 모델을 학습시킬 수 있다. 글로벌 추적부(160)는 영역별 특징 매트릭스를 학습된 제 1 판단 모델에 입력하여 영역별 확률 매트릭스를 출력할 수 있다.
글로벌 추적부(160)는 전체 특징 매트릭스 및 전체 확률 매트릭스에 기초하여 제 2 판단 모델을 학습시킬 수 있다. 글로벌 추적부(160)는 전체 특징 매트릭스를 학습된 제 2 판단 모델에 입력하여 전체 확률 매트릭스를 출력할 수 있다.
여기서, 제 1 판단 모델 및 제 2 판단 모델은 그래프를 학습하는 그래프 뉴럴 네트워크(Graph Neural Network, GNN)일 수 있다.
글로벌 추적부(160)는 제 1 판단 모델의 출력값 및 제 2 판단 모델의 출력값에 기초하여 영상 데이터에 포함된 객체가 신규 객체인지 기존 객체인지를 판단할 수 있다. 예를 들어, 글로벌 추적부(160)는 제 1 판단 모델 및 제 2 판단 모델의 출력값에 기초하여 특정 카메라에서 검출된 특정 객체와 기존 객체 간의 연관성을 파악할 수 있다. 글로벌 추적부(160)는 특정 객체와 기존 객체 간의 연관성 여부에 기초하여 특정 객체가 신규 객체인지 다른 카메라로부터 이동되어 검출된 객체인지를 판단할 수 있다.
도 2는 본 발명의 일 실시예에 따른 객체의 검출을 설명하기 위한 예시적인 도면이다. 도 2를 참조하면, 객체 추적 장치(100)는 영상 데이터(210)를 객체 검출기(220)에 입력할 수 있다. 객체 추적 장치(100)는 객체 검출기(220)를 통해 영상 데이터(210)로부터 객체(230)를 검출할 수 있다. 여기서, 객체 검출기(220)는 Yolo(You Only Look Once), SSD(Single Shot Detector)와 같은 딥러닝 검출기일 수 있고, 본 실시예에 한정되지 않는다.
예를 들어, 객체 추적 장치(100)는 영상 데이터(210)를 객체 검출기(220)에 입력하여 객체(230)를 검출하고, 검출된 객체(230)의 좌표 정보 및 크기 정보에 기초하여 객체(230)에 대한 위치 정보를 생성할 수 있다. 일예로, 객체(230)의 위치 정보는 객체의 좌표값, 객체의 길이 및 객체의 너비 등을 포함할 수 있다.
예를 들어, 객체 추적 장치(100)는 영상 데이터(210)를 객체 검출기(220)에 입력하여 객체(230)를 검출하고, 검출된 객체(230)에 대한 객체 영상(240)을 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 로컬 그래프를 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 객체 추적 장치(100)는 제 1 카메라에 대한 제 1 로컬 그래프(300)를 생성할 수 있다.
예를 들어, 객체 추적 장치(100)는 제 1 카메라 노드(310)를 생성할 수 있다. 객체 추적 장치(100)는 '종류(310a): 카메라', '식별번호(310b):001' 및 '위치 정보(310c): 1층 후문' 등 제 1 카메라에 대한 정보를 포함한 제 1 카메라 노드(310)를 생성할 수 있다.
예를 들어, 객체 추적 장치(100)는 제 1 카메라로부터 검출된 제 1 객체에 대한 제 1 객체 노드(311)를 생성할 수 있다. 객체 추적 장치(100)는 '종류(311a): 사람', '로컬 식별번호(311b):001', '위치(311c):X,Y,W,H', '특징(311d):영상 특징값', '속성(311e):회색모자, 남자 등', '이동 방향(311f):↓' 및 '속도(311g):2.3km' 등 제 1 객체에 대한 정보를 포함한 제 1 객체 노드(311)를 생성할 수 있다.
이와 같은 방식으로 객체 추적 장치(100)는 제 1 카메라로부터 검출된 제 2 객체, 제 3 객체, 제 4 객체 및 제 5 객체에 대한 제 2 객체 노드(312), 제 3 객체 노드(313), 제 4 객체 노드(314) 및 제 5 객체 노드(315)를 생성할 수 있다.
객체 추적 장치(100)는 제 1 카메라 노드(310)와 제 1 객체 내지 제 5 객체(311 내지 315)를 연결하여 제 1 로컬 그래프(300)를 생성할 수 있다.
또한, 객체 추적 장치(100)는 제 1 객체 내지 제 5 객체에 대한 종류 또는 특징 정보에 기초하여 객체 노드 간의 연결(320)을 생성할 수 있다. 예를 들어, 객체 추적 장치(100)는 객체의 종류가 '사람'인, 제 1 객체 노드(311)와 제 3 객체 노드(313)를 연결한 제 1 객체 노드 간의 연결(321)을 생성할 수 있고, 객체의 종류가 '차량'인 제 2 객체 노드(312)와 제 4 객체 노드(314)를 연결한 제 2 객체 노드 간의 연결(322)을 생성할 수 있다. 객체 추적 장치(100)는 제 1 객체 노드 간의 연결(321) 및 제 2 객체 노드 간의 연결(322)을 제 1 로컬 그래프(300)에 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 글로벌 그래프를 설명하기 위한 예시적인 도면이다. 도 4를 참조하면, 객체 추적 장치(100)는 제 1 카메라, 제 2 카메라 및 제 3 카메라 간의 위치 관계에 기초하여 제 1 로컬 그래프, 제 2 로컬 그래프 및 제 3 로컬 그래프를 연결하여 글로벌 그래프(400)를 생성할 수 있다.
예를 들어, 객체 추적 장치(100)는 1층 후문에 위치한 제 1 카메라의 제 1 카메라 노드(410)와 1층 로비에 위치한 제 2 카메라의 제 2 카메라 노드(420)를 연결할 수 있다. 객체 추적 장치(100)는 1층 사무실에 위치한 제 3 카메라의 제 3 카메라 노드(430)를 제 2 카메라 노드(420)와 연결할 수 있다.
예를 들어, 객체 추적 장치(100)는 제 1 카메라 노드(410), 제 1 카메라로부터 검출된 제 1 객체 노드(411), 제 2 객체 노드(412), 제 3 객체 노드(413), 제 4 객체 노드(414), 제 5 객체 노드(415) 및 객체 노드 간의 연결(416)을 포함한 제 1 로컬 그래프와 제 2 로컬 그래프를 제 1 카메라 노드(410) 및 제 2 카메라 노드(420)를 통해 연결할 수 있다.
또한, 객체 추적 장치(100)는 로컬 그래프 간의 구간 노드(440)를 추가하여 글로벌 그래프(400)에 포함할 수 있다. 예를 들어, 객체 추적 장치(100)는 제 1 카메라 노드(410)와 제 2 카메라 노드(420) 간의 제 1 구간 노드(441)를 생성하여 1층 후문과 1층 로비를 연결하는 구간 정보를 생성할 수 있다. 제 1 구간 노드(441)는 '종류: 구간 노드', '식별번호:004' 및 '위치: 1층 후문-로비' 등 1층 후문과 1층 로비를 연결하는 구간에 대한 정보를 포함할 수 있다. 다른 예를 들어, 객체 추적 장치(100)는 1층 로비와 1층 사무실을 연결하는 제 2 카메라 노드(420)와 제 3 카메라 노드(430) 간의 제 2 구간 노드(442)를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 글로벌 그래프에 기초하여 객체를 추적하는 과정을 설명하기 위한 예시적인 도면이다. 도 5를 참조하면, 객체 추적 장치(100)는 영상 데이터의 각 프레임에 대한 글로벌 그래프(510 내지 540)를 순차적으로 추적하여 복수의 카메라로부터 검출된 객체들을 동시에 추적할 수 있다. 예를 들어, 객체 추적 장치(100)는 제 1 글로벌 그래프(510), 제 2 글로벌 그래프(520), 제 3 글로벌 그래프(530) 및 제 4 글로벌 그래프(540)에 기초하여 복수의 객체들을 순차적으로 추적할 수 있다. 도 5에 도시된 바와 같이, 제 1 글로벌 그래프(510)는 제 1 로컬 그래프 내지 제 4 로컬 그래프(511 내지 514)를 포함할 수 있고, 제 2 글로벌 그래프(520)는 제 1 로컬 그래프 내지 제 4 로컬 그래프(521 내지 524)를 포함할 수 있고, 제 3 글로벌 그래프(530)는 제 1 로컬 그래프 내지 제 4 로컬 그래프(531 내지 534)를 포함할 수 있고, 제 4 글로벌 그래프(540)는 제 1 로컬 그래프 내지 제 4 로컬 그래프(541 내지 544)를 포함할 수 있다.
객체 추적 장치(100)는 특정 객체가 특정 카메라의 시야로부터 사라진 경우, 해당 객체의 이동 경로를 추적할 수 있다. 예를 들어, 제 1 글로벌 그래프(510)에 포함된 복수의 객체 중 제 1 로컬 그래프에 포함된 제 1 객체(550)가 제 3 글로벌 그래프(3)로 이동하는 중에 사라진 경우, 객체 추적 장치(100)는 로컬 그래프 간의 구간 노드를 이용하여 제 1 객체의 이동 경로를 분석하고 추적할 수 있다.
예를 들어, 객체 추적 장치(100)는 제 2 글로벌 그래프(520)에서 제 1 로컬 그래프(521)와 제 2 로컬 그래프(522) 간의 제 1 구간 노드(521a)에 제 1 객체 노드를 이동시킬 수 있고, 제 1 로컬 그래프(521)와 제 3 로컬 그래프(523) 간의 제 2 구간 노드(521b)에 제 1 객체 노드를 이동시킬 수 있다. 객체 추적 장치(100)는 중복되는 제 1 구간 노드(521a)의 제 1 객체 노드와 제 2 구간 노드(521b)의 제 1 객체 노드를 연결한 연결선을 생성할 수 있다.
이 후, 객체 추적 장치(100)는 제 3 글로벌 그래프(530)에서 제 3 로컬 그래프(533)에 제 1 객체(550)가 검출된 경우, 제 1 구간 노드(521a) 및 제 2 구간 노드(521b)로 이동시킨 제 1 객체 노드를 삭제할 수 있고, 연결선 또한 삭제할 수 있다. 객체 추적 장치(100)는 제 3 글로벌 그래프(530)에서 제 3 로컬 그래프(533)에 제 1 객체(550)에 대한 노드를 추가할 수 있다. 객체 추적 장치(100)는 생성된 제 1 객체(550)에 대한 노드의 종류, 특성 및 속성 중 어느 하나에 기초하여 제 3 로컬 그래프(533)에 포함된 카메라 노드 및 객체 노드와 연결할 수 있다.
이와 같이, 객체 추적 장치(100)는 복수의 카메라로부터 촬영된 복수의 객체를 동시적으로 추적할 수 있으므로, 층별, 매장별 또는 건물별로 방문자를 카운팅하는데 활용될 수 있다. 또한, 객체 추적 장치(100)는 특정 구간, 특정 노선 또는 특정 지역에 대한 차량의 이동 경로 및 교통량의 분석에도 활용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 객체에 대하여 생성된 매트릭스를 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 객체 추적 장치(100)는 복수의 카메라로부터 검출된 객체에 대하여 전체 특징값을 추출할 수 있다.
예를 들어, 객체 추적 장치(100)는 복수의 객체 영상(600)에 대하여 각 객체의 전체 특징값을 추출할 수 있다. 객체 추적 장치(100)는 제 1 객체 영상(610)의 전체 영역에 기초하여 제 1 객체에 대한 전체 특징값(651)을 추출할 수 있다. 객체 추적 장치(100)는 제 2 객체 영상(620), 제 3 객체 영상(630) 및 제 4 객체 영상(640)으로부터 각각 해당 객체에 대한 전체 특징값을 추출할 수 있다.
객체 추적 장치(100)는 추출된 객체의 전체 특징값에 기초하여 전체 특징 매트릭스(650)를 생성할 수 있다. 전체 특징 매트릭스(650)는 복수의 객체의 각각의 전체 특징값에 대한 정보를 포함할 수 있다. 예를 들어, 전체 특징 매트릭스(650)는 제 1 객체의 전체 특징값에 대한 정보(650a) 등을 포함할 수 있다.
객체 추적 장치(100)는 객체의 전체 특징값에 기초하여 객체 간 동일인일 확률값을 산출할 수 있다. 예를 들어, 객체 추적 장치(100)는 제 1 객체의 전체 특징값에 기초하여 제 1 객체와 제 1 객체간의 동일인 여부를 판단하고 확률값 '1'(660a)을 산출할 수 있다. 객체 추적 장치(100)는 제 1 객체의 전체 특징값과 제 2 객체의 전체 특징값에 기초하여 제 1 객체와 제 2 객체 간의 동일인 여부를 판단하고 확률값 '0.73' (660b) 등을 산출할 수 있다.
객체 추적 장치(100)는 객체의 전체 특징값에 기초하여 산출된 객체 간 동일인 확률값으로부터 전체 확률 매트릭스(660)를 생성할 수 있다. 예를 들어, 전체 확률 매트릭스(660)는 제 1 객체의 전체 특징값과 제 2 객체의 전체 특징값에 기초하여 산출된 제 1 객체와 제 2 객체 간의 동일인일 확률값 '0.73' (660b) 등을 포함할 수 있다.
이와 같이, 객체 추적 장치(100)는 객체의 전체 특징값을 이용하여 객체 간 동일인 여부를 판단함에 따라, 객체로부터 속성 정보가 잘못 검출된 경우에도 객체의 전체 영상 정보에 기초하여 객체 간의 동일인 여부를 판단할 수 있다. 예를 들어, 특정 객체 영상에서 특정 객체가 가방을 소지하고 있지 않은 데에도 가방에 대한 속성 정보가 잘못 검출된 경우, 객체 추적 장치(100)는 특정 객체에 대한 전체 영상 정보에 기초하여 다른 객체와의 동일인 여부를 판단할 수 있다.
한편, 객체 추적 장치(100)는 객체 영상(600)에 기초하여 속성 특징값(671)을 추출할 수 있다. 예를 들어, 객체 추적 장치(100)는 제 1 객체 영상(610)을 분석하여 제 1 객체가 남성(671a)일 확률값 '0.96'(670a)을 산출할 수 있다. 객체 추적 장치(100)는 제 1 객체 영상(610)을 분석하여 제 1 객체가 여성(671b)일 확률값, 셔츠(671c)를 입었을 확률값 등을 각각 산출할 수 있다.
객체 추적 장치(100)는 객체 영상(600)으로부터 추출된 속성 특징값(671), 일예로, 각 속성에 대한 확률값에 기초하여 속성 매트릭스(670)를 생성할 수 있다. 예를 들어, 속성 매트릭스(670)는 제 1 객체 영상(610)에 기초하여 제 1 객체가 남성(671a)일 확률값(670a), 제 1 객체가 여성(671b)일 확률값, 제 1 객체가 셔츠(671c)를 입었을 확률값 등을 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 객체 간 동일인일 확률값에 대한 매트릭스를 설명하기 위한 예시적인 도면이다. 도 7을 참조하면, 객체 추적 장치(100)는 복수의 카메라로부터 검출된 객체에 대하여 영역별 특징값을 추출할 수 있다.
예를 들어, 객체 추적 장치(100)는 제 1 객체 영상(720)에 대하여 유의미한 부분 영역을 선정할 수 있다. 객체 추적 장치(100)는 제 1 객체로부터 추출된 속성 확률값을 이용하여 제 1 객체 영상(720)에 대하여 유의미한 부분 영역을 선정할 수 있다. 구체적으로, 객체 추적 장치(100)는 제 1 객체로부터 추출된 속성 확률값 중 기설정된 임계치 이상인 확률값, 일예로, '0.5' 이상인 확률값, '남성', '셔츠', '바지', '백팩' 및 '구두' 속성에 기초하여 제 1 객체 영상(720)에 대하여 제 1 부분 영역 내지 제 5 부분 영역(721 내지 725)을 선정할 수 있다.
객체 추적 장치(100)는 제 1 부분 영역(721) 내지 제 5 부분 영역(725)에 기초하여 제 1 객체에 대한 영역별 특징값(730)을 추출할 수 있다. 예를 들어, 객체 추적 장치(100)는 제 1 객체 영상(720)의 제 1 부분 영역(721)으로부터 남성 특징값을 추출할 수 있고, 제 1 객체 영상(720)의 제 2 부분 영역(722)으로부터 셔츠 특징값을 추출할 수 있다.
객체 추적 장치(100)는 영역별 특징값에 기초하여 영역별 특징 매트릭스를 생성할 수 있다. 예를 들어, 객체 추적 장치(100)는 제 1 객체 영상(720)의 제 1 부분 영역 내지 제 5 부분 영역(721 내지 725)으로부터 추출된 남성 특징값인 '0.2425'(741a), 셔츠 특징값, 바지 특징값, 백팩 Null 특징값 및 구두 특징값을 하나의 벡터로 결합하여 제 1 영역별 특징 매트릭스(740)를 생성할 수 있다.
객체 추적 장치(100)는 영역별 특징값에 기초하여 제 1 객체와 제 2 객체의 동일인 여부를 판단할 수 있다. 예를 들어, 객체 추적 장치(100)는 제 1 객체 영상(720)의 제 1 부분 영역 내지 제 5 부분 영역(721 내지 725)과 제 2 객체 영상의 제 1 부분 영역 내지 제 5 부분 영역을 각각 비교하여 제 1 객체)와 제 2 객체 간의 동일인일 확률값을 산출할 수 있다.
객체 추적 장치(100)는 영역별 특징값에 기초하여 객체 간의 동일인일 확률값을 산출한 영역별 확률 매트릭스(750)를 생성할 수 있다. 예를 들어, 영역별 확률 매트릭스(750)는 제 1 객체의 영역별 특징값과 제 2 객체의 영역별 특징값에 기초하여 산출된 제 1 객체와 제 2 객체 간의 동일인일 확률값 '0.51'(750a) 등을 포함할 수 있다.
이와 같이, 객체 추적 장치(100)는 객체로부터 추출된 속성 특징 정보를 이용하여 객체 간 동일인 여부를 판단함에 따라, 객체의 전체적인 특징 정보에서 놓칠 수 있는 사소한 특징 정보도 반영하여 객체 간의 동일인 여부를 판단할 수 있다. 예를 들어, 객체 추적 장치(100)는 유니폼을 착용하여 전체적으로 비슷한 두 객체가 존재하는 경우, 신발, 가방, 모자 및 안경 등 부분 영역을 구분하여 두 객체 간의 동일인 여부를 판단할 수 있다.
다른 예를 들어, 객체 추적 장치(100)는 카메라의 설치 위치 또는 각도에 따라 한 객체에 대하여 다양한 각도의 영상이 존재하는 경우, 해당 객체에 대한 속성 특징 정보를 이용하여 서로 다른 각도의 영상에 존재하는 객체에 대하여 동일인 여부를 정확하게 판단할 수 있다.
도 8은 본 발명의 일 실시예에 따른 판단 모델을 학습하는 과정을 설명하기 위한 예시적인 도면이다. 도 8을 참조하면, 객체 추적 장치(100)는 전체 확률 매트릭스(821) 및 전체 특징 매트릭스(822)에 기초하여 제 2 판단 모델(830)을 학습시킬 수 있다.
예를 들어, 객체 추적 장치(100)는 전체 확률 매트릭스(821) 및 전체 특징 매트릭스(822)로 구성된 이분 그래프(810)를 이용하여 제 2 판단 모델(830)을 학습시킬 수 있다. 여기서, 이분 그래프(810)는 N개의 객체 노드 간의 동일인일 확률에 대한 N x N의 전체 확률 매트릭스(821)와 N개의 객체 노드로부터 추출된 M개의 특징값에 대한 N x M의 전체 특징 매트릭스(822)를 포함할 수 있다.
객체 추적 장치(100)는 입력값(831)으로 새로 검출된 복수의 객체에 대한 전체 특징 매트릭스를 학습된 제 2 판단 모델(830)에 입력하여 새로 검출된 복수의 객체 간의 전체 확률 매트릭스를 출력값(832)으로 출력할 수 있다.
객체 추적 장치(100)는 제 1 판단 모델에 대하여도 도 8에 도시된 제 2 판단 모델의 학습 과정과 동일하게 학습을 수행할 수 있다. 예를 들어, 객체 추적 장치(100)는 영역별 확률 매트릭스 및 영역별 특징 매트릭스에 기초하여 제 1 판단 모델을 학습시킬 수 있다. 객체 추적 장치(100)는 새로 검출된 복수의 객체에 대한 영역별 특징 매트릭스를 학습된 제 1 판단 모델에 입력하여 새로 검출된 복수의 객체 간의 영역별 확률 매트릭스를 출력값으로 출력할 수 있다.
도 9는 본 발명의 일 실시예에 따른 객체를 판단하는 과정을 설명하기 위한 예시적인 도면이다. 도 9를 참조하면, 객체 추적 장치(100)는 제 1 판단 모델(910) 및 제 2 판단 모델(920)을 이용하여 객체 간의 동일인 여부를 판단할 수 있다.
예를 들어, 객체 추적 장치(100)는 전체 특징 매트릭스(911)를 제 1 판단 모델(910)에 입력하여 전체 확률 매트릭스(912)를 출력할 수 있고, 영역별 특징 매트릭스(921)를 제 2 판단 모델(920)에 입력하여 영역별 확률 매트릭스(922)를 출력할 수 있다.
객체 추적 장치(100)는 제 1 판단 모델(910)의 출력값, 전체 확률 매트릭스(912)와 제 2 판단 모델(920)의 출력값, 영역별 확률 매트릭스(922)에 기초하여 객체 간의 동일인일 최종 확률값(930)을 도출할 수 있다. 객체 추적 장치(100)는 학습된 제 1 판단 모델(910) 및 제 2 판단 모델(920)을 이용하여 Link prediction을 통해 복수의 객체에 대한 특징을 각각 매칭하지 않아도 복수의 객체를 동시에 추적할 수 있다.
여기서, Link prediction은 글로벌 그래프에 포함된 노드 간의 연결을 예측할 수 있다. 예를 들어, 객체 추적 장치(100)는 Link prediction을 통해 글로벌 그래프에 포함된 노드 간의 매칭 확률값을 학습할 뿐만 아니라, 각 노드의 전체 특징 매트릭스 및 영역별 특징 매트릭스에 포함된 객체의 특징값 또한 학습할 수 있다. 따라서, 객체 추적 장치(100)는 종래 기술에 따른 문제점을 해결하고 복수의 카메라로부터 검출된 복수의 객체 간의 연관성을 보다 빠르고 정확하게 예측할 수 있다.
구체적으로, 종래 기술에 따르면, N번째 프레임에서 X명의 사람이 제 1 카메라로부터 검출되고, 새로 K명의 사람이 추가된 경우, K명의 사람이 제 1 카메라 이외 카메라로부터 검출된 기존 사람인지 판단하기 위해, N-1번째 프레임에서 제 2 카메라로부터 검출된 Y명의 사람과 N번재 프레임에서 새로 추가된 K명의 사람에 대해 K*Y번 만큼 서로의 특징값을 비교할 수 있다. 즉, 종래 기술은 사람의 인원수에 비례하는 연산을 요구하게 된다.
그러나, 본 발명 객체 추적 장치(100)는 1~N-2번 프레임까지 객체 간의 동일인일 확률 관계에 의한 매칭을 학습할 수 있고, 따라서, Link prediction을 통해 종래 기술에 따른 K*Y번의 매칭 연산보다 훨씬 더 적은 수의 매칭 연산으로 새로 추가된 K명의 사람에 대한 추적 및 예측이 가능할 수 있다.
객체 추적 장치(100)는 하기 수학식 1을 이용하여 객체 간의 동일인일 최종 확률값(930)을 도출할 수 있다.
<수학식 1>
Figure pat00001
수학식 1에서,
Figure pat00002
는 객체 간의 동일인일 최종 확률값(930)이고,
Figure pat00003
는 제 1 판단 모델(910)의 출력값, 전체 확률 매트릭스(912)이고,
Figure pat00004
는 제 2 판단 모델(920)의 출력값, 영역별 확률 매트릭스(922)일 수 있다. 여기서,
Figure pat00005
는 설정 값이며, 제 1 판단 모델(910) 및 제 2 판단 모델(920)을 각 평가하여 0.0과 1.0 사이 값으로 설정될 수 있다.
예를 들어, 객체 추적 장치(100)는 수학식 1을 통해 산출된 최종 확률값(930)으로부터 특정 객체와 기존 객체 간의 연관성을 파악할 수 있다. 객체 추적 장치(100)는 특정 객체와 기존 객체 간의 연관성 여부에 기초하여 특정 객체가 신규 객체인지 다른 카메라로부터 이동되어 검출된 기존 객체인지를 판단할 수 있다.
이와 같이, 객체 추적 장치(100)는 객체 영상으로부터 전체 영역의 특징값 및 부분 영역의 특징값을 모두 활용함에 따라, 객체를 보다 정확하게 인식할 수 있고, 복수의 카메라로부터 검출된 각 객체에 대한 추적도를 향상시킬 수 있다.
도 10은 본 발명의 일 실시예에 따른 객체 추적 방법의 순서도이다. 도 10에 도시된 객체 추적 방법은 도 1 내지 도 9에 도시된 실시예에 따라 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 9에 도시된 실시예에 따른 객체 추적 장치에서 복수의 카메라를 이용하여 객체를 추적하는 방법에도 적용된다.
단계 S1010에서 객체 추적 장치는 영상 데이터에 포함된 적어도 하나의 객체를 검출할 수 있다.
단계 S1020에서 객체 추적 장치는 객체의 특징 정보를 추출할 수 있다.
단계 S1030에서 객체 추적 장치는 객체가 검출된 위치에 대한 위치 정보, 특징 정보에 기초하여 객체의 로컬 식별번호를 설정하고, 객체를 추적할 수 있다.
단계 S1040에서 객체 추적 장치는 복수의 카메라에 대한 카메라 노드 및 객체에 대한 객체 노드를 생성할 수 있다.
단계 S1050에서 객체 추적 장치는 카메라 노드와 객체 노드를 연결하여 로컬 그래프를 생성할 수 있다.
단계 S1060에서 객체 추적 장치는 복수의 카메라 간의 위치 관계에 기초하여 로컬 그래프를 연결하여 글로벌 그래프를 생성할 수 있다.
단계 S1070에서 객체 추적 장치는 글로벌 그래프에 기초하여 객체를 추적할 수 있다.
상술한 설명에서, 단계 S1010 내지 S1070은 본 발명의 구현 예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 10을 통해 설명된 객체 추적 장치에서 복수의 카메라를 이용하여 객체를 추적하는 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어들을 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 10을 통해 설명된 객체 추적 장치에서 복수의 카메라를 이용하여 객체를 추적하는 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 기록매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 기록매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 객체 추적 장치
110: 객체 검출부
120: 특징 추출부
130: 로컬 추적부
140: 로컬 그래프 생성부
150: 글로벌 그래프 생성부
160: 글로벌 추적부

Claims (20)

  1. 복수의 카메라를 이용하여 객체를 추적하는 장치에 있어서,
    영상 데이터에 포함된 적어도 하나의 객체를 검출하는 객체 검출부;
    상기 객체의 특징 정보를 추출하는 특징 추출부;
    상기 객체가 검출된 위치에 대한 위치 정보, 상기 특징 정보에 기초하여 상기 객체의 로컬 식별번호를 설정하고, 상기 객체를 추적하는 로컬 추적부;
    복수의 카메라에 대한 카메라 노드 및 상기 객체에 대한 객체 노드를 생성하고, 상기 카메라 노드와 상기 객체 노드를 연결하여 로컬 그래프를 생성하는 로컬 그래프 생성부;
    상기 복수의 카메라 간의 위치 관계에 기초하여 상기 로컬 그래프를 연결하여 글로벌 그래프를 생성하는 글로벌 그래프 생성부; 및
    상기 글로벌 그래프에 기초하여 상기 객체를 추적하는 글로벌 추적부
    를 포함하는, 객체 추적 장치.
  2. 제 1 항에 있어서,
    상기 객체 검출부는,
    상기 객체가 검출된 좌표 및 상기 객체에 대한 크기에 기초하여 상기 위치 정보를 생성하는 것인, 객체 추적 장치.
  3. 제 1 항에 있어서,
    상기 로컬 추적부는,
    상기 객체에 대한 속성 확률값에 기초하여 제 1 객체에 대한 제 1 영상 및 제 2 객체에 대한 제 2 영상으로부터 도출된 영역별 특징값을 포함하는 영역별 특징 매트릭스를 생성하고,
    상기 영역별 특징값에 기초하여 상기 제 1 객체와 상기 제 2 객체가 동일인일 확률값을 산출한 영역별 확률 매트릭스를 생성하는 것인, 객체 추적 장치.
  4. 제 3 항에 있어서,
    상기 로컬 추적부는,
    상기 복수의 카메라별로 추출된 상기 객체의 특징 정보에 대한 전체 특징값을 포함하는 전체 특징 매트릭스를 생성하고,
    상기 전체 특징값에 기초하여 상기 객체 간 동일인일 확률값을 산출한 전체 확률 매트릭스를 생성하는 것인, 객체 추적 장치.
  5. 제 1 항에 있어서,
    상기 로컬 그래프 생성부는,
    상기 복수의 카메라 중 어느 하나의 카메라에 대한 식별번호, 상기 어느 하나의 카메라에 대한 위치 정보 및 상기 어느 하나의 카메라에 대한 화각 정보를 포함하여 상기 어느 하나의 카메라에 대한 카메라 노드를 생성하고,
    상기 어느 하나의 카메라에 기초하여 검출된 적어도 하나 이상의 객체에 대한 객체의 종류, 상기 객체의 로컬 식별번호, 상기 객체의 위치 정보, 상기 객체의 특징 정보, 상기 객체의 속성 정보, 객체의 이동 방향 및 속도 정보를 포함한 객체 노드를 생성하고,
    상기 어느 하나의 카메라에 대한 카메라 노드 및 상기 객체 노드를 연결하여 상기 어느 하나의 카메라에 대한 로컬 그래프를 생성하는 것인, 객체 추적 장치.
  6. 제 5 항에 있어서,
    상기 로컬 그래프 생성부는,
    상기 객체의 종류 및 상기 객체의 특징 정보에 기초하여 상기 객체 노드 간의 연결을 생성하고, 상기 객체 노드 간의 연결을 상기 로컬 그래프에 포함시키는 것인, 객체 추적 장치.
  7. 제 1 항에 있어서,
    상기 글로벌 그래프 생성부는,
    상기 로컬 그래프 간의 구간 노드를 추가하여 상기 글로벌 그래프를 생성하는 것인, 객체 추적 장치.
  8. 제 4 항에 있어서,
    상기 글로벌 추적부는,
    상기 영역별 특징 매트릭스 및 상기 영역별 확률 매트릭스에 기초하여 제 1 판단 모델을 학습시키고,
    상기 영역별 특징 매트릭스를 상기 학습된 제 1 판단 모델에 입력하여 상기 영역별 확률 매트릭스를 출력하는 것인, 객체 추적 장치.
  9. 제 8 항에 있어서,
    상기 글로벌 추적부는,
    상기 전체 특징 매트릭스 및 상기 전체 확률 매트릭스에 기초하여 제 2 판단 모델을 학습시키고,
    상기 전체 특징 매트릭스를 상기 학습된 제 2 판단 모델에 입력하여 상기 전체 확률 매트릭스를 출력하는 것인, 객체 추적 장치.
  10. 제 9 항에 있어서,
    상기 글로벌 추적부는,
    상기 제 1 판단 모델의 출력값 및 상기 제 2 판단 모델의 출력값에 기초하여 상기 영상 데이터에 포함된 객체가 신규 객체인지 기존 객체인지를 판단하는 것인, 객체 추적 장치.
  11. 복수의 카메라를 이용하여 객체를 추적하는 방법에 있어서,
    영상 데이터에 포함된 적어도 하나의 객체를 검출하는 단계;
    상기 객체의 특징 정보를 추출하는 단계;
    상기 객체가 검출된 위치에 대한 위치 정보, 상기 특징 정보에 기초하여 상기 객체의 로컬 식별번호를 설정하고, 상기 객체를 추적하는 단계;
    복수의 카메라에 대한 카메라 노드 및 상기 객체에 대한 객체 노드를 생성하는 단계;
    상기 카메라 노드와 상기 객체 노드를 연결하여 로컬 그래프를 생성하는 단계;
    상기 복수의 카메라 간의 위치 관계에 기초하여 상기 로컬 그래프를 연결하여 글로벌 그래프를 생성하는 단계; 및
    상기 글로벌 그래프에 기초하여 상기 객체를 추적하는 단계
    를 포함하는, 객체 추적 방법.
  12. 제 11 항에 있어서,
    상기 객체를 추적하는 단계는,
    상기 객체에 대한 속성 확률값에 기초하여 제 1 객체에 대한 제 1 영상 및 제 2 객체에 대한 제 2 영상으로부터 도출된 영역별 특징값을 포함하는 영역별 특징 매트릭스를 생성하는 단계; 및,
    상기 영역별 특징값에 기초하여 상기 제 1 객체와 상기 제 2 객체가 동일인일 확률값을 산출한 영역별 확률 매트릭스를 생성하는 단계
    를 포함하는 것인, 객체 추적 방법.
  13. 제 12 항에 있어서,
    상기 객체를 추적하는 단계는,
    상기 복수의 카메라별로 추출된 상기 객체의 특징 정보에 대한 전체 특징값을 포함하는 전체 특징 매트릭스를 생성하는 단계; 및,
    상기 전체 특징값에 기초하여 상기 객체 간 동일인일 확률값을 산출한 전체 확률 매트릭스를 생성하는 단계
    를 더 포함하는 것인, 객체 추적 방법.
  14. 제 11 항에 있어서,
    상기 로컬 그래프를 생성하는 단계는,
    상기 복수의 카메라 중 어느 하나의 카메라에 대한 식별번호, 상기 어느 하나의 카메라에 대한 위치 정보 및 상기 어느 하나의 카메라에 대한 화각 정보를 포함하여 상기 어느 하나의 카메라에 대한 카메라 노드를 생성하는 단계;
    상기 어느 하나의 카메라에 기초하여 검출된 적어도 하나 이상의 객체에 대한 객체의 종류, 상기 객체의 로컬 식별번호, 상기 객체의 위치 정보, 상기 객체의 특징 정보, 상기 객체의 속성 정보, 객체의 이동 방향 및 속도 정보를 포함한 객체 노드를 생성하는 단계; 및
    상기 어느 하나의 카메라에 대한 카메라 노드 및 상기 객체 노드를 연결하여 상기 어느 하나의 카메라에 대한 로컬 그래프를 생성하는 단계
    를 포함하는 것인, 객체 추적 방법.
  15. 제 14 항에 있어서,
    상기 로컬 그래프를 생성하는 단계는,
    상기 객체의 종류 및 상기 객체의 특징 정보에 기초하여 상기 객체 노드 간의 연결을 생성하는 단계
    를 더 포함하는 것인, 객체 추적 방법.
  16. 제 11 항에 있어서,
    상기 글로벌 그래프를 생성하는 단계는,
    상기 로컬 그래프 간의 구간 노드를 추가하는 단계
    를 포함하는 것인, 객체 추적 방법.
  17. 제 13 항에 있어서,
    상기 글로벌 그래프에 기초하여 상기 객체를 추적하는 단계는,
    상기 영역별 특징 매트릭스 및 상기 영역별 확률 매트릭스에 기초하여 제 1 판단 모델을 학습시키는 단계; 및,
    상기 영역별 특징 매트릭스를 상기 학습된 제 1 판단 모델에 입력하여 상기 영역별 확률 매트릭스를 출력하는 단계
    를 포함하는 것인, 객체 추적 방법.
  18. 제 17 항에 있어서,
    상기 글로벌 그래프에 기초하여 상기 객체를 추적하는 단계는,
    상기 전체 특징 매트릭스 및 상기 전체 확률 매트릭스에 기초하여 제 2 판단 모델을 학습시키는 단계; 및,
    상기 전체 특징 매트릭스를 상기 학습된 제 2 판단 모델에 입력하여 상기 전체 확률 매트릭스를 출력하는 단계
    를 더 포함하는 것인, 객체 추적 방법.
  19. 제 18 항에 있어서,
    상기 글로벌 그래프에 기초하여 상기 객체를 추적하는 단계는,
    상기 제 1 판단 모델의 출력값 및 상기 제 2 판단 모델의 출력값에 기초하여 상기 영상 데이터에 포함된 객체가 신규 객체인지 기존 객체인지를 판단하는 단계
    를 더 포함하는 것인, 객체 추적 방법.
  20. 복수의 카메라를 이용하여 객체를 추적하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    영상 데이터에 포함된 적어도 하나의 객체를 검출하고,
    상기 객체의 특징 정보를 추출하고,
    상기 객체가 검출된 위치에 대한 위치 정보, 상기 특징 정보에 기초하여 상기 객체의 로컬 식별번호를 설정하고, 상기 객체를 추적하고,
    복수의 카메라에 대한 카메라 노드 및 상기 객체에 대한 객체 노드를 생성하고,
    상기 카메라 노드와 상기 객체 노드를 연결하여 로컬 그래프를 생성하고,
    상기 복수의 카메라 간의 위치 관계에 기초하여 상기 로컬 그래프를 연결하여 글로벌 그래프를 생성하고,
    상기 글로벌 그래프에 기초하여 상기 객체를 추적하도록 하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020210168679A 2021-11-30 2021-11-30 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램 KR20230081016A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210168679A KR20230081016A (ko) 2021-11-30 2021-11-30 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210168679A KR20230081016A (ko) 2021-11-30 2021-11-30 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20230081016A true KR20230081016A (ko) 2023-06-07

Family

ID=86761544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210168679A KR20230081016A (ko) 2021-11-30 2021-11-30 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20230081016A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237418A (zh) * 2023-11-15 2023-12-15 成都航空职业技术学院 一种基于深度学习的运动目标检测方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101645959B1 (ko) 2014-07-29 2016-08-05 주식회사 일리시스 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
KR101897018B1 (ko) 2017-04-27 2018-09-10 주식회사 엑사스코프 객체 추적 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101645959B1 (ko) 2014-07-29 2016-08-05 주식회사 일리시스 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
KR101897018B1 (ko) 2017-04-27 2018-09-10 주식회사 엑사스코프 객체 추적 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237418A (zh) * 2023-11-15 2023-12-15 成都航空职业技术学院 一种基于深度学习的运动目标检测方法和系统

Similar Documents

Publication Publication Date Title
KR100886557B1 (ko) 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
US10007850B2 (en) System and method for event monitoring and detection
Liu et al. Detecting and counting people in surveillance applications
Chang et al. Tracking multiple people with a multi-camera system
US11580747B2 (en) Multi-spatial scale analytics
KR20210090139A (ko) 정보처리장치, 정보처리방법 및 기억매체
US10140508B2 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
CN110334569B (zh) 客流量进出识别方法、装置、设备及存储介质
Zaki et al. Automated analysis of pedestrian group behavior in urban settings
CN112639873A (zh) 基于单对象姿态估计器的多个对象的姿态跟踪设备和方法
CN109583315B (zh) 一种面向智能视频监控的多通道快速人体姿态识别方法
Chen et al. Discovering social interactions in real work environments
WO2017150899A9 (ko) 전역적 다중 객체 추적을 위한 객체 재식별 방법
Zaidi et al. Video anomaly detection and classification for human activity recognition
JPWO2008035411A1 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
CN112989889A (zh) 一种基于姿态指导的步态识别方法
Cheng et al. Part-aware trajectories association across non-overlapping uncalibrated cameras
Hermina et al. A Novel Approach to Detect Social Distancing Among People in College Campus
KR20230081016A (ko) 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램
JP7488674B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
US20220366570A1 (en) Object tracking device and object tracking method
KR20230166840A (ko) 인공지능을 이용한 객체 이동 경로 확인 방법
KR102614895B1 (ko) 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법
Hayashi et al. Lower body pose estimation in team sports videos using label-grid classifier integrated with tracking-by-detection
Gwak et al. Viewpoint invariant person re-identification for global multi-object tracking with non-overlapping cameras