KR102543836B1 - 객체를 추적하기 위한 방법 및 이를 이용한 장치 - Google Patents

객체를 추적하기 위한 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR102543836B1
KR102543836B1 KR1020220116305A KR20220116305A KR102543836B1 KR 102543836 B1 KR102543836 B1 KR 102543836B1 KR 1020220116305 A KR1020220116305 A KR 1020220116305A KR 20220116305 A KR20220116305 A KR 20220116305A KR 102543836 B1 KR102543836 B1 KR 102543836B1
Authority
KR
South Korea
Prior art keywords
current
target object
bounding box
current target
basic
Prior art date
Application number
KR1020220116305A
Other languages
English (en)
Inventor
오선택
조사무엘
강희윤
Original Assignee
주식회사 위씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위씨 filed Critical 주식회사 위씨
Priority to KR1020220116305A priority Critical patent/KR102543836B1/ko
Application granted granted Critical
Publication of KR102543836B1 publication Critical patent/KR102543836B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Abstract

객체를 추적하기 위한 방법에 있어서, (a) 소정 공간에 위치하는 제1 기추적 대상 객체 내지 제n 기추적 대상 객체 및 이에 대응되는 제1 기추적 중심 좌표 내지 제n 기추적 중심 좌표, 제1 기추적 기본 바운딩 박스 내지 제n 기추적 기본 바운딩 박스, 및 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 도출된 제1 기추적 확장 바운딩 박스 내지 제n 기추적 확장 바운딩 박스에 대한 정보 중 적어도 일부가 데이터베이스에 저장된 상태에서, 객체 추적 장치가, 현재 프레임에서 제1 현재 대상 객체 내지 제m 현재 대상 객체를 검출하는 단계; (b) 상기 객체 추적 장치가, (i) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 중심 좌표 내지 상기 제n 기추적 중심 좌표 각각이 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 제1 현재 기본 바운딩 박스 내지 제m 현재 기본 바운딩 박스로부터 도출된 제1 현재 확장 바운딩 박스 내지 제m 현재 확장 바운딩 박스 각각에 포함되는지에 대한 정보, (ii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제1 IoU(Intersection over Union)에 대한 정보, (iii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제2 IoU(Intersection over Union)에 대한 정보, (iv) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 제1 현재 중심 좌표 내지 제m 현재 중심 좌표 각각이 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각에 포함되는지에 대한 정보, 및 (v) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 제3 IoU(Intersection over Union)에 대한 정보 중 적어도 일부를 참조로 하여, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각 사이의 매칭 관계를 결정하는 단계; 및 (c) 상기 m 이 상기 n 보다 크고, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 제n 현재 대상 객체가 매칭된다고 할 때, 상기 객체 추적 장치가, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제n 현재 대상 객체에 대한 정보로 갱신하고, 제(n+1) 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대해서는 신규 추적 대상 객체로서 상기 데이터베이스에 추가하는 단계;를 포함하는 방법을 제공한다.

Description

객체를 추적하기 위한 방법 및 이를 이용한 장치{METHOD FOR TRACKING OBJECT AND DEVICE USING THE SAME}
본 발명은 객체를 추적하기 위한 방법 및 이를 이용한 장치에 관한 것이다.
종래의 객체를 트래킹하는 기술의 일례에 따르면, 칼만 필터의 알고리즘을 사용하여, 이전 프레임에서 객체 검출기를 통해 얻어진 객체의 위치 정보를 통해 현재 프레임의 객체 위치 정보를 예측하였다. 그렇게 확보한 예측 값으로, 현재 프레임에서 새롭게 검출된 객체와 연결하여 적용하였고, 예를 들어 헝가리안 알고리즘을 이용하여, 이전 프레임에서 등장한 바운딩 박스와 칼만 필터로 구한 현재 프레임의 바운딩 박스 간의 IoU를 계산하여, 객체를 추적하였다.
하지만, 도로의 범위가 넓은 고속도로의 경우 객체의 속도가 높아지고, 한 프레임의 객체의 종류가 다양할 경우 객체의 속도가 일정하지 않고, 객체를 촬영하는 카메라의 뷰잉 프러스텀의 중심축의 방향과 객체의 이동 방향이 직각을 이루는 경우 객체의 위치가 빠르게 변하게 되어, 획득된 객체의 바운딩 박스를 통해 객체를 트래킹하는 것이 어렵다는 문제가 있다.
따라서, 상기 문제점들을 해결하기 위한 개선 방안이 요구되는 실정이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 이전 프레임과 현재 프레임 중 적어도 일부의 프레임에 포함된 기본 바운딩 박스를 확장 바운딩 박스로 변경하고 이를 이용하여 각 프레임에서 검출된 객체를 매칭하여 트래킹하는 것을 다른 목적으로 한다.
본 발명은 도로의 종류, 객체의 종류, 카메라의 화각, 객체의 속도 중 적어도 일부를 참조하여, 기추적 기본 바운딩 박스 대비 기추적 확장 바운딩 박스의 확장 비율 및 현재 기본 바운딩 박스 대비 현재 확장 바운딩 박스의 확장 비율 중 적어도 일부를 결정하는 것을 다른 목적으로 한다.
본 발명은 객체 추적 장치를 통해, 소정의 공간에 진입·진출하는 객체의 수를 카운팅하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 객체를 추적하기 위한 방법에 있어서, (a) 소정 공간에 위치하는 제1 기추적 대상 객체 내지 제n 기추적 대상 객체 및 이에 대응되는 제1 기추적 중심 좌표 내지 제n 기추적 중심 좌표, 제1 기추적 기본 바운딩 박스 내지 제n 기추적 기본 바운딩 박스, 및 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 도출된 제1 기추적 확장 바운딩 박스 내지 제n 기추적 확장 바운딩 박스에 대한 정보 중 적어도 일부가 데이터베이스에 저장된 상태에서, 객체 추적 장치가, 현재 프레임에서 제1 현재 대상 객체 내지 제m 현재 대상 객체를 검출하는 단계; (b) 상기 객체 추적 장치가, (i) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 중심 좌표 내지 상기 제n 기추적 중심 좌표 각각이 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 제1 현재 기본 바운딩 박스 내지 제m 현재 기본 바운딩 박스로부터 도출된 제1 현재 확장 바운딩 박스 내지 제m 현재 확장 바운딩 박스 각각에 포함되는지에 대한 정보, (ii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제1 IoU(Intersection over Union)에 대한 정보, (iii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제2 IoU(Intersection over Union)에 대한 정보, (iv) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 제1 현재 중심 좌표 내지 제m 현재 중심 좌표 각각이 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각에 포함되는지에 대한 정보, 및 (v) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 제3 IoU(Intersection over Union)에 대한 정보 중 적어도 일부를 참조로 하여, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각 사이의 매칭 관계를 결정하는 단계; 및 (c) 상기 m 이 상기 n 보다 크고, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 제n 현재 대상 객체가 매칭된다고 할 때, 상기 객체 추적 장치가, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제n 현재 대상 객체에 대한 정보로 갱신하고, 제(n+1) 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대해서는 신규 추적 대상 객체로서 상기 데이터베이스에 추가하는 단계;를 포함하는 방법을 제공한다.
일례로서, 상기 (c) 단계에서, 상기 m 이 상기 n 보다 작고, 상기 제1 기추적 대상 객체 내지 제m 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체가 매칭된다고 할 때, 상기 객체 추적 장치가, 상기 제1 기추적 대상 객체 내지 상기 제m 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대한 정보로 갱신하고, 제(m+1) 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 이후 몇 프레임 연속하여 검출이 되지 않는지 모니터링하고, 제(m+1) 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 중 연속하여 기설정된 임계치 이상의 프레임에서 검출이 되지 않는 것으로 판단되는 적어도 하나의 특정 기추적 대상 객체에 대해서는 상기 데이터베이스에서 제거하는 것을 특징으로 하는 방법을 제공한다.
일례로서, 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스를 도출함에 있어서, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체가 위치하는 도로의 속성 정보에 대한 제1 도로 관련 메타데이터, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체의 식별 정보에 대한 제1 객체 관련 메타데이터, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각의 이동 방향이 이루는 각도에 대한 제1 각도 관련 메타데이터, 및 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각의 이동 속도에 대한 제1 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각의 사이즈 대비, 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각의 사이즈의 확장 비율을 결정하는 것을 특징으로 하는 방법을 제공한다.
일례로서, 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스로부터 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스를 도출함에 있어서, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체가 위치하는 도로의 속성 정보에 대한 제2 도로 관련 메타데이터, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 식별 정보에 대한 제2 객체 관련 메타데이터, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 이동 방향이 이루는 각도에 대한 제2 각도 관련 메타데이터, 및 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 이동 속도에 대한 제2 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 사이즈 대비, 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 사이즈의 확장 비율을 결정하는 것을 특징으로 하는 방법을 제공한다.
일례로서, (d) 상기 객체 추적 장치가, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 진행 방향에 대한 정보 및 상기 소정 공간에 진입하거나 상기 소정 공간으로부터 진출하기 위한 출입선 배열 방향에 대한 정보를 참조로 하여, 상기 진행 방향이 상기 출입선 배열 방향에 대한 법선 각도를 기준으로 기설정된 임계 범위 이내에 해당되는 것으로 판단되는 특정 현재 대상 객체에 대해서는 상기 진행 방향이 제1 방향인 경우 상기 소정 공간에 대한 진입으로서 카운팅하고 상기 진행 방향이 제2 방향인 경우 상기 소정 공간으로부터의 진출로서 카운팅하는 단계를 더 포함하는 방법을 제공한다.
본 발명의 다른 태양에 따르면, 객체를 추적하기 위한 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) 소정 공간에 위치하는 제1 기추적 대상 객체 내지 제n 기추적 대상 객체 및 이에 대응되는 제1 기추적 중심 좌표 내지 제n 기추적 중심 좌표, 제1 기추적 기본 바운딩 박스 내지 제n 기추적 기본 바운딩 박스, 및 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 도출된 제1 기추적 확장 바운딩 박스 내지 제n 기추적 확장 바운딩 박스에 대한 정보 중 적어도 일부가 데이터베이스에 저장된 상태에서, 현재 프레임에서 제1 현재 대상 객체 내지 제m 현재 대상 객체를 검출하는 프로세스; (II) (i) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 중심 좌표 내지 상기 제n 기추적 중심 좌표 각각이 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 제1 현재 기본 바운딩 박스 내지 제m 현재 기본 바운딩 박스로부터 도출된 제1 현재 확장 바운딩 박스 내지 제m 현재 확장 바운딩 박스 각각에 포함되는지에 대한 정보, (ii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제1 IoU(Intersection over Union)에 대한 정보, (iii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제2 IoU(Intersection over Union)에 대한 정보, (iv) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 제1 현재 중심 좌표 내지 제m 현재 중심 좌표 각각이 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각에 포함되는지에 대한 정보, 및 (v) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 제3 IoU(Intersection over Union)에 대한 정보 중 적어도 일부를 참조로 하여, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각 사이의 매칭 관계를 결정하는 프로세스; 및 (III) 상기 m 이 상기 n 보다 크고, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 제n 현재 대상 객체가 매칭된다고 할 때, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제n 현재 대상 객체에 대한 정보로 갱신하고, 제(n+1) 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대해서는 신규 추적 대상 객체로서 상기 데이터베이스에 추가하는 프로세스;를 수행하는 장치를 제공한다.
일례로서, 상기 (III) 프로세스에서, 상기 m 이 상기 n 보다 작고, 상기 제1 기추적 대상 객체 내지 제m 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체가 매칭된다고 할 때, 상기 프로세서가, 상기 제1 기추적 대상 객체 내지 상기 제m 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대한 정보로 갱신하고, 제(m+1) 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 이후 몇 프레임 연속하여 검출이 되지 않는지 모니터링하고, 제(m+1) 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 중 연속하여 기설정된 임계치 이상의 프레임에서 검출이 되지 않는 것으로 판단되는 적어도 하나의 특정 기추적 대상 객체에 대해서는 상기 데이터베이스에서 제거하는 것을 특징으로 하는 장치를 제공한다.
일례로서, 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스를 도출함에 있어서, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체가 위치하는 도로의 속성 정보에 대한 제1 도로 관련 메타데이터, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체의 식별 정보에 대한 제1 객체 관련 메타데이터, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각의 이동 방향이 이루는 각도에 대한 제1 각도 관련 메타데이터, 및 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각의 이동 속도에 대한 제1 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각의 사이즈 대비, 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각의 사이즈의 확장 비율을 결정하는 것을 특징으로 하는 장치를 제공한다.
일례로서, 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스로부터 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스를 도출함에 있어서, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체가 위치하는 도로의 속성 정보에 대한 제2 도로 관련 메타데이터, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 식별 정보에 대한 제2 객체 관련 메타데이터, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 이동 방향이 이루는 각도에 대한 제2 각도 관련 메타데이터, 및 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 이동 속도에 대한 제2 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 사이즈 대비, 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 사이즈의 확장 비율을 결정하는 것을 특징으로 하는 장치를 제공한다.
일례로서, 상기 프로세서는, (IV) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 진행 방향에 대한 정보 및 상기 소정 공간에 진입하거나 상기 소정 공간으로부터 진출하기 위한 출입선 배열 방향에 대한 정보를 참조로 하여, 상기 진행 방향이 상기 출입선 배열 방향에 대한 법선 각도를 기준으로 기설정된 임계 범위 이내에 해당되는 것으로 판단되는 특정 현재 대상 객체에 대해서는 상기 진행 방향이 제1 방향인 경우 상기 소정 공간에 대한 진입으로서 카운팅하고 상기 진행 방향이 제2 방향인 경우 상기 소정 공간으로부터의 진출로서 카운팅하는 프로세스를 더 수행하는 장치를 제공한다.
본 발명은 이전 프레임과 현재 프레임 중 적어도 일부의 프레임에 포함된 기본 바운딩 박스를 확장 바운딩 박스로 변경하고 이를 이용하여 각 프레임에서 검출된 객체를 매칭시켜 트래킹을 보다 정확하게 수행하는 효과가 있다.
본 발명은 도로의 종류, 객체의 종류, 카메라의 화각, 객체의 속도 중 적어도 일부를 참조하여, 기추적 기본 바운딩 박스 대비 기추적 확장 바운딩 박스의 확장 비율 및 현재 기본 바운딩 박스 대비 현재 확장 바운딩 박스의 확장 비율 중 적어도 일부를 결정하는 효과가 있다.
본 발명은 객체 추적 장치를 통해, 소정의 공간에 진입·진출하는 객체의 수를 카운팅하는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라, 객체를 추적하기 위한 장치를 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라, 객체를 추적하기 위한 방법에서 수행되는 과정을 개략적으로 도시한 흐름도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따라, 객체를 추적하기 위한 방법들을 일 예시로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라, 소정의 공간에 진입·진출하는 객체의 수를 카운팅하는 방법들을 일 예시로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라, 객체를 추적하기 위한 장치를 개략적으로 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 객체를 추적하기 위한 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.
객체를 추적하기 위한 장치(100)의 메모리(110)는 프로세서(120)에 의해 수행될 인스트럭션들을 저장할 수 있는데, 구체적으로, 인스트럭션들은 객체를 추적하기 위한 장치(100)로 하여금 특정의 방식으로 기능하게 하기 위한 목적으로 생성되는 코드로서, 컴퓨터 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장될 수 있다. 인스트럭션들은 본 발명의 명세서에서 설명되는 기능들을 실행하기 위한 프로세스들을 수행할 수 있다.
그리고, 객체를 추적하기 위한 장치(100)의 프로세서(120)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
또한, 객체를 추적하기 위한 장치(100)는 데이터베이스(미도시)와 연동될 수 있다. 여기서, 데이터베이스(미도시)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(ReadOnly Memory, ROM), EEPROM(Electrically Erasable Programmable ReadOnly Memory), PROM(Programmable ReadOnly Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있으며, 이에 한정되지 않으며 데이터를 저장할 수 있는 모든 매체를 포함할 수 있다. 또한, 데이터베이스(미도시)는 감성 지능 훈련 제공을 제공하기 위한 장치(100)와 분리되어 설치되거나, 이와는 달리 감성 지능 훈련을 제공하기 위한 장치(100)의 내부에 설치되어 데이터를 전송하거나 수신되는 데이터를 기록할 수도 있고, 도시된 바와 달리 둘 이상으로 분리되어 구현될 수도 있으며, 이는 발명의 실시 조건에 따라 달라질 수 있다.
도 2는 본 발명의 일 실시예에 따라, 객체를 추적하기 위한 방법에서 수행되는 과정을 개략적으로 도시한 흐름도이다.
도 2를 참조하면, 프로세서(120)는 설치된 카메라를 통해 촬영된 프레임을 통해 대상 객체를 검출하고 추적하기 위한 프로세스를 수행할 수 있다.
프로세스를 자세히 설명하자면, 먼저, 프로세서(120)는 현재 프레임에서는 제1 현재 대상 객체 내지 제m 현재 대상 객체를 검출하는 프로세스(S201)를 수행할 수 있다.
여기서, 프로세서(120)에는 이미, 이전 프레임에서 소정 공간에 위치하는 제1 기추적 대상 객체 내지 제n 기추적 대상 객체 및 이에 대응되는 제1 기추적 중심 좌표 내지 제n 기추적 중심 좌표, 제1 기추적 기본 바운딩 박스 내지 제n 기추적 기본 바운딩 박스, 및 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 도출된 제1 기추적 확장 바운딩 박스 내지 제n 기추적 확장 바운딩 박스에 대한 정보 중 적어도 일부가 데이터베이스에 저장된 상태일 수 있다.
다음으로, 프로세서(120)가, (i) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 중심 좌표 내지 상기 제n 기추적 중심 좌표 각각이 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 제1 현재 기본 바운딩 박스 내지 제m 현재 기본 바운딩 박스로부터 도출된 제1 현재 확장 바운딩 박스 내지 제m 현재 확장 바운딩 박스 각각에 포함되는지에 대한 정보, (ii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제1 IoU(Intersection over Union)에 대한 정보, (iii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제2 IoU(Intersection over Union)에 대한 정보, (iv) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 제1 현재 중심 좌표 내지 제m 현재 중심 좌표 각각이 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각에 포함되는지에 대한 정보, 및 (v) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 제3 IoU(Intersection over Union)에 대한 정보 중 적어도 일부를 참조로 하여, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각 사이의 매칭 관계를 결정하는 프로세스(S202)를 수행할 수 있다.
위에서 언급한 다섯 가지의 트래킹 방법 중 예시적으로 두 가지 트래킹 방법에 대해 도 3a 및 도 3b 를 참조로 하여 설명하고자 한다.
먼저 도 3a 는 위에서 언급한 다섯 가지의 트래킹 방법 중 첫번째 방법에 관한 것이다. 즉, (i) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 중심 좌표 내지 상기 제n 기추적 중심 좌표 각각이 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 제1 현재 기본 바운딩 박스 내지 제m 현재 기본 바운딩 박스로부터 도출된 제1 현재 확장 바운딩 박스 내지 제m 현재 확장 바운딩 박스 각각에 포함되는지에 대한 정보를 참조로 하여 객체를 트래킹하는 실시예에 대해 설명하고자 한다. 또한, 설명의 편의 상 도 3a 에서는 하나의 특정 대상 객체에 대해서만 예시적으로 설명한다.
도 3a의 윗 이미지를 참조하면, 카메라를 통해 촬영되는 이전 프레임(300)을 통해 기추적 대상 객체(301)를 파악하고, 상기 기추적 대상 객체(301)의 기추적 중심 좌표(302), 기추적 기본 바운딩 박스(303)를 획득하여 데이터베이스에 저장할 수 있다.
이와 같이 카메라를 통해 촬영된 이전 프레임(300)을 얻은 상태에서, 도 3a의 아래 이미지를 참조하면, 카메라를 통해 촬영되는 현재 프레임(310)을 얻을 수 있는데, 현재 프레임(310)에서 현재 대상 객체(311)의 현재 기본 바운딩 박스(312), 상기 현재 대상 객체(311)의 상기 현재 기본 바운딩 박스(312)로부터 도출된 현재 확장 바운딩 박스(313)를 획득할 수 있다.
여기서, 현재 기본 바운딩 박스(312)로부터 현재 확장 바운딩 박스(313)를 도출하는 방법을 설명하면, 현재 기본 바운딩 박스로부터 현재 확장 바운딩 박스를 도출함에 있어서, 현재 대상 객체가 위치하는 도로의 속성 정보에 대한 도로 관련 메타데이터, 현재 대상 객체의 식별 정보에 대한 객체 관련 메타데이터, 현재 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 현재 대상 객체 각각의 이동 방향이 이루는 각도에 대한 각도 관련 메타데이터, 및 현재 대상 객체 각각의 이동 속도에 대한 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 현재 기본 바운딩 박스의 사이즈 대비, 현재 확장 바운딩 박스의 사이즈의 확장 비율을 결정하는 것을 특징으로 할 수 있다.
구체적으로, 객체의 속도 관련 메타데이터, 도로 관련 메타데이터, 객체의 식별 정보 등은 서로 구별되는 메타데이터이지만, 기본적으로는 객체의 속도라는 공통 분모를 가지고 있다고 볼 수 있다.
가령, 객체의 속도의 경우, 객체가 빠르다면 기본 바운딩 박스로 트래킹하기 어려울 수 있으므로, 기본 바운딩 박스의 사이즈를 증가시킨 확장 바운딩 박스를 사용하여 트래킹을 수행하는 것을 상정할 수 있고, 도로의 속성의 경우, 도로가 고속도로냐 일반도로냐 골목길이냐 등에 따라 평균적인 객체의 속도 또는 최대 속도가 종속되므로, 이러한 속성을 참조로 하여 확장 바운딩 박스의 확장 비율을 결정할 수 있으며, 객체의 속성의 경우, 가령, 객체가 차량이냐 보행자냐에 따라 객체의 속도의 범위가 결정될 수 있으므로, 이 역시 확장 바운딩 박스의 확장 비율을 결정하기 위한 메타데이터로서 기능할 수 있다.
또한, 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 객체의 이동 방향이 이루는 각도 관련 메타데이터는 또 다른 의미를 가지는 속성인데, 객체의 속도가 동일하다고 할 때, 카메라의 뷰잉 프러스텀의 중심축의 방향과 객체의 이동 방향이 동일할 경우(이해를 돕기 위해 극단적인 예를 들면, 내가 카메라를 전방을 향해서 들고 있는 상태에서, 차량이 정확히 나를 향해 돌진하는 경우에는 카메라의 뷰잉 프러스텀의 중심축의 방향과 객체의 이동 방향이 동일함)에는 카메라 관점에서 객체의 위치가 그다지 변동되지 않을 것이므로, 확장 바운딩 박스의 확장 비율을 작게 조정하거나 그냥 기본 바운딩 박스를 이용하여 트래킹 할 수 있을 것이며, 반대로 카메라의 뷰잉 프러스텀의 중심축의 방향과 객체의 이동 방향이 직각일 경우(이해를 돕기 위해 예를 들면, 교차로에 설치된 CCTV 가 지면을 향해 촬영을 하는 상태에서, 해당 CCTV 밑을 빠르게 운행하는 차량이 있는 경우 서로 직각에 해당됨)에는 카메라 관점에서 객체의 위치가 빠르게 변할 것이므로, 확장 바운딩 박스의 확장 비율을 크게 증가시키도록 조정할 수 있을 것이다.
다시 본론으로 돌아와 도 3a의 아래 이미지를 참조하면, 주황색 포인트(302)는 도 3a의 윗 이미지의 주황색 포인트(302)와 동일한 위치에 표시된 점으로서, 이전 프레임(300)의 기추적 기본 바운딩 박스(303)의 중심 좌표를 현재 프레임(310)에 표시한 것이다.
도 3a의 아래 이미지를 참조하면, 이러한 중심 좌표(302)가 현재 확장 바운딩 박스(313)에 포함되어 있는 경우에 해당되므로, 도 3a의 윗 이미지와 아래 이미지 사이의 파란색 트럭은 동일한 객체로서 매칭을 시킬 수 있으며, 이에 따라 트래킹이 원활하게 이루어지고 있음을 알 수 있다. 물론, 도 3a의 아래 이미지에 따르면, 현재 확장 바운딩 박스(313)로 확장시키지 않아도 기본 확장 바운딩 박스(312)에 중심 좌표(302)가 포함되어 있으므로 트래킹이 성공적으로 될 수 있었으나, 이는 트럭이 좁은 골목길을 느린 속도로 움직이고 카메라의 뷰잉 프러스텀의 중심 방향에 거의 일치하는 방향으로 이동하기 때문에 성공적으로 트래킹이 될 확률이 높았기 때문이었으며, 만약 트럭의 속도가 빠르거나 카메라의 뷰잉 프러스텀의 중심 방향에 수직에 가깝게 이동한다면, 이와 같은 현재 확장 바운딩 박스(313)를 사용한 트래킹이 매우 유용할 수 있다.
다음으로, 도 3b 는 위에서 언급한 다섯 가지의 트래킹 방법 중 세번째 방법에 관한 것이다. 즉, (iii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제2 IoU(Intersection over Union)에 대한 정보를 참조로 하여 객체를 트래킹하는 실시예에 대해 설명하고자 한다. 또한, 설명의 편의상 도 3b 에서는 하나의 특정 대상 객체에 대해서만 예시적으로 설명한다.
도 3b 의 윗 이미지를 참조하면, 카메라를 통해 촬영되는 이전 프레임(300)을 통해 기추적 대상 객체(301)를 파악하고, 상기 기추적 대상 객체(301)의 기추적 기본 바운딩 박스(303), 상기 기추적 기본 바운딩 박스(303)로부터 도출된 기추적 확장 바운딩 박스(304)를 획득하여 데이터베이스에 저장할 수 있다.
여기서, 기추적 기본 바운딩 박스(303)로부터 기추적 확장 바운딩 박스(304)를 도출하는 방법을 설명하면, 기추적 기본 바운딩 박스로부터 기추적 확장 바운딩 박스를 도출함에 있어서, 상기에서 설명한 현재 기본 바운딩 박스로부터 현재 확장 바운딩 박스를 도출하는 방법과 마찬가지로, 기추적 대상 객체가 위치하는 도로의 속성 정보에 대한 도로 관련 메타데이터, 기추적 대상 객체의 식별 정보에 대한 객체 관련 메타데이터, 기추적 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 기추적 대상 객체 각각의 이동 방향이 이루는 각도에 대한 각도 관련 메타데이터, 및 기추적 대상 객체 각각의 이동 속도에 대한 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 기추적 기본 바운딩 박스의 사이즈 대비, 기추적 확장 바운딩 박스 각각의 사이즈의 확장 비율을 결정하는 것을 특징으로 할 수 있다.
다시 본론으로 돌아와 도 3b의 아래 이미지를 참조하면, 카메라를 통해 촬영되는 현재 프레임(310)을 얻을 수 있는데, 현재 프레임(310)에서 현재 대상 객체(311)의 현재 기본 바운딩 박스(312), 상기 현재 기본 바운딩 박스(312)로부터 도출된 현재 확장 바운딩 박스(313)를 획득할 수 있다.
참고로, 도 3b의 아래 이미지의 노란색 실선(304)은 도 3b의 윗 이미지의 노란색 실선(304)과 동일한 기추적 확장 바운딩 박스(304)를 현재 프레임(310)에 표시한 것이다.
도 3b의 아래 이미지를 참조하면, 이러한 기추적 확장 바운딩 박스(304) 및 현재 확장 바운딩 박스(313) 간의 제2 IoU 의 계산을 통해, 보라색 영역으로 표시한 제2 IoU 값이 임계치 이상인 경우, 도 3b의 윗 이미지와 아래 이미지 사이의 파란색 트럭에 대해 동일한 객체로서 매칭을 시킬 수 있으며, 이에 따라 트래킹이 원활하게 이루어지고 있음을 알 수 있다. 물론, 기추적 기본 바운딩 박스 및 현재 기본 바운딩 박스의 IoU를 계산한 값이 임계치 이상일 경우, 확장 바운딩 박스로 확장시키지 않아도 트래킹이 성공적으로 될 수도 있으나, 이는 트럭이 좁은 골목길을 느린 속도로 움직이고 카메라의 뷰잉 프러스텀의 중심 방향에 거의 일치하는 방향으로 이동하기 때문에 성공적으로 트래킹이 될 확률이 높았을 뿐이었으며, 만약 트럭의 속도가 빠르거나 카메라의 뷰잉 프러스텀의 중심 방향에 수직에 가깝게 이동한다면, 이와 같은 기추적 확장 바운딩 박스(304) 및 현재 확장 바운딩 박스(313)를 사용한 트래킹이 매우 유용할 수 있다.
이와 같이 각 프레임 간의 객체 사이에 대해 매칭 관계를 결정한 상태에서 다시 도 2로 돌아와 마지막 단계를 설명하면, 현재 대상 객체의 수가 m 이고, 기추적 대상 객체의 수가 n 일 때, 상기 m 이 상기 n 보다 크고, 제1 기추적 대상 객체 내지 제n 기추적 대상 객체와 제1 현재 대상 객체 내지 제n 현재 대상 객체가 매칭된다고 할 때, 상기 프로세서(120)가, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제n 현재 대상 객체에 대한 정보로 갱신하고, 제(n+1) 현재 대상 객체 내지 제m 현재 대상 객체에 대해서는 신규 추적 대상 객체로서 상기 데이터베이스에 추가하는 프로세스(S203)를 수행할 수 있다.
이는, 이전 프레임(300)의 객체들 각각과 현재 프레임(310)의 객체들 각각을 매칭한 결과, 현재 프레임(310)의 카메라를 통해 검출된 객체의 수가 이전 프레임(300)의 카메라를 통해 검출된 객체의 수보다 많은 경우에 현재 프레임(310)의 객체 중 매칭이 되지 못한 객체들에 대해서는 신규 추적 대상 객체로 데이터베이스에 저장될 수 있다는 의미이다.
이와는 반대로, 현재 대상 객체의 수가 m 이고, 기추적 대상 객체의 수가 n 일 때, 상기 m 이 상기 n 보다 작고, 제1 기추적 대상 객체 내지 제m 기추적 대상 객체와 제1 현재 대상 객체 내지 제m 현재 대상 객체가 매칭된다고 하면, 상기 프로세서(120)가, 상기 제1 기추적 대상 객체 내지 상기 제m 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대한 정보로 갱신하고, 제(m+1) 기추적 대상 객체 내지 제n 기추적 대상 객체에 대해서는 이후 몇 프레임 연속하여 검출이 되지 않는지 모니터링하고, 제(m+1) 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 중 연속하여 기설정된 임계치 이상의 프레임에서 검출이 되지 않는 것으로 판단되는 적어도 하나의 특정 기추적 대상 객체에 대해서는 상기 데이터베이스에서 제거할 수 있다.
이는, 이전 프레임(300)의 객체들 각각과 현재 프레임(310)의 객체들 각각을 매칭한 결과, 현재 프레임(310)의 카메라를 통해 검출된 객체의 수가 이전 프레임(300)의 카메라를 통해 검출된 객체의 수보다 적은 경우에 이전 프레임(300)의 객체 중 매칭이 되지 못한 객체들에 대해서는 소정 프레임 동안 계속 매칭이 되지 못한다면 데이터베이스에서 제거될 수 있다는 의미이다.
도 4는 본 발명의 일 실시예에 따라, 상기에서 살펴본 트래킹 기법을 활용하여 소정의 공간에 진입·진출하는 객체의 수를 카운팅하는 적용예를 일 예시로 나타내는 도면이다.
도 4를 참조하면, 상기 프로세서(120)가, 제1 현재 대상 객체 내지 제m 현재 대상 객체 각각의 진행 방향에 대한 정보 및 소정 공간에 진입하거나 상기 소정 공간으로부터 진출하기 위한 출입선 배열 방향에 대한 정보를 참조로 하여, 상기 진행 방향이 상기 출입선 배열 방향에 대한 법선 각도를 기준으로 기설정된 임계 범위 이내에 해당되는 것으로 판단되는 특정 현재 대상 객체에 대해서는 상기 진행 방향이 제1 방향인 경우 상기 소정 공간에 대한 진입으로서 카운팅하고 상기 진행 방향이 제2 방향인 경우 상기 소정 공간으로부터의 진출로서 카운팅하는 것을 수행할 수 있다.
여기서, 객체가 진행하는 진행 방향이 출입선 배열 방향(401)에 대한 법선 각도를 기준으로 임계 범위(402) 이내의 각도이면서 상기 객체가 소정의 공간(403)에 진입하는 제1 방향인 경우에는 객체가 소정의 공간(403)에 진입하는 것으로 카운팅될 수 있고, 객체가 진행하는 진행 방향이 출입선 배열 방향(401)에 대한 법선 각도를 기준으로 임계 범위(402) 이내의 각도이면서 상기 객체가 소정의 공간(403)에 진출하는 제2 방향인 경우에는 객체가 소정의 공간(403)에서 진출하는 것으로 카운팅될 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magnetooptical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 객체를 추적하기 위한 방법에 있어서,
    (a) 소정 공간에 위치하는 제1 기추적 대상 객체 내지 제n 기추적 대상 객체 및 이에 대응되는 제1 기추적 중심 좌표 내지 제n 기추적 중심 좌표, 제1 기추적 기본 바운딩 박스 내지 제n 기추적 기본 바운딩 박스, 및 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 도출된 제1 기추적 확장 바운딩 박스 내지 제n 기추적 확장 바운딩 박스에 대한 정보 중 적어도 일부가 데이터베이스에 저장된 상태에서, 객체 추적 장치가, 현재 프레임에서 제1 현재 대상 객체 내지 제m 현재 대상 객체를 검출하는 단계;
    (b) 상기 객체 추적 장치가, (i) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 중심 좌표 내지 상기 제n 기추적 중심 좌표 각각이 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 제1 현재 기본 바운딩 박스 내지 제m 현재 기본 바운딩 박스로부터 도출된 제1 현재 확장 바운딩 박스 내지 제m 현재 확장 바운딩 박스 각각에 포함되는지에 대한 정보, (ii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제1 IoU(Intersection over Union)에 대한 정보, (iii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제2 IoU(Intersection over Union)에 대한 정보, (iv) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 제1 현재 중심 좌표 내지 제m 현재 중심 좌표 각각이 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각에 포함되는지에 대한 정보, 및 (v) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 제3 IoU(Intersection over Union)에 대한 정보 중 적어도 일부를 참조로 하여, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각 사이의 매칭 관계를 결정하는 단계; 및
    (c) 상기 m 이 상기 n 보다 크고, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 제n 현재 대상 객체가 매칭된다고 할 때, 상기 객체 추적 장치가, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제n 현재 대상 객체에 대한 정보로 갱신하고, 제(n+1) 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대해서는 신규 추적 대상 객체로서 상기 데이터베이스에 추가하는 단계;
    를 포함하되,
    상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스를 도출함에 있어서, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체가 위치하는 도로의 속성 정보에 대한 제1 도로 관련 메타데이터, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체의 식별 정보에 대한 제1 객체 관련 메타데이터, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각의 이동 방향이 이루는 각도에 대한 제1 각도 관련 메타데이터, 및 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각의 이동 속도에 대한 제1 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각의 사이즈 대비, 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각의 사이즈의 확장 비율을 결정하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 m 이 상기 n 보다 작고, 상기 제1 기추적 대상 객체 내지 제m 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체가 매칭된다고 할 때, 상기 객체 추적 장치가, 상기 제1 기추적 대상 객체 내지 상기 제m 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대한 정보로 갱신하고, 제(m+1) 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 이후 몇 프레임 연속하여 검출이 되지 않는지 모니터링하고, 상기 제(m+1) 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 중 연속하여 기설정된 임계치 이상의 프레임에서 검출이 되지 않는 것으로 판단되는 적어도 하나의 특정 기추적 대상 객체에 대해서는 상기 데이터베이스에서 제거하는 것을 특징으로 하는 방법.
  3. 삭제
  4. 객체를 추적하기 위한 방법에 있어서,
    (a) 소정 공간에 위치하는 제1 기추적 대상 객체 내지 제n 기추적 대상 객체 및 이에 대응되는 제1 기추적 중심 좌표 내지 제n 기추적 중심 좌표, 제1 기추적 기본 바운딩 박스 내지 제n 기추적 기본 바운딩 박스, 및 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 도출된 제1 기추적 확장 바운딩 박스 내지 제n 기추적 확장 바운딩 박스에 대한 정보 중 적어도 일부가 데이터베이스에 저장된 상태에서, 객체 추적 장치가, 현재 프레임에서 제1 현재 대상 객체 내지 제m 현재 대상 객체를 검출하는 단계;
    (b) 상기 객체 추적 장치가, (i) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 중심 좌표 내지 상기 제n 기추적 중심 좌표 각각이 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 제1 현재 기본 바운딩 박스 내지 제m 현재 기본 바운딩 박스로부터 도출된 제1 현재 확장 바운딩 박스 내지 제m 현재 확장 바운딩 박스 각각에 포함되는지에 대한 정보, (ii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제1 IoU(Intersection over Union)에 대한 정보, (iii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제2 IoU(Intersection over Union)에 대한 정보, (iv) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 제1 현재 중심 좌표 내지 제m 현재 중심 좌표 각각이 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각에 포함되는지에 대한 정보, 및 (v) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 제3 IoU(Intersection over Union)에 대한 정보 중 적어도 일부를 참조로 하여, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각 사이의 매칭 관계를 결정하는 단계; 및
    (c) 상기 m 이 상기 n 보다 크고, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 제n 현재 대상 객체가 매칭된다고 할 때, 상기 객체 추적 장치가, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제n 현재 대상 객체에 대한 정보로 갱신하고, 제(n+1) 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대해서는 신규 추적 대상 객체로서 상기 데이터베이스에 추가하는 단계;
    를 포함하되,
    상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스로부터 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스를 도출함에 있어서, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체가 위치하는 도로의 속성 정보에 대한 제2 도로 관련 메타데이터, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 식별 정보에 대한 제2 객체 관련 메타데이터, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 이동 방향이 이루는 각도에 대한 제2 각도 관련 메타데이터, 및 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 이동 속도에 대한 제2 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 사이즈 대비, 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 사이즈의 확장 비율을 결정하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    (d) 상기 객체 추적 장치가, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 진행 방향에 대한 정보 및 상기 소정 공간에 진입하거나 상기 소정 공간으로부터 진출하기 위한 출입선 배열 방향에 대한 정보를 참조로 하여, 상기 진행 방향이 상기 출입선 배열 방향에 대한 법선 각도를 기준으로 기설정된 임계 범위 이내에 해당되는 것으로 판단되는 특정 현재 대상 객체에 대해서는 상기 진행 방향이 제1 방향인 경우 상기 소정 공간에 대한 진입으로서 카운팅하고 상기 진행 방향이 제2 방향인 경우 상기 소정 공간으로부터의 진출로서 카운팅하는 단계를 더 포함하는 방법.
  6. 객체를 추적하기 위한 장치에 있어서,
    인스트럭션들을 저장하는 하나 이상의 메모리; 및
    상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,
    상기 프로세서는, (I) 소정 공간에 위치하는 제1 기추적 대상 객체 내지 제n 기추적 대상 객체 및 이에 대응되는 제1 기추적 중심 좌표 내지 제n 기추적 중심 좌표, 제1 기추적 기본 바운딩 박스 내지 제n 기추적 기본 바운딩 박스, 및 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 도출된 제1 기추적 확장 바운딩 박스 내지 제n 기추적 확장 바운딩 박스에 대한 정보 중 적어도 일부가 데이터베이스에 저장된 상태에서, 현재 프레임에서 제1 현재 대상 객체 내지 제m 현재 대상 객체를 검출하는 프로세스; (II) (i) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 중심 좌표 내지 상기 제n 기추적 중심 좌표 각각이 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 제1 현재 기본 바운딩 박스 내지 제m 현재 기본 바운딩 박스로부터 도출된 제1 현재 확장 바운딩 박스 내지 제m 현재 확장 바운딩 박스 각각에 포함되는지에 대한 정보, (ii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제1 IoU(Intersection over Union)에 대한 정보, (iii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제2 IoU(Intersection over Union)에 대한 정보, (iv) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 제1 현재 중심 좌표 내지 제m 현재 중심 좌표 각각이 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각에 포함되는지에 대한 정보, 및 (v) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 제3 IoU(Intersection over Union)에 대한 정보 중 적어도 일부를 참조로 하여, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각 사이의 매칭 관계를 결정하는 프로세스; 및 (III) 상기 m 이 상기 n 보다 크고, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 제n 현재 대상 객체가 매칭된다고 할 때, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제n 현재 대상 객체에 대한 정보로 갱신하고, 제(n+1) 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대해서는 신규 추적 대상 객체로서 상기 데이터베이스에 추가하는 프로세스;를 수행하되,
    상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스를 도출함에 있어서, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체가 위치하는 도로의 속성 정보에 대한 제1 도로 관련 메타데이터, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체의 식별 정보에 대한 제1 객체 관련 메타데이터, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각의 이동 방향이 이루는 각도에 대한 제1 각도 관련 메타데이터, 및 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각의 이동 속도에 대한 제1 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각의 사이즈 대비, 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각의 사이즈의 확장 비율을 결정하는 것을 특징으로 하는 장치.
  7. 제6항에 있어서,
    상기 (III) 프로세스에서,
    상기 m 이 상기 n 보다 작고, 상기 제1 기추적 대상 객체 내지 제m 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체가 매칭된다고 할 때, 상기 프로세서가, 상기 제1 기추적 대상 객체 내지 상기 제m 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대한 정보로 갱신하고, 제(m+1) 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 이후 몇 프레임 연속하여 검출이 되지 않는지 모니터링하고, 상기 제(m+1) 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 중 연속하여 기설정된 임계치 이상의 프레임에서 검출이 되지 않는 것으로 판단되는 적어도 하나의 특정 기추적 대상 객체에 대해서는 상기 데이터베이스에서 제거하는 것을 특징으로 하는 장치.
  8. 삭제
  9. 객체를 추적하기 위한 장치에 있어서,
    인스트럭션들을 저장하는 하나 이상의 메모리; 및
    상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,
    상기 프로세서는, (I) 소정 공간에 위치하는 제1 기추적 대상 객체 내지 제n 기추적 대상 객체 및 이에 대응되는 제1 기추적 중심 좌표 내지 제n 기추적 중심 좌표, 제1 기추적 기본 바운딩 박스 내지 제n 기추적 기본 바운딩 박스, 및 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스로부터 도출된 제1 기추적 확장 바운딩 박스 내지 제n 기추적 확장 바운딩 박스에 대한 정보 중 적어도 일부가 데이터베이스에 저장된 상태에서, 현재 프레임에서 제1 현재 대상 객체 내지 제m 현재 대상 객체를 검출하는 프로세스; (II) (i) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 중심 좌표 내지 상기 제n 기추적 중심 좌표 각각이 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 제1 현재 기본 바운딩 박스 내지 제m 현재 기본 바운딩 박스로부터 도출된 제1 현재 확장 바운딩 박스 내지 제m 현재 확장 바운딩 박스 각각에 포함되는지에 대한 정보, (ii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 기본 바운딩 박스 내지 상기 제n 기추적 기본 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제1 IoU(Intersection over Union)에 대한 정보, (iii) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 제2 IoU(Intersection over Union)에 대한 정보, (iv) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 제1 현재 중심 좌표 내지 제m 현재 중심 좌표 각각이 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각에 포함되는지에 대한 정보, 및 (v) 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대응되는 상기 제1 기추적 확장 바운딩 박스 내지 상기 제n 기추적 확장 바운딩 박스 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대응되는 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 제3 IoU(Intersection over Union)에 대한 정보 중 적어도 일부를 참조로 하여, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체 각각과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각 사이의 매칭 관계를 결정하는 프로세스; 및 (III) 상기 m 이 상기 n 보다 크고, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체와 상기 제1 현재 대상 객체 내지 제n 현재 대상 객체가 매칭된다고 할 때, 상기 제1 기추적 대상 객체 내지 상기 제n 기추적 대상 객체에 대해서는 상기 제1 현재 대상 객체 내지 상기 제n 현재 대상 객체에 대한 정보로 갱신하고, 제(n+1) 현재 대상 객체 내지 상기 제m 현재 대상 객체에 대해서는 신규 추적 대상 객체로서 상기 데이터베이스에 추가하는 프로세스;를 수행하되,
    상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스로부터 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스를 도출함에 있어서, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체가 위치하는 도로의 속성 정보에 대한 제2 도로 관련 메타데이터, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체의 식별 정보에 대한 제2 객체 관련 메타데이터, 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체를 촬영하는 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축의 방향과 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 이동 방향이 이루는 각도에 대한 제2 각도 관련 메타데이터, 및 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 이동 속도에 대한 제2 속도 관련 메타데이터 중 적어도 일부를 참조로 하여, 상기 제1 현재 기본 바운딩 박스 내지 상기 제m 현재 기본 바운딩 박스 각각의 사이즈 대비, 상기 제1 현재 확장 바운딩 박스 내지 상기 제m 현재 확장 바운딩 박스 각각의 사이즈의 확장 비율을 결정하는 것을 특징으로 하는 장치.
  10. 제6항에 있어서,
    상기 프로세서는, (IV) 상기 제1 현재 대상 객체 내지 상기 제m 현재 대상 객체 각각의 진행 방향에 대한 정보 및 상기 소정 공간에 진입하거나 상기 소정 공간으로부터 진출하기 위한 출입선 배열 방향에 대한 정보를 참조로 하여, 상기 진행 방향이 상기 출입선 배열 방향에 대한 법선 각도를 기준으로 기설정된 임계 범위 이내에 해당되는 것으로 판단되는 특정 현재 대상 객체에 대해서는 상기 진행 방향이 제1 방향인 경우 상기 소정 공간에 대한 진입으로서 카운팅하고 상기 진행 방향이 제2 방향인 경우 상기 소정 공간으로부터의 진출로서 카운팅하는 프로세스를 더 수행하는 장치.
KR1020220116305A 2022-09-15 2022-09-15 객체를 추적하기 위한 방법 및 이를 이용한 장치 KR102543836B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220116305A KR102543836B1 (ko) 2022-09-15 2022-09-15 객체를 추적하기 위한 방법 및 이를 이용한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220116305A KR102543836B1 (ko) 2022-09-15 2022-09-15 객체를 추적하기 위한 방법 및 이를 이용한 장치

Publications (1)

Publication Number Publication Date
KR102543836B1 true KR102543836B1 (ko) 2023-06-20

Family

ID=86994920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220116305A KR102543836B1 (ko) 2022-09-15 2022-09-15 객체를 추적하기 위한 방법 및 이를 이용한 장치

Country Status (1)

Country Link
KR (1) KR102543836B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160035367A (ko) * 2014-09-23 2016-03-31 에스케이텔레콤 주식회사 영상 감시 방법 및 장치
KR20200104267A (ko) * 2020-08-24 2020-09-03 건국대학교 산학협력단 객체 추적 방법 및 이를 수행하는 장치
KR20220119824A (ko) * 2021-02-22 2022-08-30 주식회사 에이치엘클레무브 딥러닝 모델 roi를 이용한 객체 추적 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160035367A (ko) * 2014-09-23 2016-03-31 에스케이텔레콤 주식회사 영상 감시 방법 및 장치
KR20200104267A (ko) * 2020-08-24 2020-09-03 건국대학교 산학협력단 객체 추적 방법 및 이를 수행하는 장치
KR20220119824A (ko) * 2021-02-22 2022-08-30 주식회사 에이치엘클레무브 딥러닝 모델 roi를 이용한 객체 추적 장치 및 그 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2016-0035367호(2016.03.31.) 1부.*
한국 공개특허공보 제10-2020-0104267호(2020.09.03.) 1부.*
한국 공개특허공보 제10-2022-0119824호(2022.08.30.) 1부.*

Similar Documents

Publication Publication Date Title
JP6944598B2 (ja) 目標追跡方法及び装置、記憶媒体
JP6390671B2 (ja) 画像処理装置および画像処理方法
JP6752024B2 (ja) 画像処理装置
Lee et al. An efficient selection of HOG feature for SVM classification of vehicle
KR102263717B1 (ko) 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법
KR102082254B1 (ko) 차량 인식 시스템
JP6226368B2 (ja) 車両監視装置、および車両監視方法
US10013618B2 (en) Method and apparatus for detecting side of object using ground boundary information of obstacle
WO2014132490A1 (ja) 車両諸元計測処理装置、車両諸元計測方法及び記録媒体
US20210174113A1 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
KR102154589B1 (ko) 라이다의 멀티 레이어 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
KR20180033552A (ko) 화상 처리 장치 및 화상 처리 방법
Mehboob et al. Trajectory based vehicle counting and anomalous event visualization in smart cities
KR102543836B1 (ko) 객체를 추적하기 위한 방법 및 이를 이용한 장치
JP4575315B2 (ja) 物体検出装置及びその方法
JP2013149177A (ja) オプティカルフロー処理装置
KR102286250B1 (ko) Cctv를 이용한 차량 번호 인식 시스템
JP4714872B2 (ja) 画像上重畳移動物体分割方法及び装置
JP6935690B2 (ja) 検出プログラム、方法、及び装置
Ng et al. Traffic Impact Assessment System using Yolov5 and ByteTrack
CN115410105A (zh) 集装箱标记识别方法、装置、计算机设备和存储介质
Lin et al. Crossroad traffic surveillance using superpixel tracking and vehicle trajectory analysis
Barnwal Vehicle Behavior analysis for uneven road surface detection
JP2017045261A (ja) 情報取得装置及び情報取得方法並びに情報取得用プログラム
US11645838B2 (en) Object detection system, object detection method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant