KR102446688B1 - 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체 - Google Patents

타깃 추적 방법 및 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR102446688B1
KR102446688B1 KR1020227002278A KR20227002278A KR102446688B1 KR 102446688 B1 KR102446688 B1 KR 102446688B1 KR 1020227002278 A KR1020227002278 A KR 1020227002278A KR 20227002278 A KR20227002278 A KR 20227002278A KR 102446688 B1 KR102446688 B1 KR 102446688B1
Authority
KR
South Korea
Prior art keywords
target object
target
camera
objects
current
Prior art date
Application number
KR1020227002278A
Other languages
English (en)
Other versions
KR20220066245A (ko
Inventor
잉다 구안
양 조우
웬타오 리우
첸 퀴안
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20220066245A publication Critical patent/KR20220066245A/ko
Application granted granted Critical
Publication of KR102446688B1 publication Critical patent/KR102446688B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다. 상기 타깃 추적 방법은, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계; 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계; 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 단계를 포함한다.

Description

타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
[관련 출원의 상호 참조]
본 발명은 출원 번호가 202011256801.6이고, 출원일이 2020년 11월 11일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.
본 발명은 컴퓨터 비전 기술 분야에 관한 것이며, 특히 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.
타깃 추적은 연속된 비디오 프레임에서 동일한 타깃 대상(예를 들어 보행자, 차량 등)을 추적하는 것을 가리킨다. 컴퓨터 시각 기술의 발전에 따라, 타깃 추적 알고리즘은 보안 영역 등에 널리 응용되고, 스마트 라이프를 구축하는데 중요한 가치가 있다. 타깃 대상이 비교적 밀집한 경우, 타깃 추적 과정에서, 타깃 대상의 식별자(Identity document, ID)의 일관성은 좋지 않다.
본 발명은 타깃 추적 기술 방안을 제공한다.
본 발명의 일 측면에 따르면, 타깃 추적 방법을 제공하고, 상기 타깃 추적 방법은,
추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계;
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계;
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및
상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 단계를 포함한다.
본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다.
일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 적어도 하나의 타깃 대상 간의 거리는 거리 임계값보다 작거나 같으며;
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계는,
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 타깃 대상 간의 거리가 모두 상기 거리 임계값보다 큰 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함한다.
상기 구현 방식에 따라 타깃 대상 간의 충돌 관계를 결정하고, 이를 기반으로 타깃 추적을 수행하면, 타깃 추적의 정확성 및 효율을 향상시키는데 도움이 된다.
일 가능한 구현 방식에 있어서, 상기 방법은,
어느 한 타깃 대상에 대해, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표를 결정하는 단계 - 상기 타깃 대상이 어느 한 카메라에 대응되는 제1 좌표는 상기 카메라가 수집한 이미지에 따라 얻은 상기 타깃 대상의 제1 좌표를 나타내기 위한 것임 - ;
상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계 - 상기 추적 영역은 복수 개의 서브 영역을 포함함 - ; 및
상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합을 수행하여, 상기 타깃 대상의 융합 좌표를 얻는 단계를 더 포함하고,
상기 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계 이전, 상기 단계는,
상기 추적 영역에서 타깃 대상의 융합 좌표에 따라, 상기 추적 영역에서 타깃 대상 간의 거리를 결정하는 단계를 더 포함한다.
상기 구현 방식에 있어서, 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표를 결합하는 것을 통해, 상기 타깃 대상의 융합 좌표를 얻고, 상기 타깃 대상의 융합 좌표에 기반하여 타깃 추적을 하여, 이로써 더욱 정확한 좌표에 기반하여 타깃 추적을 하는 것을 얻을 수 있음으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.
일 가능한 구현 방식에 있어서, 상기 타깃 대상의 현재 특징을 추출하는 단계는,
상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계;
복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계; 및
상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 단계를 더 포함한다.
상기 구현 방식에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 구현 방식에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 향상시킬 수 있다.
일 가능한 구현 방식에 있어서, 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는,
복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계를 포함한다.
상기 구현 방식에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 구현 방식에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 추가로 향상시킬 수 있다.
일 가능한 구현 방식에 있어서, 상기 중첩 정보는, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU(Intersection over Union)를 포함하고;
상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는,
중첩 조건을 만족하는 카메라로부터, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하는 단계 - 상기 중첩 조건은 상기 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 것을 표시함 - 를 포함한다.
상기 구현 방식에 있어서, 상기 복수 개의 카메라에서 현재 수집한 비디오 프레임이 중첩 조건을 만족하는 카메라에서, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 구현 방식에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 추가로 향상시킬 수 있다.
일 가능한 구현 방식에 있어서, 상기 방법은,
상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계를 더 포함한다.
상기 구현 방식에 있어서 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하고, 이로써 결정된 신뢰도에 기반하여 좌표 융합 및/또는 타깃 대상의 현재 특징을 추출하는 카메라를 결정함으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.
일 가능한 구현 방식에 있어서, 상기 복수 개의 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계 이후, 상기 방법은,
상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정하는 단계를 더 포함한다.
상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 동적으로 조정하고, 결정된 신뢰도에 기반하여 좌표 융합 및/또는 타깃 대상의 현재 특징을 추출하는 카메라를 결정함으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.
일 가능한 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계는,
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계; 및
상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 단계를 포함한다.
상기 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하고, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 것을 통해, 상기 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우, 먼저 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색함으로써, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색하는 속도 및 정확성을 향상시키는데 도움이 된다.
일 가능한 구현 방식에 있어서, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계 이후, 상기 방법은,
상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계를 더 포함한다.
상기 구현 방식에 있어서, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 것을 통해, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색하는 속도를 향상시키는 전제하에, 더 나아가 결정된 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징의 정확성을 향상시킬 수 있다.
일 가능한 구현 방식에 있어서, 상기 방법은,
어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 다른 타깃 대상과 충돌하지 않는 경우에 응답하여, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않고, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하고, 또는 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우에 응답하여, 상기 타깃 대상이 상기 이전 시각에 속한 충돌 영역에서, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하는 단계; 및
상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 상기 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하는 단계를 포함한다.
상기 구현 방식에 따라 계산량을 줄이고, 시간 오버헤드를 줄이며, 타깃 추적의 실시간 요구사항을 만족시킬 수 있다.
본 발명의 일 측면에 따르면, 타깃 추적 장치를 제공하고, 상기 타깃 추적 장치는,
추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하도록 구성된 제1 결정부;
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하도록 구성된 추출부;
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하도록 구성된 제2 결정부 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및
상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하도록 구성된 제3 결정부를 포함한다.
본 발명의 일 측면에 따르면, 전자 기기를 제공하고, 상기 전자 기기는, 하나 또는 복수 개의 프로세서; 및 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 하나 또는 복수 개의 프로세서는 상기 메모리가 저장한 실행 가능한 명령어를 호출하여, 상기 타깃 추적 방법을 실행한다.
본 발명의 일 측면에 따르면, 컴퓨터 프로그램 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 경우 상기 타깃 추적 방법을 구현한다.
본 발명의 일 측면에 따르면, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기의 프로세서는 실행되어 상기 타깃 추적 방법을 구현한다.
본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다.
이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명을 한정하려는 것은 아니다.
아래에 첨부 도면에 따라 예시적 실시예를 상세하게 설명하므로, 본 발명의 다른 특징 및 측면이 더욱 명확해질 것이다.
본문의 도면은 본 명세서에 포함되어 본 명세서의 일부분을 구축하며, 이런 첨부 도면은 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 기술 방안의 설명에 사용된다.
도 1은 본 발명 실시예에서 제공한 타깃 추적 방법의 흐름도이다.
도 2는 제t 시각에서의 서로 충돌 하는 복수 개의 타깃 대상의 예시도이다.
도 3은 제t +1 시각에서의 서로 충돌 하는 복수 개의 타깃 대상의 예시도이다.
도 4는 본 발명의 실시예에서의 복수 개의 타깃 대상 및 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징의 예시도이다.
도 5는 본 발명의 실시예에서 추적 영역에 라벨을 배치하는 예시도이다.
도 6은 본 발명 실시예에서 제공한 타깃 추적 장치의 블록도이다.
도 7은 본 발명의 실시예에 제공한 전자 기기(800)의 블록도이다.
도 8은 본 발명의 실시예에 제공한 전자 기기(1900)의 블록도이다.
이하, 도면을 참조하여 본 발명의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 부호는 동일하거나 유사한 기능을 갖는 요소를 표시한다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 구체적으로 언급되지 않는 한, 도면은 반드시 비례대로 도시될 필요없다.
여기서 "예시적"이라는 특정한 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 “예시적”으로 설명된 임의의 실시예는 다른 실시예보다 우수하거나 좋은 것으로 해석될 필요는 없다.
본문 중의 용어 “및/또는”은 다만 연관 대상의 연관 관계를 설명하기 위한 것이며, 세 가지 관계가 존재할 수 있음을 의미하는데, 예를 들어, “A 및/또는 B”는, A가 단독적으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독적으로 존재하는 세 가지 경우를 의미한다. 또한, 본 명세서에서 "적어도 하나"라는 용어는 복수 개 중 어느 하나 또는 복수 개 중 적어도 2 개의 임의의 조합을 나타내며, 예를 들어, A, B 및 C 중 적어도 하나는 A, B 및 C에 의해 형성된 집합에서 선택된 임의의 하나 또는 복수 개의 요소를 나타낼 수 있다.
또한, 본 발명을 보다 잘 설명하기 위해, 아래의 구체적인 실시형태에서 많은 세부사항들이 제공된다. 본 분야의 기술자는 일부 구체적인 세부 사항이 없이도, 본 발명이 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 예에 있어서, 본 분야에게 널리 알려진 방법, 수단, 구성 요소 및 회로는 본 발명의 요지를 강조하기 위해, 상세히 설명되지 않는다.
도 1은 본 발명 실시예에서 제공한 타깃 추적 방법의 흐름도이다. 상기 타깃 추적 방법의 실행 주체는 타깃 추적 장치일 수 있다. 예를 들어, 상기 타깃 추적 방법은 단말 기기 또는 서버 또는 다른 처리 기기에 의해 실행될 수 있다. 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 또는 웨어러블 기기 등일 수 있다. 일부 가능한 구현 방식에 있어서, 상기 타깃 추적 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다. 도 1에 도시된 바와 같이, 상기 타깃 추적 방법은 단계 S11 내지 단계 S14를 포함한다.
단계 S11에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정한다.
본 발명의 실시예는 지능형 모니터링, 지능형 시나리오 분석, 보안, 타깃 검출 및 타깃 추적과 같은 응용 시나리오에 적용될 수 있다. 본 발명의 실시예에 있어서, 추적 영역은 타깃 추적이 필요한 영역을 표시한다. 본 발명의 실시예에서의 추적 영역은 상대적으로 폐쇄된 영역일 수도 있고 상대적으로 개방된 영역일 수도 있다. 예를 들어, 추적 영역은 경기장, 쇼핑몰, 교실 등이 될 수 있다. 타깃 대상은 추적이 필요한 대상을 표시한다. 예를 들어, 타깃 대상은 보행자, 차량, 운동장에서의 운동 선수(예를 들어 축구장의 축구 선수) 등 추적이 필요한 모든 대상일 수 있다. 본 발명의 실시예에 있어서, 서로 충돌하는 타깃 대상은 서로 거리가 비교적 가까운 타깃 대상으로 표시될 수 있다.
본 발명의 실시예에 있어서, 카메라가 수집한 각 비디오 프레임에 대해, 각각 추적 영역에서 타깃 대상 간의 거리를 결정함으로써, 상기 비디오 프레임에 대응되는 시각에서 타깃 대상 간에 서로 충돌되는 경우를 결정할 수 있다. 물론, 카메라가 수집한 비디오 페임에 대해 프레임 단위로 분석하지 않을 수도 있고, 예를 들어, 특정된 개수의 비디오 프레임을 간격하여, 추적 영역에서 타깃 대상 간의 거리를 결정함으로써, 상기 비디오 프레임에 대응되는 시각에서 타깃 대상 간에 서로 충돌되는 경우를 결정할 수 있다.
본 발명의 실시예에 있어서, 어느 한 시각에서, 한 세트 또는 복수 개의 세트의 서로 충돌하는 타깃 대상이 존재할 수 있고, 물론, 서로 충돌하는 타깃 대상이 존재하지 않을 수도 있다. 도 2는 제t 시각에서의 서로 충돌 하는 복수 개의 타깃 대상의 예시도이다. 도 2에 도시된 바와 같이, 제t 시각에서, 타깃 대상(O1), (O4)와 (O3)은 서로 충돌하고, 타깃 대상(O2)와 (O5)는 서로 충돌하며, 타깃 대상(O6)과 (O7)은 서로 충돌한다.
일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상을 동일한 충돌 영역에 추가할 수 있고, 즉, 서로 충돌 하는 복수 개의 타깃 대상은 동일한 충돌 영역에 위치하는 것으로 간주될 수 있다. 여기서, 충돌 영역은 가상 영역이 될 수 있고, 어느 한 충돌 영역에서의 타깃 대상 간은 서로 충돌한다. 예를 들어, 도 2에서, 제t 시각에서, 충돌 영역(1)에는 타깃 대상(O1), (O4) 및 (O3)이 포함되고, 충돌 영역(2)에는 타깃 대상(O2) 및 (O5)가 포함되며, 충돌 영역(3)에는 타깃 대상 (O6) 및 (O7)이 포함된다.
단계 S12에 있어서, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출한다.
도 3은 제t +1 시각에서의 서로 충돌 하는 복수 개의 타깃 대상의 예시도이다. 도 3에 도시된 바와 같이, 제t+1 시각에서, 충돌 영역(1)에는 타깃 대상(O1) 및 (O4)가 포함되고, 충돌 영역(2)에는 타깃 대상(O2) 및 (O5)가 포함되고, 충돌 영역(3)에는 타깃 대상 (O6) 및 (O7)이 포함된다. 즉, 제t+1 시각에서, 타깃 대상(O1)과 (O4)는 서로 충돌하고, 타깃 대상(O2)와 (O5)는 서로 충돌하며, 타깃 대상 (O6)과 (O7)는 서로 충돌한다. 제t+1 시각과 제t 시각을 비교하면 알다시피, 제t+1 시각에서, 타깃 대상(O3과O1, O4)는 충돌하지 않고; 다시 말해, 시나리오에서의 모든 타깃 대상은 임의의 시각에서 모두 동적으로 클러스터링되어 복수 개의 충돌 영역을 형성한다.
일 가능한 구현 방식에 있어서, 인접한 두개 시각 간의 시간 간격은 카메라가 수집한 비디오 프레임의 프레임 속도의 역수와 같을 수 있다. 다른 일 가능한 구현 방식에 있어서, 인접한 두개 시각 간의 시간 간격은 카메라가 수집한 비디오 프레임의 프레임 속도의 역수보다 클 수 있으며, 예를 들어 카메라가 수집한 비디오 프레임의 프레임 속도의 역수의 H배와 같을 수 있고, 여기서, H는 1보다 큰 정수이다.
일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 적어도 하나의 타깃 대상 간의 거리는 거리 임계값보다 작거나 같으며; 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계는, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 타깃 대상 간의 거리가 모두 상기 거리 임계값보다 큰 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함한다.
일부 실시예에 있어서, 노이즈를 가진 밀도 기반 클러스터링 방법(Density-Based Spatial Clustering of Applications with Noise, DBSCAN)을 사용하여, 다른 타깃 대상 간의 거리가 거리 임계값보다 작은 타깃 대상을 클러스터링하여, 충돌 영역을 형성한다.
상기 구현 방식에 있어서, 어느 한 프레임에서, 임의의 두 개의 타깃 대상 간의 거리를 계산할 수 있고, 상기 두 개의 타깃 대상 간의 거리가 거리 임계값보다 작거나 같을 경우, 상기 두 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있다. 다른 한 타깃 대상과 상기 두 개의 타깃 대상에서의 적어도 하나의 타깃 대상 간의 거리가 거리 임계값보다 작거나 같은 경우가 존재할 경우, 이 세 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있다. 예를 들어, 제t 시각에서, 타깃 대상(O1)과 타깃 대상(O4) 간의 거리가 거리 임계값보다 작거나 같을 경우, 타깃 대상(O1)과 타깃 대상(O4)는 서로 충돌하는 것을 결정할 수 있다. 타깃 대상(O3)과 타깃 대상(O4) 간의 거리가 거리 임계값보다 작거나 같을 경우, 타깃 대상(O1), (O4)과 (O3)은 서로 충돌하는 것을 결정할 수 있다.
상기 구현 방식의 일 예로서, 타깃 대상 간에 서로 충돌이 일어나는지 여부를 판단할 경우, 타깃 대상의 위치(예를 들어 융합 좌표) 간의 거리가 거리 임계값보다 작거나 같은지 여부만을 고려할 수 있고, 예를 들어, 임의의 두 개의 타깃 대상의 위치 간의 거리가 거리 임계값보다 작거나 같을 경우, 상기 두 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있다. 상기 구현 방식의 다른 일 예로서, 타깃 대상의 위치 간의 거리를 고려할뿐만 아니라, 타깃 대상의 비전 특징(예를 들어 기준 특징 및 현재 특징 중 적어도 하나) 간의 거리를 고려하고, 예를 들어, 임의의 두 개의 타깃 대상의 위치 간의 거리가 제1 거리 임계값보다 작거나 같으며, 상기 두 개의 타깃 대상의 비전 특징 간의 거리가 제2 거리 임계값보다 작거나 같을 경우, 상기 두 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있다. 여기서, 타깃 대상의 비전 특징 간의 거리는 타깃 대상의 비전 특징 간의 유사도를 표시할 수 있다.
상기 구현 방식에 있어서, 한 타깃 대상과 다른 한 타깃 대상 간의 거리가 거리 임계값보다 작거나 같을 경우, 상기 두 개의 타깃 대상은 서로 충돌하는 것을 결정할 수 있고; 한 타깃 대상과 다른 타깃 대상의 거리가 모두 상기 거리 임계값보다 클 경우, 상기 타깃 대상은 다른 모든 타깃 대상과 충돌하지 않는 것을 결정할 수 있다. 상기 구현 방식에 따라 타깃 대상 간의 충돌 관계를 결정하고, 이를 기반으로 타깃 추적을 수행하면, 타깃 추적의 정확성 및 효율을 향상시키는데 도움이 된다.
다른 일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 모든 타깃 대상 간의 거리는 모두 거리 임계값보다 작거나 같으며 같고; 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계는, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상 간의 거리가 상기 거리 임계값보다 큰 경우, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함한다.
일 가능한 구현 방식에 있어서, 상기 타깃 대상의 현재 특징을 추출하는 단계는, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계; 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계; 및 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함한다.
상기 구현 방식에 있어서, 상기 추적 영역은 적어도 하나의 서브 영역을 포함할 수 있고, 예를 들어, 상기 추적 영역은 복수 개의 서브 영역으로 분할될 수 있다. 상기 구현 방식에 있어서, 복수 개의 카메라를 통해 타깃 추적을 수행하는 것을 통해, 복수 개의 카메라에 대응되는 복수 개의 시각의 비전 정보를 획득할 수 있고, 복수 개의 시각으로 캡쳐한 비전 정보는 서로 보완할 수 있음으로써, 타깃 검출 및 추적의 정확성을 향상시키는데 도움이 된다.
상기 구현 방식에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 구현 방식에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 향상시킬 수 있다.
상기 구현 방식의 일 실시예로서, 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계를 포함한다.
상기 예에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 예에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 추가로 향상시킬 수 있다.
일 예에 있어서, 상기 중첩 정보는 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU를 포함하고; 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는 중첩 조건을 만족하는 카메라로부터, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하는 단계 - 상기 중첩 조건은 상기 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 것을 표시함 - 를 포함한다.
예를 들어, 타깃 대상이 위치한 서브 영역은 서브 영역(A1)이고, 상기 복수 개의 카메라는 카메라(C1), 카메라(C2), 카메라(C3) 및 카메라(C4)를 포함하고, 카메라(C1)가 서브 영역(A1)에 대한 신뢰도는 Z11이고, 카메라(C2)가 서브 영역(A1)에 대한 신뢰도는 Z21이고, 카메라(C3)이 서브 영역(A1)에 대한 신뢰도는 Z31이며, 카메라(C4)가 서브 영역(A1)에 대한 신뢰도는 Z41이다. 상기 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 크거나 같은 다른 검출 플레임이 존재하지 않는 경우, 즉, 카메라(C1)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 경우, 카메라(C1)가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출한다. 카메라(C1)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 크거나 같은 다른 검출 프레임이 존재하는 경우, 카메라(C2)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 크거나 같은 다른 검출 프레임이 존재하는지 여부를 판단하고, 즉, 카메라(C2)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 작은지 여부를 판단한다. 카메라(C2)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임의 IOU가 기설정된 임계값보다 크거나 같은 다른 검출 프레임이 존재하지 않는 경우, 즉, 카메라(C2)가 현재 수집한 비디오 프레임에서, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 경우, 카메라(C2)가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하고, 이와 같은 방식으로 계속하여 수행하며; 다시 말해, 카메라가 서브 영역에 대한 신뢰도 순서에 따라, 신뢰도가 높은 카메라가 현재 수집한 비디오 프레임에서, 상기 타깃 대상이 가려진 경우, 신뢰도가 다음으로 높은 카메라로 전환하고, 이와 같은 방식으로 계속하여 수행하며; 상기 타깃 대상의 현재 특징을 추출하는 카메라로 하여금 가려지지 않은 경우, 최대한 신뢰도가 높은 카메라를 사용하도록 하여, 미스 탐지 확률이 감소하고, 타깃 매칭의 정확성을 향상시킨다.
이 예에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU는, 상기 타깃 대상이 다른 타깃 대상에 의해 가려진 비율을 나타낼 수 있다. 상기 카메라가 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 클수록, 상기 타깃 대상이 다른 타깃 대상에 의해 가려진 비율이 크다는 것을 나타낼 수 있고; 상기 카메라가 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 작을수록, 상기 타깃 대상이 다른 타깃 대상에 의해 가려진 비율이 작다는 것을 나타낼 수 있다. 상기 카메라가 현재 수집한 비디오 프레임에서, 상기 타깃 대상이 다른 타깃 대상에 의해 가려진 비율이 작을수록, 상기 카메라가 현재 수집한 비디오 프레임에 기반하여 추출한 상기 타깃 대상의 현재 특징이 가진 상기 타깃 대상의 비전 정보가 더욱 풍부하고, 예를 들어, 상기 타깃 대상의 더욱 많은 특징점의 정보를 가질 수 있다. 이 예는 상기 복수 개의 카메라에서 현재 수집한 비디오 프레임이 중첩 조건을 만족하는 카메라에서, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하고, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 것을 통해, 추출된 상기 타깃 대상의 현재 특징이 더욱 풍부한 비전 정보를 가지게 하고, 따라서, 상기 예에 따라 추출한 상기 타깃 대상의 현재 특징에 따라 타깃 매칭하여, 타깃 매칭의 정확성을 추가로 향상시킬 수 있다.
단계 S13에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하고, 여기서, 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징이다.
도 4는 본 발명의 실시예에서의 복수 개의 타깃 대상 및 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징의 예시도이다. 도 4에 도시된 바와 같이, 상기 복수 개의 타깃 대상은 타깃 대상(O1), 타깃 대상(O2), 타깃 대상(O3) 및 타깃 대상(O4)을 포함하고, 여기서, 타깃 대상(O1)의 기준 특징은 기준 특징(F01)이고, 타깃 대상(O2)의 기준 특징은 기준 특징(F02)이고, 타깃 대상(O3)의 기준 특징은 기준 특징(F03)이며, 타깃 대상(O4)의 기준 특징은 기준 특징(F04)이다.
일 가능한 구현 방식에 있어서, 첫 번째 프레임에서 타깃 대상의 기준 특징을 추출하고, 타깃 대상의 기준 특징을 저장할 수 있다. 예를 들어, 첫 번째 프레임에서 타깃 대상의 모든 기준 특징을 추출하고, 모든 타깃 대상의 기준 특징을 저장할 수 있다. 물론, 첫 번째 프레임에서 일부 타깃 대상이 심하게 가려지는 경우, 이후의 비디오 프레임에서 이러한 타깃 대상의 기준 특징을 추출하여, 품질이 더욱 높고, 더욱 풍부한 타깃 대상의 비전 정보를 포함한 기준 특징을 획득할 수 있다. 타깃 대상의 기준 특징을 추출한 이후, 타깃 대상의 식별자 정보와 타깃 대상의 기준 특징 간의 대응 관계를 저장할 수 있다. 본 발명의 실시예에 있어서, 타깃 대상의 기준 특징을 추출하기 위한 카메라의 방식을 결정한 이후, 위에서 설명한 타깃 대상의 현재 특징을 추출하기 위한 카메라의 방식을 결정하는 방식과 유사하기에, 여기서 반복하여 설명하지 않는다.
상기 구현 방식의 일 예로서, 타깃 대상의 기준 특징을 추출한 이후, 후속 타깃 추적 과정에서, 상기 타깃 대상의 현재 특징을 추출한 경우, 추출된 상기 타깃 대상의 현재 특징에 따라, 상기 타깃 대상의 기준 특징을 업데이트 하여, 저장된 기준 특징에 따라 타깃 매칭을 하는 정확성을 향상시킬 수 있다. 예를 들어, 저장된 타깃 대상의 기준 특징과 상기 타깃 대상의 현재 특징을 가중하여, 새로운 기준 특징을 얻을 수 있다. 물론, 타깃 대상의 기준 특징을 업데이트 하지 않고, 계산량을 줄일 수도 있다.
일 가능한 구현 방식에 있어서, 타깃 대상이 사람(예를 들어 보행자, 축구장의 축구 선수)인 경우, 보행자 재식별(person Re-IDentificaion, ReID) 모듈을 통해 타깃 대상의 특징을 추출할 수 있다. 예를 들어, ReID 모듈을 통해 타깃 대상의 기준 특징 및 현재 특징 중 적어도 하나를 추출할 수 있다. 일 예에 있어서, ReID 모듈은 컨볼루션 신경망을 사용하여 구현될 수 있다. 물론, 다른 특징 추출 방법을 사용하여 타깃 대상의 특징을 추출할 수도 있으며, 추출된 타깃 대상의 특징이 타깃 대상의 비전 정보를 구현할 수 있으면 된다.
일 가능한 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계는, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계; 및 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계를 포함한다. 여기서, 유사도는 코사인 유사도 등일 수 있다.
예를 들어, 제t 시각에서, 충돌 영역(1)에는 타깃 대상(O1), (O4) 및 (O3)이 포함되고, 충돌 영역(1)에 대응되는 기준 특징은 타깃 대상(O1)의 기준 특징(F01), 타깃 대상(O4)의 기준 특징(F04) 및 타깃 대상(O3)의 기준 특징(F03)을 포함한다. 제t+1 시각에서, 한 타깃 대상과 남은 타깃 대상의 거리가 거리 임계값보다 큰 것이 검출된 경우, 상기 타깃 대상이 충돌 영역(1)을 벗어낫음을 표시하고, 즉, 충돌 영역(1)에서의 한 타깃 대상과 다른 두 개의 타깃 대상은 서로 충돌하지 않기에, 상기 타깃 대상의 현재 특징(F1n)을 추출하고, 각각 충돌 영역(1)에 대응되는 3 개의 기준 특징(F01), (F04) 및 (F03)과 상기 타깃 대상의 현재 특징(F1n) 간의 유사도를 계산한다. 상기 3 개의 기준 특징에서, 상기 타깃 대상의 현재 특징(F1n)과 유사도가 가장 높은 것이 기준 특징(F03)이고, 기준 특징(F03)과 상기 타깃 대상의 현재 특징(F1n) 간의 유사도가 유사도 임계값보다 크거나 같을 경우, 기준 특징(F03)을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정할 수 있다.
상기 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하고, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 것을 통해, 상기 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우, 먼저 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색함으로써, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색하는 속도 및 정확성을 향상시키는데 도움이 된다.
상기 구현 방식의 일 예로서, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계 이후, 상기 방법은, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계를 더 포함한다.
상기 예에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에서, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾지 못할 경우, 다른 충돌 영역에 대응되는 기준 특징(즉, 상기 타깃 대상과 충돌하지 않지만, 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징)에서 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾을 수 있다. 예를 들어, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징과 상기 타깃 대상의 현재 특징의 유사도가 모두 유사도 임계값보다 작을 경우, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에서, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾을 수 없는 것을 결정할 수 있다. 상기 예에 있어서, 상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하는 것을 통해, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하고, 이로써 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 검색하는 속도를 향상시키는 전제하에, 더 나아가 결정된 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징의 정확성을 향상시킬 수 있다.
일 예에 있어서, 모든 충돌 영역에서 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾지 못한 경우, 비충돌 영역에서 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 찾을 수 있다.
다른 일 가능한 구현 방식에 있어서, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계는, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에서, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계; 및 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 단계를 포함한다.
단계 S14에 있어서, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정한다.
본 발명의 실시예에 있어서, 타깃 대상의 식별자 정보는 타깃 대상의 정보를 식별하는 유일한 것일 수 있고, 예를 들어 ID, 일련번호, 이름 등일 수 있다. 예를 들어, 추적 영역이 축구장일 경우, 타깃 대상은 축구장의 축구 선수를 포함하고, 타깃 대상의 식별자 정보는 축구 선수의 소속팀 및 등 번호일 수 있다.
예를 들어, 상기 타깃 대상의 현재 특징(F1n)과 매칭되는 기준 특징은 (F03)이고, 기준 특징(F03)에 대응되는 식별자 정보는 (O3)이며, (O3)을 상기 타깃 대상의 식별자 정보로 결정할 수 있다.
일 가능한 구현 방식에 있어서, 어느 한 타깃 대상에 대응되는 타깃 추적 결과는 상기 타깃 대상의 위치 정보를 더 포함할 수 있다. 본 발명에서 제공한 타깃 추적 방법이 제공한 타깃 추적 결과를 이용하여, 추적 영역에서 타깃 대상의 행위에 대해 분석할 수 있다. 예를 들어, 추적 영역은 축구장이고, 타깃 대상은 축구장의 축구 선수를 포함하고, 축구 선수의 식별자 정보(예를 들어 소속팀 및 유니폼 등번호) 및 축구 선수가 적어도 하나의 비디오 프레임에서의 위치 정보에 따라, 축구 선수의 행위에 대해 분석할 수 있고, 예를 들어 축구 선수가 오프사이드를 했는지 여부를 분석할 수 있다.
본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다. 본 발명의 실시예는 복잡한 타깃 추적 시나리오에 적용될 수 있고, 예를 들어 추적 영역에서 타깃 대상의 사이즈가 일치하지 않고, 추적 영역에서 사이즈가 작고 검출하기 어려운 타깃 대상이 존재하고, 추적 영역에서 타깃 대상이 비교적 밀집되고, 타깃 대상의 외형이 유사하고, 타깃 대상의 운동 복잡도가 비교적 높고, 심하게 가려지는 경우가 존재하는 등 타깃 추적 시나리오에 적용될 수 있다.
일 가능한 구현 방식에 있어서, 단계 S11 이전, 상기 방법은, 라벨의 제1 좌표를 획득하는 단계; 및 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 획득한 상기 라벨의 제2 좌표, 및 상기 라벨의 제1 좌표에 따라, 상기 카메라에 대응되는 변환 행렬을 결정하는 단계를 더 포함한다.
상기 구현 방식에 있어서, 상기 복수 개의 카메라에 대해 표준화를 진행할 경우, 먼저 추적 영역에 일정한 밀도로 라벨을 배치할 수 있다. 도 5는 본 발명의 실시예에서 추적 영역에 라벨을 배치하는 예시도이다. 도 5에 도시된 예에서, 추적 영역은 축구장이고, 라벨은 흰색 금속 조각이다. 물론, 본 분야의 기술자는 실제 응용 시나리오의 요구 및 개인 취향 중 적어도 하나에 따라 유연하게 라벨을 선택할 수 있고, 여기서, 일정한 밀도에 따라 배치된 라벨은 상이한 높이, 상이한 크기, 상이한 색갈 등일 수 있고, 여기서 이에 대해 한정하지 않는다. 라벨을 사용하여 표적화하는 것을 통해, 코너 포인트가 많지 않은 추적 영역에서 표적화를 진행하는 정확성을 향상시킬 수 있음으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.
상기 구현 방식의 일 예로서, 제1 좌표는 월드 좌표계에서의 좌표일 수 있고, 제2 좌표는 픽셀 좌표계의 좌표일 수 있으며, 변환 행렬은 호모그래피 일 수 있다. 타깃 대상은 동일한 평면 내에서 운동하기에, 따라서, 공식(1)을 사용하여 변환 행렬
Figure 112022007834358-pct00001
을 결정할 수 있다.
Figure 112022007834358-pct00002
(1)
여기서,
Figure 112022007834358-pct00003
는 라벨의 제1 좌표를 표시하고, 예를 들어 라벨이 월드 좌표계에서의 좌표일 수 있고;
Figure 112022007834358-pct00004
는 카메라가 획득한 라벨의 제2 좌표를 표시하고, 예를 들어 라벨이 픽셀 좌표계에서의 좌표일 수 있다.
상기 예에 있어서, 호모그래피
Figure 112022007834358-pct00005
의 자유도는 8이고, 이론상으로 4 개의 마커에 대응되는 특징점을 사용하면 상기 호모그래피의 값을 계산할 수 있다. 내부 및 외부의 파라미터의 정밀도를 향상시키기 위해, 도 5에 도시된 바와 같이, 더욱 많은 라벨을 설치하고, 최소 자승법을 사용하고, 고립된 점을 필터링하며, 체커보드 표적화 방법을 이용하여 호모그래피를 얻을 수 있다. 이로써 얻은 호모그래피는 카메라가 수집한 이미지에서의 왜곡을 제거할 수 있고, 결정된 제1 좌표의 정확성을 향상시킬 수 있다.
여기서, 직접 선형 전환(Direct Linear Transformation, DLT) 및 특이값 분해(Singular Value Decomposition, SVD)를 통해 카메라 외부 파라미터를 획득할 수 있고, 체커보드 표적화를 통해 카메라의 내부 파라미터를 획득함으로써, 이미지의 왜곡을 제거할 수 있다.
상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 각 카메라에 대응되는 변환 행렬을 결정하는 것을 통해, 상기 복수 개의 카메라가 획득한 타깃 대상의 제2 좌표를 통합된 좌표계로 전환할 수 있고, 예를 들어, 월드 좌표계에 전환하여, 타깃 대상이 상기 복수 개의 카메라에서의 각 카메라에 대응되는 제1 좌표을 얻고, 이로써 후속 상기 타깃 대상에 대해 추적하는데 용이할 수 있다.
일 가능한 구현 방식에 있어서, 상기 방법은, 어느 한 타깃 대상에 대해, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표를 결정하는 단계; 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계 - 상기 추적 영역은 복수 개의 서브 영역을 포함함 - ; 및 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합을 수행하여, 상기 타깃 대상의 융합 좌표를 얻는 단계를 더 포함하고, 상기 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계 이전, 상기 단계는, 상기 추적 영역에서 타깃 대상의 융합 좌표에 따라, 상기 추적 영역에서 타깃 대상 간의 거리를 결정하는 단계를 더 포함한다.
상기 구현 방식에 있어서, 어느 한 타깃 대상은 어느 한 카메라의 제1 좌표에 대응되는 것은 상기 카메라가 수집한 이미지에 따라 얻은 상기 타깃 대상의 제1 좌표를 표시할 수 있다. 제1 좌표는 제1 좌표계의 좌표일 수 있고, 예를 들어, 제1 좌표계는 월드 좌표계 또는 다른 가상 좌표계일 수 있다. 융합 좌표 및 제1 좌표는 동일한 좌표계의 좌표일 수 있고, 예를 들어, 융합 좌표 및 제1 좌표는 모두 월드 좌표계의 좌표일 수 있다.
상기 구현 방식의 일 예로서, 상기 추적 영역에서의 각 서브 영역이 제1 좌표계에서의 좌표 범위를 미리 결정한다. 예를 들어, 서브 영역은 직사각형이고, 어느 한 서브 영역이 제1 좌표계에서의 좌표 범위는 상기 서브 영역이 제1 좌표계서의 네 개의 꼭짓점의 좌표를 사용하여 표시될 수 있고, 또는, 상기 서브 영역이 제1 좌표계에서의 좌표 범위는 상기 서브 영역이 제1 좌표계서의 왼쪽 상단의 꼭짓점 좌표 및 상기 서브 영역의 너비 및 높이를 사용하여 표시될 수 있다. 물론, 어느 한 서브 영역이 제1 좌표계에서의 좌표 범위는 또한 다른 방식을 사용하여 표시될 수도 있으며, 이에 대해 한정하지 않는다. 또한, 어느 한 서브 영역의 모양은 직사각형이 아닐 수도 있으며, 예를 들어 삼각형 등일 수 있다. 추적 영역에서의 상이한 서브 영역의 크기는 동일할 수도 있고, 상이할 수도 있다.
상기 구현 방식에 있어서, 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표, 및 서브 영역이 제1 좌표계에서의 좌표 범위에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정할 수 있다. 상기 구현 방식에 있어서, 타깃 대상이 상기 복수 개의 카메라에서의 전체 또는 일부 카메라에 대응되는 제1 좌표, 및 서브 영역이 제1 좌표계에서의 좌표 범위에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정할 수 있다.
상기 구현 방식의 일 예로서, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계는, 상기 타깃 대상이 상기 복수 개의 카메라에서의 어느 한 카메라에 대응되는 제1 좌표, 및 서브 영역이 제1 좌표계에서의 좌표 범위에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역을 결정하는 단계; 및 득표수가 가장 많은 후보 서브 영역을 상기 타깃 대상이 위치한 서브 영역으로 결정하는 단계를 포함한다. 예를 들어, 상기 복수 개의 카메라는 카메라(C1), 카메라(C2), 카메라(C3) 및 카메라(C4)를 포함하고; 상기 타깃 대상이 카메라(C1)에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역은 서브 영역(A1)인 것을 결정하고; 상기 타깃 대상이 카메라(C2)에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역은 서브 영역(A1)인 것을 결정하고; 상기 타깃 대상이 카메라(C3)에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역은 서브 영역(A2)인 것을 결정하며; 상기 타깃 대상이 카메라(C4)에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 후보 서브 영역은 서브 영역(A1)인 것을 결정하며; 따라서, 후보 서브 영역(A1)은 득표수가 3이고, 후보 서브 영역(A2)의 득표수는 1이며, 따라서, 후보 서브 영역(A1)을 상기 타깃 대상이 위치한 서브 영역으로 결정할 수 있다.
상기 구현 방식의 다른 일 예로서, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계는, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표의 평균값을 결정하는 단계; 및 서브 영역이 제1 좌표계에서의 좌표 범위에 따라, 상기 제1 좌표의 평균값이 위치한 서브 영역을 결정하고, 상기 제1 좌표의 평균값이 위치한 서브 영역을 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역으로 결정하는 단계를 포함한다.
상기 구현 방식에 있어서, 상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에서의 전체 또는 일부 카메라의 제1 좌표에 대해 융합하여, 상기 타깃 대상의 융합 좌표를 얻을 수 있다. 예를 들어, 상기 복수 개의 카메라는 카메라(C1), 카메라(C2), 카메라(C3) 및 카메라(C4)를 포함하고, 상기 타깃 대상은 서브 영역(A1)에 위치하고, 카메라(C1)가 서브 영역(A1)에 대한 신뢰도는 Z11이고, 카메라(C2)가 서브 영역(A1)에 대한 신뢰도는 Z21이고, 카메라(C3)가 서브 영역(A1)에 대한 신뢰도는 Z31이며, 카메라(C4)가 서브 영역(A1)에 대한 신뢰도는 Z41이며, 상기 타깃 대상이 카메라(C1)에 대응되는 제1 좌표는 Pw1이고, 상기 타깃 대상이 카메라(C2)에 대응되는 제1 좌표는 Pw2이며, 상기 타깃 대상이 카메라(C3)에 대응되는 제1 좌표는 Pw3이며, 상기 타깃 대상이 카메라(C4)에 대응되는 제1 좌표는 Pw4이며, 상기 타깃 대상의 융합 좌표는,
Figure 112022007834358-pct00006
일 수 있다. 또 예를 들어, 상기 복수 개의 카메라에서, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 비교적 큰 부분적인 카메라를 선택하여, 상기 타깃 대상의 융합 좌표를 결정할 수 있다. 예를 들어,
Figure 112022007834358-pct00007
일 수 있다.
상기 구현 방식에 있어서, 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표를 결합하는 것을 통해, 상기 타깃 대상의 융합 좌표를 얻고, 상기 타깃 대상의 융합 좌표에 기반하여 타깃 추적을 하여, 이로써 더욱 정확한 좌표에 기반하여 타깃 추적을 하는 것을 얻을 수 있음으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.
일 가능한 구현 방식에 있어서, 어느 한 타깃 대상 및 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표, 및 상기 카메라에 대응되는 변환 행렬에 따라, 상기 타깃 대상이 상기 카메라에 대응되는 제1 좌표를 결정한다.
상기 구현 방식의 일 예로서, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표는, 상기 타깃 대상이 상기 카메라에 대응되는 픽셀 좌표계에서의 좌표일 수 있다. 즉, 제2 좌표는 픽셀 좌표계에서의 좌표를 표시할 수 있다. 상기 예에 있어서, 상기 타깃 대상이 상기 카메라에 대응되는 제1 좌표는, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표에 따라 결정된 상기 타깃 대상이 월드 좌표계에서의 좌표를 표시할 수 있다. 상기 예에 있어서, 상기 카메라에 대응되는 변환 행렬은 호모그래피일 수 있다.
다른 예에 있어서, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표는, 또한 상기 타깃 대상이 상기 카메라에 대응되는 이미지 좌표계 등 좌표계에서의 좌표일 수 있다. 즉, 제2 좌표는 또한 이미지 좌표계 등 좌표계에서의 좌표일 수 있다.
상기 구현 방식의 일 예로서, 상기 카메라가 수집한 이미지에 대해 타깃 검출하여, 타깃 대상이 상기 이미지에서의 검출 프레임을 결정하고, 검출 프레임의 위치에 따라, 상기 카메라가 획득한 상기 타깃 대상의 제2 좌표를 결정할 수 있다. 상기 예에 있어서, 검출 프레임에서의 임의의 한 포인트 또는 검출 프레임 내부의 임의의 한 포인트를 상기 타깃 대상의 제2 좌표로 사용할 수 있다. 예를 들어, 검출 프레임 하단 가장자리의 중점을 상기 타깃 대상의 제2 좌표로 사용할 수 있다.
예를 들어, 상기 복수 개의 카메라에서의 어느 한 카메라에 대응되는 변환 행렬은 H이고, 상기 카메라가 획득한 어느 한 타깃 대상의 제2 좌표는 P_u이며, 상기 타깃 대상이 상기 카메라에 대응되는 제1 좌표는 공식(2)를 사용하여 결정할 수 있다.
Figure 112022007834358-pct00008
(2)
일 가능한 구현 방식에 있어서, 상기 방법은, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계를 더 포함한다.
상기 구현 방식에 있어서, 상기 복수 개의 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 복수 개의 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정할 수 있다. 상기 구현 방식에 있어서, 어느 한 카메라가 어느 한 서브 영역에 대한 신뢰도는 상기 카메라와 상기 서브 영역 간의 거리와 음의 관련이 있다. 즉, 상기 카메라와 상기 서브 영역 간의 거리가 클수록, 상기 카메라가 상기 서브 영역에 대한 신뢰도 낮고; 상기 카메라와 상기 서브 영역 간의 거리가 작을수록, 상기 카메라가 상기 서브 영역에 대한 신뢰도는 높다. 예를 들어, 카메라(C1)와 서브 영역(A1) 간의 거리가, 카메라(C2)와 서브 영역(A1) 간의 거리보다 작을 경우, 카메라(C1)가 서브 영역(A1)에 대한 신뢰도(Z11)는, 카메라(C2)가 서브 영역(A1)에 대한 신뢰도(Z21)보다 클 수 있다. 또 예를 들어, 카메라(C1)와 서브 영역(A1) 간의 거리가, 카메라(C1)와 서브 영역(A2) 간의 거리보다 작을 경우, 카메라(C1)가 서브 영역(A1)에 대한 신뢰도(Z11)는, 카메라(C1)가 서브 영역(A2)에 대한 신뢰도(Z12)보다 클 수 있다.
상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 어느 한 서브 영역 간의 거리가 작을수록, 상기 카메라가 촬영한 상기 서브 영역의 비디오 프레임이 선명함으로써, 비디오 프레임에서의 정보를 정확하게 식별하는데 유리하다. 반대로, 상기 카메라와 어느 한 서브 영역 간의 거리가 클수록, 상기 카메라가 촬영한 상기 서브 영역의 비디오 프레임이 선명하지 않음으로써, 비디오 프레임에서의 정보를 정확하게 식별하는데 불리하다. 따라서, 상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하고, 이로써 카메라와 서브 영역 간의 거리를 카메라가 서브 영역에 대한 신뢰도를 고려하는 요소로 사용한다. 이로써 결정된 신뢰도에 기반하여 좌표 융합 및/또는 타깃 대상의 현재 특징을 추출하는 카메라를 결정함으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.
일 가능한 구현 방식에 있어서, 상기 복수 개의 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계 이후, 상기 방법은, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정하는 단계를 더 포함한다.
상기 구현 방식의 일 예로서, 타깃 추적 과정에서, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 계속하여 조정할 수 있다. 예를 들어, 미리 설정된 주파수로 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정할 수 있다. 예를 들어, 미리 설정된 주파수는 1초일 수 있다.
본 발명의 실시예에 있어서, 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 대해 가중 처리한 다음, 가중 처리 이후의 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합한다.
상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 모든 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정한다. 예를 들어, 상기 복수 개의 카메라는 카메라(C1), 카메라(C2), 카메라(C3) 및 카메라(C4)를 포함하고, 카메라(C1)가 수집한 비디오 프레임에서 타깃 대상 간의 평균거리는 D1이고, 카메라(C2)가 수집한 비디오 프레임에서 타깃 대상 간의 평균거리는 D2이고, 카메라(C3)가 수집한 비디오 프레임에서 타깃 대상 간의 평균거리는 D3이며, 카메라(C4)가 수집한 비디오 프레임에서 타깃 대상 간의 평균거리는 D4이며,
Figure 112022007834358-pct00009
이고, 카메라(C1)가 상기 복수 개의 서브 영역에서의 각 서브 영역에 대한 신뢰도를 B1 증가하고, 카메라(C2)가 상기 복수 개의 서브 영역에서의 각 서브 영역에 대한 신뢰도를 B2 증가하며, 카메라(C3)가 상기 복수 개의 서브 영역에서의 각 서브 영역에 대한 신뢰도를 B3 증가하며, 카메라(C4)가 상기 복수 개의 서브 영역에서의 각 서브 영역에 대한 신뢰도는 변하지 않도록 유지할 수 있으며, 여기서,
Figure 112022007834358-pct00010
이고, 예를 들어,
Figure 112022007834358-pct00011
일 수 있다.
상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리가 작을수록, 상기 카메라가 수집한 비디오 프레임에서의 타깃 대상 간의 상호 가림의 가능성이 높아짐으로써, 타깃 대상에 대해 특징 추출하는 것이 불리함으로써, 타깃 추적에 불리하다. 반대로, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리가 클수록, 상기 카메라가 수집한 비디오 프레임에서의 타깃 대상 간의 상호 가림의 가능성이 낮아짐으로써, 타깃 대상에 대해 특징 추출하는 것이 유리함으로써, 타깃 추적에 유리하다. 상기 구현 방식에 있어서, 상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 동적으로 조정하고, 결정된 신뢰도에 기반하여 좌표 융합 및/또는 타깃 대상의 현재 특징을 추출하는 카메라를 결정함으로써, 타깃 추적의 정확성을 향상시키는데 도움이 된다.
일 가능한 구현 방식에 있어서, 상기 방법은, 어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 다른 타깃 대상과 충돌하지 않는 경우에 응답하여, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않고, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하는 단계; 또는, 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우에 응답하여, 상기 타깃 대상이 상기 이전 시각에 속한 충돌 영역에서, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하는 단계; 및 상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 상기 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하는 단계를 더 포함한다.
예를 들어, 특정된 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 모두 다른 타깃 대상과 충돌하지 않고, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않은 타깃 대상이 15개가 존재하는 경우, 각각 타깃 대상은 (O1 내지 O15)이다. 이전 시각에서의 타깃 대상(O1 및 O2)가 현재 시각에서의 다른 타깃 대상과 매칭된 경우, 즉, 식별자 정보(O1 및 O2)가 현재 시각에서의 타깃 대상의 식별자 정보로 사용된 경우, 타깃 대상(O3 내지 O15)을 이전 시각에서 남은 타깃 대상으로 결정한다. 이전 시각에서 남은 타깃 대상이 타깃 대상(O3 내지 O15)으로 결정된 이후, 이전 시각에서 남은 타깃 대상(O3 내지 O15)으로부터, 현재 시각에서의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 현재 시각에서의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정한다. 예를 들어, 이전 시각에서 남은 타깃 대상(O3 내지 O15)에서, O6과 현재 시각에서의 상기 타깃 대상의 거리가 가장 가까울 경우, 이전 시각에서의 타깃 대상(O6)을 현재 시각에서의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 현재 시각에서의 상기 타깃 대상의 식별자 정보를 O6으로 결정한다.
또 예를 들어, 특정된 타깃 대상이 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌할 경우, 예를 들어, 상기 타깃 대상이 상기 이전 시각에서 속한 충돌 영역은 타깃 대상(O1), 타깃 대상(O2), 타깃 대상(O3) 및 타깃 대상(O4)을 포함한다. 상기 타깃 대상이 이전 시각에서 속한 충돌 영역에서, 타깃 대상(O1) 및 타깃 대상(O2)이 현재 시각에서의 다른 타깃 대상과 매칭된 경우, 즉, 식별자 정보(O1) 및 (O2)가 현재 시각에서의 타깃 대상의 식별자 정보로 사용된 경우, 타깃 대상(O3) 및 타깃 대상(O4)을 이전 시각에서 남은 타깃 대상으로 결정할 수 있다. 이전 시각에서 남은 타깃 대상이 타깃 대상(O3 및 O4)으로 결정된 이후, 이전 시각에서 남은 타깃 대상(O3 및 O4)으로부터, 현재 시각에서의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 현재 시각에서의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정한다. 예를 들어, 이전 시각에서 남은 타깃 대상(O3 및 O4)에서, O4와 현재 시각에서의 상기 타깃 대상의 거리가 가장 가까울 경우, 이전 시각에서의 타깃 대상(O4)을 현재 시각에서의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 현재 시각에서의 상기 타깃 대상의 식별자 정보를 O4로 결정한다.
상기 구현 방식에 있어서, 어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 모두 다른 타깃 대상과 충돌 하지 않고 또는 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우, 상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 상기 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하고, 이로써 거리에 기반한 탐욕 알고리즘을 사용하여 상기 타깃 대상의 식별자 정보를 결정하고, 상기 타깃 대상의 비전 특징을 고려하지 않음으로써, 계산량을 줄이고, 시간 오버헤드를 줄이며, 타깃 추적의 실시간 요구 사항을 만족할 수 있다.
일 가능한 구현 방식에 있어서, 본 발명의 실시예에서 제공한 타깃 추적 방법은 타깃 추적 모델을 사용하여 구현될 수 있다. 예를 들어, 상기 타깃 추적 모델은 더욱 빠른 반복 컨볼루션 신경망(Faster Recurrent Convolutional Neural Network, Faster-RCNN) 또는 빠른 반복 컨볼루션 신경망(Faster Recurrent Convolutional Neural Network, Fast-RCNN)등일 수 있다. 상기 타깃 추적 모델의 백본 네트워크는 ResNet-18등 구조를 사용할 수 있다. 상기 타깃 추적 모델의 처리 속도를 향상시키기 위해, 채널 가지치기 방법을 통해 상기 타깃 추적 모델에 대해 모델 압축하고, 이와 동시에, 다중 층 특징 검출 방법을 사용하여 모델의 정밀도를 향상시켜, 이로써 모델의 정밀도를 저하시키지 않는 동시에, 모델의 속도를 향상시킨다.
일 가능한 구현 방식에 있어서, 상기 방법은 또한 타깃 대상의 식별자 정보와 좌표 간의 대응관계를 수출하는 단계를 포함할 수 있다. 일 예에 있어서, 식별자 정보의 순서에 따라, 식별자 정보와 좌표 간의 대응관계를 수출할 수 있다. 예를 들어, 식별자 정보는 유니폼 등번호 1 내지 11을 포함하고, 유니폼 등번호가 작은 것으로부터 큰 순서에 따라, 대응되는 타깃 대상의 좌표를 출력할 수 있다.
일 가능한 구현 방식에 있어서, 타깃 대상이 복수 개의 시각(예를 들어 복수 개의 연속적인 시각)에서의 좌표에 따라, 타깃 대상의 운동 궤적을 얻을 수 있다. 일 예에 있어서, 또한 칼만 필터 알고리즘을 사용하여 타깃 대상의 운동궤적에 대해 처리하여, 타깃 대상의 운동 궤적으로 하여금 더욱 스무딩하도록 한다.
이해할 수 있는 것은, 본 발명에서 언급된 상기 각 방법 실시예는, 원리 논리를 벗어나지 않는 조건 하에, 모두 서로 결합되어 결합후의 실시예를 구성할 수 있고, 편폭의 제한으로, 본 발명에서는 더 이상 설명하지 않는다.
본 분야의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.
또한, 본 발명은 타깃 추적 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 프로그램을 더 제공하며, 상기 모두는 본 발명에서 제공되는 타깃 추적 방법 중 어느 하나를 구현하도록 사용되며, 해당 기술방안 및 설명은 방법 부분의 해당 내용을 참조하며, 더 이상 설명하지 않는다.
도 6은 본 발명 실시예에서 제공한 타깃 추적 장치의 블록도이다. 도 6에 도시된 바와 같이, 상기 타깃 추적 장치는,
추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하도록 구성된 제1 결정부(61);
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하도록 구성된 추출부(62);
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하도록 구성된 제2 결정부(63) - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및
상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하도록 구성된 제3 결정부(64)를 포함한다.
일 가능한 구현 방식에 있어서, 서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 적어도 하나의 타깃 대상 간의 거리는 거리 임계값보다 작거나 같으며;
상기 추출부(62)는 또한,
상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 타깃 대상 간의 거리가 모두 상기 거리 임계값보다 큰 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하도록 구성된다.
일 가능한 구현 방식에 있어서, 상기 장치는,
어느 한 타깃 대상에 대해, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표를 결정하도록 구성된 제3 결정부(64) - 상기 타깃 대상이 어느 한 카메라에 대응되는 제1 좌표는 상기 카메라가 수집한 이미지에 따라 얻은 상기 타깃 대상의 제1 좌표를 나타내기 위한 것임 - ;
상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하도록 구성된 제4 결정부 - 상기 추적 영역은 복수 개의 서브 영역을 포함함 - ;
상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합을 수행하여, 상기 타깃 대상의 융합 좌표를 얻도록 구성된 융합부; 및
상기 추적 영역에서 타깃 대상의 융합 좌표에 따라, 상기 추적 영역에서 타깃 대상 간의 거리를 결정하도록 구성된 제5 결정부를 더 포함한다.
일 가능한 구현 방식에 있어서, 상기 추출부(62)는,
상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하고;
복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하며;
상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하도록 구성된다.
일 가능한 구현 방식에 있어서, 상기 추출부(62)는,
복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하도록 구성된다.
일 가능한 구현 방식에 있어서, 상기 중첩 정보는, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU를 포함하고;
상기 추출부(62)는 또한,
중첩 조건을 만족하는 카메라로부터, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하도록 구성 - 상기 중첩 조건은 상기 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 것을 표시함 - 된다.
일 가능한 구현 방식에 있어서, 상기 장치는,
상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하도록 구성된 제6 결정부를 더 포함한다.
일 가능한 구현 방식에 있어서, 상기 장치는,
상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정하도록 구성된 조정부를 더 포함한다.
일 가능한 구현 방식에 있어서, 상기 제2 결정부(63)는,
상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하고;
상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하도록 구성된다.
일 가능한 구현 방식에 있어서, 상기 장치는,
상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하도록 구성된 제7 결정부를 더 포함한다.
일 가능한 구현 방식에 있어서, 상기 장치는,
어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 다른 타깃 대상과 충돌하지 않는 경우에 응답하여, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않고, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하고; 또는, 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우에 응답하여, 상기 타깃 대상이 상기 이전 시각에 속한 충돌 영역에서, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하도록 구성된 제8 결정부; 및
상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 상기 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하도록 구성된 제9 결정부를 더 포함한다.
본 발명의 실시예 및 기타 실시예에 있어서, “부분”은 부분 회로, 부분 프로세서, 부분 프로그램 또는 소프트웨어 등일 수 있으며, 물론 유닛일 수도 있고, 모듈 방식 또는 비모듈 방식일수도 있다는 것이다.
본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다.
일부 실시예에 있어서, 본 발명의 실시예에서 제공되는 장치에 포함된 기능 또는 모듈은 상기 방법 실시예에 설명한 방법을 실행하는데 사용될 수 있고, 구현은 상기 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해 여기서 더이상 설명하지 않는다.
본 발명 실시예는 또한 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 때 상기 방법을 구현한다. 여기서, 상기 컴퓨터 판독 가능한 저장 매체는 비휘발성 컴퓨터 판독 가능한 저장 매체 또는 휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.
본 발명의 실시예는 또한 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하고, 컴퓨터 판독 가능한 코드가 기기에서 작동될 경우, 기기에서의 프로세서는 전술한 어느 한 실시예에서 제공한 타깃 추적 방법을 구현하기 위한 명령어를 실행한다.
본 발명의 실시예는 또한 컴퓨터 판독 가능한 명령어를 저장하기 위한 다른 컴퓨터 프로그램 제품을 제공하고, 명령어가 실행될 경우 컴퓨터가 전술한 어느 한 실시예에서 제공한 타깃 추적 방법의 동작을 실행하도록 한다.
본 발명의 실시예는 또한 전자 기기를 제공하고, 상기 전자 기기는, 하나 또는 복수 개의 프로세서; 및 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 하나 또는 복수 개의 프로세서는 상기 메모리가 저장한 실행 가능한 명령어를 호출하여, 상기 타깃 추적 방법을 실행한다.
전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.
도 7은 본 발명의 실시예에 제공한 전자 기기(800)의 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대용 단말 등 단말일 수 있다.
도 7를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.
처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체적인 동작을 제어한다. 처리 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 실행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위한 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 인터랙션을 용이하게 하기 위한 멀티미디어 모듈을 포함할 수 있다.
메모리(804)는 전자 기기(800)의 동작을 지원하기 위해 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(800)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 읽기 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 읽기 전용 메모리(Programmable Read Only Memory, PROM), 읽기 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터 오는 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 수 있을 뿐만 아니라, 상기 터치나 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수도 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 전방 카메라 및 후방 카메라는 각각 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 가질 수 있다.
오디오 컴포넌트(810)는 오디오 신호를 출력하는 것 및 입력하는 것 중 적어도 하나를 수행하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 전자 기기(800)가 통화 모드, 녹음 모드 및 음성 인식과 같은 동작 모드에 있을 때 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)에 의해 전송될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 스피커를 더 포함한다.
I/ O 인터페이스(812)는 처리 컴포넌트(802) 및 외부 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)에 대해 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 상기 컴포넌트가 전자 기기(800)에 대한 디스플레이 및 키패드와 같은 컴포넌트의 상대적 위치를 검출할 수 있으며, 센서 컴포넌트(814)는 또한, 전자 기기(800) 또는 전자 기기(800)의 하나의 컴포넌트의 위치 변화, 사용자가 전자 기기(800)와의 접촉의 존재 또는 컴포넌트, 전자 기기(800) 방향 또는 가속/감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 그 어떤 물리적 접촉이 없이 근처의 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 또한 이미징 응용에 사용하기 위한, CMOS 또는 CCD 이미지 센서와 같은 광 센서를 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 WiFi, 2G, 3G, 4G/LTE, 5G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 일 예시적 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 컴포넌트(816)는근거리 통신을 촉진하는 근거리 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(RFID) 기술, 적외선 통신 규격(IrDA) 기술, 초광대역 (UWB) 기술, 블루투스(BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.
예시적 실시예에 있어서, 전자 기기(800)는 하나 또는 복수 개의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(DSPD), 프로그래머블 논리 장치(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 전자 기기(800)는 상기 이미지 클러스터링 방법을 실행하기 위한 것이다.
예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(800)의 프로세서(820)에 의해 실행된다.
도 8은 본 발명의 실시예에 제공한 전자 기기(1900)의 블록도이다. 예를 들어, 전자 기기(1900)는 하나의 서버로 제공될 수 있다. 도 8을 참조하면, 전자 기기(1900)는 하나 또는 복수 개의 프로세서를 더 포함하는 처리 컴포넌트(1922), 및 처리 컴포넌트(1922)에 의해 실행되는 명령어를 저장하기 위한 메모리(1932)로 대표되는 메모리 자원을 포함한다. 메모리(1932)에 저장된 애플리케이션은 하나 또는 하나 이상의 한 세트의 명령어에 각각 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 상기 방법을 실행하기 위해 명령어를 실행하도록 구성된다.
전자 기기(1900)는 전자 기기(1900)의 전원 관리를 실행하도록 구성된 하나의 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 입력 출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는 메모리(1932)에 저장된 Windows Server®, Mac OS X®, Unix®, Linux®, FreeBSD® 또는 유사한 운영체제를 실행시킬 수 있다.
예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행된다.
본 발명은 시스템, 방법 및 컴퓨터 프로그램 제품 중 적어도 하나일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능한 저장 매체는 프로세서가 본 발명의 각 측면을 구현하도록 하는 컴퓨터 판독 가능한 프로그램 명령어를 포함한다.
컴퓨터 판독 가능한 저장 매체는 명령어 실행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 형태가 존재하는 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 상기 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(수없이 많은 리스트)는, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 컴팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD), 메모리 스틱, 플로피 디스크, 명령어가 저장된 펀치 카드 또는 그루브의 융기 구조와 같은 기계적으로 인코딩된 기기, 및 상기 임의의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능한 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통한 광펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간 신호 자체로 해석되지 않아야 한다.
여기서 설명된 컴퓨터 판독 가능한 프로그램 명령어는 컴퓨터 판독 가능한 저장 매체로부터 각 컴퓨팅/처리 기기로 다운 로드될 수 있거나, 인터넷, 근거리 통신망, 광역 통신망 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운 로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함 할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능한 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능한 저장 매체에 저장하기 위해, 컴퓨터 판독 가능한 프로그램 명령어를 전달한다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(Instruction Set Architecture, ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있고, 상기 프로그래밍 언어에는 스몰 토크, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능한 프로그램 명령어는 사용자 컴퓨터에서 완전히 또는 부분적으로 실행될수 있고, 독립형 소프트웨어 패키지로 실행되며, 부분적으로 사용자 컴퓨터에서, 부분적으로 원격 컴퓨터에서 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터와 관련된 시나리오에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광대역 통신망(WAN)을 포함한 모든 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결(예를 들어, 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결됨)될 수 있다. 일부 실시예에 있어서, 프로그램 가능한 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그램 가능한 논리 어레이 (PLA)와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 실행할 수 있음으로써, 본 발명의 다양한 측면을 구현한다.
여기서, 본 발명의 각 측면은 본 발명 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 설명된다. 이해해야 할 것은, 흐름도 및 블록도 중 적어도 하나의 각 블록 및 흐름도 및 블록도 중 적어도 하나의 블록들의 조합은, 컴퓨터 판독 가능 프로그램 명령어에 의해 모두 구현될 수 있다.
이러한 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서에 제공됨으로써, 기계를 생성하며, 이러한 명령어가 컴퓨터나 다른 프로그래머블 데이터 처리 장치의 프로세서를 통해 실행될 때, 흐름도 및 블록도 중 하나 또는 복수 개의 블록에서 규정한 기능/동작을 구현하기 위한 장치를 생성한다. 이러한 컴퓨터 판독 가능한 프로그램 명령어를 컴퓨터 판독 가능한 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능한 데이터 처리 장치 및 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능한 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 명령어를 포함한다.
컴퓨터 판독 가능한 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에 로딩될 수 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 실행되는 명령어는 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.
도면의 흐름도 및 블록도는 본 발명의 복수 개의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 다른 순서로 발생될 수도 있다. 예를 들어, 두 개의 연속적인 블록은 실제로 병렬로 실행될 수 있으며, 때로는 관련 기능에 따라 역순으로 실행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및흐름도 중 적어도 하나의 각 블록, 블록도 및 흐름도 중 적어도 하나의 블록의 조합은, 규정된 기능 또는 동작을 실행하는 특수 목적의 하드웨어 기반 시스템에 의해 구현될 수 있으며, 또는 특수 목적 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.
상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합을 통해 구현될 수 있다. 하나의 선택적인 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되며, 다른 하나의 선택적인 예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.
이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 비철저하며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 한, 많은 수정 및 변경은 본 기술분야의 기술자에게는 자명한 것이다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 당업자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 의도된다.
본 발명의 실시예에 있어서, 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하고, 상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하고, 상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하며, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 것을 통해, 타깃 대상의 식별자 정보의 일관성을 유지할 수 있고, 즉, 동일한 타깃 대상이 충돌 영역을 출입할 경우의 식별자 정보의 일관성을 유지함으로써, 복수 개의 타깃 추적의 정확성을 향상시킬 수 있다.

Claims (25)

  1. 타깃 추적 방법으로서,
    추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계;
    상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계;
    상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및
    상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하는 단계를 포함하고,
    상기 타깃 대상의 현재 특징을 추출하는 단계는,
    상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계;
    복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계; 및
    상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
  2. 제1항에 있어서,
    서로 충돌 하는 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 적어도 하나의 타깃 대상 간의 거리는 거리 임계값보다 작거나 같으며;
    상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계는,
    상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상에 대해, 상기 타깃 대상과 상기 복수 개의 타깃 대상에서의 다른 타깃 대상 간의 거리가 모두 상기 거리 임계값보다 큰 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 타깃 추적 방법은,
    어느 한 타깃 대상에 대해, 상기 타깃 대상이 복수 개의 카메라에 대응되는 제1 좌표를 결정하는 단계 - 상기 타깃 대상이 어느 한 카메라에 대응되는 제1 좌표는 상기 카메라가 수집한 이미지에 따라 얻은 상기 타깃 대상의 제1 좌표를 나타내기 위한 것임 - ;
    상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 따라, 상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하는 단계 - 상기 추적 영역은 복수 개의 서브 영역을 포함함 - ; 및
    상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상이 상기 복수 개의 카메라에 대응되는 제1 좌표에 대해 융합을 수행하여, 상기 타깃 대상의 융합 좌표를 얻는 단계를 더 포함하고,
    상기 추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하는 단계 이전, 상기 타깃 추적 방법은,
    상기 추적 영역에서 타깃 대상의 융합 좌표에 따라, 상기 추적 영역에서 타깃 대상 간의 거리를 결정하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.
  4. 삭제
  5. 제1항에 있어서,
    복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는,
    복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
  6. 제5항에 있어서,
    상기 중첩 정보는, 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU(Intersection over Union)를 포함하고;
    상기 복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도, 및 상기 복수 개의 카메라가 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임 간의 중첩 정보에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하는 단계는,
    중첩 조건을 만족하는 카메라로부터, 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도가 가장 높은 카메라를 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라로 결정하는 단계 - 상기 중첩 조건은 현재 수집한 비디오 프레임에서 상기 타깃 대상의 검출 프레임과 다른 타깃 대상의 검출 프레임의 IOU가 모두 기설정된 임계값보다 작은 것을 표시함 - 를 포함하는 것을 특징으로 하는 타깃 추적 방법.
  7. 제3항에 있어서,
    상기 타깃 추적 방법은,
    상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라와 상기 추적 영역의 복수 개의 서브 영역 간의 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.
  8. 제7항에 있어서,
    상기 복수 개의 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 결정하는 단계 이후, 상기 타깃 추적 방법은,
    상기 복수 개의 카메라에서의 어느 한 카메라에 대해, 상기 카메라가 수집한 비디오 프레임에서 타깃 대상 간의 평균 거리에 따라, 상기 카메라가 상기 복수 개의 서브 영역에 대한 신뢰도를 조정하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.
  9. 제1항 또는 제2항에 있어서,
    상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계는,
    상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징으로부터, 상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계; 및
    상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 크거나 같은 경우에 응답하여, 상기 유사도가 가장 높은 기준 특징을 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징으로 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
  10. 제9항에 있어서,
    상기 타깃 대상의 현재 특징과 유사도가 가장 높은 기준 특징을 결정하는 단계 이후, 상기 타깃 추적 방법은,
    상기 유사도가 가장 높은 기준 특징과 상기 타깃 대상의 현재 특징 간의 유사도가 유사도 임계값보다 작거나 같은 경우에 응답하여, 상기 타깃 대상과 충돌하지 않고, 어느 한 다른 타깃 대상과 충돌하는 타깃 대상에 대응되는 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.
  11. 제1항 또는 제2항에 있어서,
    상기 타깃 추적 방법은,
    어느 한 타깃 대상에 대해, 상기 타깃 대상이 현재 시각 및 상기 현재 시각의 이전 시각에서 다른 타깃 대상과 충돌하지 않는 경우에 응답하여, 상기 이전 시각에서 다른 타깃 대상과 충돌하지 않고, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하며, 또는 상기 타깃 대상이 상기 현재 시각 및 상기 이전 시각에서 동일한 다른 타깃 대상과 충돌하는 경우에 응답하여, 상기 타깃 대상이 상기 이전 시각에 속한 충돌 영역에서, 상기 현재 시각의 다른 타깃 대상과 매칭되지 않은 타깃 대상을, 상기 이전 시각에서의 남은 타깃 대상으로 결정하는 단계; 및
    상기 이전 시각에서의 남은 타깃 대상으로부터, 상기 현재 시각의 상기 타깃 대상과 거리가 가장 가까운 타깃 대상을, 상기 현재 시각의 상기 타깃 대상과 매칭되는 타깃 대상으로 결정하고, 매칭된 타깃 대상의 식별자 정보를 상기 타깃 대상의 식별자 정보로 사용하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.
  12. 타깃 추적 장치로서,
    추적 영역에서 타깃 대상 간의 거리에 따라, 서로 충돌하는 복수 개의 타깃 대상을 결정하도록 구성된 제1 결정부;
    상기 복수 개의 타깃 대상에서의 어느 한 타깃 대상과 복수 개의 타깃 대상에서의 다른 타깃 대상이 더 이상 충돌하지 않는 경우에 응답하여, 상기 타깃 대상의 현재 특징을 추출하도록 구성된 추출부;
    상기 복수 개의 타깃 대상에 대응되는 복수 개의 기준 특징에 기반하여, 상기 타깃 대상의 현재 특징과 매칭되는 기준 특징을 결정하도록 구성된 제2 결정부 - 상기 복수 개의 기준 특징은 상기 복수 개의 타깃 대상이 서로 충돌하기 이전, 각각 상기 복수 개의 타깃 대상에 대해 추출한 특징임 - ; 및
    상기 타깃 대상의 현재 특징과 매칭되는 기준 특징에 대응되는 식별자 정보를, 상기 타깃 대상의 식별자 정보로 결정하도록 구성된 제3 결정부를 포함하고,
    상기 추출부는 또한,
    상기 타깃 대상이 상기 추적 영역에서 위치한 서브 영역을 결정하고;
    복수 개의 카메라가 상기 타깃 대상이 위치한 서브 영역에 대한 신뢰도에 따라, 상기 타깃 대상의 현재 특징을 추출하기 위한 카메라를 결정하며;
    상기 타깃 대상의 현재 특징을 추출하기 위한 카메라가 수집한 비디오 프레임에 따라, 상기 타깃 대상의 현재 특징을 추출하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.
  13. 전자 기기로서,
    하나 또는 복수 개의 프로세서; 및
    실행가능한 명령어를 저장하기 위한 메모리를 포함하고,
    상기 하나 또는 복수 개의 프로세서는, 상기 메모리에 저장된 실행 가능한 명령어를 호출하여, 제1항 또는 제2항에 따른 타깃 추적 방법을 실행하도록 구성된 것을 특징으로 하는 전자 기기.
  14. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램 명령어가 저장되어 있고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 제1항 또는 제2항에 따른 타깃 추적 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
  15. 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램으로서,
    컴퓨터 판독 가능 코드를 포함하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 실행될 경우 제1항 또는 제2항에 따른 타깃 추적 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
KR1020227002278A 2020-11-11 2021-04-08 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체 KR102446688B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011256801.6A CN112330717B (zh) 2020-11-11 2020-11-11 目标跟踪方法及装置、电子设备和存储介质
CN202011256801.6 2020-11-11
PCT/CN2021/086020 WO2022099988A1 (zh) 2020-11-11 2021-04-08 目标跟踪方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
KR20220066245A KR20220066245A (ko) 2022-05-24
KR102446688B1 true KR102446688B1 (ko) 2022-09-23

Family

ID=74318993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227002278A KR102446688B1 (ko) 2020-11-11 2021-04-08 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체

Country Status (4)

Country Link
JP (1) JP2022552772A (ko)
KR (1) KR102446688B1 (ko)
CN (1) CN112330717B (ko)
WO (1) WO2022099988A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330717B (zh) * 2020-11-11 2023-03-10 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
CN113129339B (zh) * 2021-04-28 2023-03-10 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406334B1 (ko) 2013-04-18 2014-06-19 전북대학교산학협력단 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
KR101868103B1 (ko) * 2017-07-12 2018-06-18 군산대학교 산학협력단 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342762A (ja) * 2001-05-22 2002-11-29 Matsushita Electric Ind Co Ltd 物体追跡方法
KR101355974B1 (ko) * 2010-08-24 2014-01-29 한국전자통신연구원 복수의 객체를 추적하는 객체 추적 방법 및 장치
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
JP6439757B2 (ja) * 2016-07-08 2018-12-19 オムロン株式会社 画像処理装置および画像処理方法
CN107831490A (zh) * 2017-12-01 2018-03-23 南京理工大学 一种改进的多扩展目标跟踪方法
CN110827325B (zh) * 2019-11-13 2022-08-09 阿波罗智联(北京)科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN111275737B (zh) * 2020-01-14 2023-09-12 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111369590A (zh) * 2020-02-27 2020-07-03 北京三快在线科技有限公司 多目标跟踪方法、装置、存储介质及电子设备
CN111860373B (zh) * 2020-07-24 2022-05-20 浙江商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质
CN112330717B (zh) * 2020-11-11 2023-03-10 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406334B1 (ko) 2013-04-18 2014-06-19 전북대학교산학협력단 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
KR101868103B1 (ko) * 2017-07-12 2018-06-18 군산대학교 산학협력단 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이진형 등, 정보융합을 이용한 객체 추적, 한국지능시스템학회 논문지 18권 5호(2008.)*

Also Published As

Publication number Publication date
CN112330717A (zh) 2021-02-05
JP2022552772A (ja) 2022-12-20
KR20220066245A (ko) 2022-05-24
WO2022099988A1 (zh) 2022-05-19
CN112330717B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
TWI766286B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
CN108629354B (zh) 目标检测方法及装置
CN107492115B (zh) 目标对象的检测方法及装置
US11288531B2 (en) Image processing method and apparatus, electronic device, and storage medium
CN111104920B (zh) 视频处理方法及装置、电子设备和存储介质
CN110969115B (zh) 行人事件的检测方法及装置、电子设备和存储介质
KR102446688B1 (ko) 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
JP2022522551A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
JP2016541214A (ja) ビデオのブラウジング方法、その装置、プログラム及び記録媒体
TW202044065A (zh) 影片處理方法及裝置、電子設備和儲存介質
KR102367648B1 (ko) 전 방향 시차 영상 합성 방법, 장치 및 저장 매체
KR20220027202A (ko) 객체 검출 방법 및 장치, 전자 기기 및 저장매체
CN109344703B (zh) 对象检测方法及装置、电子设备和存储介质
CN112906484A (zh) 一种视频帧处理方法及装置、电子设备和存储介质
CN111680646B (zh) 动作检测方法及装置、电子设备和存储介质
CN112131957A (zh) 文档类型图片的识别方法、装置及存储介质
WO2023155350A1 (zh) 一种人群定位方法及装置、电子设备和存储介质
CN116206363A (zh) 行为识别方法、装置、设备、存储介质及程序产品
CN111832338A (zh) 对象检测方法及装置、电子设备和存储介质
CN114863392A (zh) 车道线检测方法、装置、车辆及存储介质
CN112330721B (zh) 三维坐标的恢复方法及装置、电子设备和存储介质
CN115147449A (zh) 一种多目标跟踪方法、电子设备、存储介质及产品
CN112949568A (zh) 人脸和人体匹配的方法及装置、电子设备和存储介质
CN114550085A (zh) 一种人群定位方法及装置、电子设备和存储介质
CN114638817A (zh) 一种图像分割方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right