KR20220110320A - 오브젝트 추적 방법, 오브젝트 추적 장치, 전자 기기 및 컴퓨터 판독가능 저장 매체 - Google Patents

오브젝트 추적 방법, 오브젝트 추적 장치, 전자 기기 및 컴퓨터 판독가능 저장 매체 Download PDF

Info

Publication number
KR20220110320A
KR20220110320A KR1020227025087A KR20227025087A KR20220110320A KR 20220110320 A KR20220110320 A KR 20220110320A KR 1020227025087 A KR1020227025087 A KR 1020227025087A KR 20227025087 A KR20227025087 A KR 20227025087A KR 20220110320 A KR20220110320 A KR 20220110320A
Authority
KR
South Korea
Prior art keywords
frame image
current frame
block
object tracking
object detection
Prior art date
Application number
KR1020227025087A
Other languages
English (en)
Inventor
시앙보 수
위첸 위안
하오 순
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20220110320A publication Critical patent/KR20220110320A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 오브젝트 추적 방법, 오브젝트 추적 장치, 전자 기기 및 컴퓨터 판독가능 저장 매체를 개시하며, 컴퓨터 비전 기술 분야에 관한 것이다. 구체적인 방안은: 현재 프레임 이미지에 대해 오브젝트 검측을 진행하여, 오브젝트 검측 블록의 제1 정보를 얻으며, 해당 제1 정보는 제1 위치와 제1 사이즈를 표시하며(단계 101); 칼만 필터를 이용하여 오브젝트 추적을 진행하여,현재 프레임 이미지 중의 오브젝트 추적 블록의 제2 정보를 얻으며, 해당 제2 정보는 제2 위치와 제2 사이즈를 표시하기 위한 것이며(단계 102); 칼만 필터 중의 예측 오차 공분산 행렬에 대해 오차허용 수정을 진행하여, 수정 후의 공분산 행렬을 얻으며(단계 103); 제1 정보, 제2 정보 및 수정 후의 공분산 행렬에 기초하여, 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하며(단계 104); 및 해당 마할라노비스 거리에 기초하여, 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하는 것(단계 105)이다.

Description

오브젝트 추적 방법, 오브젝트 추적 장치, 전자 기기 및 컴퓨터 판독가능 저장 매체
본 개시는 인공 지능 분야에 관한 것으로, 특히 컴퓨터 비전 기술 분야에 관한 것이다.
본 출원은 2020년 5월 22일 중국 특허청에 제출한, 출원번호 제202010443892.8호의 우선권을 주장하며, 그 전체 내용을 참조로서 본 출원에 원용한다.
관련 기술에서, 실시간 비디오 스트리밍 중의 오브젝트 추적에 있어서, 먼저 검측기를 이용하여 현재 프레임 이미지에서 모든 오브젝트 검측 블록을 추출하고, 그 후 모든 오브젝트 검측 블록을 기존의 궤적과 연관 매칭시켜 현재 프레임 이미지 하에서 오브젝트의 새로운 궤적을 얻을 수 있다. 그러나, 만약 오브젝트의 이동 상태가 급격히 변화하면, 예컨대 장시간 정지 후 갑자기 운동하거나, 이동 과정 중 갑자기 정지하거나, 이동 속도가 현저히 변화하는 등 경우가 발생하면, 오브젝트의 검측 블록과 기존의 궤적 위치가 성공적으로 매칭되지 못하는 것을 초래하며, 이는 추적 실효로 이어진다.
본 개시의 실시예는 현재 추적 오브젝트의 운동 상태가 급격히 변화할 때 쉽게 추적 실효를 초래하는 문제를 해결하기 위한 오브젝트 추적 방법, 오브젝트 추적 장치, 전자 기기 및 컴퓨터 판독가능 저장 매체를 제공한다.
상술한 기술문제를 해결하기 위하여, 본 개시는 다음과 같이 구현된다:
제1 측면에 있어서, 본 개시의 실시예는 오브젝트 추적 방법을 제공하며,
현재 프레임 이미지에 대해 오브젝트 검측을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록의 제1 정보를 얻되, 상기 제1 정보는 제1 위치와 제1 사이즈를 표시하기 위한 것인 단계;
칼만 필터를 이용하여 오브젝트 추적을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 추적 블록의 제2 정보를 얻되, 상기 제2 정보는 제2 위치와 제2 사이즈를 표시하기 위한 것인 단계;
칼만 필터 중의 예측 오차 공분산 행렬에 대해 오차허용 수정을 진행하여, 수정 후의 공분산 행렬을 얻는 단계;
상기 제1 정보, 상기 제2 정보 및 상기 수정 후의 공분산 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하는 단계; 및
상기 마할라노비스 거리에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하는 단계; 를 포함한다.
따라서, 오차허용 수정 후의 예측 오차 공분산 행렬에 기초하여 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산할 수 있으며, 따라서 오브젝트 운동 상태가 급격히 변화하는 경우에도, 해당 마할라노비스 거리는 비교적 합리적인 범위에 유지되며, 따라서 해당 마할라노비스 거리에 기초하여 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행할 때, 오브젝트가 상이한 운동 상태 하에서 추적을 진행하는 강건성을 높일 수 있다.
제2 측면에 있어서, 본 개시의 실시예는 오브젝트 추적 장치를 제공하며,
현재 프레임 이미지에 대해 오브젝트 검측을 진행하여, 상기 현재 프레임 이미 중의 오브젝트 검측 블록의 제1 정보를 얻기 위한 것이되, 상기 제1 정보는 제1 위치와 제1 사이즈를 표시하기 위한 것인 검측 모듈;
칼만 필터를 이용하여 오브젝트 추적을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 추적 블록의 제2 정보를 얻기 위한 것이되, 상기 제2 정보는 제2 위치와 제2 사이즈를 표시하기 위한 것인 추적 모듈;
칼만 필터 중의 예측 오차 공분산 행렬에 대해 오차허용 수정을 진행하여, 수정 후의 공분산 행렬을 얻기 위한 수정 모듈;
상기 제1 정보, 상기 제2 정보 및 상기 수정 후의 공분산 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하기 위한 제1 계산 모듈; 및
상기 마할라노비스 거리에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하기 위한 매칭 모듈; 을 포함한다.
제3 측면에 있어서, 본 개시의 실시예는 전자 기기를 더 제공하며,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리; 를 포함하며,
상기 메모리에는 상기 적어도 하나의 프로세서의 의해 실행될 수 있는 명령이 저장되며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 상기 오브젝트 추적 방법을 실행할 수 있도록 한다.
제4 측면에 있어서, 본 개시의 실시예는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독가능 저장 매체를 더 제공하며, 상기 컴퓨터 명령은 컴퓨터로 하여금 상기 오브젝트 추적 방법을 실행하도록 하기 위한 것이다.
상술한 하나의 실시예는 다음과 같은 우점 또는 유익한 효과를 가진다: 오차허용 수정 후의 예측 오차 공분산 행렬에 기초하여 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산할 수 있으며, 따라서 오브젝트 운동 상태가 급격히 변화하는 경우에도, 해당 마할라노비스 거리는 비교적 합리적인 범위에 유지되며, 따라서 해당 마할라노비스 거리에 기초하여 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행할 때, 오브젝트가 상이한 운동 상태 하에서 추적을 진행하는 강건성을 높일 수 있다. 현재 프레임 이미지에 대해 오브젝트 검측을 진행하여, 오브젝트 검측 블록의 제1 정보를 얻으며, 해당 제1 정보는 제1 위치와 제1 사이즈를 표시하며; 칼만 필터를 이용하여 오브젝트 추적을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 추적 블록의 제2 정보를 얻으며, 상기 제2 정보는 제2 위치와 제2 사이즈를 표시하기 위한 것이며; 칼만 필터 중의 예측 오차 공분산 행렬에 대해 오차허용 수정을 진행하여, 수정 후의 공분산 행렬을 얻으며; 제1 정보, 제2 정보 및 수정 후의 공분산 행렬에 기초하여, 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하며; 및 해당 마할라노비스 거리에 기초하여, 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하는 기술수단을 이용하였기에, 현재 추적 오브젝트의 운동 상태가 급격히 변화할 때 쉽게 추적 실효를 초래하는 기술문제를 극복하였으며, 따라서 오브젝트가 상이한 운동 상태 하에서 추적을 진행하는 강건성을 높이는 기술효과에 도달한다.
상술한 선택가능한 방식이 갖는 기타 효과에 대해 아래에 구체적인 실시예를 결부시켜 설명하기로 한다.
도면은 본 개시를 보다 잘 이해하기 위한 것이며, 본 개시에 대한 한정을 구성하지 않는다.
도 1은 본 개시의 실시예의 오브젝트 추적 방법의 흐름도이다.
도 2는 본 개시의 구체적인 실시예 중의 오브젝트 추적 과정의 흐름도이다.
도 3은 본 개시의 실시예의 오브젝트 추적 방법을 구현하기 위한 추적 장치의 블록도이다.
도 4는 본 개시의 실시예의 오브젝트 추적 방법을 구현하기 위한 전자 기기의 블록도이다.
아래에 도면과 결부시켜 본 개시의 예시적 실시예를 설명하되, 여기에 이해를 돕기 위한 본 개시의 실시예의 다양한 세부사항들이 포함되지만, 이들은 단지 예시적인 것으로 이해해야 한다. 따라서, 본 기술분야의 통상의 기술자는 본 개시의 범위 및 정신을 벗어나지 않는 전제 하에 여기서 설명된 실시예에 대해 다양한 변형 및 수정을 진행할 수 있음을 이해해야 한다. 마찬가지로, 명확 및 간략을 위해, 아래의 설명에서 공지 기능 및 구조에 대한 설명을 생략한다.
본 개시의 명세서와 청구범위 중의 “제1”,“제2” 등 용어는 유사한 객체를 구별하는데 사용되며 반드시 특정 순서 또는 선차적인 순서를 설명하는데 사용 될 필요는 없다. 이에 따라 사용되는 데이터는 적절한 경우, 여기서 설명된 본 개시의 실시예들이 여기서 도시되거나 또는 설명된 이외의 순서로 수행될 수 있도록, 상호 교환될 수 있다는 것을 이해하여야 한다. 또한, 용어 “포함하다”, “가지다” 및 그들의 어떠한 변형도, 배타적 포함을 포괄하는데 의도가 있으며, 예컨대, 일련의 단계 또는 유닛을 포함하는 과정, 방법, 시스템, 제품 또는 기기는 명시적으로 열거된 단계 또는 유닛에만 제한될 것이 아니라, 명시적으로 열거되지 않은 또는 과정, 방법, 시스템, 제품 또는 기기에 고유한 기타 단계 또는 유닛을 포함할 수도 있다.
도 1을 참조하면, 도 1은 본 개시의 실시예가 제공하는 오브젝트 추적 방법의 흐름도이며, 해당 방법은 전자 기기에 적용되며, 도 1에 도시된 바와 같이, 해당 방법은 이하 단계를 포함한다:
단계 101: 현재 프레임 이미지에 대해 오브젝트 검측을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록의 제1 정보를 얻는다.
해당 실시예에서, 해당 제1 정보는 제1 위치와 제1 사이즈를 표시하기 위한 것이며, 즉 대응하는 오브젝트 검측 블록이 포함하는 오브젝트의 위치 정보(예컨대, 좌표 정보)와 사이즈 정보를 표시한다. 예컨대, 해당 제1 정보는 (x, y, w, h)로 표시할 수 있으며, 여기서 x는 오브젝트 검측 블록 좌측 상단의 가로 좌표를 표시하고, y는 오브젝트 검측 블록 좌측 상단의 세로 좌표를 표시하며, w는 오브젝트 검측 블록의 너비를 표시하며, h는 오브젝트 검측 블록의 높이를 표시하며; 진일보하여, 해당 x, y, w와 h는 모두 픽셀을 단위로 하나의 오브젝트가 이미지에서의 영역에 대응할 수 있다.
선택적으로, 상술한 현재 프레임 이미지에 대해 오브젝트 검측을 진행하는 것은 이하 과정을 포함할 수 있다: 현재 프레임 이미지를 오브젝트 검측 모델(또는, 오브젝트 검측기로 칭함)에 입력시켜, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록의 제1 정보를 얻는다. 오브젝트 검측을 통해 얻은 오브젝트 검측 블록의 수는 복수개일 수 있으며, 즉, 오브젝트 검측을 통해 일련의 오브젝트 검측 블록을 얻을 수 있으며, 각 오브젝트 검측 블록은 대응하는 오브젝트의 좌표 정보와 사이즈 정보를 포함하는 것을 이해할 수 있다. 상술한 오브젝트 검측 모델은 관련 기술중 딥러닝 기반의 방법으로 훈련되여 얻어질 수 있으며, 직접 다중 오브젝트 검측(Single Shot Multi Box Detector, SSD) 모델, 미세 직접 다중 오브젝트 검측(Refinement Neural Network for Object Detection, RefineDet), 모바일 비전 애플리케이션에 대한 고효율 컨볼루션 신경망에 기초한 직접 다중 오브젝트 검출(MobileNet based Single Shot Multi Box Detector, MobileNet-SSD) 모델, 통일 실시간 오브젝트 검측(You Only Look Once: Unified, Real-Time Object Detection, YOLO) 모델 중 임의의 하나일 수 있다.
일 실시형태에서, 오브젝트 검측 모델을 이용하여 오브젝트 검측을 진행할 때, 해당 오브젝트 검측 모델이 미리 처리된 후의 이미지에 기초하여 훈련되여 얻어질 때, 현재 프레임 이미지에 대해 오브젝트 검측을 진행하기 전에, 현재 프레임 이미지에 대해 미리 처리를 진행하는 것을 필요로 하며, 예컨대, 현재 프레임 이미지를 고정된 사이즈(예컨대, 512*512)로 축소하고 또한 통일된 RGB 평균값(예컨대, [104, 117, 123])을 감산하여, 모델 훈련 과정에서 훈련 샘플의 통일을 보장하고, 모델 강건성을 증가시킨다.
또 다른 실시형태에서, 상술한 현재 프레임 이미지는 모니터 또는 기타 시나리오 카메라의 실시간 영상 스트림 중의 이미일 수 있다. 상술한 오브젝트는 선택적으로 보행자, 차량 등일 수 있다.
단계 102: 칼만 필터를 이용하여 오브젝트 추적을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 추적 블록의 제2 정보를 얻는다.
해당 실시예에서, 해당 제2 정보는 제2 위치와 제2 사이즈를 표시하기 위한 것이며, 즉 대응하는 오브젝트 검측 블록이 포함하는 오브젝트의 위치 정보(예컨대, 좌표 정보)와 사이즈 정보를 표시한다. 예컨대, 해당 제2 정보는 (x, y, w, h)로 표시할 수 있으며, 여기서 x는 오브젝트 검측 블록 좌측 상단의 가로 좌표를 표시하고, y는 오브젝트 검측 블록 좌측 상단의 세로 좌표를 표시하며, w는 오브젝트 검측 블록의 너비 표시하며, h는 오브젝트 검측 블록의 높이를 표시하며; 진일보하여, 해당 x, y, w와 h는 모두 픽셀을 단위로 하나의 오브젝트가 이미지에서의 영역에 대응할 수 있다.
상술한 칼만 필터(Kalman 필터)를 이용하여 오브젝트 추적을 진행하는 것은: 오브젝트 궤적의 기존 운동 상태에 기초하여, 해당 오브젝트가 현재 프레임 이미 중에서 가능하게 나타날 수 있는 위치와 사이즈를 예측하는 것으로 이해할 수 있다. 해당 오브젝트 궤적은 현재 프레임 이미지 전의 복수개의 프레임 이미지 중의 모든 동일한 오브젝트에 속하는 상이한 프레임 이미지 상의 오브젝트 검측 블록으로 표시될 수 있다. 각 오브젝트 궤적은 하나의 Kalman 필터에 대응하며, 해당 Kalman 필터는 오브젝트가 처음으로 출현하는 검측 블록을 이용하여 초기화하며, 또한 각 프레임의 연관 매칭 완성 후, 매칭한 오브젝트 검측 블록을 이용하여 해당 Kalman 필터에 대해 수정을 진행한다. 새로 얻은 하나의 프레임 이미지(예컨대, 현재 프레임 이미지)에 있어서, 저장된 모든 오브젝트 궤적의 Kalman 필터에 대해 예측을 진행하여, 오브젝트 궤적이 현재 프레임 이미지에서 출현하는 예측 위치, 및 Kalman 필터의 예측 오차 공분산 행렬 Σ을 얻는다. 해당 예측 오차 공분산 행렬 Σ는 선택적으로 하나의 차원 4x4의 행렬일 수 있으며, 오브젝트 추적 중의 예측값과 실제값의 오차 공분산을 설명하기 위한 것이다.
단계 103: 칼만 필터 중의 예측 오차 공분산 행렬에 대해 오차허용 수정을 진행하여, 수정 후의 공분산 행렬을 얻는다.
단계 104: 제1 정보, 제2 정보 및 수정 후의 공분산 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스(Mahalanobis) 거리를 계산한다.
상술한 칼만 필터 중의 예측 오차 공분산 행렬에 대해 오차허용 수정을 진행하는 것은 주요하게 마할라노비스 거리 계산 공식을 개선하기 위한 것이며, 개선 후의 마할라노비스 거리 계산 공식을 통해 계산하여 얻은 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리로 하여금, 오브젝트 운동 상태가 급격히 변화하는 경우에도 비교적 합리적인 범위에 유지되도록 한다. 상술한 오차허용 수정의 방식에 있어서, 실제 수요에 따라 설정할 수 있으며, 여기서 한정하지 않는다.
단계 105: 상기 마할라노비스 거리에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행한다.
선택적으로, 해당 단계에서 헝가리 알고리즘 등과 같은 이미지 매칭 알고리즘을 이용하여 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 연관 매칭을 진행하여, 복수개의 매칭된 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 매칭을 얻는다. 해당 매칭 중의 오브젝트 검측 블록과 오브젝트 추적 블록은 동일한 오브젝트 궤적에 속하고, 동일한 오브젝트에 속하며, 통일된 오브젝트 식별자 ID를 부여할 수 있다. 연관 매칭 완성 후 현재 프레임 이미지 하에서 새로운 오브젝트 궤적을 얻을 수 있으며, 기존 오브젝트 궤적의 업데이트, 기존 오브젝트 궤적의 삭제, 및/또는 새로운 오브젝트 궤적의 추가를 포함한다.
선택적으로, 해당 단계에서 연관 매칭을 진행하는 것은 이하 과정을 포함할 수 있다: 상기 마할라노비스 거리가 미리 설정된 임계치보다 작거나 같을 때, 대응하는 오브젝트 검측 블록과 오브젝트 추적 블록 사이는 매칭함을 확정하며; 또는, 상기 마할라노비스 거리가 상기 미리 설정된 임계치보다 클 때, 대응하는 오브젝트 검측 블록과 오브젝트 추적 블록 사이는 매칭하지 않음을 확정한다.즉, 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리가 작을수록 양자가 동일한 오브젝트에 속할 가능성은 더 크다. 따라서, 거리 정보와 미리 설정된 임계치의 비교를 빌려 연관 매칭하면 매칭 과정을 간편하게 실현할 수 있다.
본 개시의 실시예의 오브젝트 추적 방법에 있어서, 오차허용 수정 후의 예측 오차 공분산 행렬에 기초하여 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산할 수 있으며, 따라서 오브젝트 운동 상태가 급격히 변화하는 경우에도, 해당 마할라노비스 거리는 비교적 합리적인 범위에 유지되며, 따라서 해당 마할라노비스 거리에 기초하여 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행할 때, 오브젝트가 상이한 운동 상태 하에서 추적을 진행하는 강건성을 높일 수 있다.
다중 오브젝트 추적에 있어서, 관련 기술에서 마할라노비스 거리 계산 공식은 다음과 같을 수 있다:
Figure pct00001
그 중, μ는 칼만 필터의 평균값(x, y, w, h)을 표시하고, 칼만 필터를 위해 오브젝트(즉, 오브젝트 추적 블록)가 현재 프레임 이미 중에서의 좌표와 너비 높이 사이즈를 예측한다. Σ는 칼만 필터의 칼만 필터 예측 오차 공분산 행렬을 표시한다. X는 현재 프레임 이미지 중의 오브젝트 검측 블록의 좌표와 너비 높이 사이즈를 표시하며, 어떤 오브젝트의 현재 실제 운동 상태(x, y, w, h)의 변수를 설명하기 위한 것이다. 하나의 오브젝트가 일정한 시간 내에 동일한 운동 상태(예컨대, 장시간 정지하거나 또는 장시간 동일한 운동속도를 유지하는 등)를 유지할 때, 칼만 필터의 공분산 Σ는 더 작고, Σ-1는 더 크며, 즉 예측값과 실제값의 편차가 비교적 작은 것으로 간주되어,오브젝트 궤적이 넥스트 프레임에서도 원래의 운동 상태를 유지하도록 예측하는 경향이 있다. 오브젝트가 원래의 운동 상태를 유지할 때, 즉 (X-μ)이 0이 근접할 때, Σ-1이 더 큰 경우에 계산하여 얻은 마할라노비스 거리 DM값은 더 작으며; 오브젝트의 운동 상태가 급격히 변화할 때, (X-μ)의 값은 커지며, Σ-1이 더 큰 경우에 계산하여 얻은 마할라노비스 거리 DM값은 비정상적으로 커지며, 후속의 매칭 오류를 초래한다. 계산하여 얻은 마할라노비스 거리 DM값이 하나의 미리 설정한 임계치보다 클 때, 오브젝트 검측 블록 X는 해당 칼만 필터에 대응하는 궤적에 속하지 않는 것으로 간주하며, 추적 실패를 초래한다.
일 실시형태에서, 상술한 단계 104에서 마할라노비스 거리를 계산하는 과정은 다음과 같을 수 있다:
Figure pct00002
그 중, X는 현재 프레임 이미지 중의 오브젝트 검측 블록의 제1 정보를 표시하며, 예컨대 위치 정보와 사이즈 정보를 포함하며, (x, y, w, h)로 표시할 수 있다. μ는 칼만 필터에 기초하여 얻은 현재 프레임 이미지 중 오브젝트 추적 블록의 제2 정보를 표시하며, 예컨대 위치 정보와 사이즈 정보를 포함하며, (x, y, w, h)로 표시할 수 있다. Σ는 칼만 필터 예측 오차 공분산 행렬을 표시한다.
Figure pct00003
은 수정 후의 공분산 행렬을 표시하며, α는 0보다 큰 미리 설정된 계수이며, E는 단위 행렬을 표시한다.
상술한 개선 후의 마할라노비스 거리 계산 공식에 대한 분석으로부터 알 수 있듯이:
α＞0일 때, 항상 다음과 같은 부등식 (1) 내지 (3)이 있다:
Figure pct00004
(1)
Figure pct00005
(2)
Figure pct00006
(3)
상술한 부등식 (3)으로부터:
Figure pct00007
을 얻을 수 있다.
또한, 이하 부등식 (4) 내지 (7)이 존재한다:
Figure pct00008
(4)
Figure pct00009
(5)
Figure pct00010
(6)
Figure pct00011
(7)
상술한 부등식 (7)로부터:
Figure pct00012
을 얻을 수 있다.
즉, 임의의 x에 있어서, 모두 DMnew<DM이며, 또한 Σ이 작을수록 양자의 편차는 더 크다. 하나의 오브젝트가 일정한 시간 내에 동일한 운동 상태(예컨대, 장시간 정지하거나 또는 장시간 동일한 운동 속도를 유지하는 등)를 유지할 때, 칼만 필터의 공분산 Σ는 비교적 작다. 오브젝트가 원래의 운동 상태를 유지할 때, 즉 (X-μ)에 근접할 때, DM에 비하여 계산하여 얻은 DMnew은 더 작다. 오브젝트의 운동 상태가 급격히 변화할 때, (X-μ)의 값은 커지나, DM에 비하여 계산하여 얻은 DMnew은 더 작은 값으로 제약된다.
따라서, 상술한 개선 후의 마할라노비스 거리 계산 공식을 빌려, 오브젝트 운동 상태가 급격히 변화하는 경우에도, 계산하여 얻은 마할라노비스 거리가 비교적 합리적인 범위에 유지되도록 하며, 따라서 오브젝트가 상이한 운동 상태 하에서 추적을 진행하는 강건성을 높일 수 있다.
본 개시의 실시예에서, 연관 매칭의 정확성을 제고시키기 위하여, 계산하여 얻은 마할라노비스 거리의 기초 상에서, 또한 기타 연관 매칭을 보조하는 유사도 측정 방법 중의 예컨대 외관 특징 유사도, 형상 윤곽 유사도 등을 결합하여, 유사도 매칭 행렬을 구성하여, 해당 유사도 매칭 행렬에 기초하여 연관 매칭을 진행할 수 있다. 선택적으로, 상술한 단계 104 후에, 상기 방법은 이하 단계를 더 포함한다:
상기 마할라노비스 거리에 기초하여, 거리 유사도 행렬 MD을 계산하며; 그 중, 상기 MD 중 제i행 제j열의 값은, 상기 현재 프레임 이미지 중 i번째 오브젝트 추적 블록과 j번째 오브젝트 검측 블록 사이의 거리 유사도를 표시하며; 예컨대, 해당 거리 유사도는 선택적으로 i번째 오브젝트 추적 블록과 j번째 오브젝트 검측 블록 사이의 마할라노비스 거리 DMnew의 역수, 즉 DMnew -1일 수 있으며, 또는 기타 방식을 이용하여 해당 마할라노비스 거리 DMnew 처리 후의 값에 대하여 유사도를 체현하기만 하면 되며;
외관 심도 특성 유사도 행렬 MA를 계산하며; 그 중, 상기 MA 중 제i행 제j열의 값은, i번째 오브젝트 추적 블록에 대응하는 프리비어스(previous) 프레임 이미지 중 외관 심도 특성 Fi과 j번째 오브젝트 검측 블록에 대응하는 외관 심도 특성 Fj의 코사인 유사도 cos(Fi, Fj)를 표시하며; 외관 심도 특성 F에 대하여, 심도 콘볼루션 신경망(예컨대, 잔차 신경망(ResNet))을 이용하여 대응하는 프레임 이미지로부터 추출하여 얻으며;
상기 MD와 상기 MA에 기초하여, 유사도 매칭 행렬을 확정한다.
상술한 단계 105는: 상기 유사도 매칭 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하는 단계를 포함할 수 있다.
일 실시형태에서, 유사도 매칭 행렬을 확정할 때, 가중 평균의 방식을 이용하여 MD와 MA에 대해 융합을 진행하여 얻을 수 있으며, 예컨대 해당 유사도 매칭 행렬은 aMD에 bMA를 더하는 것과 같으며, 그 중, a와 b는 각각 MD와 MA의 가중이며, 실제 수요에 따라 미리 설정할 수 있다.
또 다른 실시형태에서, 유사도 매칭 행렬에 기초하여, 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행할 때, 헝가리 알고리즘을 이용하여 이분 그래프 매칭을 진행하여, 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 일일 매칭 결과를 얻을 수 있다.
다중 오브젝트 추적에서, 전후 오브젝트가 심하게 차단되는 경우가 나타날 수 있으며, 렌즈와 가까운 오브젝트가 렌즈로부터 멀리 떨어진 오브젝트의 대부분 영역을 차단하기 때문에, 오브젝트 추적 오류를 초래할 수 있으며, 후속에 프레임 이미지에서 잘못된 추적 결과를 얻을 수 있다. 이 문제를 극복하기 위하여, 본 개시의 실시예는 오브젝트의 전후 토폴로지 관계를 이용한 제약 매칭을 제기하였다.
투시 관계의 존재로 인해, 촬영 장치(예컨대, 카메라)가 채집한 이미지에서, 지상 오브젝트 검측 블록 하부 에지의 중심점은 오브젝트의 액세스 지점으로 간주될 수 있고, 해당 지점이 이미지 하방에 가까울수록 렌즈와 더 가까우며, 반대의 경우에는 렌즈로부터 멀리 떨어져 있다. 2개의 오브젝트 검측 블록에 있어서, 그들 사이의 교합비가 일정 임계치보다 클 때, 대응하는 2개의 오브젝트가 심하게 차단된다고 볼 수 있다. 오브젝트 액세스 지점의 위치를 통해, 2개의 오브젝트의 전후 관계를 판단할 수 있다. 그 중, 카메라와 가까운 오브젝트는 전경 차단 오브젝트이고, 카메라로부터 먼 오브젝트는 배경 차단된 오브젝트이다. 모든 차단 오브젝트 사이의 전후 관계는 오브젝트 전후 토폴로지 관계로 칭할 수 있다. 전후 토폴로지 관계 일치성은 다음과 같이 정의될 수 있다: 연속 프레임(이미지)에서, 프리비어스 프레임의 2개의 오브젝트 A와 B가 심하게 차단될 경우, 오브젝트 A는 전경 차단 오브젝트이고, 오브젝트 B는 배경 차단된 오브젝트이며, 넥스트 프레임에서, 만약 오브젝트 A와 B가 여전히 심하게 차단될 경우, 오브젝트 A는 여전히 전경 차단 오브젝트이고, 오브젝트 B는 배경 차단된 오브젝트이다. 현재 프레임 이미지 중 복수개의 오브젝트가 심하게 차단되였을 때, 프리비어스 프레임 오브젝트 궤적 사이의 전후 포톨로지 관계를 획득할 수 있으며, 또한 연관 매칭 중에서 전후 포톨로지 관계를 이용하여 일치성을 제약하여, 매칭이 보다 정확하게 할 수 있다.
선택적으로, 상술한 단계 105 후에, 상기 방법은:
상기 현재 프레임 이미지의 토폴로지 관계 행렬 MT1과, 상기 현재 프레임 이미지의 프리비어스 프레임 이미지의 토폴로지 관계 행렬 MT2를 획득하는 단계;
상기 MT1과 MT2에 대해 요소단위 곱셈(Element-wise multiply)을 진행하여, 토폴로지 변화 행렬 M0를 얻는 단계; 및
상기 M0를 이용하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록의 매칭 결과에 대하여 수정 처리를 진행하는 단계; 를 더 포함할 수 있으며,
상기 MT1 중 제i행 제j열의 값은, 상기 현재 프레임 이미지 중 i번째 오브젝트와 j번째 오브젝트의 전후 관계를 표시하며; 상기 MT2 중 제i행 제j열의 값은, 상기 프리비어스 프레임 이미지 중 i번째 오브젝트와 j번째 오브젝트의 전후 관계를 표시하며; 상기 M0 중 제i행 제j열의 값은, 상기 프리비어스 프레임 이미지에 비하여 상기 현재 프레임 이미지 중의 i번째 오브젝트와 j번째 오브젝트의 전후 관계에 변화가 발생하였는지 여부를 표시한다. 상술한 수정 처리는: 프리비어스 프레임과 현재 프레임에서, i번째 오브젝트와 j번째 오브젝트의 전후 관계에서 변화가 발생할 경우, 현재 프레임 중 i번째 오브젝트와 j번째 오브젝트가 매칭한 검측 블록에 대하여 인터렉션 처리를 진행하여, 오브젝트 추적 과정에서 연관 매칭의 결과를 수정한다.
따라서, 이웃 프레임 이미지 중 차단물 전후 포톨로지 관계를 이용하여 일치성을 제약할 수 있으며, 따라서 오브젝트가 심하게 차단되였을 때 매칭을 진행하는 신뢰성을 제고시키며, 오브젝트 추적 과정의 순조로운 진행을 보장한다.
예컨대, MT1과 MT2를 획득할 때, 오브젝트 검측 블록의 하부 에지 중심점 (x+w/2,y+h)을 대응하는 오브젝트의 액세스 지점으로 간주하며, 투시 원리에 기초하여, 세로 좌표 y+h가 클수록 오브젝트는 카메라에서 더 가까우며, 반대인 경우 카메라에서 더 멀리 떨어져 있다. 2개의 오브젝트 사이의 전후 포톨로지 관계를 확정할 때, 대응하는 오브젝트 검측 블록의 하부 에지 중심점의 세로 좌표를 비교할 수 있다. 예컨대, MT1을 예로 하면, 제i행 제j열의 값은 현재 프레임 이미지 중 i번째 오브젝트와 j번째 오브젝트의 전후 관계 t를 표시하며, i번째 오브젝트와 j번째 오브젝트는 차단 관계가 존재하고, 또한 yi+hi<yj+hj인 경우, t=-1이며, i번째 오브젝트가 j번째 오브젝트의 앞에 있는 것을 표시하며; 또는 i번째 오브젝트와 j번째 오브젝트는 차단 관계가 존재하고, 또한 yi+hi>yj+hj인 경우, t=1이며, i번째 오브젝트가 j번째 오브젝트의 뒤에 있는 것을 표시하며; 또는 i번째 오브젝트와 j번째 오브젝트가 차단 관계가 존재하지 않을 때, t=0이다. MT2에 있어서, 위의 MT1의 방식을 이용하여 설정할 수 있다. 따라서, MT1과 MT2에 대해 요소단위 곱셈(Element-wise multiply)을 진행하여 얻은 토폴로지 변화 행렬 M0에서, i번째 오브젝트와 j번째 오브젝트가 모두 정확하게 매칭된 경우, M0중 제i행 제j열의 값은 모두 0 또는 1이며, 즉 i번째 오브젝트와 j번째 오브젝트의 전후 관계에 변화가 발생하지 않으며; M0중 제i행 제j열의 값은 모두 -1인 경우, 매칭 오류를 표시하며, i번째 오브젝트와 j번째 오브젝트가 이웃한 2개의 프레임 중에서의 전후 관계에 변화가 발생하였으며, 이 때 현재 프레임 이미지 중 해당 2개의 오브젝트가 매칭한 검측 블록에 대해 인터렉션 처리를 진행함으로써, 대응하는 오브젝트 궤적을 수정하여, 오브젝트 추적 과정의 순조로운 진행을 보장할 수 있다.
선택적으로, 2개의 오브젝트에 차단 관계가 존재하는지 여부는, 대응하는 검측 블록과 추적 블록의 교합비(Intersection over Union, IoU)를 이용하여 확정할 수 있다.
본 개시의 실시예는 오브젝트의 위치, 신분, 운동 상태 및 역사 궤적 등 정보를 획득하기 위한 스마트 시티, 스마트 교통, 스마트 리테일 등 시나리오 하에서 보행자 및/또는 차량과 같은 오브젝트의 지속적인 추적을 포함하나 이에 한정되지 않는다.
아래에 도 2를 결부시켜 본 개시의 구체적인 실시예 중의 오브젝트 추적 과정에 대해 설명하기로 한다.
도 2에 도시된 바와 같이, 대응하는 오브젝트 추적 과정은 이하 단계를 포함할 수 있다:
S21: 모니터 또는 기타 시나리오 카메라의 실시간 비디오 스트림을 획득한다.
S22: 해당 실시간 비디오 스트림 중에서 현재 프레임 이미지를 추출하고, 또한 미리 처리를 진행하며, 예컨대, 고정된 사이즈로 축소하고, 또한 통일된 RGB 평균값을 감산하는 등이며;
S23: 미리 처리한 후의 현재 프레임 이미지를 미리 설정된 오브젝트 검측기에 입력시켜, 일련의 오브젝트 검측 블록을 출력하며, 각 블록은 오브젝트의 좌표 정보와 사이즈 정보를 포함하며;
S24: 칼만 필터를 이용하여 오브젝트 추적을 진행하여, 현재 프레임 이미지 중의 오브젝트 검측 블록이 포함하는 오브젝트의 좌표 및 사이즈 정보를 얻으며;
S25: 개선 후의 마할라노비스 거리 계산 공식을 빌려, 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하며; 구체적 과정은 상술한 내용을 참조할 수 있으며;
S26: S25에서 얻은 마할라노비스 거리에 기초하여, 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하며; 예컨대, 헝가리 알고리즘을 이용하여 이분 그래프 매칭을 진행하며;
S27: 이웃 프레임 이미지 중 오브젝트의 전후 포톨로지 관계를 이용하여 연관 매칭 결과에 대해 일치성 제약을 진행하며;
S28: 현재 프레임 이미지 중의 추적 과정을 종료하고, 또한 넥스트 이미지 프레임을 추출하여, 비디오 스트림이 종료될 때까지 상술한 S22 내지 S27을 반복한다. 그러나, 기록이 존재하나 일정한 시간 내(복수개의 이미지 프레임을 초과함)에 어떠한 검측 블록과도 매칭되지 않은 오브젝트 궤적에 있어서, 필드로 마크되고 미래에 연관 매칭 프로세스에 더 이상 참여하지 않는다.
도 3을 참조하면, 도 3은 본 개시의 실시예가 제공하는 오브젝트 추적 장치의 구조 개략도이며, 도 3에 도시된 바와 같이, 해당 오브젝트 추적 장치(30)는:
현재 프레임 이미지에 대해 오브젝트 검측을 진행하여, 상기 현재 프레임 이미 중의 오브젝트 검측 블록의 제1 정보를 얻기 위한 것이되, 상기 제1 정보는 제1 위치와 제1 사이즈를 표시하기 위한 것인 검측 모듈(31);
칼만 필터를 이용하여 오브젝트 추적을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 추적 블록의 제2 정보를 얻기 위한 것이되, 상기 제2 정보는 제2 위치와 제2 사이즈를 표시하기 위한 것인 추적 모듈(32);
칼만 필터 중의 예측 오차 공분산 행렬에 대해 오차허용 수정을 진행하여, 수정 후의 공분산 행렬을 얻기 위한 수정 모듈(33);
상기 제1 정보, 상기 제2 정보 및 상기 수정 후의 공분산 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하기 위한 제1 계산 모듈(34); 및
상기 마할라노비스 거리에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하기 위한 매칭 모듈(35); 을 포함한다.
선택적으로, 상기 제1 계산 모듈(34)은 구체적으로: 다음 공식을 이용하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하기 위한 것이며;
Figure pct00013
X는 상기 제1 정보를 표시하고, μ는 상기 제2 정보를 표시하며, Σ는 상기 칼만 필터 중의 예측 오차 공분산 행렬을 표시하며,
Figure pct00014
는 상기 수정 후의 공분산 행렬을 표시하며, α는 0보다 큰 미리 설정된 계수이며, E는 단위 행렬을 표시한다.
선택적으로, 상기 매칭 모듈(35)은 구체적으로: 상기 마할라노비스 거리가 미리 설정된 임계치보다 작거나 같을 때, 대응하는 오브젝트 검측 블록과 오브젝트 추적 블록 사이는 매칭함을 확정하기 위한 것이며; 또는, 상기 마할라노비스 거리가 상기 미리 설정된 임계치보다 클 때, 대응하는 오브젝트 검측 블록과 오브젝트 추적 블록 사이는 매칭하지 않음을 확정하기 위한 것이다.
선택적으로, 상기 오브젝트 추적 장치(30)는:
상기 현재 프레임 이미지의 토폴로지 관계 행렬 MT1과, 상기 현재 프레임 이미지의 프리비어스 프레임 이미지의 토폴로지 관계 행렬 MT2를 획득하기 위한 획득 모듈;
상기 MT1과 MT2에 대해 요소단위 곱셈(Element-wise multiply)을 진행하여, 토폴로지 변화 행렬 M0를 얻기 위한 제2 계산 모듈; 및
상기 M0를 이용하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록의 매칭 결과에 대하여 수정 처리를 진행하기 위한 처리 모듈; 을 더 포함하며,
상기 MT1 중 제i행 제j열의 값은, 상기 현재 프레임 이미지 중 i번째 오브젝트와 j번째 오브젝트의 전후 관계를 표시하며; 상기 MT2 중 제i행 제j열의 값은, 상기 프리비어스 프레임 이미지 중 i번째 오브젝트와 j번째 오브젝트의 전후 관계를 표시하며; 상기 M0 중 제i행 제j열의 값은, 상기 프리비어스 프레임 이미지에 비하여 상기 현재 프레임 이미지 중의 i번째 오브젝트와 j번째 오브젝트의 전후 관계에 변화가 발생하였는지 여부를 표시한다.
선택적으로, 상기 오브젝트 추적 장치(30)는:
상기 마할라노비스 거리에 기초하여, 거리 유사도 행렬 MD을 계산하기 위한 것이되, 상기 MD 중 제i행 제j열의 값은, 상기 현재 프레임 이미지 중 i번째 오브젝트 추적 블록과 j번째 오브젝트 검측 블록 사이의 거리 유사도를 표시하는 제3 계산 모듈;
외관 심도 특성 유사도 행렬 MA를 계산하기 위한 것이되, 상기 MA 중 제i행 제j열의 값은, i번째 오브젝트 추적 블록에 대응하는 프리비어스 프레임 이미지 중 외관 심도 특성과 j번째 오브젝트 검측 블록에 대응하는 외관 심도 특성의 코사인 유사도를 표시하는 제4 계산 모듈; 및
상기 MD와 상기 MA에 기초하여, 유사도 매칭 행렬을 확정하기 위한 확정 모듈; 을 더 포함하며,
상기 매칭 모듈(35)은 구체적으로:
상기 유사도 매칭 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하기 위한 것이다.
본 개시의 실시예의 오브젝트 추적 장치(30)는 상술한 도 1에 도시된 방법 실시예 중의 각 과정을 구현할 수 있고, 또한 동일한 유익한 효과에 도달할 수 있는 것을 이해할 것이며, 중복을 피면하기 위해, 여기서 더 이상 기술하지 않기로 한다.
본 개시의 실시예에 기초하여, 본 개시는 전자 기기와 판독가능한 저장 매체를 더 제공한다.
도 4에 도시된 바와 같이, 개시의 실시예의 오브젝트 추적 방법을 구현하기 위한 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 운영 플랫폼, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 다른 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 처리, 셀룰러폰, 스마트폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 이동 장치를 의미할 수도 있다. 본문에서 나타낸 컴포넌트, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것으로, 본문에서 설명 및/또는 요구된 본 개시의 구현을 한정하지 않는다.
도 4에 도시된 바와 같이, 해당 전자 기기는: 하나 또는 다수의 프로세서(401), 메모리(402), 및 고속 인터페이스 및 저속 인터페이스를 포함하는, 각 컴포넌트를 연결하기 위한 인터페이스를 포함한다. 각 컴포넌트는 상이한 버스를 이용하여 서로 연결되고, 공통 메인보드에 장착될 수 있거나 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 메모리에 저장되거나 메모리에서 외부 입력/출력 장치(예컨대, 인터페이스에 커플링된 표시 기기)에 GUI의 그래픽 정보를 표시하는 명령을 포함하는, 전자 기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시 형태에서, 필요에 따라 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있고, 각 기기는 일부 필요한 동작(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 다중 프로세서 시스템)을 제공한다. 도 4에서 하나의 프로세서(401)를 예로 든다.
메모리(402)는 본 개시에서 제공되는 비일시적 컴퓨터 판독가능한 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 개시에서 제공되는 원격 제어 중의 이미지 처리 방법을 수행되도록 한다. 본 개시의 비일시적 컴퓨터 판독가능한 저장 매체에는 상기 컴퓨터가 본 개시에서 제공되는 원격 제어 중의 이미지 처리 방법을 수행하도록 하는 컴퓨터 명령이 저장된다.
메모리(402)는 비일시적 컴퓨터 판독가능한 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능한 프로그램 및 본 개시의 실시예의 오브젝트 추적 방법에 대응되는 프로그램 명령/모듈(예컨대, 도 3에 도시된 검출 모듈(31), 추적 모듈(32), 수정 모듈(33), 제1 계산 모듈(34)과 매칭 모듈(35)을 저장할 수 있다. 프로세서(401)는 메모리(402)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하는데, 즉 상술한 방법 실시예 중의 오브젝트 추적 방법을 구현한다.
메모리(402)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있고, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있으며; 데이터 저장 영역은 원격 제어 중의 이미지 처리 방법의 전자 기기의 사용에 따라 구축된 데이터 등을 저장할 수 있다. 또한, 메모리(402)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 메모리, 플래시 메모리, 또는 다른 비일시적 고체 상태 메모리와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(402)는 프로세서(401)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 원격 제어 중의 이미지 처리 방법의 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예로 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
오브젝트 추적 방법의 전자 기기는: 입력 장치(403) 및 출력 장치(404)를 더 포함할 수 있다. 프로세서(401), 메모리(402), 입력 장치(403) 및 출력 장치(404)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 4에서 버스를 통해 연결되는 것을 예로 든다.
입력 장치(403)는 입력된 디지털 또는 문자 정보를 수신할 수 있고, 원격 제어 중의 이미지 처리 방법을 구현하는 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 발생할 수 있으며, 상기 입력 장치는 예를 들어 터치스크린, 키패드, 마우스, 트랙 패널, 터치 패널, 지시 바, 하나 또는 다수의 마우스 버튼, 트랙 볼, 조이스틱 등 입력 장치이다. 출력 장치(404)는 표시 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 표시 기기는 액정 표시 장치(LCD), 발광 다이오드(LED) 표시 장치 및 플라스마 표시 장치를 포함할 수 있지만 이에 한정되지 않는다. 일부 실시 형태에서, 표시 기기는 터치스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시 형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시 형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 하이레벨 프로세스 및/또는 객체에 대한 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 본문에서 사용된 바와 같이, 용어 “기계 판독 가능한 매체” 및 “컴퓨터 판독 가능한 매체”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 로직 장치(PLD))를 의미하고, 기계 판독 가능한 신호인 기계 명령을 수신하는 기계 판독 가능한 매체를 포함한다. 용어 “기계 판독 가능한 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터렉션을 제공하기 위하여, 컴퓨터에서 여기서 설명된 시스템 및 기술을 실시할 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 지향 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 지향 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 타입의 장치는 또한 사용자와의 인터렉션을 제공할 수도 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감지 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술을 백그라운드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터이고, 사용자는 상기 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시 형태와 인터렉션할 수 있음), 또는 이러한 백그라운드 컴포넌트, 미들웨어 컴포넌트, 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 컴포넌트를 서로 연결시킬 수 있다. 통신 네트워크의 예시로 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 일반적으로 통신 네트워크를 통해 서로 인터렉션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다.
본 개시의 실시예의 기술방안에 기초하여, 오차허용 수정 후의 예측 오차 공분산 행렬에 기초하여 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산할 수 있으며, 따라서 오브젝트 운동 상태가 급격히 변화하는 경우에도, 해당 마할라노비스 거리는 비교적 합리적인 범위에 유지되며, 따라서 해당 마할라노비스 거리에 기초하여 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행할 때, 오브젝트가 상이한 운동 상태 하에서 추적을 진행하는 강건성을 높일 수 있다.
위에서 설명한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제 단계를 사용할 수 있음을 이해해야 한다. 예컨대, 본 개시에 기재된 각 단계는 동시에 수행될 수 있거나 순차적으로 수행될 수 있거나 상이한 순서로 수행될 수 있고, 본 개시에서 공개된 기술적 해결수단이 이루고자 하는 결과를 구현할 수만 있으면, 본문은 여기서 한정하지 않는다.
상술한 구체적인 실시형태는 본 개시의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 개시의 정신 및 원칙 내에서 진행한 임의의 수정, 등가적 대체 및 개선 등은 모두 본 개시의 보호 범위 내에 속해야 한다.

Claims (12)

  1. 오브젝트 추적 방법에 있어서,
    현재 프레임 이미지에 대해 오브젝트 검측을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록의 제1 정보를 얻되, 상기 제1 정보는 제1 위치와 제1 사이즈를 표시하기 위한 것인 단계;
    칼만（Kalman） 필터를 이용하여 오브젝트 추적을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 추적 블록의 제2 정보를 얻되, 상기 제2 정보는 제2 위치와 제2 사이즈를 표시하기 위한 것인 단계;
    칼만 필터 중의 예측 오차 공분산 행렬에 대해 오차허용 수정을 진행하여, 수정 후의 공분산 행렬을 얻는 단계;
    상기 제1 정보, 상기 제2 정보 및 상기 수정 후의 공분산 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스(Mahalanobis) 거리를 계산하는 단계; 및
    상기 마할라노비스 거리에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하는 단계; 를 포함하는 오브젝트 추적 방법.
  2. 제1항에 있어서,
    상기 제1 정보, 상기 제2 정보 및 상기 수정 후의 공분산 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하는 단계는:
    다음 공식을 이용하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하는 단계를 포함하며;
    Figure pct00015

    X는 상기 제1 정보를 표시하고, μ는 상기 제2 정보를 표시하며, Σ는 상기 칼만 필터 중의 예측 오차 공분산 행렬을 표시하며,
    Figure pct00016
    는 상기 수정 후의 공분산 행렬을 표시하며, α는 0보다 큰 미리 설정된 계수이며, E는 단위 행렬을 표시하는 오브젝트 추적 방법.
  3. 제1항에 있어서,
    상기 마할라노비스 거리에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하는 단계는:
    상기 마할라노비스 거리가 미리 설정된 임계치보다 작거나 같을 때, 대응하는 오브젝트 검측 블록과 오브젝트 추적 블록 사이는 매칭함을 확정하며; 또는, 상기 마할라노비스 거리가 상기 미리 설정된 임계치보다 클 때, 대응하는 오브젝트 검측 블록과 오브젝트 추적 블록 사이는 매칭하지 않음을 확정하는 단계; 를 포함하는 오브젝트 추적 방법.
  4. 제1항에 있어서,
    상기 방법은,
    상기 현재 프레임 이미지의 토폴로지 관계 행렬 MT1과, 상기 현재 프레임 이미지의 프리비어스(previous) 프레임 이미지의 토폴로지 관계 행렬 MT2를 획득하는 단계;
    상기 MT1과 MT2에 대해 요소단위 곱셈(Element-wise multiply)을 진행하여, 토폴로지 변화 행렬 M0를 얻는 단계; 및
    상기 M0를 이용하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록의 매칭 결과에 대하여 수정 처리를 진행하는 단계; 를 더 포함하며,
    상기 MT1 중 제i행 제j열의 값은, 상기 현재 프레임 이미지 중 i번째 오브젝트와 j번째 오브젝트의 전후 관계를 표시하며; 상기 MT2 중 제i행 제j열의 값은, 상기 프리비어스 프레임 이미지 중 i번째 오브젝트와 j번째 오브젝트의 전후 관계를 표시하며; 상기 M0 중 제i행 제j열의 값은, 상기 프리비어스 프레임 이미지에 비하여 상기 현재 프레임 이미지 중의 i번째 오브젝트와 j번째 오브젝트의 전후 관계에 변화가 발생하였는지 여부를 표시하는 오브젝트 추적 방법.
  5. 제1항에 있어서,
    상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하는 단계 후에, 상기 방법은:
    상기 마할라노비스 거리에 기초하여, 거리 유사도 행렬 MD을 계산하되, 상기 MD 중 제i행 제j열의 값은, 상기 현재 프레임 이미지 중 i번째 오브젝트 추적 블록과 j번째 오브젝트 검측 블록 사이의 거리 유사도를 표시하는 단계;
    외관 심도 특성 유사도 행렬 MA를 계산하되, 상기 MA 중 제i행 제j열의 값은, i번째 오브젝트 추적 블록에 대응하는 프리비어스 프레임 이미지 중 외관 심도 특성과 j번째 오브젝트 검측 블록에 대응하는 외관 심도 특성의 코사인 유사도를 표시하는 단계; 및
    상기 MD와 상기 MA에 기초하여, 유사도 매칭 행렬을 확정하는 단계; 를 포함하며,
    상기 마할라노비스 거리에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하는 단계는:
    상기 유사도 매칭 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하는 단계를 포함하는 오브젝트 추적 방법.
  6. 오브젝트 추적 장치에 있어서,
    현재 프레임 이미지에 대해 오브젝트 검측을 진행하여, 상기 현재 프레임 이미 중의 오브젝트 검측 블록의 제1 정보를 얻기 위한 것이되, 상기 제1 정보는 제1 위치와 제1 사이즈를 표시하기 위한 것인 검측 모듈;
    칼만 필터를 이용하여 오브젝트 추적을 진행하여, 상기 현재 프레임 이미지 중의 오브젝트 추적 블록의 제2 정보를 얻기 위한 것이되, 상기 제2 정보는 제2 위치와 제2 사이즈를 표시하기 위한 것인 추적 모듈;
    칼만 필터 중의 예측 오차 공분산 행렬에 대해 오차허용 수정을 진행하여, 수정 후의 공분산 행렬을 얻기 위한 수정 모듈;
    상기 제1 정보, 상기 제2 정보 및 상기 수정 후의 공분산 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하기 위한 제1 계산 모듈; 및
    상기 마할라노비스 거리에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하기 위한 매칭 모듈; 을 포함하는 오브젝트 추적 장치.
  7. 제6항에 있어서,
    상기 제1 계산 모듈은 구체적으로: 다음 공식을 이용하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록 사이의 마할라노비스 거리를 계산하기 위한 것이며;
    Figure pct00017

    X는 상기 제1 정보를 표시하고, μ는 상기 제2 정보를 표시하며, Σ는 상기 칼만 필터 중의 예측 오차 공분산 행렬을 표시하며,
    Figure pct00018
    는 상기 수정 후의 공분산 행렬을 표시하며, α는 0보다 큰 미리 설정된 계수이며, E는 단위 행렬을 표시하는 오브젝트 추적 장치.
  8. 제6항에 있어서,
    상기 매칭 모듈은 구체적으로: 상기 마할라노비스 거리가 미리 설정된 임계치보다 작거나 같을 때, 대응하는 오브젝트 검측 블록과 오브젝트 추적 블록 사이는 매칭함을 확정하기 위한 것이며; 또는, 상기 마할라노비스 거리가 상기 미리 설정된 임계치보다 클 때, 대응하는 오브젝트 검측 블록과 오브젝트 추적 블록 사이는 매칭하지 않음을 확정하기 위한 것인 오브젝트 추적 장치.
  9. 제6항에 있어서,
    상기 현재 프레임 이미지의 토폴로지 관계 행렬 MT1과, 상기 현재 프레임 이미지의 프리비어스 프레임 이미지의 토폴로지 관계 행렬 MT2를 획득하기 위한 획득 모듈;
    상기 MT1과 MT2에 대해 요소단위 곱셈(Element-wise multiply)을 진행하여, 토폴로지 변화 행렬 M0를 얻기 위한 제2 계산 모듈; 및
    상기 M0를 이용하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록의 매칭 결과에 대하여 수정 처리를 진행하기 위한 처리 모듈; 을 더 포함하며,
    상기 MT1 중 제i행 제j열의 값은, 상기 현재 프레임 이미지 중 i번째 오브젝트와 j번째 오브젝트의 전후 관계를 표시하며; 상기 MT2 중 제i행 제j열의 값은, 상기 프리비어스 프레임 이미지 중 i번째 오브젝트와 j번째 오브젝트의 전후 관계를 표시하며; 상기 M0 중 제i행 제j열의 값은, 상기 프리비어스 프레임 이미지에 비하여 상기 현재 프레임 이미지 중의 i번째 오브젝트와 j번째 오브젝트의 전후 관계에 변화가 발생하였는지 여부를 표시하는 오브젝트 추적 장치.
  10. 제6항에 있어서,
    상기 장치는,
    상기 마할라노비스 거리에 기초하여, 거리 유사도 행렬 MD을 계산하기 위한 것이되, 상기 MD 중 제i행 제j열의 값은, 상기 현재 프레임 이미지 중 i번째 오브젝트 추적 블록과 j번째 오브젝트 검측 블록 사이의 거리 유사도를 표시하는 제3 계산 모듈;
    외관 심도 특성 유사도 행렬 MA를 계산하기 위한 것이되, 상기 MA 중 제i행 제j열의 값은, i번째 오브젝트 추적 블록에 대응하는 프리비어스 프레임 이미지 중 외관 심도 특성과 j번째 오브젝트 검측 블록에 대응하는 외관 심도 특성의 코사인 유사도를 표시하는 제4 계산 모듈; 및
    상기 MD와 상기 MA에 기초하여, 유사도 매칭 행렬을 확정하기 위한 확정 모듈; 을 더 포함하며,
    상기 매칭 모듈은 구체적으로:
    상기 유사도 매칭 행렬에 기초하여, 상기 현재 프레임 이미지 중의 오브젝트 검측 블록과 오브젝트 추적 블록에 대해 연관 매칭을 진행하기 위한 것인 오브젝트 추적 장치.
  11. 전자 기기에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결된 메모리; 를 포함하며,
    상기 메모리에는 상기 적어도 하나의 프로세서의 의해 실행될 수 있는 명령이 저장되며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제5항 중 어느 한 항에 따른 방법을 실행할 수 있도록 하는 전자 기기.
  12. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 컴퓨터로 하여금 제1항 내지 제5항 중 어느 한 항에 따른 방법을 실행하도록 하기 위한 것인 컴퓨터 판독가능 저장 매체.
KR1020227025087A 2020-05-22 2020-09-25 오브젝트 추적 방법, 오브젝트 추적 장치, 전자 기기 및 컴퓨터 판독가능 저장 매체 KR20220110320A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010443892.8A CN111640140B (zh) 2020-05-22 2020-05-22 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN202010443892.8 2020-05-22
PCT/CN2020/117751 WO2021232652A1 (zh) 2020-05-22 2020-09-25 目标跟踪方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
KR20220110320A true KR20220110320A (ko) 2022-08-05

Family

ID=72331521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227025087A KR20220110320A (ko) 2020-05-22 2020-09-25 오브젝트 추적 방법, 오브젝트 추적 장치, 전자 기기 및 컴퓨터 판독가능 저장 매체

Country Status (6)

Country Link
US (1) US20220383535A1 (ko)
EP (1) EP4044117A4 (ko)
JP (1) JP7375192B2 (ko)
KR (1) KR20220110320A (ko)
CN (1) CN111640140B (ko)
WO (1) WO2021232652A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640140B (zh) * 2020-05-22 2022-11-25 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN112257502A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种监控视频行人识别与跟踪方法、装置及存储介质
CN112270302A (zh) * 2020-11-17 2021-01-26 支付宝(杭州)信息技术有限公司 肢体控制方法、装置和电子设备
CN112419368A (zh) * 2020-12-03 2021-02-26 腾讯科技（深圳）有限公司 运动目标的轨迹跟踪方法、装置、设备及存储介质
CN112488058A (zh) * 2020-12-17 2021-03-12 北京比特大陆科技有限公司 面部跟踪方法、装置、设备和存储介质
CN112528932B (zh) * 2020-12-22 2023-12-08 阿波罗智联(北京)科技有限公司 用于优化位置信息的方法、装置、路侧设备和云控平台
CN112800864B (zh) * 2021-01-12 2024-05-07 北京地平线信息技术有限公司 目标跟踪方法及装置、电子设备和存储介质
CN114764814A (zh) * 2021-01-12 2022-07-19 富泰华工业（深圳）有限公司 植物高度确定方法、装置、电子设备及介质
CN112785625B (zh) * 2021-01-20 2023-09-22 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN112785630A (zh) * 2021-02-02 2021-05-11 宁波智能装备研究院有限公司 一种显微操作中多目标轨迹异常处理方法及系统
CN112836684B (zh) * 2021-03-09 2023-03-10 上海高德威智能交通系统有限公司 基于辅助驾驶的目标尺度变化率计算方法、装置及设备
CN112907636B (zh) * 2021-03-30 2023-01-31 深圳市优必选科技股份有限公司 多目标跟踪方法、装置、电子设备及可读存储介质
CN113177968A (zh) * 2021-04-27 2021-07-27 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113223083B (zh) * 2021-05-27 2023-08-15 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质
CN113326773A (zh) * 2021-05-28 2021-08-31 北京百度网讯科技有限公司 识别模型训练方法、识别方法、装置、设备及存储介质
JP7482090B2 (ja) * 2021-08-27 2024-05-13 株式会社東芝 推定装置、推定方法及びプログラム
CN114004876A (zh) * 2021-09-14 2022-02-01 浙江大华技术股份有限公司 一种尺寸标定方法、尺寸标定装置和计算机可读存储介质
CN113763431B (zh) * 2021-09-15 2023-12-12 深圳大学 一种目标跟踪方法、系统、电子装置及存储介质
CN114001976B (zh) * 2021-10-19 2024-03-12 杭州飞步科技有限公司 控制误差的确定方法、装置、设备及存储介质
CN114549584A (zh) * 2022-01-28 2022-05-27 北京百度网讯科技有限公司 信息处理的方法、装置、电子设备及存储介质
CN115223135B (zh) * 2022-04-12 2023-11-21 广州汽车集团股份有限公司 车位跟踪方法、装置、车辆及存储介质
CN114881982A (zh) * 2022-05-19 2022-08-09 广州敏视数码科技有限公司 一种减少adas目标检测误检的方法、装置及介质
CN115063452B (zh) * 2022-06-13 2024-03-26 中国船舶重工集团公司第七0七研究所九江分部 一种针对海上目标的云台摄像头跟踪方法
CN115082713B (zh) * 2022-08-24 2022-11-25 中国科学院自动化研究所 引入空间对比信息的目标检测框提取方法、系统及设备
CN116129350B (zh) * 2022-12-26 2024-01-16 广东高士德电子科技有限公司 数据中心安全作业的智能监控方法、装置、设备及介质
CN115908498B (zh) * 2022-12-27 2024-01-02 清华大学 一种基于类别最优匹配的多目标跟踪方法及装置
CN115995062B (zh) * 2023-03-22 2023-08-04 西南交通大学 一种接触网电联接线线夹螺母异常识别方法及系统
CN116563769B (zh) * 2023-07-07 2023-10-20 南昌工程学院 一种视频目标识别追踪方法、系统、计算机及存储介质
CN117351039B (zh) * 2023-12-06 2024-02-02 广州紫为云科技有限公司 一种基于特征查询的非线性多目标跟踪方法
CN118675151A (zh) * 2024-08-21 2024-09-20 比亚迪股份有限公司 移动目标检测方法、存储介质、电子设备、系统及车辆

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5229126B2 (ja) * 2009-06-17 2013-07-03 日本電気株式会社 目標追尾処理器及びそれに用いる誤差共分散行列の補正方法
JP5114514B2 (ja) * 2010-02-25 2013-01-09 株式会社日立製作所 位置推定装置
US9552648B1 (en) * 2012-01-23 2017-01-24 Hrl Laboratories, Llc Object tracking with integrated motion-based object detection (MogS) and enhanced kalman-type filtering
CN103281476A (zh) * 2013-04-22 2013-09-04 中山大学 基于电视图像运动目标的自动跟踪方法
CN104424634B (zh) * 2013-08-23 2017-05-03 株式会社理光 对象跟踪方法和装置
CN107516303A (zh) * 2017-09-01 2017-12-26 成都通甲优博科技有限责任公司 多目标跟踪方法及系统
CN109785368B (zh) * 2017-11-13 2022-07-22 腾讯科技（深圳）有限公司 一种目标跟踪方法和装置
CN109635657B (zh) * 2018-11-12 2023-01-06 平安科技（深圳）有限公司 目标跟踪方法、装置、设备及存储介质
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统
CN110348332B (zh) * 2019-06-24 2023-03-28 长沙理工大学 一种交通视频场景下机非人多目标实时轨迹提取方法
CN110544272B (zh) * 2019-09-06 2023-08-04 腾讯科技（深圳）有限公司 脸部跟踪方法、装置、计算机设备及存储介质
CN111192296A (zh) * 2019-12-30 2020-05-22 长沙品先信息技术有限公司 一种基于视频监控的行人多目标检测与跟踪方法
CN111640140B (zh) * 2020-05-22 2022-11-25 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111640140B (zh) 2022-11-25
JP2023500969A (ja) 2023-01-11
US20220383535A1 (en) 2022-12-01
JP7375192B2 (ja) 2023-11-07
CN111640140A (zh) 2020-09-08
EP4044117A4 (en) 2023-11-29
EP4044117A1 (en) 2022-08-17
WO2021232652A1 (zh) 2021-11-25

Similar Documents

Publication Publication Date Title
KR20220110320A (ko) 오브젝트 추적 방법, 오브젝트 추적 장치, 전자 기기 및 컴퓨터 판독가능 저장 매체
US11753005B2 (en) Collision detection method, and device, as well as electronic device and storage medium
KR102175491B1 (ko) 상관 필터 기반 객체 추적 방법
CN111553282B (zh) 用于检测车辆的方法和装置
US11282212B2 (en) Target tracking method, device, electronic apparatus and storage medium
US11694436B2 (en) Vehicle re-identification method, apparatus, device and storage medium
US20220270289A1 (en) Method and apparatus for detecting vehicle pose
CN112528786B (zh) 车辆跟踪方法、装置及电子设备
US20210312799A1 (en) Detecting traffic anomaly event
US11836619B2 (en) Image processing method, related device, and computer storage medium
CN111626263B (zh) 一种视频感兴趣区域检测方法、装置、设备及介质
EP3866065B1 (en) Target detection method, device and storage medium
KR102568948B1 (ko) 장애물 속도를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
Joo et al. Real‐Time Depth‐Based Hand Detection and Tracking
CN112528932B (zh) 用于优化位置信息的方法、装置、路侧设备和云控平台
CN112749701B (zh) 车牌污损分类模型的生成方法和车牌污损分类方法
CN112580435B (zh) 人脸定位方法、人脸模型训练与检测方法及装置
CN112734800A (zh) 一种基于联合检测与表征提取的多目标跟踪系统和方法
CN113255404A (zh) 车道线识别方法、装置、电子设备和计算机可读存储介质
KR102595678B1 (ko) 차량 연계 방법, 차량 연계 장치, 노변 장치 및 클라우드 제어 플랫폼
CN111832459A (zh) 目标检测方法、装置、设备以及存储介质
CN111368794B (zh) 障碍物检测方法、装置、设备和介质
Lian et al. A real-time traffic environmental perception algorithm fusing stereo vision and deep network
Jia et al. Tracking of objects in image sequences using multi-freeness mean shift algorithm
Shi et al. Lane Detection by Variational Auto-Encoder With Normalizing Flow for Autonomous Driving

Legal Events

Date Code Title Description
WITB Written withdrawal of application