KR20220113829A - 차량 추적 방법, 장치 및 전자 기기 - Google Patents

차량 추적 방법, 장치 및 전자 기기 Download PDF

Info

Publication number
KR20220113829A
KR20220113829A KR1020227025961A KR20227025961A KR20220113829A KR 20220113829 A KR20220113829 A KR 20220113829A KR 1020227025961 A KR1020227025961 A KR 1020227025961A KR 20227025961 A KR20227025961 A KR 20227025961A KR 20220113829 A KR20220113829 A KR 20220113829A
Authority
KR
South Korea
Prior art keywords
vehicle
target image
pixel points
image
detection box
Prior art date
Application number
KR1020227025961A
Other languages
English (en)
Inventor
웨이 쟝
샤오 탄
하오 쑨
스레이 원
홍우 쟝
얼루이 딩
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20220113829A publication Critical patent/KR20220113829A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 출원은 차량 추적 방법, 장치 및 전자 기기를 제공하며, 인공지능 컴퓨터 시각 및 스마트 교통 기술 분야에 관한 것이다. 당해 방법은 차량 주행 과정에서 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출하는 단계; 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 획득하는 단계; 각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출하는 단계; 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정하는 단계; 및 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정하는 단계 - 과거 이미지는 비디오 스트림에서 타겟 이미지에 인접한 이전 n 프레임의 이미지이고, n은 양의 정수임-;를 포함한다. 이에 따라, 당해 차량 추적 방법을 통해 차량 추적 효율을 향상시키고, 실시간 성능이 우수하다.

Description

차량 추적 방법, 장치 및 전자 기기
본 출원은 2020년 5월 29일 제출한 출원인이 "BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY CO., LTD."이고, 발명의 명칭이 "차량 추적 방법, 장치 및 전자 기기"이고, 중국 특허 출원 번호가 "202010478496.9"인 우선권을 주장한다.
본 출원은 컴퓨터 기술 분야에 관한 것으로, 특히 인공지능 컴퓨터 시각 및 스마트 교통 기술 분야에 관한 것으로, 차량 추적 방법, 장치 및 전자 기기를 제공한다.
도로 교통의 비디오에 대해 구조화 분석을 수행하여, 이미지 중의 차량을 결정하고, 차량에 대해 추적하는 것이 스마트 교통 시각 감지의 중요한 기술 능력이다.
관련 기술에서, 일반적으로 검출 모델을 사용하여 이미지 프레임에 대해 개체 검출을 수행하여, 이미지 프레임에 포함된 검출 박스를 결정하고, 검출 박스에 대해 특정 추출을 수행하여 차량의 특징을 결정하고, 나아가 현재 이미지 프레임 중의 차량 특징과 과거 검출 결과 사이의 매칭도에 따라 차량에 대해 추적한다. 그러나, 이러한 추적 방법은 차량에 대응되는 검출 박스를 결정하기 위해 두 단계가 필요하기 때문에, 소요 시간이 길고, 실시간 성능이 좋지 않다.
차량 추적 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
제1 측면에 따르면, 차량 추적 방법을 제공하며, 차량 주행 과정에서 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출하는 단계; 상기 타겟 이미지에 대해 인스턴스 분할을 수행하여, 상기 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 획득하는 단계; 각각의 상기 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출하는 단계; 상기 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 상기 타겟 이미지 중의 각 차량의 특징을 결정하는 단계; 및 상기 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 상기 타겟 이미지 중의 각 차량의 이동 궤적을 결정하는 단계 - 상기 과거 이미지는 상기 비디오 스트림에서의 상기 타겟 이미지에 인접한 이전 n 프레임의 이미지이고, n은 양의 정수임 -;를 포함한다.
제2 측면에 따르면, 차량 추적 장치를 제공하며, 차량 주행 과정에서 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출하는 제1 추출 모듈; 상기 타겟 이미지에 대해 인스턴스 분할을 수행하여, 상기 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 획득하는 인스턴스 분할 모듈; 각각의 상기 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출하는 제2 추출 모듈; 상기 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 상기 타겟 이미지 중의 각 차량의 특징을 결정하는 제1 결정 모듈; 및 상기 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 상기 타겟 이미지 중의 각 차량의 이동 궤적을 결정하는 제2 결정 모듈 - 상기 과거 이미지는 상기 비디오 스트림에서의 상기 타겟 이미지에 인접한 이전 n 프레임의 이미지이고, n은 양의 정수임 -;을 포함한다.
제3 측면에 따르면, 전자 기기를 제공하며, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리;를 포함하고, 상기 메모리에 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행되는 경우, 상기 적어도 하나의 프로세서가 전술한 차량 추적 방법을 수행한다.
제4 측면에 따르면, 컴퓨터 프로그램이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 프로그램의 명령이 수행될 경우, 컴퓨터가 전술한 차량 추적 방법을 수행한다.
본 출원의 기술 수단에 따르면, 비디오 스트림에서의 현재 시각의 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 직접 획득하고, 각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출한 후, 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정하고, 나아가 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정한다. 이에 따라, 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지에 포함된 기타 개체를 직접 여과하고, 타겟 이미지 중의 차량에 대응되는 검출 박스를 실시간으로 획득하여, 후속 처리를 수행함으로써, 차량 추적 효율을 향상시키고, 실시간 성능이 우수하다.
이해 가능한 바로는, 본 부분에서 설명된 내용은 본 출원의 실시예의 핵심 또는 중요한 특징을 식별하기 위한 것이 아니며, 본 출원의 범위를 한정하지도 않는다. 본 출원의 다른 특징들은 하기의 명세서에 의해 쉽게 이해될 것이다.
첨부된 도면은 본 기술 수단을 더 잘 이해하기 위한 것으로, 본 출원에 대한 한정이 구성되지 않는다.
도 1은 본 출원의 실시예에서 제공되는 차량 추적 방법의 개략적인 흐름도이다.
도 2는 타겟 이미지 중의 각 차량을 표기한 개략도이다.
도 3은 본 출원의 실시예에서 제공되는 다른 차량 추적 방법의 개략적인 흐름도이다.
도 4는 본 출원의 실시예에서 제공되는 또 다른 차량 추적 방법의 개략적인 흐름도이다.
도 5는 본 출원의 실시예에서 제공되는 차량 추적 장치의 개략적인 구조도이다.
도 6은 본 출원의 실시예에서 제공되는 전자 기기의 개략적인 구조도이다.
이하, 첨부된 도면을 결부하여 본 출원의 예시적인 실시예에 대해 설명하며, 여기에는 이해를 돕기 위해 본 출원의 실시예의 다양한 세부 사항을 포함하므로, 이는 단지 예시적인 것으로 이해해야 한다. 따라서, 당업자는 본 출원의 범위 및 사상을 벗어나지 않는 한 여기에 설명된 실시예에 대해 다양한 변경 및 수정이 이루어질 수 있음을 인식해야 한다. 마찬가지로, 명확성과 간결성을 위해, 하기의 설명에서는 공지된 기능 및 구조에 대한 설명을 생략한다.
본 출원의 실시예는 관련 기술에서, 차량에 대응되는 검출 박스를 결정하기 위해 두 단계가 필요하는 차량 추적 방법에서, 소요 시간이 길고, 실시간 성능이 좋지 않은 문제에 대해, 차량 추적 방법을 제공한다.
이하, 첨부된 도면을 참조하여 본 출원에서 제공되는 차량 추적 방법, 장치, 전자 기기 및 저장 매체에 대해 상세히 설명할 것이다.
도 1은 본 출원의 실시예에서 제공되는 차량 추적 방법의 개략적인 흐름도이다.
도 1에 도시된 바와 같이, 당해 차량 추적 방법은 하기의 단계를 포함한다.
단계 101, 차량 주행 과정에서 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출한다.
설명해야 하는 바로는, 실제 사용 시, 본 출원의 실시예의 차량 추적 방법은 본 출원의 실시예의 차량 추적 장치에 의해 수행될 수 있다. 본 출원의 실시예의 차량 추적 장치는 본 출원의 실시예의 차량 추적 방법을 수행하기 위해, 임의의 전자 기기에 구성될 수 있다.
예를 들어 설명하면, 본 출원의 실시예의 차량 추적 장치는 차량 주행 도로에 있는 차량을 추적하여, 차량의 주변 환경에 대해 시각 감지하고, 차량 주행 안전성을 향상시키기 위해, 차량(예컨대, 자율 주행 차량)에 구성될 수 있다. 또는, 본 출원의 실시예의 차량 추적 장치는 교통 모니터링 교차로의 차량에 대해 법규 위반 인식, 트래픽 통계 등을 수행하기 위해, 교통 관리 시스템의 서버에 구성될 수 있다.
설명해야 하는 바로는, 본 출원의 실시예의 비디오 스트림의 획득 방법은 본 출원의 실시예의 차량 추적 방법의 적용 시나리오에 관련된다. 예를 들어, 본 출원의 실시예의 차량 추적 방법이 차량 자율 주행, 보조 주행 등 분야에 적용되는 경우, 차량의 프로세서는 차량의 비디오 수집 기기와 통신 연결을 구성하여, 비디오 수집 기기에 의해 수집된 비디오 스트림을 실시간으로 획득할 수 있다. 또 예를 들면, 본 출원의 실시예의 차량 추적 방법이 법규 위반 인식, 차량 통계 등 목적을 구현하기 위해 교통 관리 시나리오에 적용되는 경우, 교통 관리 시스템의 서버는 교통 교차로의 모니터링 기기에 의해 수집된 비디오 스트림을 실시간으로 획득할 수 있다.
타겟 이미지는 비디오 수집 기기가 비디오를 수집할 때 가장 최근에 수집된 이미지 프레임일 수 있다.
가능한 구현 방식으로서, 비디오 수집 기기에 의해 수집된 비디오 스트림을 실시간으로 획득할 수 있고, 비디오 스트림의 새로운 이미지 프레임을 획득할 때마다, 획득된 새로운 이미지 프레임을 현재 시각의 타겟 이미지로 결정할 수 있다.
다른 가능한 구현 방식으로서, 프레임 삽입 방식으로 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출하여, 차량 추적의 데이터 처리량을 줄이고, 차량 추적의 실시간 성능을 더 향상시킬 수 있다. 예를 들어, 수집된 비디오 스트림의 각 2개의 프레임에서 하나의 현재 시각의 타겟 이미지를 추출할 수 있으며, 즉 비디오 스트림의 첫번째 프레임, 세번째 프레임, 다섯번째 프레임, 일곱번째 프레임 등 홀수 프레임의 이미지를 획득하는 시각에서, 각 홀수 프레임의 이미지를 타겟 이미지로 결정할 수 있다.
설명해야 하는 바로는, 본 출원의 실시예의 차량 추적 방법은 또한 비실시간의 차량 추적 시나리오에 적용될 수 있으며, 예를 들어, 주어진 비디오 데이터를 분석하여, 특정 차량의 주행 궤적 등을 결정한다. 따라서, 본 출원의 실시예의 차량 추적 장치는 촬영된 비디오 데이터의 일부를 직접 획득하고, 비디오 데이터를 분석하여, 비디오 데이터에 포함된 각 프레임의 이미지를 순차적으로 타겟 이미지로 결정할 수 있고; 또는, 프레임 삽입 방식으로 비디오 데이터의 일부 이미지 프레임을 순차적으로 타겟 이미지로 결정할 수 있으며, 예를 들어, 비디오 데이터의 홀수 프레임의 이미지를 순차적으로 타겟 이미지로 결정할 수 있다.
단계 102, 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 획득한다.
본 출원의 실시예에서, 타겟 이미지에 대해 인스턴스 분할을 수행하여 타겟 이미지에 포함된 각 차량을 결정하고, 각 차량에 대응되는 검출 박스를 생성하기 위해, 임의의 인스턴스 분할 알고리즘을 사용할 수 있다. 타겟 이미지 중의 각 차량은 모두 대응되는 검출 박스 내에 위치하거나, 차량의 대부분 영역이 대응되는 검출 박스 내에 위치한다.
설명해야 하는 바로는, 실제 사용 시, 실제 수요 또는 전자 기기의 연산 성능에 따라, 적합한 인스턴스 분할 알고리즘을 선택하여, 타겟 이미지에 대해 인스턴스 분할을 수행할 수 있으나, 본 출원의 실시예에서 이에 대해 한정하지 않는다. 예를 들어, 공간 임베딩에 기반한 인스턴스 분할 알고리즘, K-means(K 평균값) 클러스터링 알고리즘 등을 사용할 수 있다.
단계 103, 각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출한다.
차량에 대응되는 픽셀점 집합은 당해 차량에 대응되는 검출 박스 내의 타겟 이미지 영역에서 추출된 픽셀점으로 구성된 집합을 의미한다.
본 출원의 실시예에서, 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 결정한 후, 각 차량에 대응되는 검출 박스 중의 대부분 픽셀점은 차량에 대응되는 픽셀점이기에, 차량에 대응되는 검출 박스 중의 픽셀점은 차량의 특징을 정확하게 묘사할 수 있다. 따라서, 본 출원의 실시예에서, 각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 각각 추출하여, 각 차량의 특징에 대해 묘사할 수 있다.
가능한 구현 방식으로서, 차량에 대응되는 픽셀점 집합을 추출하는 경우, 당해 차량에 대응되는 검출 박스를 복수의 서브영역으로 균일하게 구획하고(예컨대, NХN의 영역으로 구획하며, N은 1보다 큰 양의 정수임), 당해 차량에 대응되는 검출 박스의 각 서브영역에서 일정한 수량의 픽셀점을 랜덤으로 추출하여, 당해 차량에 대응되는 픽셀점 집합을 구성할 수 있다. 예를 들어, 차량에 대응되는 검출 박스의 각 서브영역에서 사전 설정된 수량(예컨대, 100개)의 픽셀점, 또는 사전 설정된 비율(예컨대, 80%)의 픽셀점을 랜덤으로 추출하여, 당해 차량에 대응되는 픽셀점 집합을 구성할 수 있으나, 본 출원의 실시예에서 이에 대해 한정하지 않는다.
다른 가능한 구현 방식으로서, 차량에 대응되는 픽셀점은 일반적으로 검출 박스의 중간 위치에 위치하기 때문에, 차량에 대응되는 검출 박스를 중심 영역 및 에지 영역으로 구획하여, 검출 박스의 중심 영역에서 일정한 수량의 픽셀점을 랜덤으로 추출하여 차량에 대응되는 픽셀점 집합을 구성할 수도 있다.
예를 들어, 차량 A에 대응되는 검출 박스의 크기가 500Х500 픽셀인 경우, 검출 박스 중간 위치의 80%의 영역을 중심 영역으로 결정할 수 있으며, 즉 검출 박스 중간 위치의 400Х400 픽셀의 영역을 중심 영역으로 결정할 수 있고, 중심 영역의 중심점의 위치는 검출 박스의 중심점의 위치와 같고, 검출 박스의 기타 영역을 에지 영역으로 결정하며, 400Х400 픽셀의 중심 영역에서 80%의 픽셀점을 랜덤으로 추출하여, 차량 A에 대응되는 픽셀점 집합을 구성한다.
또 다른 가능한 구현 방식으로서, 차량에 대응되는 검출 박스를 중심 영역 및 에지 영역으로 구획하는 경우, 검출 박스의 중심 영역과 에지 영역에서 일정한 수량의 픽셀점을 각각 랜덤으로 추출하여 차량에 대응되는 픽셀점 집합을 구성할 수 있다. 따라서, 차량에 대응되는 픽셀점 집합은 차량에 대응되는 픽셀점을 포함할 뿐만 아니라, 차량 근처의 배경에 대응되는 픽셀점도 포함할 수 있기에, 차량 특징을 더 잘 묘사할 수 있고, 차량 추적의 정확성을 향상시킨다.
예를 들어, 차량 A에 대응되는 검출 박스의 크기가 500Х500 픽셀인 경우, 원심은 검출 박스의 중심점이고, 반경은 400 픽셀인 원형 영역을 검출 박스의 중심 영역으로 결정하고, 검출 박스의 기타 영역을 에지 영역으로 결정할 수 있고, 나아가 중심 영역에서 80%의 픽셀점을 랜덤으로 추출하고, 에지 영역에서 80%의 픽셀점을 랜덤으로 추출하여, 차량 A에 대응되는 픽셀점 집합을 구성한다.
설명해야 하는 바로는, 상기 예시는 단지 예시적이며, 본 출원에 대한 한정으로 간주되어서는 안된다. 실제 사용 시, 실제 수요 및 구체적인 적용 시나리오에 따라, 검출 박스의 중심 영역을 결정하는 방식 및 픽셀점의 추출 수량 또는 비율을 선택할 수 있으나, 본 출원의 실시예에서 이에 대해 한정하지 않는다.
단계 104, 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정한다.
픽셀점의 이미지 특징은 픽셀점의 픽셀값, 픽셀점의 인접 영역의 픽셀값, 픽셀점과 픽셀점 집합 중의 각 다른 픽셀점의 위치 관계, 픽셀값 차이 등 특징을 포함할 수 있다. 실제 사용 시, 실제 수요에 따라 사용되는 픽셀점의 이미지 특징을 선택할 수 있으나, 본 출원의 실시예에서 이에 대해 한정하지 않는다.
차량의 특징은 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징에 대해 연산 또는 러닝을 수행하여 결정된, 타겟 인식에 사용 가능한 특정을 의미한다. 예를 들어, 차량의 특징은 ReID(Person re-identification, 보행자 재식별) 특징, HOG(Histogram of Oriented Gradient, 그라디언트 히스토그램) 특징, Haar(Haar-like, 하르) 특징 등일 수 있다.
본 출원의 실시예에서, 각 차량에 대응되는 픽셀점 집합을 추출한 후, 사전 설정된 알고리즘을 사용하여 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀의 이미지 특징에 대해 연산 또는 러닝을 수행하여, 픽셀점 집합 중의 각 픽셀의 이미지 특징을 통해 차량을 묘사하고, 타겟 이미지 중의 각 차량의 특징을 생성할 수 있다.
설명해야 하는 바로는, 실제 사용 시, 실제 수요 및 구체적인 적용 시나리오에 따라, 차량의 특징 유형 및 해당 차량의 특징을 결정하는 알고리즘을 선택할 수 있으나, 본 출원의 실시예에서 이에 대해 한정하지 않는다. 예를 들어, 실시간 성능 및 연산 효율을 향상시키기 위해, 고효율의 딥러닝 알고리즘 또는 이미지 특징 추출 알고리즘을 선택하여, 타겟 이미지 중의 각 차량의 특징을 결정할 수 있다.
단계 105, 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정하며, 과거 이미지는 비디오 스트림에서 타겟 이미지에 인접한 이전 n 프레임의 이미지이고, n은 양의 정수이다.
본 출원의 실시예에서, 도량 러닝 방식으로, 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도를 결정할 수 있다. 구체적으로, 타겟 이미지 중의 하나의 차량에 대해, 도량 러닝 방식으로, 당해 차량과 과거 이미지 중의 각 차량의 특징 사이의 거리를 결정할 수 있다. 특징 사이의 거리가 작을수록, 특징이 더 유사하다는 것을 의미하기에, 당해 차량과 과거 이미지 중의 각 차량의 특징 사이의 거리의 역수로, 당해 차량과 과거 이미지 중의 각 차량의 특징 사이의 매칭도를 결정할 수 있다.
가능한 구현 방식으로서, n의 값은 1일 수 있으며, 즉 타겟 이미지 중의 각 차량과 비디오 스트림에서 타겟 이미지에 인접한 새로운 이미지 프레임 만을 비교하여, 타겟 이미지 중의 각 차량의 이동 궤적을 결정할 수 있다. 선택적으로, 타겟 이미지 중의 차량 A에 대해, 과거 이미지 중 차량 A의 특징과의 매칭도가 임계값보다 큰 차량을 차량 A로 결정할 수 있고, 나아가 과거 이미지 중 차량 A의 이동 궤적과 타겟 이미지의 수집 위치에 따라, 타겟 이미지 중의 차량 A의 이동 궤적을 결정하고, 과거 이미지 중의 차량 A의 식별자를 타겟 이미지 중의 차량 A의 식별자로 결정하며, 타겟 이미지에서 차량 A의 식별자를 표시하여, 차량 A에 대해 표기한다. 예를 들어, 과거 이미지 중 차량 A의 식별자가 "Car1"인 경우, 차량 A의 상단에 차량 A의 식별자 "Car1"를 표시할 수 있다. 도 2에 도시된 바와 같이, 타겟 이미지 중의 각 차량을 표기한 개략도이다.
상응하게, 과거 이미지에 차량 A의 특징과의 매칭도가 임계값보다 큰 차량이 없는 경우, 차량 A는 비디오 스트림에서 처음으로 나타난 새 차량인 것을 결정할 수 있고, 나아가, 차량 A의 이동 궤적의 시작점을 타겟 이미지의 수집 위치로 결정할 수 있고, 차량 A에 새로운 차량 식별자를 할당하여, 타겟 이미지에서 차량 A의 식별자를 표시하고, 차량 A에 대해 표기할 수 있다.
다른 가능한 구현 방식으로서, n의 값은 1보다 큰 정수일 수 있으며, 즉 타겟 이미지 중의 각 차량과 비디오 스트림에서 타겟 이미지 전에 있는 타겟 이미지에 인접한 복수의 이미지 프레임을 비교하여, 타겟 이미지 중의 각 차량의 이동 궤적을 결정하여, 차량 추적의 정확성을 향상시킬 수 있다. 선택적으로, 타겟 이미지 중의 차량 A에 대해, 먼저 과거 이미지 중의 차량 A의 특징과의 매칭도가 임계값보다 큰 후보 차량을 결정할 수 있다. 과거 이미지 중 하나의 프레임에만 후보 차량이 포함될 경우, 당해 후보 차량을 차량 A로 결정할 수 있고, 나아가 과거 이미지 중 차량 A의 이동 궤적과 타겟 이미지의 수집 위치에 따라, 타겟 이미지 중의 차량 A의 이동 궤적을 결정하고, 과거 이미지 중 차량 A의 식별자를 타겟 이미지 중의 차량 A의 식별자로 결정할 수 있다. 복수의 이미지 프레임에 후보 차량이 포함될 경우, 각 프레임의 과거 이미지 중의 후보 차량이 동일한 차량인지 여부를 결정하여, 동일한 차량인 경우, 수집 시각이 타겟 이미지의 수집 시각과 가장 근접한 과거 이미지 중의 후보 차량을 차량 A로 결정할 수 있고, 타겟 이미지의 수집 시각과 가장 근접한 과거 이미지 중의 차량 A의 이동 궤적과 타겟 이미지의 수집 위치에 따라, 타겟 이미지 중의 차량 A의 이동 궤적을 결정할 수 있다.
상응하게, 과거 이미지 중 각 프레임에 모두 차량 A의 특징과의 매칭도가 임계값보다 큰 차량이 없는 경우, 차량 A는 비디오 스트림에서 처음으로 나타난 새 차량인 것을 결정할 수 있고, 나아가, 차량 A의 이동 궤적의 시작점을 타겟 이미지의 수집 위치로 결정할 수 있고, 차량 A에 새로운 차량 식별자를 할당하여, 타겟 이미지에서 차량 A의 식별자를 표시하고, 차량 A에 대해 표기할 수 있다.
본 출원의 실시예에서, 차량의 특징에 따라 과거 이미지에서 타겟 이미지 중의 각 차량에 매칭되는 차량을 결정할 때, 타겟 이미지 중의 하나의 차량 특징과 과거 이미지 중의 복수의 차량의 특징의 매칭도가 임계값보다 큰 경우가 있을 수 있다.
선택적으로, 본 출원의 실시예의 가능한 구현 방식에서, 타겟 이미지 중의 하나의 차량의 특징과 과거 이미지 중의 복수의 차량의 특징의 매칭도가 임계값보다 큰 경우, 당해 차량의 특징과의 매칭도가 가장 큰 차량을 당해 차량으로 결정할 수 있다.
선택적으로, 본 출원의 실시예의 다른 가능한 구현 방식에서, 먼저 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징의 매칭도를 각각 결정하고, 나아가 타겟 이미지 중의 각 차량의 특징과의 매칭도가 임계값보다 큰 각 후보 차량을 결정하여, 타겟 이미지 중의 각 차량과 과거 이미지 중의 각 차량의 매칭 관계를 결정하고, 나아가 헝가리 알고리즘을 사용하여 타겟 이미지 중의 차량과 과거 이미지 중의 각 차량의 매칭 관계를 분석하여, 과거 이미지에서 타겟 이미지 중의 각 차량과 유일하게 매칭되는 차량을 결정할 수 있다.
설명해야 하는 바로는, 실제 사용 시, 실제 수요 및 구체적인 적용 시나리오에 따라, n의 값을 결정할 수 있으나, 본 출원의 실시예에서 이에 대해 한정하지 않는다. 예를 들어, 본 출원의 실시예의 차량 추적 방법이 교통 관리 시나리오에 적용되는 경우, 교통 교차로의 모니터링 기기가 고정되어 있기 때문에, 타겟 이미지에 인접한 새로운 이미지 프레임 만과의 비교를 통해, 타겟 이미지 중의 각 차량의 이동 궤적을 결정할 수 있으므로, n의 값은 1일 수 있다. 또 예를 들면, 본 출원의 실시예의 차량 추적 방법이 차량 자율 주행, 보조 주행 등 시나리오에 적용되는 경우, 차량 주행 과정에서 비디오 수집 기기의 위치가 끊임없이 변화하고 있고, 차량 주행 과정에서 추월하거나 추월당하는 상황이 발생할 수 있기 때문에, 타겟 이미지에 인접한 새로운 이미지 프레임 만과 비교할 경우, 차량 추적 결과의 오류가 발생하기 쉬울 것이며, 차량 추적의 정확성을 향상시키기 위해 n을 1보다 큰 정수로 결정할 수 있다.
본 출원의 실시예의 기술적 수단에 따르면, 비디오 스트림에서의 현재 시각의 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 직접 획득하고, 각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출한 후, 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정하고, 나아가 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정한다. 이에 따라, 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지에 포함된 기타 개체를 직접 여과하고, 타겟 이미지 중의 차량에 대응되는 검출 박스를 실시간으로 획득하여, 후속 처리를 수행함으로써, 차량 추적 효율을 향상시키고, 실시간 성능이 우수하다.
본 출원의 가능한 구현 형태에서, 포인트 클라우드 모델을 사용하여 검출 박스 중의 전경 영역의 픽셀점(즉 검출 박스 중의 차량에 대응되는 픽셀점)과 배경 영역의 픽셀점에 대해 각각 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정할 수 있으므로, 차량 특징을 정확하고 효율있게 추출함으로써 차량 추적의 실시간 성능 및 정확성을 더 향상시킨다.
이하, 도 3을 결부하여, 본 출원의 실시예에서 제공되는 차량 추적 방법에 대해 더 설명할 것이다.
도 3은 본 출원의 실시예에서 제공되는 다른 차량 추적 방법의 개략적인 흐름도이다.
도 3에 도시된 바와 같이, 당해 차량 추적 방법은 하기의 단계를 포함한다.
단계 201, 차량 주행 과정에서 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출한다.
단계 202, 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 획득한다.
상기 단계 201-202의 구체적인 구현 과정 및 원리는 전술한 실시예의 상세한 설명을 참조할 수 있고, 여기서 반복하지 않는다.
단계 203, 각 차량에 대응되는 검출 박스 내의 마스크 영역에서 제1 픽셀점 서브집합을 추출한다.
검출 박스 내의 마스크 영역은 당해 검출 박스 내의 차량이 검출 박스 내에서 대응되는 영역을 의미한다. 차량에 대응되는 제1 픽셀점 서브집합은 차량에 대응되는 검출 박스 내의 마스크 영역에서 추출된, 차량에 대응되는 픽셀을 나타내기 위한 집합을 의미한다.
가능한 구현 방식으로서, 타겟 이미지에 대해 인스턴스 분할을 수행한 결과로서, 타겟 이미지 중의 각 차량에 대응되는 검출 박스 및 검출 박스 내의 마스크 영역을 동시 출력할 수 있다. 즉, 인스턴스 분할 알고리즘을 사용하여 타겟 이미지 중의 각 차량을 인식하여, 각 차량에 대응되는 검출 박스 및 각 검출 박스 중의 차량에 대응되는 마스크 영역을 생성할 수 있으며, 각 검출 박스 중의 마스크 영역 이외의 영역이 바로 배경 영역에 대응되는 비 마스크 영역이다. 즉, 각 차량에 대응되는 검출 박스에는 마스크 영역 및 비 마스크 영역을 포함할 수 있다.
설명해야 하는 바로는, 실제 사용 시, 타겟 이미지에 대해 인스턴스 분할을 수행하는 알고리즘은 특정 유형의 타겟을 직접 인식할 수 있고, 특정 유형의 타겟에 대응되는 검출 박스 및 마스크 영역을 동시 출력할 수 있는 임의의 인스턴스 분할 알고리즘일 수 있으나, 본 출원의 실시예에서 이에 대해 한정하지 않는다. 예를 들어, 공간 임베딩에 기반한 인스턴스 분할 알고리즘, K-means 클러스터링 알고리즘 등과 같은 클러스터링 기반 인스턴스 분할 알고리즘일 수 있다.
본 출원의 실시예에서, 차량에 대응되는 검출 박스 내의 마스크 영역이 검출 박스 내의 차량의 해당 영역을 나타낼 수 있기 때문에, 차량에 대응되는 검출 박스 내의 마스크 영역의 픽셀점은 당해 차량의 고유 특징을 정확하게 묘사할 수 있다. 따라서, 각 차량의 고유 특징(예컨대, 컬러 특징, 형상 특징, 브랜드 특징 등)을 정확하게 묘사하기 위해, 각 차량에 대응되는 검출 박스 내의 마스크 영역에서 일정한 수량의 픽셀점을 랜덤으로 추출하여, 각 차량에 대응되는 제1 픽셀점 서브집합을 각각 구성할 수 있다.
가능한 구현 방식으로서, 제1 픽셀점 서브집합에 포함되는 픽셀점 수량을 서전 설정할 수 있으며, 각 차량에 대응되는 검출 박스 내의 마스크 영역에서 사전 설정된 수량의 픽셀점을 직접 랜덤으로 추출하여, 각 차량에 대응되는 제1 픽셀점 서브집합을 각각 구성할 수 있다. 예를 들어, 사전 설정된 수량이 500인 경우, 각 차량에 대응되는 검출 박스 내의 마스크 영역에서 500개의 픽셀점을 랜덤으로 추출하여, 각 차량에 대응되는 제1 픽셀점 서브집합을 각각 구성할 수 있다.
다른 가능한 구현 방식으로서, 제1 픽셀점 서브집합 중의 픽셀점 수량과 마스크 영역의 픽셀점 수량의 비율을 사전 설정할 수 있으며, 각 차량에 대응되는 검출 박스 내의 마스크 영역에서 사전 설정된 비율의 픽셀점을 랜덤으로 추출하여, 각 차량에 대응되는 제1 픽셀점 서브집합을 각각 구성한다. 예를 들어, 사전 설정된 비율은 80%이고, 차량 A에 대응되는 검출 박스 내의 마스크 영역의 픽셀점 수량은 1000인 경우, 차량에 대응되는 검출 박스 내의 마스크 영역에서 800개의 픽셀점을 랜덤으로 추출하여, 차량 A에 대응되는 제1 픽셀점 서브집합을 구성할 수 있다.
설명해야 하는 바로는, 마스크 영역에서 제1 픽셀점 서브집합을 추출하는 방식은 전술한 상황을 포함할 수 있지만, 이에 제한되지 않는다. 실제 사용 시, 실제 수요 및 구체적인 적용 시나리오에 따라, 적합한 추출 방식을 선택할 수 있으나, 본 출원의 실시예에서 이에 대해 한정하지 않는다.
단계 204, 각 차량에 대응되는 검출 박스 내의 비 마스크 영역에서 제2 픽셀점 서브집합을 추출한다.
검출 박스 내의 비 마스크 영역은 당해 검출 박스 내의 차량 이외의 배경 영역이 검출 박스 내에서 대응되는 영역을 의미한다. 차량에 대응되는 제2 픽셀점 서브집합은 차량에 대응되는 검출 박스 내의 비 마스크 영역에서 추출된, 차량 배경을 나타내기 위한 픽셀점 집합을 의미한다.
가능한 구현 방식으로서, 타겟 이미지에 대해 인스턴스 분할을 수행한 결과로서, 타겟 이미지 중의 각 차량에 대응되는 검출 박스 및 검출 박스 내의 마스크 영역을 동시 출력할 수 있으며, 따라서, 각 검출 박스 내의 마스크 영역 이외의 영역을 각 검출 박스 내의 비 마스크 영역으로 각각 결정할 수 있다.
본 출원의 실시예에서, 차량의 컬러, 외형 등은 유사성이 크기 때문에, 차량 고유의 픽셀점의 특징 만으로 차량 특징을 묘사하는 경우, 상이한 차량을 같은 차량으로 결정할 수 있으며, 부정확한 차량 추적 결과를 야기할 수 있다. 따라서, 본 출원의 실시예의 가능한 구현 형태에서, 각 검출 박스 내의 배경 영역의 픽셀을 사용하여 차량 특징에 대해 보조적으로 묘사할 수 있으므로, 차량의 배경 영역의 특징으로 차량 특징 사이의 차이를 강화하여 차량 추적의 정확성을 향상시킨다. 이에 따라, 각 차량의 배경 특징을 정확하게 묘사하기 위해, 각 차량에 대응되는 검출 박스 내의 비 마스크 영역에서 일정한 수량의 픽셀점을 랜덤으로 추출하여, 각 차량에 대응되는 제2 픽셀점 서브집합을 각각 구성할 수 있다.
가능한 구현 방식으로서, 제1 픽셀점 서브집합에 포함된 픽셀점 수량은 제2 픽셀점 서브집합에 포함된 픽셀점 수량과 같을 수 있으며, 차량의 특징에 차량 고유의 특징과 차량의 배경 특징이 균형있게 융합되어, 차량의 특징 묘사가 더 정확하고, 차량 추적의 정확성을 향상시킨다. 따라서, 제1 픽셀점 서브집합과 제2 픽셀점 서브집합에 포함되는 픽셀점 수량을 서전 설정할 수 있으며, 각 차량에 대응되는 검출 박스 내의 마스크 영역에서 사전 설정된 수량의 픽셀점을 랜덤으로 추출하여, 각 차량에 대응되는 제1 픽셀점 서브집합을 각각 구성하고, 각 차량에 대응되는 검출 박스 내의 비 마스크 영역에서 사전 설정된 수량의 픽셀점을 랜덤으로 추출하여, 각 차량에 대응되는 제2 픽셀점 서브집합을 각각 구성할 수 있다.
예를 들어 설명하면, 사전 설정된 수량이 500인 경우, 타겟 이미지 중의 차량 A에 대해, 차량 A에 대응되는 검출 박스 내의 마스크 영역에서 500개의 픽셀점을 랜덤으로 추출하여, 차량 A에 대응되는 제1 픽셀점 서브집합을 구성하고, 차량 A에 대응되는 검출 박스 내의 비 마스크 영역에서 500개의 픽셀점을 랜덤으로 추출하여, 차량 A에 대응되는 제2 픽셀점 서브집합을 구성할 수 있다.
다른 가능한 구현 방식으로서, 제1 픽셀점 서브집합과 제2 픽셀점 서브집합에 각각 상이한 가중치를 할당하여, 추출된 픽셀점 집합에 차량 특징을 나타내는데 많은 기여를 주는 픽셀점이 상대적으로 많고, 차량 특징을 나타내는데 적은 기여를 주는 픽셀점이 상대적으로 적게되도록 할 수 있다. 설명해야 하는 바로는, 제1 픽셀점 서브집합과 제2 픽셀점 서브집합의 가중치는 많은 양의 실험 데이터에 따라 교정될 수 있으며, 본 출원의 실시예에서 이에 대해 한정하지 않는다.
예를 들어 설명하면, 사전 설정된 수량은 500이고, 실험 데이터에 따라 교정된 제1 픽셀점 서브집합의 가중치는 1이고, 제2 픽셀점 서브집합의 가중치는 0.8인 경우, 타겟 이미지 중의 차량 A에 대해, 차량 A에 대응되는 검출 박스 내의 마스크 영역에서 500개의 픽셀점을 랜덤으로 추출하여, 차량 A에 대응되는 제1 픽셀점 서브집합을 구성하고, 차량 A에 대응되는 검출 박스 내의 비 마스크 영역에서 400개의 픽셀점을 랜덤으로 추출하여, 차량 A에 대응되는 제2 픽셀점 서브집합을 구성할 수 있다.
또 다른 가능한 구현 방식으로서, 제2 픽셀점 서브집합에 포함된 픽셀점 수량은 제1 픽셀점 서브집합에 포함된 픽셀점 수량과 관련되지 않을 수도 있다. 즉 제2 픽셀점 서브집합에 포함된 픽셀점 수량, 또는 제2 픽셀점 서브집합 중의 픽셀점 수량과 비 마스크 영역의 픽셀점 수량의 비율을 단독으로 사전 설정할 수 있다. 그 다음, 단계 204에서 제1 픽셀점 서브집합을 추출하는 방식으로, 비 마스크 영역에서 제2 픽셀점 서브집합을 추출한다. 구체적인 구현 과정 및 원리는 단계 204의 상세한 설명을 참조할 수 있고, 여기서 반복하지 않는다.
단계 205, 사전 설정된 포인트 클라우드 모델의 제1 인코더를 사용하여, 각 차량에 대응되는 제1 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징에 대해 인코딩 처리하여, 각 차량에 대응되는 제1 벡터를 결정한다.
사전 설정된 포인트 클라우드 모델은 사전 트레이닝된, 입력된 점집합을 처리하여, 점집합에 대응되는 특징 표현을 생성하는 모델을 의미한다.
차량에 대응되는 제1 벡터는 차량 고유 픽셀점의 특징 표현을 의미할 수 있고, 차량 고유의 특징을 나타내는데 사용될 수 있다.
픽셀점의 이미지 특징은 픽셀점의 RGB 픽셀값 등을 포함할 수 있다.
본 출원의 실시예에서, 포인트 클라우드 모델은 입력된 무질서한 점집합 데이터에 따라, 점집합 데이터의 특징 표현을 직접 생성할 수 있기 때문에, 포인트 클라우드 모델을 사용하여 차량의 특징을 생성하여, 차량 특징에 대한 고효율 추출을 구현할 수 있다. 가능한 구현 방식으로서, 차량의 특징 유형은 사전 결정될 수 있으며, 예를 들어 차량의 특징 유형은 ReID 특징일 수 있고, 차량을 포함하는 대량의 샘플 이미지를 획득한 후, 각 샘플 이미지에 대해 인스턴스 분할을 수행하여 각 샘플 이미지 중의 각 차량에 대응되는 검출 박스 및 마스크 영역을 생성하고, 나아가 ReID 특징 추출 알고리즘을 사용하여 각 샘플 이미지 중의 각 차량에 대응되는 마스크 영역의 샘플 제1 ReID 특징을 결정하고, 검출 박스 내의 마스크 영역에서 샘플 제1 픽셀점 서브집합을 추출한 후, 초기 포인트 클라우드 모델을 사용하여 각 차량에 대응되는 샘플 제1 ReID 특징과 샘플 제1 픽셀점 서브집합의 대응 관계를 러닝하여, 사전 설정된 포인트 클라우드 모델의 제1 인코더를 생성한다. 따라서, 사전 설정된 포인트 클라우드 모델의 제1 인코더가 차량의 제1 ReID 특징과 제1 픽셀점 서브집합 사이의 관련성을 러닝함으로써, 차량에 대응되는 제1 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징을 사전 설정된 포인트 클라우드 모델의 제1 인코더에 입력하면, 제1 인코더는 제1 픽셀점 서브집합 중의 각 픽셀점의 RGB 픽셀값에 대해 인코딩 처리하여, 차량에 대응되는 제1 벡터, 즉 차량 고유의 ReID 특징을 생성할 수 있다.
단계 206, 사전 설정된 포인트 클라우드 모델의 제2 인코더를 사용하여, 각 차량에 대응되는 제2 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징에 대해 인코딩 처리하여, 각 차량에 대응되는 제2 벡터를 결정한다.
차량에 대응되는 제2 벡터는 차량의 배경 픽셀점의 특징 표현을 의미할 수 있고, 차량의 배경 특징을 나타내는데 사용될 수 있다.
설명해야 하는 바로는, 차량에 대응되는 제1 픽셀점 서브집합은 차량 고유의 특징을 나타내고, 차량에 대응되는 제2 픽셀점 서브집합은 차량의 배경 특징을 나타내기 때문에, 포인트 클라우드 모델에서 트레이닝하여 제1 인코더와 상이한 제2 인코더를 획득하고, 제2 픽셀점 서브집합에 대해 인코딩 처리하여, 생성된 제2 벡터로 하여금 차량의 배경 특징을 더 정확하게 나타낼 수 있다.
본 출원의 실시예에서, 각 샘플 이미지에 대해 인스턴스 분할을 수행하여, 각 샘플 이미지 중의 각 차량에 대응되는 검출 박스 및 마스크 영역을 생성한 후, ReID 특징 추출 알고리즘을 사용하여 각 샘플 이미지 중의 각 차량에 대응되는 검출 박스 내의 비 마스크 영역의 샘플 제2 ReID 특징을 결정하고, 검출 박스 내의 비 마스크 영역에서 샘플 제2 픽셀점 서브집합을 추출한 후, 초기 포인트 클라우드 모델을 사용하여 각 차량에 대응되는 샘플 제2 ReID 특징과 샘플 제2 픽셀점 서브집합의 대응 관계를 러닝하여, 사전 설정된 포인트 클라우드 모델의 제2 인코더를 생성한다. 따라서, 사전 설정된 포인트 클라우드 모델의 제2 인코더가 차량의 제2 ReID 특징과 제2 픽셀점 서브집합 사이의 관련성을 러닝함으로써, 차량에 대응되는 제2 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징을 사전 설정된 포인트 클라우드 모델의 제2 인코더에 입력하면, 제2 인코더는 제2 픽셀점 서브집합 중의 각 픽셀점의 RGB 픽셀값에 대해 인코딩 처리하여, 차량에 대응되는 제2 벡터, 즉 차량의 배경 영역의 ReID 특징을 생성할 수 있다.
단계 207, 사전 설정된 포인트 클라우드 모델의 디코더를 사용하여, 각 차량에 대응되는 제1 벡터 및 제2 벡터에 대해 디코딩 처리하여, 각 차량의 특징을 결정한다.
본 출원의 실시예에서, 사전 설정된 포인트 클라우드 모델의 상이한 네트워크 분기를 사용하여, 차량 고유 특징의 벡터 표현과 차량의 배경 특징의 벡터 표현을 각각 결정하였기 때문에, 사전 설정된 포인트 클라우드 모델의 디코더를 사용하여 각 차량에 대응되는 제1 벡터와 제2 벡터를 융합하여, 각 차량의 특징을 생성할 수도 있다.
선택적으로, 본 출원의 가능한 구현 방식에서, 사전 설정된 포인트 클라우드 모델의 디코더를 사용하여, 각 차량에 대응되는 제1 벡터와 제2 벡터에 대해 최대 풀링 처리를 수행하여, 각 차량의 제1 벡터와 제2 벡터의 융합을 구현하여, 각 차량의 특징을 생성할 수 있다.
단계 208, 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정하며, 과거 이미지는 비디오 스트림에서 타겟 이미지에 인접한 이전 n 프레임의 이미지이고, n은 양의 정수이다.
상기 단계 208의 구체적인 구현 과정 및 원리는 전술한 실시예의 상세한 설명을 참조할 수 있고, 여기서 반복하지 않는다.
본 출원의 실시예의 기술적 수단에 따르면, 비디오 스트림에서의 현재 시각의 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스 및 마스크 영역을 직접 획득하고, 각 차량에 대응되는 검출 박스 내의 마스크 영역에서 제1 픽셀점 서브집합을 추출하여, 차량의 전경 특징을 나타내고, 비 마스크 영역에서 제2 픽셀점 서브집합을 추출하여, 차량의 배경 특징을 나타내며, 나아가 사전 설정된 포인트 클라우드 모델을 사용하여 추출된 픽셀점 집합에 따라, 차량의 특징을 생성하고, 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정한다. 이에 따라, 포인트 클라우드 모델을 사용하여 차량의 전경 특징 및 배경 특징을 융합하여, 차량 특징을 정확하고 효율있게 추출함으로써 차량 추적의 실시간 성능 및 정확성을 더 향상시킨다.
본 출원의 가능한 구현 형태에서, 클러스터링 알고리즘을 사용하여 타겟 이미지에 대한 인스턴스 분할을 구현하여, 차량에 대응되는 검출 박스를 직접 생성하고, 차량 추적의 실시간 성능을 향상시킬 수 있다.
이하, 도 4를 결합하여, 본 출원의 실시예에서 제공되는 차량 추적 방법에 대해 더 설명할 것이다.
도 4는 본 출원의 실시예에서 제공되는 또 다른 차량 추적 방법의 개략적인 흐름도이다.
도 4에 도시된 바와 같이, 당해 차량 추적 방법은 하기의 단계를 포함한다.
단계 301, 차량 주행 과정에서 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출한다.
상기 단계 301의 구체적인 구현 과정 및 원리는 전술한 실시예의 상세한 설명을 참조할 수 있고, 여기서 반복하지 않는다.
단계 302, 타겟 이미지 중의 각 픽셀점의 특징을 기반으로, 타겟 이미지 중의 픽셀점에 대해 클러스터링 처리를 수행하여, 클러스터링 결과에 따라 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 결정한다.
픽셀점의 특징은 픽셀점의 픽셀값, 인접 영역 픽셀, 인접 영역 픽셀의 픽셀값 등 특징을 포함할 수 있다. 실제 사용 시, 실제 수요에 따라 사용되는 픽셀점의 특징을 선택할 수 있고, 본 출원의 실시예에서 이에 대해 한정하지 않는다.
본 출원의 실시예에서, 클러스터링 알고리즘을 사용하여, 타겟 이미지 중의 각 픽셀점의 특징에 대해 클러스터링 처리를 수행하여, 타겟 이미지 중의 각 픽셀점을 분류하고, 타겟 이미지 중의 각 픽셀점이 차량에 대응되는 픽셀점인지 여부를 결정하고, 동일한 차량에 대응되는 픽셀점인지 여부도 결정할 수 있다. 나아가, 각 차량에 대응되는 픽셀점에 따라, 각 차량에 대응되는 검출 박스를 생성하며, 즉 각 검출 박스에는 동일한 차량에 대응되는 모든 픽셀점을 포함할 수 있다.
가능한 구현 방식으로서, 공간 임베딩에 기반한 인스턴스 분할 알고리즘을 사용하여, 타겟 이미지 중의 각 픽셀점의 특징을 분석하여, 타겟 이미지 중의 각 픽셀점에 대해 클러스터링 처리를 수행하여, 픽셀점에 대한 클러스터링 결과에 따라, 각 차량에 대응되는 검출 박스를 직접 생성할 수 있으므로, 한 단계로 인스턴스 분할을 완료하여, 실시간 성능이 우수하다. 또한, 공간 임베딩에 기반한 인스턴스 분할 알고리즘은 상이한 유형의 예시에 대해, 상이한 클러스터링 반경을 러닝할 수 있으므로, 인스턴스 분할의 정확성이 더 우수하다.
단계 303, 각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출한다.
단계 304, 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정한다.
상기 단계 303-304의 구체적인 구현 과정 및 원리는 전술한 실시예의 상세한 설명을 참조할 수 있고, 여기서 반복하지 않는다.
단계 305, 타겟 이미지 중의 제1 차량의 특징과 과거 이미지 중의 제2 차량의 특징 사이의 매칭도가 임계값보다 큰 경우, 타겟 이미지의 획득 위치 및 획득 시각에 따라, 제2 차량의 이동 궤적을 업데이트한다.
제1 차량은 타겟 이미지 중의 임의의 차량일 수 있고; 제2 차량은 과거 이미지에도 존재하고, 타겟 이미지에도 존재하는 차량을 의미한다.
본 출원의 실시예에서, 도량 러닝 방식으로, 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도를 결정할 수 있다. 구체적으로, 타겟 이미지 중의 하나의 차량에 대해, 도량 러닝 방식으로, 당해 차량과 과거 이미지 중의 각 차량의 특징 사이의 거리를 결정할 수 있다. 특징 사이의 거리가 작을수록, 특징이 더 유사하다는 것을 의미하기에, 당해 차량과 과거 이미지 중의 각 차량의 특징 사이의 거리의 역수를 당해 차량과 과거 이미지 중의 각 차량의 특징 사이의 매칭도로 결정할 수 있다.
가능한 구현 방식으로서, 타겟 이미지 중의 제1 차량에 대해, 과거 이미지 중의 제1 차량의 특징과의 매칭도가 임계값보다 큰 차량을, 제2 차량으로 결정하고, 나아가 과거 이미지 중의 제2 차량의 이동 궤적과 타겟 이미지의 수집 위치에 따라, 타겟 이미지의 수집 위치를 제2 차량의 이동 궤적의 새로 추가된 포인트로 하여, 제2 차량의 이동 궤적에 추가하여, 제2 차량의 이동 궤적을 업데이트할 수 있다.
다른 가능한 구현 방식으로서, 차량의 이동 궤적에는 차량의 위치 정보를 포함할 뿐만 아니라, 차량이 이동 궤적 중의 각 포인트에 도달한 시각의 정보도 포함할 수 있다. 따라서, 본 출원의 실시예에서, 타겟 이미지의 수집 위치를 제2 차량의 이동 궤적의 새로 추가된 포인트로 하여, 제2 차량의 이동 궤적에 추가하는 경우, 또한 타겟 이미지의 수집 시각을 새로 추가된 포인트의 시각 정보로 이동 궤적에 추가하여, 차량 추적 정보의 정확성 및 풍부한 정도를 향상시킬 수 있다.
예를 들어 설명하면, 타겟 이미지의 수집 위치를 제2 차량의 이동 궤적의 새로 추가된 포인트로 하여, 제2 차량의 이동 궤적에 추가하는 경우, 새로 추가된 포인트를 하이라이트로 표시하고, 새로 추가된 포인트를 인접한 이전 시각에서 이동 궤적에 추가된 포인트에 연결하고, 새로 추가된 포인트의 근처에 새로 추가된 포인트의 시각 정보(즉 타겟 이미지의 수집 시각)를 표시한다.
상응하게, 과거 이미지에 제1 차량의 특징과의 매칭도가 임계값보다 큰 제2 차량이 존재하지 않을 경우, 제1 차량은 비디오 스트림에서 처음으로 나타난 새 차량인 것을 결정할 수 있고, 나아가, 제1 차량의 이동 궤적의 시작점을 타겟 이미지의 수집 위치로 결정할 수 있고, 타겟 이미지의 수집 시각을 시작점의 시각 정보로 제1 차량의 이동 궤적에 추가할 수 있다.
본 출원의 실시예의 기술적 수단에 따르면, 타겟 이미지 중의 픽셀점에 대해 클러스터링 처리를 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 직접 획득하고, 각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출한 후, 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정하고, 나아가 타겟 이미지 중의 제1 차량의 특징과 과거 이미지 중의 제2 차량의 특징 사이의 매칭도가 임계값보다 큰 경우, 타겟 이미지의 획득 위치 및 획득 시각에 따라, 제2 차량의 이동 궤적을 업데이트한다. 이에 따라, 클러스터링 알고리즘을 통해 타겟 이미지에 대한 인스턴스 분할을 구현하여, 타겟 이미지에 포함된 기타 개체를 직접 여과하고, 타겟 이미지 중의 차량에 대응되는 검출 박스를 실시간으로 획득하며, 차량의 이동 궤적에 시각 정보를 융합하여, 차량 추적의 실시간 성능을 더 향상시킬 뿐만 아니라, 차량 추적 정보의 정확성 및 풍부한 정도도 더 향상시킬 수 있다.
상기 실시예를 구현하기 위해, 본 출원은 또한 차량 추적 장치를 제공한다.
도 5는 본 출원의 실시예에서 제공되는 차량 추적 장치의 개략적인 구조도이다.
도 5에 도시된 바와 같이, 당해 차량 추적 장치(40)는,
차량 주행 과정에서 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출하는 제1 추출 모듈(41);
타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 획득하는 인스턴스 분할 모듈(42);
각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출하는 제2 추출 모듈(43);
각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정하는 제1 결정 모듈(44); 및
타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정하는 제2 결정 모듈(45) - 과거 이미지는 비디오 스트림에서 타겟 이미지에 인접한 이전 n 프레임의 이미지이고, n은 양의 정수임 -;을 포함한다.
실제 사용 시, 본 출원의 실시예에서 제공되는 차량 추적 장치는 전술한 차량 추적 방법을 수행하기 위해, 임의의 전자 기기에 구성될 수 있다.
본 출원의 실시예의 기술적 수단에 따르면, 비디오 스트림에서의 현재 시각의 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 직접 획득하고, 각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출한 후, 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정하고, 나아가 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정한다. 이에 따라, 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지에 포함된 기타 개체를 직접 여과하고, 타겟 이미지 중의 차량에 대응되는 검출 박스를 실시간으로 획득하여, 후속 처리를 수행함으로써, 차량 추적 효율을 향상시키고, 실시간 성능이 우수하다.
본 출원의 가능한 구현 형태에서, 상기 각 차량에 대응되는 검출 박스에는 마스크 영역 및 비 마스크 영역을 포함하며, 제2 추출 모듈(43)은,
각 차량에 대응되는 검출 박스 내의 마스크 영역에서 제1 픽셀점 서브집합을 추출하는 제1 추출 유닛; 및
각 차량에 대응되는 검출 박스 내의 비 마스크 영역에서 제2 픽셀점 서브집합을 추출하는 제2 추출 유닛;을 포함한다.
나아가, 본 출원의 다른 가능한 구현 형태에서, 상기 제1 결정 모듈(44)은,
사전 설정된 포인트 클라우드 모델의 제1 인코더를 사용하여, 각 차량에 대응되는 제1 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징에 대해 인코딩 처리하여, 각 차량에 대응되는 제1 벡터를 결정하는 제1 결정 유닛;
사전 설정된 포인트 클라우드 모델의 제2 인코더를 사용하여, 각 차량에 대응되는 제2 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징에 대해 인코딩 처리하여, 각 차량에 대응되는 제2 벡터를 결정하는 제2 결정 유닛; 및
사전 설정된 포인트 클라우드 모델의 디코더를 사용하여, 각 차량에 대응되는 제1 벡터 및 제2 벡터에 대해 디코딩 처리하여, 각 차량의 특징을 결정하는 제3 결정 유닛;을 포함한다.
나아가, 본 출원의 또 다른 가능한 형태에서, 상기 제1 픽셀점 서브집합에 포함된 픽셀점 수량은 상기 제2 픽셀점 서브집합에 포함된 픽셀점 수량과 같다.
나아가, 본 출원의 다른 가능한 형태에서, 상기 인스턴스 분할 모듈(42)은,
타겟 이미지 중의 각 픽셀점의 특징을 기반으로, 타겟 이미지 중의 픽셀점에 대해 클러스터링 처리를 수행하여, 클러스터링 결과에 따라 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 결정하는 클러스터링 처리 유닛을 포함한다.
나아가, 본 출원의 다른 가능한 형태에서, 상기 제2 결정 모듈(45)은,
타겟 이미지 중의 제1 차량의 특징과 과거 이미지 중의 제2 차량의 특징 사이의 매칭도가 임계값보다 큰 경우, 타겟 이미지의 획득 위치 및 획득 시각에 따라, 제2 차량의 이동 궤적을 업데이트하는 업데이트 유닛을 포함한다.
설명해야 하는 바로는, 전술한 도 1, 도 3, 도 4에 나타낸 차량 추적 방법의 실시예에 관한 해석과 설명은 당해 실시예의 차량 추적 장치(40)에도 적용되며, 여기서 반복하지 않는다.
본 출원의 실시예의 기술적 수단에 따르면, 비디오 스트림에서의 현재 시각의 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스 및 마스크 영역을 직접 획득하고, 각 차량에 대응되는 검출 박스 내의 마스크 영역에서 제1 픽셀점 서브집합을 추출하여, 차량의 전경 특징을 나타내고, 비 마스크 영역에서 제2 픽셀점 서브집합을 추출하여, 차량의 배경 특징을 나타내며, 나아가 사전 설정된 포인트 클라우드 모델을 사용하여 추출된 픽셀점 집합에 따라, 차량의 특징을 생성하고, 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정한다. 이에 따라, 포인트 클라우드 모델을 사용하여 차량의 전경 특징 및 배경 특징을 융합하여, 차량 특징을 정확하고 효율있게 추출함으로써 차량 추적의 실시간 성능 및 정확성을 더 향상시킨다.
본 출원의 실시예에 따르면, 본 출원은 또한 전자 기기 및 판독 가능 저장 매체를 제공한다.
도6에 도시된 바와 같이, 도6는 본 출원의 실시예의 차량 추적 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 디지털 비서, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 전자 기기는 또한 개인용 디지털 처리, 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본 명세서에 관련된 구성 요소, 이들의 연결 및 관계, 또한 이들의 기능은 단지 예일 뿐이며 본문에서 설명되거나 요구되는 본 출원의 구현을 한정하려는 의도가 아니다.
도6에 도시된 바와 같이, 당해 전자 기기는 하나 또는 하나 이상의 프로세서(501), 메모리(502) 및 고속 인터페이스와 저속 인터페이스를 포함하는 각 구성 요소를 연결하기 위한 인터페이스를 포함한다. 각 구성 요소는 서로 다른 버스를 사용하여 서로 연결되며 공통 메인보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수도 있다. 프로세서는 전자 기기 내부에서 수행되는 명령을 처리할 수 있고, 메모리 내에 혹은 메모리 위에 저장된 외부 입력 장치 또는 출력 장치(예를 들어, 인터페이스에 연결된 디스플레이 기기) 중의 적어도 하나에 GUI의 그래픽 정보를 디스플레이하기 위한 명령을 포함한다. 다른 실시 방식에서, 필요한 경우, 다수의 프로세서 및/또는 다수의 버스와 다수의 메모리를 다수의 메모리와 함께 사용될 수 있다. 마찬가지로 다수의 전자 기기를 연결할 수 있으며 각 전자 기기는 필요한 작업의 일부를 제공한다(예를 들어, 서버 어레이, 블레이드 서버 세트 또는 다중 프로세서 시스템). 도6에서는 하나의 프로세서(501)가 예시로 도시되었다.
메모리(502)는 본 출원에 의해 제공되는 비일시적 컴퓨터 판독 가능 저장 매체이다. 상기 메모리는 적어도 하나의 프로세서에 의해 수행 가능한 명령을 저장하므로, 상기 적어도 하나의 프로세서에 의해 본 출원에서 제공되는 차량 추적 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터 명령이 저장되어 있고, 당해 컴퓨터 명령은 컴퓨터에 의해 본 출원에서 제공되는 차량 추적 방법을 수행하도록 사용된다.
메모리(502)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 수행 가능 프로그램 및 본 출원의 실시예의 차량 추적 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 5에 도시된 제1 추출 모듈(41), 인스턴스 분할 모듈(42), 제2 추출 모듈(43), 제1 결정 모듈(44) 및 제2 결정 모듈(45))과 같은 모듈을 저장하는데 사용될 수 있다. 프로세서(501)는 메모리(502)에 저장되어 있는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 수행함으로써 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하며, 즉 전술한 방법 실시예에 따른 차량 추적 방법을 구현한다.
메모리(502)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있는 바, 여기서 프로그램 저장 영역은 운영 시스템, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고; 데이터 저장 영역은 차량 추적 방법에 따른 전자 기기의 사용시 구축된 데이터 등을 저장할 수 있다. 그 외에, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 메모리 소자, 플래시 메모리 소자 또는 기타 비일시적 솔리드 스테이트 메모리 소자와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(502)는 프로세서(501)에 대해 원격으로 설치되는 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 차량 추적 방법의 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 기업 인트라넷, 근거리 통신망, 모바일 통신망 및 이들의 조합을 포함하지만 이에 제한되지 않는다.
차량 추적 방법의 전자 기기는 입력 장치(503) 및 출력 장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력 장치(503) 및 출력 장치(504)는 버스 또는 다른 방식으로 연결될 수 있고, 도6에서는 버스를 통한 연결을 예시로 도시되었다.
입력 장치(503)는 입력된 디지털 또는 캐릭터 정보를 수신하고, 차량 추적 방법의 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 예를 들어 터치 스크린, 작은 키보드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 하나 이상의 마우스 버튼, 트랙볼, 조이스틱 등과 같은 입력 장치일 수 있다. 출력 장치(504)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함할 수 있으나 이에 제한되지 않는다. 일부 실시 방식에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및 이들의 조합 중의 적어도 하나로 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있으며, 당해 하나 또는 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 수행 및/또는 해석될 수 있고, 당해 프로그램 가능 프로세서는 전용 또는 일반용일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고 또한 데이터 및 명령을 당해 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 사용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 용어 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 의미하고, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터랙션을 제공하기 위해 여기에 설명된 시스템 및 기술은 컴퓨터에서 실시될 수 있다. 당해 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 당해 키보드 및 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 유형의 장치를 사용하여 사용자와의 인터랙션을 제공할 수도 있으며, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감지 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력 또는 촉각 입력을 포함)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술은 백엔드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프런트 엔드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터인 바, 사용자는 당해 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시 방식과 인터랙션할 수 있음), 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소 또는 프런트 엔드 구성 요소의 임의의 조합을 포한하는 컴퓨팅 시스템에서 실시될 수 있다. 시스템의 구성 요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 서로 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 일반적으로 통신 네트워크를 통해 인터랙션한다. 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 대응되는 컴퓨터에서 수행하여 클라이언트와 서버 간의 관계를 생성한다.
본 출원의 실시예의 기술적 수단에 따르면, 비디오 스트림에서의 현재 시각의 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 직접 획득하고, 각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출한 후, 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 타겟 이미지 중의 각 차량의 특징을 결정하고, 나아가 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 타겟 이미지 중의 각 차량의 이동 궤적을 결정한다. 이에 따라, 타겟 이미지에 대해 인스턴스 분할을 수행하여, 타겟 이미지에 포함된 기타 개체를 직접 여과하고, 타겟 이미지 중의 차량에 대응되는 검출 박스를 실시간으로 획득하여, 후속 처리를 수행함으로써, 차량 추적 효율을 향상시키고, 실시간 성능이 우수하다.
이해 가능한 바로는 전술한 다양한 형태의 프로세스에 있어서 단계 재정렬, 추가 또는 삭제를 할 수 있다. 예를 들어, 본 출원에 출원된 기술적 수단이 이루고자 하는 결과를 구현할 수 있는 한, 본 출원에 기재된 각 단계는 병렬로, 순차적으로 또는 다른 순서로 수행될 수 있으나, 본 명세서에서 이에 대해 한정하지 않는다.
전술한 구체적인 실시 방식들은 본 출원의 보호 범위에 대한 한정을 구성하지 않는다. 당업자라면 본 출원의 설계 요건 및 기타 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체가 이루어질 수 있음을 이해해야 한다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 본 출원의 보호 범위에 포함된다.

Claims (14)

  1. 차량 추적 방법에 있어서,
    차량 주행 과정에서 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출하는 단계;
    상기 타겟 이미지에 대해 인스턴스 분할을 수행하여, 상기 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 획득하는 단계;
    각각의 상기 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출하는 단계;
    상기 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 상기 타겟 이미지 중의 각 차량의 특징을 결정하는 단계; 및
    상기 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 상기 타겟 이미지 중의 각 차량의 이동 궤적을 결정하는 단계 - 상기 과거 이미지는 상기 비디오 스트림에서의 상기 타겟 이미지에 인접한 이전 n 프레임의 이미지이고, n은 양의 정수임 -;를 포함하는,
    것을 특징으로 하는 차량 추적 방법.
  2. 제1항에 있어서,
    각 차량에 대응되는 검출 박스에는 마스크 영역 및 비 마스크 영역을 포함하며,
    각 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출하는 단계는,
    각 차량에 대응되는 검출 박스 내의 마스크 영역에서 제1 픽셀점 서브집합을 추출하는 단계; 및
    각 차량에 대응되는 검출 박스 내의 비 마스크 영역에서 제2 픽셀점 서브집합을 추출하는 단계;를 포함하는,
    것을 특징으로 하는 차량 추적 방법.
  3. 제2항에 있어서,
    상기 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하는 단계는,
    사전 설정된 포인트 클라우드 모델의 제1 인코더를 사용하여, 각 차량에 대응되는 제1 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징에 대해 인코딩 처리하여, 각 차량에 대응되는 제1 벡터를 결정하는 단계;
    상기 사전 설정된 포인트 클라우드 모델의 제2 인코더를 사용하여, 각 차량에 대응되는 제2 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징에 대해 인코딩 처리하여, 각 차량에 대응되는 제2 벡터를 결정하는 단계; 및
    상기 사전 설정된 포인트 클라우드 모델의 디코더를 사용하여, 각 차량에 대응되는 제1 벡터 및 제2 벡터에 대해 디코딩 처리하여, 각 차량의 특징을 결정하는 단계;를 포함하는,
    것을 특징으로 하는 차량 추적 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 제1 픽셀점 서브집합에 포함된 픽셀점 수량은 상기 제2 픽셀점 서브집합에 포함된 픽셀점 수량과 같은,
    것을 특징으로 하는 차량 추적 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 타겟 이미지에 대해 인스턴스 분할을 수행하여, 상기 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 획득하는 단계는,
    상기 타겟 이미지 중의 각 픽셀점의 특징을 기반으로, 상기 타겟 이미지 중의 픽셀점에 대해 클러스터링 처리를 수행하여, 클러스터링 결과에 따라 상기 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 결정하는 단계를 포함하는,
    것을 특징으로 하는 차량 추적 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라 상기 타겟 이미지 중의 각 차량의 이동 궤적을 결정하는 단계는,
    상기 타겟 이미지 중의 제1 차량의 특징과 과거 이미지 중의 제2 차량의 특징 사이의 매칭도가 임계값보다 큰 경우, 상기 타겟 이미지의 획득 위치 및 획득 시각에 따라, 상기 제2 차량의 이동 궤적을 업데이트하는 단계를 포함하는,
    것을 특징으로 하는 차량 추적 방법.
  7. 차량 추적 장치에 있어서,
    차량 주행 과정에서 수집된 비디오 스트림에서 현재 시각의 타겟 이미지를 추출하는 제1 추출 모듈;
    상기 타겟 이미지에 대해 인스턴스 분할을 수행하여, 상기 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 획득하는 인스턴스 분할 모듈;
    각각의 상기 차량에 대응되는 검출 박스 내에서 각 차량에 대응되는 픽셀점 집합을 추출하는 제2 추출 모듈;
    상기 각 차량에 대응되는 픽셀점 집합 중의 각 픽셀점의 이미지 특징을 처리하여, 상기 타겟 이미지 중의 각 차량의 특징을 결정하는 제1 결정 모듈; 및
    상기 타겟 이미지 중의 각 차량의 특징과 과거 이미지 중의 각 차량의 특징 사이의 매칭도에 따라, 상기 타겟 이미지 중의 각 차량의 이동 궤적을 결정하는 제2 결정 모듈 - 상기 과거 이미지는 상기 비디오 스트림에서의 상기 타겟 이미지에 인접한 이전 n 프레임의 이미지이고, n은 양의 정수임 -;을 포함하는,
    것을 특징으로 하는 차량 추적 장치.
  8. 제7항에 있어서,
    각 차량에 대응되는 검출 박스에는 마스크 영역 및 비 마스크 영역을 포함하며,
    상기 제2 추출 모듈은,
    각 차량에 대응되는 검출 박스 내의 마스크 영역에서 제1 픽셀점 서브집합을 추출하는 제1 추출 유닛; 및
    각 차량에 대응되는 검출 박스 내의 비 마스크 영역에서 제2 픽셀점 서브집합을 추출하는 제2 추출 유닛;을 포함하는,
    것을 특징으로 하는 차량 추적 장치.
  9. 제8항에 있어서,
    상기 제1 결정 모듈은,
    사전 설정된 포인트 클라우드 모델의 제1 인코더를 사용하여, 각 차량에 대응되는 제1 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징에 대해 인코딩 처리하여, 각 차량에 대응되는 제1 벡터를 결정하는 제1 결정 유닛;
    상기 사전 설정된 포인트 클라우드 모델의 제2 인코더를 사용하여, 각 차량에 대응되는 제2 픽셀점 서브집합 중의 각 픽셀점의 이미지 특징에 대해 인코딩 처리하여, 각 차량에 대응되는 제2 벡터를 결정하는 제2 결정 유닛; 및
    상기 사전 설정된 포인트 클라우드 모델의 디코더를 사용하여, 각 차량에 대응되는 제1 벡터 및 제2 벡터에 대해 디코딩 처리하여, 각 차량의 특징을 결정하는 제3 결정 유닛;을 포함하는,
    것을 특징으로 하는 차량 추적 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 제1 픽셀점 서브집합에 포함된 픽셀점 수량은 상기 제2 픽셀점 서브집합에 포함된 픽셀점 수량과 같은,
    것을 특징으로 하는 차량 추적 장치.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서,
    상기 인스턴스 분할 모듈은,
    상기 타겟 이미지 중의 각 픽셀점의 특징을 기반으로, 상기 타겟 이미지 중의 픽셀점에 대해 클러스터링 처리를 수행하여, 클러스터링 결과에 따라 상기 타겟 이미지 중의 각 차량에 대응되는 검출 박스를 결정하는 클러스터링 처리 유닛을 포함하는,
    것을 특징으로 하는 차량 추적 장치.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    상기 제2 결정 모듈은,
    상기 타겟 이미지 중의 제1 차량의 특징과 과거 이미지 중의 제2 차량의 특징 사이의 매칭도가 임계값보다 큰 경우, 상기 타겟 이미지의 획득 위치 및 획득 시각에 따라, 상기 제2 차량의 이동 궤적을 업데이트하는 업데이트 유닛을 포함하는,
    것을 특징으로 하는 차량 추적 장치.
  13. 전자 기기에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리;를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행될 경우, 상기 적어도 하나의 프로세서가 제1항 내지 제6항 중 어느 한 항에 따른 차량 추적 방법을 수행하는,
    것을 특징으로 하는 전자 기기.
  14. 컴퓨터 프로그램이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 프로그램의 명령이 수행될 경우, 컴퓨터가 제1항 내지 제6항 중 어느 한 항에 따른 차량 추적 방법을 수행하는,
    것을 특징으로 하는 컴퓨터 프로그램이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020227025961A 2020-05-29 2020-10-30 차량 추적 방법, 장치 및 전자 기기 KR20220113829A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010478496.9A CN111709328B (zh) 2020-05-29 2020-05-29 车辆跟踪方法、装置及电子设备
CN202010478496.9 2020-05-29
PCT/CN2020/125446 WO2021238062A1 (zh) 2020-05-29 2020-10-30 车辆跟踪方法、装置及电子设备

Publications (1)

Publication Number Publication Date
KR20220113829A true KR20220113829A (ko) 2022-08-16

Family

ID=72537343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227025961A KR20220113829A (ko) 2020-05-29 2020-10-30 차량 추적 방법, 장치 및 전자 기기

Country Status (6)

Country Link
US (1) US20230186486A1 (ko)
EP (1) EP4116867A4 (ko)
JP (1) JP7429796B2 (ko)
KR (1) KR20220113829A (ko)
CN (1) CN111709328B (ko)
WO (1) WO2021238062A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709328B (zh) * 2020-05-29 2023-08-04 北京百度网讯科技有限公司 车辆跟踪方法、装置及电子设备
CN112270244A (zh) * 2020-10-23 2021-01-26 平安科技（深圳）有限公司 目标物违规监控方法、装置、电子设备及存储介质
CN112489450B (zh) * 2020-12-21 2022-07-08 阿波罗智联(北京)科技有限公司 交通路口处的车辆流量控制方法、路侧设备及云控平台
CN112987764B (zh) * 2021-02-01 2024-02-20 鹏城实验室 降落方法、装置、无人机以及计算机可读存储介质
CN113160272B (zh) * 2021-03-19 2023-04-07 苏州科达科技股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113901911B (zh) * 2021-09-30 2022-11-04 北京百度网讯科技有限公司 图像识别、模型训练方法、装置、电子设备及存储介质
CN114067270B (zh) * 2021-11-18 2022-09-09 华南理工大学 一种车辆追踪方法和装置、计算机设备及存储介质
CN114155278A (zh) * 2021-11-26 2022-03-08 浙江商汤科技开发有限公司 目标跟踪及相关模型的训练方法和相关装置、设备、介质
CN114463705A (zh) * 2022-02-07 2022-05-10 厦门市执象智能科技有限公司 一种基于视频流行为轨迹自动识别检测方法
CN115050190B (zh) * 2022-06-13 2024-01-23 天翼数字生活科技有限公司 一种道路车辆监控方法及其相关装置
CN114973169A (zh) * 2022-08-02 2022-08-30 山东建筑大学 基于多目标检测和跟踪的车辆分类计数方法及系统
CN116091552B (zh) * 2023-04-04 2023-07-28 上海鉴智其迹科技有限公司 基于DeepSORT的目标跟踪方法、装置、设备及存储介质
CN117237418B (zh) * 2023-11-15 2024-01-23 成都航空职业技术学院 一种基于深度学习的运动目标检测方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5344618B2 (ja) 2009-11-30 2013-11-20 住友電気工業株式会社 移動体追跡装置、追跡方法及びコンピュータプログラム
JP5036084B2 (ja) * 2010-10-14 2012-09-26 シャープ株式会社 映像処理装置、映像処理方法、及びプログラム
KR101382902B1 (ko) * 2012-06-29 2014-04-23 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
US9070289B2 (en) 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
CN104183127B (zh) * 2013-05-21 2017-02-22 北大方正集团有限公司 交通监控视频检测方法和装置
US9824434B2 (en) * 2015-08-18 2017-11-21 Industrial Technology Research Institute System and method for object recognition
JP6565661B2 (ja) 2015-12-17 2019-08-28 富士通株式会社 画像処理システム、画像類似判定方法および画像類似判定プログラム
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN107909005A (zh) * 2017-10-26 2018-04-13 西安电子科技大学 基于深度学习的监控场景下人物姿态识别方法
CN108053427B (zh) * 2017-10-31 2021-12-14 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN109389671B (zh) * 2018-09-25 2020-09-22 南京大学 一种基于多阶段神经网络的单图像三维重建方法
US11100352B2 (en) * 2018-10-16 2021-08-24 Samsung Electronics Co., Ltd. Convolutional neural network for object detection
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人
CN109993091B (zh) * 2019-03-25 2020-12-15 浙江大学 一种基于背景消除的监控视频目标检测方法
CN110349138B (zh) * 2019-06-28 2021-07-27 歌尔股份有限公司 基于实例分割框架的目标物体的检测方法及装置
CN110895810B (zh) * 2019-10-24 2022-07-05 中科院广州电子技术有限公司 基于改进Mask RCNN的染色体图像实例分割方法及装置
CN110956643A (zh) * 2019-12-04 2020-04-03 齐鲁工业大学 一种基于MDNet的改进车辆跟踪方法及系统
CN111709328B (zh) * 2020-05-29 2023-08-04 北京百度网讯科技有限公司 车辆跟踪方法、装置及电子设备

Also Published As

Publication number Publication date
US20230186486A1 (en) 2023-06-15
EP4116867A4 (en) 2024-02-07
WO2021238062A1 (zh) 2021-12-02
JP2023511455A (ja) 2023-03-17
EP4116867A1 (en) 2023-01-11
JP7429796B2 (ja) 2024-02-08
CN111709328B (zh) 2023-08-04
CN111709328A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
KR20220113829A (ko) 차량 추적 방법, 장치 및 전자 기기
US20220383535A1 (en) Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium
US10275653B2 (en) Primary video objects with neighborhood reversibility
CN111598164B (zh) 识别目标对象的属性的方法、装置、电子设备和存储介质
Biswas et al. Classification of objects in video records using neural network framework
CN111860506A (zh) 识别文字的方法和装置
CN112528786B (zh) 车辆跟踪方法、装置及电子设备
CN111860479A (zh) 光学字符识别方法、装置、电子设备及存储介质
EP3940665A1 (en) Detection method for traffic anomaly event, apparatus, program and medium
CN111767853B (zh) 车道线检测方法和装置
CN111967302A (zh) 视频标签的生成方法、装置及电子设备
CN112949710A (zh) 一种图像的聚类方法和装置
CN112507949A (zh) 目标跟踪方法、装置、路侧设备以及云控平台
CN111950537B (zh) 斑马线信息获取方法、地图更新方法、装置及系统
CN111832568A (zh) 车牌识别方法、车牌识别模型的训练方法和装置
CN111523515A (zh) 自动驾驶车辆环境认知能力评价方法、设备及存储介质
CN113361344B (zh) 视频事件识别方法、装置、设备及存储介质
CN103902989A (zh) 基于非负矩阵分解的人体动作视频识别方法
CN110147841A (zh) 基于弱监督及无监督部件检测和分割的细粒度分类方法
CN112508003A (zh) 字符识别处理方法和装置
CN111597987B (zh) 用于生成信息的方法、装置、设备和存储介质
CN111832396A (zh) 文档布局的解析方法、装置、电子设备和存储介质
CN114937285B (zh) 动态手势识别方法、装置、设备及存储介质
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
CN111597986A (zh) 用于生成信息的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application