WO2020259264A1 - Procédé de suivi d'un sujet, appareil électronique, et support d'enregistrement lisible par ordinateur - Google Patents

Procédé de suivi d'un sujet, appareil électronique, et support d'enregistrement lisible par ordinateur Download PDF

Info

Publication number
WO2020259264A1
WO2020259264A1 PCT/CN2020/094848 CN2020094848W WO2020259264A1 WO 2020259264 A1 WO2020259264 A1 WO 2020259264A1 CN 2020094848 W CN2020094848 W CN 2020094848W WO 2020259264 A1 WO2020259264 A1 WO 2020259264A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
area
reference image
frame
Prior art date
Application number
PCT/CN2020/094848
Other languages
English (en)
Chinese (zh)
Inventor
康健
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2020259264A1 publication Critical patent/WO2020259264A1/fr

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • a subject tracking method includes:
  • FIG. 10 is a flowchart of a process of obtaining the subject area where the subject is located according to the subject area confidence map in one or more embodiments;
  • the subject area contains the feature information corresponding to the subject and the location information of the subject in the reference image.
  • the feature information includes the subject's color feature, texture feature, shape feature, and spatial relationship feature.
  • the position information can be represented by the coordinate position of the subject in the reference image.
  • sampling through the rotation matrix can increase training samples, improve the accuracy of the classifier, and thereby improve the accuracy of subject tracking.
  • the KCF tracking algorithm uses Fourier transform when sampling the circulant matrix, which can avoid matrix inversion operations and increase the speed of subject tracking.
  • the electronic device uses the first frame of image in the video stream as a reference image and detects the subject area in which the subject contained in the reference image is located, the electronic device can sequentially acquire the images after the first frame of image Each frame of image is tracked until the number of tracked image frames is greater than or equal to the frame number threshold.
  • the electronic device can The next frame that is acquired, that is, the sixth frame image is used as the reference image.
  • the electronic device can obtain the area of the subject in the multi-frame image before the previous image, analyze the movement speed of the subject according to the area of the subject in the multi-frame image, and increase the preset size when the movement speed is greater than or equal to the preset speed , When the moving speed is less than the preset speed, the preset size is reduced.
  • the moving speed of the subject can be calculated according to the position of the subject area in the multi-frame image and the frame rate of the video stream.
  • the range of increase and decrease of the preset size can be set according to actual application requirements, and is not limited here.
  • the greater the moving speed the greater the increase in the preset size; the smaller the moving speed, the smaller the decrease in the preset size.
  • the preset size may be an optimal adjustment size determined when the moving speed of the main body is the preset speed.
  • Operation 602 Acquire a subject region and category corresponding to each subject in the reference image.
  • the tracking order of each subject is based on the score value The order of subjects sorted from high to low.
  • the object of interest is often imaged in the center of the image, or the object between the camera and the object of interest is zoomed in to make the area of the object of interest in the image Bigger.
  • the electronic device determines the tracking order of each subject according to at least one of the priority level of the subject's corresponding category, the size of the subject area, and the location of the subject area, and tracking the images according to the tracking order can improve the effect of subject tracking and satisfy users Individual needs.
  • the electronic device can input the reference image and the center weight map into the subject detection model, and perform the detection to obtain the subject area confidence map.
  • the subject area confidence map contains the confidence values of each pixel for different subject categories. For example, the confidence that a certain pixel belongs to a person is 0.8, the confidence of a flower is 0.1, and the confidence of a dog is 0.1.
  • the subject in the reference image is determined according to the subject region confidence map, and the subject region where the subject is located is obtained.
  • the electronic device may perform difference calculation or logical sum calculation between the highlight area in the reference image and the subject mask map to obtain the subject area corresponding to the subject whose highlight is eliminated in the reference image.
  • the electronic device performs difference processing on the highlight area in the reference image and the subject mask image, that is, the reference image and the corresponding pixel values in the subject mask image are subtracted to obtain the subject area where the subject in the reference image is located.
  • the area where the target object is located is taken as the main body area where the main body is located.
  • the second acquisition module 1106 is configured to sequentially acquire each frame of image after the reference image in the video stream;
  • the ISP processor 1240 processes the original image data pixel by pixel in multiple formats.
  • each image pixel may have a bit depth of 8, 10, 12, or 14 bits, and the ISP processor 1240 may perform one or more image processing operations on the original image data and collect statistical information about the image data. Among them, the image processing operations can be performed with the same or different bit depth accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

L'invention concerne un procédé de suivi d'un sujet comprenant les étapes consistant à : obtenir, à partir d'un flux vidéo, une trame d'image destinée à servir d'image de référence ; réaliser une détection de sujet sur l'image de référence de façon à obtenir, à partir de l'image de référence, une région de sujet dans laquelle un sujet est présent ; obtenir séquentiellement chaque trame d'image suivant l'image de référence dans le flux vidéo ; suivre, sur la base de la région de sujet, chaque trame d'image suivant l'image de référence au moyen d'un algorithme de suivi, de façon à obtenir une région du sujet dans chaque trame d'image ; et lorsque le nombre de trames d'image suivies est supérieur ou égal à un seuil de nombre de trames, utiliser la trame d'image suivante obtenue en tant qu'image de référence, et revenir à l'opération de réalisation d'une détection de sujet sur l'image de référence de façon à obtenir, à partir de l'image de référence, une région de sujet dans laquelle le sujet est présent.
PCT/CN2020/094848 2019-06-28 2020-06-08 Procédé de suivi d'un sujet, appareil électronique, et support d'enregistrement lisible par ordinateur WO2020259264A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910572412.5 2019-06-28
CN201910572412.5A CN110334635B (zh) 2019-06-28 2019-06-28 主体追踪方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2020259264A1 true WO2020259264A1 (fr) 2020-12-30

Family

ID=68143572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/094848 WO2020259264A1 (fr) 2019-06-28 2020-06-08 Procédé de suivi d'un sujet, appareil électronique, et support d'enregistrement lisible par ordinateur

Country Status (2)

Country Link
CN (1) CN110334635B (fr)
WO (1) WO2020259264A1 (fr)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643420A (zh) * 2021-07-02 2021-11-12 北京三快在线科技有限公司 一种三维重建方法及装置
CN114049624A (zh) * 2021-11-17 2022-02-15 中科芯集成电路有限公司 一种基于机器视觉的船舶舱室智能检测方法及系统
CN114697560A (zh) * 2020-12-31 2022-07-01 浙江舜宇智能光学技术有限公司 基于tof成像系统的主动曝光方法及曝光时间的计算方法
CN115035157A (zh) * 2022-05-31 2022-09-09 广东天太机器人有限公司 一种基于视觉跟踪的agv运动控制方法、装置及介质
CN116058814A (zh) * 2021-11-01 2023-05-05 北京荣耀终端有限公司 心率检测方法及电子设备
CN116543330A (zh) * 2023-04-13 2023-08-04 北京京东乾石科技有限公司 农作物信息存储方法、装置、电子设备和计算机可读介质
CN116863249A (zh) * 2023-09-01 2023-10-10 山东拓新电气有限公司 基于人工智能的煤矿传送带跑偏识别方法
CN117615255A (zh) * 2024-01-19 2024-02-27 深圳市浩瀚卓越科技有限公司 基于云台的拍摄追踪方法、装置、设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334635B (zh) * 2019-06-28 2021-08-31 Oppo广东移动通信有限公司 主体追踪方法、装置、电子设备和计算机可读存储介质
CN110650291B (zh) * 2019-10-23 2021-06-08 Oppo广东移动通信有限公司 目标追焦方法和装置、电子设备、计算机可读存储介质
CN112800811B (zh) * 2019-11-13 2023-10-13 深圳市优必选科技股份有限公司 一种色块追踪方法、装置及终端设备
CN111093077A (zh) * 2019-12-31 2020-05-01 深圳云天励飞技术有限公司 一种视频编码方法、装置、电子设备及存储介质
CN111238829A (zh) * 2020-02-12 2020-06-05 上海眼控科技股份有限公司 移动状态的确定方法、装置、计算机设备和存储介质
CN111263187B (zh) * 2020-02-13 2021-07-13 腾讯科技（深圳）有限公司 视频裁剪方法、装置、计算机设备和计算机可读存储介质
CN112528786B (zh) * 2020-11-30 2023-10-31 北京百度网讯科技有限公司 车辆跟踪方法、装置及电子设备
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质
CN113438471A (zh) * 2021-06-18 2021-09-24 京东科技控股股份有限公司 视频处理方法、装置、电子设备及存储介质
CN114219828A (zh) * 2021-11-03 2022-03-22 浙江大华技术股份有限公司 一种基于视频的目标关联方法、装置和可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070075A1 (en) * 2010-09-17 2012-03-22 Honeywell International Inc. Image processing based on visual attention and reduced search based generated regions of interest
CN108062761A (zh) * 2017-12-25 2018-05-22 北京奇虎科技有限公司 基于自适应跟踪框的图像分割方法、装置及计算设备
CN108960290A (zh) * 2018-06-08 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109118510A (zh) * 2018-08-10 2019-01-01 平安科技（深圳）有限公司 一种监控视频处理方法、装置及计算机可读介质
CN109685826A (zh) * 2018-11-27 2019-04-26 哈尔滨工业大学（深圳） 自适应特征选择的目标追踪方法、系统及存储介质
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110334635A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 主体追踪方法、装置、电子设备和计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361700B2 (en) * 2014-05-08 2016-06-07 Tandent Vision Science, Inc. Constraint relationship for use in an image segregation
CN106303044B (zh) * 2016-08-18 2019-08-16 努比亚技术有限公司 一种移动终端和获取对焦值的方法
CN106875425A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种基于深度学习的多目标追踪系统及实现方法
CN107066990B (zh) * 2017-05-04 2019-10-11 厦门美图之家科技有限公司 一种目标跟踪方法及移动设备
CN108062525B (zh) * 2017-12-14 2021-04-23 中国科学技术大学 一种基于手部区域预测的深度学习手部检测方法
CN108229425A (zh) * 2018-01-29 2018-06-29 浙江大学 一种基于高分辨率遥感图像的水体识别方法
CN108347563B (zh) * 2018-02-07 2020-12-22 Oppo广东移动通信有限公司 视频处理方法和装置、电子设备、计算机可读存储介质
CN109272016B (zh) * 2018-08-08 2021-03-23 广州视源电子科技股份有限公司 目标检测方法、装置、终端设备和计算机可读存储介质
CN109858436B (zh) * 2019-01-29 2020-11-27 中国科学院自动化研究所 基于视频动态前景掩膜的目标类别修正方法、检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070075A1 (en) * 2010-09-17 2012-03-22 Honeywell International Inc. Image processing based on visual attention and reduced search based generated regions of interest
CN108062761A (zh) * 2017-12-25 2018-05-22 北京奇虎科技有限公司 基于自适应跟踪框的图像分割方法、装置及计算设备
CN108960290A (zh) * 2018-06-08 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109118510A (zh) * 2018-08-10 2019-01-01 平安科技（深圳）有限公司 一种监控视频处理方法、装置及计算机可读介质
CN109685826A (zh) * 2018-11-27 2019-04-26 哈尔滨工业大学（深圳） 自适应特征选择的目标追踪方法、系统及存储介质
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110334635A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 主体追踪方法、装置、电子设备和计算机可读存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697560A (zh) * 2020-12-31 2022-07-01 浙江舜宇智能光学技术有限公司 基于tof成像系统的主动曝光方法及曝光时间的计算方法
CN113643420A (zh) * 2021-07-02 2021-11-12 北京三快在线科技有限公司 一种三维重建方法及装置
CN116058814A (zh) * 2021-11-01 2023-05-05 北京荣耀终端有限公司 心率检测方法及电子设备
CN114049624A (zh) * 2021-11-17 2022-02-15 中科芯集成电路有限公司 一种基于机器视觉的船舶舱室智能检测方法及系统
CN115035157A (zh) * 2022-05-31 2022-09-09 广东天太机器人有限公司 一种基于视觉跟踪的agv运动控制方法、装置及介质
CN116543330A (zh) * 2023-04-13 2023-08-04 北京京东乾石科技有限公司 农作物信息存储方法、装置、电子设备和计算机可读介质
CN116863249A (zh) * 2023-09-01 2023-10-10 山东拓新电气有限公司 基于人工智能的煤矿传送带跑偏识别方法
CN116863249B (zh) * 2023-09-01 2023-11-21 山东拓新电气有限公司 基于人工智能的煤矿传送带跑偏识别方法
CN117615255A (zh) * 2024-01-19 2024-02-27 深圳市浩瀚卓越科技有限公司 基于云台的拍摄追踪方法、装置、设备及存储介质
CN117615255B (zh) * 2024-01-19 2024-04-19 深圳市浩瀚卓越科技有限公司 基于云台的拍摄追踪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110334635B (zh) 2021-08-31
CN110334635A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
WO2020259264A1 (fr) Procédé de suivi d'un sujet, appareil électronique, et support d'enregistrement lisible par ordinateur
WO2020259179A1 (fr) Procédé de mise au point, dispositif électronique et support d'informations lisible par ordinateur
US11457138B2 (en) Method and device for image processing, method for training object detection model
US11178324B2 (en) Focusing method and device, electronic device and computer-readable storage medium
WO2021017811A1 (fr) Procédé et appareil de traitement d'image, dispositif électronique et support d'informations lisible par ordinateur
WO2021022983A1 (fr) Appareil et procédé de traitement d'images, dispositif électronique et support d'enregistrement lisible par ordinateur
US9615039B2 (en) Systems and methods for reducing noise in video streams
WO2019233266A1 (fr) Procédé de traitement d'image, support de stockage lisible par ordinateur et dispositif électronique
WO2021057652A1 (fr) Procédé et appareil de focalisation, dispositif électronique et support de stockage lisible par ordinateur
US20220166930A1 (en) Method and device for focusing on target subject, and electronic device
WO2020259474A1 (fr) Procédé et appareil de suivi de mise au point, équipement terminal, et support d'enregistrement lisible par ordinateur
WO2019148978A1 (fr) Procédé et appareil de traitement d'images, support de stockage et dispositif électronique
WO2019237887A1 (fr) Procédé de traitement d'images, dispositif électronique et support d'informations lisible par ordinateur
US20210099646A1 (en) Method and Apparatus for Detecting Subject, Electronic Device, and Computer Readable Storage Medium
CN110650291B (zh) 目标追焦方法和装置、电子设备、计算机可读存储介质
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110490196B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
TWI749364B (zh) 移動偵測方法及移動偵測系統
CN110378934B (zh) 主体检测方法、装置、电子设备和计算机可读存储介质
CN110399823B (zh) 主体跟踪方法和装置、电子设备、计算机可读存储介质
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN110688926B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
JP2024528205A (ja) 画像処理方法及び装置、並びに車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20832211

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20832211

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20832211

Country of ref document: EP

Kind code of ref document: A1