RU2019101759A - Обнаружение объектов в видеоданных - Google Patents

Обнаружение объектов в видеоданных Download PDF

Info

Publication number
RU2019101759A
RU2019101759A RU2019101759A RU2019101759A RU2019101759A RU 2019101759 A RU2019101759 A RU 2019101759A RU 2019101759 A RU2019101759 A RU 2019101759A RU 2019101759 A RU2019101759 A RU 2019101759A RU 2019101759 A RU2019101759 A RU 2019101759A
Authority
RU
Russia
Prior art keywords
video data
surface features
representation
frame
dimensional
Prior art date
Application number
RU2019101759A
Other languages
English (en)
Other versions
RU2019101759A3 (ru
Inventor
Джон Брендан МаККОРМАК
Анкур ХАНДА
Эндрю ДЕЙВИСОН
Штефан ЛОЙТЕНЭГГЕР
Original Assignee
Империал Колледж Оф Сайенс, Текнолоджи Энд Медсин
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Империал Колледж Оф Сайенс, Текнолоджи Энд Медсин filed Critical Империал Колледж Оф Сайенс, Текнолоджи Энд Медсин
Publication of RU2019101759A publication Critical patent/RU2019101759A/ru
Publication of RU2019101759A3 publication Critical patent/RU2019101759A3/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Claims (34)

1. Способ обнаружения объектов в видеоданных, содержащий этапы, на которых определяют значения вероятности метки объекта для пространственных элементов кадров видеоданных, используя двумерный классификатор изображений; идентифицируют поверхностные элементы в трехмерном представлении пространственных элементов, наблюдаемых в кадрах видеоданных, соответствующих пространственным элементам, где соответствие между пространственным элементом и поверхностным элементом определяется, основываясь на проекции представления поверхностных элементов, используя предполагаемую расположение для кадра; и обновляют значения вероятности метки объекта для поверхностных элементов, основываясь на значениях вероятности метки объекта для соответствующих пространственных элементов, чтобы обеспечить семантически маркированное трехмерное представление поверхностных элементов объектов, присутствующих в видеоданных.
2. Способ по п. 1, в котором во время обработки упомянутых видеоданных, способ содержит этапы, на которых обнаруживают событие закрытия цикла и применяют пространственную деформацию к представлению поверхностных элементов, причем пространственная деформация модифицирует трехмерные позиции поверхностных элементов в представлении поверхностных элементов, где пространственная деформация модифицирует соответствие между пространственными элементами и представление поверхностных элементов так, что после пространственной деформации значения вероятности метки объекта для первого поверхностного элемента обновляются, используя значения вероятности метки объекта для пространственных элементов, которые ранее соответствовали второму поверхностному элементу.
3. Способ по п. 1 или 2, содержащий этапы, на которых обрабатывают кадры видеоданных без графа расположения, чтобы сформировать трехмерное представление поверхностных элементов, в том числе, на покадровой основе: сравнивают рендерированный кадр, сформированный, используя трехмерное представление поверхностных элементов, с кадром видеоданных из числа кадров видеоданных, чтобы определить расположение устройства получения изображения для кадра видеоданных; и обновляют трехмерное представление поверхностных элементов, используя расположение и данные изображения из кадра видеоданных.
4. Способ по п. 3, в котором подмножество кадров видеоданных, используемых для формирования трехмерного представления поверхностных элементов, вводится в двумерный классификатор изображений.
5. Способ по любому из предшествующих пунктов, в котором кадры видеоданных содержат по меньшей мере одно из следующего: данные цветности, данные глубины или данные нормали; и в котором двумерный классификатор изображений выполнен с возможностью вычисления значений вероятности метки объекта, основываясь по меньшей мере на одном из следующего: данные цветности, данные глубины или данные нормали для кадра.
6. Способ по любому из предшествующих пунктов, в котором двумерный классификатор изображений содержит сверточную нейронную сеть.
7. Способ по п. 6, в котором сверточная нейронная сеть выполнена с возможностью вывода значений вероятности метки объекта как набора пиксельных карт для каждого кадра видеоданных, причем каждая пиксельная карта в наборе соответствует другой метке объекта в наборе доступных меток объекта.
8. Способ по п. 6 или 7, в котором двумерный классификатор изображений содержит обратную сверточную нейронную сеть, средствами связи связанную с выходом сверточной нейронной сети.
9. Способ по любому из предшествующих пунктов, содержащий после обновления значения вероятности метки объекта для поверхностных элементов этап, на котором упорядочивают значения вероятности метки объекта для поверхностных элементов.
10. Способ по п. 9, в котором упорядочивание содержит этап, на котором применяют условную рандомизированную область к значениям вероятности метки объекта для поверхностных элементов в представлении поверхностных элементов.
11. Способ по п. 9 или 10, в котором упорядочивание значений вероятности метки объекта содержит этап, на котором упорядочивают значения вероятности метки объекта, назначенные поверхностным элементам, основываясь на одном или более из следующего: позиции поверхностных элементов, цвета поверхностных элементов или нормали поверхностных элементов.
12. Способ по любому из предшествующих пунктов, содержащий этап, на котором заменяют набор из одного или более поверхностных элементов на трехмерное определение объекта, основываясь на значениях вероятности метки объекта, назначенных упомянутым поверхностным элементам.
13. Способ по любому из предшествующих пунктов, содержащий этапы, на которых аннотируют поверхностные элементы трехмерного представления поверхностных элементов пространства с метками объекта, чтобы обеспечить аннотированное представление; формируют аннотированные кадры видеоданных из аннотированного представления, основываясь на проекции аннотированного представления, причем проекция использует предполагаемое расположение для каждого аннотированного кадра, и каждый аннотированный кадр содержит пространственные элементы с назначенными метками объекта; и обучают двумерный классификатор изображений, используя аннотированные кадры видеоданных.
14. Способ по любому из предшествующих пунктов, содержащий этапы, на которых получают первый кадр видеоданных, соответствующий наблюдению за первым участком объекта; формируют карту изображения для первого кадра видеоданных, используя двумерный классификатор изображений, причем упомянутая карта изображений указывает присутствие первой части объекта в области первого кадра; и определяют, что поверхностный элемент не проецируется на область в первом кадре и, таким образом, не обновляет значения вероятности метки объекта для поверхностного элемента, основываясь на значениях карты изображения в упомянутой области; в котором после обнаружения события закрытия цикла способ содержит этапы, на которых модифицируют трехмерную позицию поверхностного элемента; получают второй кадр видеоданных, соответствующий повторному наблюдению первого участка объекта; формируют карту изображения для второго кадра видеоданных, используя двумерный классификатор изображения, причем карта изображения указывает присутствие первого участка объекта в области второго кадра; определяют, что модифицированный первый поверхностный элемент выполняет проецирование на область второго кадра после события закрытия цикла; и обновляют значения вероятности метки объекта для поверхностного элемента, основываясь на карте изображения для второго кадра видеоданных, где значения вероятности метки объекта для поверхностного элемента содержат объединенные предсказания объекта для поверхностного элемента с многочисленных точек наблюдения.
15. Устройство обнаружения объектов в видеоданных, содержащее интерфейс классификатора изображений для приема двумерных распределений вероятности метки объекта для индивидуальных кадров видеоданных; интерфейс соответствия для приема данных, указывающих для заданного кадра видеоданных соответствие между пространственными элементами внутри заданного кадра и поверхностными элементами в трехмерном представлении поверхностных элементов, причем упомянутое соответствие определяется, основываясь на проекции представления поверхностных элементов, используя предполагаемое расположение для заданного кадра; и семантический усилитель, чтобы итеративно обновлять значения вероятности метки объекта, назначенные индивидуальным поверхностным элементам в трехмерном представлении поверхностных элементов, где семантический усилитель выполнен с возможностью использования для заданного кадра видеоданных данных, полученные интерфейсом соответствия, чтобы применить двумерные распределения вероятности метки объекта принятые интерфейсом классификатора изображений к значениям вероятности метки объекта, назначенным соответствующим поверхностным элементам.
16. Устройство по п. 15, в котором интерфейс согласования выполнен с возможностью обеспечения обновленного соответствия после пространственной деформации представления поверхностных элементов, причем пространственная деформация предписывает закрытие цикла в пределах видеоданных, и семантический усилитель использует обновленное соответствие, чтобы обновить значения вероятности метки объекта для первого поверхностного элемента, используя значения вероятности метки объекта для пространственных элементов, которые ранее соответствовали второму поверхностному элементу.
17. Устройство по п. 15 или 16, в котором интерфейс классификатора изображений выполнен с возможностью приема многочисленных карт изображения, соответствующих определенному множеству меток объекта для заданного кадра видеоданных, причем каждая карта изображения имеет пиксельные значения, указывающие значения вероятности для сопутствующей метки объекта.
18. Устройство по любому из пп. 15-17, содержащее нормализатор для упорядочивания значений вероятности метки объекта, назначенных поверхностным элементам представления поверхностных элементов.
19. Устройство по п. 18, в котором нормализатор выполнен с возможностью применения условной рандомизированной области к значениям вероятности метки объекта для поверхностных элементов в представлении поверхностных элементов.
20. Устройство по п. 18 или 19, в котором нормализатор выполнен с возможностью упорядочивания значений вероятности метки объекта, назначенных поверхностным элементам, основываясь на одном или более из следующего: позиции поверхностных элементов, цвета поверхностных элементов или нормали поверхностных элементов.
21. Устройство по любому из пп. 15-20, в котором семантический усилитель выполнен с возможностью замены набора из одного или более поверхностных элементов с трехмерным определением объекта, основанным на значениях вероятности метки объекта, назначенных упомянутым поверхностным элементам.
22. Устройство по любому из пп. 15-21, в котором каждый поверхностный элемент в представлении поверхностных элементов содержит, по меньшей мере, данные, определяющие позицию поверхностного элемента в трех измерениях, и данные, определяющие вектор нормали для поверхностного элемента в трех измерениях, и в котором каждый поверхностный элемент представляет двумерную область в трехмерном пространстве.
23. Система обработки видеоданных для обнаружения объектов, присутствующих в видеоданных, содержащая устройство по любому из пп. 15-22; интерфейс сбора видеоданных для получения кадров видеоданных от устройства получения изображения, причем упомянутые кадры видеоданных являются результатом относительного движения между устройством получения изображения и трехмерным пространством во времени; и систему одновременного определения местоположения и отображения (SLAM), средствами связи связанную с интерфейсом соответствия устройства, чтобы сформировать представление поверхностных элементов трехмерного пространства, основываясь на полученных кадрах видеоданных, в котором система SLAM выполнена с возможностью применения пространственной деформации к представлению поверхностных элементов, чтобы замкнуть циклы наблюдения внутри кадров видеоданных, причем упомянутая пространственная деформация приводит в результате к новой трехмерной позиции по меньшей мере для одного модифицированного поверхностного элемента в представлении поверхностных элементов.
24. Система обработки видеоданных по п. 23, в которой система SLAM содержит сегментатор, выполненный с возможностью сегментации представления трехмерного поверхностного элемента, по меньшей мере, на активный и неактивный участки, основываясь по меньшей мере на одном свойстве представления, в которой система SLAM выполнена с возможностью вычисления активного рендерированного кадра, основываясь на проекции активных участков представления поверхностных элементов, чтобы обновлять упомянутое представление во времени; и механизм регистрации, выполненный с возможностью выравнивания активных участков трехмерного представления поверхностных элементов с неактивными участками трехмерного представления поверхностных элементов во времени, причем механизм регистрации выполнен с возможностью вычисления неактивного рендерированного кадра, основываясь на проекции неактивных участков трехмерного представления поверхностных элементов; определения пространственной деформации, которая выравнивает активный рендерированный кадр с неактивным рендерированным кадром; и обновления трехмерного представления поверхностных элементов, применяя пространственную деформацию.
25. Система обработки видеоданных по п. 23 или 24, в которой система SLAM содержит компонент слежения за кадром в модели, выполненный с возможностью сравнения активного рендерированного кадра с предоставленным кадром из упомянутых видеоданных, чтобы определить выравнивание активных участков трехмерного представления поверхностных элементов с видеоданными.
26. Система обработки видеоданных по любому из пп. 24-25, в которой механизм регистрации выполнен с возможностью использования графа деформации, чтобы выровнять активные участки трехмерного представления поверхностных элементов с неактивными участками трехмерного представления поверхностных элементов, причем граф деформации вычисляется, основываясь на времени инициализации для поверхностных элементов, и граф деформации указывает набор соседних поверхностных элементов с заданным поверхностным элементом, которые должны использоваться для модификации заданного поверхностного элемента во время выравнивания.
27. Система обработки видеоданных по любому из пп. 23-26, содержащая двумерный классификатор изображений, средствами связи связанный с интерфейса классификатора изображений, для вычисления распределений вероятности метки объекта для кадров видеоданных, полученных от интерфейса сбора видеоданных.
28. Система обработки видеоданных по п. 27, в которой двумерный классификатор изображений содержит сверточную нейронную сеть.
29. Система обработки видеоданных по п. 28, в которой сверточная нейронная сеть выполнена с возможностью вывода значений вероятности метки объекта в виде набора пиксельных карт для каждого кадра видеоданных.
30. Система обработки видеоданных по п. 28 или 29, в которой двумерный классификатор изображений содержит обратную сверточную нейронную сеть, средствами связи связанную с выходом сверточной нейронной сети.
31. Робототехническое устройство, содержащее по меньшей мере одно устройство получения изображения для обеспечения кадров видеоданных, содержащее одним или более данные глубины или данные цветности, причем упомянутые данные глубины указывают расстояние от устройства получения изображения для множества элементов изображения; устройство по любому из пп. 15-22 или система обработки видеоданных по любому из пп. 23-30; один или более приводов движения для движения робототехнического устройства в трехмерном пространстве; и механизм навигации для управления одним или более приводами движения, в котором механизм навигации выполнен с возможность получения доступа к значениям вероятности метки объекта, назначенным индивидуальным поверхностным элементам в трехмерном представлении пространственных элементов, для управляемого движения робототехнического устройства внутри трехмерного пространства.
32. Робототехническое устройство заявления 31, в чем механизм навигации конфигурируется, чтобы идентифицировать точки входа и точки выхода для комнаты, основанной на значениях вероятности метки объекта, присвоенных поверхностным элементам в трехмерном представлении поверхностных элементов.
33. Мобильное компьютерное устройство, содержащее по меньшей мере одно устройство получения изображения, выполненное с возможностью записи кадров видеоданных, содержащих одни или более из данных глубины или данных цветности, причем упомянутые данные глубины указывают расстояние от устройства получения изображения для множества элементов изображения, и устройство по любому из пп. 15-22 или система обработки видеоданных по любому из пп. 23-30.
34. Постоянный считываемый компьютером носитель, содержащий исполняемые компьютером команды, которые, когда выполняются процессором, заставляют компьютерное устройство выполнять способ обработки видеоданных по любому из пп. 1-14.
RU2019101759A 2016-06-24 2017-06-09 Обнаружение объектов в видеоданных RU2019101759A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1611033.0A GB2554633B (en) 2016-06-24 2016-06-24 Detecting objects in video data
GB1611033.0 2016-06-24
PCT/GB2017/051679 WO2017220966A1 (en) 2016-06-24 2017-06-09 Detecting objects in video data

Publications (2)

Publication Number Publication Date
RU2019101759A true RU2019101759A (ru) 2020-07-24
RU2019101759A3 RU2019101759A3 (ru) 2020-09-30

Family

ID=56891621

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019101759A RU2019101759A (ru) 2016-06-24 2017-06-09 Обнаружение объектов в видеоданных

Country Status (11)

Country Link
US (1) US10915731B2 (ru)
EP (1) EP3475875A1 (ru)
JP (1) JP7009399B2 (ru)
KR (1) KR20190038808A (ru)
CN (1) CN109643368B (ru)
AU (1) AU2017281822A1 (ru)
BR (1) BR112018076556A2 (ru)
GB (1) GB2554633B (ru)
RU (1) RU2019101759A (ru)
SG (1) SG11201811330WA (ru)
WO (1) WO2017220966A1 (ru)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
US11017269B2 (en) * 2016-09-30 2021-05-25 General Electric Company System and method for optimization of deep learning architecture
EP3537867B1 (en) * 2016-11-08 2023-08-02 Dogtooth Technologies Limited A robotic fruit picking system
US10048753B1 (en) * 2017-04-20 2018-08-14 Robert C. Brooks Perspective or gaze based visual identification and location system
US11158036B2 (en) * 2017-08-31 2021-10-26 Sony Group Corporation Methods, devices, and computer program products for checking environment acceptability for 3D scanning
US10872228B1 (en) * 2017-09-27 2020-12-22 Apple Inc. Three-dimensional object detection
LU100465B1 (en) * 2017-10-05 2019-04-09 Applications Mobiles Overview Inc System and method for object recognition
US10970553B2 (en) * 2017-11-15 2021-04-06 Uatc, Llc Semantic segmentation of three-dimensional data
US10572775B2 (en) 2017-12-05 2020-02-25 X Development Llc Learning and applying empirical knowledge of environments by robots
JP7047849B2 (ja) * 2017-12-14 2022-04-05 日本電気株式会社 識別装置、識別方法、および識別プログラム
US11430069B1 (en) * 2018-01-15 2022-08-30 Corelogic Solutions, Llc Damage prediction system using artificial intelligence
JP7476104B2 (ja) * 2018-01-19 2024-04-30 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群処理
WO2019162241A1 (en) * 2018-02-21 2019-08-29 Robert Bosch Gmbh Real-time object detection using depth sensors
US10671835B2 (en) 2018-03-05 2020-06-02 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Object recognition
US10410354B1 (en) 2018-03-06 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for multi-model primitive fitting based on deep geometric boundary and instance aware segmentation
US11062469B2 (en) 2018-03-09 2021-07-13 Microsoft Technology Licensing, Llc 4D tracking utilizing depth data from multiple 3D cameras
US10762662B2 (en) * 2018-03-14 2020-09-01 Tata Consultancy Services Limited Context based position estimation of target of interest in videos
WO2019185170A1 (en) * 2018-03-30 2019-10-03 Toyota Motor Europe Electronic device, robotic system and method for localizing a robotic system
US11202006B2 (en) * 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
WO2020030949A1 (en) 2018-08-08 2020-02-13 Abyssal S.A. System and method of operation for remotely operated vehicles for automatic detection of structure integrity threats
WO2020030951A1 (en) 2018-08-08 2020-02-13 Abyssal S.A. System and method of operation for remotely operated vehicles for simultaneous localization and mapping
AU2018435825A1 (en) 2018-08-08 2021-02-18 Ocean Infinity (Portugal), S.A. System and method of operation for remotely operated vehicles leveraging synthetic data to train machine learning models
CA3108353A1 (en) 2018-08-08 2020-02-13 Abyssal S.A. System and method of operation for remotely operated vehicles with improved position estimation
US11113823B2 (en) * 2018-10-01 2021-09-07 Seiko Epson Corporation Three-dimensional detection and tracking pipline recommendation using performance prediction
US10983217B2 (en) * 2018-11-30 2021-04-20 Huawei Technologes Co. Ltd. Method and system for semantic label generation using sparse 3D data
US10832392B2 (en) * 2018-12-19 2020-11-10 Siemens Healthcare Gmbh Method, learning apparatus, and medical imaging apparatus for registration of images
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
CN109711365A (zh) * 2018-12-29 2019-05-03 佛山科学技术学院 一种融合语义信息的视觉slam回环检测方法及装置
EP3680812A1 (en) * 2019-01-11 2020-07-15 Aptiv Technologies Limited Method for classifying an image taken by a sensor
US10872326B2 (en) * 2019-02-25 2020-12-22 Walmart Apollo, Llc Systems and methods of product recognition through multi-model image processing
US10891744B1 (en) * 2019-03-13 2021-01-12 Argo AI, LLC Determining the kinetic state of a body using LiDAR point cloud registration with importance sampling
US11315328B2 (en) * 2019-03-18 2022-04-26 Facebook Technologies, Llc Systems and methods of rendering real world objects using depth information
CN109919989B (zh) * 2019-03-27 2023-11-14 广东工业大学 一种雷达电力巡检的点云数据配准方法、装置及设备
US11288857B2 (en) * 2019-04-04 2022-03-29 Google Llc Neural rerendering from 3D models
US11176374B2 (en) * 2019-05-01 2021-11-16 Microsoft Technology Licensing, Llc Deriving information from images
US11875252B2 (en) 2019-05-17 2024-01-16 Robert Bosch Gmbh Neural network including a neural network projection layer configured for a summing parameter
CN112015938B (zh) * 2019-05-28 2024-06-14 杭州海康威视数字技术股份有限公司 点云标签传递方法、装置及系统
US11610142B2 (en) * 2019-05-28 2023-03-21 Ati Technologies Ulc Safety monitor for image misclassification
US11210199B2 (en) 2019-05-31 2021-12-28 Ati Technologies Ulc Safety monitor for invalid image transform
JP6618162B1 (ja) * 2019-06-06 2019-12-11 クリスタルメソッド株式会社 評価装置、及び評価システム
CN110428394B (zh) * 2019-06-14 2022-04-26 北京迈格威科技有限公司 用于目标移动侦测的方法、装置及计算机存储介质
CN110110727B (zh) * 2019-06-18 2023-04-18 南京景三医疗科技有限公司 基于条件随机场和贝叶斯后处理的图像分割方法
CN114424203A (zh) * 2019-08-14 2022-04-29 Abb瑞士股份有限公司 用于确定锁型的方法和装置
KR20210029586A (ko) * 2019-09-06 2021-03-16 엘지전자 주식회사 이미지 내의 특징적 객체에 기반하여 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버
WO2021060684A1 (ko) * 2019-09-29 2021-04-01 주식회사 작당모의 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치
US11455531B2 (en) * 2019-10-15 2022-09-27 Siemens Aktiengesellschaft Trustworthy predictions using deep neural networks based on adversarial calibration
CN110781262B (zh) * 2019-10-21 2023-06-02 中国科学院计算技术研究所 基于视觉slam的语义地图的构建方法
US11222238B2 (en) * 2019-11-14 2022-01-11 Nec Corporation Object detection with training from multiple datasets
CN115004193A (zh) * 2019-11-15 2022-09-02 伟摩有限责任公司 生成环境数据
US11407431B2 (en) 2019-11-22 2022-08-09 Samsung Electronics Co., Ltd. System and method for object trajectory prediction in an autonomous scenario
CN111222543B (zh) * 2019-12-19 2024-03-22 津海威视技术(天津)有限公司 物质识别方法和设备及计算机可读存储介质
CN111192299A (zh) * 2019-12-20 2020-05-22 中冶天工集团有限公司 一种基于综合管廊视频监控系统的人员轨迹定位方法
CN111428551B (zh) * 2019-12-30 2023-06-16 杭州海康威视数字技术股份有限公司 密度检测方法、密度检测模型训练方法和装置
CN111260774B (zh) * 2020-01-20 2023-06-23 北京百度网讯科技有限公司 生成3d关节点回归模型的方法和装置
CN111310643B (zh) * 2020-02-12 2023-08-29 北京师范大学 一种基于点云数据的车辆计数方法、装置及电子设备
KR102297103B1 (ko) * 2020-02-19 2021-09-03 한국과학기술원 3차원 장면 그래프 생성 방법 및 장치
US11443141B2 (en) 2020-02-27 2022-09-13 International Business Machines Corporation Using video tracking technology to create machine learning datasets for tasks
WO2021176422A1 (en) * 2020-03-06 2021-09-10 Yembo, Inc. Systems and methods for building a virtual representation of a location
CA3184408A1 (en) * 2020-03-30 2021-10-07 Tetavi Ltd. Techniques for improving mesh accuracy using labeled inputs
US20210329306A1 (en) * 2020-04-15 2021-10-21 Nvidia Corporation Video compression using neural networks
CN111582447B (zh) * 2020-04-30 2023-04-07 电子科技大学 基于多种网络特征的闭环检测方法
US11709917B2 (en) * 2020-05-05 2023-07-25 Nanjing University Point-set kernel clustering
US11275970B2 (en) * 2020-05-08 2022-03-15 Xailient Systems and methods for distributed data analytics
WO2021234623A1 (en) * 2020-05-22 2021-11-25 Cron Systems Pvt. Ltd. System and method for transposition of a detected object and its tracking to a different device
US11436812B2 (en) * 2020-05-29 2022-09-06 Open Space Labs, Inc. Machine learning based object identification using scaled diagram and three-dimensional model
US11676392B2 (en) * 2020-06-03 2023-06-13 Waymo Llc Localization using surfel data
US11541903B2 (en) * 2020-06-03 2023-01-03 Waymo Llc Autonomous driving with surfel maps
US11222232B1 (en) 2020-06-19 2022-01-11 Nvidia Corporation Using temporal filters for automated real-time classification
US20220063662A1 (en) * 2020-08-26 2022-03-03 Waymo Llc Autonomous driving with surfel maps
CN112131958B (zh) * 2020-08-28 2022-05-20 成都信息工程大学 一种自动识别西南低涡的方法
CN111985578A (zh) * 2020-09-02 2020-11-24 深圳壹账通智能科技有限公司 多源数据融合方法、装置、计算机设备及存储介质
US11417110B2 (en) 2020-09-09 2022-08-16 Waymo Llc Annotated surfel maps
US11561552B2 (en) * 2020-09-15 2023-01-24 Waymo Llc Detecting environment changes using surfel data
US11699274B2 (en) 2020-10-06 2023-07-11 Waymo Llc Long range localization with surfel maps
KR102399460B1 (ko) * 2020-10-15 2022-05-17 건국대학교 산학협력단 의미론적 분할 기반의 3차원 포인트 클라우드 분류 장치 및 방법
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
US11145076B1 (en) * 2020-10-27 2021-10-12 R-Go Robotics Ltd Incorporation of semantic information in simultaneous localization and mapping
CN112312113B (zh) * 2020-10-29 2022-07-15 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
US11734880B2 (en) * 2020-12-31 2023-08-22 Waymo Llc Sensor calibration with environment map
CN112699263B (zh) * 2021-01-08 2023-05-23 郑州科技学院 基于ai的二维美术图像动态展示方法及装置
KR102489927B1 (ko) * 2021-01-22 2023-01-18 한국과학기술연구원 증강현실 엔진에 독립적인 피처 데이터 기반의 엔터티 추적 방법 및 장치
CN112785643A (zh) * 2021-02-02 2021-05-11 武汉科技大学 一种基于机器人平台的室内墙角二维语义地图构建方法
CN113094551B (zh) * 2021-02-19 2023-09-19 深圳市麦谷科技有限公司 行车记录仪视频的检索方法、装置、服务端及检索系统
US20220319054A1 (en) * 2021-03-01 2022-10-06 Waymo Llc Generating scene flow labels for point clouds using object labels
CN113313742A (zh) * 2021-05-06 2021-08-27 Oppo广东移动通信有限公司 图像深度估计方法、装置、电子设备及计算机存储介质
US11640698B2 (en) 2021-05-27 2023-05-02 International Business Machines Corporation Mapping physical locations to fit virtualized AR and VR environments
CN113593053A (zh) * 2021-07-12 2021-11-02 北京市商汤科技开发有限公司 视频帧修正方法及相关产品
CN114280566B (zh) * 2021-11-30 2023-05-23 电子科技大学 一种类标签关联一维距离像识别方法
KR20230102441A (ko) 2021-12-30 2023-07-07 주식회사 버넥트 맵 타겟 생성을 위한 사용자 인터페이스 제공 방법 및 그 시스템
WO2023132817A1 (en) * 2022-01-04 2023-07-13 Hewlett-Packard Development Company, L.P. Temperature profile deformation predictions
CN115965673B (zh) * 2022-11-23 2023-09-12 中国建筑一局(集团)有限公司 基于双目视觉的集中式多机器人定位方法
CN116071694B (zh) * 2023-03-07 2023-06-23 浙江华是科技股份有限公司 船舶检测方法、装置及计算机可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609860B2 (en) * 2005-06-14 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Bilinear illumination model for robust face recognition
ES2522589T3 (es) * 2007-02-08 2014-11-17 Behavioral Recognition Systems, Inc. Sistema de reconocimiento conductual
DE102007048320A1 (de) * 2007-10-09 2008-05-15 Daimler Ag Verfahren zur Anpassung eines Objektmodells an eine dreidimensionale Punktwolke
GB0818561D0 (en) * 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
CN101930284B (zh) 2009-06-23 2014-04-09 腾讯科技（深圳）有限公司 一种实现视频和虚拟网络场景交互的方法、装置和系统
CN101763636B (zh) * 2009-09-23 2012-07-04 中国科学院自动化研究所 视频序列中的三维人脸位置和姿态跟踪的方法
US8786625B2 (en) 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
US8494285B2 (en) * 2010-12-09 2013-07-23 The Hong Kong University Of Science And Technology Joint semantic segmentation of images and scan data
DE102011075253A1 (de) * 2011-05-04 2012-11-08 Eberhard-Karls-Universität Tübingen Verfahren zur Bestimmung der relativen Lage eines Objekts im Raum sowie optisches Eingabesystem
US8879828B2 (en) * 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
TWI461963B (zh) * 2011-08-17 2014-11-21 Wistron Corp 電腦鍵盤及其控制方法
US10033979B2 (en) * 2012-03-23 2018-07-24 Avigilon Fortress Corporation Video surveillance systems, devices and methods with improved 3D human pose and shape modeling
WO2014033055A1 (en) 2012-08-27 2014-03-06 Aktiebolaget Electrolux Robot positioning system
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
EP3032495B1 (en) * 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
GB2538751A (en) 2015-05-27 2016-11-30 Imp College Of Science Tech And Medicine Modelling a three-dimensional space
GB2576322B (en) * 2018-08-13 2022-11-09 Imperial College Innovations Ltd Mapping object instances using video data

Also Published As

Publication number Publication date
CN109643368B (zh) 2023-09-22
EP3475875A1 (en) 2019-05-01
JP2019520654A (ja) 2019-07-18
US10915731B2 (en) 2021-02-09
JP7009399B2 (ja) 2022-01-25
WO2017220966A1 (en) 2017-12-28
SG11201811330WA (en) 2019-01-30
GB2554633B (en) 2020-01-22
US20190147220A1 (en) 2019-05-16
GB201611033D0 (en) 2016-08-10
GB2554633A (en) 2018-04-11
BR112018076556A2 (pt) 2019-04-02
CN109643368A (zh) 2019-04-16
KR20190038808A (ko) 2019-04-09
AU2017281822A1 (en) 2019-01-03
RU2019101759A3 (ru) 2020-09-30

Similar Documents

Publication Publication Date Title
RU2019101759A (ru) Обнаружение объектов в видеоданных
US11238668B2 (en) Method for detecting objects and localizing a mobile computing device within an augmented reality experience
Kim et al. Real-time 3D reconstruction and 6-DoF tracking with an event camera
US20230209036A1 (en) Active stereo depth prediction based on coarse matching
US20190147221A1 (en) Pose estimation and model retrieval for objects in images
EP3379459A1 (en) System and method for telecom inventory management
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
JP2020087440A (ja) 位置合わせされたｃａｄモデルを使用するａｒ対応ラベル付け
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
Petrović et al. Stereo vision-based human tracking for robotic follower
US10699438B2 (en) Mobile device localization in complex, three-dimensional scenes
US11669977B2 (en) Processing images to localize novel objects
US20190122027A1 (en) Processing uncertain content in a computer graphics system
US12014459B2 (en) Image processing device, image processing method, and program for forming an accurate three-dimensional map
Tanke et al. Iterative greedy matching for 3d human pose tracking from multiple views
Hansen et al. Fusing information from multiple 2D depth cameras for 3D human pose estimation in the operating room
JP2021060868A (ja) 情報処理装置、情報処理方法、およびプログラム
Luvizon et al. Consensus-based optimization for 3D human pose estimation in camera coordinates
Ge et al. Vipose: Real-time visual-inertial 6d object pose tracking
KR20230049969A (ko) 글로벌 측위 장치 및 방법
US20180350216A1 (en) Generating Representations of Interior Space
Díaz Barros et al. Real-time head pose estimation by tracking and detection of keypoints and facial landmarks
US11610414B1 (en) Temporal and geometric consistency in physical setting understanding
US20200285247A1 (en) Systems and methods for autonomous robot navigation

Legal Events

Date Code Title Description
HZ9A Changing address for correspondence with an applicant
FA92 Acknowledgement of application withdrawn (lack of supplementary materials submitted)

Effective date: 20210224