RU2701051C2 - Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков - Google Patents

Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков Download PDF

Info

Publication number
RU2701051C2
RU2701051C2 RU2018101866A RU2018101866A RU2701051C2 RU 2701051 C2 RU2701051 C2 RU 2701051C2 RU 2018101866 A RU2018101866 A RU 2018101866A RU 2018101866 A RU2018101866 A RU 2018101866A RU 2701051 C2 RU2701051 C2 RU 2701051C2
Authority
RU
Russia
Prior art keywords
feature map
sensor
frame
objects
type
Prior art date
Application number
RU2018101866A
Other languages
English (en)
Other versions
RU2018101866A3 (ru
RU2018101866A (ru
Inventor
Гай ХОТСОН
Парса МАХМУДИ
МУРАЛИ Видия НАРИЯМБУТ
Original Assignee
ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи filed Critical ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Publication of RU2018101866A publication Critical patent/RU2018101866A/ru
Publication of RU2018101866A3 publication Critical patent/RU2018101866A3/ru
Application granted granted Critical
Publication of RU2701051C2 publication Critical patent/RU2701051C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Группа изобретений относится к области вычислительной техники и может быть использована для выявления объектов или визуальных признаков. Техническим результатом является обеспечение классификации объектов в динамической окружающей среде. Система содержит компонент датчика и компонент выявления. Компонент датчиков выполнен с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом каждый из первого потока и второго потока содержат множество кадров с датчика. Компонент выявления выполнен с возможностью формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа, выявлять один или более объектов на основании сцепленной карты признаков. Одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров. 3 н. и 17 з.п. ф-лы, 8 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение в целом относится к способам, системам и аппаратам для выявления объектов или визуальных признаков, а конкретнее, относится к способам, системам и устройствам для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков.
УРОВЕНЬ ТЕХНИКИ
Автомобили обеспечивают значительную часть транспортировки для коммерческих, государственных и частных хозяйствующих субъектов. В настоящее время автономные транспортные средства и системы содействия вождению разрабатываются и используются для обеспечения безопасности, уменьшения объема требуемого пользовательского ввода или даже полного устранения вовлечения пользователя. Например, некоторые системы содействия вождению, такие как системы предотвращения аварий, могут контролировать вождение, положения и вектор скорости транспортного средства и других объектов, в то время как человек осуществляет вождение. Когда система выявляет, что авария или удар неизбежны, система предотвращения аварий может вмешиваться и нажимать тормоза, управлять рулем транспортного средства или выполнять другие маневры для уклонения или обеспечения безопасности. В качестве еще одного примера, автономные транспортные средства могут водить и осуществлять навигацию транспортного средства с незначительным или без пользовательского ввода. Выявление объектов на основании данных с датчиков часто необходимо, чтобы давать системам автоматического вождения или системам содействия вождению возможность безопасно идентифицировать и уклоняться от препятствий или ездить безопасно.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Заявлен способ, содержащий этапы, на которых:
формируют сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявляют один или более объектов на основании сцепленной карты признаков;
при этом, одно или более из формирования и выявления содержит, формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
Заявленный способ дополнительно содержит этап, на котором формируют первую карту признаков на основании кадра с датчика первого типа и формируют вторую карту признаков на основании кадра с датчика второго типа, при этом, формирование сцепленной карты признаков состоит в том, что формируют на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
В заявленном способе формирование сцепленной карты признаков содержит этап, на котором формируют сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
В заявленном способе кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.
В заявленном способе нейронная сеть подает по прямой связи одно или более из:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного в предыдущем кадре или периоде времени; и
признака в предыдущем кадре с датчика.
В заявленном способе кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, способ дополнительно содержит этапы, на которых:
формируют вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявляют вторые один или более объектов на основании второй сцепленной карты признаков; и
подают по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
В заявленном способе нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом, рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.
Заявлена система, содержащая:
один или более компонентов датчиков, выполненных с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержат множество кадров с датчика;
компонент выявления, выполненный с возможностью:
формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявлять один или более объектов на основании сцепленной карты признаков;
при этом, одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
В заявленной системе компонент выявления дополнительно выполнен с возможностью формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом, компонент выявления формирует сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
В заявленной системе компонент выявления выполнен с возможностью формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
В заявленной системе кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.
В заявленной системе рекуррентная связь нейронной сети подает по прямой связи одно или более из:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и
признака в предыдущем кадре с датчика.
В заявленной системе кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, компонент выявления дополнительно выполнен с возможностью:
формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и
подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
В заявленной системе нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом, рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.
Заявлены машинно-читаемые запоминающие носители, хранящие команды, которые, когда приводятся в исполнение одним или более процессоров, побуждают один или более процессоров:
получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержат множество кадров с датчика;
формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявлять один или более объектов на основании сцепленной карты признаков;
при этом, одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
Причем в машинно-читаемых запоминающих носителях команды дополнительно побуждают один или более процессоров формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом, команды побуждают один или более процессоров формировать сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
Причем в машинно-читаемых запоминающих носителях команды побуждают один или более процессоров формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
Причем в машинно-читаемых запоминающих носителях кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.
Причем в машинно-читаемых запоминающих носителях команды дополнительно побуждают один или более процессоров подавать по прямой связи, с использованием рекуррентной связи нейронной сети, одно или более из следующего:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и
признака в предыдущем кадре с датчика.
Причем в машинно-читаемых запоминающих носителях кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, команды дополнительно побуждают один или более процессоров:
формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и
подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Неограничивающие и неисчерпывающие реализации настоящего изобретения описаны со ссылкой на нижеследующие фигуры, на которых одинаковые номера ссылок указывают на идентичные части на всем протяжении различных видов, если не указан иной способ действий. Преимущества настоящего изобретения станут лучше понятны с учетом нижеследующего описания и прилагаемых чертежей, где:
фиг. 1 - принципиальная структурная схема, иллюстрирующая реализацию системы управления транспортным средством, которая включает в себя систему автоматического вождения/содействия;
Фиг. 2 - принципиальная структурная схема, иллюстрирующая нейронную сеть с рекуррентными связями согласно одной из реализаций;
Фиг. 3 иллюстрирует вид в перспективе проезжей части дороги, который захвачен камерой транспортного средства, согласно одной из реализаций;
Фиг. 4 - принципиальная структурная схема, иллюстрирующая включение временной информации между кадрами данных с датчиков во время выявления объектов согласно одной из реализаций;
Фиг. 5 - принципиальная блок-схема последовательности операций способа, иллюстрирующая способ для выявления объектов, согласно одной из реализаций; и
Фиг. 6 - принципиальная структурная схема, иллюстрирующая создание и использование сцепленной карты признаков в комбинации с включением временной информации между кадрами данных с датчиков во время выявления объектов согласно одной из реализаций;
Фиг. 7 - принципиальная блок-схема последовательности операций способа, иллюстрирующая еще один способ для выявления объектов, согласно одной из реализаций; и
фиг. 8 - принципиальная структурная схема, иллюстрирующая вычислительную систему, согласно одной из реализаций.
ПОДРОБНОЕ ОПИСАНИЕ
По соображениям безопасности, интеллектуальное или автономное транспортное средство может быть должно быть способно классифицировать объекты в динамической окружающей среде. Глубинные сверточные нейронные сети добились успеха в области распознавания объектов, даже превышающего человеческие возможности в некоторых условиях. Глубинные сверточные нейронные сети могут быть крайне искусны в извлечении картографических схем того, где высокоуровневые признаки обнаруживаются в пределах изображений. Эти карты признаков могут извлекаться из сверток на статическом изображении, а затем, использоваться для распознавания изображений или объектов.
Выявление объектов современного уровня развития техники в пределах изображений/видеоданных сосредоточилось на извлечении карт признаков из статических изображений, затем подаче их в модели классификации и регрессии для выявления/классификации и определения местонахождения объекта, соответственно. Таким образом, несмотря на то, что сверточные нейронные сети добились большого успеха в области распознавания объектов, выявление неизвестного количества объектов в пределах сцены приводит к гораздо большей проблеме. Несмотря на то, что последние нововведения достигли впечатляющих результатов применительно к выявлению объектов в статических изображениях, заявители осознали, что существующим моделям не хватает способности использовать временную информацию для выявления объектов в видеоданных или других последовательностях или потоках данных с датчиков. Это может давать в результате нестабильное определение местонахождения объектов, особенно когда объекты становятся временно скрытыми.
Более того, выявление объектов в видеоданных с нежелательными условиями освещения остается крайне проблематичным. Например, ослепительный свет от солнца или темные условия в ночное время могут делать основанные на техническом зрении алгоритмы почти бесполезными. Заявители осознали, что имеющимся в распоряжении моделям недостает способности использовать с выгодой временную динамику в комбинации с информацией с альтернативных датчиков на уровне признаков для выявления объектов. Это может давать в результате нестабильное определение местонахождения объекта, которое не умеет успеха в условиях плохого освещения.
В настоящем изобретении, заявители раскрывают использование сцепленных карт признаков и рекуррентных связей в пределах моделей классификации и регрессии (таких как нейронная сеть) при извлечении карт признаков из или выявлении объектов в видеопоследовательностях. Согласно одному из вариантов осуществления, система включает в себя компонент датчика и компонент выявления. Компонент датчиков выполнен с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержит множество кадров с датчика. Компонент выявления выполнен с возможностью формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа. Компонент выявления выполнен с возможностью выявлять один или более объектов на основании сцепленной карты признаков. Одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров (например, карты признаков или предсказания объектов из предыдущего кадра или кадров).
Согласно еще одному примерному варианту осуществления, способ для выявления объектов в видеоданных (или другой последовательности кадров с датчика) включает в себя определение, с использованием одной или более нейронных сетей, выходного сигнала для первого кадра с датчика, указывающего наличие объекта или признака. Способ включает в себя подачу выходного сигнала для первого кадра с датчика по прямой связи в качестве входного сигнала для обработки второго кадра с датчика. Способ также включает в себя определение выходного сигнала для второго кадра с датчика, указывающего наличие объекта или признака, на основании выходного сигнала для первого кадра с датчика.
В одном из вариантов осуществления, рекуррентные связи являются связями, которые дают нейронной сети возможность использовать выходные сигналы из предыдущих кадров изображения в качестве входных сигналов для текущего кадра изображения. Рекуррентные связи, раскрытые в материалах настоящей заявки, практически могут предоставлять возможность, чтобы нейронные сети поддерживали информацию о состоянии. Например, если нейронная сеть выявляет легковой автомобиль в пределах текущего кадра изображения, это могло бы воздействовать на текущее состояние сети и заставлять ее вероятнее выявлять легковой автомобиль в таком месте или находящемся поблизости месте в следующем кадре. Рекуррентные слои могут использоваться, чтобы уделять внимание местам динамического объекта до конечных слоев классификации и определения местонахождения объекта. Они также могли бы использоваться во время конечной стадии классификации объекта. Эти рекуррентные слои могут принимать входные сигналы из карт признаков, извлеченных из одного или более слоев сверточной сети.
Несмотря на то, что технологии извлечения признаков в разной степени могли включать в себя временную информацию, модели регрессии и классификации, используемые для сопровождения и/или классификации объектов, сосредоточились на статических изображениях, пренебрегая ценной временной информацией. Заявитель предлагает решение для использования рекуррентных связей в моделях регрессии и классификации, что даст обнаружителям объектов возможность задействовать оценки мест/типов объектов из предыдущих временных кадров, улучшая предсказания. Рекуррентные связи могут обеспечивать выгоды отслеживания объектов на нижнем уровне и с показателями достоверности, неявно изученными нейронными моделями. В одном из вариантов осуществления, технологии, раскрытые в материалах настоящей заявки, могут использоваться для сквозных алгоритмов выявления объектов, которые должны применяться к таким задачам, как выявление автомобилей, велосипедов и пешеходов. Дополнительно, специфичные признаки данных изображения или с датчиков могут выявляться с использованием этих способов для улучшения выявления признаков. Признаки могут включать в себя стереотипы в данных, таких как данные изображения, данные карты дальностей, данные облаков точек или другие данные. Например, признак в данных изображения может включать в себя контур (место высокой контрастности) или линии с конкретными изгибами, шаблоны или профили, которые могут быть интересны при выявлении объектов.
Настоящее изобретение также предполагает использование многочисленных потоков выборок карт признаков для информации, полученной из многочисленных типов датчиков, такой как карты (изображения) RGB и карты дальностей. Рекуррентные связи могут использоваться во время сочетания карт признаков или во время выявления объектов. Карты дальностей могут извлекаться из датчиков, таких как лазерный локатор (лидар), радиолокатор или камеры (такие как инфракрасная камера с восприятием глубины сцены). В случае датчиков, которые возвращают облака точек (например, времяпролетных датчиков, подобных радиолокатору или лазерному локатору), дополнительная обработка может выполняться для преобразования облака точек в карту дальностей. Например, модифицированный билатеральный фильтр может использоваться для сглаживания облака точек в карту дальностей, тем временем, сохраняя контуры. После того, как карта дальностей совмещена с кадром с камеры RGB, карта дальностей затем может дополнительно раскладываться на признаки, такие как горизонтальное расхождение, высота над землей и угол локальной нормали к поверхности пикселя.
Карта дальностей может подаваться в глубинную полностью сверточную сеть для извлечения карты дальностей. Это может выполняться параллельно с соответствующим кадром изображения RGB. Карта признаков может включать в себя карту того, какие признаки найдены и в каких местах в изображении или другом кадре с датчика. Например, карта признаков может указывать области, где расположены признаки, которые могут соответствовать пешеходам. Карты признаков из карт дальностей и признаков RGB затем сцепляются и отправляются дальше через дополнительные сверточные слои в сети. Сцепленная карта признаков может включать в себя признаки, извлеченные как из изображения (например, изображения RGB), так и карты дальностей. Например, карта признаков может включать в себя все признаки пешеходов или другие признаки, выявленные на основании анализа каких-нибудь имеющихся в распоряжении кадров с датчика за один и тот же период времени. Например, облако точек с лазерного локатора и кадр изображения могут захватываться в течение одного и того же периода времени, и выявленные признаки могут комбинироваться в единую карту признаков.
Рекуррентные слои могут использоваться, чтобы уделять внимание местам динамического объекта до момента конечных слоев классификации и определения местонахождения объекта. Они также могли бы использоваться во время конечной стадии классификации объекта. Эти рекуррентные слои будут принимать входные данные из карт признаков, извлеченные из комбинированных карт признаков дальности и RGB, из одного или более слоев сверточной сети. Это будет давать пространственно-временным зависимостям возможность извлекаться из сочетаний потоков данных цвета и дальности.
Несмотря на то, что технологии извлечения признаков в разной степени включали в себя временную информацию, модели регрессии и классификации, используемые для сопровождения и/или классификации объектов, сосредоточивались на статических изображениях, пренебрегая ценной временной информацией. Заявитель предлагает решение для использования рекуррентных связей в моделях регрессии и классификации, что даст обнаружителям объектов возможность задействовать оценки мест/типов объектов из предыдущих временных кадров, улучшая предсказания. Это может давать аналогичные или улучшенные выгоды над слежением за объектом, но на более низком уровне и с показателями достоверности, неявно изученными нейронными моделями. Более того, использование сцепленных карт признаков может значительно улучшать выявление объектов в случае плохого качества для одного типа данных с датчиков.
Дополнительные варианты осуществления и примеры будут обсуждены в отношении фигур, приведенных ниже.
Далее, со ссылкой на фигуры, фиг. 1 иллюстрирует примерную систему 100 управления транспортным средством, которая может использоваться для автоматического выявления, классификации и/или определения местонахождения объектов. Система 102 автоматического вождения/содействия может использоваться для автоматизации или управления работой транспортного средства или для обеспечения содействия человеку-водителю. Например, система 102 автоматического вождения/содействия может управлять одним или более из тормозов, рулевого механизма, ускорения, фонарей, предупреждений, уведомлений водителя, радиоприемника или любыми другими вспомогательными системами транспортного средства. В еще одном примере, система 102 автоматического вождения/содействия может не быть способной обеспечивать какое бы то ни было управление вождением (например, рулевым механизмом, ускорением или торможением), но может выдавать уведомления и предупреждения для содействия человеку-водителю в безопасном вождении. Система 102 автоматического вождения/содействия может использовать нейронную сеть либо другие модель или алгоритм для выявления или определения местонахождения объектов на основании данных восприятия, собранных одним или более датчиками.
Система 100 управления транспортным средством также включает в себя одну или более систем/устройств с датчиками для выявления присутствия объектов возле или в пределах дальности действия датчиков родительского транспортного средства (например, транспортного средства, которое включает в себя систему 100 управления транспортным средством). Например, система 100 управления транспортным средством может включать в себя одну или более систем 106 радиолокатора, одну или более систем 108 лазерного локатора, одну или более систем 110 камер, глобальную систему 112 определения местоположения (GPS) и/или одну или более ультразвуковых систем 114. Система 100 управления транспортным средством может включать в себя хранилище 116 данных для хранения уместных или полезных данных для навигации и безопасности, таких как данные карты, предыстория вождения или другие данные. Система 100 управления транспортным средством также может включать в себя приемопередатчик 118 для беспроводной связи с сетью мобильной или беспроводной связи, другими транспортными средствами, инфраструктурой или любой другой системой связи.
Система 100 управления транспортным средством может включать в себя исполнительные механизмы 120 управления транспортным средством для управления различными аспектами вождения транспортного средства, такие как электродвигатели, переключатели или другие исполнительные механизмы, для управления торможением, ускорением, рулевым механизмом, или тому подобным. Система 100 управления транспортным средством также может включать в себя одно или более устройств 122 отображения, громкоговорителей 124 или других устройств, так чтобы могли выдаваться уведомления человеку-водителю или пассажиру. Устройство 122 отображения может включать в себя проекционный дисплей на лобовом стекле, дисплей или индикатор приборного щитка, дисплейный экран или любой другой визуальный индикатор, который может быть виден водителю или пассажиру транспортного средства. Громкоговорители 124 могут включать в себя один или более громкоговорителей акустической системы транспортного средства или могут включать в себя громкоговоритель, выделенный для уведомления водителя.
Будет принято во внимание, что вариант осуществления по фиг. 1 приведен только в качестве примера. Другие варианты осуществления могут включать в себя меньшее количество или дополнительные компоненты, не выходя из объема изобретения. Дополнительно, проиллюстрированные варианты осуществления могут быть скомбинированы с или заключены в других компонентах без ограничения.
В одном из вариантов осуществления, система 102 автоматического вождения/содействия выполнена с возможностью управлять вождением или навигацией родительского транспортного средства. Например, система 102 автоматического вождения/содействия может управлять исполнительными механизмами 120 управления транспортным средством, чтобы проезжало маршрут по дороге, автостоянке, подъездному пути или другому месту. Например, система 102 автоматического вождения/содействия может определять путь на основании информации или данных восприятия, предоставляемых любым из компонентов 106-118. Системы/устройства 106-110 и 114 датчиков могут использоваться для получения данных с датчиков в реальном времени, так чтобы система 102 автоматического вождения/содействия могла содействовать водителю или вести транспортное средство в реальном времени. Система 102 автоматического вождения/содействия может реализовывать алгоритм или использовать модель, такую как глубинная нейронная сеть, для обработки данных с датчиков, чтобы выявлять, идентифицировать и/или определять местонахождение одного или более объектов. Для того чтобы обучать или испытывать модель или алгоритм, могут быть необходимы большие объемы данных с датчиков и аннотации данных с датчиков.
Система 102 автоматического вождения/содействия может включать в себя компонент 104 выявления для выявления объектов, признаков изображения или других признаков объектов в пределах данных с датчиков. В одном из вариантов осуществления, компонент 104 выявления формирует сцепленную карту признаков на основании многочисленных разновидностей потоковых данных с датчиков. Например, компонент 104 выявления может формировать карту признаков на основании изображения и карты признаков, основанных на карте дальностей, извлеченной из радиолокатора, лазерного локатора, инфракрасной камеры или других датчиков. Может формироваться сцепленная карта признаков, которая включает в себя все признаки из карт с других датчиков. Таким образом, если один из датчиков не выдает оптимальные данные, сцепленная карта признаков по-прежнему может содержать все признаки или объект, выявленные с использованием данных из другого датчика.
В одном из вариантов осуществления, компонент 104 выявления может использовать рекуррентные связи в модели классификации или регрессии для выявления признаков объекта или объектов. Например, компонент 104 выявления может включать в себя или использовать глубинную сверточную нейронную сеть, которая выдает, с помощью слоя классификации, указание того, присутствует ли объект или признак. Этот выходной сигнал затем может подаваться по прямой связи в следующий кадр изображения или кадр с датчика. Подача выходного сигнала одного кадра с датчика в следующий может предусматривать выгоды аналогичные отслеживанию объекта, но на гораздо более низком уровне, что предоставляет системе возможность извлекать выгоду из мощности нейронных сетей, такую как обучение и машинное обучение.
Фиг. 2 - принципиальная схема, иллюстрирующая глубинную нейронную сеть 200 с рекуррентной связью. Глубинные нейронные сети являются вычислительными графами с прямой связью с входными узлами (такими как входные узлы 202), одним или более скрытых слоев (таких как скрытые слои 204, 206 и 208) и выходными узлами (такими как выходные узлы 210). Для классификации информационных наполнений или информации об изображении, значения пикселей входного изображения назначаются входным узлам, а затем, подаются через скрытые слои 204, 206, 208 сети, проходя через некоторое количество нелинейных преобразований. В конце вычисления, выходные узлы 210 дают значения, которые соответствуют классу, логически выведенному нейронной сетью. Аналогичная операция может использоваться для классификации или выявления признаков данных или карт дальностей скопления пикселей, таких как данные, принятые с датчиков дальности, подобных датчикам с лазерным локатором, радиолокатором, ультразвуковому или другим датчикам. Количество входных узлов 202, скрытых слоев 204-208 и выходных узлов 210 является всего лишь иллюстративным. Например, большие сети могут включать в себя входной узел 202 для каждого пикселя изображения и, таким образом, может иметь сотни, тысячи или другое количество входных узлов.
Согласно одному из вариантов осуществления, глубинная нейронная сеть 200 по фиг. 2 может использоваться для классификации информационного контента(контентов) изображения четырьмя разными классами: первым классом, вторым классом, третьим классом и четвертым классом. Согласно настоящему изобретению, нейронная сеть аналогичного или другого размера может быть способна выводить значение, указывающее, присутствует ли конкретный тип объекта в пределах изображения (или подобласти изображения, которое подавалось в сеть 200). Например, первый класс может соответствовать тому, присутствует ли транспортное средство, второй класс может соответствовать тому, присутствует ли велосипед, третий класс может соответствовать тому, присутствует ли пешеход, а четвертый класс может соответствовать тому, присутствует ли бордюрный камень или барьер. Выходной сигнал, соответствующий классу, может быть высоким (например, 5 или большим), когда выявлен объект из соответствующего класса, и низким (например, меньшим, чем 0,5), когда объект класса не выявлен. Это является всего лишь иллюстративным, так как нейронная сеть должна классифицировать объекты в изображении и может включать в себя входы для размещения сотен или тысяч пикселей, и может быть должна выявлять большее количество разных типов объектов. Таким образом, нейронная сеть для выявления или классификации объектов в изображении с камеры или другом кадре с датчика может требовать сотен или тысяч узлов во входном слое и/или больше чем (или меньше чем) четыре выходных узла.
Например, подача части необработанного кадра с датчика (например, изображения, кадра с лазерного локатора, кадра с радиолокатора, или тому подобного, захваченного датчиком системы 100 управления транспортным средством) в сеть 200 может указывать наличие пешехода в такой части. Поэтому, нейронная сеть 100 может давать вычислительной системе возможность автоматически делать вывод, что пешеход присутствует в конкретном месте в пределах кадра изображения или кадра с датчика и относительно транспортного средства. Аналогичные технологии или принципы могут использоваться для логического вывода информации о или выявления транспортных средств, дорожных знаков, велосипедов, барьеров, и/или тому подобного.
Нейронная сеть (с или без рекуррентных связей) также может использоваться для идентификации или выявления признаков в пределах кадра с датчика или в пределах подобластей кадра с датчика.
Нейронная сеть 200 также включает в себя множество рекуррентных связей между выходными узлами 210 и входными узлами 202. Значения на выходных узлах 210 могут подаваться обратно через задержки 212 в один или более входных узлов. Задержки 212 могут задерживать/сохранять выходные значения для входного сигнала в течение более позднего кадра с датчика. Например, подмножество входных узлов 202 может принимать выходной сигнал из предыдущего кадра с датчика (такого как кадр изображения), тем временем, остальные входные узлы 202 могут принимать значения пикселей или точек для текущего кадра с датчика. Таким образом, выходной сигнал предыдущего кадра может оказывать влияние на то, выявляется ли конкретный объект или признак снова. Например, если пешеход выявлен в изображении, выходной сигнал, указывающий наличие пешехода, может подаваться во входной узел 202, так чтобы сеть вероятнее выявляла пешехода в последующем кадре. Это может быть полезным в видеоданных, где захватывается последовательность изображений, и транспортному средству необходимо выявлять и уклоняться от препятствий. Дополнительно, любой датчик, который выдает последовательность кадров с датчика (например, такой как лазерный локатор или радиолокатор), также может извлекать выгоду из рекуррентной связи.
Хотя нейронная сеть 200 показана с рекуррентной связью между выходными узлами 210 и входными узлами 202, рекуррентная связь может иметь место между любым узлом или слоем в разных вариантах осуществления. Например, рекуррентная связь может подавать значения выходных узлов 210 в узлы в скрытом слое (например, 204, 206 и 208) или в качестве входного сигнала в выходные узлы 210. Рекуррентные связи могут предоставлять выявлению объектов или признаков из предыдущего кадра с датчика возможность оказывать влияние на выявление объектов или признаков для более позднего кадра с датчика.
Для того чтобы глубинная нейронная сеть была способна проводить различие между какими-нибудь желательными классами, нейронной сети необходимо обучаться на основании примеров. Как только изображения с метками (обучающие данные) собраны, сеть может обучаться. Один из примерных алгоритмов для обучения включает в себя алгоритм обратного распространения, который может использовать помеченные кадры с датчиков для обучения нейронной сети. Обучение может обучать нейронную сеть 200, каким образом выявлять объекты или признаки не только на основании данных с датчиков, но также на основании выходных сигналов или информации, определенных из предыдущего набора пикселей/данных кадра. Однажды обученная, нейронная сеть 200 может быть готова для использования в рабочей окружающей обстановке.
Фиг. 3 иллюстрирует изображение 300 вида в перспективе, который может захватываться камерой транспортного средства в среде вождения. Например, изображение 300 иллюстрирует сцену дороги перед транспортным средством, которое может захватываться, в то время как транспортное средство передвигается по дороге. Изображение 300 включает в себя множество интересующих объектов на или возле проезжей части дороги. В одном из вариантов осуществления, изображение 300 слишком велико, чтобы обрабатываться с полным разрешением имеющейся в распоряжении нейронной сетью. Таким образом, изображение может обрабатываться по одной подобласти за раз. Например, окно 302 представляет собой часть изображения 302, которая может подаваться в нейронную сеть для выявления объекта или признака. Окно 302 может сдвигаться в разные места, чтобы эффективно обрабатывать все изображение 302. Например, окно 302 может начинаться в углу, а затем, впоследствии перемещаться с места на место для выявления признаков.
В одном варианте осуществления, разные размеры скользящих окон могут использоваться для захвата признаков или объектов с разными разрешениями. Например, признаки или объекты ближе к камере могут выявляться точнее с использованием большего окна, в то время как признаки или объекты дальше от камеры могут точнее выявляться с использованием меньшего окна. Большие окна могут быть уменьшены по разрешению, чтобы соответствовать количеству входных узлов нейронной сети. Например, изображение 300 может дискретизироваться с понижением частоты для обработки полного изображения 300 или большей части или окна 302 с другим масштабом изображения 300.
В одном варианте осуществления, выходные сигналы нейронной сети для каждого места окна 302 могут подаваться по прямой связи для одного и того же или ближайшего места окна 302 в последующем изображении. Например, если пешеход выявлен нейронной сетью в одном месте в первом изображении, указание, что пешеход выявлялся в таком месте, может подаваться по прямой связи во время выявления пешехода в таком месте для второго, более позднего изображения с использованием нейронной сети. Подобным образом, признаки, выявленные в конкретном месте в изображении или другом кадре с датчика, могут подаваться по прямой связи. Таким образом, объекты или признаки в последовательности изображений могут согласованно выявляться и/или отслеживаться в слое нейронной сети или модели.
В одном варианте осуществления, после или в результате обработки с использованием скользящего окна, может формироваться карта признаков, которая включает в себя то, какие признаки или объекты располагались и в каких местах. Карта признаков может включать в себя указания низкоуровневых признаков изображения (или другого кадра с датчика), которые могут быть интересны при выявлении объектов или классификации объектов. Например, признаки могут включать в себя контуры, кривые, углы или другие признаки, которые могут быть указывающими тип объекта в месте (такого как транспортное средство, лицо пешехода, или тому подобное). Карты признаков затем могут использоваться для выявления или классификации объектов. Например, карта признаков может формироваться, а затем, карта признаков и/или область изображения могут обрабатываться для идентификации типа объекта и/или отслеживания места объекта между кадрами данных с датчиков. Карта признаков может указывать, где в изображении 300 выявлены некоторые типы признаков. В одном варианте осуществления, множество разных рекуррентных нейронных сетей может использоваться для формирования каждой карты признаков. Например, карта признаков для выявления пешехода может формироваться с использованием нейронной сети, обученной выявлению пешеходов, тем временем, карта признаков для выявления транспортных средств может формироваться с использованием нейронной сети, обученной выявлению транспортных средств. Таким образом, множество разных карт признаков может формироваться для одиночного изображения 300, показанного на фиг. 3. Как обсуждено ранее, выявленные признаки могут подаваться по прямой связи между кадрами для одних и тех же подобластей, чтобы улучшать отслеживание признаков и/или выявление объектов.
Хотя фиг. 3 показывает изображение, аналогичная обработка может выполняться над любым типом данных с датчиков или кадром данных. Например, карта дальностей может обрабатываться аналогичным образом с использованием окон, нейронных сетей, и тому подобного, для выявления признаков или объектов. В одном из вариантов осуществления, каждый из кадров разных типов данных с датчиков может обрабатываться для формирования одной или более карт признаков, которые затем могут комбинироваться в сцепленную карту признаков. У сцепленной карты признаков, признаки могут включать в себя все признаки, выявленные любым из имеющихся в распоряжении датчиков или источников данных. Таким образом, даже если никакие признаки на выявлены на основании данных с одного из датчиков, признаки, выявленные на основании данных с оставшихся датчиков, по-прежнему могут давать достаточную информацию для точного и надежного выявления признаков или объектов. Например, транспортные средства или объекты по-прежнему могут выявляться в темноте или в ситуациях отражения солнечного света на основании признаков из источников с лазерным локатором, радиолокатором или другими датчиками. Дополнительно, рекуррентные связи между кадрами могут предоставлять возможность для выявления объектов или признаков даже в очень плохих условиях, если предыдущий кадр обнаруживал объекты или признаки.
Фиг. 4 - принципиальная структурная схема, иллюстрирующая включение временной информации между кадрами данных с датчиков во время выявления объектов. Показано множество стадий обработки, в том числе, первая стадия 402, вторая стадия404 и третья стадия 406 для обработки разных изображений, в том числе, изображения 0, изображения 1 и изображения 2. Каждая стадия 402, 404, 406 может соответствовать разному периоду времени для обработки разного набора данных с датчиков. Например, стадии могут соответствовать обработке в реальном времени во время сбора данных с датчиков. Первая стадия 402 показывает ввод изображения 0 для формирования одной или более карт 408 признаков. Карты 408 признаков могут формироваться с использованием одной или более нейронных сетей. Для каждой подобласти 410 (такой как место окна 302 по фиг. 3), формируется предсказание объекта. Как формирование карты признаков, так и предсказание объекта могут выполняться с использованием одной или более нейронных сетей.
Предсказания объекта могут указывать тип объекта и/или место объекта. Например, значение '0' для предсказания объекта может указывать, что объекта нет, '1' может указывать, что объектом является легковой автомобиль, '2' может указывать, что объект является пешеходом, и так далее. Также может выдаваться значение места, которое указывает, где в подобласти 410 расположен объект. Например, второе число может быть включено в состояние, которое указывает место в центре, на правой стороне, верхней стороне или нижней стороне подобласти 410. Состояние 0-0 рекуррентной нейронной сети (RNN) является результирующим предсказанием для объекта 0 в подобласти 410, состояние 0-1 RNN является результирующим предсказанием для объекта 1 в подобласти 410, а состояние 0-2 RNN является результирующим предсказанием для объекта 2 в подобласти 410. Таким образом, множество объектов и/или предсказаний объектов может выявляться или формироваться для каждой подобласти 410.
Информация о состоянии, в том числе, состояние 0-0 RNN, состояние 0-1 RNN и состояние 0-2 RNN со стадии 402, подается по прямой связи с использованием рекуррентной связи 420 для использования во время обработки следующего сообщения, изображения 1 во время стадии 404. Например, предсказания объекта и связанные значения могут подаваться в нейронную сеть по рекуррентной связи 420 в качестве входного сигнала в один или более узлов тех же самых одной или более нейронных сетей во время обработки изображения 1 и/или его карт 412 признаков. Во время стадии 404, предсказания объекта формируются не только на основании изображения 1 и карт 412 признаков, но также и на основании состояния 0-0 RNN, состояния 0-1 RNN и состояния 0-2 RNN. Результат предсказания приводит к состоянию 1-0 RNN, состоянию 1-1 RNN и состоянию 1-2 RNN для подобласти 414. Рекуррентная связь 420 может подавать по прямой связи информацию о состоянии для одной и той же подобласти 410. Таким образом, только информация о состоянии для той же самой подобласти из предыдущего изображения может использоваться для определения предсказания объекта или выявления признаков применительно к текущему изображению. В одном из вариантов осуществления, выявленные признаки на карте 408 признаков также подаются по прямой связи вдоль рекуррентной связи 420. Таким образом, рекуррентные нейронные сети могут использоваться для формирования карт признаков, а также предсказаний объекта.
Во время стадии 406, предсказания объекта формируются на основании не только изображения 2 и карт 416 признаков, но также на основании информации о состоянии, в том числе, состояния 1-0 RNN, состояния 1-1 RNN и состояния 1-2 RNN, которая подается по прямой связи с использованием рекуррентной связи 422 для использования во время обработки изображения 2 для подобласти 418. Предсказания объектов применительно к состоянию 2-0 RNN, состоянию 2-1 RNN и состоянию 2-2 RNN определяются на основании изображения 2, а также информации о состоянии, включающей в себя состояние 1-0 RNN, состояние 1-1 RNN и состояние 1-2 RNN из изображения 1. Дополнительно, карты 416 признаков могут формироваться на основании карт признаков (или мест выявленных признаков) для предыдущей, второй стадии 404.
В одном из вариантов осуществления, обработка, которая происходит на каждой стадии 402, 404, 406, происходит в реальном времени над потоком поступающих данных с датчиков. Например, при обработке видеоданных, каждый кадр видеоданных может обрабатываться, и соответствующие предсказания объекта, выявления признаков и/или карты признаков могут сохраняться/вводиться в модели или нейронные сети, когда принимается следующий кадр видеоданных. Таким образом, рекуррентные связи 420, 422 предоставляют возможность, чтобы предсказания объекта переносились с более раннего кадра на более поздний кадр. Таким образом, временная информация может быть встроена на уровне модели или нейронной сети, которая предоставляет нейронной сети возможность обучаться и обрабатывать не только информацию для текущего кадра с датчика, но также и предыдущих кадров с датчика. Это отличается от вариантов осуществления, где признаки извлекаются для каждого кадра заново, а затем отбрасываются. В одном из вариантов осуществления, одиночная нейронная сеть или набор нейронных сетей используется во время каждой стадии, так чтобы рекуррентные связи 420, 422 просто возвращали выходные сигналы по обратной связи из предыдущих кадров в качестве входного сигнала в текущий кадр.
Фиг. 5 - принципиальная блок-схема последовательности операций способа, иллюстрирующая способ 500 для выявления объектов. Способ 500 может выполняться компонентом выявления или системой управления транспортным средством, такими как компонент 104 выявления или система 100 управления транспортным средством по фиг. 1.
Способ 500 начинается, и компонент 104 выявления определяет на этапе 502, с использованием одной или более нейронных сетей, выходной сигнал для первого кадра с датчика, указывающий наличие объекта или признака. Например, компонент 104 выявления может определять на этапе 502 любое из предсказания или состояния объекта (такое как состояние 0-0 RNN, состояние 0-1 RNN, состояние 0-2 RNN, состояние 1-0 RNN, состояние 1-1 RNN или состояние 1-2 RNN) по фиг. 4. Компонент 102 выявления может определять на этапе 502 состояния на основании данных в кадре с датчика в последовательности кадров с датчика. Компонент датчика (который может включать в себя систему 106 радиолокатора, систему 108 лазерного локатора, систему 110 камер или другой датчик) может захватывать или получать кадры с датчика, которые включают в себя данные изображения, данные с лазерного локатора, данные с радиолокатора или данные инфракрасного изображения. Компонент 104 выявления на этапе 504 подает выходной сигнал (который может включать в себя указание выявленных признаков или объектов) для первого кадра с датчика по прямой связи в качестве входного сигнала для обработки второго кадра с датчика. Например, компонент 104 выявления может включать в себя или использует рекуррентную связь в нейронной сети. Компонент 104 выявления определяет на этапе 506 выходной сигнал для второго кадра с датчика, указывающего наличие объекта или признака, на основании выходного сигнала для первого кадра с датчика. Например, компонент 104 выявления может определять любое из предсказания или состояния объекта (такое как состояние 1-0 RNN, состояние 1-1 RNN, состояние 1-2 RNN, состояние 2-0 RNN, состояние 2-1 RNN или состояние 2-2 RNN) по фиг. 4 на основании состояний или предыдущей стадии.
Способ 500 может включать в себя предоставление выходного сигнала или предсказаний в другую систему для принятия решения. Например, система 102 автоматического вождения/содействия по фиг. 1 может определять маневр вождения на основании выявленного объекта или признака. Примерные маневры включают в себя маневры избегания аварий или другие маневры вождения для безопасного вождения транспортного средства. Способ 500 также может включать в себя обучение одной или более нейронных сетей формировать выходной сигнал на основании данных для более позднего кадра изображения с использованием выходного сигнала из более раннего кадра. Способ 500 может предоставлять возможность для более эффективного и точного выявления и отслеживания объектов в последовательности кадров с датчика, к примеру, в пределах видеоданных. Улучшенные выявление и отслеживание объектов могут улучшать безопасность вождения и пассажира, а также точность.
Фиг. 6 - принципиальная структурная схема, иллюстрирующая включение временной информации из многочисленных типов данных с датчиков и между наборами кадров данных с датчиков во время выявления объектов. Показано множество стадий обработки, в том числе, первая стадия 602, вторая стадия 604 и третья стадия 606 для обработки разных наборов кадров с датчика. Кадры с датчика включают в себя изображения (Изображение 0, Изображение 1 и Изображение 2), а также карты дальностей (Дальность 0, Дальность 1 и Дальность 2), которые обрабатываются во время своих соответственных стадий, хотя могут использоваться другие типы данных с датчиков или кадров. Каждая стадия 602, 604, 606 может соответствовать разному периоду времени для обработки разного набора данных с датчиков. Например, стадии могут соответствовать обработке в реальном времени во время сбора данных с датчиков самых последних по времени захвата данных с датчиков.
Первая стадия 602 показывает ввод Изображения 0 и Дальности 0, каждое из которых обрабатывается для формирования одной или более карт признаков. Например, Изображение 0 может обрабатываться одной или более нейронными сетями для формирования одной или более разных карт признаков, которые отражают, где выявлялись некоторые типы признаков. Подобным образом, более чем одна карта признаков может формироваться на основании Дальности 0. Карты признаков вводятся в сверточную рекуррентную нейронную сеть или другую модель, которая использует разномасштабные свертки для формирования сцепленных карт 608 признаков. Сцепленные карты 608 признаков могут включать в себя все признаки карт признаков с соответственных датчиков. Например, сцепленная карта признаков может включать в себя указания признаков, выявленных посредством как карты признаков изображения, так и карты признаков дальностей.
Сцепленные карты признаков могут обрабатываться для выявления объекта. Для каждой подобласти 614 (такой как место окна 302 по фиг. 3), формируется предсказание объекта. Формирование карты признаков с датчиков, формирование сцепленной карты признаков и предсказание объекта могут выполняться с использованием одной или более нейронных сетей. Предсказания объектов могут включать в себя предсказание Объекта 0 и предсказание Объекта 1, которые формировались на основании подобласти 614 сцепленной карты 608 признаков. Предсказание объекта может включать в себя тип или классификацию, а также местонахождение объекта.
Аналогично варианту осуществления по фиг. 4, рекуррентные связи 620, 622 подают по прямой связи информацию между стадиями обработки. Например, карты признаков, выявленные признаки, предсказания объектов, или тому подобное, могут подаваться по прямой связи в рекуррентную сверточную нейронную сеть для использования во время обработки последующего набора изображений. Таким образом, временная информация может учитываться во время выявления объектов или признаков. Признак или объекты, выявленные за предыдущий период времени (например, период времени, соответствующий предыдущему набору кадров с датчика), могут подаваться по прямой связи и оказывать влияние на то, выявляются ли те же самые объекты или признак, применительно к более позднему набору кадров с датчика. Во время стадии 604 и стадии 606, аналогичное формирование сцепленных карт 610 и 612 признаков и предсказаний объектов для подобластей 616 и 618 может выполняться и подаваться по прямой связи с использованием рекуррентных связей 622 и 624.
Фиг. 7 - принципиальная блок-схема последовательности операций способа, иллюстрирующая способ 700 для выявления объектов. Способ 700 может выполняться компонентом выявления или системой управления транспортным средством, такими как компонент 104 выявления или система 100 управления транспортным средством по фиг. 1.
Способ 700 начинается, и один или более компонентов датчиков получают на этапе 702 первый поток данных с датчиков и второй поток данных с датчиков. Каждый из первого потока и второго потока включает в себя множество кадров с датчика. Например, компонент датчиков может включать в себя один или более датчиков 106, 108, 110, 114 или другой датчик. Компонент 104 выявления формирует на этапе 704 сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа. Кадр с датчика может происходить из или быть основанным на первом потоке, а кадр с датчика второго типа может происходить из или быть основанным на втором потоке. Компонент 104 выявления выявляет на этапе 706 один или более объектов на основании сцепленной карты признаков. В одном из вариантов осуществления, одно или более из формирования на этапе 704 и выявления на этапе 706 содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
Далее, со ссылкой на фиг. 8, проиллюстрирована структурная схема примерного вычислительного устройства 800. Вычислительное устройство 800 может использоваться для выполнения различных процедур, таких как раскрыто в материалах настоящей заявки. В одном из вариантов осуществления, вычислительное устройство 800 может функционировать в качестве компонента 104 выявления, системы 102 автоматического вождения/содействия, системы 100 управления транспортным средством, или тому подобного. Вычислительное устройство 800 может выполнять различные функции контроля, как обсуждено в материалах настоящей заявки, и может выполнять одну или более прикладных программ, таких как прикладные программы или функциональные возможности, описанные в материалах настоящей заявки. Вычислительное устройство 800 может быть любым из широкого многообразия вычислительных устройств, таких как настольный компьютер, компьютер в приборном щитке, система управления транспортным средством, блокнотный компьютер, серверный компьютер, карманный компьютер, планшетный компьютер, и тому подобное.
Вычислительное устройство 800 включает в себя один или более процессоров 802, одно или более устройств 804 памяти, один или более интерфейсов 806, одно или более запоминающих устройств 808 большой емкости, одно или более устройств 810 ввода/вывода (I/O) и устройство 830 отображения, все из которых присоединены к шине 812. Процессор(ы) 802 включает в себя один или более процессоров или контроллеров, которые выполняют команды, хранимые в устройстве(ах) 804 памяти и/или запоминающем устройстве(ах) 808 большой емкости. Процессор(ы) 802 также может включать в себя различные типы машинно-читаемых носителей, такие как сверхоперативная память.
Устройство(а) 804 памяти включает в себя различные машинно-читаемые носители, такие как энергозависимая память (например, оперативное запоминающее устройство 814 (ОЗУ, RAM)) и/или энергонезависимая память (например, постоянное запоминающее устройство 816 (ПЗУ, ROM)). Устройство(а) 804 памяти также может включать в себя перезаписываемое ПЗУ, такое как флэш-память.
Запоминающее устройство(а) 808 большой емкости включает в себя различные машинно-читаемые носители, такие как магнитные ленты, магнитные диски, оптические диски, твердотельная память (например, флэш-память), и так далее. Как показано на фиг. 8, конкретным запоминающим устройством большой емкости является накопитель 824 на жестком магнитном диске. Различные приводы также могут быть включены в запоминающее устройство(а) 808 большой емкости, чтобы давать возможность считывания с и/или записи на различные машинно-читаемые носители. Запоминающее устройство(а) 808 большой емкости включает в себя съемные носители 826 и/или несъемные носители.
Устройство(а) 810 ввода/вывода включает в себя различные устройства, которые предоставляют данным и/или другой информации возможность вводиться в или извлекаться из вычислительного устройства 800. Примерное устройство(а) 810 ввода/вывода включает в себя устройства управления курсором, клавиатуры, кнопочные панели, микрофоны, мониторы или другие устройства отображения, громкоговорители, принтеры, платы сетевого интерфейса, модемы, и тому подобное.
Устройство 830 отображения включает в себя любой тип устройства, способного отображать информацию одному или более пользователей вычислительного устройства 800. Примеры устройства 830 отображения включают в себя монитор, дисплейный терминал, проекционное видеоустройство, и тому подобное.
Интерфейс(ы) 806 включает в себя различные интерфейсы, которые предоставляют вычислительному устройству 800 возможность взаимодействовать с другими системами, устройствами или вычислительными средами. Примерный интерфейс(ы) 806 могут включать в себя любое количество разных сетевых интерфейсов 820, таких как интерфейсы в локальные сети (LAN), глобальные сети (WAN), беспроводные сети и сеть Интернет. Другой интерфейс(ы) включает в себя пользовательский интерфейс 818 и интерфейс 822 периферийных устройств. Интерфейс(ы) 806 также может включать в себя один или более элементов 818 пользовательского интерфейса. Интерфейс(ы) 806 также может включать в себя один или более интерфейсов периферийных устройств, таких как интерфейсы для принтеров, координатно-указательных устройств (мышей, сенсорной площадки или любого пригодного пользовательского интерфейса, известного рядовым специалистам в данной области техники в настоящее время или раскрытого позже), клавиатур, и тому подобного.
Шина 812 предоставляет процессору(ам) 802, устройству(ам) 804 памяти, интерфейсу(ам) 806, запоминающему устройству(ам) 808 большой емкости и устройству(ам) 810 вода/вывода возможность поддерживать связь друг с другом, а также с другими устройствами или компонентами, присоединенными к шине 812. Шина 812 представляет собой один или более из нескольких типов шинных структур, таких как системная шина, шина PCI (соединения периферийных компонентов), шина стандарта IEEE (Института инженеров по электротехнике и электронике), шина USB (универсальной последовательной шины), и так далее.
В целях иллюстрации, программы и другие исполняемые программные компоненты показаны в материалах настоящей заявки в виде дискретных блоков, хотя понятно, что такие программы и компоненты могут находиться в разные моменты времени в разных запоминающих компонентах вычислительного устройства 800 и выполняются процессором(ами) 802. В качестве альтернативы, системы и процедуры, описанные в материалах настоящей заявки, могут быть реализованы в аппаратных средствах или комбинации аппаратных средств, программного обеспечения и/или встроенных программ. Например, одна или более специализированных интегральных схем (ASIC) могут быть запрограммированы выполнять одну или более из систем и процедур, описанных в материалах настоящей заявки.
Примеры
Нижеследующие примеры относятся к дополнительным вариантам осуществления.
Пример 1 - способ для выявления объектов или признаков в данных с датчиков. Способ включает в себя формирование сцепленной карты признаков на основании кадра с датчика первого типа и кадра с датчика второго типа. Способ включает в себя выявление одного или более объектов на основании сцепленной карты признаков. В способе, одно или более из формирования и выявления включает в себя формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
В примере 2, способ по примеру 1 дополнительно включает в себя формирование первой карты признаков на основании кадра с датчика первого типа и формирование второй карты признаков на основании кадра с датчика второго типа. Формирование сцепленной карты признаков включает в себя формирование на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
В примере 3, формирование сцепленной карты признаков по примеру 2 включает в себя формирование сопоставленной карты признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
В примере 4, кадр с датчика первого типа по любому из примеров 1-3 включает в себя изображение, а кадр с датчика второго типа включает в себя карту дальностей.
В примере 5, рекуррентная связь нейронной сети по любому из примеров 1-4 подает по прямой связи один или более из признаков в предыдущей сцепленной карте признаков, объект, выявленный в предыдущем кадре или периоде времени, и признак в предыдущем кадре с датчика.
В примере 6, кадр с датчика первого типа по любому из примеров 1-5 включает в себя первый кадр с датчика первого типа, кадр с датчика второго типа включает в себя первый кадр с датчика второго типа, сцепленная карта признаков включает в себя первую сцепленную карту признаков, и один или более объектов включают в себя первые один или более объектов. Способ включает в себя формирование второй сцепленной карты признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа. Способ дополнительно включает в себя выявление вторых одного или более объектов на основании второй сцепленной карты признаков. Способ дополнительно включает в себя подачу по прямой связи одного или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
В примере 7, нейронная сеть как в любом из примеров 1-6 включает в себя входной слой, один или более скрытых слоев и слой классификации. Рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.
В примере 8, способ по любому из примеров 1-7 включает в себя определение признака или выявление объекта для множества подобластей, при этом, признак или объект для множества подобластей подается по прямой связи в виде входного сигнала применительно к соответствующей подобласти для более позднего периода времени.
В примере 9, определение признака или выявление объекта для множества подобластей по примеру 8 включает в себя определение признаков или выявление объектов для подобластей разного размера, чтобы выявлять признаки или объекты разного размера.
В примере 10, рекуррентная связь по любому из примеров 1-9 подает по прямой связи информацию, включающую в себя одно или более из указания типа выявленного объекта или признака или указания расположения объекта или признака.
В примере 11, способ по любому из примеров 1-10 дополнительно включает в себя определение маневра вождения на основании выявленных одного или более объектов или признаков сцепленной карты признаков.
В примере 12, способ по любому из примеров 1-11 дополнительно включает в себя обучение нейронной сети выявлять объекты или признаки с использованием рекуррентной связи.
Пример 13 - машинно-читаемые запоминающие носители, хранящие команды, которые, когда приводятся в исполнение одним или более процессоров, побуждают один или более процессоров реализовывать способ по любому из примеров 1-12.
Пример 14 - система или устройство, которые включают в себя средство для реализации способа или осуществления системы или устройства по любому из примеров 1-13.
В вышеприведенном изобретении была сделана ссылка на прилагаемые чертежи, которые формируют его часть, и на которых, в качестве иллюстрации, показаны конкретные реализации, в которых изобретение может быть осуществлено на практике. Понятно, что могут использоваться другие реализации, и структурные изменения могут быть произведены, не выходя из объема настоящего изобретения. Ссылки в описании изобретения на «один из вариантов осуществления», «вариант осуществления», «примерный вариант осуществления», и т. д., указывают, что описанный вариант осуществления может включать в себя конкретные признак, конструкцию или характеристику, но каждый вариант осуществления не обязательно может включать в себя конкретные признак, конструкцию или характеристику. Более того, такие фразы не обязательно являются указывающими ссылкой на один и тот же вариант осуществления. Кроме того, когда конкретный признак, конструкция или характеристика описаны в связи с вариантом осуществления, предполагается, что он находится в пределах познаний специалиста в данной области техники для осуществления такого признака, конструкции или характеристики в связи с другими вариантами осуществления, описанными или не описанными в прямой форме.
Реализации систем, устройств и способов, раскрытых в материалах настоящей заявки, могут содержать или использовать компьютер специального назначения или общего назначения, включающий в себя компьютерные аппаратные средства, например, такие как один или более процессоров и системная память, как обсуждено в материалах настоящей заявки. Реализации в пределах объема настоящего изобретения также могут включать в себя физические и другие машинно-читаемые носители для переноса или хранения машинно-исполняемых команд и/или структур данных. Такие машиночитаемые носители могут быть любыми имеющимися в распоряжении носителями, к которым может осуществляться доступ компьютерной системой общего назначения или специального назначения. Машинно-читаемые носители, которые хранят машинно-исполняемые команды, являются компьютерными запоминающими носителями (устройствами). Машинно-читаемые носители, которые переносят машинно-исполняемые команды, являются средой передачи данных. Таким образом, в качестве примера, а не ограничения, реализации изобретения могут содержать по меньшей мере две отчетливо разных разновидности машинно-читаемых носителей: компьютерные запоминающие носители (устройства) и среду передачи данных.
Компьютерные запоминающие носители (устройства) включают в себя ОЗУ (оперативное запоминающее устройство, RAM), ПЗУ (постоянное запоминающее устройство, ROM), ЭСППЗУ (электрически стираемое программируемое ПЗУ, EEPROM), CD-ROM (ПЗУ на компакт-диске), твердотельные накопители («SSD») (например, на основе ОЗУ), флэш-память, память на фазовых переходах («PCM»), другие типы памяти, другое оптическое дисковое запоминающее устройство, магнитное дисковое запоминающее устройство или другие магнитные устройства хранения данных, либо любой другой носитель, который может использоваться для хранения требуемого средства управляющей программы в форме машинно-исполняемых команд или структур данных, и к которым может осуществляться доступ компьютером общего назначения или специального назначения.
Реализация устройств, систем и способов, раскрытых в материалах настоящей заявки, может поддерживать связь через компьютерную сеть. «Сеть» определена в качестве одного или более каналов передачи данных, которые делают возможной транспортировку электронных данных между компьютерными системами и/или модулями, и/или другими электронными устройствами. Когда информация переносится или поставляется через сеть или другое соединение связи (проводное, беспроводное, либо комбинацию проводного или беспроводного) в компьютер, компьютер, по сути, рассматривает соединение в качестве среды передачи данных. Среда передачи данных может включать в себя сеть и/или каналы передачи данных, которые могут использоваться для переноса требуемого средства управляющей программы в форме машинно-читаемых команд или структур данных, и к которым может осуществляться доступ компьютером общего назначения или специального назначения. Комбинации приведенного выше также должны быть включены в объем машинно-читаемых носителей.
Машинно-исполняемые команды, например, содержат команды и данные, которые, когда выполняются на процессоре, побуждают компьютер общего назначения, компьютер специального назначения или устройство обработки специального назначения выполнять определенную функцию или группу функций. Машинно-исполняемые команды, например, могут быть двоичным кодом, командами промежуточного формата, такими как на языке ассемблера, или даже исходным кодом. Хотя предмет изобретения был описан на языке, специфичном структурным признакам и/или действиям обобщенных способов, должно быть понятно, что предмет изобретения, определенный в прилагаемой формуле изобретения, не обязательно ограничен описанными признаками или действиями, описанными выше. Скорее, описанные признаки и действия раскрыты в качестве примерных форм реализации формулы изобретения.
Специалисты в данной области техники будут принимать во внимание, что изобретение может быть осуществлено на практике в сетевых вычислительных средах с другими типами конфигураций компьютерных систем, включая встроенный в приборный щиток компьютер транспортного средства, персональные компьютеры, настольные компьютеры, дорожные компьютеры, процессоры сообщений, карманные устройства, многопроцессорные системы, основанную на микропроцессорах или программируемую бытовую электронику, сетевые ПК (персональные компьютеры), миникомпьютеры, универсальные компьютеры, мобильные телефоны, PDA (персональные цифровые секретари), планшеты, пейджеры, маршрутизаторы, коммутаторы, различные запоминающие устройства, и тому подобное. Изобретение также может быть осуществлено на практике в средах распределенной системы, где локальные и удаленные компьютерные системы, которые связаны (проводными каналами передачи данных, беспроводными каналами передачи данных или комбинацией проводных и беспроводных каналов передачи данных) через сеть, те и другие выполняют задания. В среде распределенной системы, программные модули могут быть расположены как в локальном, так и в удаленном запоминающих устройствах памяти.
Кроме того, где уместно, функции, описанные в материалах настоящей заявки, могут выполняться в одном или более из: аппаратных средств, программного обеспечения, встроенных программ, цифровых компонентов или аналоговых компонентов. Например, одна или более специализированных интегральных микросхем (ASIC) могут быть запрограммированы выполнять одну или более из систем и процедур, описанных в материалах настоящей заявки. Определенные термины используются на всем протяжении описания и формулы изобретения для указания ссылкой на конкретные компоненты системы. Термин «модули» и «компоненты» используются в названиях некоторых компонентов, чтобы отражать независимость их реализации в программном обеспечении, аппаратных средствах, схеме, датчиках, или тому подобном. Как будет принимать во внимание специалист в данной области техники, компоненты могут указываться ссылкой разными наименованиями. Данный документ не подразумевает, что следует проводить различие между компонентами, которые отличаются по наименованию, но не по функции.
Следует отметить, что варианты осуществления датчиков, обсужденные выше, могут содержать компьютерные аппаратные средства, программное обеспечение, встроенные программы или любую их комбинацию для выполнения по меньшей мере части своих функций. Например, датчик может включать в себя машинный код, выполненный с возможностью выполняться на одном или более процессоров, и может включать в себя аппаратные логические/электрические схемы, управляемые машинным кодом. Эти примерные устройства предусмотрены в материалах настоящей заявки в целях иллюстрации и не подразумеваются ограничивающими. Варианты осуществления настоящего изобретения могут быть реализованы в дополнительных типах устройств, как было бы известно специалистам в данной области(ях) техники.
По меньшей мере некоторые варианты осуществления изобретения были направлены на компьютерные программные продукты, содержащие такую логику (например, в форме программного обеспечения), хранимую на любом используемом компьютером носителе. Такое программное обеспечение, когда выполняется в одном или более устройств обработки данных, побуждает устройства действовать, как описано в материалах настоящей заявки.
Несмотря на то, что выше были описаны варианты осуществления настоящего изобретения, должно быть понятно, что они были представлены только в качестве примера, а не ограничения. Специалистам в данной области техники будет очевидно, что различные изменения по форме и содержанию могут быть произведены в нем, не выходя из сущности и объема изобретения. Так, широту и объем настоящего изобретения не следует ограничивать никакими из вышеописанных вариантов осуществления, но следует определять только в соответствии с нижеследующей формулой изобретения и ее эквивалентами. Вышеизложенное описание было представлено в целях иллюстрации и описания. Оно не подразумевается исчерпывающим или ограничивающим изобретение точной раскрытой формой. Многие модификации и варианты возможны в свете вышеприведенной доктрины. Кроме того, следует обратить внимание, что любые или все из вышеупомянутых альтернативных реализаций могут использоваться в любой комбинации, требуемой для формирования дополнительных смешанных реализаций изобретения.
Кроме того, хотя были описаны и проиллюстрированы конкретные реализации изобретения, изобретение не должно ограничиваться конкретными формами или устройствами деталей, описанных и проиллюстрированных таким образом. Объем изобретения должен определяться формулой изобретения, прилагаемой к нему, любыми будущими формулами изобретения, представленными на рассмотрение здесь и в других заявках, и их эквивалентами.

Claims (53)

1. Способ выявления объектов в данных с датчиков, содержащий этапы, на которых:
формируют сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа;
выявляют один или более объектов на основании сцепленной карты признаков; и
предоставляют один или более выявленных объектов в систему автоматического вождения или систему содействия вождению транспортного средства для выполнения маневра вождения на транспортном средстве на основании одного или более выявленных объектов; при этом
одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
2. Способ по п. 1, дополнительно содержащий этап, на котором формируют первую карту признаков на основании кадра с датчика первого типа и формируют вторую карту признаков на основании кадра с датчика второго типа, при этом формирование сцепленной карты признаков содержит формирование, основанное на высокоуровневых признаках на первой карте признаков или второй карте признаков.
3. Способ по п. 2, в котором формирование сцепленной карты признаков содержит этап, на котором формируют сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
4. Способ по п. 1, в котором кадр с датчика первого типа содержит изображение и при этом кадр с датчика второго типа содержит карту дальностей.
5. Способ по п. 1, в котором нейронная сеть подает по прямой связи одно или более из:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного в предыдущем кадре или периоде времени; и
признака в предыдущем кадре с датчика.
6. Способ по п. 1, в котором кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков и один или более объектов содержат первые один или более объектов, при этом способ дополнительно содержит этапы, на которых:
формируют вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявляют вторые один или более объектов на основании второй сцепленной карты признаков; и
подают по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
7. Способ по п. 1, в котором нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.
8. Система выявления объектов в данных с датчиков, содержащая:
один или более компонентов датчиков, выполненных с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом каждый из первого потока и второго потока содержат множество кадров с датчика;
компонент выявления, выполненный с возможностью:
формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявлять один или более объектов на основании сцепленной карты признаков; и
систему автоматического вождения или систему содействия вождению транспортного средства, выполненные с возможностью выполнения маневра вождения на транспортном средстве на основании одного или более выявленных объектов;
при этом одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
9. Система по п. 8, в которой компонент выявления дополнительно выполнен с возможностью формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом компонент выявления формирует сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
10. Система по п. 9, в которой компонент выявления выполнен с возможностью формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
11. Система по п. 8, в которой кадр с датчика первого типа содержит изображение и при этом кадр с датчика второго типа содержит карту дальностей.
12. Система по п. 8, в которой рекуррентная связь нейронной сети подает по прямой связи одно или более из:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и
признака в предыдущем кадре с датчика.
13. Система по п. 8, в которой кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков и один или более объектов содержат первые один или более объектов, при этом компонент выявления дополнительно выполнен с возможностью:
формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и
подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
14. Система по п. 8, в которой нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.
15. Машиночитаемый запоминающий носитель, хранящий команды, которые, когда приводятся в исполнение одним или более процессорами, побуждают один или более процессор:
получать первый поток данных с датчиков и второй поток данных с датчиков, при этом каждый из первого потока и второго потока содержат множество кадров с датчика;
формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявлять один или более объектов на основании сцепленной карты признаков; и
предоставлять один или более выявленных объектов в систему автоматического вождения или систему содействия вождению транспортного средства для выполнения маневра вождения на транспортном средстве на основании одного или более выявленных объектов;
при этом одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
16. Машиночитаемый запоминающий носитель по п. 15, в котором команды дополнительно побуждают один или более процессор формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом команды побуждают один или более процессор формировать сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
17. Машиночитаемый запоминающий носитель по п. 16, в котором команды побуждают один или более процессор формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
18. Машиночитаемый запоминающий носитель по п. 15, в котором кадр с датчика первого типа содержит изображение и при этом кадр с датчика второго типа содержит карту дальностей.
19. Машиночитаемый запоминающий носитель по п. 15, в котором команды дополнительно побуждают один или более процессор подавать по прямой связи, с использованием рекуррентной связи нейронной сети, одно или более из следующего:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и
признака в предыдущем кадре с датчика.
20. Машиночитаемый запоминающий носитель по п. 15, в котором кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков и один или более объектов содержат первые один или более объектов, при этом команды дополнительно побуждают один или более процессор:
формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и
подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
RU2018101866A 2017-01-24 2018-01-18 Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков RU2701051C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/414,383 US10198655B2 (en) 2017-01-24 2017-01-24 Object detection using recurrent neural network and concatenated feature map
US15/414,383 2017-01-24

Publications (3)

Publication Number Publication Date
RU2018101866A RU2018101866A (ru) 2019-07-23
RU2018101866A3 RU2018101866A3 (ru) 2019-07-24
RU2701051C2 true RU2701051C2 (ru) 2019-09-24

Family

ID=61283600

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018101866A RU2701051C2 (ru) 2017-01-24 2018-01-18 Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков

Country Status (6)

Country Link
US (3) US10198655B2 (ru)
CN (1) CN108388834B (ru)
DE (1) DE102018101318A1 (ru)
GB (1) GB2561051A (ru)
MX (1) MX2018000851A (ru)
RU (1) RU2701051C2 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2785822C1 (ru) * 2022-11-14 2022-12-14 Ольга Дмитриевна Миронова Способ предупреждения о наличии препятствия на пути следования

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) * 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
CN110799947A (zh) * 2017-04-17 2020-02-14 移动眼视力科技有限公司 用于误差校正的系统和方法
WO2018212538A1 (en) * 2017-05-16 2018-11-22 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
US20190079526A1 (en) * 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
US11335024B2 (en) * 2017-10-20 2022-05-17 Toyota Motor Europe Method and system for processing an image and determining viewpoints of objects
WO2019127618A1 (zh) * 2017-12-25 2019-07-04 图灵通诺（北京）科技有限公司 结算方法、装置和系统
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
US10776671B2 (en) * 2018-05-25 2020-09-15 Adobe Inc. Joint blur map estimation and blur desirability classification from an image
US11640533B2 (en) * 2018-08-03 2023-05-02 Arm Limited System, method and apparatus for training neural networks using multiple datasets
US11055854B2 (en) * 2018-08-23 2021-07-06 Seoul National University R&Db Foundation Method and system for real-time target tracking based on deep learning
CN109188420B (zh) * 2018-08-27 2023-04-07 西安电子科技大学 基于深度长短期记忆网络的窄带雷达目标跟踪方法
US10672136B2 (en) * 2018-08-31 2020-06-02 Snap Inc. Active image depth prediction
EP3626585A1 (en) * 2018-09-21 2020-03-25 Visteon Global Technologies, Inc. Driver assistance system and method for displaying traffic information
CN109326006B (zh) * 2018-09-30 2023-03-28 阿波罗智联(北京)科技有限公司 地图融合方法和装置
US20190061771A1 (en) * 2018-10-29 2019-02-28 GM Global Technology Operations LLC Systems and methods for predicting sensor information
DE102018219984B3 (de) * 2018-11-22 2020-03-26 Volkswagen Aktiengesellschaft Verfahren und System zum Unterstützen eines automatisiert fahrenden Fahrzeugs
JP7241517B2 (ja) * 2018-12-04 2023-03-17 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム
US10963757B2 (en) * 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
US20200217950A1 (en) * 2019-01-07 2020-07-09 Qualcomm Incorporated Resolution of elevation ambiguity in one-dimensional radar processing
CN109870698B (zh) * 2019-01-15 2021-12-24 阿波罗智能技术(北京)有限公司 一种超声波阵列障碍物检测结果处理方法及系统
CN113228043A (zh) * 2019-01-22 2021-08-06 深圳市大疆创新科技有限公司 移动平台基于神经网络的障碍物检测及关联的系统和方法
CN109887006A (zh) * 2019-01-29 2019-06-14 杭州国芯科技股份有限公司 一种基于帧差法加速神经网络运算的方法
WO2020154973A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
US11087175B2 (en) * 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
US10976412B2 (en) * 2019-02-01 2021-04-13 GM Global Technology Operations LLC Deep learning for super resolution in a radar system
CN109932730B (zh) * 2019-02-22 2023-06-23 东华大学 基于多尺度单极三维检测网络的激光雷达目标检测方法
WO2020171818A1 (en) * 2019-02-22 2020-08-27 Google Llc Memory-guided video object detection
US20200272895A1 (en) * 2019-02-25 2020-08-27 International Business Machines Corporation Answering cognitive queries from sensor input signals
DE102019106204B4 (de) * 2019-03-12 2023-04-27 Elmos Semiconductor Se Ultraschallsystem mit zentralisierter Objekterkennung auf Basis von dekomprimierten Ultraschallsignalen mehrerer Sensoren und zugehöriges Kompressionsverfahren
CN109934175B (zh) * 2019-03-15 2021-07-06 百度在线网络技术（北京）有限公司 一种车辆导航方法、装置、电子设备及存储介质
CN109993151A (zh) * 2019-04-15 2019-07-09 方玉明 一种基于多模块全卷积网络的三维视频视觉注意力检测方法
CN110321889A (zh) * 2019-04-23 2019-10-11 成都数之联科技有限公司 一种图片文件中插图定位提取方法及系统
WO2020224761A1 (en) * 2019-05-06 2020-11-12 Zenuity Ab Automated map making and positioning
CN110443310B (zh) * 2019-08-07 2022-08-09 浙江大华技术股份有限公司 比对分析系统的更新方法、服务器及计算机存储介质
CN110532932B (zh) * 2019-08-26 2022-12-13 哈尔滨工程大学 一种多分量雷达信号脉内调制方式识别方法
US11663514B1 (en) * 2019-08-30 2023-05-30 Apple Inc. Multimodal input processing system
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
CN110533725B (zh) * 2019-09-06 2022-04-29 西南交通大学 一种基于结构推理网络的高铁接触网多种零部件定位方法
DE102019130204B4 (de) * 2019-11-08 2024-02-08 Automotive Research & Testing Center Verfahren und System zum Erstellen dynamischer Karteninformation, die zum Bereitstellen von Umgebungsinformationen geeignet ist
US11252366B2 (en) * 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
WO2021125510A1 (en) * 2019-12-20 2021-06-24 Samsung Electronics Co., Ltd. Method and device for navigating in dynamic environment
US11255960B2 (en) * 2020-01-24 2022-02-22 The Boeing Company Synthetic aperture radar (SAR) based convolutional navigation
US11113584B2 (en) * 2020-02-04 2021-09-07 Nio Usa, Inc. Single frame 4D detection using deep fusion of camera image, imaging RADAR and LiDAR point cloud
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
RU2763215C2 (ru) * 2020-04-10 2021-12-28 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы формирования обучающих данных для нейронной сети
US11254331B2 (en) * 2020-05-14 2022-02-22 StradVision, Inc. Learning method and learning device for updating object detector, based on deep learning, of autonomous vehicle to adapt the object detector to driving circumstance, and updating method and updating device using the same
US11551429B2 (en) 2020-06-05 2023-01-10 Uatc, Llc Photorealistic image simulation with geometry-aware composition
SE544261C2 (en) 2020-06-16 2022-03-15 IntuiCell AB A computer-implemented or hardware-implemented method of entity identification, a computer program product and an apparatus for entity identification
US11823458B2 (en) * 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
US11960290B2 (en) * 2020-07-28 2024-04-16 Uatc, Llc Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps
CN112114303A (zh) * 2020-08-17 2020-12-22 安徽捷纳森电子科技有限公司 单向无源相阵控扫描识别盗砂船的方法
GB2599365B8 (en) * 2020-09-24 2023-05-24 Acad Of Robotics Device and system for autonomous vehicle control
GB2599364B (en) * 2020-09-24 2023-04-12 Acad Of Robotics Method and software stack for identifying a feature using active vision
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
CN112509052B (zh) * 2020-12-22 2024-04-23 苏州超云生命智能产业研究院有限公司 黄斑中心凹的检测方法、装置、计算机设备和存储介质
US11954180B2 (en) 2021-06-11 2024-04-09 Ford Global Technologies, Llc Sensor fusion area of interest identification for deep learning
CN113706614B (zh) * 2021-08-27 2024-06-21 重庆赛迪奇智人工智能科技有限公司 一种小目标检测方法、装置、存储介质和电子设备
EP4148456A1 (en) * 2021-09-10 2023-03-15 Aptiv Technologies Limited Computer implemented method, computer system and computer readable medium for object detection in a vehicle
KR20230056407A (ko) * 2021-10-20 2023-04-27 삼성전자주식회사 영상 정보를 생성하는 방법 및 장치
CN114463772B (zh) * 2022-01-13 2022-11-25 苏州大学 基于深度学习的交通标志检测与识别方法及系统
CN114611635B (zh) * 2022-05-11 2022-08-30 北京闪马智建科技有限公司 一种对象的识别方法、装置、存储介质及电子装置
CN115056784B (zh) * 2022-07-04 2023-12-05 小米汽车科技有限公司 车辆控制方法、装置、车辆、存储介质及芯片

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2476825C2 (ru) * 2011-03-01 2013-02-27 Государственное образовательное учреждение высшего профессионального образования Томский государственный университет (ТГУ) Способ управления движущимся объектом и устройство для его осуществления
US20150104062A1 (en) * 2013-10-14 2015-04-16 National Taipei University Of Technology Probabilistic neural network based moving object detection method and an apparatus using the same
US20150278642A1 (en) * 2014-04-01 2015-10-01 Superfish Ltd. Neural network image representation
RU2596246C2 (ru) * 2011-02-21 2016-09-10 Стратек Системс Лимитед Система наблюдения и способ обнаружения засорения или повреждения аэродрома посторонними предметами
US20160328630A1 (en) * 2015-05-08 2016-11-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718125B1 (ko) * 2005-03-25 2007-05-15 삼성전자주식회사 생체신호와 인공신경회로망을 이용한 생체인식 장치 및방법
CN100492437C (zh) * 2007-06-01 2009-05-27 清华大学 一种目标车换道工况下的快速识别方法
CN101222524B (zh) * 2008-01-09 2011-12-21 华南理工大学 一种分布式多传感协同测量系统
JP5108563B2 (ja) * 2008-03-03 2012-12-26 日本放送協会 ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム
US20160379505A1 (en) * 2010-06-07 2016-12-29 Affectiva, Inc. Mental state event signature usage
US10074024B2 (en) * 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
CN102609680B (zh) * 2011-12-22 2013-12-04 中国科学院自动化研究所 一种基于三维深度图像信息的并行统计学习人体部位检测方法
US20140300494A1 (en) * 2013-04-03 2014-10-09 Ford Global Technologies, Llc Location based feature usage prediction for contextual hmi
CN103700118B (zh) 2013-12-27 2016-06-01 东北大学 基于脉冲耦合神经网络的动目标检测方法
CN104217214B (zh) 2014-08-21 2017-09-19 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb‑d人物行为识别方法
CN104299245B (zh) 2014-10-13 2017-12-26 深圳先进技术研究院 基于神经网络的增强现实跟踪方法
CN105224942B (zh) 2015-07-09 2020-02-04 华南农业大学 一种rgb-d图像分类方法及系统
CN105740767A (zh) 2016-01-22 2016-07-06 江苏大学 一种基于脸部特征的驾驶员路怒症实时识别和预警方法
US9802599B2 (en) 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
CN106250812B (zh) 2016-07-15 2019-08-20 汤一平 一种基于快速r-cnn深度神经网络的车型识别方法
CN106250863B (zh) * 2016-08-09 2019-07-26 北京旷视科技有限公司 对象追踪方法和装置
JP6964234B2 (ja) 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2596246C2 (ru) * 2011-02-21 2016-09-10 Стратек Системс Лимитед Система наблюдения и способ обнаружения засорения или повреждения аэродрома посторонними предметами
RU2476825C2 (ru) * 2011-03-01 2013-02-27 Государственное образовательное учреждение высшего профессионального образования Томский государственный университет (ТГУ) Способ управления движущимся объектом и устройство для его осуществления
US20150104062A1 (en) * 2013-10-14 2015-04-16 National Taipei University Of Technology Probabilistic neural network based moving object detection method and an apparatus using the same
US20150278642A1 (en) * 2014-04-01 2015-10-01 Superfish Ltd. Neural network image representation
US20160328630A1 (en) * 2015-05-08 2016-11-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2785822C1 (ru) * 2022-11-14 2022-12-14 Ольга Дмитриевна Миронова Способ предупреждения о наличии препятствия на пути следования
RU2824055C1 (ru) * 2023-05-03 2024-08-01 Федеральное государственное казенное учреждение "12 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации Способ комплексного интеллектуального выявления запрещенных объектов и несанкционированных действий в потоке видеоданных

Also Published As

Publication number Publication date
US20190122067A1 (en) 2019-04-25
CN108388834A (zh) 2018-08-10
GB201801009D0 (en) 2018-03-07
US10452946B2 (en) 2019-10-22
RU2018101866A3 (ru) 2019-07-24
DE102018101318A1 (de) 2018-07-26
MX2018000851A (es) 2018-11-09
US10198655B2 (en) 2019-02-05
GB2561051A (en) 2018-10-03
US20210103755A1 (en) 2021-04-08
US11062167B2 (en) 2021-07-13
US20180211128A1 (en) 2018-07-26
RU2018101866A (ru) 2019-07-23
CN108388834B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
RU2701051C2 (ru) Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков
US20180211403A1 (en) Recurrent Deep Convolutional Neural Network For Object Detection
US11847917B2 (en) Fixation generation for machine learning
CN107220581B (zh) 通过后置摄像机的行人检测和运动预测
US12067764B2 (en) Brake light detection
US10849543B2 (en) Focus-based tagging of sensor data
US20180268566A1 (en) Vehicle Localization Using Cameras
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
Padmaja et al. A novel design of autonomous cars using IoT and visual features
EP3674972A1 (en) Methods and systems for generating training data for neural network
US20230048926A1 (en) Methods and Systems for Predicting Properties of a Plurality of Objects in a Vicinity of a Vehicle
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
EP3989031A1 (en) Systems and methods for fusing road friction data to enhance vehicle maneuvering
EP4224433A1 (en) Training a perception model for a vehicle
US20230230389A1 (en) Method for detecting information about at least one object and/or at least a part of free space in a representation of the environment of a system
US11697435B1 (en) Hierarchical vehicle action prediction
CN117372916A (zh) 对图像帧中的对象的注释
CN114973196A (zh) 一种组合目标的目标检测方法及装置
CN110706374A (zh) 运动状态预测方法、装置、电子设备及车辆