RU2759975C1 - Операционное управление автономным транспортным средством с управлением восприятием визуальной салиентности - Google Patents
Операционное управление автономным транспортным средством с управлением восприятием визуальной салиентности Download PDFInfo
- Publication number
- RU2759975C1 RU2759975C1 RU2021108276A RU2021108276A RU2759975C1 RU 2759975 C1 RU2759975 C1 RU 2759975C1 RU 2021108276 A RU2021108276 A RU 2021108276A RU 2021108276 A RU2021108276 A RU 2021108276A RU 2759975 C1 RU2759975 C1 RU 2759975C1
- Authority
- RU
- Russia
- Prior art keywords
- vehicle
- autonomous vehicle
- salience
- information
- view
- Prior art date
Links
- 230000008447 perception Effects 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 title abstract description 17
- 230000009471 action Effects 0.000 claims abstract description 141
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims description 85
- 239000004519 grease Substances 0.000 claims description 34
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000003213 activating effect Effects 0.000 claims description 5
- 230000001052 transient effect Effects 0.000 claims description 5
- 238000013210 evaluation model Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 252
- 238000004891 communication Methods 0.000 description 69
- 238000010586 diagram Methods 0.000 description 26
- 230000001276 controlling effect Effects 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 20
- 230000008859 change Effects 0.000 description 15
- 238000007726 management method Methods 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 14
- 238000003032 molecular docking Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000004044 response Effects 0.000 description 13
- 230000007704 transition Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 239000002609 medium Substances 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- LIWAQLJGPBVORC-UHFFFAOYSA-N ethylmethylamine Chemical compound CCNC LIWAQLJGPBVORC-UHFFFAOYSA-N 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 239000006163 transport media Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Изобретение относится к средствам управления автономным транспортным средством. Техническим результатом является обеспечение операционного управления автономным транспортным средством с управлением восприятием визуальной салиентности. Способ перемещения автономного транспортного средства по транспортной сети транспортных средств включает в себя приведение в действие блока восприятия и контроллера операционного управления автономным транспортным средством, что включает в себя генерирование информации о внешнем объекте на основе данных изображения и информации салиентности, принятой от контроллера операционного управления автономным транспортным средством, а также идентификацию отдельного операционного сценария транспортного средства на основе информации о внешнем объекте, создание экземпляра модуля оценки операционного управления для конкретного сценария, прием возможного действия по управлению транспортным средством из политики для экземпляра модуля оценки операционного управления для конкретного сценария и управление автономным транспортным средством в соответствии с возможным действием по управлению транспортным средством. 3 н. и 14 з.п. ф-лы, 13 ил.
Description
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
[0001] Эта заявка испрашивает приоритет и преимущество заявки на патент США № 16/119,260, поданной 31 августа 2018 г., полностью включенной в настоящий документ посредством ссылки.
Область техники
[0002] Это раскрытие относится к операционному управлению автономным транспортным средством, автономному вождению и восприятию транспортного средства.
Уровень техники
[0003] Транспортное средство, такое как автономное транспортное средство, может перемещаться по части транспортной сети транспортных средств. Перемещение по части транспортной сети транспортных средств может включать в себя генерирование или сбор, например, датчиком транспортного средства, данных, таких как данные, представляющие операционную среду транспортного средства или ее часть. Соответственно, система, способ и аппаратура для операционного (оперативного) управления автономным транспортным средством с управлением восприятием визуальной (зрительной) салиентности могут быть полезными.
Сущность изобретения
[0004] В данном документе раскрыты аспекты, особенности, элементы, реализации и варианты осуществления операционного управления автономным транспортным средством с управлением восприятием визуальной салиентности.
[0005] Аспектом раскрытых вариантов осуществления является способ для применения при перемещении по транспортной сети транспортных средств посредством автономного транспортного средства, при этом автономное транспортное средство включает в себя блок восприятия и контроллер операционного управления автономным транспортным средством. Перемещение по транспортной сети транспортных средств включает в себя приведение в действие блока восприятия и приведение в действие контроллера операционного управления автономным транспортным средством. Приведение в действие блока восприятия включает в себя блок восприятия, который принимает информацию салиентности от контроллера операционного управления автономным транспортным средством, генерирует на основе информации салиентности информацию о внешнем объекте, соответствующую одному или нескольким внешним объектам в пределах заданного расстояния от автономного транспортного средства, и выводит информацию о внешнем объекте в контроллер операционного управления автономным транспортным средством. Приведение в действие контроллера операционного управления автономным транспортным средством включает в себя контроллер операционного управления автономным транспортным средством, который генерирует среду операционного управления автономным транспортным средством для приведения в действие экземпляра модуля оценки операционного управления для конкретного сценария, при этом экземпляр модуля оценки операционного управления для конкретного сценария включает в себя экземпляр модели оценки операционного управления для конкретного сценария отдельного операционного сценария транспортного средства, и при этом приведение в действие экземпляра модуля оценки операционного управления для конкретного сценария включает в себя идентификацию политики для модели оценки операционного управления для конкретного сценария. Приведение в действие контроллера операционного управления автономным транспортным средством включает в себя контроллер операционного управления автономным транспортным средством, который идентифицирует отдельный операционный сценарий транспортного средства на основе информации о внешнем объекте, создает экземпляр экземпляра модуля оценки операционного управления для конкретного сценария, принимает возможное действие по управлению транспортным средством из политики для экземпляра модуля оценки операционного управления для конкретного сценария и управляет автономным транспортным средством для перемещения по части транспортной сети транспортных средств в соответствии с возможным действием по управлению транспортным средством, при этом часть транспортной сети транспортных средств включает в себя отдельный операционный сценарий транспортного средства.
[0006] Другой аспект раскрытых вариантов осуществления представляет собой автономное транспортное средство, включающее в себя контроллер операционного управления автономного транспортного средства и блок восприятия. Блок восприятия выполнен с возможностью выполнения инструкций, хранящихся на некратковременном компьютерно-читаемом носителе, для приема информации салиентности от контроллера операционного управления автономным транспортным средством, генерирования на основе информации салиентности информации о внешнем объекте, соответствующей одному или нескольким внешним объектам в пределах заданного расстояния от автономного транспортного средства, и вывода информации о внешнем объекте в контроллер операционного управления автономным транспортным средством. Контроллер операционного управления автономным транспортным средством выполнен с возможностью выполнения инструкций, хранящихся на некратковременном компьютерно-читаемом носителе, для генерирования среды операционного управления автономным транспортным средством для приведения в действие экземпляра модуля оценки операционного управления для конкретного сценария, при этом экземпляр модуля оценки операционного управления для конкретного сценария включает в себя экземпляр модели оценки операционного управления для конкретного сценария отдельного операционного сценария транспортного средства, и при этом приведение в действие экземпляра модуля оценки операционного управления для конкретного сценария включает в себя идентификацию политики для модели оценки операционного управления для конкретного сценария, идентификацию отдельного операционного сценария транспортного средства на основе информации о внешнем объекте, создание экземпляра модуля оценки операционного управления для конкретного сценария, прием возможного действия по управлению транспортным средством из политики для экземпляра модуля оценки операционного управления для конкретного сценария и управление автономным транспортным средством для перемещения по части транспортной сети транспортных средств в соответствии с возможным действием по управлению транспортным средством, при этом часть транспортной сети транспортных средств включает в себя отдельный операционный сценарий транспортного средства.
[0007] Другой аспект раскрытых вариантов осуществления представляет собой способ для применения при перемещении по транспортной сети транспортных средств посредством автономного транспортного средства, при этом автономное транспортное средство включает в себя блок восприятия и контроллер операционного управления автономным транспортным средством. Перемещение по транспортной сети транспортных средств включает в себя приведения в действие блока восприятия и приведения в действие контроллера операционного управления автономным транспортным средством. Приведение в действие блока восприятия включает в себя прием информации салиентности от контроллера операционного управления автономным транспортным средством, при этом информация салиентности указывает для каждого сектора салиентности из множества неперекрывающихся секторов салиентности относительно автономного транспортного средства соответствующий приоритет и соответствующее расстояние салиентности относительно автономного транспортного средства. Приведение в действие блока восприятия включает в себя прием информации датчиков от датчиков автономного транспортного средства и генерирование на основе информации салиентности и информации датчиков информации о внешнем объекте, соответствующей одному или нескольким внешним объектам в пределах заданного расстояния от автономного транспортного средства. Генерирование информации о внешнем объекте включает в себя идентификацию салиентной части информации датчиков на основе информации салиентности, так что информация датчиков представляет собой сумму салиентной части и несалиентной части информации датчиков, при этом идентификация салиентной части включает в себя идентификацию салиентной части, так что салиентная часть пространственно соответствует сектору салиентности, указанному как имеющий высокий приоритет в информации салиентности, и при этом идентификация салиентной части включает в себя определение размера салиентной части на основе расстояния салиентности, и генерирование информации о внешнем объекте на основе салиентной части, так что генерирование информации о внешнем объекте пропускает использование несалиентной части. Приведение в действие блока восприятия включает в себя вывод информации о внешнем объекте в контроллер операционного управления автономным транспортным средством. Приведение в действие контроллера операционного управления автономным транспортным средством включает в себя контроллер операционного управления автономным транспортным средством, который генерирует среду операционного управления автономным транспортным средством для приведения в действие экземпляра модуля оценки операционного управления для конкретного сценария, при этом экземпляр модуля оценки операционного управления для конкретного сценария включает в себя экземпляр модели оценки операционного управления для конкретного сценария отдельного операционного сценария транспортного средства, и при этом приведение в действие экземпляра модуля оценки операционного управления для конкретного сценария включает в себя идентификацию политики для модели оценки операционного управления для конкретного сценария. Приведение в действие контроллера операционного управления автономным транспортным средством включает в себя контроллер операционного управления автономным транспортным средством, который идентифицирует отдельный операционный сценарий транспортного средства на основе информации о внешнем объекте, создает экземпляр экземпляра модуля оценки операционного управления для конкретного сценария, принимает возможное действие по управлению транспортным средством из политики для экземпляра модуля оценки операционного управления для конкретного сценария и управляет автономным транспортным средством для перемещения по части транспортной сети транспортных средств в соответствии с возможным действием по управлению транспортным средством, при этом часть транспортной сети транспортных средств включает в себя отдельный операционный сценарий транспортного средства.
[0008] Вариации в этих и других аспектах, признаках, элементах, реализациях и вариантах осуществления способов, аппаратур, процедур и алгоритмов, раскрытых в данном документе, описаны более подробно ниже.
Краткое описание чертежей.
[0009] Различные аспекты способов и устройств, раскрытых в данном документе, станут более очевидными при обращении к примерам, представленным в следующем описании и чертежах, на которых:
[0010] Фиг. 1 - схема примера транспортного средства, в котором могут быть реализованы аспекты, признаки и элементы, раскрытые в данном документе;
[0011] Фиг. 2 - схема примера части системы транспортировки и связи транспортных средств, в которой могут быть реализованы аспекты, признаки и элементы, раскрытые в данном документе;
[0012] Фиг. 3 - схема части транспортной сети транспортных средств в соответствии с этим раскрытием;
[0013] Фиг. 4 - схема примера системы операционного управления автономным транспортным средством в соответствии с вариантами осуществления этого раскрытия;
[0014] Фиг. 5 - блок-схема последовательности операций примера операционного управления автономным транспортным средством в соответствии с вариантами осуществления этого раскрытия;
[0015] Фиг. 6 - схема примера транспортного средства в соответствии с вариантами осуществления этого раскрытия;
[00016] Фиг. 7 - схема примера полей зрения для датчиков транспортного средства в соответствии с вариантами осуществления этого раскрытия;
[0017] Фиг. 8 - схема примера областей салиентности в соответствии с вариантами осуществления этого раскрытия;
[0018] Фиг. 9 - схема примерного соответствия между неперекрывающимися секторами салиентности и полями зрения в соответствии с вариантами осуществления этого раскрытия;
[0019] Фиг. 10 - блок-схема примера операционного управления автономным транспортным средством с управлением восприятием визуальной салиентности в соответствии с вариантами осуществления этого раскрытия;
[0020] Фиг. 11 - схема примера операционного управления автономным транспортным средством с управлением восприятием визуальной салиентности для части транспортной сети транспортных средств, включая сценарий перекрестка и сценарий пешехода, в соответствии с вариантами осуществления этого раскрытия;
[0021] Фиг. 12 - схема примера другой части транспортной сети транспортных средств, включая сценарий перекрестка, в соответствии с вариантами осуществления этого раскрытия;
[0022] Фиг. 13 - схема примера другой части транспортной сети транспортных средств, включая сценарий перекрестка и сценарий пешехода, в соответствии с вариантами осуществления этого раскрытия.
Подробное описание
[0023] Транспортное средство, такое как автономное транспортное средство или полуавтономное транспортное средство, может перемещаться по части транспортной сети транспортных средств. Транспортное средство может включать в себя один или несколько датчиков, и перемещение по транспортной сети транспортных средств может включать в себя датчики, генерирующие или собирающие данные датчиков, такие как данные, соответствующие операционной среде транспортного средства или ее части. Например, данные датчика могут включать в себя информацию, соответствующую одному или нескольким внешним объектам, таким как пешеходы, удаленные транспортные средства, другие объекты в операционной среде транспортного средства, геометрия транспортной сети транспортных средств или их комбинацию.
[0024] Автономное транспортное средство может включать в себя систему операционного управления автономным транспортным средством, которая может включать в себя один или несколько мониторов (блоков контроля) операционной среды, которые могут обрабатывать данные операционной среды, такие как данные датчиков, для автономного транспортного средства. Система операционного управления автономным транспортным средством может обнаруживать один или несколько операционных сценариев и может создавать экземпляры соответствующих экземпляров модулей оценки операционного управления для конкретных сценариев в ответ на обнаружение соответствующих операционных сценариев. Контроллер операционного управления автономным транспортным средством может принимать действия по управлению транспортным средством от соответствующих созданных экземпляров модуля оценки операционного управления для конкретного сценария и может управлять автономным транспортным средством для перемещения по части транспортной сети транспортных средств в соответствии с идентифицированным действием по управлению транспортным средством.
[0025] Транспортное средство, реализующее операционное управление автономным транспортным средством с управлением восприятием визуальной салиентности, может включать в себя блок восприятия, который может принимать информацию салиентности, указывающую одну или несколько определенных областей поля зрения, окружающего транспортное средство, и может использовать информацию салиентности для выполнения обнаружения объекта с использованием алгоритма глубокого обучения. Система операционного управления автономным транспортным средством может принимать информацию о внешнем объекте от системы восприятия, может осуществлять перемещение по части транспортной сети транспортных средств на основе информации о внешнем объекте и может генерировать информацию салиентности на основе информации транспортной сети транспортных средств, информации о спроецированных внешних объектах или их комбинации. Система операционного управления автономным транспортным средством может предоставлять информацию салиентности системе восприятия для использования при последующем обнаружении объекта.
[0026] Хотя описанные здесь со ссылкой на автономное транспортное средство, способы и аппаратура, описанные здесь, могут быть реализованы в любом транспортном средстве, допускающем автономную или полуавтономную работу. Хотя они описаны со ссылкой на транспортную сеть транспортных средств, описанные здесь способ и аппаратура могут включать в себя автономное транспортное средство, работающее в любой области, по которой может перемещаться транспортное средство.
[0027] Фиг. 1 является схемой примера транспортного средства, в котором могут быть реализованы аспекты, признаки и элементы, раскрытые в данном документе. Как показано, транспортное средство 1000 включает в себя шасси 1100, силовую цепь 1200, контроллер 1300 и колеса 1400. Хотя для простоты транспортное средство 1000 показано с четырьмя колесами 1400, можно использовать любое другое устройство или устройства с двигателем, такие как с винтом или на гусеничном ходу. На фиг. 1 линии, соединяющие элементы, такие как силовая цепь 1200, контроллер 1300, и колеса 1400, указывают, что информация, такая как сигналы данных или управления, мощность, такая как электрическая мощность или крутящий момент, или как информация, так и мощность могут передаваться между соответствующими элементами. Например, контроллер 1300 может принимать мощность от силовой цепи 1200 и может связываться с силовой цепью 1200, колесами 1400 или обоими для управления транспортным средством 1000, что может включать в себя управление кинетическим состоянием транспортного средства, например, путем ускорения или замедления, управление направленным состоянием транспортного средства, например, с помощью рулевого управления или иное управление транспортным средством 1000.
[0028] Как показано, силовая цепь 1200 включает в себя источник 1210 мощности, трансмиссию 1220, блок 1230 рулевого управления и привод 1240. Могут быть включены другие элементы или комбинации элементов силовой цепи, такие как подвеска, приводной вал, оси или выхлопная система. Хотя колеса 1400 показаны отдельно, они могут быть включены в силовую цепь 1200.
[0029] Источник 1210 мощности может включать в себя двигатель, аккумулятор или их комбинацию. Источник 1210 мощности может быть любым устройством или комбинацией устройств, обеспечивающих энергию, такую как электрическая энергия, тепловая энергия или кинетическая энергия. Например, источник 1210 мощности может включать в себя двигатель, такой как двигатель внутреннего сгорания, электромотор или комбинацию двигателя внутреннего сгорания и электромотора, и может действовать для обеспечения кинетической энергии в качестве движущей силы для одного или нескольких из колес 1400. Источник 1210 мощности может включать в себя блок потенциальной энергии, такой как одна или несколько аккумуляторных батарей из сухих элементов, таких как никель-кадмиевые (NiCd), никель-цинковые (NiZn), никель-металлогидридные (NiMH), литий-ионные (Li-ионные), солнечных батарей, топливных элементов или любое другое устройство, способное обеспечить энергию.
[0030] Трансмиссия 1220 может принимать энергию, такую как кинетическая энергия, от источника 1210 мощности, и может передавать энергию колесам 1400 для создания движущей силы. Трансмиссия 1220 может управляться контроллером 1300, приводом 1240 или обоими. Блок 1230 рулевого управления может управляться контроллером 1300, приводом 1240 или обоими и может управлять колесами 1400 для рулевого управления транспортным средством. Привод 1240 может принимать сигналы от контроллера 1300 и может приводить в действие или управлять источником 1210 мощности, трансмиссией 1220, блоком 1230 рулевого управления или любой их комбинацией для управления транспортным средством 1000.
[0031] Как показано, контроллер 1300 может включать в себя блок 1310 положения, блок 1320 электронной связи, процессор 1330, память 1340, пользовательский интерфейс 1350, датчик 1360, интерфейс 1370 электронной связи или любую их комбинацию. Хотя он показан как единый блок, любой один или несколько элементов контроллера 1300 могут быть интегрированы в любое количество отдельных физических блоков. Например, пользовательский интерфейс 1350 и процессор 1330 могут быть интегрированы в первый физический блок, а память 1340 может быть интегрирована во второй физический блок. Хотя это не показано на фиг. 1, контроллер 1300 может включать в себя источник мощности, например аккумулятор. Хотя показаны как отдельные элементы, блок 1310 положения, блок 1320 электронной связи, процессор 1330, память 1340, пользовательский интерфейс 1350, датчик 1360, интерфейс 1370 электронной связи или любая их комбинация могут быть интегрированы в один или несколько электронных блоков, схем или микросхем.
[0032] Процессор 1330 может включать в себя любое устройство или комбинацию устройств, способных манипулировать или обрабатывать сигнал или другую информацию, существующую в настоящее время или разработанную в будущем, включая оптические процессоры, квантовые процессоры, молекулярные процессоры или их комбинацию. Например, процессор 1330 может включать в себя один или несколько процессоров специального назначения, один или несколько процессоров цифровых сигналов, один или несколько микропроцессоров, один или несколько контроллеров, один или несколько микроконтроллеров, одну или несколько интегральных схем, одну или несколько специализированных интегральных схем, одну или несколько программируемых логических схем, одну или несколько программируемых вентильных матриц, одну или несколько программируемых логических матриц, один или несколько программируемых логических контроллеров, один или несколько конечных автоматов или любую их комбинация. Процессор 1330 может быть функционально связан с блоком 1310 положения, памятью 1340, интерфейсом 1370 электронной связи, блоком 1320 электронной связи, пользовательским интерфейсом 1350, датчиком 1360, силовой цепью 1200 или любой их комбинацией. Например, процессор может быть функционально связан с памятью 1340 через шину 1380 связи.
[0033] Память 1340 может включать в себя любой материальный некратковременный используемый компьютером или компьютерно-читаемый носитель, способный, например, содержать, хранить, передавать или транспортировать машиночитаемые инструкции или любую информацию, связанную с ними, для использования или в связи с процессором 1330. Память 1340 может быть, например, одним или несколькими твердотельными накопителями, одной или несколькими картами памяти, одним или несколькими съемными носителями, одним или несколькими постоянными запоминающими устройствами, одним или несколькими операционными запоминающими устройствами, одним или несколькими дисками, включая жесткий диск, дискету, оптический диск, магнитную или оптическую карту или любой другой тип некратковременного носителя, подходящий для хранения электронной информации, или любую их комбинацию.
[0034] Интерфейс 1370 связи может быть беспроводной антенной, как показано, портом проводной связи, портом оптической связи или любым другим проводным или беспроводным устройством, способным взаимодействовать с проводной или беспроводной средой 1500 электронной связи. Хотя фиг. 1 показывает интерфейс 1370 связи, обменивающийся данными через один канал связи, интерфейс связи может быть выполнен с возможностью связи через несколько каналов связи. Хотя фиг. 1 показывает один интерфейс 1370 связи, транспортное средство может включать в себя любое количество интерфейсов связи.
[0035] Блок 1320 связи может быть выполнен с возможностью передачи или приема сигналов через проводную или беспроводную среду 1500 электронной связи, например, через интерфейс 1370 связи. Хотя это явно не показано на фиг. 1, блок 1320 связи может быть выполнен с возможностью передачи, приема или того и другого через любую проводную или беспроводную среду связи, такую как радиочастота (RF), ультрафиолет (UV), видимый свет, оптоволоконный кабель, проводная линия связи или их комбинация. Хотя на фиг.1 показан один блок 1320 связи и один интерфейс 1370 связи, может использоваться любое количество блоков связи и любое количество интерфейсов связи. В некоторых вариантах осуществления блок 1320 связи может включать в себя выделенный блок связи малого радиуса действия (DSRC), бортовой блок (OBU) или их комбинацию.
[0036] Блок 1310 положения может определять информацию о геолокации, такую как долгота, широта, высота, направление движения или скорость транспортного средства 1000. Например, блок положения может включать в себя блок глобальной системы позиционирования (GPS), такой как блок Национальной ассоциации морской электроники (NMEA) с поддержкой глобальной системы расширения (WAAS), блок радиотриангуляции или их комбинацию. Блок 1310 положения может использоваться для получения информации, которая представляет, например, текущий курс транспортного средства 1000, текущее положение транспортного средства 1000 в двух или трех измерениях, текущую угловую ориентацию транспортного средства 1000 или их комбинацию.
[0037] Пользовательский интерфейс 1350 может включать в себя любой блок, способный взаимодействовать с человеком, например виртуальную или физическую клавиатуру, сенсорную панель, дисплей, сенсорный дисплей, проекционный дисплей, виртуальный дисплей, дисплей дополненной реальности, тактильный дисплей, устройство отслеживания характеристик, такое как устройство отслеживания взгляда, динамик, микрофон, видеокамера, датчик, принтер или любая их комбинация. Пользовательский интерфейс 1350 может быть функционально соединен с процессором 1330, как показано, или с любым другим элементом контроллера 1300. Хотя показан как единый блок, пользовательский интерфейс 1350 может включать в себя один или несколько физических блоков. Например, пользовательский интерфейс 1350 может включать в себя аудиоинтерфейс для выполнения аудиосвязи с человеком и сенсорный дисплей для выполнения визуальной и сенсорной связи с человеком. Пользовательский интерфейс 1350 может включать в себя множество дисплеев, таких как множество отдельных физически блоков, множество заданных частей в рамках одного физического блока или их комбинацию.
[0038] Датчик 1360 может включать в себя один или несколько датчиков, таких как массив датчиков, которые могут работать для предоставления информации, которая может использоваться для управления транспортным средством. Датчики 1360 могут предоставлять информацию относительно текущих рабочих характеристик транспортного средства 1000. Датчик 1360 может включать в себя, например, датчик скорости, датчики ускорения, датчик угла поворота, датчики тяги, датчики торможения, датчики положения рулевого колеса, датчики отслеживания глаз, датчики положения сиденья или любой датчик или комбинацию датчиков, способных сообщать информацию, касающуюся некоторого аспекта текущей динамической ситуации транспортного средства 1000.
[0039] Датчик 1360 может включать в себя один или несколько датчиков, работающих для получения информации о физической среде, окружающей транспортное средство 1000. Например, один или несколько датчиков могут обнаруживать геометрию дороги и особенности, такие как линии полос движения, и препятствия, такие как фиксированные препятствия, транспортные средства и пешеходов. Датчик 1360 может быть или включать в себя одну или несколько видеокамер, лазерных измерительных систем, инфракрасных измерительных систем излучения, акустических измерительных систем или любого другого подходящего типа устройства измерения окружающей среды на транспортном средстве или комбинацию устройств, известных в настоящее время или разработанных в будущем. В некоторых вариантах осуществления датчики 1360 и блок 1310 положения могут быть объединенным блоком.
[0040] Хотя это не показано отдельно, транспортное средство 1000 может включать в себя контроллер траектории. Например, контроллер 1300 может включать в себя контроллер траектории. Контроллер траектории может работать для получения информации, описывающей текущее состояние транспортного средства 1000 и маршрут, запланированный для транспортного средства 1000, и, на основе этой информации, определения и оптимизации траектории для транспортного средства 1000. В некоторых вариантах осуществления контроллер траектории может выводить сигналы, действующие для управления транспортным средством 1000, так что транспортное средство 1000 следует траектории, которая определяется контроллером траектории. Например, выходным сигналом контроллера траектории может быть оптимизированная траектория, которая может подаваться на силовую цепь 1200, колеса 1400 или и то, и другое. В некоторых вариантах осуществления оптимизированная траектория может быть управляющей входной информацией, такой как набор углов поворота, причем каждый угол поворота соответствует моменту времени или положению. В некоторых вариантах осуществления оптимизированная траектория может представлять собой один или несколько путей, линий, кривых или их комбинации.
[0041] Одно или несколько колес 1400 могут быть управляемым колесом, которое может поворачиваться на угол поворота под управлением блока 1230 рулевого управления, приводным колесом, которое может вращаться для приведения в движение транспортного средства 1000 под управлением трансмиссии 1220, или управляемым и приводным колесом, которое может управлять и приводить в движение транспортное средство 1000.
[0042] Хотя это не показано на фиг. 1, транспортное средство может включать в себя блоки или элементы, не показанные на фиг. 1, такие как корпус, модуль Bluetooth®, радиомодули с частотной модуляцией (FM), модуль связи ближнего радиуса действия (NFC), жидкокристаллический (LCD) блок отображения, блок отображения на органических светодиодах (OLED), динамик или любая их комбинация.
[0043] Транспортное средство 1000 может быть автономным транспортным средством, управляемым автономно, без прямого вмешательства человека, для перемещения по части транспортной сети транспортных средств. Хотя это не показано отдельно на фиг. 1, автономное транспортное средство может включать в себя блок управления автономным транспортным средством, который может выполнять планирование маршрута, навигацию и управление автономным транспортным средством. Блок управления автономным транспортным средством может быть интегрирован с другим блоком транспортного средства. Например, контроллер 1300 может включать в себя блок управления автономным транспортным средством.
[0044] Блок управления автономным транспортным средством может управлять транспортным средством 1000 или приводить его в действие для перемещения по части транспортной сети транспортных средств в соответствии с текущими рабочими параметрами транспортного средства. Блок управления автономным транспортным средством может управлять транспортным средством 1000 или приводить его в действие для выполнения заданной операции или маневра, например, парковки транспортного средства. Блок управления автономным транспортным средством может генерировать маршрут движения от исходной точки, такой как текущее положение транспортного средства 1000, до пункта назначения на основе информации транспортного средства, информации о среде, данных транспортной сети транспортных средств, представляющих транспортную сеть транспортных средств, или их комбинации, и может управлять транспортным средством 1000 или приводить его в действие для перемещения по транспортной сети транспортных средств в соответствии с маршрутом. Например, блок управления автономным транспортным средством может выводить маршрут движения на контроллер траектории, а контроллер траектории может приводить в действие транспортное средство 1000 для перемещения от исходной точки к пункту назначения, используя сгенерированный маршрут.
[0045] Фиг. 2 является схемой примера части системы транспортировки и связи транспортных средств, в которой могут быть реализованы аспекты, признаки и элементы, раскрытые в данном документе. Система 2000 транспортировки и связи транспортных средств может включать в себя одно или несколько транспортных средств 2100/2110, таких как транспортное средство 1000, показанное на фиг. 1, которое может двигаться через одну или несколько частей одной или нескольких транспортных сетей 2200 транспортных средств и может связываться через одну или несколько сетей 2300 электронной связи. Хотя это явно не показано на фиг. 2, транспортное средство может перемещаться по области, которая прямо или полностью не включена в транспортную сеть транспортных средств, например, зону бездорожья.
[0046] Сеть 2300 электронной связи может быть, например, системой множественного доступа и может обеспечивать связь, такую как голосовая связь, передача данных, видеосвязь, обмен сообщениями или их комбинация, между транспортным средством 2100/2110 и одним или несколькими устройствами 2400 связи. Например, транспортное средство 2100/2110 может принимать информацию, такую как информацию, представляющую транспортную сеть 2200 транспортных средств, от устройства 2400 связи через сеть 2300.
[0047] В некоторых вариантах осуществления транспортное средство 2100/2110 может осуществлять связь через линию проводной связи (не показана), линию 2310/2320/2370 беспроводной связи или комбинацию любого количества линий проводной или беспроводной связи. Например, как показано, транспортное средство 2100/2110 может осуществлять связь через наземную линию 2310 беспроводной связи, через неназемную линию 2320 беспроводной связи или через их комбинацию. Наземная линия 2310 беспроводной связи может включать в себя канал Ethernet, канал последовательной передачи данных, канал Bluetooth, инфракрасный (IR) канал, ультрафиолетовый (UV) канал или любой канал, способный обеспечить электронную связь.
[0048] Транспортное средство 2100/2110 может осуществлять связь с другим транспортным средством 2100/2110. Например, рассматриваемое транспортное средство (HV) 2100 может принимать одно или несколько автоматических сообщений между транспортными средствами (automated inter-vehicle messages), таких как базовое сообщение безопасности (BSM), от удаленного или целевого транспортного средства (RV) 2110 через линию 2370 прямой связи, или через сеть 2300. Например, удаленное транспортное средство 2110 может транслировать сообщение рассматриваемым транспортным средствам в пределах определенного диапазона широковещательной передачи, например 300 метров. В некоторых вариантах осуществления рассматриваемое транспортное средство 2100 может принимать сообщение через третью сторону, такую как ретранслятор сигнала (не показан) или другое удаленное транспортное средство (не показано). Транспортное средство 2100/2110 может периодически передавать одно или несколько автоматических сообщений между транспортными средствами на основании, например, заданного интервала, такого как 100 миллисекунд.
[0049] Автоматические сообщения между транспортными средствами могут включать в себя идентификационную информацию транспортного средства, информацию о геопространственном состоянии, такую как информацию о долготе, широте или высоте, информацию о точности геопространственного положения, информацию о кинематическом состоянии, такую как информацию об ускорении транспортного средства, информацию о скорости рыскания, информацию о скорости, информацию о курсе транспортного средства, информацию о состоянии тормозной системы, информацию о дроссельной заслонке, информацию об угле поворота рулевого колеса или информацию о маршруте транспортного средства, или информацию о рабочем состоянии транспортного средства, такую как информацию о размере транспортного средства, информацию о состоянии фар, информацию о сигналах поворота, информацию о состоянии дворников, информацию о трансмиссии или любую другую информацию, или комбинацию информации, относящейся к состоянию передающего транспортного средства. Например, информация о состоянии трансмиссии может указывать, находится ли трансмиссия передающего транспортного средства в нейтральном состоянии, припаркованном состоянии, состоянии движения вперед или состоянии движения назад.
[0050] Транспортное средство 2100 может осуществлять связь с сетью 2300 связи через точку 2330 доступа. Точка 2330 доступа, которая может включать в себя вычислительное устройство, может быть выполнена с возможностью связи с транспортным средством 2100, с сетью связи 2300, с одним или несколькими устройствами 2400 связи или с их комбинацией через линии 2310/2340 проводной или беспроводной связи. Например, точка 2330 доступа может быть базовой станцией, базовой приемопередающей станцией (BTS), узлом B (Node-B), улучшенным узлом B (eNode-B), домашним узлом B (HNode-B), беспроводным маршрутизатором, проводным маршрутизатором, концентратором, реле, переключателем или любым подобным проводным или беспроводным устройством. Хотя на фиг. 2 показана как один блок, точка доступа может включать в себя любое количество взаимосвязанных элементов.
[0051] Транспортное средство 2100 может осуществлять связь с сетью 2300 связи через спутник 2350 или другое неназемное устройство связи. Спутник 2350, который может включать в себя вычислительное устройство, может быть выполнен с возможностью связи с транспортным средством 2100, с сетью 2300 связи, с одним или несколькими устройствами 2400 связи или с их комбинацией через одну или несколько линий 2320/2360 связи. Хотя на фиг. 2 показан как один блок, спутник может включать в себя любое количество взаимосвязанных элементов.
[0052] Сеть 2300 электронной связи может быть сетью любого типа, выполненной с возможностью передачи голоса, данных или любого другого типа электронной связи. Например, сеть 2300 электронной связи может включать в себя локальную сеть (LAN), глобальную сеть (WAN), виртуальную частную сеть (VPN), мобильную или сотовую телефонную сеть, Интернет или любую другую систему электронной связи. Сеть 2300 электронной связи может использовать протокол связи, такой как протокол управления передачей (TCP), протокол пользовательских дейтаграмм (UDP), Интернет-протокол (IP), транспортный протокол реального времени (RTP), протокол транспортировки гипертекста (HTTP) или их комбинацию. Хотя на фиг. 2 показана как один блок, сеть электронной связи может включать в себя любое количество взаимосвязанных элементов.
[0053] Транспортное средство 2100 может идентифицировать часть или состояние транспортной сети 2200 транспортных средств. Например, транспортное средство 2100 может включать в себя один или несколько датчиков 2105 на транспортном средстве, таких как датчик 1360, показанный на фиг. 1, который может включать в себя датчик скорости, датчик скорости колеса, камеру, гироскоп, оптический датчик, лазерный датчик, радарный датчик, звуковой датчик или любой другой датчик или устройство или их комбинацию, способную определять или идентифицировать часть или состояние транспортной сети 2200 транспортных средств. Данные датчика могут включать в себя данные полосы движения, данные положения удаленного транспортного средства или и то, и другое.
[0054] Транспортное средство 2100 может перемещаться по части или частям одной или нескольких транспортных сетей 2200 транспортных средств, используя информацию, передаваемую через сеть 2300, такую как информация, представляющая транспортную сеть 2200 транспортных средств, информация, идентифицированная одним или несколькими датчиками 2105 на транспортном средстве, или их комбинация.
[0055] Хотя для простоты на фиг. 2 показаны два транспортных средства 2100, 2110, одна транспортная сеть 2200 транспортных средств, одна сеть 2300 электронной связи и одно устройство 2400 связи, может использоваться любое количество транспортных средств, сетей или вычислительных устройств. Система 2000 транспортировки и связи транспортных средств может включать в себя устройства, блоки или элементы, не показанные на фиг. 2. Хотя транспортное средство 2100 показано как один блок, транспортное средство может включать в себя любое количество взаимосвязанных элементов.
[0056] Хотя показано, что транспортное средство 2100 взаимодействует с устройством 2400 связи через сеть 2300, транспортное средство 2100 может осуществлять связь с устройством 2400 связи через любое количество прямых или косвенных линий связи. Например, транспортное средство 2100 может осуществлять связь с устройством 2400 связи через прямую линию связи, такую как канал связи Bluetooth.
[0057] В некоторых вариантах осуществления транспортное средство 2100/2110 может быть связано с объектом 2500/2510, таким как водитель, оператор или владелец транспортного средства. В некоторых вариантах осуществления объект 2500/2510, связанный с транспортным средством 2100/2110, может быть связан с одним или несколькими персональными электронными устройствами 2502/2504/2512/2514, такими как смартфон 2502/2512 или компьютер 2504/2514. В некоторых вариантах осуществления персональное электронное устройство 2502/2504/2512/2514 может осуществлять связь с соответствующим транспортным средством 2100/2110 через прямую или косвенную линию связи. Хотя один объект 2500/2510 показан как связанный с одним транспортным средством 2100/2110 на фиг. 2, любое количество транспортных средств может быть связано с объектом, и любое количество объектов может быть связано с транспортным средством.
[0058] Фиг. 3 является схемой части транспортной сети транспортных средств в соответствии с этим раскрытием. Транспортная сеть 3000 транспортных средств может включать в себя одну или несколько зон 3100, недоступных для навигации, таких как здание, одну или несколько зон с частично доступной навигацией, например парковочную зону 3200, одну или несколько зон для навигации, например дороги 3300/3400, или их комбинацию. В некоторых вариантах осуществления автономное транспортное средство, такое как транспортное средство 1000, показанное на фиг. 1, одно из транспортных средств 2100/2110, показанных на фиг. 2, полуавтономное транспортное средство или любое другое транспортное средство, реализующее автономное вождение, может перемещаться по части или частям транспортной сети 3000 транспортных средств.
[0059] Транспортная сеть 3000 транспортных средств может включать в себя одну или несколько развязок 3210 между одной или несколькими зонами 3200/3300/3400 для навигации или с частично доступной навигацией. Например, часть транспортной сети 3000 транспортных средств, показанная на фиг. 3 включает в себя развязку 3210 между парковкой 3200 и дорогой 3400. Парковочная зона 3200 может включать в себя парковочные места 3220.
[0060] Часть транспортной сети 3000 транспортных средств, такая как дорога 3300/3400, может включать в себя одну или несколько полос 3320/3340/3360/3420/3440 движения и может быть связана с одним или несколькими направлениями движения, которые указаны стрелками на фиг. 3.
[0061] Транспортная сеть транспортных средств или ее часть, такая как часть транспортной сети 3000 транспортных средств, показанная на фиг. 3, может быть представлена как данные транспортной сети транспортных средств. Например, данные транспортной сети транспортных средств могут быть выражены в виде иерархии элементов, таких как элементы языка разметки, которые могут храниться в базе данных или файле. Для простоты фигуры в данном документе изображают данные транспортной сети транспортных средств, представляющие части транспортной сети транспортных средств в виде диаграмм или карт, однако данные транспортной сети транспортных средств могут быть выражены в любой пригодной для компьютера форме, способной представлять транспортную сеть транспортных средств или ее часть. Данные транспортной сети транспортных средств могут включать в себя информацию управления транспортной сетью транспортных средств, такую как информацию о направлении движения, информацию об ограничении скорости, информацию о платных дорогах, информацию об уровне, например информацию о наклоне или угле, информацию о материалах поверхности, эстетическую информацию, информацию об определенной опасности или их комбинацию.
[0062] Транспортная сеть транспортных средств может быть связана с пешеходной транспортной сетью или может включать ее в себя. Например, фиг. 3 включает в себя часть 3600 пешеходной транспортной сети, которая может быть пешеходной дорожкой. Хотя это не показано отдельно на фиг. 3, пешеходная зона для навигации, такая как пешеходный переход, может соответствовать зоне навигации или зоне с частично доступной навигацией транспортной сети транспортных средств.
[0063] Часть или комбинация частей транспортной сети транспортных средств может быть идентифицирована как полезное место (полезный объект) или пункт назначения. Например, данные транспортной сети транспортных средств могут идентифицировать здание, такое как недоступная для навигации зона 3100, и прилегающую парковочную зону 3200 с частично доступной навигацией, как полезное место, транспортное средство может идентифицировать полезное место как пункт назначения, а транспортное средство может двигаться из исходной точки в пункт назначения посредством пермещения по транспортной сети транспортных средств. Хотя парковочная зона 3200, связанная с недоступной для навигации зоной 3100, показана смежной с недоступной для навигации зоной 3100 на фиг. 3, пункт назначения может включать в себя, например, здание и парковочную зону, которая является физически или геопространственно несмежной к зданию.
[0064] Идентификация пункта назначения может включать в себя определение положения пункта назначения, которое может быть дискретным, однозначно идентифицируемым геоположением. Например, транспортная сеть транспортных средств может включать в себя заданное положение, такое как уличный адрес, почтовый адрес, адрес транспортной сети транспортных средств, адрес GPS или их комбинацию для пункта назначения.
[0065] Пункт назначения может быть ассоциирован с одним или несколькими входами, такими как вход (въезд) 3500, показанный на фиг. 3. Данные транспортной сети транспортных средств могут включать в себя заданную информацию о положении входа, такую как информация, идентифицирующая геоположение входа, связанного с пунктом назначения.
[0066] Пункт назначения может быть связан с одним или несколькими положениями стыковки, такими как положение 3700 стыковки, показанное на фиг. 3. Положение 3700 стыковки может быть обозначенным или необозначенным местом или областью в непосредственной близости от пункта назначения, в котором автономное транспортное средство может остановиться, встать или припарковаться, так что могут выполняться операции стыковки, такие как посадка или высадка пассажиров.
[0067] Данные транспортной сети транспортных средств могут включать в себя информацию о положении стыковки, такую как информацию, идентифицирующую геоположение одного или нескольких положений 3700 стыковки, связанных с пунктом назначения. Хотя это не показано отдельно на фиг. 3, информация о положении стыковки может идентифицировать тип операции стыковки, связанной с положением 3700 стыковки. Например, пункт назначения может быть связан с первым положением стыковки для посадки пассажиров и вторым положением стыковки для высадки пассажиров. Хотя автономное транспортное средство может парковаться в положении стыковки, положение стыковки, связанное с пунктом назначения, может быть независимым и отличаться от парковочной зоны, связанной с пунктом назначения.
[0068] Фиг. 4 является схемой примера системы 4000 операционного управления автономным транспортным средством в соответствии с вариантами осуществления этого раскрытия. Система 4000 операционного управления автономным транспортным средством может быть реализована в автономном транспортном средстве, таком как транспортное средство 1000, показанное на фиг. 1, одном из транспортных средств 2100/2110, показанных на фиг. 2, полуавтономном транспортном средстве или любом другом транспортном средстве, реализующем автономное вождение.
[0069] Автономное транспортное средство может перемещаться по транспортной сети транспортных средств или ее части, которая может включать в себя перемещение по отдельным операционным сценариям транспортного средства. Отдельный операционный сценарий транспортного средства может включать в себя любой четко идентифицируемый набор рабочих условий, которые могут влиять на работу автономного транспортного средства в пределах заданной пространственно-временной области или операционной среды автономного транспортного средства. Например, отдельный операционный сценарий транспортного средства может быть основан на количестве или кардинальности дорог, сегментов дороги или полос движения, по которым автономное транспортное средство может перемещаться в пределах заданного пространственно-временного расстояния. В другом примере отдельный операционный сценарий транспортного средства может быть основан на одном или нескольких устройствах управления трафиком, которые могут влиять на работу автономного транспортного средства в заданной пространственно-временной области или операционной среде автономного транспортного средства. В другом примере отдельный операционный сценарий транспортного средства может быть основан на одном или нескольких идентифицируемых правилах, положениях или законах, которые могут влиять на работу автономного транспортного средства в заданной пространственно-временной области или операционной среде автономного транспортного средства. В другом примере отдельный операционный сценарий транспортного средства может быть основан на одном или нескольких идентифицируемых внешних объектах, которые могут влиять на работу автономного транспортного средства в заданной пространственно-временной области или операционной среде автономного транспортного средства.
[0070] Для простоты и ясности подобные операционные сценарии транспортного средства могут быть описаны в данном документе со ссылкой на типы или классы операционных сценариев транспортного средства. Тип или класс операционного сценария транспортного средства может относиться к определенному шаблону или определенному набору шаблонов сценария. Например, сценарии для перекрестка могут включать автономное транспортное средство, перемещающееся по перекрестку, сценарии для пешехода могут включать в себя автономное транспортное средство, перемещающееся по части транспортной сети транспортных средств, которая включает одного или нескольких пешеходов или находится в определенной близости от них, например, когда пешеход пересекает ожидаемый путь автономного транспортного средства или приближается к нему; сценарии смены полосы движения могут включать в себя автономное транспортное средство, перемещающееся по части транспортной сети транспортных средств посредством смены полосы движения; сценарии соединения дорог могут включать в себя автономное транспортное средство, перемещающееся по части транспортной сети транспортных средств посредством въезда с первой полосы движения на объединенную полосу движения; сценарии проезда препятствия могут включать в себя автономное транспортное средство, перемещающееся по части транспортной сети транспортных средств посредством проезда мимо помехи или препятствия. Хотя здесь описаны операционные сценарии транспортного средства для пешехода, операционные сценарии транспортного средства для перекрестка, операционные сценарии транспортного средства для смены полосы движения, операционные сценарии транспортного средства для соединения дорог и операционные сценарии транспортного средства для проезда препятствия, может использоваться любой другой операционный сценарий транспортного средства или тип операционного сценария транспортного средства.
[0071] Как показано на фиг. 4, система 4000 операционного управления автономным транспортным средством включает в себя контроллер 4100 операционного управления автономным транспортным средством (AVOMC), мониторы 4200 операционной среды и модули 4300 оценки операционного управления для конкретного сценария.
[0072] AVOMC 4100 или другое устройство автономного транспортного средства может управлять автономным транспортным средством для перемещения по транспортной сети транспортных средств или ее части. Управление автономным транспортным средством для перемещения по транспортной сети транспортных средств может включать в себя контроль операционной среды (окружающей обстановки) автономного транспортного средства, идентификацию или обнаружение отдельных операционных сценариев транспортного средства, идентификацию возможных действий по управлению транспортным средством на основе отдельных операционных сценариев транспортного средства, управление автономным транспортным средством для перемещения по части транспортной сети транспортных средств в соответствии с одним или несколькими из возможных действий по управлению транспортным средством или их комбинацией.
[0073] AVOMC 4100 может принимать, идентифицировать или иным образом получать доступ к данным операционной среды, представляющим операционную среду для автономного транспортного средства, или к одному или нескольким их аспектам. Операционная среда автономного транспортного средства может включать в себя четко идентифицируемый набор рабочих условий, которые могут влиять на работу автономного транспортного средства в заданной пространственно-временной области автономного транспортного средства, в заданной пространственно-временной области идентифицированного маршрута для автономного транспортного средства, или их комбинации. Например, рабочие условия, которые могут влиять на работу автономного транспортного средства, могут быть идентифицированы на основании данных датчиков, данных транспортной сети транспортных средств, данных маршрута или любых других данных или комбинации данных, представляющих заданную или определенную операционную среду для транспортного средства.
[0074] Данные операционной среды могут включать в себя информацию транспортного средства для автономного транспортного средства, такую как информацию, указывающую геопространственное положение автономного транспортного средства, информацию, коррелирующую геопространственное положение автономного транспортного средства с информацией, представляющей транспортную сеть транспортных средств, маршрут автономного транспортного средства, скорость автономного транспортного средства, состояние ускорения автономного транспортного средства, информацию о пассажирах автономного транспортного средства или любую другую информацию об автономном транспортном средстве или работе автономного транспортного средства. Данные операционной среды могут включать в себя информацию, представляющую транспортную сеть транспортных средств, ближайшую к идентифицированному маршруту для автономного транспортного средства, например, в пределах заданного пространственного расстояния, такого как 300 метров, или части транспортной сети транспортных средств вдоль идентифицированного маршрута, которая могут включать в себя информацию, указывающую геометрию одного или нескольких аспектов транспортной сети транспортных средств, информацию, указывающую состояние, такое как состояние поверхности, транспортной сети транспортных средств, или любую их комбинацию. Данные операционной среды могут включать в себя информацию, представляющую транспортную сеть транспортных средств, ближайшую к автономному транспортному средству, например, в пределах заданного пространственного расстояния автономного транспортного средства, например 300 метров, которая может включать в себя информацию, указывающую геометрию одного или нескольких аспектов транспортной сети транспортных средств, информацию, указывающую состояние, такое как состояние поверхности, транспортной сети транспортных средств или любую их комбинацию. Данные операционной среды могут включать в себя информацию, представляющую внешние объекты в операционной среде автономного транспортного средства, такую как информацию, представляющую пешеходов, животных, не являющихся людьми, немоторизованные транспортные устройства, такие как велосипеды или скейтборды, моторизованные транспортные устройства, такие как удаленные транспортные средства или любой другой внешний объект или сущность, которые могут повлиять на работу автономного транспортного средства.
[0075] Аспекты операционной среды автономного транспортного средства могут быть представлены в рамках соответствующих отдельных операционных сценариев транспортного средства. Например, относительная ориентация, траектория, ожидаемый путь внешних объектов могут быть представлены в рамках соответствующих отдельных операционных сценариев транспортного средства. В другом примере относительная геометрия транспортной сети транспортных средств может быть представлена в рамках соответствующих отдельных операционных сценариев транспортного средства.
[0076] В качестве примера, первый отдельный операционный сценарий транспортного средства может соответствовать пешеходу, переходящему дорогу на пешеходном переходе, и в первом отдельном операционном сценарии транспортного средства могут быть представлены относительная ориентация и ожидаемый путь пешехода, например переход слева направо для перехода справа налево. Второй отдельный операционный сценарий транспортного средства может соответствовать пешеходу, переходящему дорогу в неположенном месте, и во втором отдельном операционном сценарии транспортного средства могут быть представлены относительная ориентация и ожидаемый путь пешехода, например переход слева направо для перехода справа налево.
[0077] Автономное транспортное средство может перемещаться по множество отдельных операционных сценариев транспортного средства в оперативной среде, которые могут быть аспектами составного операционного сценария транспортного средства. Система 4000 уп операционного управления автономным транспортным средством может приводить в действие автономное транспортное средство или управлять им для перемещения по отдельным операционныя сценариям транспортного средства с учетом заданных ограничений, таких как ограничения безопасности, правовые ограничения, физические ограничения, ограничения приемлемости для пользователя или любые другие ограничения или комбинации ограничений, которые могут быть заданы или получены для работы автономного транспортного средства.
[0078] AVOMC 4100 может контролировать операционную среду автономного транспортного средства или ее определенные аспекты. Контроль (мониторинг) операционной среды автономного транспортного средства может включать в себя идентификацию и отслеживание внешних объектов, идентификацию отдельных операционных сценариев транспортного средства или их комбинацию. Например, AVOMC 4100 может идентифицировать и отслеживать внешние объекты с помощью операционной среды автономного транспортного средства. Идентификация и отслеживание внешних объектов может включать в себя идентификацию пространственно-временного положения соответствующих внешних объектов, которые могут относиться к автономному транспортному средству, идентификацию одного или нескольких ожидаемых путей для соответствующих внешних объектов, что может включать в себя идентификацию скорости, траектории или обоих для внешнего объекта. Для простоты и ясности описания положений, ожидаемых положений, путей, ожидаемых путей и т.п. в данном документе могут опускать явные указания на то, что соответствующие положения и пути относятся к геопространственным и временным компонентам; однако, если явно не указано в данном документе или иным образом однозначно не ясно из контекста, положения, ожидаемые положения, пути, ожидаемые пути и тому подобное, описанные здесь, могут включать геопространственные компоненты, временные компоненты или и то, и другое. Контроль операционной среды автономного транспортного средства может включать в себя использование данных операционной среды, принятых от мониторов 4200 операционной среды.
[0079] Мониторы 4200 операционной среды могут включать в себя не зависящие от сценария мониторы, мониторы для конкретного сценария или их комбинацию. Независящий от сценария монитор, такой как монитор 4210 блокировки, может контролировать операционную среду автономного транспортного средства, генерировать данные операционной среды, представляющие аспекты операционной среды автономного транспортного средства, и выводить данные операционной среды в один или несколько мониторов для конкретного сценария, AVOMC 4100 или их комбинацию. Монитор для конкретного сценария, такой как монитор 4220 пешеходов, монитор 4230 перекрестков, монитор 4240 смены полосы движения, монитор 4250 соединения дорог или монитор 4260 передних препятствий, может контролировать операционную среду автономного транспортного средства, генерировать данные операционной среды, представляющие аспекты операционной среды автономного транспортного средства для конкретного сценария, и выводить данные операционной среды в один или несколько модулей 4300 оценки операционного управления для конкретного сценария, AVOMC 4100 или их комбинацию. Например, монитор 4220 пешеходов может быть монитором операционной среды для контроля пешеходов, монитор 4230 перекрестков может быть монитором операционной среды для контроля перекрестков, монитор 4240 смены полосы движения может быть монитором операционной среды для контроля смены полосы движения, монитор 4250 соединения дорог может быть монитором операционной среды для соединений дорог, а монитор 4260 передних препятствий может быть монитором операционной среды для контроля передних препятствий. Монитор 4270 операционной среды показан пунктирными линиями, чтобы указать, что система 4000 операционного управления автономным транспортным средством может включать в себя любое количество мониторов 4200 операционной среды.
[0080] Монитор 4200 операционной среды может принимать или иным образом получать доступ к данным операционной среды, таким как данные операционной среды, сгенерированные или захваченные одним или несколькими датчиками автономного транспортного средства, данные транспортной сети транспортных средств, данные геометрии транспортной сети транспортных средств, данные маршрута или их комбинация. Например, монитор 4220 пешеходов может принимать или иным образом получать доступ к информации, такой как данные датчиков, которые могут указывать, соответствовать или иным образом быть связаны с одним или несколькими пешеходами в операционной среде автономного транспортного средства. Монитор 4200 операционной среды может ассоциировать данные операционной среды или их часть с операционной средой или ее аспектом, например, с внешним объектом, таким как пешеход, удаленное транспортное средство, или аспектом геометрии транспортной сети транспортных средств.
[0081] Монитор 4200 операционной среды может генерировать или иным образом идентифицировать информацию, представляющую один или несколько аспектов операционной среды, таких как внешний объект, такой как пешеход, удаленное транспортное средство, или аспект геометрии транспортной сети транспортных средств, что может включать в себя фильтрацию, абстрагирование или иную обработку данных операционной среды. Монитор 4200 операционной среды может выводить информацию, представляющую один или несколько аспектов операционной среды, в AVOMC 4100 или для доступа посредством него, например, путем хранения информации, представляющей один или несколько аспектов операционной среды, в памяти, такой как память 1340, показанная на фиг. 1, автономного транспортного средства, доступная для AVOMC 4100, отправки информации, представляющей один или несколько аспектов операционной среды, в AVOMC 4100 или их комбинации. Монитор 4200 операционной среды может выводить данные операционной среды в один или несколько элементов системы 4000 операционного управления автономным транспортным средством, например AVOMC 4100. Хотя это не показано на фиг. 4, монитор 4220, 4230, 4240, 4250, 4260 операционной среды для конкретного сценария может выводить данные операционной среды в независящий от сценария монитор операционной среды, такой как монитор 4210 блокировки.
[0082] Монитор 4220 пешеходов может коррелировать, ассоциировать или иным образом обрабатывать данные операционной среды для идентификации, отслеживания или прогнозирования действий одного или нескольких пешеходов. Например, монитор 4220 пешеходов может принимать информацию, такую как данные датчиков, от одного или нескольких датчиков, которые могут соответствовать одному или нескольким пешеходам, монитор 4220 пешеходов может ассоциировать данные датчика с одним или несколькими идентифицированными пешеходами, которые могут включать в себя идентификацию направления движения, путь, такой как ожидаемый путь, текущую или ожидаемую скорость, текущий или ожидаемый темп ускорения, или их комбинацию для одного или нескольких соответствующих идентифицированных пешеходов, и монитор 4220 пешеходов может выводить идентифицированную, ассоциированную или сгенерированную информация о пешеходах в AVOMC 4100 или для доступа посредством него.
[0083] Монитор 4230 перекрестков может коррелировать, ассоциировать или иным образом обрабатывать данные операционной среды, чтобы идентифицировать, отслеживать или прогнозировать действия одного или нескольких удаленных транспортных средств в операционной среде автономного транспортного средства, идентифицировать перекресток или его аспект в операционной среде автономного транспортного средства, идентифицировать геометрию транспортной сети транспортных средств или их комбинацию. Например, монитор 4230 перекрестков может принимать информацию, такую как данные датчиков, от одного или нескольких датчиков, которые могут соответствовать одному или нескольким удаленным транспортным средствам в операционной среде автономного транспортного средства, перекрестку или одному или нескольким его аспектам в операционной среде автономного транспортного средства, геометрии транспортной сети транспортных средств или их комбинации, монитор 4230 перекрестков может ассоциировать данные датчика с одним или несколькими идентифицированными удаленными транспортными средствами в операционной среде автономного транспортного средства, перекрестком или одним или несколькими его аспектами в операционной среде автономного транспортного средства, геометрией транспортной сети транспортных средств или их комбинации, которая может включать в себя идентификацию текущего или ожидаемого направления движения, пути, такого как ожидаемый путь, текущую или ожидаемую скорость, текущий или ожидаемый темп ускорения или их комбинацию для одного или нескольких соответствующих идентифицированных удаленных транспортных средств, и монитор 4230 перекрестков может выводить идентифицированную, ассоциированную или сгенерированную информацию о перекрестке в AVOMC 4100 или для доступа посредством него.
[0084] Монитор 4240 смены полосы движения может коррелировать, ассоциировать или иным образом обрабатывать данные операционной среды, чтобы идентифицировать, отслеживать или прогнозировать действия одного или нескольких удаленных транспортных средств в операционной среде автономного транспортного средства, такие как информация, указывающая медленное или стоящее удаленное транспортное средство вдоль ожидаемого пути автономного транспортного средства, идентифицировать один или несколько аспектов операционной среды автономного транспортного средства, таких как геометрия транспортной сети транспортных средств в операционной среде автономного транспортного средства, или их комбинацию, геопространственно соответствующие операции смены полосы движения. Например, монитор 4240 смены полосы движения может принимать информацию, такую как данные датчиков, от одного или нескольких датчиков, которые могут соответствовать одному или нескольким удаленным транспортным средствам в операционной среде автономного транспортного средства, одному или нескольким аспектам операционной среды автономного транспортного средства в операционной среде автономного транспортного средства или их комбинации, геопространственно соответствующим операции смены полосы движения, монитор 4240 смены полосы движения может ассоциировать данные датчика с одним или несколькими идентифицированными удаленными транспортными средствами в операционной среде автономного транспортного средства, одним или несколькими аспектами операционной среды автономного транспортного средства или их комбинацией, геопространственно соответствующими операции смены полосы движения, что может включать в себя идентификацию текущего или ожидаемого направления движения, пути, такого как ожидаемый путь, текущей или ожидаемой скорости, текущего или ожидаемого темпа ускорения или их комбинации для одного или нескольких соответствующих идентифицированных удаленных транспортных средств, и монитор 4240 смены полосы движения может выводить идентифицированную, ассоциированную или сгенерированную информацию смены полосы движения в AVOMC 4100 или для доступа посредством него.
[0085] Монитор 4250 соединения дорог может коррелировать, ассоциировать или иным образом обрабатывать данные операционной среды, чтобы идентифицировать, отслеживать или прогнозировать действия одного или нескольких удаленных транспортных средств в операционной среде автономного транспортного средства, идентифицировать один или несколько аспектов операционной среды автономного транспортного средства, такой как геометрия транспортной сети транспортных средств в операционной среде автономного транспортного средства, или их комбинацию, геопространственно соответствующие операции въезда в поток. Например, монитор 4250 соединения дорог может принимать информацию, такую как данные датчиков, от одного или нескольких датчиков, которые могут соответствовать одному или нескольким удаленным транспортным средствам в операционной среде автономного транспортного средства, одному или нескольким аспектам операционной среды автономного транспортного средства в операционной среде автономного транспортного средства или их комбинации, геопространственно соответствующим операции въезда в поток, монитор 4250 соединения дорог может ассоциировать данные датчика с одним или несколькими идентифицированными удаленными транспортными средствами в операционной среде автономного транспортного средства, одним или несколькими аспектами операционной среды автономного транспортного средства или их комбинации, геопространственно соответствующими операции въезда в поток, которая может включать в себя идентификацию текущего или ожидаемого направления движения, пути, такого как ожидаемый путь, текущей или ожидаемой скорости, текущего или ожидаемого темпа ускорения или их комбинации для одного или нескольких соответствующих идентифицированных удаленных транспортных средств, и монитор 4250 соединения дорог может выводить идентифицированную, ассоциированную или сгенерированную информацию о соединении дорог в AVOMC 4100 или для доступа посредством него.
[0086] Монитор 4260 передних препятствий может коррелировать, ассоциировать или иным образом обрабатывать данные операционной среды, чтобы идентифицировать один или несколько аспектов операционной среды автономного транспортного средства, геопространственно соответствующих операции проезда передних препятствий. Например, монитор 4260 передних препятствий может идентифицировать геометрию транспортной сети транспортных средств в операционной среде автономного транспортного средства, монитор 4260 передних препятствий может идентифицировать одно или несколько препятствий или помех в операционной среде автономного транспортного средства, таких как медленное или стоящее удаленное транспортное средство вдоль ожидаемого пути автономного транспортного средства или вдоль идентифицированного маршрута для автономного транспортного средства, и монитор 4260 передних препятствий может идентифицировать, отслеживать или прогнозировать действия одного или нескольких удаленных транспортных средств в операционной среде автономного транспортного средства. Монитор 4250 передних препятствий может принимать информацию, такую как данные датчиков, от одного или нескольких датчиков, которые могут соответствовать одному или нескольким удаленным транспортным средствам в операционной среде автономного транспортного средства, одному или нескольким аспектам операционной среды автономного транспортного средства в операционной среде автономного транспортного средства или их комбинации, геопространственно соответствующим операции проезда передних препятствий, монитор 4250 передних препятствий может ассоциировать данные датчика с одним или несколькими идентифицированными удаленными транспортными средствами в операционной среде автономного транспортного средства, одним или несколькими аспектами операционной среды автономного транспортного средства или их комбинацией, геопространственно соответствующими операции проезда передних препятствий, которая могут включать в себя идентификацию текущего или ожидаемого направления движения, пути, такого как ожидаемый путь, текущей или ожидаемой скорости, текущего или ожидаемого темпа ускорения или их комбинации для одного или нескольких соответствующих идентифицированных удаленных транспортных средств, и монитор 4250 передних препятствий может выводить идентифицированную, ассоциированную или сгенерированную информацию о переднем препятствии в AVOMC 4100 или для доступа посредством него.
[0087] Монитор 4210 блокировки может принимать данные операционной среды, представляющие операционную среду или ее аспект для автономного транспортного средства. Монитор 4210 блокировки может определять соответствующую вероятность доступности или соответствующую вероятность блокировки для одной или нескольких частей транспортной сети транспортных средств, например частей транспортной сети транспортных средств, ближайших к автономному транспортному средству, которые могут включать в себя части транспортной сети транспортных средств, соответствующие ожидаемому пути автономного транспортного средства, например ожидаемому пути, идентифицированному на основе текущего маршрута автономного транспортного средства. Вероятность доступности или соответствующая вероятность блокировки может указывать на вероятность или правдоподобие того, что автономное транспортное средство может безопасно перемещаться по части транспортной сети или по пространственному положению в транспортной сети транспортных средств, например, без препятствий со стороны внешнего объекта, такого как удаленное транспортное средство или пешеход. Монитор 4210 блокировки может определять или обновлять вероятности доступности постоянно или периодически. Монитор 4210 блокировки может передавать информацию о вероятностях доступности или соответствующих вероятностях блокировки в AVOMC 4100.
[0088] AVOMC 4100 может идентифицировать один или несколько отдельных операционных сценариев транспортного средства на основе одного или нескольких аспектов операционной среды, представленных данными операционной среды. Например, AVOMC 4100 может идентифицировать отдельный операционный сценарий транспортного средства в ответ на идентификацию или на основе данных операционной среды, указанных одним или несколькими мониторами 4200 операционной среды. Отдельный операционный сценарий транспортного средства может быть идентифицирован на основе данных маршрута, данных датчиков или их комбинации. Например, AVOMC 4100 может идентифицировать один или несколько отдельных операционных сценариев транспортного средства, соответствующих идентифицированному маршруту для транспортного средства, например, на основе данных карты, соответствующих идентифицированному маршруту, в ответ на идентификацию маршрута. Множественные отдельные операционные сценарии транспортного средства могут быть идентифицированы на основе одного или нескольких аспектов операционной среды, представленных данными операционной среды. Например, данные операционной среды могут включать в себя информацию, представляющую пешехода, приближающегося к перекрестку вдоль ожидаемого пути для автономного транспортного средства, и AVOMC 4100 может идентифицировать операционный сценарий транспортного средства для пешехода, операционный сценарий транспортного средства для перекрестка или и то, и другое.
[0089] AVOMC 4100 может создавать экземпляры соответствующих экземпляров одного или нескольких модулей 4300 оценки операционного управления для конкретного сценария на основе одного или нескольких аспектов операционной среды, представленных данными операционной среды. Модули 4300 оценки операционного управления для конкретного сценария могут включать в себя модули оценки операционного управления для конкретного сценария (SSOCEM), такие как SSOCEM 4310 для пешехода, SSOCEM 4320 для перекрестка, SSOCEM 4330 для смены полосы движения, SSOCEM 4340 для соединения дорог, SSOCEM 4350 для проезда препятствия или их комбинацию. SSOCEM 4360 показан пунктирными линиями, чтобы указать, что система 4000 операционного управления автономным транспортным средством может включать в себя любое количество SSOCEM 4300. Например, AVOMC 4100 может создавать экземпляр SSOCEM 4300 в ответ на идентификацию отдельного операционного сценария транспортного средства. AVOMC 4100 может создавать множество экземпляров одного или нескольких SSOCEM 4300 на основе одного или нескольких аспектов операционной среды, представленных данными операционной среды. Например, данные операционной среды могут указывать на двух пешеходов в операционной среде автономного транспортного средства, а AVOMC 4100 может создавать соответствующий экземпляр SSOCEM 4310 для пешехода для каждого пешехода на основе одного или нескольких аспектов операционной среды, представленных данными операционной среды.
[0090] AVOMC 4100 может передавать, отправлять или иным образом делать доступными, например, путем сохранения в общей памяти, данные операционной среды или одного или нескольких их аспектов другому блоку автономного транспортного средства, такому как монитор 4210 блокировки или один или несколько экземпляров SSOCEM 4300. Например, AVOMC 4100 может передавать вероятности доступности или соответствующие вероятности блокировки, принятые от монитора 4210 блокировки, в соответствующие созданные экземпляры SSOCEM 4300. AVOMC 4100 может хранить данные операционной среды или один или несколько их аспектов, например, в памяти, такой как память 1340, показанная на фиг. 1, автономного транспортного средства.
[0091] Управление автономным транспортным средством для перемещения по транспортной сети транспортных средств может включать в себя идентификацию возможных действий по управлению транспортным средством на основе отдельных операционных сценариев транспортного средства, управление автономным транспортным средством для перемещения по части транспортной сети транспортных средств в соответствии с одним или несколькими из возможных действий по управлению транспортным средством, или их комбинацию. Например, AVOMC 4100 может принимать одно или несколько возможных действий по управлению транспортным средством от соответствующих экземпляров SSOCEM 4300. AVOMC 4100 может идентифицировать действие по управлению транспортным средством из возможных действий по управлению транспортным средством и может управлять транспортным средством или может предоставлять идентифицированное действие по управлению транспортным средством другому блоку управления транспортным средством, чтобы перемещаться по транспортной сети транспортных средств в соответствии с действием по управлению транспортным средством.
[0092] Действие по управлению транспортным средством может указывать на операцию управления транспортным средством или маневр, например, управление кинетическим состоянием транспортного средства, например, путем ускорения, замедления или остановки транспортного средства, управление направленным состоянием транспортного средства, например, путем поворота или остановки при повороте транспортного средства, или любую другую операцию транспортного средства или комбинацию операций транспортного средства, которые могут выполняться автономным транспортным средством в сочетании с перемещением по части транспортной сети транспортных средств.
[0093] Например, действие по управлению транспортным средством «стоп» может включать в себя управление транспортным средством для перемещения по транспортной сети транспортных средств или ее части путем управления блоком кинетического управления, блоком управления траекторией или комбинацией блоков управления, чтобы остановить транспортного средства или иным образом управлять транспортным средством, чтобы оно стало или оставалось неподвижным; действие по управлению транспортным средством «уступи дорогу» может включать в себя управление транспортным средством для перемещения по транспортной сети транспортных средств или ее части путем управления блоком кинетического управления, блоком управления траекторией или комбинацией блоков управления, чтобы замедлить транспортное средство или иначе управлять транспортным средством для движения со скоростью в пределах заданного порога или диапазона, который может быть ниже или в пределах заданного установленного законом ограничения скорости; действие по управлению транспортным средством «регулировка ориентации» может включать в себя управление транспортным средством для перемещения по транспортной сети транспортных средств или ее части путем управления блоком кинетического управления, блоком управления траекторией или комбинацией блоков управления, чтобы изменять ориентацию транспортного средства относительно препятствий, внешних объектов или и того, и другого в пределах заданных параметров права проезда; действие по управлению транспортным средством «ускорение» может включать в себя управление транспортным средством для перемещения по транспортной сети или ее части путем управления блоком кинетического управления, блоком управления траекторией или комбинацией блоков управления, чтобы ускорить с заданным темпом ускорения или с темпом ускорения в пределах заданного диапазона; действие по управлению транспортным средством «замедление» может включать в себя управление транспортным средством для перемещения по транспортной сети транспортных средств или ее части путем управления блоком кинетического управления, блоком управления траекторией или комбинацией блоков управления, чтобы замедлить с заданным темпом замедления или с темпом замедления в пределах заданного диапазона; действие по управлению транспортным средством «поддержание» может включать в себя управление транспортным средством для перемещения по транспортной сети транспортных средств или ее части путем управления блоком кинетического управления, блоком управления траекторией или комбинацией блоков управления, чтобы поддерживать текущие рабочие параметры, например, поддерживая текущую скорость, текущий путь или маршрут или текущую ориентацию полосы движения; и действие по управлению транспортным средством «продолжение» может включать в себя управление транспортным средством для перемещения по транспортной сети транспортных средств или ее части путем управления блоком кинетического управления, блоком управления траекторией или комбинацией блоков управления, чтобы начать или возобновить ранее идентифицированный набор рабочих параметров. Хотя здесь описаны некоторые действия по управлению транспортным средством, могут использоваться другие действия по управлению транспортным средством.
[0094] Действие по управлению транспортным средством может включать в себя один или несколько показателей производительности. Например, действие по управлению транспортным средством «стоп» может включать в себя темп замедления в качестве показателя производительности. В другом примере действие по управлению транспортным средством «продолжение» может прямо указывать информацию о маршруте или пути, информацию о скорости, темп ускорения или их комбинацию в качестве показателей производительности или может прямо или неявно указывать, что текущий или ранее идентифицированный путь, скорость, темп ускорения или их комбинация может поддерживаться. Действие по управлению транспортным средством может быть составным действием по управлению транспортным средством, которое может включать в себя последовательность, комбинацию или оба действия по управлению транспортным средством. Например, действие по управлению транспортным средством «регулировка ориентации» может указывать на действие по управлению транспортным средством «стоп», последующее действие по управлению транспортным средством «ускорение», связанное с заданным темпом ускорения, и последующее действие по управлению транспортным средством «стоп», связанное с заданным темпом замедления, такое, что управление автономным транспортным средством в соответствии с действием по управлению транспортным средством «регулировка ориентации» включает в себя управление автономным транспортным средством, чтобы медленно продвигаться вперед на короткое расстояние, например, на несколько дюймов или фут.
[0095] AVOMC 4100 может удалять экземпляр SSOCEM 4300. Например, AVOMC 4100 может идентифицировать отдельный набор рабочих условий как указывающий отдельный операционный сценарий транспортного средства для автономного транспортного средства, создавать экземпляр SSOCEM 4300 для отдельного операционного сценария транспортного средства, контролировать рабочие условия, впоследствии определять, что одно или несколько рабочих условий недействительны или имеют вероятность повлиять на работу автономного транспортного средства ниже заданного порогового значения, и AVOMC 4100 может удалять экземпляр SSOCEM 4300.
[0096] AVOMC 4100 может создавать и удалять экземпляры SSOCEM 4300 на основе одного или нескольких показателей управления операционным управлением транспортным средством, таких как показатель имманентности, показатель срочности, показатель полезности, показатель приемлемости или их комбинация. Показатель имманентности может указывать, представлять или основываться на пространственном, временном или пространственно-временном расстоянии или близости, которые могут быть ожидаемым расстоянием или близостью, для транспортного средства, чтобы перемещаться по транспортной сети транспортных средств от текущего положения транспортного средства до части транспортной сети транспортных средств, соответствующей соответствующему идентифицированному операционному сценарию транспортного средства. Показатель срочности может указывать, представлять или основываться на мере пространственного, временного или пространственно-временного расстояния, доступного для управления транспортным средством для перемещения по части транспортной сети транспортных средств, соответствующей соответствующему идентифицированному операционному сценарию транспортного средства. Показатель полезности может указывать, представлять или основываться на ожидаемом значении создания экземпляра SSOCEM 4300, соответствующего соответствующему идентифицированному операционному сценарию транспортного средства. Показатель приемлемости может быть показателем безопасности, таким как показатель, указывающий на предотвращение столкновений, показателем соответствия управления транспортной сетью транспортных средств, таким как показатель, указывающий соответствие правилам и нормам транспортной сети транспортных средств, показателем физических возможностей, таким как показатель, указывающий максимальную тормозную способность транспортного средства, определяемым пользователем показателем, таким как предпочтение пользователя. Могут использоваться другие показатели или их комбинации. Показатель управления операционным управлением транспортным средством может указывать на заданный темп, диапазон или предел. Например, показатель приемлемости может указывать заданный целевой темп замедления, заданный диапазон темпов замедления или заданный максимальный темп замедления.
[0097] SSOCEM 4300 может включать в себя одну или несколько моделей соответствующего отдельного операционного сценария транспортного средства. Система 4000 операционного управления автономным транспортным средством может включать в себя любое количество SSOCEM 4300, каждый из которых включает в себя модели соответствующего отдельного операционного сценария транспортного средства. SSOCEM 4300 может включать в себя одну или несколько моделей одного или нескольких типов моделей. Например, SSOCEM 4300 может включать в себя модель частично наблюдаемого марковского процесса принятия решений (POMDP), модель марковского процесса принятия решений (MDP), классическую модель планирования, модель частично наблюдаемой стохастической игры (POSG), модель децентрализованного частично наблюдаемого марковского процесса принятия решений (Dec-POMDP), модель обучения с подкреплением (RL), модель искусственной нейронной сети или любую другую модель соответствующего отдельного операционного сценария транспортного средства. Каждый другой тип модели может иметь соответствующие характеристики точности и использования ресурсов. Например, модель POMDP для заданного сценария может иметь большую точность и большее использование ресурсов, чем модель MDP для заданного сценария. Модели, включенные в SSOCEM 4300, можно упорядочивать, например, иерархически, например, на основе точности. Например, назначенная модель, такая как наиболее точная модель, включенная в SSOCEM 4300, может быть идентифицирована как первичная модель для SSOCEM 4300, а другие модели, включенные в SSOCEM 4300, могут быть идентифицированы как вторичные модели.
[0098] В примере один или несколько SSOCEM 4300 могут включать в себя модель POMDP, которая может быть моделью с одним агентом. Модель POMDP может моделировать отдельный операционный сценарий транспортного средства, который может включать в себя неопределенность моделирования, используя набор состояний (S), набор действий (A), набор наблюдений (Ω), набор вероятностей перехода состояний (T), набор условных вероятностей наблюдения (O), функция вознаграждения (R) или их комбинация. Модель POMDP может быть определена или описана как кортеж <S, A, Ω, T, O, R>.
[0099] Состояние из набора (S) состояний может представлять отдельное состояние соответственных заданных аспектов, таких как внешние объекты и устройства управления трафиком, операционной среды автономного транспортного средства, которые могут вероятностно влиять на работу автономного транспортного средства в дискретном временном положении. Соответственный набор (S) состояний может быть задан для каждого отдельного операционного сценария транспортного средства. Каждое состояние (пространство состояний) из набора (S) состояний может включать в себя один или несколько заданных факторов состояния. Хотя здесь описаны некоторые примеры факторов состояния для некоторых моделей, модель, включая любую описанную здесь модель, может включать в себя любое количество или кардинальность факторов состояния. Каждый фактор состояния может представлять определенный аспект соответствующего сценария и может иметь соответствующий заданный набор значений. Хотя здесь описаны некоторые примеры значений фактора состояния для некоторых факторов состояния, фактор состояния, включая любой описанный здесь фактор состояния, может включать в себя любое количество или кардинальность значений.
[0100] Действие из набора действий (A) может указывать доступное действие по управлению транспортным средством в каждом состоянии в наборе состояний (S). Соответствующий набор действий может быть задан для каждого отдельного операционного сценария транспортного средства. Каждое действие (пространство действий) из набора действий (A) может включать в себя один или несколько заданных факторов действия. Хотя здесь описаны некоторые примеры факторов действия для некоторых моделей, модель, включая любую модель, описанную в данном документе, может включать в себя любое количество или кардинальность факторов действия. Каждый фактор действия может представлять доступное действие по управлению транспортным средством и может иметь соответствующий заданный набор значений. Хотя здесь описаны некоторые примеры значений фактора действия для некоторых факторов действия, фактор действия, включающий в себя любой фактор действия, описанный здесь, может включать в себя любое количество или кардинальность значений.
[0101] Наблюдение из набора наблюдений (Ω) может указывать на доступные наблюдаемые, измеримые или определяемые данные для каждого состояния из набора состояний (S). Соответствующий набор наблюдений может быть задан для каждого отдельного операционного сценария транспортного средства. Каждое наблюдение (пространство наблюдений) из набора наблюдений (Ω) может включать в себя один или несколько заданных факторов наблюдения. Хотя здесь описаны некоторые примеры факторов наблюдения для некоторых моделей, модель, включая любую модель, описанную здесь, может включать в себя любое количество или кардинальность факторов наблюдения. Каждый фактор наблюдения может представлять доступные наблюдения и может иметь соответствующий заданный набор значений. Хотя здесь описаны некоторые примеры значений фактора наблюдения для некоторых факторов наблюдения, фактор наблюдения, включая любой фактор наблюдения, описанный в данном документе, может включать в себя любое количество или кардинальность значений.
[0102] Вероятность перехода состояний из набора вероятностей (T) перехода состояний может вероятностно представлять изменения в операционной среде автономного транспортного средства, как представлено набором состояний (S), реагирующих на действия автономного транспортного средства, как представлено посредством набора действий (A), которые можно выразить как T: S × A × S → [0, 1]. Соответственный набор вероятностей (T) перехода состояний может быть задан для каждого отдельного операционного сценария транспортного средства. Хотя здесь описаны некоторые примеры вероятностей перехода состояний для некоторых моделей, модель, включающая в себя любую модель, описанную в данном документе, может включать в себя любое количество или кардинальность вероятностей перехода состояний. Например, каждая комбинация состояния, действия и последующего состояния может быть ассоциирована с соответственной вероятностью перехода состояний.
[0103] Условная вероятность наблюдения из набора условных вероятностей (O) наблюдения может представлять вероятности проведения соответствующих наблюдений (Ω) на основе операционной среды автономного транспортного средства, представленной набором состояний (S), реагирующих на действия автономного транспортного средства, как представлено набором действий (A), которая может быть представлена как O: A × S × Ω → [0, 1]. Соответственный набор условных вероятностей (O) наблюдения может быть задан для каждого отдельного операционного сценария транспортного средства. Хотя здесь описаны некоторые примеры условных вероятностей наблюдения состояния для некоторых моделей, модель, включая любую модель, описанную в данном документе, может включать в себя любое количество или кардинальность условных вероятностей наблюдения. Например, каждая комбинация действия, последующего состояния и наблюдения может быть связана с соответственной условной вероятностью наблюдения.
[0104] Функция (R) вознаграждения может задавать соответственные положительное или отрицательное (стоимостное) значение, которое может быть начислено для каждой комбинации состояния и действия, которое может представлять ожидаемое значение автономного транспортного средства, перемещающегося по транспортной сети транспортных средств, из соответствующего состояния в соответствии с соответствующим действием по управлению транспортным средством в последующее состояние, которое может быть выражено как R:S×A→ℝ.
[0105] Для простоты и ясности примеры значений модели, таких как значения факторов состояния или значения факторов наблюдения, описанные здесь, включают категориальные представления, такие как {начало, цель} или {короткое, длинное}. Категориальные значения могут представлять определенные дискретные значения, которые могут быть относительными значениями. Например, фактор состояния, представляющий временной аспект, может иметь значения из набора {короткий, длинный}; значение «короткий» может представлять дискретные значения, такие как временное расстояние, в пределах или меньше заданного порогового значения, такого как три секунды, а значение «длинный» может представлять дискретные значения, такие как временное расстояние, из по меньшей мере, например, равного или превышающего заданное пороговое значение. Заданные пороговые значения для соответствующих категориальных значений могут быть заданы относительно ассоциированных факторов. Например, заданное пороговое значение для набора {короткий, длинный} для временного фактора может быть связан со значением фактора относительного пространственного положения, а другое заданное пороговое значение для набора {короткий, длинный} для временного фактора может быть ассоциировано с другим значением фактора относительного пространственного положения. Хотя здесь описаны категориальные представления значений факторов, могут использоваться другие представления или комбинации представлений. Например, набор значений фактора временного состояния может быть {коротким (представляющим значения менее трех секунд), 4, 5, 6, длинным (представляющим значения по меньшей мере в 7 секунд)}.
[0106] В некоторых вариантах осуществления, таких как варианты осуществления, реализующие модель POMDP, моделирование операционного сценария автономного транспортного средства может включать в себя моделирование окклюзий. Например, данные операционной среды могут включать в себя информацию, соответствующую одной или нескольким окклюзиям, таким как окклюзии датчика, в операционной среде автономного транспортного средства, так что данные операционной среды могут не включать информацию, представляющую один или несколько окклюдированных внешних объектов в операционной среде автономного транспортного средства. Например, окклюзия может быть внешним объектом, таким как дорожные знаки, здание, дерево, идентифицированный внешний объект, или любое другое рабочее состояние или комбинация рабочих состояний, способных перекрыть одно или несколько других рабочих состояний, таких как внешние объекты от автономного транспортного средства в заданном пространственно-временном положении. В некоторых вариантах осуществления монитор 4200 операционной среды может идентифицировать окклюзии, может идентифицировать или определять вероятность того, что внешний объект закрыт или скрыт идентифицированной окклюзией, и может включать в себя информацию вероятности закрытого транспортного средства в данных операционной среды, выводимых в AVOMC 4100 и сообщаемых посредством AVOMC 4100 в соответственные SSOCEM 4300.
[0107] Система 4000 операционного управления автономным транспортным средством может включать в себя любое количество или комбинацию типов моделей. Например, SSOCEM 4310 для пешехода, SSOCEM 4320 для перекрестка, SSOCEM 4330 для смены полосы движения, SSOCEM 4340 для соединения дорог и SSOCEM 4350 для проезда препятствия могут быть моделями POMDP. В другом примере SSOCEM 4310 для пешехода может быть моделью MDP, а SSOCEM 4320 для перекрестка может быть моделью POMDP. AVOMC 4100 может создавать любое количество экземпляров SSOCEM 4300 на основе данных операционной среды.
[0108] Создание экземпляра SSOCEM 4300 может включать в себя идентификацию модели из SSOCEM 4300 и создание экземпляра идентифицированной модели. Например, SSOCEM 4300 может включать в себя первичную модель и вторичную модель для соответствующего отдельного операционного сценария транспортного средства, а создание экземпляра SSOCEM 4300 может включать в себя идентификацию первичной модели как текущей модели и создание экземпляра первичной модели. Создание экземпляра модели может включать в себя определение того, доступно ли решение или политика для модели. Создание экземпляра модели может включать в себя определение того, является ли доступное решение или политика для модели частично решенным или сведенным и решенным. Создание экземпляра SSOCEM 4300 может включать в себя создание экземпляра решения или политики для идентифицированной модели для SSOCEM 4300.
[0109] Решение модели, такой как модель POMDP, может включать определение политики или решения, которое может быть функцией, которая максимизирует накопленное вознаграждение, которое может быть определено путем оценки возможных комбинаций элементов кортежа, таких как <S, A, Ω, T, O, R> , определяющего модель. Политика или решение могут идентифицировать или выводить максимизированное вознаграждение или оптимальное возможное действие по управлению транспортным средством на основе идентифицированных данных предполагаемого состояния. Идентифицированные данные предполагаемого состояния, которые могут быть вероятностными, могут указывать данные текущего состояния, такие как текущий набор значений состояния для соответствующей модели или вероятность для текущего набора значений состояния, и могут соответствовать соответствующему относительному временному положению. Например, решение модели MDP может включать в себя идентификацию состояния из набора состояний (S), идентификацию действия из набора действий (A), определение последовательного или последующего состояния из набора состояний (S) последующих для моделирования действия с учетом вероятностей перехода состояний. Каждое состояние может быть ассоциировано с соответствующим значением полезности, и решение модели MDP может включать в себя определение соответствующих значений полезности, соответствующих каждой возможной комбинации состояния, действия и последующего состояния. Значение полезности последующего состояния может быть идентифицировано как максимальное идентифицированное значение полезности, подлежащее вознаграждению или штрафу, которое может быть дисконтированным вознаграждением или штрафом. Политика может указывать действие, соответствующее максимальному значению полезности для соответствующего состояния. Решение модели POMDP может быть аналогично решению модели MDP, за исключением того, что основано на предполагаемых состояниях, представляющих вероятности для соответствующих состояний и с учетом вероятностей наблюдений, соответствующих генерирующим наблюдениям для соответствующих состояний. Таким образом, решение модели SSOCEM включает в себя оценку возможных переходов состояние-действие-состояние и обновление соответствующих предполагаемых состояний, например с использованием правила Байеса, на основе соответственных действий и наблюдений.
[0110] Фиг. 5 является блок-схемой примера операционного управления 5000 автономным транспортным средством в соответствии с вариантами осуществления этого раскрытия. Операционное управление 5000 автономным транспортным средством может быть реализовано в автономном транспортном средстве, таком как транспортное средство 1000, показанное на фиг. 1, одно из транспортных средств 2100/2110, показанных на фиг. 2, полуавтономное транспортное средство или любое другое транспортное средство, реализующее автономное вождение. Например, автономное транспортное средство может реализовывать систему операционного управления автономным транспортным средством, такую как система 4000 операционного управления автономным транспортным средством, показанная на фиг. 4.
[0111] Как показано на фиг. 5, операционное управление 5000 автономным транспортным средством включает в себя реализацию или приведение в действие системы операционного управления автономным транспортным средством, включая один или несколько модулей или их компонентов, которые могут включать в себя приведение в действие контроллера операционного управления автономным транспортным средством (AVOMC) 5100, такого как AVOMC 4100, показанного на фиг. 4; приведение в действие мониторов5200 операционной среды, таких как один или несколько мониторов 4220, 4230, 4240, 4250, 4260, 4270 операционной среды, показанных на фиг. 4; и приведение в действие экземпляра 5300 модуля оценки операционного управления для конкретного сценария (экземпляра SSOCEM), такого как экземпляр SSOCEM 4300, показанный на фиг. 4.
[0112] AVOMC 5100 может контролировать операционную среду автономного транспортного средства или ее заданные аспекты на этапе 5110, чтобы идентифицировать операционную среду автономного транспортного средства или ее аспект. Например, мониторы 5200 операционной среды могут отслеживать аспекты операционной среды для конкретного сценария и могут передавать, отправлять или иным образом делать доступными, например, путем сохранения в общей памяти, данные операционной среды, представляющие операционную среду, в AVOMC 5100. Контроль операционной среды автономного транспортного средства может включать в себя идентификацию и отслеживание внешних объектов на этапе 5110, идентификацию отдельных операционных сценариев транспортного средства на этапе 5120 или их комбинацию. Например, AVOMC 5100, мониторы 5200 операционной среды или и то, и другое могут идентифицировать данные операционной среды на основе данных датчиков, данных транспортного средства, данных маршрута, данных транспортной сети транспортных средств, ранее идентифицированных данных операционной среды или любых других доступных данных, или комбинации данных, описывающих аспект или аспекты операционной среды.
[0113] Идентификация операционной среды может включать в себя идентификацию данных операционной среды, представляющих операционную среду, или один или несколько ее аспектов. Данные операционной среды могут включать в себя информацию транспортного средства для автономного транспортного средства, информацию, представляющую транспортную сеть транспортных средств или один или несколько ее аспектов, ближайшую к автономному транспортному средству, информацию, представляющую внешние объекты или один или несколько их аспектов в операционной среде автономного транспортного средства, вдоль или рядом с маршрутом, идентифицированным для автономного транспортного средства, или их комбинацию. Информация датчика может быть обработанной информацией датчика, такой как обработанная информация датчика от блока обработки информации датчика автономного транспортного средства, который может принимать информацию датчика от датчика автономного транспортного средства и может генерировать обработанную информацию датчика на основе информации датчика.
[0114] Идентификация данных операционной среды может включать в себя прием информации, указывающей один или несколько аспектов операционной среды, от датчика автономного транспортного средства, такого как датчик 1360, показанный на фиг. 1, или датчики 2105 на транспортном средстве, показанные на фиг. 2. Датчик или другой блок автономного транспортного средства может сохранять информацию датчика в памяти, такой как память 1340, показанная на фиг. 1, автономного транспортного средства и AVOMC 5100, считывающего информацию датчика из памяти.
[0115] Идентификация данных операционной среды может включать в себя идентификацию информации, указывающей один или несколько аспектов операционной среды, из данных транспортной сети транспортных средств. Например, AVOMC 5100 может считывать или иным образом принимать данные транспортной сети транспортных средств, указывающие, что автономное транспортное средство приближается к пересечению, или иным образом описывающие геометрию или конфигурацию транспортной сети транспортных средств, ближайшей к автономному транспортному средству, например в пределах 300 метров от автономного транспортного средства.
[0116] Идентификация данных операционной среды на этапе 5110 может включать в себя идентификацию информации, указывающей один или несколько аспектов операционной среды, из удаленного транспортного средства или другого удаленного устройства, внешнего по отношению к автономному транспортному средству. Например, автономное транспортное средство может принимать от удаленного транспортного средства через беспроводную линию электронной связи сообщение удаленного транспортного средства, включающее в себя информацию удаленного транспортного средства, указывающую информацию геопространственного состояния удаленного транспортного средства для удаленного транспортного средства, информацию кинематического состояния удаленного транспортного средства для удаленного транспортного средства, или и то и другое.
[0117] Идентификация данных операционной среды может включать в себя идентификацию информации, указывающей один или несколько аспектов операционной среды, из данных маршрута, представляющих идентифицированный маршрут для автономного транспортного средства. Например, AVOMC 5100 может считывать или иным образом принимать данные транспортной сети транспортных средств, представляющие идентифицированный маршрут, такой как маршрут, идентифицированный в ответ на ввод пользователя, для автономного транспортного средства.
[0118] AVOMC 5100 и мониторы 5200 операционной среды могут обмениваться данными для идентификации данных операционной среды, как указано позициями 5110, 5112 и 5210. В качестве альтернативы или в дополнение, мониторы 5200 операционной среды могут принимать данные операционной среды от другого компонента автономного транспортного средства, например, от датчика автономного транспортного средства или от другого монитора 5200 операционной среды, или мониторы 5200 операционной среды могут считывать данные операционной среды из памяти автономного транспортного средства.
[0119] AVOMC 5100 может обнаруживать или идентифицировать один или несколько отдельных операционных сценариев транспортного средства на 5120, например, на основе одного или нескольких аспектов операционной среды, представленных данными операционной среды, идентифицированными на 5110.
[0120] AVOMC 5100 может создавать экземпляр 5300 SSOCEM на основе одного или нескольких аспектов операционной среды, представленных данными операционной среды на этапе 5130, например, в ответ на идентификацию отдельного операционного сценария транспортного средства на этапе 5120. Хотя один экземпляр 5300 SSOCEM показан на фиг. 5, AVOMC 5100 может создавать несколько экземпляров 5300 SSOCEM на основе одного или нескольких аспектов операционной среды, представленных данными операционной среды, идентифицированными на 5110, причем каждый экземпляр 5300 SSOCEM соответствует соответствующему отдельному операционному сценарию транспортного средства, обнаруженному на 5120, или комбинации отдельного внешнего объекта, идентифицированного на 5110, и соответствующего отдельного операционного сценария транспортного средства, обнаруженного на 5120. Создание экземпляра 5300 SSOCEM на 5130 может включать в себя отправку данных операционной среды, представляющих операционную среду для автономного транспортного средства, в экземпляр 5300 SSOCEM, как указано в 5132. Экземпляр 5300 SSOCEM может принимать данные операционной среды, представляющие операционную среду для автономного транспортного средства, или один или несколько их аспектов, на этапе 5310. Создание экземпляра 5300 SSOCEM на 5130 может включать в себя идентификацию модели, такой как первичная модель или вторичная модель, отдельного операционного сценария транспортного средства, создание экземпляра модели, идентификацию решения или политики, соответствующих модели, создание экземпляра решения или политики, или их комбинации.
[0121] Мониторы 5200 операционной среды могут включать в себя монитор блокировки, такой как монитор 4210 блокировки, показанный на фиг. 4, который может определять соответствующую вероятность доступности (POA) или соответствующую вероятность блокировки на этапе 5220 для одной или нескольких частей транспортной сети транспортных средств, таких как части транспортной сети транспортных средств, расположенные рядом с автономным транспортным средством, которые могут включать в себя части транспортной сети транспортных средств, соответствующие ожидаемому пути автономного транспортного средства, например ожидаемому пути, идентифицированному на основе текущего маршрута автономного транспортного средства. Монитор блокировки может передавать, отправлять или иным образом делать доступными, например, путем сохранения в общей памяти, вероятности доступности, идентифицированные в 5220, в экземпляр 5300 SSOCEM на 5222. В качестве альтернативы или в дополнение, монитор блокировки может сохранять вероятности доступности, идентифицированные в 5220, в памяти автономного транспортного средства. Хотя это явно не показано на фиг. 5, монитор блокировки может передавать, отправлять или иным образом делать доступными, например, путем сохранения в общей памяти, вероятности доступности, идентифицированные в 5220, в AVOMC 5100 на 5222 в дополнение или в качестве альтернативы отправке вероятностей доступности в экземпляр SSOCEM 5300. Экземпляр 5300 SSOCEM может принимать информацию о вероятностях доступности на этапе 5320.
[0122] Экземпляр 5300 SSOCEM может генерировать или идентифицировать возможное действие по управлению транспортным средством на этапе 5330. Например, экземпляр 5300 SSOCEM может генерировать или идентифицировать возможное действие по управлению транспортным средством на этапе 5330 в ответ на прием данных 5310 операционной среды, прием данных о вероятности доступности на этапе 5320 или и то, и другое. Например, экземпляр решения или политики, созданный на этапе 5310 для модели отдельного операционного сценария транспортного средства, может выводить возможное действие по управлению транспортным средством на основе данных операционной среды, данных вероятности доступности или того и другого. Экземпляр 5300 SSOCEM может передавать, посылать или иным образом делать доступным, например, путем сохранения в общей памяти, возможное действие по управлению транспортным средством, идентифицированное на этапе 5330, в AVOMC 5100 на этапе 5332. В качестве альтернативы или в дополнение, экземпляр 5300 SSOCEM может сохранять возможное действие по управлению транспортным средством, идентифицированное на этапе 5330, в памяти автономного транспортного средства.
[0123] AVOMC 5100 может принимать возможное действие по управлению транспортным средством на этапе 5140. Например, AVOMC 5100 может принимать возможное действие по управлению транспортным средством от экземпляра 5300 SSOCEM на этапе 5140. В качестве альтернативы или в дополнение, AVOMC 5100 может считывать возможное действие по управлению транспортным средством из памяти автономного транспортного средства.
[0124] AVOMC 5100 может одобрить возможное действие по управлению транспортным средством или иным образом идентифицировать возможное действие по управлению транспортным средством как действие по управлению транспортным средством для управления автономным транспортным средством, чтобы перемещаться по транспортной сети транспортных средств, на этапе 5150. Утверждение возможного действия по управлению транспортным средством на этапе 5150 может включать в себя определение, перемещаться ли по части транспортной сети транспортных средств в соответствии с возможным действием по управлению транспортным средством.
[0125] AVOMC 5100 может управлять или может предоставлять идентифицированное действие по управлению транспортным средством другому блоку управления транспортным средством, автономному транспортному средству для перемещения по транспортной сети транспортных средств или ее части на этапе 5160 в соответствии с действием по управлению транспортным средством, идентифицированным на этапе 5150.
[0126] AVOMC 5100 может идентифицировать операционную среду автономного транспортного средства или ее аспект на этапе 5170. Идентификация операционной среды автономного транспортного средства или ее аспекта на этапе 5170 может быть аналогична идентификации операционной среды автономного транспортного средства на этапе 5110 и может включать в себя обновление ранее идентифицированных данных операционной среды.
[0127] AVOMC 5100 может определять или обнаруживать, решен или не решен отдельный операционный сценарий транспортного средства на этапе 5180. Например, AVOMC 5100 может принимать информацию операционной среды непрерывно или на периодической основе, как описано выше. AVOMC 5100 может оценивать данные операционной среды, чтобы определить, решен ли отдельный операционный сценарий транспортного средства.
[0128] AVOMC 5100 может определить, что отдельный операционный сценарий транспортного средства, соответствующий экземпляру 5300 SSOCEM, не решен на этапе 5180, AVOMC 5100 может передавать, отправлять или иным образом делать доступными, например, путем сохранения в общей памяти, данные операционной среды, идентифицированные на этапе 5170 в экземпляры 5300 SSOCEM, как указано на этапе 5185, и удаление экземпляра 5300 SSOCEM на этапе 5180 может быть опущено или не одобрено.
[0129] AVOMC 5100 может определить, что отдельный операционный сценарий транспортного средства решен на этапе 5180, и может удалить на этапе 5190 экземпляры 5300 SSOCEM, соответствующие отдельному операционному сценарию транспортного средства, который определен как решенный на этапе 5180. Например, AVOMC 5100 может идентифицировать отдельный набор рабочих условий, формирующих отдельный операционный сценарий транспортного средства для автономного транспортного средства на этапе 5120, может определять, что одно или несколько рабочих условий истекли, или имеет вероятность повлиять на работу автономного транспортного средства ниже заданного порогового значения на этапе 5180 и может удалить соответствующий экземпляр 5300 SSOCEM.
[0130] Хотя это явно не показано на фиг. 5, AVOMC 5100 может непрерывно или периодически повторять идентификацию или обновление данных операционной среды на этапе 5170, определять, решен ли отдельный операционный сценарий транспортного средства на этапе 5180, и в ответ на определение того, что отдельный операционный сценарий транспортного средства не решен на этапе 5180, отправлять данные операционной среды, идентифицированные на этапе 5170, в экземпляры 5300 SSOCEM, как указано на этапе 5185, до тех пор, пока определение того, решен ли отдельный операционный сценарий транспортного средства на этапе 5180, не включает определение того, что отдельный операционный сценарий транспортного средства решен.
[0131] Фиг. 6 является схемой примера транспортного средства 6000 в соответствии с вариантами осуществления этого раскрытия. Транспортное средство 6000 может быть автономным транспортным средством, таким как транспортное средство 1000, показанное на фиг. 1, одним из транспортных средств 2100/2110, показанных на фиг. 2, полуавтономным транспортным средством или любым другим транспортным средством, реализующим автономное вождение. Как показано на фиг. 6, транспортное средство 6000 включает в себя блоки 6100-6700 захвата изображения, которые могут быть датчиками, такими как датчик 1360, показанный на фиг. 1. Хотя фиг. 6 показывает семь блоков 6100-6700 захвата изображения, может использоваться любое количество блоков захвата изображения или других датчиков. Транспортное средство 6000 включает в себя блок 6800 восприятия. Для простоты и ясности фиг. 6 ориентирована на север вверху и на восток вправо. Для простоты и ясности на фиг. 6 восток, вправо, описывается как соответствующий углу в ноль градусов, так что транспортное средство 6000 ориентировано на север, что соответствует углу в девяносто градусов.
[0132] Каждый из блоков 6100-6700 захвата изображения может иметь относительную ориентацию и поле зрения (поле обзора). Относительная ориентация - это ориентация каждого блока 6100-6700 захвата изображения по отношению к транспортному средству 6000. Хотя это не показано на фиг. 6, относительная ориентация блока захвата изображения может регулироваться, например, механически или электронно. Поле зрения описывает область сцены, захваченную блоком захвата изображения. Хотя здесь в целом описывается коническое поле зрения, могут использоваться другие конфигурации поля зрения. Примеры полей зрения показаны на фиг. 7.
[0133] Как показано на фиг. 6, транспортное средство 6000 включает в себя блок 6100 захвата изображения впереди по центру (первый блок захвата изображения), блок 6200 захвата изображения впереди слева (второй блок захвата изображения), блок 6300 захвата изображения впереди справа (третий блок захвата изображения), блок 6400 захвата изображения сзади слева (четвертый блок захвата изображения), блок 6500 захвата изображения сзади справа (пятый блок захвата изображения), блок 6600 захвата изображения с левой стороны (шестой блок захвата изображения) и блок 6700 захвата изображения с правой стороны (седьмой блок захвата изображения). Могут использоваться другие блоки захвата изображения и их ориентации.
[0134] Блок 6100 захвата изображения впереди по центру может иметь относительную ориентацию, которая может соответствовать оптической оси поля зрения (явно не показано) блока 6100 захвата изображения впереди по центру. Относительная ориентация блока 6100 захвата изображения впереди по центру может быть выровнена по горизонтали с транспортным средством 6000 под углом девяносто градусов, как показано. Относительная ориентация блока 6100 захвата изображения впереди по центру может быть выровнена по вертикали с горизонтом (не показан). Может использоваться другая относительная ориентация.
[0135] Блок 6200 захвата изображения впереди слева может иметь относительную ориентацию, которая может соответствовать оптической оси поля зрения (явно не показано) блока 6200 захвата изображения впереди слева. Относительная ориентация блока 6200 захвата изображения впереди слева может быть выровнена по горизонтали с левой передней частью транспортного средства 6000, например, под углом 167,5 градусов, как показано. Относительная ориентация блока 6200 захвата изображения впереди слева может быть выровнена по вертикали с горизонтом (не показан). Может использоваться другая относительная ориентация.
[0136] Блок 6300 захвата изображения впереди справа может иметь относительную ориентацию, которая может соответствовать оптической оси поля зрения (явно не показано) блока 6300 захвата изображения впереди справа. Относительная ориентация блока 6300 захвата изображения впереди справа может быть выровнена по горизонтали правой передней частью транспортного средства 6000, например, под углом 12,5 градусов, как показано. Относительная ориентация модуля 6300 захвата изображения впереди справа может быть выровнена по вертикали с горизонтом (не показан). Может использоваться другая относительная ориентация.
[0137] Блок 6400 захвата изображения сзади слева может иметь относительную ориентацию, которая может соответствовать оптической оси поля зрения (явно не показано) блока 6400 захвата изображения сзади слева. Относительная ориентация блока 6400 захвата изображения сзади слева может быть выровнена по горизонтали с левой задней частью транспортного средства 6000, например, под углом 240 градусов, как показано. Относительная ориентация блока 6400 захвата изображения сзади слева может быть выровнена по вертикали с горизонтом (не показан). Может использоваться другая относительная ориентация.
[0138] Блок 6500 захвата изображения сзади справа может иметь относительную ориентацию, которая может соответствовать оптической оси поля зрения (явно не показано) блока 6500 захвата изображения сзади справа. Относительная ориентация блока 6500 захвата изображения сзади справа может быть выровнена по горизонтали с правой задней частью транспортного средства 6000, например, под углом 300 градусов, как показано. Относительная ориентация блока 6500 захвата изображения сзади справа может быть выровнена по вертикали с горизонтом (не показан). Может использоваться другая относительная ориентация.
[0139] Блок 6600 захвата изображения с левой стороны может иметь относительную ориентацию, которая может соответствовать оптической оси поля зрения (не показано явно) блока 6600 захвата изображения с левой стороны. Относительная ориентация блока 6600 захвата изображения с левой стороны может быть выровнена по горизонтали налево от транспортного средства 6000, например, под углом 180 градусов, как показано. Относительная ориентация блока 6600 захвата изображения с левой стороны может быть выровнена по вертикали с горизонтом (не показан). Может использоваться другая относительная ориентация.
[0140] Блок 6700 захвата изображения с правой стороны может иметь относительную ориентацию, которая может соответствовать оптической оси поля зрения (не показана явно) блока 6700 захвата изображения с правой стороны. Относительная ориентация блока 6700 захвата изображения с правой стороны может быть выровнена по горизонтали направо от транспортного средства 6000, например, под нулевым градусом, как показано. Относительная ориентация блока 6700 захвата изображения с правой стороны может быть выровнена по вертикали с горизонтом (не показан). Может использоваться другая относительная ориентация.
[0141] Блок 6800 восприятия включает в себя блок 6810 обработки переднего изображения, блок 6820 обработки заднего изображения и блок 6830 управления восприятием. Хотя блоки 6810, 6820 обработки изображений и блок 6830 управления восприятием показаны отдельно для ясности, два или более из блоков 6810, 6820 обработки изображений и блока 6830 управления восприятием могут быть реализованы как объединенный блок. Как показано на фиг. 6 блок 6100 захвата изображения впереди по центру, блок 6200 захвата изображения впереди слева и блок 6300 захвата изображения впереди справа показаны на связи с блоком 6810 обработки переднего изображения. Блок 6400 захвата изображения сзади слева, блок 6500 захвата изображения сзади справа, блок 6600 захвата изображения с левой стороны и блок 6700 захвата изображения с правой стороны показаны на связи с блоком 6820 обработки заднего изображения. Блоки 6810, 6820 обработки изображений показаны на связи с блоком 6830 управления восприятием. Могут использоваться другие конфигурации блоков обработки изображений, блоков управления и каналов связи.
[0142] Блок 6800 восприятия может получать информацию салиентности для управления восприятием. Например, блок 6800 восприятия может принимать информацию салиентности от другого блока (не показан) транспортного средства 6000, такого как контроллер 4100 операционного управления автономным транспортным средством, показанный на фиг. 4. Информация салиентности может указывать на часть поля зрения, окружающего автономное транспортное средство. Блок 6800 восприятия может коррелировать информацию салиентности с одним или несколькими датчиками автономного транспортного средства. Например, блок 6830 управления восприятием может принимать информацию салиентности от контроллера операционного управления автономным транспортным средством (не показан) транспортного средства 6000, а блок 6830 управления восприятием может передавать, отправлять или иным образом делать доступными, например, путем сохранения в совместно используемую память, информацию салиентности или ее часть в блок 6810 обработки переднего изображения, блок 6820 обработки заднего изображения или в оба.
[0143] Блок 6810 обработки переднего изображения (первый блок обработки изображения) может принимать информацию датчика, такую как данные изображения, от блока 6100 захвата изображения впереди по центру, блока 6200 захвата изображения впереди слева и блока 6300 захвата изображения впереди справа. Модуль 6810 обработки переднего изображения может принимать информацию салиентности, соответствующую блоку 6100 захвата изображения впереди по центру, блоку 6200 захвата изображения впереди слева и блоку 6300 захвата изображения впереди справа, от модуля 6830 управления восприятием. Блок 6810 обработки переднего изображения может генерировать данные обработки изображения (первые данные обработки изображения), которые могут включать в себя информацию о переднем внешнем объекте, на основе информации датчика, принятой от блока 6100 захвата изображения впереди по центру, блока 6200 захвата изображения впереди слева и блока 6300 захвата изображения впереди справа. Генерирование данных обработки изображения может включать в себя генерирование данных обработки изображения на основе информации салиентности, принятой от блока 6830 управления восприятием.
[0144] Блок 6820 обработки заднего изображения (второй блок обработки изображения) может принимать информацию датчика, такую как данные изображения, от блока 6400 захвата изображения сзади слева, блока 6500 захвата изображения сзади справа, блока 6600 захвата изображения с левой стороны, и блока 6700 захвата изображения с правой стороны. Блок 6820 обработки заднего изображения может принимать информацию салиентности, соответствующую блоку 6400 захвата изображения сзади слева, блоку 6500 захвата изображения сзади справа, блоку 6600 захвата изображения с левой стороны и блоку 6700 захвата изображения с правой стороны, от блока 6830 управления восприятием. Блок 6820 обработки заднего изображения может генерировать данные обработки изображения (вторые данные обработки изображения), которые могут включать в себя информацию о заднем внешнем объекте, на основе информации датчика, принятой от блока 6400 захвата изображения сзади слева, блока 6500 захвата изображения сзади справа, блок 6600 захвата изображения с левой стороны и блок 6700 захвата изображения с правой стороны. Генерирование данных обработки изображения может включать в себя генерирование данных обработки изображения на основе информации салиентности, принятой от блока 6830 управления восприятием.
[0145] Блок 6830 управления восприятием может генерировать информацию о внешнем объекте на основе данных обработки изображения, принятых из блока 6810 обработки переднего изображения, или их части, на основе данных обработки изображения, принятых из блока 6820 обработки заднего изображения, или их части, или на основе комбинации данных обработки изображения, принятых из блока 6810 обработки переднего изображения, и данных обработки изображения, принятых из блока 6820 обработки заднего изображения, или их части. Блок 6830 управления восприятием может передавать, посылать или иным образом делать доступной, например, путем сохранения в общей памяти, информацию о внешнем объекте в контроллер операционного управления автономным транспортным средством (не показан) транспортного средства 6000.
[0146] Фиг. 7 является схемой примера полей зрения для датчиков транспортного средства в соответствии с вариантами осуществления этого раскрытия. Фиг. 7 показывает транспортное средство 7000, такое как транспортное средство 6000, показанное на фиг. 6. Хотя это явно не показано на фиг. 7 для ясности, транспортное средство 7000 может включать в себя датчики, такие как блоки 6100-6700 захвата изображения, показанные на фиг. 6. Для простоты и ясности фиг. 7 ориентирована на север вверху и на восток справа. Для простоты и ясности фиг. 7, восток, вправо, описывается как соответствующий углу в ноль градусов, так что транспортное средство 7000 выровнено с севером, что соответствует углу в девяносто градусов.
[0147] Каждый из блоков захвата изображения может иметь соответствующую относительную ориентацию, как описано со ссылкой на фиг. 6, и поле зрения 7100-7700, как показано на фиг. 7. Каждое поле зрения 7100-7700 может иметь заданный угол зрения и заданную эффективную дальность.
[0148] Эффективная дальность представляет собой максимальное расстояние (рабочее расстояние) от блока захвата изображения, на котором внешний объект, имеющий заданный минимальный размер внешнего объекта, может быть обнаружен с точностью, превышающей заданный минимальный порог точности обнаружения объекта. Заданный минимальный размер внешнего объекта может быть заданным горизонтальным (или вертикальным) размером внешнего объекта относительно поля зрения (перспективы), например 100 мм. Могут использоваться другие заданные минимальные размеры внешних объектов. Заданное минимальное разрешение внешнего объекта по горизонтали (или вертикали) может представлять собой заданное минимальное количество пикселей по горизонтали (или вертикали) (смежных), например четыре пикселя, которые могут использоваться для захвата внешнего объекта, имеющего заданный минимальный внешний горизонтальный (или вертикальный) размер объекта для обнаружения объекта. Могут использоваться другие заданные минимальные разрешения внешних объектов. Пространственное разрешение может быть отношением заданного минимального размера внешнего объекта к заданному минимальному разрешению внешнего объекта. Например, заданный минимальный размер внешнего объекта может составлять 100 мм, заданное минимальное разрешение внешнего объекта может составлять четыре пикселя, а пространственное разрешение может составлять 100 мм/4 пикселя или 25 мм на пиксель.
[0149] Горизонтальное (или вертикальное) угловое разрешение блока захвата изображения может быть соотношением между разрешением датчика изображения блока захвата изображения по горизонтали (или вертикали) и горизонтальным (или вертикальным) углом зрения блока захвата изображения. Например, блок захвата изображения может иметь горизонтальный угол зрения 10 градусов, разрешение датчика изображения 1280 × 800 и горизонтальное угловое разрешение 128 пикселей на градус горизонтального угла зрения. В другом примере блок захвата изображения может иметь горизонтальный угол зрения 120 градусов, разрешение датчика изображения 1280 × 800 и горизонтальное угловое разрешение одиннадцать пикселей на градус горизонтального угла зрения.
[0150] Эффективная дальность может коррелировать с горизонтальным (или вертикальным) угловым разрешением. Например, блок захвата изображения может иметь горизонтальный угол зрения 180 градусов, разрешение датчика изображения 1280 × 800, горизонтальное угловое разрешение семь пикселей на градус горизонтального угла зрения и эффективная дальность для обнаружения удаленного транспортного средства может быть равна сорока метрам. В другом примере блок захвата изображения может иметь горизонтальный угол зрения 120 градусов, разрешение датчика изображения 1280 × 800, горизонтальное угловое разрешение одиннадцать пикселей на градус горизонтального угла зрения и эффективная дальность для обнаружения удаленного транспортного средства может быть равна шестьдесяти метрам. В другом примере блок захвата изображения может иметь горизонтальный угол зрения шестьдесят градусов, разрешение датчика изображения 1280 × 800, горизонтальное угловое разрешение 21 пиксель на градус горизонтального угла зрения и эффективная дальность для обнаружения удаленного транспортного средства может быть равна 120 метров.
[0151] Транспортное средство 7000 может включать в себя первый блок захвата изображения, такой как блок 6100 захвата изображения впереди по центру, показанный на фиг. 6. Первый блок захвата изображения может иметь первое поле 7100 зрения (переднее поле зрения), которое может быть ориентировано вперед от транспортного средства 7000, как показано. Первое поле 7100 зрения может быть ориентировано вдоль оптической оси первого блока захвата изображения (явно не показано) и может иметь первый заданный угол зрения, например 120 градусов, как показано. Первое поле 7100 зрения может иметь первую эффективную дальность, например шестьдесят метров для удаленного транспортного средства.
[0152] Транспортное средство 7000 может включать в себя второй блок захвата изображения, такой как блок 6200 захвата изображения впереди слева, показанный на фиг. 6. Второй блок захвата изображения может иметь второе поле 7200 зрения (первое боковое поле зрения), которое может быть ориентировано налево от транспортного средства 7000, как показано. Второе поле 7200 зрения может быть ориентировано вдоль оптической оси второго блока захвата изображения (явно не показано) и может иметь второй заданный угол зрения, например шестьдесят градусов, как показано. Второе поле зрения 7200 может иметь вторую эффективную дальность, например 120 метров для удаленного транспортного средства.
[0153] Транспортное средство 7000 может включать в себя третий блок захвата изображения, такой как блок 6300 захвата изображения впереди справа, показанный на фиг. 6. Третий блок захвата изображения может иметь третье поле 7300 зрения (второе боковое поле зрения), которое может быть ориентировано направо от транспортного средства 7000, как показано. Третье поле 7300 зрения может быть ориентировано вдоль оптической оси третьего блока захвата изображения (явно не показано) и может иметь второй заданный угол зрения, например шестьдесят градусов, как показано. Третье поле 7300 зрения может иметь вторую эффективную дальность, например 120 метров для удаленного транспортного средства.
[0154] Транспортное средство 7000 может включать в себя четвертый блок захвата изображения, такой как блок 6400 захвата изображения сзади слева, показанный на фиг. 6. Четвертый блок захвата изображения может иметь четвертое поле зрения 7400 (первое заднее поле зрения), которое может быть ориентировано назад налево от транспортного средства 7000, как показано. Четвертое поле 7400 зрения может быть ориентировано вдоль оптической оси четвертого блока захвата изображения (явно не показано) и может иметь третий заданный угол зрения, например шестьдесят градусов, как показано. Четвертое поле зрения 7400 может иметь третью эффективную дальность, например 120 метров для удаленного транспортного средства.
[0155] Транспортное средство 7000 может включать в себя пятый блок захвата изображения, такой как блок 6500 захвата изображения сзади справа, показанный на фиг. 6. Пятый блок захвата изображения может иметь пятое поле 7500 зрения (второе заднее поле зрения), которое может быть ориентировано назад направо от транспортного средства 7000, как показано. Пятое поле 7500 зрения может быть ориентировано вдоль оптической оси пятого блока захвата изображения (явно не показано) и может иметь третий заданный угол зрения, например шестьдесят градусов, как показано. Пятое поле зрения 7500 может иметь третью эффективную дальность, например 120 метров для удаленного транспортного средства.
[0156] Транспортное средство 7000 может включать в себя шестой блок захвата изображения, такой как блок 6600 захвата изображения с левой стороны, показанный на фиг. 6. Шестой блок захвата изображения может иметь шестое поле зрения 7600 (третье боковое поле зрения), которое может быть ориентировано на левую сторону от транспортного средства 7000, как показано. Шестое поле 7600 зрения может быть ориентировано вдоль оптической оси шестого блока захвата изображения (явно не показано) и может иметь четвертый заданный угол зрения, например 180 градусов, как показано. Шестое поле зрения 7600 может иметь четвертую эффективную дальность, например сорок метров для удаленного транспортного средства.
[0157] Транспортное средство 7000 может включать в себя седьмой блок захвата изображения, такой как блок 6700 захвата изображения с правой стороны, показанный на фиг. 6. Седьмой блок захвата изображения может иметь седьмое поле 7700 зрения (четвертое боковое поле зрения), которое может быть ориентировано на правую сторону от транспортного средства 7000, как показано. Седьмое поле 7700 зрения может быть ориентировано вдоль оптической оси седьмого блока захвата изображения (явно не показано) и может иметь четвертый заданный угол зрения, например 180 градусов, как показано. Седьмое поле 7700 зрения может иметь четвертую эффективную дальность, например сорок метров для удаленного транспортного средства.
[0158] Части полей зрения 7100-7700 могут перекрываться, как указано темными пунктирными частями. Например, как показано, переднее поле 7100 зрения частично перекрывает левое переднее поле 7200 зрения, правое переднее поле 7300 зрения, поле 7600 зрения с левой стороны и поле 7700 зрения с правой стороны.
[0159] Фиг. 8 - схема примера областей салиентности в соответствии с вариантами осуществления этого раскрытия. Фиг. 8 показывает транспортное средство 8000, такое как транспортное средство 6000, показанное на фиг. 6. Фиг. 8 показывает неперекрывающиеся сектора 8010-8120 салиентности относительно транспортного средства 8000. Каждый из секторов 8010-8120 салиентности включает в себя угловую часть непрерывного диапазона салиентности относительно транспортного средства 8000, представляющего операционную среду транспортного средства 8000. Например, каждый сектор 8010-8120 салиентности может включать тридцать градусов, как показано. Может использоваться другое количество (количество элементов) и размер секторов. Может использоваться различная ориентация секторов салиентности и прилегающей области салиентности. Для простоты и ясности фиг. 8 ориентирована на север вверху и на восток вправо.
[0160] Как показано, секторы салиентности включают в себя первый сектор 8010 салиентности к юго-юго-востоку от автономного транспортного средства 8000, второй сектор 8020 салиентности к юго-востоку от автономного транспортного средства 8000, третий сектор 8030 салиентности к востоку-юго-востоку от автономного транспортного средства 8000, четвертый сектор 8040 салиентности к востоку-северо-востоку от автономного транспортного средства 8000, пятый сектор 8050 салиентности к северо-востоку от автономного транспортного средства 8000, шестой сектор 8060 салиентности к северо-северо-востоку от автономного транспортного средства 8000, седьмой сектор 8070 салиентности к северо-северо-западу от автономного транспортного средства 8000, восьмой сектор 8080 салиентности к северо-западу от автономного транспортного средства 8000, девятый сектор 8090 салиентности к западу-северо-западу от автономного транспортного средства 8000, десятый сектор 8100 салиентности к западу-юго-западу от автономного транспортного средства 8000, одиннадцатый сектор 8110 салиентности к юго-западу от автономного транспортного средства 8000 и двенадцатый сектор 8120 салиентности к юго-юго-западу от автономного транспортного средства 8000.
[0161] Каждый сектор 8010-8120 салиентности включает в себя часть ближнего расстояния салиентности, как показано темным пунктирным фоном, и часть дальнего расстояния салиентности, как показано светлым пунктирным фоном. Например, ближнее расстояние салиентности может соответствовать области, относительно близкой к транспортному средству 8000, например, в пределах шестидесяти метров от транспортного средства 8000, а дальнее расстояние салиентности может соответствовать области, относительно далекой от транспортного средства 8000, например, по меньшей мере в шестьдесяти метрах от транспортного средства, например, на расстоянии 120 метров от транспортного средства 8000. Доступные секторы 8010-8120 салиентности, включая угловой размер, расстояния салиентности и ориентацию, могут быть заданы для транспортного средства 8000. Область салиентности может быть указана как сектор 8010-8120 салиентности, а расстояние салиентности, например, ближним или дальним.
[0162] Информация салиентности может указывать или идентифицировать одну или несколько областей салиентности, секторов салиентности, расстояний салиентности или их комбинацию относительно транспортного средства 8000. Информация салиентности может указывать относительный приоритет, такой как высокий или низкий приоритет, соответствующий соответствующим областям или секторам салиентности. Например, может использоваться целочисленное значение, такое как целочисленное значение в диапазоне 0-23, представляющее каждую область салиентности. В другом примере может использоваться целочисленное значение, такое как целочисленное значение в диапазоне 0-11, представляющее каждый сектор салиентности, и двоичное значение [0,1], представляющее ближнее расстояние салиентности или дальнее расстояние салиентности. В другом примере может использоваться двоичное значение, представляющее высокий или низкий приоритет. Могут использоваться другие представления информации салиентности.
[0163] Фиг. 9 является схемой примерного соответствия между неперекрывающимися секторами 9010-9120 салиентности, такими как неперекрывающиеся секторы 8010-8120 салиентности, показанные на фиг. 8, и полями зрения 9200-9800, полями зрения 7100-7700, показанными на фиг. 7, относительно транспортного средства 9000 в соответствии с вариантами осуществления этого раскрытия. Для простоты и ясности фиг. 9 ориентирована на север вверху и на восток справа.
[0164] Как показано, первый блок захвата изображения, такой как блок 6100 захвата изображения впереди по центру, показанный на фиг. 6, транспортного средства 9000 имеет первое поле 9200 зрения, такое как поле 7100 зрения, показанное на фиг. 7, которое перекрывает или частично перекрывает по меньшей мере часть из области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9050 салиентности к северо-востоку от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9050 салиентности к северо-востоку от автономного транспортного средства 9000, области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9060 салиентности к северо-северо-востоку от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9060 салиентности к северо-северо-востоку от автономного транспортного средства 9000, области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9070 салиентности к северо-северо-западу от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9070 салиентности к северо-северо-западу от автономного транспортного средства 9000, области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9080 салиентности к северо-западу от автономного транспортного средства 9000, и области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9080 салиентности к северо-западу от автономного транспортного средства 9000.
[0165] Как показано, второй блок захвата изображения, такой как блок 6200 захвата изображения впереди слева, показанный на фиг. 6, транспортного средства 9000 имеет второе поле 9300 зрения, такое как поле 7200 зрения, показанное на фиг. 7, которое перекрывает или частично перекрывает по меньшей мере часть области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9080 салиентности к северо-западу от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9080 салиентности к северо-западу от автономного транспортного средства 9000, области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9090 салиентности к западу-северо-западу от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9090 салиентности к западу-северо-западу от автономного транспортного средства 9000, области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9100 салиентности к западу-юго-западу от автономного транспортного средства 9000, и области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9100 салиентности к западу-юго-западу от автономного транспортного средства 9000.
[0166] Как показано, третий блок захвата изображения, такой как блок 6300 захвата изображения впереди справа, показанный на фиг. 6, транспортного средства 9000 имеет третье поле 9400 зрения, такое как поле 7300 зрения, показанное на фиг. 7, которое перекрывает или частично перекрывает по меньшей мере часть области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9030 салиентности к востоку-юго-востоку от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9030 салиентности к востоку-юго-востоку от автономного транспортного средства 9000, области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9040 салиентности к востоку-северо-востоку от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9040 салиентности к востоку-северо-востоку от автономного транспортного средства 9000, области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9050 салиентности к северо-востоку от автономного транспортного средства 9000, и областм салиентности, соответствующей ближнему расстоянию салиентности для сектора 9050 салиентности к северо-востоку от автономного транспортного средства 9000.
[0167] Как показано, четвертый блок захвата изображения, такой как блок 6400 захвата изображения сзади слева, показанный на фиг. 6, транспортного средства 9000 имеет четвертое поле 9500 зрения, такое как поле 7400 зрения, показанное на фиг. 7, который перекрывает или частично перекрывает по меньшей мере часть области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9110 салиентности к юго-западу от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9110 салиентности к юго-западу от автономного транспортного средства 9000, области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9120 салиентности к юго-юго-западу от автономного транспортного средства 9000, и области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9120 салиентности к юго-юго-западу от автономного транспортного средства 9000.
[0168] Как показано, пятый блок захвата изображения, такой как блок 6500 захвата изображения сзади справа, показанный на фиг. 6, транспортного средства 9000 имеет пятое поле 9600 зрения, такое как поле 7500 зрения, показанное на фиг. 7, которое перекрывает или частично перекрывает по меньшей мере часть области салиентности, соответствующец дальнему расстоянию салиентности для сектора 9010 салиентности к югу-юго-востоку от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9010 салиентности к югу-юго-востоку от автономного транспортного средства 9000, области салиентности, соответствующей дальнему расстоянию салиентности для сектора 9020 салиентности к юго-востоку от автономного транспортного средства 9000, и области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9020 салиентности к юго-востоку от автономного транспортного средства 9000.
[0169] Как показано, шестой блок захвата изображения, такой как блок 6600 захвата изображения с левой стороны, показанный на фиг. 6, транспортного средства 9000 имеет шестое поле 9700 зрения, такое как поле 7700 зрения, показанное на фиг. 7, которое перекрывает или частично перекрывает по меньшей мере часть области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9070 салиентности к северо-северо-западу от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9080 салиентности к северо-западу от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9090 салиентности к западу-северо-западу от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9100 салиентности к западу-юго-западу от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9110 салиентности к юго-западу от автономного транспортного средства 9000, и области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9120 салиентности к юго-юго-западу от автономного транспортного средства 9000.
[0170] Как показано, седьмой блок захвата изображения, такой как блок 6700 захвата изображения с правой стороны, показанный на фиг. 6, транспортного средства 9000 имеет седьмое поле 9800 зрения, такое как поле 7800 зрения, показанное на фиг. 7, которое перекрывает или частично перекрывает по меньшей мере часть области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9010 салиентности к югу-юго-востоку от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9020 салиентности к юго-востоку от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9030 салиентности к востоку-юго-востоку от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9040 салиентности к востоку-северо-востоку от автономного транспортного средства 9000, области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9050 салиентности к северо-востоку от автономного транспортного средства 9000, и области салиентности, соответствующей ближнему расстоянию салиентности для сектора 9060 салиентности к северо-северо-востоку от автономного транспортного средства 9000.
[0171] Фиг. 10 представляет собой блок-схему примера операционного управления автономным транспортным средством с управлением 10000 восприятием визуальной салиентности в соответствии с вариантами осуществления этого раскрытия. Операционное управление автономным транспортным средством с управлением 10000 восприятием визуальной салиентности может быть реализовано в автономном транспортном средстве, таком как автономное транспортное средство 1000, показанное на фиг. 1, одно из автономных транспортных средств 2100/2110, показанных на фиг. 2, одно из автономных транспортных средств 6000-9000, показанных на фиг. 6-9, полуавтономное транспортное средство или любое другое транспортное средство, реализующее автономное вождение. Автономное транспортное средство может перемещаться по транспортной сети транспортных средств, такой как транспортная сеть автономных транспортных средств, или ее часть, как показано на фиг. 2 и 3.
[0172] Автономное транспортное средство может реализовывать систему операционного управления автономным транспортным средством, такую как система 4000 операционного управления автономным транспортным средством, показанная на фиг. 4, и может включать в себя контроллер операционного управления автономным транспортным средством, такой как контроллер 4100 операционного управления автономным транспортным средством, показанный на фиг. 4. Автономное транспортное средство может включать в себя блок восприятия, такой как блок 6800 восприятия, показанный на фиг. 6, который может включать в себя блок обработки переднего изображения, такой как блок 6810 обработки переднего изображения, показанный на фиг. 6, блок обработки заднего изображения, такой как блок 6820 обработки заднего изображения, показанный на фиг. 6, и блок управления восприятием, такой как блок 6830 управления восприятием, показанный на фиг. 6. Автономное транспортное средство может включать в себя датчики, такие как блоки 6100-6700 захвата изображений, показанные на фиг. 6.
[0173] Операционное управление автономным транспортным средством с управлением 10000 восприятием визуальной салиентности может включать в себя приведение в действие блока восприятия, контроллера операционного управления автономным транспортным средством или обоих, и может включать в себя работу среды операционного управления автономным транспортным средством на этапе 10100, идентификацию информации салиентности на этапе 10200, генерирование информации о внешнем объекте на этапе 10300, вывод информации о внешнем объекте на этапе 10400, идентификацию отдельного операционного сценария транспортного средства на этапе 10500, создание экземпляра модуля оценки операционного управления для конкретного сценария на этапе 10600, прием возможного действия по управлению транспортным средством на этапе 10700 и перемещение по части транспортной сети автономных транспортных средств на этапе 10800.
[0174] Автономное транспортное средство может управлять средой операционного управления автономным транспортным средством на этапе 10100, что может включать в себя генерирование среды операционного управления автономным транспортным средством. Например, контроллер операционного управления автономным транспортным средством может генерировать среду операционного управления автономным транспортным средством для работы экземпляра модуля оценки операционного управления для конкретного сценария. Среда операционного управления автономным транспортным средством может включать в себя один или несколько мониторов операционной среды, таких как мониторы 4200 операционной среды, показанные на фиг. 4.
[0175] Информация салиентности может быть идентифицирована на этапе 10200. Например, контроллер операционного управления автономным транспортным средством может генерировать информацию салиентности на этапе 10200. Информация салиентности может указывать на салиентность, важность или относительную эксплуатационную полезность для части поля зрения, окружающей автономное транспортное средство. Например, информация салиентности может указывать или идентифицировать одну или несколько областей салиентности, секторов салиентности, расстояний салиентности или их комбинацию относительно транспортного средства, например, области салиентности, показанные на фиг. 8. Информация салиентности может указывать относительный приоритет, такой как высокий или низкий приоритет, соответствующий соответствующим областям или секторам салиентности.
[0176] В некоторых реализациях информация салиентности может включать в себя информацию о расстоянии салиентности и информацию о приоритете для каждого сектора салиентности. Например, для каждого сектора салиентности, такого как секторы 8010-8120 салиентности, показанные на фиг. 8, информация салиентности может указывать ближнее расстояние салиентности, которое может быть выражено двоичным значением 01, дальнее расстояние салиентности, которое может быть выражено двоичным значением 10, или комбинацию ближнего расстояния салиентности и дальнего расстояния салиентности, которая может быть выражена как двоичное значение 00 или 11 и может указывать на относительный приоритет, такой как низкий относительный приоритет, который может быть выражен как двоичное значение 0, или высокий относительный приоритет, который может быть выражен как двоичный значение 1. В некоторых реализациях информация об относительном приоритете может быть ранжированной или вероятностной. В некоторых реализациях информация салиентности может опускать информацию салиентности для областей салиентности, связанных с низким приоритетом.
[0177] Генерирование информации салиентности может включать в себя использование, например, информации транспортной сети транспортных средств, такой как данные карты, представляющие операционную среду автономного транспортного средства, ранее идентифицированные данные внешнего объекта или их комбинацию. Ранее идентифицированные данные внешнего объекта могут быть данными, ранее сгенерированными системой операционного управления автономным транспортным средством, которые могут включать в себя данные прогнозируемого внешнего объекта или данные вероятности внешнего объекта. В некоторых реализациях использование среды операционного управления автономным транспортным средством на этапе 10100 может быть исключено, и другой блок транспортного средства, такой как блок отслеживания внешнего объекта, может генерировать информацию салиентности.
[0178] Блок восприятия может получить информацию салиентности на этапе 10200. Например, блок восприятия может принимать информацию салиентности от контроллера операционного управления автономным транспортным средством.
[0179] Работа блока восприятия может включать в себя генерирование информации о внешнем объекте на этапе 10300. Например, блок восприятия может генерировать информацию о внешнем объекте, соответствующую одному или нескольким внешним объектам в пределах заданного расстояния от автономного транспортного средства, на основе информации салиентности, идентифицированной на этапе 10100. Генерирование информации о внешнем объекте может включать в себя обработку информации салиентности для управления восприятием. Например, блок управления восприятием может коррелировать информацию салиентности с доступными датчиками автономного транспортного средства. Например, блок восприятия может принимать одно или несколько изображений, которые могут быть по существу одновременными изображениями, от одного или нескольких блоков захвата изображений автономного транспортного средства, таких как блоки 6100-6700 захвата изображений, показанные на фиг. 6, которые могут соответствовать одному или нескольким полям зрения, таким как поля 7100-7700 зрения, показанные на фиг. 7, и блок управления восприятием может коррелировать информацию салиентности, чтобы идентифицировать салиентные части изображений, захваченных блоками захвата изображений. Каждое изображение может захватывать практически одновременную во времени часть поля зрения операционной среды автономного транспортного средства. Блок управления восприятием может идентифицировать один или несколько блоков захвата изображения, соответствующий блок обработки изображения или то и другое, соответствующие области салиентности, указанной информацией салиентности. Блок управления восприятием может передавать, посылать или иным образом делать доступными, например, путем сохранения в общей памяти, информацию салиентности или ее части, в блок обработки переднего изображения, блок обработки заднего изображения или в оба.
[0180] Соответствующие блоки обработки изображений могут определять салиентную часть информации датчика на основе информации салиентности. Информация датчика, такая как изображение, для датчика, такого как блок захвата изображения, автономного транспортного средства может быть исключена из салиентной части. Например, изображение, захваченное блоком захвата изображения автономного транспортного средства, может не перекрываться с областями салиентности, идентифицированными в информации салиентности, и изображение может быть опущено из салиентной части. В другом примере изображение, захваченное блоком захвата изображения автономного транспортного средства, может перекрываться с областями салиентности, идентифицированными в информации салиентности, и изображение или его часть может быть включена в салиентную часть. Например, информация датчика может быть изображением, захваченным блоком захвата изображения автономного транспортного средства, а салиентная часть может быть пространственно непрерывной областью или фрагментом изображения. Блок обработки изображения может идентифицировать одну или несколько частей изображения как салиентные части и может идентифицировать остальную часть изображения как несалиентную часть. Например, изображение, захваченное блоком захвата изображения автономного транспортного средства, может иметь поле зрения, которое включает в себя несколько областей салиентности, а блок обработки изображения может идентифицировать часть изображения, соответствующую высокоприоритетной области салиентности, указанной в информации салиентности, в качестве части салиентности. Части изображения, соответствующие областям салиентности, идентифицированным как низкоприоритетные в информации салиентности или не включенным в нее, могут быть идентифицированы как несалиентные части. Размер салиентной части относительно размера изображения может быть определен на основе информации о расстоянии салиентности.
[0181] В одном примере блок обработки переднего изображения может идентифицировать одну или несколько салиентных частей (первые данные обработки изображения) на основе изображений, захваченных первым блоком захвата изображения автономного транспортного средства, таким как центральный блок захвата изображения, вторым блоком захвата изображения автономного транспортного средства, таким как блок захвата изображения впереди справа, и третьим блоком захвата изображения автономного транспортного средства, таким как блок захвата изображения впереди слева. Блок обработки заднего изображения может идентифицировать одну или несколько салиентных частей (вторые данные обработки изображения) на основе изображений, захваченных четвертым блоком захвата изображения автономного транспортного средства, таким как блок захвата изображения сзади слева, пятым блоком захвата изображения автономное транспортное средство, таким как блок захвата изображения сзади справа, шестым блоком захвата изображения автономного транспортного средства, таким как левый блок захвата изображения, и седьмым блок захвата изображения автономного транспортного средства, таким как правый блок захвата изображения.
[0182] В некоторых реализациях блок обработки изображения может идентифицировать набор салиентных частей (возможных салиентных частей), который имеет кардинальность которая превышает заданную кардинальность, например три, причем блок обработки изображения может определять соответствующий приоритет для каждой салиентной части на основе информации салиентности, блок обработки изображения может включать в себя заданную кардинальность возможных салиентных частей, обладающих наивысшим приоритетом в салиентных частях, и может включать возможные салиентные части, отличные от салиентных частей, в несалиентные части. Минимальный приоритет для салиентных частей может превышать максимальный приоритет для возможных салиентных частей в несалиентной части.
[0183] Блок восприятия может генерировать информацию о внешнем объекте на основе салиентной части или частей информации датчика. Например, блок обработки переднего изображения может генерировать информацию возможного внешнего объекта на основе салиентной части или частей, соответствующих центральному блоку захвата изображения, блоку захвата изображения впереди слева и блоку захвата изображения впереди справа, а также блок обработки заднего изображения может генерировать информацию возможного внешнего объекта на основе салиентной части или частей, соответствующих блоку захвата изображения сзади слева, блоку захвата изображения сзади справа, левому блоку захвата изображения и правому блоку захвата изображения. Генерирование информации о внешнем объекте может включать в себя оценку салиентной части или частей с использованием алгоритма классификации объектов глубокого обучения.
[0184] Работа блока восприятия может включать в себя вывод информации о внешнем объекте на этапе 10400. Например, блок восприятия может передавать, посылать или иным образом делать доступной, например, путем сохранения в общей памяти, информацию о внешнем объекте или ее часть, в контроллер операционного управления автономным транспортным средством или в другой блок или блоки транспортного средства.
[0185] Работа контроллера операционного управления автономным транспортным средством может включать в себя идентификацию отдельного операционного сценария транспортного средства на этапе 10500. Контроллер операционного управления автономным транспортным средством может идентифицировать отдельный операционный сценарий транспортного средства, используя информацию о внешнем объекте, выводимую блоком восприятия на этапе 10400. Например, контроллер операционного управления автономным транспортным средством может принимать информацию о внешнем объекте, принятую блоком восприятия на этапе 10400, и может идентифицировать отдельный операционный сценарий транспортного средства в ответ на прием информации о внешнем объекте.
[0186] Работа контроллера операционного управления автономного транспортного средства может включать в себя создание экземпляра модуля оценки операционного управления для конкретного сценария на этапе 10600. Например, контроллер операционного управления автономным транспортным средством может создать экземпляр модуля оценки операционного управления для конкретного сценария в ответ на идентификацию отдельного операционного сценария транспортного средства на этапе 10500. Экземпляр модуля оценки операционного управления для конкретного сценария может включать в себя экземпляр модели оценки операционного управления для конкретного сценария отдельного операционного сценария транспортного средства. Работа экземпляра модуля оценки операционного управления для конкретного сценария может включать в себя идентификацию политики для модели оценки операционного управления для конкретного сценария.
[0187] Работа контроллера операционного управления автономным транспортным средством может включать в себя прием возможного действия по управлению транспортным средством на этапе 10700. Например, контроллер операционного управления автономным транспортным средством может принимать возможное действие по управлению транспортным средством из политики для экземпляра модуля оценки операционного управления для конкретного сценария, созданного на этапе 10600.
[0188] Работа контроллера операционного управления автономным транспортным средством может включать в себя управление автономным транспортным средством для перемещения по части транспортной сети автономных транспортных средств на этапе 10800. Например, контроллер операционного управления автономным транспортным средством может управлять автономным транспортным средством, чтобы перемещаться по части транспортной сети автономных транспортных средств в соответствии с возможным действием по управлению транспортным средством, идентифицированным на этапе 10700. Часть транспортной сети автономных транспортных средств может включать в себя отдельный операционный сценарий транспортного средства, идентифицированный на этапе 10500.
[0189] Идентификация информации салиентности на этапе 10200, генерирование информации о внешнем объекте на этапе 10300, вывод информации о внешнем объекте на этапе 10400, идентификация отдельного операционного сценария транспортного средства на этапе 10500, создание экземпляра модуля оценки операционного управления для конкретного сценария на этапе 10600, прием возможного действия по управлению транспортным средством на этапе 10700, и перемещение по части транспортной сети автономных транспортных средств на этапе 10800 могут быть последовательно повторены, как показано направленной линией на этапе 10900.
[0190] Фиг. 11 является схемой примера операционного управления автономным транспортным средством с управлением восприятием визуальной салиентности для части 11000 транспортной сети транспортных средств, включая сценарий перекрестка и сценарий пешехода, в соответствии с вариантами осуществления этого раскрытия. Операционное управление автономным транспортным средством с управлением восприятием визуальной салиентности может включать в себя автономное транспортное средство 11100, такое как транспортное средство 1000, показанное на фиг. 1, одно из транспортных средств 2100/2110, показанных на фиг. 2, одно из транспортных средств 6000, 7000, 8000, 9000, показанных на фиг. 6-9, полуавтономное транспортное средство или любое другое транспортное средство, реализующее автономное вождение, приводящее в действие систему операционного управления автономным транспортным средством, такую как система 4000 операционного управления автономным транспортным средством, показанная на фиг. 4, которая может включать в себя модель сценария операционного управления автономным транспортным средством, который включает в себя автономное транспортное средство 11100, перемещающееся по части транспортной сети транспортных средств вдоль первой дороги 11200, приближаясь к перекрестку со второй дорогой 11210. Для простоты и ясности часть 11000 транспортной сети транспортных средств, показанная на фиг. 11, ориентирована на север вверху и на восток вправо.
[0191] Первое удаленное транспортное средство 11300 показано перемещающимся в западном направлении по второй дороге 11210. Текущая траектория первого удаленного транспортного средства 11300 обозначена сплошной направленной линией. Второе удаленное транспортное средство 11400 показано перемещающимся в восточном направлении по второй дороге 11210. Текущая траектория для второго удаленного транспортного средства 11400 обозначена сплошной направленной линией. Пешеход 11500 показан рядом с перекрестком. Текущая траектория пешехода 11500 показана сплошной направленной линией, что указывает на то, что пешеход 11500 может повлиять на работу автономного транспортного средства 11100, например, перемещаясь по части второй дороги 11210 вдоль пути, пересекающегося с ожидаемым путем 11110 автономного транспортного средства 11100.
[0192] Система операционного управления автономным транспортным средством может генерировать информацию салиентности на основе информации операционной среды, которая может включать в себя информацию транспортной сети транспортных средств, указывающую ориентацию перекрестка, и ранее полученную информацию о внешних объектах, представляющую обнаруженные внешние объекты, которые могут включать удаленные транспортные средства 11300, 11400 и пешехода 11500.
[0193] Автономное транспортное средство 11100 может подъехать к перекрестку, посредством перемещения по первой дороге 11200, чтобы прибыть в текущее положение, как показано на фиг. 11. Система операционного управления автономным транспортным средством автономного транспортного средства 11100 может идентифицировать информацию салиентности на основе набора неперекрывающихся секторов салиентности, таких как неперекрывающиеся секторы 8010-8120 салиентности, показанные на фиг. 8, для перемещения по участку 11000 транспортной сети транспортных средств, показанной на фиг. 11. Для простоты и ясности идентифицированные области 11600-11650 салиентности обозначены очертаниями с пунктирными линиями на фиг. 11. Хотя фиг. 11 показывает идентифицированные области 11600-11650 салиентности и опускает другие области салиентности для простоты и ясности, другие области салиентности, такие как показанные на фиг. 8, могут быть включены в набор неперекрывающихся секторов салиентности. Система операционного управления автономным транспортным средством автономного транспортного средства 11100 может идентифицировать информацию о расстоянии салиентности, информацию о приоритете салиентности или их комбинацию, соответствующую соответствующим секторам салиентности.
[0194] Система операционного управления автономным транспортным средством автономного транспортного средства 11100 может приводить в действие монитор перекрестков, такой как монитор 4230 перекрестков, показанный на фиг. 4, что может включать в себя создание экземпляра монитора перекрестков. Монитор перекрестков может обрабатывать или оценивать данные транспортной сети транспортных средств, такие как данные карты, данные датчиков или их комбинацию, представляющие часть транспортной сети транспортных средств, например, часть, соответствующую идентифицированному маршруту для автономного транспортного средства 11100, часть, пространственно близкую к автономному транспортному средству 11100, или ожидаемый путь 11110 для автономного транспортного средства 11100, или их комбинацию. Монитор перекрестков может идентифицировать или генерировать информацию операционной среды, представляющую операционную среду автономного транспортного средства 11100 или ее аспект.
[0195] Монитор перекрестков может определять, например, на основе информации транспортной сети транспортных средств, что операционная среда автономного транспортного средства включает в себя перекресток, и может идентифицировать, например, на основе ранее идентифицированной информации о внешнем объекте, первое удаленное транспортное средство 11300 впереди и справа от автономного транспортного средства и второе удаленное транспортное средство 11400 впереди и слева от автономного транспортного средства.
[0196] Монитор перекрестков может идентифицировать информацию об ожидаемом относительном положении, соответствующую каждому удаленному транспортному средству 11300, 11400. Монитор перекрестков может идентифицировать соответствующие области салиентности, соответствующие ожидаемым относительным положениям для удаленных транспортных средств 11300, 11400. Монитор перекрестков может идентифицировать приоритет, например высокий приоритет, для каждой области салиентности, соответствующей удаленному транспортному средству 11300, 11400.
[0197] Как показано, система операционного управления автономным транспортным средством автономного транспортного средства 11100 может идентифицировать высокий приоритет для области салиентности, соответствующей дальнему расстоянию салиентности для сектора 11600 салиентности к востоку-северо-востоку от автономного транспортного средства 11100, который включает в себя первое удаленное транспортное средство 11300, и может идентифицировать высокий приоритет для области салиентности, соответствующей дальнему расстоянию салиентности для сектора 11650 салиентности к западу-северо-западу от автономного транспортного средства 11100, который включает в себя второе удаленное транспортное средство 11400.
[0198] Монитор перекрестков может идентифицировать положение границы права проезда или другое положение в транспортной сети транспортных средств, такое как положение, соответствующее стоп-линии в транспортной сети транспортных средств. Положение границы права проезда может быть положением в транспортной сети транспортных средств вдоль ожидаемого пути 11110 автономного транспортного средства 11100 между текущим положением автономного транспортного средства 11100 и зоной перекрытия прав проезда, ближайшим, например в непосредственной близости или в одном метре, к зоне перекрытия прав проезда, которое может быть ближайшим положением в транспортной сети транспортных средств вдоль ожидаемого пути 11110 для автономного транспортного средства 11100 к зоне перекрытия права проезда, по которому автономное транспортное средство 11100 может безопасно перемещаться, не заходя в зону перекрытия прав проезда. Монитор перекрестков может идентифицировать область салиентности, соответствующую ожидаемой относительной ориентации стоп-линии или положению границы права проезда относительно текущего положения автономного транспортного средства 11100. Монитор перекрестков может идентифицировать приоритет, например высокий приоритет, для области салиентности, соответствующей ожидаемой относительной ориентации стоп-линии или положению границы права проезда относительно текущего положения автономного транспортного средства 11100. Монитор перекрестков может идентифицировать область салиентности вдоль текущей траектории или ожидаемого пути 11110 автономного транспортного средства 11100 и может идентифицировать приоритет, такой как низкий приоритет, для области салиентности вдоль текущей траектории или ожидаемого пути 11110 автономного транспортного средства 11100.
[0199] Как показано, система операционного управления автономным транспортным средством автономного транспортного средства 11100 может идентифицировать высокий приоритет для области салиентности, соответствующей ближнему расстоянию салиентности для сектора 11610 салиентности к северо-востоку от автономного транспортного средства 11100, ближнему расстоянию салиентности для сектора 11620 салиентности к северо-северо-востоку от автономного транспортного средства 11100, ближнему расстоянию салиентности для сектора 11630 салиентности к северо-северо-западу от автономного транспортного средства 11100 и ближнему расстоянию салиентности для сектора 11640 салиентности к северо-западу от автономного транспортного средства 11100.
[0200] Система операционного управления автономным транспортным средством автономного транспортного средства 11100 может приводить в действие монитор пешеходов, такой как монитор 4220 пешеходов, показанный на фиг. 4, что может включать в себя создание экземпляра монитора пешехода. Монитор пешеходов может обрабатывать или оценивать данные транспортной сети транспортных средств, такие как данные карты, данные датчиков или их комбинацию, представляющие часть транспортной сети транспортных средств, такую как часть, соответствующая идентифицированному маршруту для автономного транспортного средства 11100, часть, пространственно близкую к автономному транспортному средству 11100, или ожидаемый путь 11110 для автономного транспортного средства 11100, или их комбинацию. Монитор пешеходов может идентифицировать или генерировать информацию операционной среды, представляющую операционную среду или автономного транспортного средства 11100 ее аспект.
[0201] Монитор пешеходов может идентифицировать пешехода 11500 слева от автономного транспортного средства 11100. Транспортная сеть транспортных средств может включать в себя перекрывающуюся часть пешеходной транспортной сети, такую как пешеходный переход (явно не показан), и монитор пешеходов может идентифицировать одну или несколько областей салиентности, соответствующих относительному положению пешеходного перехода по отношению к текущему положению автономного транспортного средства 11100. Монитор пешеходов может идентифицировать приоритет, например высокий приоритет, для областей салиентности, соответствующих пешеходу 11500, пешеходному переходу или обоим.
[0202] Система операционного управления автономным транспортным средством автономного транспортного средства 11100 может передавать, отправлять или иным образом делать доступной, например, путем сохранения в общей памяти, идентифицированную информацию салиентности в блок восприятия автономного транспортного средства 11100. Например, система операционного управления автономным транспортным средством автономного транспортного средства 11100 может передавать, отправлять или иным образом делать доступной, например, путем сохранения в общей памяти, в блок восприятия автономного транспортного средства 11100 информацию салиентности, указывающую высокий приоритет для дальнего расстояния салиентности для сектора 11600 салиентности к востоку-северо-востоку от автономного транспортного средства 11100, высокий приоритет для ближнего расстояния салиентности для сектора 11610 салиентности к северо-востоку от автономного транспортного средства 11100, высокий приоритет для ближнего расстояния салиентности для сектора 11620 салиентности к северо-северо-востоку от автономного транспортного средства 11100, высокий приоритет для ближнего расстояния салиентности для сектора 11630 салиентности к северо-северо-западу от автономного транспортного средства 11100, высокий приоритет для ближнего расстояния салиентности для сектора 11640 салиентности к северо-западу от автономного транспортного средства 11100 и высокий приоритет для дальнего расстояния салиентности для сектора 11650 салиентности к западу-северо-западу от автономного транспортного средства 11100. Информация салиентности может идентфицировать низкий приоритет или может не содержать информацию салиентности для других областей салиентности.
[0203] Блок восприятия автономного транспортного средства 11100 может получать, принимать, считывать или иным образом получать доступ к информации салиентности и может коррелировать информацию салиентности с соответствующими полями зрения блоков захвата изображения автономного транспортного средства 11100.
[0204] Блок восприятия автономного транспортного средства 11100 может определять, что идентифицированные области 11600-11650 салиентности пространственно соответствуют полю 11700 зрения блока захвата изображения впереди по центру, такого как блок 6100 захвата изображения впереди по центру, показанный на фиг. 6, автономного транспортного средства 11100, полю 11710 зрения блока захвата изображения впереди слева, такого как блок 6200 захвата изображения впереди слева, показанный на фиг. 6, автономного транспортного средства 11100, и полю 11720 зрения блока захвата изображения впереди справа, такого как блок 6300 захвата изображения впереди справа, показанный на фиг. 6, автономного транспортного средства 11100.
[0205] Например, блок управления восприятием может определять, что область 11600 салиентности, соответствующая дальнему расстоянию салиентности для сектора салиентности к востоку-северо-востоку от автономного транспортного средства, соответствует, например, пространственно перекрывается, полю 11720 зрения блок захвата изображения впереди справа автономного транспортного средства. Блок управления восприятием может определить, что область 11610 салиентности, соответствующая ближнему расстоянию салиентности для сектора салиентности к северо-востоку от автономного транспортного средства, соответствует, например, пространственно перекрывается, полю 11720 зрения блока захвата изображения впереди справа автономного транспортного средства, полю 11700 зрения центрального блока захвата изображения автономного транспортного средства и полю зрения (не показано) правого блока захвата изображения автономного транспортного средства. Блок управления восприятием может определять, что область 11620 салиентности, соответствующая ближнему расстоянию салиентности для сектора салиентности к северу-северо-востоку от автономного транспортного средства, соответствует, например, пространственно перекрывается, полю 11700 зрения центрального блока захвата изображения автономного транспортного средства и полю зрения (не показано) правого блока захвата изображения автономного транспортного средства. Блок управления восприятием может определять, что область 11630 салиентности, соответствующая ближнему расстоянию салиентности для сектора салиентности к северо-северо-западу от автономного транспортного средства, соответствует, например, пространственно перекрывается, полю 11700 зрения центрального блока захвата изображения автономного транспортного средства и полю зрения (не показано) левого блока захвата изображения автономного транспортного средства. Блок управления восприятием может определять, что область 11640 салиентности, соответствующая ближнему расстоянию салиентности для сектора салиентности к северо-западу от автономного транспортного средства, соответствует, например, пространственно перекрывается, полю зрения 11710 блока захвата изображения впереди слева автономного транспортного средства, полю 11700 зрения центрального блока захвата изображения автономного транспортного средства и полю зрения (не показано) левого блока захвата изображения автономного транспортного средства. Блок управления восприятием может определять, что область 11650 салиентности, соответствующая дальнему расстоянию салиентности для сектора салиентности к западу-северо-западу от автономного транспортного средства, соответствует, например, пространственно перекрывается, полю 11710 зрения блока захвата изображения впереди слева автономного транспортного средства.
[0206] Блок восприятия автономного транспортного средства 11100 может генерировать информацию о внешних объектах, используя данные датчиков, захваченные или иным образом сгенерированные датчиками, соответствующими идентифицированным областям 11600-11650 салиентности, такими как блок захвата изображения впереди по центру автономного транспортного средства 11100, блок захвата изображения впереди слева автономного транспортного средства 11100 и блок захвата изображения впереди справа автономного транспортного средства 11100.
[0207] Например, блок управления восприятием может идентифицировать блок обработки переднего изображения как ассоциированный с блоком захвата изображения впереди справа автономного транспортного средства, центральным блоком захвата изображения автономного транспортного средства и блоком захвата изображения впереди слева автономного транспортного средства, и может отправлять, передавать или иным образом предоставлять информацию салиентности или ее соответствующую часть в блок обработки переднего изображения. В некоторых реализациях блок управления восприятием может опускать отправку информации салиентности в блок обработки заднего изображения или может отправлять информацию салиентности в блок обработки заднего изображения, указывающую на отсутствие салиентных областей, соответствующих блоку обработки заднего изображения. В некоторых реализациях блок управления восприятием может отправлять информацию салиентности как в блок обработки переднего изображения, так и в блок обработки заднего изображения.
[0208] Блок восприятия автономного транспортного средства 11100 может передавать, отправлять или иным образом делать доступным, например, путем сохранения в общей памяти, информацию о внешних объектах в систему операционного управления автономным транспортным средством автономного транспортного средства 11100.
[0209] Контроллер операционного управления автономным транспортным средством может обнаруживать или идентифицировать один или несколько сценариев на основе информации операционной среды, включая информацию о внешних объектах. Например, контроллер операционного управления автономным транспортным средством может обнаруживать или идентифицировать первый сценарий перекрестка, соответствующий перекрестку и первому удаленному транспортному средству 11300, второй сценарий перекрестка, соответствующий перекрестку и второму удаленному транспортному средству 11400, и сценарий пешехода, соответствующий пешеходу 11500.
[0210] Контроллер операционного управления автономного транспортного средства может создавать один или несколько экземпляров SSOCEM и может отправлять или иным образом делать доступной информацию операционной среды экземплярам SSOCEM в ответ на обнаружение или идентификацию сценариев. Например, контроллер операционного управления автономным транспортным средством может создавать экземпляр первого экземпляра SSOCEM для перекрестка для первого сценария перекрестка, соответствующего перекрестку и первому удаленному транспортному средству 11300, контроллер операционного управления автономным транспортным средством может создавать экземпляр второго экземпляра SSOCEM для перекрестка для второго сценария перекрестка, соответствующего перекрестку и второму удаленному транспортному средству 11400, и контроллер операционного управления автономным транспортным средством может создавать экземпляр SSOCEM для пешехода для сценария пешехода, соответствующего пешеходу 11500.
[0211] Создание экземпляров SSOCEM может включать в себя идентификацию решения или политики для модели соответствующего операционного сценария транспортного средства. Идентификация решения или политики для модели операционного сценария транспортного средства может включать решение соответствующей модели SSOCEM. Создание соответствующего экземпляра SSOCEM может включать в себя создание экземпляра соответствующего решения или политики.
[0212] Первый экземпляр решения SSOCEM для перекрестка может сгенерировать первое возможное действие по управлению транспортным средством, такое как «стоп», «регулировка ориентации» или «продолжение», на основе соответствующего смоделированного сценария и соответствующей информации операционной среды, и может выводить соответствующее возможное действие по управлению транспортным средством в контроллер операционного управления автономным транспортным средством, например, путем отправки соответствующего возможного действия по управлению транспортным средством в контроллер операционного управления автономным транспортным средством или сохранения соответствующего возможного действия по управлению транспортным средством для доступа контроллером операционного управления автономным транспортным средством.
[0213] Второй экземпляр решения SSOCEM для перекрестка может генерировать второе возможное действие по управлению транспортным средством, такое как «стоп», «регулировка ориентации» или «продолжение», на основе соответствующего смоделированного сценария и соответствующей информации операционной среды, и может выводить соответствующее возможное действие по управлению транспортным средством в контроллер операционного управления автономным транспортным средством, например, путем отправки соответствующего возможного действия по управлению транспортным средством в контроллер операционного управления автономным транспортным средством или сохранения соответствующего возможного действия по управлению транспортным средством для доступа контроллером операционного управления автономным транспортным средством.
[0214] Экземпляр решения SSOCEM для пешехода может сгенерировать третье возможное действие по управлению транспортным средством, такое как «стоп», «регулировка ориентации» или «продолжение», на основе соответствующего смоделированного сценария и соответствующей информации операционной среды, а также может выводить соответствующее возможное действие по управлению транспортным средством в контроллер операционного управления автономным транспортным средством, например, путем отправки соответствующего возможного действия по управлению транспортным средством в контроллер операционного управления автономным транспортным средством или сохранения соответствующего возможного действия по управлению транспортным средством для доступа контроллером операционного управления автономным транспортным средством.
[0215] Контроллер операционного управления автономным транспортным средством может принимать возможные действия по управлению транспортным средством от соответствующих созданных экземпляров SSOCEM и может идентифицировать действие по управлению транспортным средством на основе принятых возможных действий по управлению транспортным средством для управления автономным транспортным средством 11100 в соответствующем временном положении и может управлять автономным транспортным средством для перемещения по транспортной сети транспортных средств или ее части в соответствии с идентифицированным действием по управлению транспортным средством.
[0216] Фиг. 12 - схема примера другой части 12000 транспортной сети транспортных средств, включая сценарий перекрестка, в соответствии с вариантами осуществления этого раскрытия. Операционное управление автономным транспортным средством может включать в себя автономное транспортное средство 12100, такое как транспортное средство 1000, показанное на фиг. 1, одно из транспортных средств 2100/2110, показанных на фиг. 2, одно из транспортных средств 6000, 7000, 8000, 9000, показанных на фиг. 6-9, полуавтономное транспортное средство или любое другое транспортное средство, реализующее автономное вождение, приводящее в действие систему операционного управления автономным транспортным средством, такую как система 4000 операционного управления автономным транспортным средством, показанная на фиг. 4, которая может включать в себя модель сценария операционного управления автономным транспортным средством, который включает в себя автономное транспортное средство 12100, перемещающееся по части транспортной сети транспортных средств вдоль первой дороги 12200, приближающейся к перекрестку со второй дорогой 12210. Для простоты и ясности часть 12000 транспортной сети транспортных средств, показанная на фиг. 12 ориентирована на север вверху и на восток вправо.
[0217] Первое удаленное транспортное средство 12300 показано перемещающимся в западном направлении через перекресток вдоль второй дороги 12210. Текущая траектория первого удаленного транспортного средства 12300 обозначена сплошной направленной линией. Второе удаленное транспортное средство 12400 показано перемещающимся в восточном направлении вдоль второй дороги 12210. Второе удаленное транспортное средство 12400 показано неподвижным на стоп-линии рядом с перекрестком. Третье удаленное транспортное средство 12500 показано перемещающимся в южном направлении к перекрестку вдоль первой дороги 12200. Текущая траектория для третьего удаленного транспортного средства 12500 обозначена сплошной направленной линией.
[0218] Автономное транспортное средство 12100 может приближаться к перекрестку, перемещаясь по первой дороге 12200, чтобы добраться до места, показанного на фиг. 12. Система операционного управления автономным транспортным средством автономного транспортного средства 12100 может идентифицировать информацию салиентности на основе набора неперекрывающихся секторов салиентности, таких как неперекрывающиеся секторы 8010-8120 салиентности, показанные на фиг. 8, для перемещения по части 12000 транспортной сети транспортных средств, показанной на фиг. 12. Для простоты и ясности идентифицированные области 12600-12630 салиентности обозначены очертаниями с пунктирными линиями на фиг. 12. Хотя фиг. 12 показывает идентифицированные области 12600-12630 салиентности и опускает другие области салиентности для простоты и ясности, другие области салиентности, такие как показанные на фиг. 8, могут быть включены в набор неперекрывающихся секторов салиентности. Система операционного управления автономным транспортным средством автономного транспортного средства 12100 может идентифицировать информацию о расстоянии салиентности, информацию о приоритете салиентности или их комбинацию, соответствующую соответствующим секторам салиентности.
[0219] Система операционного управления автономным транспортным средством автономного транспортного средства 12100 может приводить в действие монитор перекрестков, такой как монитор 4230 перекрестков, показанный на фиг. 4, что может включать в себя создание экземпляра монитора перекрестков. Монитор перекрестков может обрабатывать или оценивать данные транспортной сети транспортных средств, такие как данные карты, данные датчиков или их комбинацию, представляющую часть транспортной сети транспортных средств, например, часть, соответствующую идентифицированному маршруту для автономного транспортного средства 12100, часть, пространственно близкую к автономному транспортному средству 12100, или ожидаемый путь 12110 для автономного транспортного средства 12100, или их комбинацию. Монитор перекрестков может идентифицировать или генерировать информацию операционной среды, представляющую операционную среду автономного транспортного средства 12100 или ее аспект.
[0220] Монитор перекрестков может определять, например, на основе информации транспортной сети транспортных средств, что операционная среда автономного транспортного средства включает в себя перекресток, и может идентифицировать, например, на основе ранее идентифицированной информации о внешних объектах, первое удаленное транспортное средство 12300 впереди и справа от автономного транспортного средства, и второе удаленное транспортное средство 12400 впереди и слева от автономного транспортного средства.
[0221] Монитор перекрестков может идентифицировать информацию об ожидаемом относительном положении, соответствующую каждому удаленному транспортному средству 12300, 12400, 12500. Монитор перекрестков может идентифицировать соответствующие области салиентности, соответствующие ожидаемым относительным положениям для удаленных транспортных средств 12300, 12400, 12500. Монитор перекрестков может идентифицировать приоритет, например высокий приоритет, для каждой области салиентности, соответствующей удаленному транспортному средству 12300, 12400, 12500.
[0222] Как показано, система операционного управления автономным транспортным средством автономного транспортного средства 12100 может идентифицировать высокий приоритет для области салиентности, соответствующей ближнему расстоянию салиентности для сектора 12600 салиентности к северо-востоку от автономного транспортного средства 12100. Система операционного управления автономным транспортным средством автономного транспортного средства 12100 может идентифицировать высокий приоритет для области салиентности, соответствующей дальнему расстоянию салиентности для сектора 12610 салиентности к северу-северо-востоку от автономного транспортного средства 12100, который включает в себя часть первого удаленного транспортного средства 12300. Система операционного управления автономным транспортным средством автономного транспортного средства 12100 может идентифицировать высокий приоритет для области салиентности, соответствующей дальнему расстоянию салиентности для сектора 12620 салиентности к северо-северо-западу от автономного транспортного средства 12100, который включает в себя часть первого удаленного транспортного средства 12300 и включает в себя третье удаленное транспортное средство 12500. Система операционного управления автономным транспортным средством автономного транспортного средства 12100 может идентифицировать высокий приоритет для области салиентности, соответствующей ближнему расстоянию салиентности для сектора 12630 салиентности к северо-западу от автономного транспортного средства 12100, который включает в себя второе удаленное транспортное средство 12400.
[0223] Монитор перекрестков может идентифицировать положение границы права проезда или другое положение в транспортной сети транспортных средств, такое как положение, соответствующее стоп-линии в транспортной сети транспортных средств, как показано на 12202. Положение границы права проезда может быть положением в транспортной сети транспортных средств вдоль ожидаемого пути 12110 автономного транспортного средства 12100 между текущим положением автономного транспортного средства 12100 и зоной перекрытия прав проезда, ближайшим, например непосредственно рядом или в одном метре, к зоне перекрытия прав проезда, которое может быть ближайшим положением в транспортной сети транспортных средств вдоль ожидаемого пути 12110 для автономного транспортного средства 12100 к зоне перекрытия прав проезда, по которому автономное транспортное средство 12100 может безопасно перемещаться, не заходя в зону перекрытия прав проезда. Монитор перекрестков может идентифицировать область салиентности, соответствующую ожидаемой относительной ориентации стоп-линии или положению границы права проезда относительно текущего положения автономного транспортного средства 12100. Монитор перекрестков может идентифицировать приоритет, например высокий приоритет, для области салиентности, соответствующей ожидаемой относительной ориентации стоп-линии или положению границы права проезда относительно текущего положения автономного транспортного средства 12100. Монитор перекрестков может идентифицировать область салиентности вдоль текущей траектории или ожидаемого пути 12110 автономного транспортного средства 12100 и может идентифицировать приоритет, такой как низкий приоритет, для области салиентности вдоль текущей траектории или ожидаемого пути 12110 автономного транспортного средства 12100.
[0224] Система операционного управления автономным транспортным средством автономного транспортного средства 12100 может передавать, отправлять или иным образом делать доступными, например, путем сохранения в общей памяти, идентифицированную информацию салиентности в блок восприятия автономного транспортного средства 12100. Например, система операционного управления автономным транспортным средством автономного транспортного средства 12100 может передавать, устанавливать или иным образом делать доступными блоку восприятия автономного транспортного средства 12100 информацию салиентности, указывающую высокий приоритет для ближнего расстояния салиентности для сектора 12600 салиентности к северо-востоку от автономного транспортного средства 12100, высокий приоритет для дальнего расстояния салиентности для сектора 12610 салиентности к северу-северо-востоку от автономного транспортного средства 12100, высокий приоритет для дальнего расстояния салиентности для сектора 12620 салиентности к северо-северо-западу от автономного транспортного средства 12100 и высокий приоритет для ближнего расстояния салиентности для сектора 12630 салиентности к северо-западу от автономного транспортного средства 12100. Информация салиентности может идентифицировать низкий приоритет или может не содержать информацию салиентности для других областей салиентности.
[0225] Блок восприятия автономного транспортного средства 12100 может получать информацию салиентности и может коррелировать информацию салиентности с соответствующими полями зрения блоков захвата изображения автономного транспортного средства 12100.
[0226] Блок восприятия автономного транспортного средства 12100 может определять, что идентифицированные области 12600-12630 салиентности пространственно соответствуют полю зрения 12700 блока захвата изображения впереди по центру, такого как блок 6100 захвата изображения впереди по центру, показанный на фиг. 6, автономного транспортного средства 12100.
[0227] Блок восприятия автономного транспортного средства 12100 может генерировать информацию о внешнем объекте, используя данные датчиков, захваченные или иным образом сгенерированные датчиками, соответствующими идентифицированным областям 12600-12630 салиентности, например, блоком захвата изображения впереди по центру автономного транспортного средства 12100.
[0228] Например, блок управления восприятием может идентифицировать блок обработки переднего изображения как ассоциированный с блоком захвата изображения впереди справа автономного транспортного средства, центральным блоком захвата изображения автономного транспортного средства и блоком захвата изображения впереди слева автономного транспортного средства. транспортное средство, и может отправлять, передавать или иным образом предоставлять информацию салиентности или ее соответствующую часть в блок обработки переднего изображения. В некоторых реализациях блок управления восприятием может опускать отправку информации салиентности в блок обработки заднего изображения или может отправлять информацию салиентности в блок обработки заднего изображения, указывающую на отсутствие салиентных областей, соответствующих блоку обработки заднего изображения. В некоторых реализациях блок управления восприятием может отправлять информацию салиентности как в блок обработки переднего изображения, так и в блок обработки заднего изображения.
[0229] Блок восприятия автономного транспортного средства 12100 может передавать, отправлять или иным образом делать доступной, например, путем сохранения в общей памяти, информацию о внешних объектах в систему операционного управления автономным транспортным средством автономного транспортного средства 12100.
[0230] Контроллер операционного управления автономным транспортным средством может обнаруживать или идентифицировать один или несколько сценариев на основе информации операционной среды, включая информацию о внешних объектах. Например, контроллер операционного управления автономным транспортным средством может обнаруживать или идентифицировать первый сценарий перекрестка, соответствующий перекрестку и первому удаленному транспортному средству 12300, второй сценарий перекрестка, соответствующий перекрестку и второму удаленному транспортному средству 12400, и третий второй сценарий перекрестка, соответствующий перекрестку и третьему удаленному транспортному средству 12500.
[0231] Контроллер операционного управления автономного транспортного средства может создавать один или несколько экземпляров SSOCEM и может отправлять или иным образом делать доступной информацию операционной среды экземплярам SSOCEM в ответ на обнаружение или идентификацию сценариев. Например, контроллер операционного управления автономным транспортным средством может создать экземпляр первого экземпляра SSOCEM для перекрестка для первого сценария перекрестка, соответствующего перекрестку и первому удаленному транспортному средству 12300, контроллер операционного управления автономным транспортным средством может создать экземпляр второго экземпляра SSOCEM для перекрестка для второго сценария перекрестка, соответствующего перекрестку и второму удаленному транспортному средству 12400, и контроллер операционного управления автономным транспортным средством может создавать экземпляр третьего экземпляра SSOCEM для перекрестка для третьего сценария перекрестка, соответствующего перекрестку и третьему удаленному транспортному средству 12500.
[0232] Создание экземпляров SSOCEM может включать в себя идентификацию решения или политики для модели соответствующего операционного сценария транспортного средства. Идентификация решения или политики для модели операционного сценария транспортного средства может включать в себя решение соответствующей модели SSOCEM. Создание соответствующего экземпляра SSOCEM может включать в себя создание экземпляра соответствующего решения или политики.
[0233] Первый экземпляр решения SSOCEM для перекрестка может генерировать первое возможное действие по управлению транспортным средством, такое как «стоп», «регулировка ориентации» или «продолжение», на основе соответствующего смоделированного сценария и соответствующей информации операционной среды, а также может выводить соответствующее возможное действие по управлению транспортным средством в контроллер операционного управления автономным транспортным средством, например, путем отправки соответствующего возможного действия по управлению транспортным средством в контроллер операционного управления автономным транспортным средством или сохранения соответствующего возможного действия по управлению транспортным средством для доступа контроллером операционного управления автономным транспортным средством.
[0234] Второй экземпляр решения SSOCEM для перекрестка может генерировать второе возможное действие по управлению транспортным средством, такое как «стоп», «регулировка ориентации» или «продолжение», на основе соответствующего смоделированного сценария и соответствующей информации операционной среды, и может выводить соответствующее возможное действие по управлению транспортным средством в контроллер операционного управления автономным транспортным средством, например, путем отправки соответствующего возможного действия по управлению транспортным средством в контроллер операционного управления автономным транспортным средством или сохранения соответствующего возможного действия по управлению транспортным средством для доступа контроллером операционного управления автономным транспортным средством.
[0235] Третий экземпляр решения SSOCEM для перекрестка может генерировать третье возможное действие по управлению транспортным средством, такое как «стоп», «регулировка ориентации» или «продолжение», на основе соответствующего смоделированного сценария и соответствующей информации операционной среды, а также может выводить соответствующее возможное действие по управлению транспортным средством в контроллер операционного управления автономным транспортным средством, например, путем отправки соответствующего возможного действия по управлению транспортным средством в контроллер операционного управления автономным транспортным средством или сохранения соответствующего возможного действия по управлению транспортным средством для доступа контроллером операционного управления автономным транспортным средством.
[0236] Контроллер операционного управления автономным транспортным средством может принимать возможные действия по управлению транспортным средством от соответствующих созданных экземпляров SSOCEM и может идентифицировать действие по управлению транспортным средством на основе принятых возможных действий по управлению транспортным средством для управления автономным транспортным средством 12100 в соответствующем временном положении и может управлять автономным транспортным средством для перемещения по транспортной сети транспортных средств или ее части в соответствии с идентифицированным действием по управлению транспортным средством.
[0237] Фиг. 13 - схема примера другой части 13000 транспортной сети транспортных средств, включая сценарий перекрестка и сценарий пешехода в соответствии с вариантами осуществления этого раскрытия. Операционное управление автономным транспортным средством может включать в себя автономное транспортное средство 13100, такое как транспортное средство 1000, показанное на фиг. 1, одно из транспортных средств 2100/2110, показанных на фиг. 2, одно из транспортных средств 6000, 7000, 8000, 9000, показанных на фиг. 6-9, полуавтономное транспортное средство или любое другое транспортное средство, реализующее автономное вождение, приводящее в действие систему операционного управления автономным транспортным средством, такую как система 4000 операционного управления автономным транспортным средством, показанная на фиг. 4, которая может включать в себя модель сценария операционного управления автономным транспортным средством, который включает в себя автономное транспортное средство 13100, перемещающееся по части транспортной сети транспортных средств вдоль первой дороги 13200, приближаясь к перекрестку со второй дорогой 13210. Для простоты и ясности часть 13000 транспортной сети транспортных средств, показанная на фиг. 13 ориентирована на север вверху и на восток справа.
[0238] Первое удаленное транспортное средство 13300 показано перемещающимся в восточном направлении вдоль второй дороги 13210. Первое удаленное транспортное средство 13300 показано неподвижным на стоп-линии рядом с перекрестком. Второе удаленное транспортное средство 13400 показано перемещающимся в южном направлении к перекрестку вдоль первой дороги 13200. Текущая траектория для второго удаленного транспортного средства 13400 обозначена сплошной направленной линией.
[0239] Автономное транспортное средство 13100 может приближаться к перекрестку посредством перемещения по первой дороге 13200, чтобы добраться до места, показанного на фиг. 13. Система операционного управления автономным транспортным средством автономного транспортного средства 13100 может идентифицировать информацию салиентности на основе набора неперекрывающихся секторов салиентности, таких как неперекрывающиеся секторы 8010-8120 салиентности, показанные на фиг. 8, для перемещения по части 13000 транспортной сети транспортных средств, показанной на фиг. 13. Для простоты и ясности идентифицированные области 13500-13520 салиентности обозначены очертаниями с пунктирными линиями на фиг. 13. Хотя фиг. 13 показывает идентифицированные области 13500-13520 салиентности и опускает другие области салиентности для простоты и ясности, другие области салиентности, такие как показанные на фиг. 8, могут быть включены в набор неперекрывающихся секторов салиентности. Система операционного управления автономным транспортным средством автономного транспортного средства 13100 может идентифицировать информацию о расстоянии салиентности, информацию о приоритете салиентности или их комбинацию, соответствующую соответствующим секторам салиентности.
[0240] Система операционного управления автономным транспортным средством автономного транспортного средства 13100 может приводить в действие монитор перекрестков, такой как монитор 4230 перекрестков, показанный на фиг. 4, что может включать в себя создание экземпляра монитора перекрестков. Монитор перекрестков может обрабатывать или оценивать данные транспортной сети транспортных средств, такие как данные карты, данные датчиков или их комбинацию, представляющие часть транспортной сети транспортных средств, например, часть, соответствующую идентифицированному маршруту для автономного транспортного средства 13100, часть, пространственно близкую к автономному транспортному средству 13100, или ожидаемый путь 13110 для автономного транспортного средства 13100, или их комбинацию. Монитор перекрестков может идентифицировать или генерировать информацию операционной среды, представляющую операционную среду автономного транспортного средства 13100 или ее аспект.
[0241] Монитор перекрестков может определять, например, на основе информации транспортной сети транспортных средств, что операционная среда автономного транспортного средства включает в себя перекресток, и может идентифицировать, например, на основе ранее идентифицированной информации о внешних объектах, первое удаленное транспортное средство 13300 впереди и слева от автономного транспортного средства, и второе удаленное транспортное средство 13400 впереди автономного транспортного средства.
[0242] Монитор перекрестков может идентифицировать информацию об ожидаемом относительном положении, соответствующую каждому удаленному транспортному средству 13300, 13400. Монитор перекрестков может идентифицировать соответствующие области салиентности, соответствующие ожидаемым относительным положениям для удаленных транспортных средств 13300, 13400. Монитор перекрестков может идентифицировать приоритет, например высокий приоритет, для каждой области салиентности, соответствующей удаленному транспортному средству 13300, 13400.
[0243] Как показано, система операционного управления автономным транспортным средством автономного транспортного средства 13100 может идентифицировать высокий приоритет для области салиентности, соответствующей дальнему расстоянию салиентности для сектора 13500 салиентности к северо-северо-востоку от автономного транспортного средства 13100. Система операционного управления автономным транспортным средством автономного транспортного средства 13100 может идентифицировать высокий приоритет для области салиентности, соответствующей дальнему расстоянию салиентности для сектора 13510 салиентности к северо-северо-западу от автономного транспортного средства 13100, который включает в себя второе удаленное транспортное средство 13400. Система операционного управления автономным транспортным средством автономного транспортного средства 13100 может идентифицировать высокий приоритет для области салиентности, соответствующей ближнему расстоянию салиентности для сектора 13520 салиентности к северо-западу от автономного транспортного средства 13100, который включает в себя первое удаленное транспортное средство 13300.
[0244] Монитор перекрестков может идентифицировать положение границы права проезда или другое положение в транспортной сети транспортных средств, такое как положение, соответствующее стоп-линии в транспортной сети транспортных средств, как показано. Положение границы права проезда может быть положением в транспортной сети транспортных средств вдоль ожидаемого пути 13110 автономного транспортного средства 13100 между текущим положением автономного транспортного средства 13100 и зоной перекрытия прав проезда, ближайшим, например непосредственно рядом или в одном метре, к зоне перекрытия прав проезда, которое может быть ближайшим положением в транспортной сети транспортных средств вдоль ожидаемого пути 13110 для автономного транспортного средства 13100 к зоне перекрытия прав проезда, по которому автономное транспортное средство 13100 может безопасно перемещаться, не заходя в зону перекрытия прав проезда. Монитор перекрестков может идентифицировать область салиентности, соответствующую ожидаемой относительной ориентации стоп-линии или положению границы права проезда относительно текущего положения автономного транспортного средства 13100. Монитор перекрестков может идентифицировать приоритет, например, высокий приоритет, для области салиентности, соответствующей ожидаемой относительной ориентации стоп-линии или положению границы полосы отчуждения относительно текущего положения автономного транспортного средства 13100. Монитор перекрестков может идентифицировать область салиентности вдоль текущей траектории или ожидаемого пути 13110 автономного транспортного средства 13100 и может определять приоритет, такой как низкий приоритет, для области салиентности вдоль текущей траектории или ожидаемого пути 13110 автономного транспортного средства 13100.
[0245] Система операционного управления автономным транспортным средством автономного транспортного средства 13100 может передавать, отправлять или иным образом делать доступной, например, путем сохранения в общей памяти, идентифицированную информацию салиентности в блок восприятия автономного транспортного средства 13100. Например, система операционного управления автономным транспортным средством автономного транспортного средства 13100 может передавать, устанавливать или иным образом делать доступной блоку восприятия автономного транспортного средства 13100 информацию салиентности, указывающую высокий приоритет для дальнего расстояния салиентности для сектора 13500 салиентности к северо-северо-востоку от автономного транспортного средства 13100, высокий приоритет для дальнего расстояния салиентности для сектора 13510 салиентности к северо-северо-западу от автономного транспортного средства 13100 и высокий приоритет для ближнего расстояния салиентности для сектора 13520 салиентности к северо-западу от автономного транспортного средства 13100. Информация салиентности может идентифицировать низкий приоритет или может не содержать информацию салиентности для других областей салиентности.
[0246] Блок восприятия автономного транспортного средства 13100 может получать информацию салиентности и может коррелировать информацию салиентности с соответствующими полями зрения блоков захвата изображения автономного транспортного средства 13100.
[0247] Блок восприятия автономного транспортного средства 13100 может определять, что идентифицированные области 13500-13520 салиентности пространственно соответствуют полю зрения 13600 блока захвата изображения впереди по центру, такого как блок 6100 захвата изображения впереди по центру, показанный на фиг. 6, автономного транспортного средства 13100.
[0248] Блок восприятия автономного транспортного средства 13100 может генерировать информацию о внешнем объекте, используя данные датчиков, захваченные или иным образом сгенерированные датчиками, соответствующими идентифицированным областям 13500-13520 салиентности, например, блоком захвата изображения впереди по центру автономного транспортного средства 13100.
[0249] Например, блок управления восприятием может идентифицировать блок обработки переднего изображения как ассоциированный с блоком захвата изображения впереди справа автономного транспортного средства, центральным блоком захвата изображения автономного транспортного средства и блоком захвата изображения впереди слева автономного транспортного средства, и может отправлять, передавать или иным образом предоставлять информацию салиентности или ее соответствующую часть в блок обработки переднего изображения. В некоторых реализациях блок управления восприятием может опускать отправку информации салиентности в блок обработки заднего изображения или может отправлять информацию салиентности в блок обработки заднего изображения, указывающую на отсутствие салиентных областей, соответствующих блоку обработки заднего изображения. В некоторых реализациях блок управления восприятием может отправлять информацию салиентности как в блок обработки переднего изображения, так и в блок обработки заднего изображения.
[0250] Блок восприятия автономного транспортного средства 13100 может передавать, посылать или иным образом делать доступной, например, путем сохранения в общей памяти, информацию о внешних объектах в систему операционного управления автономным транспортным средством автономного транспортного средства 13100.
[0251] Контроллер операционного управления автономным транспортным средством может обнаруживать или идентифицировать один или несколько сценариев на основе информации операционной среды, включая информацию о внешних объектах. Например, контроллер операционного управления автономным транспортным средством может обнаруживать или идентифицировать первый сценарий перекрестка, соответствующий перекрестку и первому удаленному транспортному средству 13300, и второй сценарий перекрестка, соответствующий перекрестку и второму удаленному транспортному средству 13400.
[0252] Контроллер операционного управления автономным транспортным средством может создавать один или несколько экземпляров SSOCEM и может отправлять или иным образом делать доступной информацию операционной среды экземплярам SSOCEM в ответ на обнаружение или идентификацию сценариев. Например, контроллер операционного управления автономным транспортным средством может создавать экземпляр первого экземпляра SSOCEM для перекрестка для первого сценария перекрестка, соответствующего перекрестку и первому удаленному транспортному средству 13300, контроллер операционного управления автономным транспортным средством может создавать экземпляр второго экземпляра SSOCEM для перекрестка для второго сценария перекрестка, соответствующего перекрестку и второму удаленному транспортному средству 13400, и контроллер операционного управления автономным транспортным средством может создавать экземпляр третьего экземпляра SSOCEM для перекрестка для третьего сценария перекрестка, соответствующего перекрестку и третьему удаленному транспортному средству 13500.
[0253] Создание экземпляров SSOCEM может включать в себя идентификацию решения или политики для модели соответствующего операционного сценария транспортного средства. Идентификация решения или политики для модели операционного сценария транспортного средства может включать в себя решение соответствующей модели SSOCEM. Создание соответствующего экземпляра SSOCEM может включать в себя создание экземпляра соответствующего решения или политики.
[0254] Первый экземпляр решения SSOCEM для перекрестка может генерировать первое возможное действие по управлению транспортным средством, такое как «стоп», «регулировка ориентации» или «продолжение», на основе соответствующего смоделированного сценария и соответствующей информации операционной среды, а также может выводить соответствующее возможное действие по управлению транспортным средством в контроллер операционного управления автономным транспортным средством, например, путем отправки соответствующего возможного действия по управлению транспортным средством в контроллер операционного управления автономным транспортным средством или сохранения соответствующего возможного действия по управлению транспортным средством для доступа контроллером операционного управления автономным транспортным средством.
[0255] Второй экземпляр решения SSOCEM для перекрестка может генерировать второе возможное действие по управлению транспортным средством, такое как «стоп», «регулировка ориентации» или «продолжение», на основе соответствующего смоделированного сценария и соответствующей информации операционной среды, и может выводить соответствующее возможное действие по управлению транспортным средством в контроллер операционного управления автономным транспортным средством, например, путем отправки соответствующего возможного действия по управлению транспортным средством в контроллер операционного управления автономным транспортным средством или сохранения соответствующего возможного действия по управлению транспортным средством для доступа контроллером операционного управления автономным транспортным средством.
[0256] Контроллер операционного управления автономным транспортным средством может принимать возможные действия по управлению транспортным средством из соответствующих созданных экземпляров SSOCEM и может идентифицировать действие по управлению транспортным средством на основе принятых возможных действий по управлению транспортным средством для управления автономным транспортным средством 13100 в соответствующем временном положении и может управлять автономным транспортным средством для перемещения по транспортной сети транспортных средств или ее части в соответствии с идентифицированным действием по управлению транспортным средством.
[0257] Как используется в данном документе, терминология «компьютер» или «вычислительное устройство» включает в себя любой блок или комбинацию блоков, способных выполнять любой способ, или любую его часть или части, раскрытые в данном документе.
[0258] Используемый здесь термин «процессор» обозначает один или несколько процессоров, таких как один или несколько процессоров специального назначения, один или несколько процессоров цифровых сигналов, один или несколько микропроцессоров, один или несколько контроллеров, один или несколько микроконтроллеров, один или несколько прикладных процессоров, одну или несколько специализированных интегральных схем (ASIC), одну или несколько стандартных микросхем специального применения (ASSP), одну или несколько программируемых вентильных матриц (FPGA), любой другой тип или комбинацию интегральных микросхем, один или несколько конечных автоматов или любую их комбинация.
[0259] Используемый здесь термин «память» обозначает любой пригодный для использования компьютером или считываемый компьютером носитель или устройство, которое может материально содержать, хранить, передавать или переносить любой сигнал или информацию, которые могут использоваться любым процессором или в связи с ним. Например, память может быть одним или несколькими постоянными запоминающими устройствами (ROM), одним или несколькими запоминающими устройствами с произвольным доступом (RAM), одним или несколькими регистрами, запоминающими устройствами с низкой мощностью с двойной скоростью передачи данных (LPDDR), одной или несколькими кэш-памятью, одним или несколькими полупроводниковыми запоминающими устройствами, одним или несколькими магнитными носителями, одним или несколькими оптическими носителями, одним или несколькими магнитооптическими носителями или любой их комбинацией.
[0260] Используемая здесь терминология «инструкции» может включать в себя указания или выражения для выполнения любого метода или любой его части или частей, раскрытых в данном документе, и может быть реализована в аппаратных средствах, программном обеспечении или любой их комбинации. Например, инструкции могут быть реализованы как информация, такая как компьютерная программа, хранимая в памяти, которая может выполняться процессором для выполнения любого из соответствующих способов, алгоритмов, аспектов или их комбинаций, как описано в данном документе. В некоторых вариантах осуществления инструкции или их часть могут быть реализованы в виде процессора специального назначения или схемы, которая может включать в себя специализированное аппаратное обеспечение для выполнения любого из способов, алгоритмов, аспектов или их комбинаций, как описано в данном документе. В некоторых реализациях части инструкций могут быть распределены между несколькими процессорами на одном устройстве, на нескольких устройствах, которые могут обмениваться данными напрямую или через сеть, такую как локальная сеть, глобальная сеть, Интернет или их комбинация.
[0261] Используемые здесь термины «пример», «вариант осуществления», «реализация», «аспект», «признак» или «элемент» указывают на то, что они служат в качестве примера, экземпляра или иллюстрации. Если явно не указано иное, любой пример, вариант осуществления, реализация, аспект, признак или элемент не зависят от каждого другого примера, варианта осуществления, реализации, аспекта, признака или элемента и могут использоваться в сочетании с любым другим примером, вариантом осуществления, реализацией, аспектом, признаком или элементом.
[0262] Используемые здесь термины «определять» и «идентифицировать» или любые их вариации включают в себя выбор, уточнение, вычисление, поиск, прием, определение, установление, получение или иное идентифицирование или определение любым методом, используя одно или несколько устройств, показанных и описанных здесь.
[0263] Используемая здесь терминология «или» предназначена для обозначения включающего «или», а не исключающего «или». То есть, если не указано иное или не ясно из контекста, «X включает A или B» предназначено для обозначения любой из естественных включающих перестановок. То есть, если X включает A; X включает B; или X включает в себя как A, так и B, тогда «X включает A или B» удовлетворяется в любом из вышеупомянутых случаев. Кроме того, обозначение единственного числа, используемое в данной заявке и прилагаемой формуле изобретения, обычно следует толковать как означающее «один или несколько», если не указано иное или не ясно из контекста, чтобы они были направлены на единственное число.
[0264] Кроме того, для простоты объяснения, хотя фигуры и описания в данном документе могут включать в себя последовательности или серии этапов или стадий, элементы способов, раскрытых в данном документе, могут происходить в различном порядке или одновременно. Кроме того, элементы способов, раскрытых здесь, могут встречаться с другими элементами, явно не представленными и не описанными в данном документе. Кроме того, не все элементы описанных здесь способов могут потребоваться для реализации способа в соответствии с этим раскрытием. Хотя аспекты, признаки и элементы описаны в данном документе в конкретных комбинациях, каждый аспект, признак или элемент может использоваться независимо или в различных комбинациях с другими аспектами, признаками и элементами или без них.
[0265] Вышеописанные аспекты, примеры и реализации были описаны для облегчения понимания раскрытия, не ограничивая его. Напротив, раскрытие охватывает различные модификации и эквивалентные устройства, включенные в объем прилагаемой формулы изобретения, объем которой должен соответствовать самой широкой интерпретации, чтобы охватывать все такие модификации и эквивалентную структуру, разрешенные законом.
Claims (98)
1. Способ перемещения автономного транспортного средства по транспортной сети транспортных средств, включающий в себя этап, на котором:
осуществляют перемещение автономного транспортного средства по транспортной сети транспортных средств, при этом автономное транспортное средство включает в себя блок восприятия и контроллер операционного управления автономным транспортным средством, и при этом перемещение по транспортной сети транспортных средств включает в себя этапы, на которых:
приводят в действие блок восприятия, при этом приведение в действие блока восприятия включает в себя блок восприятия, который:
принимает информацию салиентности от контроллера операционного управления автономным транспортным средством;
генерирует на основе информации салиентности информацию о внешнем объекте, соответствующую одному или нескольким внешним объектам в пределах заданного расстояния от автономного транспортного средства, причем генерирование информации о внешнем объекте включает в себя:
прием информации датчика от датчика автономного транспортного средства;
идентификацию салиентной части информации датчика на основе информации салиентности, так что информация датчика представляет собой сумму салиентной части и несалиентной части информации датчика; и
генерирование информации о внешнем объекте на основе салиентной части, так что генерирование информации о внешнем объекте пропускает использование несалиентной части; и
выводит информацию о внешнем объекте в контроллер операционного управления автономным транспортным средством;
приводят в действие контроллер операционного управления автономным транспортным средством, при этом приведение в действие контроллера операционного управления автономным транспортным средством включает в себя контроллер операционного управления автономным транспортным средством, который:
генерирует среду операционного управления автономным транспортным средством для приведения в действие экземпляра модуля оценки операционного управления для конкретного сценария, при этом экземпляр модуля оценки операционного управления для конкретного сценария включает в себя экземпляр модели оценки операционного управления для конкретного сценария отдельного операционного сценария транспортного средства и при этом приведение в действие экземпляра модуля оценки операционного управления для конкретного сценария включает в себя идентификацию политики для модели оценки операционного управления для конкретного сценария;
идентифицирует отдельный операционный сценарий транспортного средства на основе информации о внешнем объекте;
создает экземпляр модуля оценки операционного управления для конкретного сценария;
принимает возможное действие по управлению транспортным средством из политики для экземпляра модуля оценки операционного управления для конкретного сценария; и
управляют автономным транспортным средством для перемещения по части транспортной сети транспортных средств в соответствии с возможным действием по управлению транспортным средством, при этом часть транспортной сети транспортных средств включает в себя отдельный операционный сценарий транспортного средства.
2. Способ по п. 1, в котором:
прием информации датчика включает в себя прием информации датчика от множества датчиков автономного транспортного средства.
3. Способ по п. 2, в котором:
информация салиентности указывает сектор салиентности относительно автономного транспортного средства и
идентификация салиентной части включает в себя идентификацию салиентной части, так что салиентная часть пространственно соответствует сектору салиентности.
4. Способ по п. 3, в котором сектор салиентности является одним из множества неперекрывающихся секторов салиентности относительно автономного транспортного средства, при этом сумма множества неперекрывающихся секторов салиентности образует непрерывный диапазон салиентности относительно автономного транспортного средства.
5. Способ по п. 2, в котором:
информация салиентности указывает расстояние салиентности относительно автономного транспортного средства и
идентификация салиентной части включает в себя определение размера салиентной части на основе расстояния салиентности.
6. Способ по п. 2, в котором:
для каждого сектора салиентности из множества неперекрывающихся секторов салиентности относительно автономного транспортного средства информация салиентности указывает соответствующий приоритет и соответствующее расстояние салиентности относительно автономного транспортного средства.
7. Способ по п. 2, в котором идентификация салиентной части включает в себя этапы, на которых:
идентифицируют возможные салиентные части, так что информация датчика представляет собой сумму возможных салиентных частей и несалиентной части;
определяют соответствующий приоритет для каждой возможной салиентной части из возможных салиентных частей на основе информации салиентности;
идентифицируют заданную кардинальность возможных салиентных частей в качестве салиентных частей и
включают возможные салиентные части, отличные от салиентных частей, в несалиентную часть, так что минимальный приоритет для салиентных частей превышает максимальный приоритет для возможных салиентных частей в несалиентной части.
8. Способ по п. 2, в котором:
информация датчика включает в себя по существу одновременные во времени изображения, при этом каждое изображение из по существу одновременных во времени изображений соответствует соответствующему датчику из датчиков; и
салиентная часть представляет собой пространственно непрерывный фрагмент изображения из по существу одновременных во времени изображений.
9. Способ по п. 2, в котором:
идентификация салиентной части включает в себя исключение из салиентной части информации датчика, соответствующей первому датчику из датчиков; и
включение в салиентную часть информации датчика, соответствующей второму датчику из датчиков.
10. Способ по п. 2, в котором:
датчики включают в себя первый блок захвата изображения, имеющий первое поле зрения, и второй блок захвата изображения, имеющий второе поле зрения, причем первое поле зрения частично перекрывает второе поле зрения.
11. Способ по п. 10, в котором:
датчики включают в себя третий блок захвата изображения, имеющий третье поле зрения, частично перекрывающее первое поле зрения и второе поле зрения.
12. Способ по п. 10, в котором:
датчики включают в себя третий блок захвата изображения, имеющий третье поле зрения, при этом третье поле зрения не перекрывается с первым полем зрения и вторым полем зрения.
13. Способ по п. 2, в котором датчики включают в себя:
первый блок захвата изображения, имеющий переднее поле зрения;
второй блок захвата изображения, имеющий первое боковое поле зрения;
третий блок захвата изображения, имеющий второе боковое поле зрения;
четвертый блок захвата изображения, имеющий третье боковое поле зрения;
пятый блок захвата изображения, имеющий четвертое боковое поле зрения;
шестой блок захвата изображения, имеющий первое заднее поле зрения; и
седьмой блок захвата изображения, имеющий второе заднее поле зрения.
14. Способ по п. 13, в котором:
переднее поле зрения имеет первый угол зрения и первую эффективную дальность;
первое боковое поле зрения имеет второй угол зрения и вторую эффективную дальность, при этом первый угол зрения превышает второй угол зрения, а вторая эффективная дальность превышает первую эффективную дальность;
второе боковое поле зрения имеет второй угол зрения и вторую эффективную дальность;
третье боковое поле зрения имеет третий угол зрения и третью эффективную дальность, при этом третий угол зрения превышает первый угол зрения, а первая эффективная дальность превышает третью эффективную дальность;
четвертое боковое поле зрения имеет третий угол зрения и третью эффективную дальность;
первое заднее поле зрения имеет четвертый угол зрения и четвертую эффективную дальность, при этом первый угол зрения превышает четвертый угол зрения, а четвертая эффективная дальность превышает первую эффективную дальность; и
второе заднее поле зрения имеет четвертый угол зрения и четвертую эффективную дальность.
15. Способ по п. 13, в котором:
блок восприятия включает в себя:
первый блок обработки изображения;
второй блок обработки изображения и
блок управления восприятием; и
генерирование информации о внешнем объекте включает в себя этапы, на которых:
первый блок обработки изображения генерирует первые данные обработки изображения на основе информации датчика по меньшей мере от одного из первого блока захвата изображения, второго блока захвата изображения или третьего блока захвата изображения;
второй блок обработки изображения генерирует вторые данные обработки изображения на основе информации датчика по меньшей мере от одного из четвертого блока захвата изображения, пятого блока захвата изображения, шестого блока захвата изображения или седьмого блока захвата изображения и
блок управления восприятием генерирует информацию о внешнем объекте на основании по меньшей мере одного из первых данных обработки изображения или вторых данных обработки изображения.
16. Автономное транспортное средство, содержащее:
контроллер операционного управления автономным транспортным средством и
блок восприятия, выполненный с возможностью выполнения инструкций, хранящихся на некратковременном компьютерно-читаемом носителе, чтобы:
принимать информацию салиентности от контроллера операционного управления автономным транспортным средством;
генерировать на основе информации салиентности информацию о внешнем объекте, соответствующую одному или нескольким внешним объектам в пределах заданного расстояния от автономного транспортного средства, причем, чтобы генерировать информацию о внешнем объекте, блок восприятия выполнен с возможностью выполнения инструкций, хранящихся на некратковременном компьютерно-читаемом носителе, для:
приема информации датчика от датчиков автономного транспортного средства;
идентификации салиентной части информации датчиков на основе информации салиентности, так что информация датчиков представляет собой сумму салиентной части и несалиентной части информации датчиков; и
генерирования информации о внешнем объекте на основе салиентной части, так что генерирование информации о внешнем объекте пропускает использование несалиентной части; и
выводить информацию о внешнем объекте в контроллер операционного управления автономным транспортным средством;
причем контроллер операционного управления автономным транспортным средством выполнен с возможностью выполнения инструкций, хранящихся на некратковременном компьютерно-читаемом носителе, чтобы:
генерировать среду операционного управления автономным транспортным средством для приведения в действие экземпляра модуля оценки операционного управления для конкретного сценария, при этом экземпляр модуля оценки операционного управления для конкретного сценария включает в себя экземпляр модели оценки операционного управления для конкретного сценария отдельного операционного сценария транспортного средства, и при этом приведение в действие экземпляра модуля оценки операционного управления для конкретного сценария включает в себя идентификацию политики для модели оценки операционного управления для конкретного сценария;
идентифицировать отдельный операционный сценарий транспортного средства на основе информации о внешнем объекте;
создать экземпляр модуля оценки операционного управления для конкретного сценария;
принимать возможное действие по управлению транспортным средством из политики для экземпляра модуля оценки операционного управления для конкретного сценария и
управлять автономным транспортным средством для перемещения по части транспортной сети транспортных средств в соответствии с возможным действием по управлению транспортным средством, при этом часть транспортной сети транспортных средств включает в себя отдельный операционный сценарий транспортного средства.
17. Способ перемещения автономного транспортного средства по транспортной сети транспортных средств, включающий в себя этап, на котором:
осуществляют перемещение автономного транспортного средства по транспортной сети транспортных средств, при этом автономное транспортное средство включает в себя блок восприятия и контроллер операционного управления автономным транспортным средством и при этом перемещение по транспортной сети транспортных средств включает в себя этапы, на которых:
приводят в действие блок восприятия, при этом приведение в действие блока восприятия включает в себя блок восприятия, который:
принимает информацию салиентности от контроллера операционного управления автономным транспортным средством, причем информация салиентности указывает для каждого сектора салиентности из множества неперекрывающихся секторов салиентности относительно автономного транспортного средства соответствующий приоритет и соответствующее расстояние салиентности относительно автономного транспортного средства;
принимает информацию датчиков от датчиков автономного транспортного средства;
генерирует на основе информации салиентности и информации датчиков информацию о внешнем объекте, соответствующую одному или нескольким внешним объектам в пределах заданного расстояния от автономного транспортного средства, причем генерирование информации о внешнем объекте включает в себя:
идентификацию салиентной части информации датчиков на основе информации салиентности, так что информация датчиков представляет собой сумму салиентной части и несалиентной части информации датчика, причем идентификация салиентной части включает в себя индентификацию салиентной части так, что салиентная часть пространственно соответствует сектору салиентности, указанному как имеющий высокий приоритет в информации салиентности, и при этом идентификация салиентной части включает в себя определение размера салиентной части на основе расстояния салиентности; и
генерирование информации о внешнем объекте на основе салиентной части, так что генерирование информации о внешнем объекте пропускает использование несалиентной части; и
выводит информацию о внешнем объекте в контроллер операционного управления автономным транспортным средством;
приводят в действие контроллер операционного управления автономным транспортным средством, при этом приведение в действие контроллера операционного управления автономным транспортным средством включает в себя контроллер операционного управления автономным транспортным средством, который:
генерирует среду операционного управления автономным транспортным средством для приведения в действие экземпляра модуля оценки операционного управления для конкретного сценария, при этом экземпляр модуля оценки операционного управления для конкретного сценария включает в себя экземпляр модели оценки операционного управления для конкретного сценария отдельного операционного сценария транспортного средства и при этом приведение в действие экземпляра модуля оценки операционного управления для конкретного сценария включает в себя идентификацию политики для модели оценки операционного управления для конкретного сценария;
идентифицирует отдельный операционный сценарий транспортного средства на основе информации о внешнем объекте;
создает экземпляр модуля оценки операционного управления для конкретного сценария;
принимает возможное действие по управлению транспортным средством из политики для экземпляра модуля оценки операционного управления для конкретного сценария; и
управляют автономным транспортным средством для перемещения по части транспортной сети транспортных средств в соответствии с возможным действием по управлению транспортным средством, при этом часть транспортной сети транспортных средств включает в себя отдельный операционный сценарий транспортного средства.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/119,260 US10901417B2 (en) | 2018-08-31 | 2018-08-31 | Autonomous vehicle operational management with visual saliency perception control |
| US16/119,260 | 2018-08-31 | ||
| PCT/US2019/022936 WO2020046423A1 (en) | 2018-08-31 | 2019-03-19 | Autonomous vehicle operational management with visual saliency perception control |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2759975C1 true RU2759975C1 (ru) | 2021-11-19 |
Family
ID=69639797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2021108276A RU2759975C1 (ru) | 2018-08-31 | 2019-03-19 | Операционное управление автономным транспортным средством с управлением восприятием визуальной салиентности |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10901417B2 (ru) |
| EP (1) | EP3841525B1 (ru) |
| JP (1) | JP7048818B2 (ru) |
| CN (1) | CN112868031B (ru) |
| RU (1) | RU2759975C1 (ru) |
| WO (1) | WO2020046423A1 (ru) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7208356B2 (ja) * | 2018-09-26 | 2023-01-18 | コーヒレント・ロジックス・インコーポレーテッド | 任意の世界ビューの生成 |
| US10932105B2 (en) | 2018-09-26 | 2021-02-23 | Micron Technology, Inc. | Memory pooling between selected memory resources on vehicles or base stations |
| US11561547B2 (en) * | 2019-02-20 | 2023-01-24 | Gm Cruise Holdings Llc | Autonomous vehicle routing based upon spatiotemporal factors |
| CN109949596A (zh) * | 2019-02-28 | 2019-06-28 | 北京百度网讯科技有限公司 | 用于自动驾驶车辆的车辆交互方法和装置 |
| US11086322B2 (en) * | 2019-03-19 | 2021-08-10 | Gm Cruise Holdings Llc | Identifying a route for an autonomous vehicle between an origin and destination location |
| JP2021024423A (ja) * | 2019-08-05 | 2021-02-22 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| US11360480B2 (en) * | 2019-08-21 | 2022-06-14 | Zoox, Inc. | Collision zone detection for vehicles |
| US11948453B2 (en) * | 2021-09-17 | 2024-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicle communication sender identification via hyper-graph matching |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2479015C1 (ru) * | 2012-01-11 | 2013-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" | Способ определения траектории движения автономного транспортного средства в динамической среде |
| US20160086050A1 (en) * | 2014-09-19 | 2016-03-24 | Brain Corporation | Salient features tracking apparatus and methods using visual initialization |
| US9495874B1 (en) * | 2012-04-13 | 2016-11-15 | Google Inc. | Automated system and method for modeling the behavior of vehicles and other agents |
| US20170126810A1 (en) * | 2015-11-04 | 2017-05-04 | Zoox, Inc. | Software application and logic to modify configuration of an autonomous vehicle |
| RU2639929C2 (ru) * | 2015-01-19 | 2017-12-25 | Тойота Дзидося Кабусики Кайся | Система автономного управления транспортным средством |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316827A (ja) * | 2006-05-24 | 2007-12-06 | Toyota Motor Corp | 交差点交通管制システム |
| US8527139B1 (en) * | 2012-08-28 | 2013-09-03 | GM Global Technology Operations LLC | Security systems and methods with random and multiple change-response testing |
| US8473144B1 (en) * | 2012-10-30 | 2013-06-25 | Google Inc. | Controlling vehicle lateral lane positioning |
| US9494935B2 (en) * | 2014-11-13 | 2016-11-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Remote operation of autonomous vehicle in unexpected environment |
| KR101646134B1 (ko) * | 2015-05-06 | 2016-08-05 | 현대자동차 주식회사 | 자율주행차량 및 그 제어 방법 |
| KR102053552B1 (ko) * | 2015-07-21 | 2019-12-06 | 닛산 지도우샤 가부시키가이샤 | 운전 계획 장치, 주행 지원 장치, 운전 계획 방법 |
| US10401852B2 (en) * | 2015-11-04 | 2019-09-03 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
| US9754490B2 (en) * | 2015-11-04 | 2017-09-05 | Zoox, Inc. | Software application to request and control an autonomous vehicle service |
| US9632502B1 (en) * | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions |
| US20170206426A1 (en) | 2016-01-15 | 2017-07-20 | Ford Global Technologies, Llc | Pedestrian Detection With Saliency Maps |
| JP6354804B2 (ja) | 2016-07-26 | 2018-07-11 | マツダ株式会社 | 視界制御装置 |
| JP6819177B2 (ja) * | 2016-09-21 | 2021-01-27 | 日産自動車株式会社 | 運転支援方法及び運転支援装置 |
| WO2018132378A2 (en) * | 2017-01-10 | 2018-07-19 | Cavh Llc | Connected automated vehicle highway systems and methods |
| US10380886B2 (en) * | 2017-05-17 | 2019-08-13 | Cavh Llc | Connected automated vehicle highway systems and methods |
| US10649458B2 (en) * | 2017-09-07 | 2020-05-12 | Tusimple, Inc. | Data-driven prediction-based system and method for trajectory planning of autonomous vehicles |
-
2018
- 2018-08-31 US US16/119,260 patent/US10901417B2/en active Active
-
2019
- 2019-03-19 JP JP2021507859A patent/JP7048818B2/ja active Active
- 2019-03-19 WO PCT/US2019/022936 patent/WO2020046423A1/en unknown
- 2019-03-19 RU RU2021108276A patent/RU2759975C1/ru active
- 2019-03-19 CN CN201980056928.2A patent/CN112868031B/zh active Active
- 2019-03-19 EP EP19854958.6A patent/EP3841525B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2479015C1 (ru) * | 2012-01-11 | 2013-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" | Способ определения траектории движения автономного транспортного средства в динамической среде |
| US9495874B1 (en) * | 2012-04-13 | 2016-11-15 | Google Inc. | Automated system and method for modeling the behavior of vehicles and other agents |
| US20160086050A1 (en) * | 2014-09-19 | 2016-03-24 | Brain Corporation | Salient features tracking apparatus and methods using visual initialization |
| RU2639929C2 (ru) * | 2015-01-19 | 2017-12-25 | Тойота Дзидося Кабусики Кайся | Система автономного управления транспортным средством |
| US20170126810A1 (en) * | 2015-11-04 | 2017-05-04 | Zoox, Inc. | Software application and logic to modify configuration of an autonomous vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7048818B2 (ja) | 2022-04-05 |
| EP3841525A4 (en) | 2021-10-20 |
| JP2021525681A (ja) | 2021-09-27 |
| US20200073382A1 (en) | 2020-03-05 |
| CN112868031A (zh) | 2021-05-28 |
| US10901417B2 (en) | 2021-01-26 |
| EP3841525B1 (en) | 2023-11-22 |
| WO2020046423A1 (en) | 2020-03-05 |
| CN112868031B (zh) | 2021-10-15 |
| EP3841525A1 (en) | 2021-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112368662B (zh) | 用于自主运载工具操作管理的定向调整动作 | |
| RU2759975C1 (ru) | Операционное управление автономным транспортным средством с управлением восприятием визуальной салиентности | |
| US11782438B2 (en) | Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data | |
| RU2744640C1 (ru) | Варианты управления работой автономного транспортного средства | |
| RU2725920C1 (ru) | Управление оперативным управлением автономным транспортным средством | |
| KR102199093B1 (ko) | 부분 관측가능한 마르코프 결정 프로세스 모델 인스턴스를 동작시키는 것을 포함하는 자율주행 차량 운용 관리 | |
| KR102305291B1 (ko) | 자율주행 차량 운용 관리 | |
| US11702070B2 (en) | Autonomous vehicle operation with explicit occlusion reasoning | |
| CN111902782A (zh) | 集中式共享自主运载工具操作管理 | |
| KR20190108638A (ko) | 자율주행 차량 운용 관리 차단 모니터링 | |
| US20210078602A1 (en) | Shared Autonomous Vehicle Operational Management | |
| US20240140472A1 (en) | Data Determining Interface for Vehicle Decision-Making |