RU2678527C1 - Устройство и способ распознавания светофора - Google Patents
Устройство и способ распознавания светофора Download PDFInfo
- Publication number
- RU2678527C1 RU2678527C1 RU2018105103A RU2018105103A RU2678527C1 RU 2678527 C1 RU2678527 C1 RU 2678527C1 RU 2018105103 A RU2018105103 A RU 2018105103A RU 2018105103 A RU2018105103 A RU 2018105103A RU 2678527 C1 RU2678527 C1 RU 2678527C1
- Authority
- RU
- Russia
- Prior art keywords
- traffic light
- vehicle
- image
- detection area
- behavior
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 112
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000007423 decrease Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Navigation (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
Abstract
Группа изобретений относится к устройству и способу распознавания светофора. Группа изобретений работает следующим образом. Захватывают изображение вокруг транспортного средства при помощи камеры. Получают картографическую информацию вокруг транспортного средства и обнаруживают собственную позицию транспортного средства. Оценивают позицию светофора на изображении на основе собственной позиции и картографической информации. При помощи модуля оценки поведения транспортного средства оценивают поведение транспортного средства. Задают область обнаружения светофора на изображении на основе оцененной позиции светофора на изображении и величины смещения позиции светофора на изображении из-за поведения транспортного средства. Обнаруживают светофор по области обнаружения. Обеспечивается задание области обнаружения светофора, даже когда между моментом времени обновления результата оценки собственной позиции и моментом времени захвата изображения камерой возникает разность по времени. 4 н. и 5 з.п. ф-лы, 13 ил.
Description
Область техники, к которой относится изобретение
[0001] Настоящее изобретение относится к устройству распознавания светофора и к способу распознавания светофора для распознавания светофора, присутствующего вдоль пути движения транспортного средства.
Уровень техники
[0002] Патентный документ 1 (японская выложенная патентная публикация № 2007-241469) описывает способ, включающий в себя этапы: оценки позиции светофора, присутствующего вдоль пути движения транспортного средства, на основе картографической информации и результата оценки собственной позиции; задания области обнаружения светофора на изображении, захваченном камерой; и обработки изображений светофора, присутствующего в этой области обнаружения, для обнаружения состояния подсветки этого светофора.
[0003] Тем не менее, между моментом времени обновления результата оценки собственной позиции и моментом времени захвата изображения камерой возникает разность по времени, так что с помощью способа, описанного в патентном документе 1, область обнаружения светофора будет задаваться в позиции, которая направлена назад в прошлое за счет разности по времени, и светофор может отклоняться от области обнаружения.
Список библиографических ссылок
Патентные документы
[0004] Патентный документ 1. Японская выложенная патентная публикация № 2007-241469
Сущность изобретения
[0005] Как описано выше, в традиционном методе, раскрытом в патентном документе 1, между моментом времени обновления результата оценки собственной позиции и моментом времени захвата изображения камерой возникает разность по времени. Следовательно, когда динамические характеристики транспортного средства являются большими, область распознавания светофора, которая должна задаваться на изображении, захваченном камерой, вследствие этой разности по времени будет задана в позиции, которая направлена назад в прошлое за счет разности по времени, и таким образом область обнаружения светофора, возможно, не может задаваться в качестве соответствующей позиции на изображении, захваченном камерой.
[0006] Настоящее изобретение выполнено, чтобы решить традиционную проблему, и его цель заключается в предоставлении устройства распознавания сигналов и способ распознавания светофора, способные на соответствующее задание области обнаружения светофора, даже когда между моментом времени обновления результата оценки собственной позиции и моментом времени захвата изображения камерой возникает разность по времени.
[0007] Устройство распознавания светофора согласно аспекту настоящего изобретения включает в себя: модуль формирования изображений, выполненный с возможностью захватывать изображение вокруг транспортного средства; модуль получения картографической информации, выполненный с возможностью получать картографическую информацию вокруг транспортного средства; детектор собственной позиции, выполненный с возможностью обнаруживать собственную позицию транспортного средства; и модуль оценки позиции светофора, выполненный с возможностью оценивать позицию светофора на изображении на основе собственной позиции и картографической информации. Устройство распознавания светофора дополнительно включает в себя: модуль оценки поведения транспортного средства, выполненный с возможностью оценивать поведение транспортного средства; модуль задания области обнаружения светофора, выполненный с возможностью задавать область обнаружения светофора на изображении на основе позиции светофора на изображении и величины смещения позиции светофора на изображении из-за поведения транспортного средства; и модуль распознавания светофора, выполненный с возможностью обнаруживать светофор по области обнаружения.
[0008] Способ распознавания светофора согласно аспекта настоящего изобретения включает в себя этапы: захвата изображения вокруг транспортного средства; получения картографической информации вокруг транспортного средства; обнаружения собственной позиции транспортного средства на карте; и оценки позиции светофора на изображении на основе собственной позиции и картографической информации. Способ распознавания светофора дополнительно включает в себя этапы: оценки поведения транспортного средства; задания области обнаружения светофора на изображении на основе оцененной позиции светофора на изображении и величины смещения позиции светофора на изображении из-за поведения транспортного средства; и обнаружения светофора по области обнаружения.
Краткое описание чертежей
[0009] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора и его периферийных устройств согласно варианту осуществления настоящего изобретения.
Фиг. 2 является блок-схемой, иллюстрирующей подробную конфигурацию устройства распознавания светофора согласно первому и второму вариантам осуществления настоящего изобретения.
Фиг. 3 является блок-схемой последовательности операций способа, иллюстрирующей процедуру обработки устройства распознавания светофора согласно первому варианту осуществления настоящего изобретения.
Фиг. 4 является временной диаграммой, иллюстрирующей работу устройства распознавания светофора согласно первому варианту осуществления настоящего изобретения, фиг. 4(a) иллюстрирует временную диаграмму захвата изображения, а фиг. 4(b) иллюстрирует временную диаграмму обновления результата оценки собственной позиции.
Фиг. 5 относится к первому варианту осуществления настоящего изобретения, который является пояснительным видом, иллюстрирующим изменение собственной позиции, когда транспортное средство движется по искривленной дороге.
Фиг. 6 является пояснительным видом, иллюстрирующим позицию области обнаружения, когда область обнаружения задается на изображении без учета величины обусловленного разностью ΔT по времени перемещения транспортного средства.
Фиг. 7 является пояснительным видом, иллюстрирующим позицию области обнаружения, когда область обнаружения задается на изображении с учетом величины обусловленного разностью ΔT по времени перемещения транспортного средства.
Фиг. 8 является характеристической диаграммой, иллюстрирующей взаимосвязь между числовым значением величины поведения транспортного средства и размером области обнаружения.
Фиг. 9 является временной диаграммой, иллюстрирующей работу устройства распознавания светофора согласно модифицированному примеру первого варианта осуществления настоящего изобретения, фиг. 9(a) иллюстрирует временную диаграмму захвата изображения, а фиг. 9(b) иллюстрирует временную диаграмму обновления результата оценки собственной позиции.
Фиг. 10 является блок-схемой последовательности операций способа, иллюстрирующей процедуру обработки устройства распознавания светофора согласно второму варианту осуществления настоящего изобретения.
Фиг. 11 является блок-схемой, иллюстрирующей подробную конфигурацию устройства распознавания светофора согласно третьему варианту осуществления настоящего изобретения.
Фиг. 12 является блок-схемой последовательности операций способа, иллюстрирующей процедуру обработки устройства распознавания светофора согласно третьему варианту осуществления настоящего изобретения.
Фиг. 13 относится к третьему варианту осуществления настоящего изобретения, фиг. 13(a) является пояснительным видом, иллюстрирующим поведение, когда транспортное средство меняет полосу движения, а фиг. 13(b) является характеристической диаграммой, иллюстрирующей изменение угловой скорости относительно вертикальной оси в зависимости от времени.
Описание вариантов осуществления
[0010] Здесь далее поясняются варианты осуществления настоящего изобретения со ссылкой на чертежи.
Пояснение первого варианта осуществления
Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора и его периферийных устройств согласно первому варианту осуществления настоящего изобретения. Дополнительно, фиг. 2 является блок-схемой, подробно иллюстрирующей устройство 100 распознавания светофора, проиллюстрированное на фиг. 1.
[0011] Как проиллюстрировано на фиг. 1, устройство 100 распознавания светофора устанавливается на транспортном средстве 51 и принимает картографическую информацию D02, информацию D03 камеры, информацию D05 о собственной позиции, информацию D07 о поведении транспортного средства и данные D09 изображений из различных устройств, установленных на этом транспортном средстве 51. Затем устройство 100 распознавания светофора выводит информацию D04 о цвете подсветки, указывающую цвет подсветки светофора, в устройство (не проиллюстрировано) на следующей стадии. Эта информация D04 о цвете подсветки используется, например, для управления автоматическим режимом работы и т.п.
[0012] Информация D03 камеры является информацией в отношении позиции установки камеры 11 (см. фиг. 2) относительно транспортного средства 51. При получении трехмерной (3D) информации, указывающей направление транспортного средства 51 на карте, область формирования изображений вокруг транспортного средства может оцениваться камерой 11 на основе информации D03 камеры.
[0013] Картографическая информация D02 является информацией, предоставляемой из базы картографических данных, включающей в себя картографические данные (картографическую информацию вокруг транспортного средства) пути движения, по которому будет двигаться транспортное средство, и включает в себя информацию о позиции относительно цели, такой как наземный ориентир, присутствующий вдоль пути движения, информацию о позиции относительно светофора и т.п.
[0014] Как проиллюстрировано на фиг. 2, устройство 100 распознавания светофора включает в себя: камеру 11 (модуль формирования изображений), детектор 12 собственной позиции, модуль 13 оценки позиции светофора, модуль 14 оценки поведения транспортного средства, модуль 15 вычисления области обнаружения светофора (модуль задания области обнаружения светофора), модуль 16 распознавания светофора, модуль 17 получения картографической информации и модуль 18 получения информации об ориентирах.
[0015] Камера 11 представляет собой цифровую камеру, снабженную твердотельным датчиком изображений, таким как, например, CCD или CMOS, и захватывает изображение вокруг пути движения транспортного средства 51 для получения цифрового изображения периферийной области. Камера 11 выводит захваченное изображение в модуль 16 распознавания светофора в виде данных D09 изображения. Кроме того, камера 11 сохраняет в нем информацию в отношении позиции установки камеры 11 относительно транспортного средства 51 и выводит ее в модуль 15 вычисления области обнаружения светофора в виде информации D03 камеры. Для получения информации в отношении позиции установки камеры 11, в позиции, известной транспортному средству 51, устанавливается, например, метка и т.п. для калибровки, так что позиция установки может вычисляться по позиции на изображении, захваченном камерой 11.
[0016] Модуль 17 получения картографической информации получает информацию о позиции относительно цели, такой как наземный ориентир, присутствующий в окрестности пути движения, информацию о позиции относительно светофора и т.п., из базы картографических данных, включающей в себя картографические данные (картографическую информацию в отношении периферийной окрестности транспортного средства) в отношении пути движения, по которому движется транспортное средство. Модуль 17 получения картографической информации выводит эти фрагменты информации в детектор 12 собственной позиции и модуль 13 оценки позиции светофора в виде картографической информации D02.
[0017] Модуль 18 получения информации об ориентирах представляет собой, например, считывающую камеру, лазерный радар и т.п., установленный на транспортном средстве, и распознает наземные ориентиры (дорожные метки (разделительные линии, стоп-линии, надписи), бордюрный камень, светофор, знак и т.д.) для получения информации об относительной позиции относительно транспортного средства 51. Модуль 18 получения информации об ориентирах выводит эту информацию в детектор 12 собственной позиции в виде информации об ориентирах.
[0018] Детектор 12 собственной позиции получает информацию D01 об ориентирах и картографическую информацию D02, обнаруживает на основе этих фрагментов информации текущую позицию транспортного средства 51 на карте и выводит ее в виде информации D05 о собственной позиции. Как описано ранее, информация D01 об ориентирах включает в себя информацию, указывающую относительное взаимное расположение наземного ориентира относительно транспортного средства 51. Соответственно, текущая позиция транспортного средства 51 на карте может обнаруживаться при сопоставлении информации о позиции относительно этой информации D01 об ориентирах с информацией о позиции относительно наземного ориентира, включенной в картографическую информацию D02.
[0019] Здесь "позиция" включает в себя координату и угловую ориентацию. В частности, позиция наземного ориентира включает в себя его координату и угловую ориентацию, а позиция транспортного средства 51 включает в себя его координату и угловую ориентацию. Детектор 12 собственной позиции выводит в качестве информации D05 о собственной позиции координату (x, y, z) в системе координат, служащую в качестве опорной точки, и угловую ориентацию (наклон относительно вертикальной оси, наклон в продольном направлении, наклон в поперечном направлении), которая находится в направлении вращения на каждой оси координат.
[0020] Модуль 13 оценки позиции светофора оценивает относительную позицию светофора относительно транспортного средства 51 на основе картографической информации D02 и информации D05 о собственной позиции. Информация о позиции относительно каждого светофора, присутствующего вдоль пути движения транспортного средства 51, регистрируется с картографической информацией D02 в качестве координаты. Соответственно, относительная позиция светофора относительно транспортного средства 51 может вычисляться на основе координаты светофора и координаты и угловой ориентации транспортного средства 51. Затем модуль 13 оценки позиции светофора выводит вычисленную относительную позицию светофора в качестве относительной позиционной информации D06 светофора.
[0021] Модуль 14 оценки поведения транспортного средства вычисляет с использованием различной информации, такой как скорость транспортного средства, угловая скорость относительно вертикальной оси, угол поворота ведущих колес (степень поворота ведущих колес) транспортного средства 51, разность по времени (обозначается как "ΔT") от момента времени обновления результата оценки собственной позиции до момента времени захвата изображения и дополнительно вычисляет величину перемещения транспортного средства 51 в течение этой разности ΔT по времени. Затем модуль 14 оценки поведения транспортного средства выводит эту величину перемещения в качестве информации D07 о поведении транспортного средства. Ниже описывается способ вычисления величины перемещения. Следует отметить, что вышеописанный угол поворота ведущих колес представляет собой угол, на который рулевое колесо транспортного средства наклоняется в горизонтальном направлении относительно прямого направления вперед, и угол поворота ведущих колес может заменяться, например, величиной перемещения или т.п. шлицевого вала реечного механизма в рулевом механизме с реечной передачей, в качестве величины руления (поворота ведущих колес).
[0022] Модуль 15 вычисления области обнаружения светофора корректирует относительную позицию между транспортным средством 51 и светофором на основе информации D03 камеры, относительной позиционной информации D06 светофора и информации D07 о поведении транспортного средства и дополнительно задает область обнаружения светофора на изображении, захваченном камерой 11, на основе информации D03 камеры и скорректированной относительной позиции. Модуль 15 вычисления области обнаружения светофора выводит эту область обнаружения в модуль 16 распознавания светофора в качестве информации D08 об области обнаружения светофора.
[0023] Таким образом, момент времени захвата изображения камерой 11 не совпадает с моментом времени обновления результата оценки собственной позиции транспортного средства 51 детектором 12 собственной позиции, так что позиция светофора, присутствующего на изображении, не может точно оцениваться вследствие разности ΔT по времени между обоими моментами времени, и в свою очередь область обнаружения не может точно задаваться. В частности, если результат оценки собственной позиции обновляется во время t1, проиллюстрированное на фиг. 4, а изображение захватывается во время t11, которое истекло при разности ΔT по времени, транспортное средство 51 уже перемещено в течение разности ΔT по времени, и в силу этого область обнаружения, которая должна задаваться в пределах изображения, будет расположена в позиции, сдвинутой от позиции светофора в пределах изображения.
[0024] Соответственно, в модуле 15 вычисления области обнаружения светофора величина перемещения транспортного средства 51 в течение разности ΔT по времени оценивается на основе информации D07 о поведении транспортного средства, оцененной модулем 14 оценки поведения транспортного средства, и на основе этой величины перемещения оценивается собственная позиция транспортного средства 51 во время t11 по фиг. 4. Затем область обнаружения задается с учетом этой величины перемещения. Таким образом, область обнаружения светофора задается на основе оцененной позиции светофора на основе картографической информации D02 и информации D05 о собственной позиции и на основе величины смещения оцененной позиции светофора из-за поведения транспортного средства. В этом случае, если получена относительная позиция между светофором и транспортным средством 51, поскольку камера 11 закреплена на транспортном средстве 51, позиция светофора в пределах изображения может оцениваться при выполнении преобразования из координаты реального пространства в координату изображения на основе информации по установке из информации D03 камеры, и в свою очередь может задаваться область обнаружения.
[0025] Модуль 16 распознавания светофора, проиллюстрированный на фиг. 2, распознает цвет подсветки светофора на основе данных D09 изображений, захваченных камерой 11, и информации D08 об области обнаружения светофора. В частности, обработка изображения для распознавания цвета подсветки светофора выполняется по области обнаружения, заданной в данных D09 изображения.
[0026] В качестве способа обработки изображений, сигнальная лампа светофора может обнаруживаться с использованием, например, способа обнаружения мигающего света синхронно с циклом переменного тока сети общего пользования или способа определения подобия между характеристиками, такими как оттенки и круглые формы красной, зеленой и желтой ламп. Кроме этих способов, может применяться известная обработка изображений для обнаружения светофора. Обработка распознавания светофора выполняется не по всем данным D09 изображения захваченного камерой 11, а для области обнаружения, заданной в качестве его части, так что нагрузка при обработке информации для обнаружения светофора может уменьшаться, и светофор может быстро обнаруживаться. Затем информация D04 о цвете подсветки выводится в устройство на следующей стадии. Следует отметить, что обработка распознавания светофора не ограничена вышеописанным способом, и также могут использоваться другие способы.
[0027] Далее со ссылкой на блок-схему последовательности операций способа, проиллюстрированную на фиг. 3, будет пояснена процедура обработки, выполняемая вышеописанным модулем 14 оценки поведения транспортного средства и модулем 15 вычисления области обнаружения светофора. Во-первых, на этапе S11 модуль 14 оценки поведения транспортного средства получает цикл обновления результата оценки собственной позиции транспортного средства 51 детектором 12 собственной позиции и цикл захвата изображения камерой 11. После этого вычисляется разность ΔT по времени между моментом времени обновления результата собственной позиции и моментом времени захвата изображения.
[0028] Например, как проиллюстрировано на временной диаграмме по фиг. 4, когда цикл T2 захвата изображения в два раза превышает цикл T1 (заданный цикл) обновления результата оценки собственной позиции, информацию D05 о собственной позиции получают в моменты времени t1, t2, t3,.., т.е. каждый раз, когда истекает цикл T1. Кроме того, изображение захватывается во времена t11, t13, t15,.., т.е. каждый раз, когда истекает цикл T2. После этого вычисляют разность ΔT по времени между соответствующими моментами времени. В частности, для времен t11, t13, t15,..., вычисляют разность ΔT по времени относительно соответствующих времен t1, t3, t5,..., которые являются непосредственно предшествующими моментами времени обновления информации о собственной позиции.
[0029] Затем на этапе S12 модуль 14 оценки поведения транспортного средства вычисляет величину перемещения транспортного средства 51 по собственной позиции транспортного средства 51, полученной во время t1 по фиг. 4(b), на основе скорости движения и угловой скорости относительно вертикальной оси (или угла поворота ведущих колес) транспортного средства 51. Затем модуль 14 оценки поведения транспортного средства вычисляет собственную позицию транспортного средства 51 во время t11 после истечения разности ΔT по времени. Таким образом, если область обнаружения задается в пределах изображения с использованием изображения, захваченного во время t11 по фиг. 4(a), и информации D05 о собственной позиции, обновленной во время t1 по фиг. 4(b), область обнаружения не может быть задана в подходящей позиции, поскольку транспортное средство 51 перемещается в течение разности ΔT по времени. Соответственно, в модуле 14 оценки поведения транспортного средства вычисляется величина перемещения транспортного средства 51 в течение разности ΔT по времени. Кроме того, в модуле 15 вычисления области обнаружения светофора вычисляется собственная позиция транспортного средства 51 во время t11.
[0030] Здесь далее подробнее поясняется процедура для вычисления собственной позиции. Текущая скорость движения транспортного средства 51 обозначена как v (м/с), текущая угловая скорость относительно вертикальной оси - как yawrate (рад/секунда), текущий угол относительно вертикальной оси как yaw (рад), координата X текущей позиции как cx (м), координата Y как cy (м), а разность по времени как ΔT (сек). Кроме того, радиус поворота r, когда формируется угловая скорость относительно вертикальной оси, получают по r=v/yawrate, а координату (ox, oy) центра вращения получают по ox=cx-r×cos(yaw) и oy=cy-r×sin(yaw).
[0031] Собственная позиция транспортного средства 51 после коррекции, т.е. координаты (ex, ey) собственной позиции транспортного средства 51 после истечения разности ΔT по времени, может быть получена по формуле (1) и формуле (2) ниже.
ex=cos(ΔT×yawrate)×(cx-ox)-sin(ΔT×yawrate)×(cy-oy)+ox (1)
ey=sin(ΔT×yawrate)×(cx-ox)+cos(ΔT×yawrate)×(cy-oy)+oy (2)
[0032] Кроме того, угол eyaw относительно вертикальной оси после коррекции получают по eyaw=yaw+yawrate×ΔT.
С другой стороны, когда угловая скорость относительно вертикальной оси не сформирована, координата (ex, ey) собственной позиции транспортного средства 51 после коррекции может быть получена по формуле (3) и формуле (4) ниже.
ex=cx+v×ΔT×cos(yaw) (3)
ey=cy+v×ΔT×sin(yaw) (4)
Кроме того, угол eyaw относительно вертикальной оси после коррекции составляет eyaw=yaw.
[0033] Таким образом, на этапе S12 на основе собственной позиции транспортного средства 51, полученной из информации D07 о поведении транспортного средства, и информации D05 о собственной позиции, выводимой из модуля 14 оценки поведения транспортного средства, вышеописанное вычисление выполняется таким образом, что может вычисляться собственная позиция транспортного средства 51 после истечения разности ΔT по времени относительно времени t1.
[0034] Затем, на этапе S13 на фиг. 3 модуль 15 вычисления области обнаружения светофора прогнозирует позицию светофора в момент, когда захвачено изображение. Таким образом, поскольку получают информацию о собственной позиции и изображение, захваченное камерой 11, во время t11 по фиг. 4(a), позиция, в которой светофор располагается в пределах изображения, может оцениваться по собственной позиции и информации о позиции относительно светофора, включенной в картографическую информацию.
[0035] На этапе S14 модуль 15 вычисления области обнаружения светофора задает в качестве области обнаружения область, где светофор включен в пределы изображения, а на этапе S15 выводит эту информацию в качестве информации D08 об области обнаружения светофора. Затем модуль 16 распознавания светофора обнаруживает светофор по заданной области обнаружения и обнаруживает цвет подсветки этого светофора. Таким образом, область обнаружения может задаваться в пределах изображения, и может распознаваться цвет подсветки светофора, присутствующего в этой области обнаружения.
[0036] Далее поясняется изменение области обнаружения вследствие разности ΔT по времени со ссылкой на пояснительные виды, проиллюстрированные на фиг. 5-7. Фиг. 5 иллюстрирует случай, когда транспортное средство 51 движется по искривленной дороге, поворачивающей направо. Как проиллюстрировано на фиг. 5, рассматривается случай, когда транспортное средство 51 проходит точку Z1 по искривленной дороге во время t1 (см. фиг. 4) и проходит точку Z2 после истечения разности ΔT по времени.
[0037] Когда величина перемещения транспортного средства 51 в течение разности ΔT по времени не учитывается, собственная позиция оценивается, когда транспортное средство 51 проходит точку Z1 по фиг. 5, и изображение захватывается, когда транспортное средство 51 проходит точку Z2 после истечения разности ΔT по времени. Соответственно, если область обнаружения задается на основе этих результатов, то как проиллюстрировано на фиг. 6, область R1 обнаружения задается в направлении вправо относительно светофора P1, присутствующего на изображении, и в силу этого светофор не может обнаруживаться.
[0038] Напротив, когда величина перемещения транспортного средства 51 в течение разности ΔT по времени учитывается, область R1 обнаружения задается на основе собственной позиции транспортного средства 51 и изображения, когда транспортное средство 51 проходит точку Z2 по фиг. 5, и в силу этого, как проиллюстрировано на фиг. 7, область R1 обнаружения задается в позиции, подходящей для светофора P1, присутствующего в пределах изображения. Как пояснено выше, в этом варианте осуществления область R1 обнаружения для распознавания светофора P1 может точно задаваться при учете величины перемещения транспортного средства 51 в течение разности ΔT по времени.
[0039] Следует отметить, что вышеописанный детектор 12 собственной позиции, модуль 13 оценки позиции светофора, модуль 14 оценки поведения транспортного средства, модуль 15 вычисления области обнаружения светофора и модуль 16 распознавания светофора могут быть реализованы с использованием микроконтроллера, снабженного CPU, запоминающим устройством и модулем ввода-вывода. В частности, CPU составляет множество модулей (12-16) обработки информации микроконтроллера при выполнении предварительно установленной компьютерной программы. Часть запоминающего устройства микроконтроллера составляет базу картографических данных для сохранения картографической информации D02. Следует отметить, что микроконтроллер также может использоваться в качестве ECU, используемого для других видов управления (например, управления автоматическим режимом работы), связанных с транспортным средством.
[0040] Таким образом в устройстве 100 распознавания светофора согласно первому варианту осуществления область R1 обнаружения задается в пределах изображения на основе оцененной позиции светофора, полученной из картографической информации D02, и величины смещения оцененной позиции светофора из-за поведения транспортного средства. Соответственно, может точно задаваться область R1 обнаружения для обнаружения светофора P1.
[0041] Кроме того, поскольку модуль 15 вычисления области обнаружения светофора оценивает величину перемещения транспортного средства на основе поведения транспортного средства и предварительно заданного времени и задает область R1 обнаружения на основе оцененной позиции светофора на изображении и величины перемещения транспортного средства, обеспечивается точное распознавание.
[0042] Кроме того, даже когда имеется разность ΔT по времени между моментом времени обновления результата оценки собственной позиции транспортного средства 51 и моментом времени захвата изображения, оба момента времени могут совмещаться при оценке величины перемещения транспортного средства 51 в течение разности ΔT по времени на основе поведения транспортного средства. Соответственно, область R1 обнаружения может точно задаваться на изображении, захваченном камерой 11, и в свою очередь, может точно распознаваться состояние подсветки светофора P1, т.е. красный, зеленый или желтый цвет подсветки, состояние подсветки стрелки или т.п.
[0043] Кроме того, задание может выполняться таким образом, чтобы изменять разность ΔT по времени в соответствии с заданным циклом, т.е. с циклом T1, проиллюстрированным на фиг. 4, с которым обновляется результат оценки собственной позиции транспортного средства 51. Например, разность ΔT по времени может увеличиваться по мере того, как увеличивается цикл T1. При таком задании может выполняться соответствующее задание области обнаружения в соответствии с изменением цикла обновления результата оценки собственной позиции.
[0044] Кроме того, поскольку величина перемещения транспортного средства 51 в течение разности ΔT по времени вычисляется с использованием скорости движения и угловой скорости относительно вертикальной оси транспортного средства в качестве поведения транспортного средства, может точно получаться величина смещения оцененной позиции светофора из-за поведения транспортного средства, и в свою очередь обеспечивается точное задание области R1 обнаружения.
[0045] Кроме того, величина перемещения транспортного средства 51 в течение разности ΔT по времени также может вычисляться с использованием скорости движения и угла поворота ведущих колес (величины руления) транспортного средства в качестве поведения транспортного средства. Затем также в случае, когда используется угол поворота ведущих колес, может точно получаться величина смещения оцененной позиции светофора из-за поведения транспортного средства, и в свою очередь обеспечивается точное задание области R1 обнаружения.
[0046] Кроме того, поскольку информация о собственной позиции относительно транспортного средства 51 в точке Z2, проиллюстрированной на фиг. 5, оценивается на основе поведения транспортного средства, точность оценки собственной позиции может уменьшаться, когда значение информации D07 о поведении транспортного средства является большим. После этого, когда значение информации D07 о поведении транспортного средства является большим, уменьшение точности оценки может компенсироваться увеличением диапазона области R1 обнаружения, которая должна задаваться модулем 15 вычисления области обнаружения светофора.
[0047] В частности, как проиллюстрировано на характеристической диаграмме по фиг. 8, когда размер области R1 обнаружения в течение обычного времени задается как "1", размер области R1 обнаружения увеличивается по мере того, как увеличивается величина поведения транспортного средства. После этого определенная абсолютная величина, например, абсолютная величина, которая в два раза превышает абсолютную величину в обычное время, задается в качестве верхнего предела, и когда величина поведения транспортного средства достигает этой абсолютной величины, более не разрешается увеличение области R1 обнаружения. Таким образом, диапазон области R1 обнаружения будет увеличиваться по мере того, как увеличивается величина поведения транспортного средства, и в силу этого даже когда точность оценки позиции светофора уменьшается вследствие увеличения величины поведения транспортного средства, область R1 обнаружения может задаваться таким образом, что светофор P1 не выпадает из кадра области R1 обнаружения.
[0048] Пояснение модифицированного примера первого варианта осуществления
В первом варианте осуществления, описанном выше, который проиллюстрирован на фиг. 4, проиллюстрирован пример, в котором цикл T2 становится в два раза больше цикла T1. Тем не менее, в случае, когда циклы T1 и T2 не имеют многократной взаимосвязи, разность ΔT по времени варьируется. Здесь далее будет дано пояснение со ссылкой на временную диаграмму, проиллюстрированную на фиг. 9.
[0049] Фиг. 9(a) иллюстрирует временную диаграмму захвата изображения, а фиг. 9(b) иллюстрирует временную диаграмму обновления результата оценки собственной позиции. Затем обновление результата оценки собственной позиции выполняется в цикле T4, а захват изображения выполняется в цикле T3. В этом случае, как только изображение захватывается, область R1 обнаружения сразу задается с использованием результата оценки собственной позиции до этого времени.
[0050] Например, вычисляются разности ΔT1-ΔT6 по времени, такие как разность ΔT1 по времени между временем t22 и временем t32 и разность ΔT2 по времени между временем t23 и временем t33, и величина перемещения транспортного средства 51 вычисляется с использованием каждой из разностей ΔT1-ΔT5 по времени.
[0051] Затем также в такой конфигурации, как в вышеописанном первом варианте осуществления, вычисляется величина перемещения транспортного средства 51 в течение каждой из разностей ΔT1-ΔT5 по времени, и позиция транспортного средства 51 корректируется на основе этой величины перемещения, так что может точно задаваться область обнаружения, которая должна задаваться на изображении.
[0052] Пояснение второго варианта осуществления
Далее поясняется второй вариант осуществления настоящего изобретения. Поскольку конфигурация устройства идентична конфигурациям по фиг. 1 и фиг. 2, проиллюстрированным в первом варианте осуществления, ее пояснение опускается. Здесь далее поясняется процедура обработки устройства 100 распознавания светофора согласно второму варианту осуществления со ссылкой на блок-схему последовательности операций способа, проиллюстрированную на фиг. 10. Сначала, на этапе S31, модуль 14 оценки поведения транспортного средства определяет на основе различной информации, такой как скорость движения, угловая скорость относительно вертикальной оси и угол поворота ведущих колес транспортного средства 51, имеет или нет поведение транспортного средства значение, равное или большее, чем заданное значение.
[0053] Затем если определено то, что поведение транспортного средства имеет значение меньше заданного значения, так что, поскольку транспортное средство 51 движется на низкой скорости, либо когда оно остановлено ("Нет" на этапе S31), можно определить то, что величина поведения транспортного средства является небольшой и пренебрежимо малой в течение разности ΔT по времени между моментом времени обновления результата оценки собственной позиции транспортного средства 51 и моментом времени захвата изображения. Соответственно, на этапе S32 модуль 14 оценки поведения транспортного средства рассматривает информацию D07 о поведении транспортного средства в качестве нуля и переходит к обработке на этапе S35.
[0054] С другой стороны, когда поведение транспортного средства имеет значение, равное или большее, чем заданное значение ("Да" на этапе S31), выполняется процедура этапов S33-S37. Пояснение процедуры этапов S33-S37 опускается, поскольку она идентична процедуре этапов S11-S15, проиллюстрированной на фиг. 3.
[0055] Как пояснено выше, в устройстве 100 распознавания светофора согласно второму варианту осуществления на основе поведения транспортного средства 51, только когда поведение транспортного средства 51 имеет значение, равное или большее, чем заданное значение, величина перемещения в течение разности ΔT по времени вычисляется для корректировки позиции транспортного средства 51. Другими словами, когда поведение транспортного средства 51 является небольшим, может быть оценено, что в течение разности ΔT по времени относительное взаимное расположение, в частности, в направлении перемещения, между результатом оценки собственной позиции транспортного средства 51 и собственной позицией транспортного средства 51, когда изображение захвачено, сильно не варьируется. Следовательно, в таком случае величина перемещения транспортного средства 51 в течение разности ΔT по времени не вычисляется. Как результат, может опускаться необязательное вычисление, и может уменьшаться вычислительная нагрузка.
[0056] Пояснение третьего варианта осуществления
Далее поясняется третий вариант осуществления настоящего изобретения. Фиг. 11 является блок-схемой, иллюстрирующей конфигурацию устройства 101 распознавания светофора согласно третьему варианту осуществления. Это устройство 101 распознавания светофора отличается от вышеописанного устройства 100 распознавания светофора, проиллюстрированного на фиг. 2, тем, что оно имеет модуль 37 задания пути движения. Кроме того, отличается обработка модулем 34 оценки поведения транспортного средства. Поскольку другая конфигурация идентична конфигурации по фиг. 2, компоненту, идентичному компоненту по фиг. 2, присваивается идентичный ссылочный номер, чтобы опустить пояснение его конфигурации.
[0057] Модуль 37 задания пути движения принимает картографическую информацию D02 и информацию D05 о собственной позиции в качестве входных сигналов и извлекает путь движения, по которому, как прогнозируется, транспортное средство 51 будет двигаться в будущем. Затем модуль 37 задания пути движения выводит извлеченный путь движения в качестве информации D40 о пути движения в модуль 34 оценки поведения транспортного средства.
[0058] Модуль 34 оценки поведения транспортного средства вычисляет на основе информации D40 о пути движения величину перемещения транспортного средства 51 в течение разности ΔT по времени от момента времени обновления результата оценки собственной позиции до момента времени захвата изображения и выводит эту величину перемещения в качестве информации D37 о поведении транспортного средства в модуль 15 вычисления области обнаружения светофора.
[0059] Далее поясняется процедура обработки устройства 101 распознавания светофора согласно третьему варианту осуществления со ссылкой на блок-схему последовательности операций способа, проиллюстрированную на фиг. 12. Сначала на этапе S51 модуль 37 задания пути движения определяет путь движения транспортного средства 51 на основе информации D05 о собственной позиции и картографической информации D02. В этой обработке, поскольку путь движения, по которому в данный момент движется транспортное средство 51, и позиция движения, в которой в данный момент движется транспортное средство 51, может распознаваться на основе пути движения транспортного средства 51, включенного в картографическую информацию D02, и информации D05 о собственной позиции, может определяться путь движения, по которому транспортное средство 51 будет двигаться в будущем.
[0060] На этапе S52 модуль 14 оценки поведения транспортного средства получает цикл обновления результата оценки собственной позиции транспортного средства 51 детектором 12 собственной позиции и цикл захвата изображения камерой 11. Затем модуль 14 оценки поведения транспортного средства вычисляет разность ΔT по времени между моментом времени обновления результата оценки собственной позиции и моментом времени захвата изображения. Подробное пояснение этой обработки опускается, поскольку она идентична обработке по этапу S11, проиллюстрированному на фиг. 3.
[0061] Затем на этапе S53 модуль 34 оценки поведения транспортного средства вычисляет на основе скорости движения и пути движения транспортного средства величину перемещения транспортного средства 51 в течение разности ΔT по времени относительно собственной позиции, оцененной во время t1 по фиг. 4(b). Эта величина перемещения выводится в модуль 15 вычисления области обнаружения светофора в качестве информации D37 о поведении транспортного средства. Затем модуль 15 вычисления области обнаружения светофора вычисляет собственную позицию транспортного средства 51 во время t11 на основе этой информации D37 о поведении транспортного средства.
[0062] Затем на этапе S54 модуль 15 вычисления области обнаружения светофора прогнозирует позицию светофора, когда захвачено изображение. Таким образом, модуль 15 вычисления области обнаружения светофора оценивает позицию светофора относительно транспортного средства 51 на основе результата вычисления собственной позиции транспортного средства 51, вычисленной во время t11 при обработке этапа S53, и изображения.
[0063] На этапе S55 модуль 15 вычисления области обнаружения светофора задает в качестве области обнаружения область, где светофор включен в изображение, и на этапе S56 выводит эту информацию в качестве информации D08 об области обнаружения светофора. Затем модуль 16 распознавания светофора обнаруживает светофор по заданной области обнаружения и обнаруживает цвет подсветки этого светофора. Таким образом, область обнаружения может задаваться в изображении, и может распознаваться цвет подсветки светофора, присутствующего в этой области обнаружения.
[0064] Здесь далее со ссылкой на фиг. 13 подробно поясняется обработка для вычисления информации D37 о поведении транспортного средства при обработке по этапу S53. Фиг. 13(a) является пояснительным видом, иллюстрирующим поведение транспортного средства 51, когда транспортное средство 51 меняет полосу движения с правой полосы X11 движения на левую полосу X12 движения на двухполосной дороге. Кроме того, фиг. 13(b) является характеристической диаграммой, иллюстрирующей изменение угловой скорости относительно вертикальной оси в зависимости от течения времени. Времена, когда транспортное средство 51 движется в точках Z3 и Z4 по фиг. 13(a), соответствуют временам t51 и t52, проиллюстрированным на фиг. 13(b), соответственно.
[0065] Когда собственная позиция транспортного средства 51 оценивается с использованием угловой скорости относительно вертикальной оси и/или угла поворота ведущих колес, когда транспортное средство 51 меняет полосу движения, точность оценки собственной позиции уменьшается. Таким образом, в точке Z3, в которой транспортное средство 51 не меняет полосу движения, поскольку угловая скорость относительно вертикальной оси еще не сформирована, как проиллюстрировано во время t51 по фиг. 13(b), будет уменьшаться точность оценки собственной позиции транспортного средства 51 после истечения разности ΔT по времени. Кроме того, даже когда транспортное средство 51 начинает менять полосу движения, темп изменения угловой скорости относительно вертикальной оси или угла поворота ведущих колес увеличивается во время смены полосы движения (в период времени от t51 до t52), точность обнаружения поведения транспортного средства 51 в таком случае уменьшается.
[0066] После этого при обработке по этапу S53 величина перемещения транспортного средства 51 вычисляется с использованием информации D40 о пути движения и скорости движения транспортного средства. Таким образом, проезжаемое расстояние L1 транспортного средства 51 получают по "скорости движения×ΔT", и в силу этого позиция, возникающая за счет проезжаемого расстояния L1 вдоль пути движения относительно собственной позиции, полученной во время обновления результата оценки собственной позиции непосредственно перед тем, когда изображение захвачено (в момент времени для времени t1 по фиг. 4), может задаваться в качестве собственной позиции транспортного средства 51 после истечения разности ΔT по времени.
[0067] Кроме того, когда транспортное средство 51 движется согласно управлению автоматическим режимом работы, позиция смены полосы движения может распознаваться заранее. Соответственно, направление транспортного средства 51 в точке Z4 по фиг. 13(a) может вычисляться, так что может вычисляться собственная позиция транспортного средства 51, когда изображение захвачено. Таким образом, при оценке поведения транспортного средства с использованием пути движения, заданного модулем 37 задания пути движения, величина перемещения транспортного средства 51 в течение разности ΔT по времени может вычисляться точнее.
[0068] Таким образом, в устройстве 101 распознавания светофора согласно третьему варианту осуществления собственная позиция транспортного средства 51 после истечения разности ΔT по времени оценивается на основе скорости движения транспортного средства 51 и информации D40 о пути движения, указывающей путь движения, по которому транспортное средство 51 будет двигаться в будущем. Соответственно, также, когда транспортное средство 51 меняет полосу движения, а угловая скорость относительно вертикальной оси первоначально не формируется, но затем угловая скорость относительно вертикальной оси резко увеличивается, может точно оцениваться собственная позиция транспортного средства 51, когда изображение захвачено. Соответственно, может точно задаваться область обнаружения, которая должна задаваться на изображении.
[0069] В вышеприведенном описании устройства распознавания светофора и способы распознавания светофора по настоящему изобретению пояснены на основе проиллюстрированных вариантов осуществления, но настоящее изобретение не ограничивается этим. Конфигурация каждого модуля может быть заменена любой конфигурацией, имеющей аналогичную функцию.
Список ссылочных позиций
[0070] 11 - камера (модуль формирования изображений)
12 - детектор собственной позиции
13 - модуль оценки позиции светофора
14, 34 - модуль оценки поведения транспортного средства
15 - модуль вычисления области обнаружения светофора (модуль задания области обнаружения светофора)
16 - модуль распознавания светофора
17 - модуль получения картографической информации
18 - модуль получения информации об ориентирах
37 - модуль задания пути движения
51 - транспортное средство
100, 101 - устройство распознавания светофора
D01 - информация об ориентирах
D02 - картографическая информация
D03 - информация камеры
D04 - информация о цвете подсветки
D05 - информация о собственной позиции
D06 - относительная позиционная информация светофора
D07 - информация о поведении транспортного средства
D08 - информация об области обнаружения светофора
D09 - данные изображений
D37 - информация о поведении транспортного средства
D40 - информация о пути движения
P1 - светофор
R1 - область обнаружения
X11 - правая полоса движения
X12 - левая полоса движения
Claims (54)
1. Устройство распознавания светофора, содержащее:
модуль формирования изображений, установленный на транспортном средстве и выполненный с возможностью захватывать изображение вокруг транспортного средства;
модуль получения картографической информации, выполненный с возможностью получать картографическую информацию вокруг транспортного средства;
детектор собственной позиции, выполненный с возможностью обнаруживать собственную позицию транспортного средства на карте;
модуль оценки позиции светофора, выполненный с возможностью оценивать позицию светофора на изображении на основе собственной позиции и картографической информации;
модуль оценки поведения транспортного средства, выполненный с возможностью оценивать поведение транспортного средства;
модуль задания области обнаружения светофора, выполненный с возможностью задавать область обнаружения светофора на упомянутом изображении на основе оцененной позиции светофора на изображении и величины смещения позиции светофора на изображении из-за поведения транспортного средства; и
модуль распознавания светофора, выполненный с возможностью обнаруживать светофор по области обнаружения, при этом
модуль задания области обнаружения светофора задает большую область обнаружения по мере того, как величина поведения транспортного средства становится больше.
2. Устройство распознавания светофора, содержащее:
модуль формирования изображений, установленный на транспортном средстве и выполненный с возможностью захватывать изображение вокруг транспортного средства;
модуль получения картографической информации, выполненный с возможностью получать картографическую информацию вокруг транспортного средства;
детектор собственной позиции, выполненный с возможностью обнаруживать собственную позицию транспортного средства на карте;
модуль оценки позиции светофора, выполненный с возможностью оценивать позицию светофора на изображении на основе собственной позиции и картографической информации;
модуль оценки поведения транспортного средства, выполненный с возможностью оценивать поведение транспортного средства;
модуль задания области обнаружения светофора, выполненный с возможностью задавать область обнаружения светофора на изображении на основе:
оцененной позиции светофора на изображении,
поведения транспортного средства,
момента времени захвата изображения и
момента времени обновления собственной позиции; и
модуль распознавания светофора, выполненный с возможностью обнаруживать светофор по области обнаружения.
3. Устройство распознавания светофора по п. 1 или 2, в котором
когда поведение транспортного средства имеет значение, равное или большее, чем заданное значение, модуль задания области обнаружения светофора задает область обнаружения на основе оцененной позиции светофора на изображении и величины смещения позиции светофора на изображении из-за поведения транспортного средства,
когда поведение транспортного средства имеет значение, меньшее заданного значения, модуль задания области обнаружения светофора задает область обнаружения на основе оцененной позиции светофора на изображении.
4. Устройство распознавания светофора по п. 1 или 2, в котором
модуль задания области обнаружения светофора оценивает величину перемещения транспортного средства на основе поведения транспортного средства и заданного времени и задает область обнаружения на основе оцененной позиции светофора на изображении и величины перемещения транспортного средства.
5. Устройство распознавания светофора по п. 4, в котором
модуль задания области обнаружения светофора задает заданное время на основе разности по времени между моментом времени захвата изображения модулем формирования изображений и моментом времени, в который обнаружена собственная позиция.
6. Устройство распознавания светофора по п. 5, в котором:
детектор собственной позиции обнаруживает собственную позицию транспортного средства с заданным циклом; и
модуль задания области обнаружения светофора задает разность по времени в соответствии с упомянутым заданным циклом.
7. Устройство распознавания светофора по п. 1 или 2, дополнительно содержащее
модуль задания пути движения, выполненный с возможностью задавать на основе собственной позиции и картографической информации путь движения, по которому будет двигаться транспортное средство в будущем, при этом
модуль оценки поведения транспортного средства оценивает поведение транспортного средства на основе пути движения, по которому будет двигаться транспортное средство в будущем.
8. Способ распознавания светофора, содержащий этапы, на которых:
захватывают изображение вокруг транспортного средства;
получают картографическую информацию вокруг транспортного средства;
обнаруживают собственную позицию транспортного средства на карте;
оценивают позицию светофора на изображении на основе собственной позиции и картографической информации;
оценивают поведение транспортного средства;
задают область обнаружения светофора на изображении на основе оцененной позиции светофора на изображении и величины смещения позиции светофора на изображении из-за поведения транспортного средства, при этом область обнаружения задают большей по мере того, как величина поведения транспортного средства становится больше; и
обнаруживают светофор по области обнаружения.
9. Способ распознавания светофора, содержащий этапы, на которых:
захватывают изображение вокруг транспортного средства;
получают картографическую информацию вокруг транспортного средства;
обнаруживают собственную позицию транспортного средства на карте;
оценивают позицию светофора на изображении на основе собственной позиции и картографической информации;
оценивают поведение транспортного средства;
задают область обнаружения светофора на изображении на основе:
оцененной позиции светофора на изображении,
поведения транспортного средства,
момента времени захвата изображения и
момента времени обновления собственной позиции; и
обнаруживают светофор по области обнаружения.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/070042 WO2017009934A1 (ja) | 2015-07-13 | 2015-07-13 | 信号機認識装置及び信号機認識方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2678527C1 true RU2678527C1 (ru) | 2019-01-29 |
Family
ID=57758258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018105103A RU2678527C1 (ru) | 2015-07-13 | 2015-07-13 | Устройство и способ распознавания светофора |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10789491B2 (ru) |
| EP (1) | EP3324384B1 (ru) |
| JP (1) | JP6477883B2 (ru) |
| KR (2) | KR20180021159A (ru) |
| CN (1) | CN107836017B (ru) |
| BR (1) | BR112018000708B1 (ru) |
| CA (1) | CA2992405A1 (ru) |
| MX (1) | MX367068B (ru) |
| RU (1) | RU2678527C1 (ru) |
| WO (1) | WO2017009934A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2779921C1 (ru) * | 2019-11-12 | 2022-09-15 | Ниссан Мотор Ко., Лтд. | Способ распознавания светофора и устройство распознавания светофора |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6451853B2 (ja) * | 2015-07-28 | 2019-01-16 | 日産自動車株式会社 | 走行制御装置の制御方法および走行制御装置 |
| JP7205695B2 (ja) * | 2019-02-18 | 2023-01-17 | トヨタ自動車株式会社 | 運転支援システム |
| JP7140043B2 (ja) * | 2019-05-07 | 2022-09-21 | 株式会社デンソー | 情報処理装置 |
| JP7268497B2 (ja) * | 2019-06-24 | 2023-05-08 | トヨタ自動車株式会社 | 信号認識システム |
| JP7274366B2 (ja) * | 2019-06-28 | 2023-05-16 | 日産自動車株式会社 | 自己位置推定方法及び自己位置推定装置 |
| JP7156252B2 (ja) * | 2019-11-13 | 2022-10-19 | トヨタ自動車株式会社 | 運転支援装置 |
| WO2021134348A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 交通灯状态识别方法、装置、计算机设备和存储介质 |
| US12112550B2 (en) * | 2020-01-07 | 2024-10-08 | Motional Ad Llc | Systems and methods for traffic light detection |
| JP7318609B2 (ja) * | 2020-08-06 | 2023-08-01 | トヨタ自動車株式会社 | 車載検出装置 |
| CN112489466B (zh) * | 2020-11-27 | 2022-02-22 | 恒大新能源汽车投资控股集团有限公司 | 交通信号灯识别方法和装置 |
| JP7413572B2 (ja) * | 2020-12-24 | 2024-01-15 | 本田技研工業株式会社 | 車両 |
| CN113177522A (zh) * | 2021-05-24 | 2021-07-27 | 的卢技术有限公司 | 一种用于自动驾驶场景下的红绿灯检测与识别方法 |
| KR102368262B1 (ko) * | 2021-06-02 | 2022-03-03 | (주)에이아이매틱스 | 다중 관측정보를 이용한 신호등 배치정보 추정 방법 |
| JP7494809B2 (ja) | 2021-06-29 | 2024-06-04 | 株式会社デンソー | 支援装置、支援方法、支援プログラム |
| KR102652486B1 (ko) * | 2021-09-24 | 2024-03-29 | (주)오토노머스에이투지 | 라이다를 이용한 신호등 정보 예측 방법 및 이를 이용한 서버 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8134480B2 (en) * | 2006-03-06 | 2012-03-13 | Toyota Jidosha Kabushiki Kaisha | Image processing system and method |
| JP2013218571A (ja) * | 2012-04-10 | 2013-10-24 | Toyota Motor Corp | 画像認識装置および運転支援装置 |
| RU144555U1 (ru) * | 2014-05-05 | 2014-08-27 | Павел Юрьевич Михайлов | Устройство для повышения безопасности движения транспортного средства |
| WO2014162797A1 (ja) * | 2013-04-04 | 2014-10-09 | 日産自動車株式会社 | 信号認識装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4483305B2 (ja) * | 2004-01-16 | 2010-06-16 | トヨタ自動車株式会社 | 車両周辺監視装置 |
| JP2007219758A (ja) * | 2006-02-15 | 2007-08-30 | Fujitsu Ten Ltd | 車載情報装置および車載装置用情報処理方法 |
| JP4724043B2 (ja) * | 2006-05-17 | 2011-07-13 | トヨタ自動車株式会社 | 対象物認識装置 |
| WO2014062797A1 (en) * | 2012-10-16 | 2014-04-24 | Numera | Methods for configuring biometric devices for transmitting health information |
| JP6464783B2 (ja) | 2015-02-04 | 2019-02-06 | 株式会社デンソー | 物体検出装置 |
| CN104952249A (zh) * | 2015-06-10 | 2015-09-30 | 浙江吉利汽车研究院有限公司 | 基于车联网的驾驶行为纠正方法及装置 |
-
2015
- 2015-07-13 CA CA2992405A patent/CA2992405A1/en not_active Abandoned
- 2015-07-13 US US15/743,905 patent/US10789491B2/en active Active
- 2015-07-13 WO PCT/JP2015/070042 patent/WO2017009934A1/ja active Application Filing
- 2015-07-13 KR KR1020187002566A patent/KR20180021159A/ko active Application Filing
- 2015-07-13 RU RU2018105103A patent/RU2678527C1/ru active
- 2015-07-13 KR KR1020197023796A patent/KR20190097326A/ko not_active Application Discontinuation
- 2015-07-13 CN CN201580081658.2A patent/CN107836017B/zh active Active
- 2015-07-13 BR BR112018000708-0A patent/BR112018000708B1/pt active IP Right Grant
- 2015-07-13 MX MX2018000437A patent/MX367068B/es active IP Right Grant
- 2015-07-13 EP EP15898247.0A patent/EP3324384B1/en active Active
- 2015-07-13 JP JP2017528038A patent/JP6477883B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8134480B2 (en) * | 2006-03-06 | 2012-03-13 | Toyota Jidosha Kabushiki Kaisha | Image processing system and method |
| JP2013218571A (ja) * | 2012-04-10 | 2013-10-24 | Toyota Motor Corp | 画像認識装置および運転支援装置 |
| WO2014162797A1 (ja) * | 2013-04-04 | 2014-10-09 | 日産自動車株式会社 | 信号認識装置 |
| RU144555U1 (ru) * | 2014-05-05 | 2014-08-27 | Павел Юрьевич Михайлов | Устройство для повышения безопасности движения транспортного средства |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2779921C1 (ru) * | 2019-11-12 | 2022-09-15 | Ниссан Мотор Ко., Лтд. | Способ распознавания светофора и устройство распознавания светофора |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190097326A (ko) | 2019-08-20 |
| WO2017009934A1 (ja) | 2017-01-19 |
| EP3324384B1 (en) | 2021-03-03 |
| CN107836017A (zh) | 2018-03-23 |
| MX367068B (es) | 2019-08-05 |
| US20180204077A1 (en) | 2018-07-19 |
| BR112018000708B1 (pt) | 2023-03-14 |
| US10789491B2 (en) | 2020-09-29 |
| EP3324384A4 (en) | 2018-12-05 |
| KR20180021159A (ko) | 2018-02-28 |
| CN107836017B (zh) | 2019-03-26 |
| BR112018000708A2 (pt) | 2018-09-18 |
| JPWO2017009934A1 (ja) | 2018-06-14 |
| CA2992405A1 (en) | 2017-01-19 |
| JP6477883B2 (ja) | 2019-03-13 |
| EP3324384A1 (en) | 2018-05-23 |
| MX2018000437A (es) | 2018-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2678527C1 (ru) | Устройство и способ распознавания светофора | |
| EP3607272B1 (en) | Automated image labeling for vehicle based on maps | |
| AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
| US10909395B2 (en) | Object detection apparatus | |
| JP6932058B2 (ja) | 移動体の位置推定装置及び位置推定方法 | |
| JP2008002906A (ja) | 測位装置 | |
| RU2700646C2 (ru) | Устройство обнаружения светофора и способ обнаружения светофора | |
| US20190297314A1 (en) | Method and Apparatus for the Autocalibration of a Vehicle Camera System | |
| JP2015194397A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
| JP2020109560A (ja) | 信号機認識方法及び信号機認識装置 | |
| JP6834401B2 (ja) | 自己位置推定方法及び自己位置推定装置 | |
| JP6649859B2 (ja) | 自車位置推定装置、自車位置推定方法 | |
| US20200366883A1 (en) | Stereo camera device | |
| WO2018225480A1 (ja) | 位置推定装置 | |
| JP6141734B2 (ja) | ステレオ画像処理装置 | |
| JP2020095627A (ja) | 画像処理装置および画像処理方法 | |
| AU2020257038A1 (en) | Camera orientation estimation | |
| JP2007164566A (ja) | 感応制御用車両感知システムおよび装置 | |
| CN109309785B (zh) | 拍摄控制装置以及拍摄控制方法 | |
| JP6704307B2 (ja) | 移動量算出装置および移動量算出方法 | |
| KR102327342B1 (ko) | 차량용 카메라 보정 장치 | |
| JP2007164564A (ja) | 感応制御用車両感知システムおよび装置 |