RU2668782C1

RU2668782C1 - Устройство выявления светофора и способ выявления светофора

Info

Publication number: RU2668782C1
Application number: RU2017146392A
Authority: RU
Inventors: Даики ЯМАНОИ; Харуо МАЦУО; Такахико ОКИ
Original assignee: Ниссан Мотор Ко., Лтд.
Priority date: 2015-06-05
Filing date: 2015-06-05
Publication date: 2018-10-02
Also published as: EP3306589A4; KR20180008727A; EP3306589A1; KR101942214B1; CA2988303A1; US10055656B2; US20180150705A1; CA2988303C; CN107615351B; MX361912B; CN107615351A; JPWO2016194228A1; MX2017015442A; EP3306589B1; WO2016194228A1; JP6447722B2; BR112017026218B1

Abstract

Группа изобретений относится к области выявления светофора. Выявление светофора осуществляется по способу устройством выявления светофора, которое включает в себя узкоугольную камеру, широкоугольную камеру и блок выявления светофора. Блок выявления светофора выявляет светофор из, по меньшей мере, изображений, захваченных узкоугольной камерой и широкоугольной камерой. Блок выявления 4 светофора выбирает, в качестве результата выявления, какой-нибудь из светофора, выявленного на узкоугольном изображении, и светофора, выявленного на широкоугольном изображении, на основе области начала замедления. Область начала замедления рассчитывается по положению светофора относительно транспортного средства и скорости транспортного средства, для того чтобы останавливать транспортное средство в положении остановки относительно светофора. Обеспечивается уменьшение времени замедления транспортного средства перед светофором. 2 н. и 5 з.п. ф-лы, 7 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству выявления светофора и способу выявления светофора для выявления светофора.

УРОВЕНЬ ТЕХНИКИ

Предложено устройство, которое может непрерывно контролировать объект перед транспортным средством посредством выбора результата выявления на основании какого-нибудь на широкоугольном изображении, захваченного широкоугольной камерой, имеющей широкий угол обзора, и узкоугольного изображения, захваченного узкоугольной камерой, имеющей узкий угол обзора (см. Патентную литературу 1). Такое устройство выбирает узкоугольное изображение, когда расстояние до объекта превышает расстояние, на котором объект может быть выявлен с требуемой точностью широкоугольной камерой, и широкоугольное изображение, когда объект находится вне поля обзора узкоугольной камеры.

СПИСОК БИБЛИОГРАФИЧЕСКИХ ИСТОЧНИКОВ

ПАТЕНТНАЯ ЛИТЕРАТУРА

Патентная литература 1: Выложенная публикация № 2011-121398 патента Японии.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Однако, применительно к технологии, описанной в Патентной литературе 1, нет упоминания о возможности задержки определения управления транспортным средством вследствие времени задержки распознавания или нераспознавания и т.д., возникших при переключении результатов выявления. Задержка определения того, что следует остановить транспортное средство, может требовать большего замедления.

Настоящее изобретение было создано ввиду вышеприведенной проблемы, и его цель состоит в том, чтобы предоставить устройство выявления светофора и способ выявления светофора, которые могут предотвращать воздействие на управление транспортным средством, обусловленное временем задержки или нераспознаванием при переключении результатов выявления.

Устройство выявления светофора принимает во внимание область, в которой транспортное средство должно начинать замедление, для того чтобы остановить транспортное средство, и, тем самым, переключает результаты выявления светофора узкоугольной камерой и широкоугольной камерой, с тем чтобы уменьшать воздействие на управление транспортным средством при переключении результатов выявления.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - структурная схема, схематически иллюстрирующая базовую конфигурацию устройства выявления светофора согласно варианту осуществления настоящего изобретения.

Фиг. 2 - структурная схема, иллюстрирующая конфигурацию устройства выявления светофора согласно варианту осуществления настоящего изобретения и поток данных в нем.

Фиг. 3 - пояснительная схема области, где узкоугольная камера и широкоугольная камера могут выявлять светофор, область начала замедления и допускающую переключение область.

С фиг. 4(a) по фиг. 4(c) - пояснительные схемы области угла обзора узкоугольной камеры и широкоугольной камеры.

Фиг. 5 - пояснительная схема области, где узкоугольная камера и широкоугольная камера могут выявлять светофор, область начала замедления и допускающую переключение область (сторона W1).

Фиг. 6 - пояснительная схема области, где узкоугольная камера и широкоугольная камера могут выявлять светофор, область начала замедления и допускающую переключение область (сторона N2).

Фиг. 7 - блок-схема последовательности операций способа, иллюстрирующая примерный способ выявления светофора устройством выявления светофора согласно варианту осуществления настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Со ссылкой на чертежи будут описаны варианты осуществления настоящего изобретения. В описании чертежей, одинаковые или аналогичные части обозначены одинаковыми или аналогичными ссылочными позициями, а частично совпадающие описания исключены.

(Устройство выявления светофора)

Как показано на фиг. 1, устройство выявления светофора согласно настоящему варианту осуществления включает в себя узел 1 формирования изображений с узкоугольной камерой 11 и широкоугольной камерой 12, блок выявления 4 светофора, имеющий селектор 2 камеры, и процессор 3 изображений, и датчик 10 скорости транспортного средства. Датчик 10 скорости транспортного средства выявляет скорость транспортного средства 5 и выдает выявленную скорость на селектор 2 камеры в качестве информации Dv о скорости. Блок выявления 4 светофора выявляет на изображении, захваченном узлом 1 формирования изображений, светофор, который установлен около дороги, по которой передвигается транспортное средство, и находится перед транспортным средством 5, и выводит выявленный светофор из него в качестве информации Dt о светофоре, которая является результатом выявления. Транспортное средство 5, например, является транспортным средством с автоматическим вождением, которое автоматически передвигается по заранее заданной дороге для движения на основе информации Dt о светофоре, и тому подобного, из блока выявления 4 светофора.

Узкоугольная камера 11 и широкоугольная камера 12 соответственно установлены в транспортном средстве 5, чтобы захватывать изображения перед транспортным средством 5. Каждая из узкоугольной камеры 11 и широкоугольной камеры 12 включает в себя твердотельный элемент формирования изображений, такой как CCD (прибор с зарядовой связью) или CMOS (комплементарный металлооксидный полупроводник), и выдает цифровые изображения, для какого изображения может выполняться обработка. Широкоугольная камера 12 имеет угол обзора (угол наблюдения), более широкий, чем узкоугольная камера 11. Таким образом, широкоугольная камера 12 имеет возможности более низкого разрешения, чем узкоугольная камера 11, при формировании изображений объекта на том же самом расстоянии с тем же самым разрешением. Узкоугольная камера 11 выдает захваченное узкоугольное изображение в качестве информации Dn об узкоугольном изображении в блок выявления 4 светофора. Широкоугольная камера 12 выдает захваченное широкоугольное изображение в качестве информации Dw о широкоугольном изображении в блок выявления 4 светофора.

Селектор 2 камеры и процессор 3 изображений, например, может быть реализован с использованием микроконтроллера, включающего в себя центральное процессорное устройство (ЦПУ, CPU), память и блок ввода/вывода. В этом случае, ЦПУ выполняет компьютерные программы, предварительно установленные в микроконтроллере, для конфигурирования селектора 2 камеры и процессора 3 изображений. Микроконтроллер также может использоваться в качестве электронного блока управления (ECU), используемого для другого управления в транспортном средстве 5, например, автоматического управления вождением.

Процессор 3 изображений выявляет светофор посредством обработки изображений из по меньшей мере каких-нибудь из узкоугольных изображений, захваченных узкоугольной камерой 11, и широкоугольных изображений, захваченных широкоугольной камерой 12. Процессор 3 изображений выводит, на основе определения селектора 2 камеры, какой-нибудь из светофора, выявленного на узкоугольном изображении, и светофора, выявленного на широкоугольном изображении, в качестве информации Dt о светофоре. Процессор 3 изображений может уменьшать вычислительную нагрузку, выявляя светофор из какого-нибудь на узкоугольном изображении и широкоугольного изображения. В этом случае, процессор 3 изображений может вызывать время задержки при переключении узкоугольного изображения и широкоугольного изображения, используемых для выявления светофора.

Процессор 3 изображений выполняет обработку изображений применительно к выявлению светофора над каждым на узкоугольном изображении, захваченном узкоугольной камерой 11, и широкоугольного изображения, захваченного широкоугольной камерой 12. Например, процессор 3 изображений выявляет, с использованием синхронизированного формирования изображений, световой сигнал на светофоре, который мигает с определенным циклом, основанным на цикле переменного тока электроснабжения от промышленной сети. В качестве альтернативы, процессор 3 изображений может выявлять светофор с использованием обработки для определения подобия цвета и формы. Как описано выше, процессор 3 изображений может выявлять светофор и цвет светофора с использованием различных способов обработки изображений или их комбинации.

Отметим, что процессор 3 изображений устанавливает не только полную область каждого изображения, указанного информацией Dn об узкоугольном изображении и информацией Dw о широкоугольном изображении, но и часть области выявления на изображении, и выполняет обработку изображений только над областью выявления и, тем самым, может сокращать вычислительную нагрузку и время обработки для выявления светофора. Область выявления устанавливается в изображении на основе положений светофоров, оцененных из картографической информации, в том числе, профиля дороги и положений светофоров, информации о местоположении транспортного средства 5, и тому подобного.

Как показано на фиг. 2, селектор 2 камеры включает в себя вычислитель 21 допускающей выявление области, вычислитель 22 области начала замедления, вычислитель 23 допускающей переключение области, вычислитель 24 расстояния задержки, определитель 25 области переключения и определитель 26 камеры. На основе информации Dv о скорости, и тому подобного, селектор 2 камеры выводит в процессор 3 изображений информацию Ds о выбранной камере для указания процессору 3 изображений, который какой-нибудь из светофора, выявленного на узкоугольном изображении, и светофора, выявленного на широкоугольном изображении, выводится в качестве информации Dt о светофоре.

Вычислитель Dc допускающей выявление области рассчитывает допускающую выявление область, где могли бы быть обнаружены светофоры, на основе информации Dc о камерах, указывающей углы обзора, вертикальные и горизонтальные углы и разрешение, установленное у узкоугольной камеры 11 и широкоугольной камеры 12, и выводит допускающую выявление область в виде информации D01 о допускающей выявление области. Вычислитель 21 допускающей выявление области рассчитывает область, где частота выявления светофоров превышает заданное пороговое значение, и область, где светофор не отклоняется от угла обзора, для каждой из узкоугольной камеры 11 и широкоугольной камеры 12. Вычислитель 21 допускающей выявление области рассчитывает, в качестве допускающей выявление области, область, где как узкоугольная камера 11, так и широкоугольная камера 12 могли бы выявить светофор, по области, рассчитанной для каждой из узкоугольной камеры 11 и широкоугольной камеры 12.

Отметим, что область, где частота выявления светофоров превышает заданное пороговое значение, рассчитывается посредством предсказания количества пикселей в изображениях, полученных узкоугольной камерой 11 и широкоугольной камерой 12, на основе расстояния между объектом выявления и транспортным средством 5, а затем, использования того, превышает или нет предсказанное количество пикселей количество пикселей, которые должны быть выявлены, которое является пороговым значением, в ретроспективных данных выявления. Область, где светофор не отклоняется от угла обзора, рассчитывается на основе отклонения светофора от каждой оптической оси узкоугольной камеры 11 и широкоугольной камеры 12 вдоль направления движения транспортного средства 5.

Как показано на фиг. 3, при условии, что расстояние от транспортного средства 5 до светофора имеет значение X, область, где узкоугольная камера 11 может выявлять светофор, помечена нисходящей из правого угла диагональной штриховкой, и в области, где расположены светофоры T1 и T2, является областью N21<X<N1 по расстоянию в продольном направлении транспортного средства. Более того, область, где широкоугольная камера 12 может выявлять светофор, помечена нисходящей из левого угла диагональной штриховкой, и в области, где расположены светофоры T2 и T3, является областью W2<X<W1 по расстоянию в продольном направлении транспортного средства. Отметим, что направление ширины транспортного средства указывает область, которая не должна отклоняться от угла обзора в горизонтальном направлении узкоугольной камеры 11 и широкоугольной камеры 12, и становится уже по мере того, как сокращается расстояние в продольном направлении транспортного средства.

N1 и W1 - расстояния, на которых частоты выявления светофоров узкоугольной камерой 11 и широкоугольной камерой превышают заданное пороговое значение, и являются предопределенными значениями, установленными на основе расстояния, на котором светофор может соответственно быть выявлен из соответственных изображений. Область расстояния, где частота выявления светофоров узкоугольной камерой 11 превышает заданное пороговое значение, имеет значение X<N1, а область расстояния, в котором частота выявления светофоров широкоугольной камерой 12 превышает заданное пороговое значение, имеет значение X<W1. N2 и W2 - предопределенные значения, установленные на основе положения транспортного средства в продольном направлении из положений, в которых светофор отклоняется от угла обзора узкоугольной камеры 11 и широкоугольной камеры 12. Областью, где светофор отклоняется от угла обзора узкоугольной камеры 11, является X<N2 в продольном направлении транспортного средства, тем временем, областью, где светофор отклоняется от угла обзора широкоугольной камеры 12, является X<W2 в продольном направлении транспортного средства. Поскольку N2<W1, область, где как узкоугольная камера 11, так и широкоугольная камера 12 могут выявлять светофор, имеет значение N2<X<W1 в продольном направлении транспортного средства в области, где расположен светофор T2. Вычислитель 21 допускающей выявление области выдает N2<X<W1 в качестве информации D01 о допускающей выявление области.

Фиг. с 4(a) по 4(c) - схемы, показывающие изображения со светофором, захваченным в переднем направлении от транспортного средства 5, полученные из узкоугольной камеры 11 и широкоугольной камеры 12. Фиг. с 4(a) по 4(c) показывает состояния, где соответственно расположены светофоры с T1 по T3 по фиг. 3. Диапазон угла обзора узкоугольной камеры 11 расположен внутри диапазона угла обзора широкоугольной камеры 12. Фиг. 4(a) показывает светофор T1, расположенный в области, где светофор T1 может быть выявлен только узкоугольной камерой 11. Областью расстояния, где частота выявления светофора широкоугольной камерой 12 равна или меньше предопределенного порогового значения, является X≥W1. Фиг. 4(b) показывает светофор T2, расположенный в области, где как узкоугольная камера 11, так и широкоугольная камера 12 могут выявлять светофор. Фиг. 4(c) показывает светофор T2, расположенный в области, где светофор T2 может быть выявлен только широкоугольной камерой 12. Областью, где светофор отклоняется от угла обзора узкоугольной камеры 12, является X<N2.

На основе целевого замедления Dr, которое является целевым замедлением во время замедления транспортного средства 5, и информации Dv о скорости, вычислитель 22 области начала замедления рассчитывает область начала замедления, в которой транспортное средство 5 должно начинать замедление, для того чтобы останавливать транспортное средство 5 в положении остановки, применительно к каждому транспортному средству и выводит область начала замедления в качестве информации D02 об области начала замедления. Целевое замедление Dr может быть диапазоном целевого замедления.

При условии, что диапазон замедления, указанный целевым замедлением Dr, имеет значение от a₀ до a₁ (a₀<a₁), скорость транспортного средства 5, указанная информацией Dv о скорости, имеет значение v, а расстоянием от светофора до стоп-линии светофора является α, расстояние в продольном направлении от транспортного средства в области начала замедления может быть выражено Формулой (1).

v²/(2×a₀)-α ~ v²/(2×a₁)-α …(1)

В примере, показанном на фиг. 3, C1 соответствует v²/(2×a₁)-α, а C2 соответствует v²/(2×a₀)-α. Другими словами, информация D02 об области начала замедления означает, что, если замедление начато, в то время как расстояние X до светофора имеет значение C2≤X≤C1, транспортное средство 5 может остановиться в положении остановки с замедлением от a₀ до a₁. Замедление может настраиваться по величине и в диапазоне (от a₀ до a₁), принимая во внимание комфорт во время движения водителя, или тому подобное.

На основе информации D01 о допускающей выявление области и информации D02 об области начала замедления, вычислитель 23 допускающей переключение области рассчитывает допускающую переключение область, в которой процессор 3 изображений может переключаться с узкоугольного изображения на широкоугольное изображение, с тем чтобы не перекрываться со временем, в которое управление транспортным средством начинает замедление, и выдает допускающую переключение область в виде информации D03 о допускающей переключение области. В примере, показанном на фиг. 3, область, указанная информацией D03 о допускающей переключение области, является областью, полученной исключением информации D02 об области начала замедления из информации D01 о допускающей выявление области.

При условии, что процессор 3 изображений переключается с узкоугольного изображения на широкоугольное изображение, когда X находится в области начала замедления, транспортное средство 5 может задерживать решение применительно к остановке самого себя и требовать замедления, большего, чем целевое замедление Dr. Транспортное средство 5 определяет, следует или нет замедляться, для того чтобы останавливаться в положении, где X находится в допускающей переключение области, и начинает управление замедлением, и таким образом, может останавливаться в положении остановки для каждого светофора при замедлении с целевым замедлением Dr.

На основе предопределенного времени t задержки, когда процессор 3 изображений переключает узкоугольное изображение, используемое для выявления светофора, на широкоугольное изображение, и скорость v транспортного средства, указанная информацией Dv о скорости, вычислитель 24 расстояния задержки рассчитывает расстояние задержки применительно к транспортному средству 5 для перемещения в течение времени t задержки, и выводит расстояние задержки в виде информации D04 о расстоянии задержки. t может быть установлено заблаговременно. В примере, показанном на фиг. 3, при условии, что транспортное средство 5 движется на скорости v до тех пор, пока X не становится D2 из D1, применительно к времени t задержки, расстояние |D1-D2| задержки имеет значение vt.

Определитель 25 области переключения определяет, на основе информации D03 о допускающей переключение области и информации D04 о расстоянии задержки, область переключения, указывающая область, в которой процессор 3 изображений переключается с узкоугольного изображения на широкоугольное изображение, и выводит область переключения в качестве информации D05 об области переключения.

Определитель 25 области переключения определяет область, в которой расстояние задержки попадает в допускающую переключение область, в качестве области переключения. Более того, область переключения определяется так, чтобы светофор, выявленный на узкоугольном изображении с возможностями высокого разрешения, мог быть результатом выявления как можно дольше, даже если расстояние задержки формируется, когда светофор расположен в допускающей переключение области. Другими словами, определитель 25 области переключения определяет область, в которой расстояние |D1-D2| задержки близко к N2 и попадает в допускающую переключение область (N2<X<W1 за исключением C2≤X≤C1) в качестве области переключения.

В примере, показанном на фиг. 5, поскольку расстояние задержки не попадает на сторону N2 из области начала замедления, область (E2≤X≤E1), указанная информацией D05 об области переключения, определяется областью, как можно более близкой к C1 области на стороне W1. Отметим, что E1 и E2 соответствуют D1 и D2. Другими словами, когда светофор проходит E1, процессор 3 изображений переключается с узкоугольного изображения на широкоугольное изображение для выявления светофора. Можно переключаться с узкоугольного изображения на широкоугольное изображение до того, как светофор попадает в область начала замедления, и переключать результат выявления светофора, предотвращая воздействия на управление транспортным средством. Более того, в примере, показанном на фиг. 6, поскольку расстояние задержки умещается между C2 и N2, область (E2≤X≤E1), указанная информацией D05 об области переключения, определяется областью, как можно боле близкой к N2. Процессор 3 изображений может выявлять светофор с помощью узкоугольного изображения узкоугольной камеры 11 до тех пор, пока светофор не проходит область начала замедления. Более долгое использование узкоугольного изображения с высоким разрешением во время переключения результата выявления светофора с предотвращением воздействий на управление транспортного средства предоставляет возможность более высокоточного выявления светофора в течение более длительного времени.

На основе информации D03 о допускающей переключение области, информации Dp об относительном положении светофора, информации Dh о предыстории выбранной камеры и информации Dv о скорости, определитель 26 камеры выводит информацию Ds о выбранной камере, указывающую, какая из узкоугольной камеры 11 и широкоугольной камеры 12 используется для выявления светофора. Информация Dh о предыстории выбранной камеры указывает камеру, которая захватила изображение, используемое для выявления предыдущего светофора, и результат выявления предыдущего светофора. Информация Ds о выбранной камере указывает процессору 3 изображений, какой из светофора, выявленного на узкоугольном изображении, и светофора, выявленного на широкоугольном изображении, должен быть выведен в качестве информации Dt о светофоре.

Информация Dp об относительном положении указывает относительное положение каждого светофора относительно транспортного средства 5. Информация Dp об относительном положении оценивается по картографической информации, включающей в себя профили дорог и положения светофоров, и информации о положении транспортного средства 5. Информация о местоположении транспортного средства 5 получается из устройства определения местоположения, такого как приемник глобальной системы определения местоположения (GPS), датчик ускорения, установленного в транспортном средстве 5, датчик угла поворота управляемых колес и датчик 10 скорости транспортного средства. Отметим, что светофор, указывающий информацию Dp об относительном положении, является светофором, который посылает сигнал на транспортное средство 5, другими словами, светофором, которого должно придерживаться транспортное средство.

(Работа определителя камеры)

Ниже, со ссылкой на блок-схему последовательности операций способа по фиг. 7, будет описан примерный способ выявления светофора устройством выявления светофора согласно настоящему варианту осуществления. Нижеприведенный процесс выполняется определителем 26 камеры для каждого светофора, который дает сигнал транспортному средству 5.

На этапе S1 определитель 26 камеры определяет, находится или нет положение светофора в области, где узкоугольная камера 11 может выявлять светофор. Другими словами, определяется, является или нет расстояние X от транспортного средства 5 до светофора равным или большим, чем N2, рассчитанное вычислителем 21 допускающей выявление области, и находится ли светофор в области, где светофор не отклоняется от угла обзора в горизонтальном направлении узкоугольной камеры 11. Когда положение светофора находится в области, где узкоугольная камера 11 может выявлять светофор, определитель 26 камеры устанавливает процесс, переходящий на этап S2, и выбирает широкоугольную камеру 12 на этапе S7, когда положение светофора не находится в области, где узкоугольная камера 11 может выявлять светофор, поскольку узкоугольное изображение не может выявить светофор.

На этапе S2 определитель 26 камеры определяет, находится или нет положение светофора в области, где широкоугольная камера 12 может выявлять светофор. Отметим, что, поскольку угол обзора в горизонтальном направлении широкоугольной камеры 12 является более широким, чем угол обзора в горизонтальном направлении узкоугольной камеры 11, на этапе S2, светофор находится в области, где светофор не отклоняется от угла обзора по горизонтального направления широкоугольной камеры 12. Другими словами, определяется, является или нет расстояние X от транспортного средства 5 до светофора равным или меньшим, чем W1, рассчитанное вычислителем 21 допускающей выявление области. Когда транспортное средство 5 движется прямо на светофор, определитель 26 камеры будет определять, попадает или нет светофор, выявленный на узкоугольном изображении узкоугольной камеры 11 процессором 3 изображений в область, где широкоугольная камера 12 может выявлять светофор. Определитель 26 камеры устанавливает процесс, переходящий на этап S3, когда положение светофора находится в области, где широкоугольная камера 12 может выявлять светофор, и выбирает узкоугольную камеру 11 на этапе S8, когда положение светофора не находится в области, где широкоугольная камера 12 может выявлять светофор, поскольку светофор не может быть выявлен на широкоугольном изображении.

На этапе S3 определитель 26 камеры определяет, находится ли светофор, выявленный процессором 3 изображений в состоянии зеленого света. Определитель 26 камеры предписывает процесс, переходящий на этап S4, когда светофор не находится в состоянии зеленого света. Определитель 26 камеры устанавливает процесс, переходящий на этап S5, когда светофор находится в состоянии зеленого света.

На этапе S4 определитель 26 камеры определяет, проходит или нет положение светофора область начала замедления. Другими словами, определяется, попадает или нет расстояние X от транспортного средства 5 до светофора в область X≤C1, рассчитанную вычислителем 22 области начала замедления. Когда положение светофора не проходит область начала замедления, процесс переходит на этап S5. Когда светофор не находится в состоянии зеленого света, ли светофор не выявлен, и когда положение светофора проходит область начала замедления, определитель 26 камеры выбирает широкоугольную камеру 12 на этапе S9, поскольку транспортное средство 5 уже начало замедление, и даже если происходит задержка при переключении изображений для выявления светофора, когда светофор переключается на зеленый свет, или выявлен зеленый свет, задерживается только момент времени прекращения управления замедлением транспортного средства, и имеется небольшое влияние. Как результат, определитель 26 камеры может предотвращать задержку, обусловленную переключением результатов выявления, в то время как светофор находится в состоянии зеленого света.

На этапе S5 определитель 26 камеры определяет, происходит или нет результат выявления предыдущего светофора по информации Dh о предыстории выбранной камеры из узкоугольной камеры 11. Определитель 26 камеры устанавливает процесс, переходящий на этап S7, когда узкоугольная камера 11 выбрана в предыдущем процессе. Определитель 26 камеры устанавливает процесс, переходящий на этап S6, когда широкоугольная камера 12 выбрана в предыдущем процессе.

На этапе S6 определитель 26 камеры определяет для предыдущего процесса, проезжает ли транспортное средство 5 перекресток (светофор), на основе положения перекрестка (светофора), оцененного по информации о местоположении транспортного средства 5, и т. д. Когда определитель 26 камеры определяет, что транспортное средство 5 проезжает перекресток (светофор), процесс переходит на этап S7. Когда определитель 26 камеры определяет, что транспортное средство 5 не проезжает перекресток (светофор), процесс переходит на этап S9, для того чтобы минимизировать переключение результатов выявления, широкоугольная камера 21 непрерывно выбирается до тех пор, пока не определено, что транспортное средство 5 проезжает перекресток (светофор).

На этапе S7 определитель 26 камеры определяет, находится или нет положение выявленного светофора в области переключения, определенной определителем 25 области переключения на основе информации D05 об области переключения. Другими словами, определяется, имеет или нет расстояние X от транспортного средства 5 до светофора значение E2≤X≤E1. Определитель 26 камеры выбирает широкоугольную камеру 12 на этапе S9, когда положение светофора находится в области переключения. Определитель 26 камеры непрерывно выбирает узкоугольную камеру 11 на этапе S8, когда положение светофора не находится в области переключения.

Определитель 26 камеры формирует информацию Ds о выбранной камере, чтобы указывать процессору 3 изображений, что следует выводить светофор, выявленный из изображения камеры, выбранной на этапе S8 или этапе S9, в качестве информации Dt о светофоре и выдавать ее в процессор 3 изображений.

С устройством выявления светофора согласно настоящему варианту осуществления, в то время как светофор расположен в области переключения, определенной избегающей области начала замедления, результат выявления переключается со светофора, выявленного на узкоугольном изображении, на светофор, выявленный на широкоугольном изображении. Как результат, устройство выявления светофора согласно настоящему варианту осуществления может подавлять воздействия на управление транспортным средством, переключать результат выявления светофора и выполнять плавное управление замедлением транспортного средства 5.

Более того, с устройством выявления светофора согласно настоящему варианту осуществления область переключения устанавливается на основе расстояния, на котором светофор отклоняется от угла обзора узкоугольной камеры 11, так чтобы результат выявления узкоугольной камерой 11 с возможностями высокого разрешения мог выбираться на длительное время. Соответственно, устройство выявления светофора согласно настоящему варианту осуществления может улучшать точность выявления светофоров.

Более того, с устройством выявления светофора согласно варианту осуществления настоящего изобретения, результат выявления переключается на таковой из широкоугольной камеры 12 на основе расстояния, на которое светофор отклоняется от угла обзора узкоугольной камеры 12, когда выявленный светофор находится в состоянии зеленого света. Как результат, устройство выявления светофора согласно настоящему варианту осуществления может выбирать результат выявления узкоугольной камерой 11 с возможностями высокого разрешения в течение длительного времени и улучшать точность выявления светофора.

Более того, с устройством выявления светофора согласно настоящему варианту осуществления область переключения устанавливается на основе расстояния, на котором светофор может быть выявлен на широкоугольном изображении, так чтобы результат выявления с помощью узкоугольной камеры 11 мог непрерывно выбираться в положении, в котором точность выявления с помощью широкоугольной камеры 12 низка. Соответственно, устройство выявления светофора согласно настоящему варианту осуществления может выбирать результат выявления узкоугольной камерой 11 с возможностями высокого разрешения в течение длительного времени и улучшать точность выявления светофора.

Более того, с устройством выявления светофора согласно настоящему варианту осуществления, когда выявленный светофор не находится в состоянии зеленого света, или светофор не может быть выявлен, и когда выявленный светофор проходит область начала замедления, поскольку транспортное средство 5 уже начало замедление, светофор, выявленный на широкоугольном изображении, выбирается в качестве результата выявления. Как результат, устройство выявления светофора согласно настоящему изобретению может предотвращать задержку, обусловленную переключением результата выявления, в то время как светофор находится в состоянии зеленого света.

Более того, с устройством выявления светофора согласно настоящему варианту осуществления, когда выбран результат выявления широкоугольной камерой 12, широкоугольная камера 12 непрерывно выбирается до тех пор, пока транспортное средство 5 не проезжает перекресток. Как результат, устройство выявления светофора согласно настоящему варианту осуществления может сокращать ненужные переключения результатов выявления и минимизировать переключение результатов выявления.

(Другие варианты осуществления)

Хотя настоящее изобретение было описано вариантами осуществления, описанными выше, не подразумевается, что описание и чертежи, как часть раскрытия, ограничивают настоящее изобретение. Различные модифицированные варианты осуществления, примеры и технологии применения будут очевидны специалистам в данной области техники исходя из этого раскрытия.

Например, в вариантах осуществления, описанных выше, процессы по этапу S3 и этапу S4 в блок-схеме последовательности операций способа по фиг. 6 могут выполняться в обратном порядке. В качестве альтернативы, конечно, настоящее изобретение включает в себя различные варианты осуществления, не описанные в этом описании, такие как взаимно используемая конфигурация. Поэтому, технический объем настоящего изобретения определен только соответствующими признаками согласно объему формулы изобретения, принимая во внимание пояснения, приведенные выше.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Согласно настоящему изобретению могут быть предоставлены устройство выявления светофора и способ выявления светофора, которые могут ослаблять воздействия на управление транспортным средством, обусловленные переключением, посредством выполнения переключения результатов выявления, принимая во внимание область начала замедления, в которой транспортное средство должно начать замедление.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ

4 блок выявления светофора

5 транспортное средство

10 датчик скорости транспортного средства

11 узкоугольная камера

12 широкоугольная камера

Claims

1. Устройство выявления светофора, содержащее:

узкоугольную камеру, которая захватывает изображение перед транспортным средством;

широкоугольную камеру, которая захватывает изображение перед транспортным средством и имеет угол обзора более широкий, чем узкоугольная камера; и

блок выявления светофора, выполненный с возможностью выявлять светофор на, по меньшей мере, любом узкоугольном изображении, захваченном узкоугольной камерой, и широкоугольном изображении, захваченном широкоугольной камерой,

при этом блок выявления светофора выбирает, в качестве результата выявления, какой-нибудь из светофора, выявленного на узкоугольном изображении, и светофора, выявленного на широкоугольном изображении, на основе области начала замедления, в которой транспортное средство должно начать замедление, для того чтобы остановить транспортное средство в положении остановки относительно светофора, причем область начала замедления рассчитывается по положению светофора относительно транспортного средства и скорости транспортного средства.

2. Устройство выявления светофора по п. 1,

в котором блок выявления светофора выбирает, в качестве результата выявления, светофор, выявленный на широкоугольном изображении, когда положение светофора относительно транспортного средства находится в области, где светофор отклоняется от угла обзора узкоугольной камеры.

3. Устройство выявления светофора по п. 2,

в котором блок выявления светофора выбирает, в качестве результата выявления, светофор, выявленный на широкоугольном изображении, когда положение светофора относительно транспортного средства не равно и не больше, чем заданное значение, установленное на основе расстояния, на которое светофор отклоняется от угла обзора узкоугольной камеры, и когда выявленный светофор находится в состоянии зеленого света.

4. Устройство выявления светофора по п. 1,

в котором блок выявления светофора выбирает, в качестве результата выявления, светофор, выявленный на широкоугольном изображении, когда расстояние от транспортного средства до светофора находится в диапазоне расстояний, в котором светофор может быть выявлен на широкоугольном изображении.

5. Устройство выявления светофора по п. 4,

в котором блок выявления светофора выбирает, в качестве результата выявления, светофор, выявленный на широкоугольном изображении, когда выявленный светофор не находится в состоянии зеленого света, или светофор не может быть выявлен, и когда расстояние от транспортного средства до светофора находится в диапазоне расстояний, в котором светофор может быть выявлен на широкоугольном изображении.

6. Устройство выявления светофора по п. 1,

в котором блок выявления светофора продолжает выбирать, в качестве результата выявления, светофор, выявленный на широкоугольном изображении, до тех пор, пока не определено, что транспортное средство проезжает через перекресток, когда светофор, выявленный на широкоугольном изображении, выбран в качестве результата выявления.

7. Способ выявления светофора, содержащий этапы, на которых:

выявляют светофор из, по меньшей мере, какого-нибудь на узкоугольном изображении, захваченном узкоугольной камерой, которая захватывает изображение перед транспортным средством, и широкоугольном изображении, захваченном широкоугольной камерой, которая захватывает изображение перед транспортным средством и имеет угол обзора более широкий, чем узкоугольная камера;

рассчитывают, по положению светофора относительно транспортного средства и скорости транспортного средства, область начала замедления, в которой транспортное средство должно начать замедление, для того чтобы остановить транспортное средство в положении остановки относительно светофора; и

выбирают какой-нибудь из светофора, выявленного на узкоугольном изображении, и светофора, выявленного на широкоугольном изображении, на основе области начала замедления.