RU2700646C2

RU2700646C2 - Устройство обнаружения светофора и способ обнаружения светофора

Info

Publication number: RU2700646C2
Application number: RU2017146241A
Authority: RU
Inventors: Даики ЯМАНОИ; Харуо МАЦУО; Такахико ОКИ; Акира СУДЗУКИ
Original assignee: Ниссан Мотор Ко., Лтд.
Priority date: 2015-06-09
Filing date: 2015-06-09
Publication date: 2019-09-18
Also published as: MX363873B; EP3309767A1; BR112017026297A2; US10210407B2; JPWO2016199225A1; CA2988843C; EP3309767A4; RU2017146241A; EP3309767B1; RU2017146241A3; MX2017015718A; JP6432680B2; CN107735826B; US20180349717A1; WO2016199225A1; CA2988843A1; KR101974772B1; CN107735826A; BR112017026297B1; KR20180009786A

Abstract

Группа изобретений относится к устройству и способу обнаружения светофоров. Устройство, осуществляющее способ, содержит блок оценки позиции светофора, оценивающий относительную позицию светофора относительно транспортного средства на основе картографической информации, блоки задания первой, второй и третьей области обнаружения, а также блок обнаружения светофора. Блок задания первой области обнаружения задает первую область обнаружения на изображении для каждого светофора, спрогнозированного как присутствующего на изображении. Блок задания второй области обнаружения задает, когда прогнозируется, что множество светофоров присутствует на изображении, вторую область обнаружения, включающую в себя множество спрогнозированных светофоров на изображении. Блок задания третьей области обнаружения задает третью область обнаружения посредством корректировки первой области обнаружения на основе вероятных сигнальных ламп светофоров, обнаруженных из второй области обнаружения. Блок обнаружения светофора обнаруживает светофоры из третьей области обнаружения. Обеспечивается улучшение точности обнаружения светофоров. 2 н. и 6 з.п. ф-лы, 16 ил.

Description

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству обнаружения светофора и способу обнаружения светофора для обнаружения светофора.

Уровень техники

[0002] Предлагается система, которая определяет область обработки изображения для данных изображения, полученных посредством захвата изображения впереди транспортного средства, на основе позиции светофора, спрогнозированной из формы дороги, по которой транспортное средство движется, и текущей позиции транспортного средства и обнаруживает светофор из области обработки изображения (см. патентную литературу 1). Такая система уменьшает нагрузку обработки при обработке изображения и уменьшает ошибочное обнаружение другого светофора, ограничивая целевую область обработки изображения.

Список ссылок

Патентная литература

[0003] Патентная литература 1: Японская выложенная патентная заявка № 2007-241469

Сущность изобретения

[0004] Однако, технология, описанная в патентной литературе 1, не учитывает какую-либо погрешность, включенную в текущую позицию обнаруженного транспортного средства, при определении области обработки изображения. Поскольку погрешность текущей позиции транспортного средства значительно изменяется в соответствии с условиями движения и окружающей обстановкой для транспортного средства, с помощью технологии, описанной в патентной литературе 1, когда существует погрешность текущей позиции транспортного средства, светофор может отклоняться от области обработки изображения и может не быть обнаружен в некоторых случаях.

[0005] Настоящее изобретение было выполнено, принимая во внимание вышеописанную проблему, и его задачей является предоставление устройства обнаружения светофора и способа обнаружения светофора, которые могут улучшать точность обнаружения светофоров.

[0006] Устройство обнаружения светофора задает третью область обнаружения посредством корректировки первой области обнаружения, заданной на основе относительной позиции светофора, на основе вероятных сигнальных ламп, обнаруженных из фактической окружающей обстановки, и обнаруживает светофор из третьей заданной области.

Краткое описание чертежей

[0007] Фиг. 1 - это блок-схема, схематично иллюстрирующая основную конфигурацию устройства обнаружения светофора согласно варианту осуществления настоящего изобретения.

Фиг. 2 - это блок-схема, иллюстрирующая конфигурацию и поток данных устройства обнаружения светофора согласно варианту осуществления настоящего изобретения.

Фиг. 3 - это пояснительная схема второй области обнаружения, используемой в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения.

Фиг. 4 - это пояснительная схема вероятных сигнальных ламп, используемых в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения.

Фиг. 5 - это блок-схема, иллюстрирующая конфигурацию и поток данных блока задания области обнаружения светофора, предусмотренного в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения.

Фиг. 6 - это пояснительная схема первой области обнаружения, используемой в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения.

Фиг. 7 - это блок-схема последовательности операций, иллюстрирующая примерный способ обнаружения сигнала посредством устройства обнаружения светофора согласно варианту осуществления настоящего изобретения.

Фиг. 8 - это блок-схема последовательности операций, иллюстрирующая примерный процесс блока вычисления корректировки, предусмотренного в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения.

Фиг. 9 - это пояснительная схема примерного процесса блока вычисления корректировки, предусмотренного в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения, когда все сигнальные лампы светофора обнаруживаются в качестве вероятных сигнальных ламп.

Фиг. 10 - это пояснительная схема примерного процесса блока вычисления корректировки, предусмотренного в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения, когда поворот относительно продольной оси возникает в захваченном изображении.

Фиг. 11 - это пояснительная схема примерного процесса блока вычисления корректировки, предусмотренного в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения, когда обнаруживаются только две вероятных сигнальных лампы.

Фиг. 12 - это пояснительная схема примерного процесса блока вычисления корректировки, предусмотренного в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения, когда число обнаруженных вероятных сигнальных ламп больше числа первых областей обнаружения.

Фиг. 13 - это пояснительная схема примерного процесса блока вычисления корректировки, предусмотренного в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения, когда число обнаруженных вероятных сигнальных ламп больше числа первых областей обнаружения.

Фиг. 14 - это пояснительная схема примерного процесса блока вычисления корректировки, предусмотренного в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения, когда число обнаруженных вероятных сигнальных ламп больше числа первых областей обнаружения.

Фиг. 15 - это пояснительная схема примерного процесса блока вычисления корректировки, предусмотренного в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения, когда число обнаруженных вероятных сигнальных ламп меньше числа первых областей обнаружения.

Фиг. 16 - это пояснительная схема примерного процесса блока задания третьей области обнаружения в устройстве обнаружения светофора согласно варианту осуществления настоящего изобретения, когда масштаб относительно полного изображения также изменяется.

Описание вариантов осуществления

[0008] Со ссылкой на чертежи будут описаны варианты осуществления настоящего изобретения. В описании чертежей одинаковые или аналогичные части обозначаются одинаковыми или аналогичными ссылочными знаками, и перекрывающиеся описания пропускаются.

[0009] (Устройство обнаружения светофора)

Как показано на фиг. 1, устройство 100 обнаружения светофора согласно настоящему варианту осуществления обнаруживает, из изображения, захваченного посредством блока захвата изображения (камеры), установленного в транспортном средстве (подвижном объекте) 5, светофор, установленный около дороги, по которой транспортное средство 5 движется. Устройство 100 обнаружения светофора принимает входные данные из информации D01 об ориентире, картографической информации D02 и информации D03 камеры. Устройство 100 обнаружения светофора выводит результат обнаружения светофора в качестве информации D04 о светофоре на основе информации D01 об ориентире, картографической информации D02 и информации D03 камеры.

[0010] Информация D01 об ориентире используется, чтобы обнаруживать текущую позицию (собственную позицию) на карте для транспортного средства 5, которое движется в фактическом окружении. Ориентиры включают в себя характерный объект, предусмотренный на земле (наземные ориентиры), и GPS-спутник, который передает GPS-сигналы, принимаемые транспортным средством 5. Например, информация D01 об ориентире содержит позиционную информацию о наземных ориентирах на карте. Картографическая информация D02 содержит позиционную информацию, такую как форма дороги, по которой транспортное средство 5 движется, и позиционную информацию, такую как наземные ориентиры, в которых позиции в фактическом окружении и позиции на карте ассоциируются друг с другом заранее. Информация D03 камеры используется, чтобы получать изображение окружения (например, спереди) транспортного средства от блока формирования изображения. Например, задаются информация о масштабировании, панорамировании и наклоне для определения направления захвата изображения, информация для определения разрешения изображения и т.п.

[0011] Как показано на фиг. 2, устройство 100 обнаружения светофора включает в себя блок захвата изображения (камеру) 11, блок 12 обнаружения собственной позиции, блок 13 оценки позиции светофора, блок 14 задания второй области обнаружения, блок 15 обнаружения сигнальной лампы, блок 16 задания области обнаружения светофора и блок 17 обнаружения светофора.

[0012] Блок 11 захвата изображения устанавливается в транспортном средстве 5, чтобы захватывать и получать изображение окружающей обстановки транспортного средства 5. Блок 11 захвата изображения включает в себя твердотельный элемент формирования изображения, такой как CCD или CMOS, и получает цифровые изображения, для которых может быть выполнена обработка изображения. Блок 11 захвата изображения задает угол обзора, вертикальный и горизонтальный углы, разрешение и т.п. камеры на основе информации D03 камеры и выводит изображение, захваченное для необходимой области окружающей обстановки транспортного средства 5 в качестве данных D08 изображения.

[0013] Блок 12 обнаружения собственной позиции обнаруживает, на основе информации D01 об ориентире и картографической информации D02, текущую позицию (собственную позицию) на карте для транспортного средства 5. Например, информация D01 об ориентире является информацией об относительной позиции, относительно транспортного средства 5, наземного ориентира (магазина, достопримечательности и места осмотра достопримечательностей и т.д.), обнаруженного посредством датчика, такого как камера в транспортном средстве или лазерный радар. Блок 12 обнаружения собственной позиции может обнаруживать текущую позицию (собственную позицию) на карте для транспортного средства 5 посредством сверки позиционной информации наземного ориентира из информации D01 об ориентире с позиционной информацией наземного ориентира из картографической информации D02.

[0014] Здесь, в настоящем варианте осуществления, "позиция" включает в себя координаты и ориентацию. В частности, позиция наземного ориентира включает в себя координаты и ориентацию наземного ориентира, а текущая позиция транспортного средства 5 включает в себя координаты и ориентацию на карте для транспортного средства 5. Блок 12 обнаружения собственной позиции выводит координаты, представленные в эталонной декартовой системе координат, и ориентации в направлениях поворота соответствующих координатных осей в качестве информации D05 о собственной позиции.

[0015] Например, блок 12 обнаружения собственной позиции обнаруживает первоначальную позицию на карте для транспортного средства 5 с помощью информации D01 об ориентире и картографической информации D02 и обнаруживает текущую позицию (собственную позицию) на карте для транспортного средства 5 посредством кумулятивного добавления интервала перемещения транспортного средства 5 к первоначальной позиции. Блок 12 обнаружения собственной позиции может оценивать интервал перемещения транспортного средства 5 в единицу времени, т.е., величину изменения в координатах и ориентации, с помощью одометрии, радара, гиродатчика, датчика угла поворота вокруг вертикальной оси, датчика угла поворота управляемых колес или т.п.

[0016] Блок 13 оценки позиции светофора оценивает относительную позицию светофора относительно транспортного средства 5 на основе картографической информации D02 и информации D05 о собственной позиции. Блок 13 оценки позиции светофора оценивает относительные координаты светофора относительно транспортного средства 5 из координатной информации на карте для светофора, присутствующего в окружении транспортного средства 5, и информации о координатах и ориентации по текущей позиции на карте для транспортного средства. Блок 13 оценки позиции светофора выводит оцененные относительные координаты светофора в качестве информации D06 об относительной позиции. Светофор, указанный посредством информации D06 об относительной позиции, является светофором для представления сигнала светофора транспортному средству 5, другими словами светофором, которому должно следовать транспортное средство.

[0017] Когда прогнозируется, что множество светофоров представлено на изображении, захваченном посредством блока 11 захвата изображения, из относительной позиции светофора, указанной посредством информации D06 об относительной позиции, блок 14 задания второй области обнаружения задает вторую область обнаружения, включающую в себя множество спрогнозированных светофоров на изображении. Поскольку блок 11 захвата изображения закрепляется на транспортном средстве, когда угол обзора и направление захвата изображения блока 11 захвата изображения определяются, блок 14 задания второй области обнаружения может прогнозировать область светофоров на изображении из информации D06 об относительной позиции. Блок 14 задания второй области обнаружения задает вторую область обнаружения, включающую в себя множество светофоров, на основе спрогнозированной области светофоров на изображении и выводит вторую область обнаружения в качестве информации D07 о второй области обнаружения.

[0018] Для того, чтобы соответствующие светофоры не отклонялись от второй области обнаружения, даже если поведение транспортного средства 5 и информация D05 о собственной позиции включают в себя погрешности, блок 14 задания второй области обнаружения учитывает эти погрешности и задает вторую область обнаружения, включающую в себя всю область спрогнозированных светофоров на изображении. Например, как показано на фиг. 3, когда прогнозируется, что существует множество светофоров TS1-TS4 на изображении, указанном посредством данных D08 изображения, информация D07 о второй области обнаружения задается имеющей предварительно определенный запас с учетом погрешности на верхнем, нижнем, правом и левом краях областей для множества светофоров TS1-TS4.

[0019] Блок 15 обнаружения сигнальной лампы выполняет обработку изображения для обнаружения сигнальной лампы светофора по второй области обнаружения изображения, захваченного посредством блока 11 захвата изображения и, тем самым, обнаруживает вероятные сигнальные лампы, имеющие отличительный признак сигнальной лампы светофора, из второй области обнаружения. Например, блок 15 обнаружения сигнальной лампы извлекает пикселы, которые мерцают с конкретным циклом на основе переменного цикла электроснабжения от сети общего пользования, и затем определяет их область в качестве вероятной сигнальной лампы. Альтернативно, блок 15 обнаружения сигнальной лампы может обнаруживать вероятные сигнальные лампы с помощью обработки для определения цвета и сходства формы. Как описано выше, блок 15 обнаружения сигнальной лампы может обнаруживать вероятные сигнальные лампы с помощью различных способов обработки изображения или их сочетания. Блок 15 обнаружения сигнальной лампы выводит позицию и область на изображении обнаруженных вероятных сигнальных ламп в качестве информации D09 о вероятной сигнальной лампе.

[0020] Отметим, что блок 15 обнаружения сигнальной лампы выполняет обработку изображения только по второй области обнаружения, заданной в части изображения, вместо всей области изображения, захваченного посредством блока 11 захвата изображения, и, таким образом, может уменьшать нагрузку обработки и время обработки для обнаружения вероятных сигнальных ламп. Однако, вторая область обнаружения может быть задана, посредством блока 14 задания второй области обнаружения, как вся область изображения, захваченного посредством блока 11 захвата изображения. Например, в примере, показанном на фиг. 3, когда блок 15 обнаружения сигнальной лампы обнаруживает вероятные сигнальные лампы из второй области обнаружения, информация D09 о вероятной сигнальной лампе устанавливается в область сигнальных ламп, которые светятся в соответствующих светофорах TS1-TS4, как показано на фиг. 4.

[0021] Блок 16 задания области обнаружения светофора задает третью область обнаружения, которая является более узкой, чем вторая область обнаружения, и соответствует соответствующим светофорам, на изображении, захваченном посредством блока 11 захвата изображения, на основе информации D06 об относительной позиции и информации D09 о вероятной сигнальной лампе, и выводит третью область обнаружения в качестве информации D10 о третьей области обнаружения. Подробное описание блока 16 задания области обнаружения светофора будет описано позже.

[0022] Блок 17 обнаружения светофора выполняет обработку изображения для обнаружения светофора по третьей области обнаружения для изображения, захваченного посредством блока 11 захвата изображения, и, таким образом, обнаруживает светофор из третьей области обнаружения, чтобы выводить светофор в качестве информации D04 о светофоре. Например, блок 17 обнаружения светофора сохраняет шаблоны отличительных признаков для всего изображения, включающие в себя корпус светофора и сигнальную лампу, заранее и определяет более высокое сходство в качестве светофора с помощью совпадения шаблона изображения в третьей области обнаружения. Способ, аналогичный способу блока 15 обнаружения сигнальной лампы, может быть объединен, или светофор может быть обнаружен из третьей области обнаружения с помощью различных способов обработки изображения или их сочетания. Поскольку третья область обнаружения является более узкой, чем вторая область обнаружения, даже способ, аналогичный способу блока 15 обнаружения сигнальной лампы, может обнаруживать светофор, исключая сигнальные лампы, отличные от сигнальной лампы светофора, из вероятных сигнальных ламп, обнаруженных во второй области обнаружения.

[0023] Блок 12 обнаружения собственной позиции, блок 13 оценки позиции светофора, блок 14 задания второй области обнаружения, блок 15 обнаружения сигнальной лампы, блок 16 задания области обнаружения светофора и блок 17 обнаружения светофора реализуются посредством микроконтроллера, включающего в себя, например, центральный процессор (CPU), память и блок ввода/вывода. В этом случае CPU выполняет компьютерные программы, предварительно установленные в микроконтроллере, чтобы конфигурировать множество блоков (12-17) обработки информации, соответственно. Микроконтроллер может быть использован также в качестве электронного блока управления (ECU), используемого для другого управления, связанного с транспортным средством 5, такого как автоматическое управление движением, например.

[0024] Как показано на фиг. 5, блок 16 задания области обнаружения светофора включает в себя блок 21 задания первой области обнаружения, блок 22 вычисления корректировки и блок 23 задания третьей области обнаружения.

[0025] Блок 21 задания первой области обнаружения задает первую область обнаружения на изображении для каждого светофора, спрогнозированного как присутствующего на изображении, захваченном посредством блока 11 захвата изображения, из относительной позиции светофора, указанной посредством информации D06 об относительной позиции. Поскольку блок 11 захвата изображения закрепляется на транспортном средстве, когда угол обзора и направление захвата изображения блока 11 захвата изображения определяются, блок 21 задания первой области обнаружения может прогнозировать область светофора на изображении из информации D06 об относительной позиции. Блок 14 задания второй области обнаружения задает первую область обнаружения для каждого из спрогнозированных светофоров и выводит информацию D11 о первой области обнаружения.

[0026] Например, блок 21 задания первой области обнаружения может задавать первую область обнаружения, чтобы включать в нее корпус светофора, так что первая область обнаружения может включать в себя светофор независимо от того, какая сигнальная лампа в светофоре зажжена.

[0027] Альтернативно, блок 21 задания первой области обнаружения может задавать первую область обнаружения с учетом вероятности, что информации D05 о собственной позиции отклоняется в направлении движения транспортного средства 5. Например, когда расстояние от транспортного средства 5 до светофора вычисляется как 60 м на основе информации D05 о собственной позиции, предполагается, что фактическое расстояние от транспортного средства 5 до светофора равно 50 м. В этом случае, размер светофора на фактическом изображении равен 60/50-кратному размеру светофора на изображении, спрогнозированном из информации D05 о собственной позиции. Кроме того, когда расстояние от транспортного средства 5 до светофора отклоняется, информация D06 об относительной позиции также отклоняется. Например, в примере, показанном на фиг. 3, когда расстояние до светофора, который находится в 50 м впереди, вычисляется как равное 60 м, светофоры TS1-TS3 сзади сдвигаются выше влево, а светофор TS4 впереди сдвигается выше вправо. Таким образом, блок 21 задания первой области обнаружения может задавать, с учетом погрешности, которая может возникать в информации D05 о собственной позиции, первую область обнаружения, полученную посредством добавления области, которая может компенсировать отклонение на изображении светофора.

[0028] Когда светофоры TS1-TS4 прогнозируются, как показано на фиг. 3, блок 21 задания первой области обнаружения задает первые области обнаружения в области, соответствующие соответственным светофорам TS1-TS4, как показано на фиг. 6, и формирует изображение M маски, которое маскирует изображение, исключая первые области обнаружения. Блок 21 задания первой области обнаружения выводит изображение M маски в качестве информации D11 о первой области обнаружения.

[0029] Блок 22 вычисления корректировки вычисляет, на основе информации D09 о вероятных сигнальных лампах и информации D11 о первой области обнаружения, величину корректировки (значение корректировки) для первой области обнаружения. Блок 22 вычисления корректировки сверяет позиции вероятных сигнальных ламп, обнаруженных во второй области обнаружения, с первыми областями обнаружения изображения M маски и определяет позицию, в которой позиции вероятных сигнальных ламп наиболее близко соответствуют первым областям обнаружения изображения M маски. Блок 22 вычисления корректировки вычисляет значение корректировки, требуемое, чтобы корректировать изображение M маски в позицию, в которой позиции вероятных сигнальных ламп наиболее близко соответствуют первым областям обнаружения изображения M маски, и выводит значение корректировки в качестве информации D12 о корректировке. Подробное описание блока 22 вычисления корректировки будет описано позже.

[0030] Блок 23 задания третьей области обнаружения корректирует, на основе значения корректировки, указанного посредством информации D12 о корректировке, позиции на изображении первых областей обнаружения, указанных посредством информации D11 о первой области обнаружения, задает третью область обнаружения на изображении, захваченном посредством блока 11 захвата изображения, задавая скорректированные позиции на изображении первых областей обнаружения в качестве третьей области обнаружения, и выводит третьи области обнаружения в качестве информации D10 о третьей области обнаружения.

[0031] (Способ обнаружения светофора)

Ниже в данном документе примерный способ обнаружения светофора посредством устройства обнаружения светофора согласно настоящему варианту осуществления будет описан с помощью блок-схемы последовательности операций на фиг. 7.

[0032] На этапе S1, когда прогнозируется, что множество светофоров присутствует на изображении, на основе информации D06 об относительной позиции, блок 14 задания второй области обнаружения задает вторую область обнаружения, включающую в себя множество прогнозируемых светофоров, на изображении, захваченном посредством блока 11 захвата изображения.

[0033] На этапе S2 блок 15 обнаружения сигнальной лампы выполняет обработку изображения для обнаружения сигнальных ламп светофоров на изображении второй области обнаружения и, таким образом, обнаруживает вероятные сигнальные лампы, имеющие отличительный признак сигнальной лампы светофора, из второй области обнаружения. Позиции и области на изображении обнаруженных вероятных сигнальных ламп выводятся в качестве информации D09 о вероятных сигнальных лампах.

[0034] На этапе S3, блок 21 задания первой области обнаружения задает, на основе информации D06 об относительной позиции светофоров, первую область обнаружения на изображении для каждого из светофоров, спрогнозированных как присутствующие на изображении, захваченном посредством блока 11 захвата изображения.

[0035] На этапе S4 блок 22 вычисления корректировки определяет позицию, в которой позиции вероятных сигнальных ламп, обнаруженных во второй области обнаружения, наиболее близко соответствует первым областям обнаружения изображения M маски. Сверка выполняется посредством перемещения изображения M маски по изображению, чтобы определять позицию, в которой первые области обнаружения наиболее близко перекрываются с и соответствуют позициям вероятных сигнальных ламп. Блок 22 вычисления корректировки вычисляет интервал перемещения изображения M маски в позицию, в которой позиции вероятных сигнальных ламп наиболее близко соответствуют первым областям обнаружения изображения M маски в это время, в качестве значения корректировки, требуемого для корректировки в позицию, в которой позиции вероятных сигнальных ламп наиболее близко соответствуют первым областям обнаружения изображения M маски.

[0036] На этапе S5 блок 23 задания третьей области обнаружения выполняет корректировку посредством перемещения первой области обнаружения на значение корректировки, вычисленное посредством блока 22 вычисления корректировки, и задает скорректированную позицию на изображении первых областей обнаружения в качестве третьих областей обнаружения.

[0037] На этапе S6 блок 17 обнаружения светофора выполняет обработку изображения для обнаружения светофора по третьим областям обнаружения изображения, захваченного посредством блока 11 захвата изображения, и, таким образом, обнаруживает светофоры из третьей области обнаружения.

[0038] (Обработка блока 22 вычисления корректировки)

Ниже в данном документе обработка блока 22 вычисления корректировки на этапе S4 блок-схемы последовательности операций на фиг. 7 будет описана с помощью блок-схемы последовательности операций, показанной на фиг. 8.

[0039] На этапе S41 блок 22 вычисления корректировки задает первоначальное значение для значения i счетчика в N, где N - это число первых областей обнаружения. На этапе S42 блок 22 вычисления корректировки определяет, равно или нет значение i счетчика одному. Блок 22 вычисления корректировки переводит процесс к этапу S43, когда значение i счетчика равно одному, и вычисляет значение корректировки как нулевое. Блок 22 вычисления корректировки переводит процесс к этапу S44, когда значение i счетчика не равно одному.

[0040] На этапе S44 блок 22 вычисления корректировки сверяет первые области обнаружения изображения M маски с позициями вероятных сигнальных ламп, обнаруженными во второй области обнаружения, и определяет, существует или нет позиция, где число позиций вероятных сигнальных ламп, соответствующих (перекрывающихся с) первым областям обнаружения, равно i. Когда позиция, в которой число равно i, может быть определена, блок 22 вычисления корректировки переводит процесс к этапу S45 и вычисляет интервал перемещения от первых областей обнаружения в позицию, в которой число равно i, как значение корректировки. Когда позиция, в которой число равно i, не может быть определена, блок 22 вычисления корректировки уменьшает значение i счетчика и возвращает процесс к этапу S42. Значение корректировки задается в координаты (x, y) перемещения и угол (θ) поворота первых областей обнаружения, когда позиции вероятных сигнальных ламп наиболее близко соответствуют первым областям обнаружения изображения M маски на последнем этапе S44.

[0041] Например, фиг. 9 является примером вычисления значения корректировки, когда число N первых областей обнаружения равно четырем, а светящие сигнальные лампы всех светофоров обнаруживаются в качестве вероятных сигнальных ламп. Предполагается, что все первые области обнаружения перекрываются с позициями вероятных сигнальных ламп. В этом случае блок 22 вычисления корректировки вычисляет значение корректировки, чтобы задавать позицию, где все вероятные сигнальные лампы находятся близко к центрам соответствующих первых областей обнаружения, в качестве позиций вероятных сигнальных ламп, наиболее близко соответствующих первым областям обнаружения. В примере, показанном на фиг. 10, блок 22 вычисления корректировки вычисляет интервал перемещения изображения M маски, переводя соответствующие первые блоки обнаружения ниже вправо. Значение корректировки вычисляется как координаты перемещения (пиксел) (x, y) и угол θ (=0) поворота.

[0042] Фиг. 10 - это пример вычисления значения корректировки, когда поворот вокруг продольной оси возникает в изображении, захватываемом посредством блока 11 захвата изображения, хотя число N первых областей обнаружения равно четырем, и светящие сигнальные лампы всех светофоров обнаруживаются в качестве вероятных сигнальных ламп. Предполагается, что число, при котором первые области обнаружения соответствуют позициям вероятных сигнальных ламп, меньше четырех. Поворот относительно продольной оси может возникать вследствие поведения транспортного средства 5. В этом случае блок 22 вычисления корректировки задает i=4, поворачивая изображение M маски на угол θ поворота. Кроме того, блок 22 вычисления корректировки определяет позицию, в которой позиции соответствующих вероятных сигнальных ламп находятся близко к центрам первых областей обнаружения, и, таким образом, вычисляет значение корректировки. В этом случае значение корректировки вычисляется как координаты (x, y) перемещения и угол θ поворота.

[0043] Фиг. 11 - это пример вычисления значения корректировки, когда только две вероятных сигнальных лампы могут быть обнаружены вследствие сдерживания угла обзора блока 11 захвата изображения и т.п., хотя число N первых областей обнаружения равно четырем. В этом случае блок 22 вычисления корректировки определяет позицию, в которой позиции двух вероятных сигнальных ламп перекрываются с соответствующими первыми областями обнаружения изображения M маски, переводя изображение M маски ниже вправо (i=2). Кроме того, блок 22 вычисления корректировки определяет позицию, в которой позиции двух вероятных сигнальных ламп находятся близко к центрам соответствующих первых областей обнаружения изображения M маски в состоянии, когда значение i счетчика равно двум, и вычисляет значение корректировки. Значение корректировки вычисляется как координаты перемещения (x, y) и угол θ (=0) поворота.

[0044] Фиг. 12 - это пример вычисления значения корректировки, когда число обнаруженных вероятных сигнальных ламп больше числа первых областей обнаружения. Например, предполагается, что семь вероятных сигнальных ламп, включающих в себя ошибочные обнаружения, обнаруживаются благодаря объектам в окружающей обстановке транспортного средства 5 и т.п., хотя число N первых областей обнаружения равно четырем. В этом случае блок 22 вычисления корректировки вычисляет значение корректировки, чтобы задавать, посредством перевода изображения M маски ниже вправо, позиции, в которой позиции четырех вероятных сигнальных ламп находятся близко к центрам соответствующих первых областей обнаружения изображения M маски, в позицию, в которой позиции вероятных сигнальных ламп наиболее близко соответствуют первым областям обнаружения изображения M маски (i=4). Значение корректировки вычисляется как координаты перемещения (x, y) и угол θ (=0) поворота.

[0045] Фиг. 13 - это пример вычисления значения корректировки, когда число обнаруженных вероятных сигнальных ламп больше числа первых областей обнаружения. Например, предполагается, что пять вероятных сигнальных ламп, включающих в себя три ошибочных обнаружения, обнаруживаются вследствие сдерживания угла обзора, объектов в окружающей обстановке или т.п., хотя число N первых областей обнаружения равно четырем. В этом случае блок 22 вычисления корректировки вычисляет значение корректировки, чтобы задавать, посредством перевода изображения M маски ниже вправо, позицию, в которой позиции двух вероятных сигнальных ламп находятся близко к центрам соответствующих первых областей обнаружения изображения M маски, в позиции вероятных сигнальных ламп, наиболее близко соответствующие первым областям обнаружения изображения M маски (i=2). Значение корректировки вычисляется как координаты перемещения (x, y) и угол θ (=0) поворота.

[0046] Фиг. 14 - это пример вычисления значения корректировки, когда число обнаруженных вероятных сигнальных ламп больше числа первых областей обнаружения. Например, предполагается, что пять вероятных сигнальных ламп обнаруживаются вследствие сдерживания угла обзора, объектов в окружающей обстановке или т.п., хотя число N первых областей обнаружения равно четырем. В этом случае блок 22 вычисления корректировки вычисляет, посредством перевода изображения M маски выше вправо или ниже вправо, значение корректировки, так что позиции вероятных сигнальных ламп наиболее близко соответствуют первым областям обнаружения изображения M маски. Когда первые области обнаружения изображения M маски корректируются выше вправо, и третьи области обнаружения, как предполагается, должны быть A, i=2. Когда первые области обнаружения изображения M маски корректируются ниже вправо, и третьи области обнаружения, как предполагается, должны быть B, i=3. В этом случае, поскольку один или более вероятных сигнальных ламп могут быть ошибочно обнаружены, блок 22 вычисления корректировки может выбирать меньшее значение корректировки (интервал перемещения изображения M маски). Значение корректировки вычисляется как координаты перемещения (x, y) и угол θ (=0) поворота.

[0047] Альтернативно, в качестве другого способа выбора, когда множество значений корректировки могут быть вычислены, блок 22 вычисления корректировки может отвергать изображение кадра, в котором обнаруживается вероятная сигнальная лампа, предоставляя возможность блоку 15 обнаружения сигнальной лампы обнаруживать вероятные сигнальные лампы для изображения следующего кадра. В результате, блок 22 вычисления корректировки может предотвращать вывод ошибочного результата обнаружения светофора.

[0048] Фиг. 15 - это пример вычисления значения корректировки, когда число обнаруженных вероятных сигнальных ламп меньше числа первых областей обнаружения. Например, предполагается, что три вероятных сигнальных лампы обнаруживаются вследствие сдерживания угла обзора, объектов в окружающей обстановке или т.п., хотя число N первых областей обнаружения равно четырем. Кроме того, предполагается, что число первых областей обнаружения, соответствующих вероятным сигнальным лампам, равно одному без скорректированных первых областей обнаружения изображения M маски, и число первых областей обнаружения, соответствующих позициям вероятных сигнальных ламп, не превышает одного независимо от того, как перемещается одно изображение M маски. В этом случае блок 22 вычисления корректировки задает значение корректировки в ноль (координаты (0, 0) перемещения, угол θ (=0) поворота). Другими словами, блок 17 обнаружения светофора обнаруживает светофоры из первых областей обнаружения, указанных посредством информации D11 о первой области обнаружения. Отметим, что блок 22 вычисления корректировки аналогично задает значение корректировки в ноль также в случае, когда число обнаруженных вероятных сигнальных ламп равно одному.

[0049] В примерах, показанных на фиг. 9-15, блок 23 задания третьей области обнаружения задает третью область обнаружения посредством перевода координат (x, y) первой области обнаружения, указанной посредством информации D11 о первой области обнаружения, без изменения масштаба относительно всего изображения, а в некоторых случаях, поворота на угол θ поворота, но масштаб третьей области обнаружения относительно всего изображения может быть изменен относительно масштаба первой области обнаружения.

[0050] Блок 23 задания третьей области обнаружения может задавать третью область обнаружения, изменяя масштаб первых областей обнаружения относительно всего изображения, с центральной точкой каждой из первых областей обнаружения, скорректированной посредством преобразования, или центральной точкой вероятной сигнальной лампы, перекрывающейся со скорректированными первыми областями обнаружения, являющимися ориентиром. Масштаб третьей области обнаружения может быть задан так, что размер корпуса светофора прогнозируется на основе размера вероятных сигнальных ламп, и затем корпус светофора включается в третью область обнаружения на изображении. В результате, это также пригодно для случая, когда погрешность оценки текущей позиции в направлении движения транспортного средства является большой.

[0051] Например, фиг. 16 является примером вычисления значения корректировки, когда масштаб относительно всего изображения также изменяется. Первая область обнаружения преобразуется, и масштаб относительно всего изображения изменяется, так что это также пригодно для случая, когда погрешности оценки текущей позиции в направлении движения транспортного средства являются большими. На фиг. 16A, когда погрешности оценки текущей позиции в направлении движения транспортного средства присутствуют в направлении, близком к светофору, третья область обнаружения задается посредством преобразования первой области обнаружения и уменьшения масштаба относительно всего изображения. Фиг. 16B является примером, в котором первая область обнаружения преобразуется, и масштаб относительно полного изображения изменяется, и дополнительно ширина укрупняется для того, чтобы включать в себя корпус светофора при условии, что неизвестно, какие сигнальные лампы светофора зажжены. Когда она настраивается, чтобы включать в себя корпус светофора, она настраивается, по меньшей мере, в двукратный размер на изображении светофора в направлении расположения сигнальной лампы. В результате, даже когда неизвестно, какие сигнальные лампы светофоров зажжены, легче определять позицию, когда позиции вероятных сигнальных ламп наиболее близко подходят к первым областям обнаружения.

[0052] С помощью устройства 100 обнаружения светофора согласно настоящему варианту осуществления первые области обнаружения, заданные на основе относительной позиции светофора, корректируются на основе вероятных сигнальных ламп, обнаруженных в фактическом окружении, так что задается третья область обнаружения, используемая для обнаружения светофора. В результате, в устройстве обнаружения светофора согласно настоящему варианту осуществления, вероятность того, что третья область обнаружения включает в себя светофор на изображении, увеличивается, и точность обнаружения светофоров может быть улучшена.

[0053] Кроме того, с помощью устройства 100 обнаружения светофора согласно настоящему варианту осуществления, когда масштаб третьей области обнаружения относительно полного изображения равен масштабу первой области обнаружения, третья область обнаружения задается на основе позиций вероятных сигнальных ламп, так что она задается с таким же размером, что и первая область обнаружения, в позиции, подходящей для обнаружения светофора. Соответственно, устройство 100 обнаружения светофора может уменьшать ошибочное обнаружение светофоров и дополнительно улучшать точность обнаружения светофоров.

[0054] Кроме того, с помощью устройства 100 обнаружения светофора согласно варианту осуществления настоящего изобретения, когда площадь третьих областей обнаружения меньше площади первых областей обнаружения, третьи области обнаружения задаются на основе позиций вероятных сигнальных ламп, и возможно выполнять обработку обнаружения светофора с небольшой площадью. Соответственно, устройство 100 обнаружения светофора может уменьшать ошибочное обнаружение светофоров, улучшать точность обнаружения светофоров и дополнительно уменьшать объем работы для обработки обнаружения светофоров.

[0055] Кроме того, с помощью устройства 100 обнаружения светофора согласно настоящему варианту осуществления, даже когда обнаруживается только одна вероятная сигнальная лампа, и первая область обнаружения не может быть надлежащим образом скорректирована, светофоры обнаруживаются с помощью первой области обнаружения, выступающей в качестве третьей области обнаружения. В результате, устройство 100 обнаружения светофора обнаруживает светофоры из области обнаружения, заданной на основе относительной позиции светофора, и возможно предотвращать ухудшение точности обнаружения.

[0056] Кроме того, с помощью устройства 100 обнаружения светофора согласно настоящему варианту осуществления, даже когда число первых областей обнаружения, соответствующих вероятным сигнальным лампам, равно одному, и первая область обнаружения не может быть надлежащим образом скорректирована, светофор обнаруживается с помощью первой области обнаружения, выступающей в качестве третьей области обнаружения. В результате, в устройстве 100 обнаружения светофора, светофоры обнаруживаются из области обнаружения, заданной на основе относительной позиции светофоров, и возможно предотвращать ухудшение точности обнаружения.

[0057] Кроме того, с помощью устройства 100 обнаружения светофора согласно настоящему варианту осуществления первые области обнаружения корректируются в позицию, в которой первые области обнаружения наиболее близко соответствуют вероятным сигнальным лампам, так что задается третья область обнаружения. В результате, в устройстве 100 обнаружения светофора, вероятность, что третья область обнаружения включает в себя светофор на изображении, увеличивается, и точность обнаружения светофора может быть дополнительно улучшена.

[0058] Хотя настоящее изобретение было описано выше посредством вариантов осуществления, которые описаны выше, не следует понимать, что формулировки и чертежи как часть описания ограничивают настоящее изобретение. Из этого описания изобретения различные модифицированные варианты осуществления, примеры и операционные технические приемы будут очевидны специалистам в области техники. Альтернативно, настоящее изобретение, конечно, включает в себя различные варианты осуществления, неописанные в этом описании, такие как каждая конфигурация, примененная совместно. Следовательно, технические рамки настоящего изобретения определяются только посредством соответствующих отличительных признаков согласно рамкам формулы изобретения, принимая во внимание объяснения, выполненные выше.

Промышленная применимость

[0059] Согласно настоящему изобретению могут быть предоставлены устройство обнаружения светофора и способ обнаружения светофора, в которых область обнаружения, заданная на основе относительной позиции светофора, корректируется на основе фактического окружения, и, таким образом, точность обнаружения светофоров улучшается.

Список позиционных обозначений

[0060] 5 транспортное средство (подвижный объект)

11 блок захвата изображения (камера)

12 блок обнаружения собственной позиции

13 блок оценки позиции светофора

14 блок задания второй области обнаружения

17 блок обнаружения светофора

21 блок задания первой области обнаружения

23 блок задания третьей области обнаружения

100 устройство обнаружения светофора.

Claims

1. Устройство обнаружения светофора, содержащее:

камеру, выполненную с возможностью захватывать изображение окружения подвижного объекта;

блок обнаружения собственной позиции, выполненный с возможностью обнаруживать собственную позицию подвижного объекта;

блок оценки позиции светофора, выполненный с возможностью оценивать относительную позицию светофора относительно подвижного объекта на основе картографической информации, включающей в себя позиционную информацию светофора, который присутствует в окружении подвижного объекта, и собственной позиции;

блок задания первой области обнаружения, выполненный с возможностью задавать первую область обнаружения на изображении для каждого светофора, спрогнозированного как присутствующий на изображении из относительной позиции светофора;

блок задания второй области обнаружения, выполненный с возможностью задавать, когда прогнозируется, что множество светофоров присутствуют на изображении, вторую область обнаружения, включающую в себя область множества спрогнозированных светофоров на изображении;

блок задания третьей области обнаружения, выполненный с возможностью задавать третью область обнаружения для каждого из множества светофоров посредством корректировки позиции первой области обнаружения на изображении так, что позиция на изображении для каждой из множества вероятных сигнальных ламп для множества светофоров, обнаруженных из второй области обнаружения, соответствует позиции на изображении для каждой из множества первых областей обнаружения, соответствующих множеству светофоров; и

блок обнаружения светофора, выполненный с возможностью обнаруживать светофоры из третьей области обнаружения.

2. Устройство обнаружения светофора по п. 1,

в котором блок задания третьей области обнаружения

вычисляет значение корректировки, требуемое для корректировки позиции на изображении для каждой из множества первых областей обнаружения, соответствующих множеству светофоров, в позицию на изображении для каждой из множества вероятных сигнальных ламп для множества светофоров, обнаруженных из второй области обнаружения, и

задает третью область обнаружения для каждого из множества светофоров посредством перемещения позиции на изображении для каждой из множества первых областей обнаружения на значение корректировки.

3. Устройство обнаружения светофора по п. 1,

в котором блок задания третьей области обнаружения задает третью область обнаружения, масштаб которой относительно полного изображения равен первой области обнаружения.

4. Устройство обнаружения светофора по п. 1,

в котором блок задания третьей области обнаружения задает третью область обнаружения, площадь которой меньше площади первой области обнаружения.

5. Устройство обнаружения светофора по любому из пп. 1-4,

в котором блок обнаружения светофора обнаруживает светофор из первой области обнаружения, когда число вероятных сигнальных ламп, обнаруженных из второй области обнаружения, равно одному.

6. Устройство обнаружения светофора по любому из пп. 1-4,

в котором блок обнаружения светофора обнаруживает светофор из первой области обнаружения, когда число первых областей обнаружения, соответствующих вероятным сигнальным лампам, равно одному на изображении.

7. Устройство обнаружения светофора по любому из пп. 1-4,

в котором блок задания третьей области обнаружения задает третью область обнаружения посредством корректировки первой области обнаружения в позицию, в которой первая область обнаружения наиболее близко соответствует вероятным сигнальным лампам на изображении.

8. Способ обнаружения светофора, содержащий этапы, на которых:

оценивают относительную позицию светофора относительно подвижного объекта на основе картографической информации, включающей в себя позиционную информацию светофора, который присутствует в окружении подвижного объекта, и собственной позиции подвижного объекта;

задают первую область обнаружения на изображении, захваченном камерой, для каждого светофора, спрогнозированного как присутствующий на изображении окружения подвижного объекта, из относительной позиции светофора;

задают, когда прогнозируется, что множество светофоров присутствует на изображении, вторую область обнаружения, включающую в себя область множества спрогнозированных светофоров на изображении;

задают третью область обнаружения для каждого из множества светофоров посредством корректировки позиции первой области обнаружения на изображении так, что позиция на изображении для каждой из множества вероятных сигнальных ламп для множества светофоров, обнаруженных из второй области обнаружения, соответствует позиции на изображении для каждой из множества первых областей обнаружения, соответствующих множеству светофоров; и

обнаруживают светофоры из третьей области обнаружения.