RU2779921C1

RU2779921C1 - Traffic light recognition method and traffic light recognition device

Info

Publication number: RU2779921C1
Application number: RU2022115719A
Authority: RU
Inventors: Тосихико НИСИМУРА; Харуо МАЦУО
Original assignee: Ниссан Мотор Ко., Лтд.
Filing date: 2019-11-12
Publication date: 2022-09-15

Abstract

FIELD: traffic light recognition.

SUBSTANCE: invention relates to a traffic light recognition method and a traffic light recognition device. A traffic light recognition method, comprising the steps of obtaining a plurality of images by repeatedly forming a traffic light image, obtaining a sequence of results consisting of a plurality of determination results in the order of time sequence, obtaining a stop line location, calculating a first distance from the vehicle location to the stop line location . When setting the numeric threshold based on the first distance, the first threshold is set as the numeric threshold in the case where the first distance is equal to or greater than the distance threshold. Setting the second threshold less than the first threshold as a numerical threshold in the case where the first distance is less than the distance threshold, and outputting the last determination result in the case where the number of determination results identical to the last determination result exceeds the numerical threshold, from the results of the determination, constituting the sequence of results. The traffic light recognition device comprises an imaging unit and a controller.

EFFECT: increase in the accuracy of image recognition is achieved.

9 cl, 6 dwg

Description

ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY

[0001] Настоящее изобретение относится к способу распознавания светофора и устройству распознавания светофора.[0001] The present invention relates to a traffic light recognition method and a traffic light recognition apparatus.

УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE INVENTION

[0002] Согласно патентному документу 1, для обеспечения поддержки вождения в дорожной среде, где инфраструктура не обслуживается, предлагается способ, который начинает торможение собственного транспортного средства на основе расстояния до местоположения остановки транспортного средства и скорости транспортного средства после определения цвета свечения (световой индикации) светофора на основе условий транспортного средства вокруг собственного транспортного средства и распознавания изображений.[0002] According to Patent Document 1, in order to provide support for driving in a road environment where the infrastructure is not maintained, a method is provided that starts deceleration of one's own vehicle based on the distance to the vehicle's stopping location and the vehicle's speed after determining the color of the light (indication light) traffic light based on vehicle conditions around your own vehicle and image recognition.

СПИСОК ЦИТИРУЕМЫХ ДОКУМЕНТОВLIST OF CITATIONS

ПАТЕНТНЫЙ ДОКУМЕНТPATENT DOCUMENT

[0003] Патентный документ 1: Патентная публикация № 5936258[0003] Patent Document 1: Patent Publication No. 5936258

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

ТЕХНИЧЕСКАЯ ЗАДАЧАTECHNICAL PROBLEM

[0004] Однако в соответствии со способом, описанным в патентном документе 1, если состояние отображения светофора определяется путем обращения к множеству изображений, расположенных в порядке временной последовательности, чтобы повысить точность распознавания изображений, существует время задержки между переходом световой индикации светофора и фактическим началом торможения транспортного средства при переходе световой индикации с «зеленого сигнала» (цветового сигнала, означающего «транспортное средство может двигаться») на цветовой сигнал, отличный от «зеленого сигнала». Таким образом, возникает проблема, заключающаяся в том, что расстояние свободного пробега транспортного средства становится большим. В результате ускорение замедления для остановки транспортного средства в положении остановки становится большим, что может вызвать у находящегося в транспортном средстве человека ощущение дискомфорта.[0004] However, according to the method described in Patent Document 1, if the display state of a traffic light is determined by referring to a plurality of images arranged in time sequence in order to improve image recognition accuracy, there is a delay time between the transition of the traffic light indication and the actual start of braking. vehicle when the indicator light changes from "green signal" (color signal meaning "vehicle can move") to a color signal other than "green signal". Thus, there is a problem that the free running distance of the vehicle becomes large. As a result, the deceleration acceleration for stopping the vehicle in the stopping position becomes large, which may cause discomfort to the person in the vehicle.

[0005] Настоящее изобретение было выполнено с учетом вышеупомянутых проблем, и цель настоящего изобретения состоит в том, чтобы предоставить способ распознавания светофора и устройство распознавания светофора, способные определять состояние отображения светофора посредством обращения к множеству изображений, расположенных в порядке временной последовательности, и распознавания светофора, подавляя при этом увеличение дистанции свободного пробега транспортного средства.[0005] The present invention has been made in view of the above problems, and an object of the present invention is to provide a traffic light recognition method and a traffic light recognition apparatus capable of determining a traffic light display state by referring to a plurality of images arranged in time sequence and recognizing the traffic light while suppressing an increase in the free running distance of the vehicle.

РЕШЕНИЕ ЗАДАЧИTHE SOLUTION OF THE PROBLEM

[0006] Чтобы решить вышеупомянутые проблемы, способ распознавания светофора и устройство распознавания светофора в соответствии с аспектом настоящего изобретения получают последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных путем определения состояния отображения светофора на основе множества изображений направления движения транспортного средства, устанавливают первое пороговое значение в качестве числового порогового значения в случае, когда первое расстояние от местоположения транспортного средства до местоположения стоп-линии, соответствующего светофору, равно или больше, чем пороговое значение расстояния, устанавливают второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда первое расстояние меньше, чем пороговое значение расстояния, и выводят последний результат определения в случае, когда число результатов определения, идентичных последнему результату определения, больше числового порогового значения из результатов определения, составляющих последовательность результатов.[0006] In order to solve the above problems, a traffic light recognition method and a traffic light recognition apparatus according to an aspect of the present invention obtain a sequence of results consisting of a plurality of determination results in the order of time sequence obtained by determining a traffic light display state based on a plurality of vehicle driving direction images, setting the first threshold value as a numerical threshold value in the case where the first distance from the vehicle location to the stop line location corresponding to the traffic light is equal to or greater than the distance threshold value, setting the second threshold value less than the first threshold value, as a numerical threshold value in the case where the first distance is less than the distance threshold value, and the last determination result is output in the case where the number of determination results identical to the last to the determination result greater than the numerical threshold value of the determination results constituting the sequence of results.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯADVANTAGES OF THE INVENTION

[0007] Согласно настоящему изобретению возможно определить состояние отображения светофора посредством обращения к множеству изображений, расположенных в порядке временной последовательности, и распознать светофор, подавляя при этом увеличение расстояния свободного пробега транспортного средства.[0007] According to the present invention, it is possible to determine the display state of a traffic light by referring to a plurality of images arranged in time sequence and to recognize a traffic light while suppressing an increase in the free running distance of a vehicle.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

[0008][0008]

[Фиг. 1] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора согласно варианту осуществления настоящего изобретения.[Fig. 1] FIG. 1 is a block diagram illustrating the configuration of a traffic light recognition apparatus according to an embodiment of the present invention.

[Фиг. 2] Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей процедуру обработки устройства распознавания светофора согласно варианту осуществления настоящего изобретения.[Fig. 2] FIG. 2 is a flowchart illustrating a processing procedure of a traffic light recognition apparatus according to an embodiment of the present invention.

[Фиг. 3] Фиг. 3 является схематичным видом, иллюстрирующим пример взаимного расположения между транспортным средством и светофором.[Fig. 3] FIG. 3 is a schematic view illustrating an example of positional relationship between a vehicle and a traffic light.

[Фиг. 4] Фиг. 4 является схемой, иллюстрирующей пример последовательности результатов, состоящей из множества результатов определения в порядке временной последовательности.[Fig. 4] FIG. 4 is a diagram illustrating an example of a result sequence consisting of a plurality of determination results in order of time sequence.

[Фиг. 5A] Фиг. 5A является схемой, иллюстрирующей первый пример изменения выходного значения, соответствующего последовательности результатов.[Fig. 5A] FIG. 5A is a diagram illustrating a first example of changing an output value corresponding to a sequence of results.

[Фиг. 5B] Фиг. 5B является схемой, иллюстрирующей второй пример изменения выходного значения, соответствующего последовательности результатов.[Fig. 5B] FIG. 5B is a diagram illustrating a second example of changing an output value corresponding to a sequence of results.

[Фиг. 6] Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей модифицированный пример процедуры обработки устройства распознавания светофора согласно варианту осуществления настоящего изобретения.[Fig. 6] FIG. 6 is a flowchart illustrating a modified example of a processing procedure of a traffic light recognition apparatus according to an embodiment of the present invention.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯDESCRIPTION OF EMBODIMENTS

[0009] Далее будут подробно описаны варианты осуществления настоящего изобретения со ссылкой на чертежи. В описании одни и те же элементы обозначены одними и теми же ссылочными позициями, и дублирующееся описание будет опущено.[0009] Embodiments of the present invention will now be described in detail with reference to the drawings. In the description, the same elements are identified by the same reference numerals, and the duplicate description will be omitted.

[0010] [Конфигурация устройства распознавания светофора][0010] [Traffic light recognition device configuration]

Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора согласно настоящему варианту осуществления. Как показано на фиг. 1, устройство распознавания светофора в соответствии с настоящим вариантом осуществления включает в себя блок 71 формирования изображения и контроллер 100, и контроллер 100 соединен с блоком 71 формирования изображения, датчиком 73 в транспортном средстве, блоком 75 получения картографической информации и устройством 400 управления транспортным средством по проводному или беспроводному каналу связи.Fig. 1 is a block diagram illustrating the configuration of a traffic light recognition device according to the present embodiment. As shown in FIG. 1, the traffic light recognition apparatus according to the present embodiment includes an imaging unit 71 and a controller 100, and the controller 100 is connected to the imaging unit 71, the vehicle sensor 73, the map information acquisition unit 75, and the vehicle control unit 400 via wired or wireless communication channel.

[0011] Здесь блок 71 формирования изображения, датчик 73 в транспортном средстве и устройство 400 управления транспортным средством установлены на транспортном средстве (не показано), но блок 75 получения картографической информации и контроллер 100 могут быть установлены на транспортном средстве или могут быть установлены вне транспортного средства.[0011] Here, the imaging unit 71, the in-vehicle sensor 73, and the vehicle control device 400 are installed on the vehicle (not shown), but the mapping information acquisition unit 75 and the controller 100 may be installed on the vehicle or may be installed outside the vehicle. funds.

[0012] Блок 71 формирования изображения захватывает изображение транспортного средства в направлении движения. Например, блок 71 формирования изображения представляет собой цифровую камеру, снабженную твердотельным датчиком изображения, таким как ПЗС или КМОП, и формирует изображение окружения транспортного средства для захвата цифрового изображения периферийной области транспортного средства. Блок 71 формирования изображения формирует изображения в заданном диапазоне вокруг транспортного средства посредством установки фокусного расстояния, угла обзора объектива, вертикального и горизонтального углов камеры и т.п.[0012] The imaging unit 71 captures an image of the vehicle in the direction of travel. For example, the imaging unit 71 is a digital camera equipped with a solid state image sensor such as a CCD or CMOS and forms an image of the vehicle environment to capture a digital image of a peripheral area of the vehicle. The imaging unit 71 forms images in a predetermined range around the vehicle by setting the focal length, lens viewing angle, vertical and horizontal camera angles, and the like.

[0013] Изображение, захваченное блоком 71 формирования изображения, выводится на контроллер 100 и сохраняется в блоке памяти (не показан) в течение заданного периода времени. Например, блок 71 формирования изображения захватывает изображения в заданные интервалы времени, и изображения, захваченные в заданные интервалы времени, сохраняются в блоке памяти как прошлые изображения. Прошлое изображение может быть удалено по истечении заданного периода с момента захвата прошлого изображения.[0013] The image captured by the imaging unit 71 is output to the controller 100 and stored in a memory unit (not shown) for a predetermined period of time. For example, the imaging unit 71 captures images at predetermined time intervals, and images captured at predetermined time intervals are stored in the memory unit as past images. The past image can be deleted after a specified period has elapsed since the last image was captured.

[0014] Датчик 73 в транспортном средстве включает в себя датчик обнаружения объекта, установленный на транспортном средстве, такой как лазерный радар, радар миллиметрового диапазона и камера, который обнаруживает объект, существующий вокруг транспортного средства. Датчик 73 в транспортном средстве может включать в себя множество различных типов датчиков обнаружения объекта.[0014] The sensor 73 in the vehicle includes an object detection sensor mounted on the vehicle, such as a laser radar, a millimeter wave radar, and a camera that detects an object existing around the vehicle. The sensor 73 in the vehicle may include many different types of object detection sensors.

[0015] Датчик 73 в транспортном средстве обнаруживает окружающую среду вокруг транспортного средства. Например, датчик 73 в транспортном средстве может обнаруживать движущийся объект, включая другое транспортное средство, мотоцикл, велосипед, пешехода, и неподвижный объект, включая остановившееся транспортное средство, а также местоположение, позицию, размер, скорость, ускорение, замедление, скорость рыскания и т. д. движущегося объекта и неподвижного объекта по отношению к транспортному средству. Датчик 73 в транспортном средстве может выводить, например, поведение двухмерного объекта в зенитном ракурсе (также называемом видом сверху), наблюдаемом с воздуха над транспортным средством, в качестве результата обнаружения. Кроме того, датчик 73 в транспортном средстве может обнаруживать знак (дорожный знак или знак, отображенный на поверхности дороги), направляющий рельс и т.п., существующие вокруг транспортного средства. Кроме того, датчик 73 в транспортном средстве может обнаруживать скользкость дорожного покрытия на полосе движения, по которой движется транспортное средство, посредством обнаружения скорости вращения и разницы в скорости вращения колес, обеспеченных в транспортном средстве.[0015] The sensor 73 in the vehicle detects the environment around the vehicle. For example, a sensor 73 in a vehicle can detect a moving object, including another vehicle, a motorcycle, a bicycle, a pedestrian, and a stationary object, including a stopped vehicle, as well as location, position, size, speed, acceleration, deceleration, yaw rate, etc. d. a moving object and a stationary object in relation to the vehicle. The sensor 73 in the vehicle may output, for example, the behavior of a two-dimensional object in a zenithal view (also referred to as a top view) viewed from the air above the vehicle as a detection result. In addition, the sensor 73 in the vehicle can detect a sign (a road sign or a sign displayed on a road surface), a guide rail, and the like existing around the vehicle. In addition, the sensor 73 in the vehicle can detect the slipperiness of the road surface in the lane on which the vehicle is traveling by detecting the rotation speed and the difference in the rotation speed of the wheels provided in the vehicle.

[0016] Кроме того, датчик 73 в транспортном средстве обнаруживает состояние транспортного средства в дополнение к окружающей среде вокруг транспортного средства. Например, датчик 73 в транспортном средстве может обнаруживать скорость движения транспортного средства (скорость движения в направлении вперед-назад, направление влево-вправо, скорость поворота), угол поворота колес, обеспеченных в транспортном средстве, и изменение скорости угла поворота.[0016] In addition, the sensor 73 in the vehicle detects the state of the vehicle in addition to the environment around the vehicle. For example, the sensor 73 in the vehicle can detect the vehicle's running speed (forward-backward running speed, left-right direction, turning speed), the steering angle of the wheels provided in the vehicle, and the change in steering angle speed.

[0017] Кроме того, датчик 73 в транспортном средстве может измерять абсолютное положение транспортного средства, то есть местоположение, угловое пространственное положение и скорость транспортного средства относительно заданной опорной точки, с помощью датчика определения положения, который измеряет абсолютное положение транспортного средства, таких как GPS (глобальная система позиционирования) и одометр.[0017] In addition, the sensor 73 in the vehicle can measure the absolute position of the vehicle, that is, the position, attitude and speed of the vehicle relative to a given reference point, using a position sensor that measures the absolute position of the vehicle, such as GPS (global positioning system) and odometer.

[0018] Блок 75 получения картографической информации получает картографическую информацию, указывающую структуру дороги, по которой движется транспортное средство. Картографическая информация, полученная блоком 75 получения картографической информации, включает в себя информацию о структуре дороги, такую как абсолютные положения полос движения, отношения соединения полос движения и относительные взаимные расположения. Кроме того, картографическая информация, полученная блоком 75 получения картографической информации, может включать в себя информацию об объекте, такую как место стоянки транспортных средств и заправочная станция. Кроме того, картографическая информация может включать в себя информацию о местоположении светофора, типе светофора, местоположении стоп-линии, соответствующей светофору, и т.п. Блок 75 получения картографической информации может обладать картографической базой данных, в которой хранится картографическая информация, или может получать картографическую информацию с внешнего сервера картографических данных с помощью облачных вычислений. Кроме того, блок 75 получения картографической информации может получать картографическую информацию, используя связь транспортное средство-транспортное средство и связь дорога-транспортное средство.[0018] The map information acquisition unit 75 acquires map information indicative of the structure of the road on which the vehicle is traveling. The map information obtained by the map information acquisition unit 75 includes road structure information such as absolute lane positions, lane connection relationships, and relative positions. In addition, the map information obtained by the map information acquisition unit 75 may include object information such as a parking lot and a filling station. In addition, the mapping information may include information about the location of a traffic light, the type of traffic light, the location of a stop line corresponding to a traffic light, and the like. The map information acquisition unit 75 may have a map database in which map information is stored, or may acquire map information from an external map data server using cloud computing. In addition, the map information acquisition unit 75 can acquire map information using vehicle-vehicle communication and road-vehicle communication.

[0019] Устройство 400 управления транспортным средством управляет транспортным средством (не показано) на основе результата распознавания светофора, полученного контроллером 100. Например, устройство 400 управления транспортным средством может управлять транспортным средством посредством автоматического вождения в соответствии с заданным маршрутом движения или может поддерживать операцию вождения находящихся в транспортном средстве людей. Кроме того, устройство 400 управления транспортным средством может быть устройством уведомления, которое уведомляет находящихся в транспортном средстве людей о результате распознавания светофора.[0019] The vehicle control device 400 controls a vehicle (not shown) based on a traffic light recognition result obtained by the controller 100. For example, the vehicle control device 400 may control the vehicle by automatically driving according to a predetermined driving route, or may support a driving operation people in the vehicle. In addition, the vehicle control device 400 may be a notification device that notifies vehicle occupants of a traffic light detection result.

[0020] Контроллер 100 (пример блока управления или блока обработки) представляет собой микрокомпьютер общего назначения, включающий в себя ЦП (центральный процессор), память и блок ввода/вывода. Компьютерная программа (программа распознавания светофора) для работы в качестве устройства распознавания светофора установлена в контроллере 100. Выполняя компьютерную программу, контроллер 100 функционирует как множество схем обработки информации (110, 120, 130, 150, 155, 160, 180, 190), включенных в устройство распознавания светофора.[0020] The controller 100 (example of a control unit or processing unit) is a general purpose microcomputer including a CPU (central processing unit), a memory, and an I/O unit. A computer program (traffic light recognition program) for operating as a traffic light recognition device is installed in the controller 100. By executing the computer program, the controller 100 functions as a plurality of information processing circuits (110, 120, 130, 150, 155, 160, 180, 190) included to the traffic light recognition device.

[0021] Здесь показан пример, в котором множество схем обработки информации (110, 120, 130, 150, 155, 160, 180, 190), включенных в устройство распознавания светофора, реализуются программным обеспечением. Однако также возможно сконфигурировать схемы обработки информации (110, 120, 130, 150, 155, 160, 180, 190), подготовив специальное аппаратное обеспечение для выполнения каждой из следующей обработки информации. Кроме того, множество схем обработки информации (110, 120, 130, 150, 155, 160, 180, 190) могут быть сконфигурированы отдельным аппаратным обеспечением. Кроме того, схема обработки информации (110, 120, 130, 150, 155, 160, 180, 190) также может использоваться в качестве электронного блока управления (ЭБУ), используемого для другого управления, относящегося к транспортному средству.[0021] An example is shown here in which a plurality of information processing circuits (110, 120, 130, 150, 155, 160, 180, 190) included in the traffic light recognition apparatus are implemented by software. However, it is also possible to configure the information processing circuits (110, 120, 130, 150, 155, 160, 180, 190) by preparing specific hardware to perform each of the following information processing. In addition, a plurality of information processing circuits (110, 120, 130, 150, 155, 160, 180, 190) can be configured by separate hardware. In addition, the information processing circuit (110, 120, 130, 150, 155, 160, 180, 190) can also be used as an electronic control unit (ECU) used for other control related to the vehicle.

[0022] Контроллер 100, в качестве множества схем обработки информации (110, 120, 130, 150, 155, 160, 180, 190), включает в себя блок 110 получения собственного местоположения, блок 120 получения местоположения остановки, блок 130 вычисления, блок 150 определения, блок 155 хранения результатов определения, блок 180 установки порогового значения, блок 190 принятия решения о выводе и блок 160 вывода.[0022] The controller 100, as a plurality of information processing circuits (110, 120, 130, 150, 155, 160, 180, 190), includes a home location acquisition unit 110, a stop location acquisition unit 120, a calculation unit 130, a 150 determination, block 155 storage of the results of determination, block 180 setting the threshold value, block 190 deciding output and block 160 output.

[0023] Блок 110 получения собственного местоположения получает абсолютное положение транспортного средства, то есть текущее местоположение транспортного средства относительно заданной опорной точки, посредством датчика 73 в транспортном средстве. Кроме того, блок 110 получения собственного местоположения может получать информацию о текущей скорости, ускорении и позиции транспортного средства с помощью датчика 73 в транспортном средстве.[0023] Own location acquisition unit 110 acquires the absolute position of the vehicle, that is, the current location of the vehicle relative to a given reference point, by means of a sensor 73 in the vehicle. In addition, the block 110 obtain own location can obtain information about the current speed, acceleration and position of the vehicle using the sensor 73 in the vehicle.

[0024] Блок 120 получения местоположения остановки ищет картографическую информацию, полученную блоком 75 получения картографической информации, на основе текущего местоположения и позиции транспортного средства, полученных блоком 110 получения собственного местоположения, и извлекает светофор, расположенный в направлении движения транспортного средства. Затем блок 120 получения местоположения остановки получает местоположение стоп-линии, соответствующей извлеченному светофору, из картографической информации. Блок 120 получения местоположения остановки может извлекать светофор в пределах диапазона, изображение которого может быть сформировано блоком 71 формирования изображения.[0024] The stop location acquisition unit 120 searches for map information obtained by the map information acquisition unit 75 based on the current location and position of the vehicle obtained by the home location acquisition unit 110, and retrieves a traffic light located in the direction of travel of the vehicle. Next, the stop location obtaining unit 120 obtains the location of the stop line corresponding to the retrieved traffic light from the map information. The stop location acquisition unit 120 may extract a traffic light within a range that can be imaged by the imaging unit 71 .

[0025] Блок 130 вычисления вычисляет расстояние D (первое расстояние) от местоположения транспортного средства до местоположения стоп-линии. Здесь, в приведенном выше примере, показан пример, в котором расстояние D (первое расстояние) от местоположения транспортного средства до местоположения стоп-линии вычисляется на основе текущего местоположения транспортного средства, полученного блоком 110 получения собственного местоположения, и местоположения стоп-линии, соответствующего светофору, полученного блоком 120 получения местоположения остановки на основе картографической информации. Однако настоящее изобретение не ограничивается этим примером.[0025] The calculation unit 130 calculates the distance D (first distance) from the vehicle location to the stop line location. Here, in the above example, an example is shown in which the distance D (first distance) from the vehicle position to the stop line position is calculated based on the current vehicle position obtained by the own position obtaining unit 110 and the stop line position corresponding to the traffic light. obtained by block 120 to obtain the location of the stop based on map information. However, the present invention is not limited to this example.

[0026] Например, блок 120 получения местоположения остановки может извлекать светофор, расположенный в направлении движения транспортного средства, из изображения, захваченного блоком 71 формирования изображения, может извлекать стоп-линию на заданном расстоянии или ближайшем к извлеченному светофору в качестве стоп-линии, соответствующей светофору, и может вычислять расстояние D (первое расстояние) от местоположения транспортного средства до местоположения стоп-линии на основе местоположения на изображении извлеченной стоп-линии. Способ вычисления расстояния D (первого расстояния) от местоположения транспортного средства до местоположения стоп-линии может быть изменен соответствующим образом и не ограничивается этим.[0026] For example, the stop location obtaining unit 120 may extract a traffic light located in the direction of travel of the vehicle from the image captured by the imaging unit 71, may extract a stop line at a predetermined distance or closest to the extracted traffic light as the stop line corresponding to traffic light, and can calculate a distance D (first distance) from the vehicle location to the stop line location based on the location in the image of the extracted stop line. The method for calculating the distance D (first distance) from the vehicle location to the stop line location can be changed accordingly and is not limited thereto.

[0027] Кроме того, блок 130 вычисления может оценивать, может ли транспортное средство замедлиться с заданным ускорением замедления и может ли оно остановиться перед стоп-линией на основе местоположения стоп-линии, полученного блоком 120 получения местоположения остановки. В частности, блок 130 вычисления вычисляет расстояние D между текущим местоположением транспортного средства и местоположением стоп-линии для каждого извлеченного светофора. Затем блок 130 вычисления вычисляет величину ускорения α замедления, когда транспортное средство останавливается на стоп-линии, посредством деления квадрата текущей скорости V транспортного средства на удвоенное расстояние D.[0027] In addition, the calculation unit 130 may judge whether the vehicle can decelerate with a given deceleration acceleration and whether it can stop in front of the stop line based on the location of the stop line obtained by the stop location obtaining unit 120 . In particular, the calculation unit 130 calculates the distance D between the current location of the vehicle and the location of the stop line for each extracted traffic light. Then, the calculation unit 130 calculates the acceleration deceleration amount α when the vehicle stops at the stop line by dividing the square of the vehicle's current speed V by twice the distance D.

[0028] То есть величина ускорения α замедления может быть оценена по следующему уравнению (1).[0028] That is, the amount of acceleration α deceleration can be estimated from the following equation (1).

α=V^2/2D... (1)α=V^2/2D... (1)

[0029] Затем блок 130 вычисления может оценить, что транспортное средство не может остановиться перед стоп-линией путем замедления с заданным ускорением β замедления в случае, когда вычисленная величина ускорения α замедления больше, чем величина заданного ускорения β замедления.[0029] Next, the calculation unit 130 may judge that the vehicle cannot stop before the stop line by decelerating at the predetermined deceleration acceleration β in the case where the calculated deceleration acceleration amount α is greater than the deceleration predetermined acceleration amount β.

[0030] Вместо вычисления ускорения α замедления и оценки того, может ли транспортное средство остановиться, блок 130 вычисления может вычислить предполагаемое местоположение остановки, когда транспортное средство замедляется с заранее заданным ускорением β замедления, и может оценить, что транспортное средство не может остановиться до стоп-линии, если стоп-линия расположена между предполагаемым местоположением остановки и транспортным средством. В частности, блок 130 вычисления может вычислять тормозной путь D_B, который транспортное средство проходит до тех пор, пока транспортное средство не остановится, замедляясь с заданным ускорением β замедления, посредством деления квадрата текущей скорости V транспортного средства на удвоенное заданное ускорение β замедления.[0030] Instead of calculating the deceleration acceleration α and judging whether the vehicle can stop, the calculator 130 may calculate the estimated stop location when the vehicle decelerates at the predetermined deceleration acceleration β, and may judge that the vehicle cannot stop before stopping. - lines, if the stop line is located between the intended location of the stop and the vehicle. Specifically, the calculation unit 130 may calculate the braking distance D_B that the vehicle travels until the vehicle stops while decelerating at a predetermined deceleration acceleration β by dividing the square of the current vehicle speed V by twice the predetermined deceleration acceleration β.

[0031] То есть тормозной путь D_B можно оценить по следующему уравнению (2).[0031] That is, the braking distance D_B can be estimated from the following equation (2).

D_B=V^2/2β ... (2)D_B=V^2/2β ... (2)

[0032] Затем блок 130 вычисления может устанавливать местоположение, опережающее тормозной путь D_B от текущего местоположения транспортного средства в направлении движения транспортного средства, в качестве предполагаемого местоположения остановки, и может оценивать, что транспортное средство не может быть остановлено перед стоп-линией в случае, когда стоп-линия расположена между предполагаемым местоположением остановки и транспортным средством. То есть, в случае, когда предполагаемое местоположение остановки находится дальше стоп-линии вдоль направления движения транспортного средства, если смотреть от транспортного средства, блок 130 вычисления может оценивать, что транспортное средство не может остановиться перед стоп-линией.[0032] Next, the calculation unit 130 may set a location ahead of the braking distance D_B from the current location of the vehicle in the direction of travel of the vehicle as an estimated stop location, and may judge that the vehicle cannot be stopped before the stop line in the case when the stop line is located between the intended stop location and the vehicle. That is, in the case where the intended stop location is further than the stop line along the direction of travel of the vehicle as viewed from the vehicle, the calculation unit 130 may judge that the vehicle cannot stop before the stop line.

[0033] Кроме того, блок 130 вычисления может вычислять расстояние D_F свободного пробега транспортного средства. В частности, блок 130 вычисления может вычислять расстояние D_F свободного пробега посредством умножения заданного интервала (интервала захвата изображения, который должен быть определен в блоке 150 определения, описанном ниже), числового порогового значения NC (установленного в блоке 180 установки порогового значения, описанного ниже, и используется в блоке 190 принятия решения о выводе, описанном ниже), и скорости транспортного средства.[0033] In addition, the calculation unit 130 may calculate the free path distance D_F of the vehicle. Specifically, the calculation unit 130 may calculate the free path distance D_F by multiplying the predetermined interval (the image capturing interval to be determined in the determining unit 150 described below), the numerical threshold value NC (set in the threshold value setting unit 180 described below, and used in the output decision block 190 described below), and the vehicle speed.

[0034] Блок 130 вычисления может установить пороговое значение D_H расстояния, используемое в блоке 180 установки порогового значения, который будет описан позже, на основе тормозного пути D_B. В частности, тормозной путь D_B может быть установлен в качестве порогового значения D_H расстояния, или сумма тормозного пути D_B и расстояния D_F свободного пробега может быть установлена в качестве порогового значения D_H расстояния.[0034] The calculation unit 130 may set the distance threshold D_H used in the threshold setting unit 180 to be described later based on the braking distance D_B. Specifically, the braking distance D_B may be set as the distance threshold D_H, or the sum of the braking distance D_B and the free running distance D_F may be set as the distance threshold D_H.

[0035] Блок 180 установки порогового значения устанавливает числовое пороговое значение NC, которое является значением, используемым в блоке 190 принятия решения о выводе, описанном ниже, на основе расстояния D (первого расстояния) (процесс установки порогового значения). Числовое пороговое значение NC устанавливается равным заданному начальному значению, когда контроллер 100 запускается в первый раз, и впоследствии обновляется блоком 180 установки порогового значения.[0035] The threshold setting unit 180 sets the numerical threshold value NC, which is the value used in the output decision unit 190 described below, based on the distance D (first distance) (threshold setting process). The numerical threshold value NC is set to a predetermined initial value when the controller 100 is started for the first time, and subsequently updated by the threshold setting block 180 .

[0036] В частности, блок 180 установки порогового значения сравнивает расстояние D с пороговым значением D_H расстояния, и блок 180 установки порогового значения устанавливает первое пороговое значение в качестве числового порогового значения NC в случае, когда расстояние D равно или превышает пороговое значение D_H расстояния, и второе пороговое значение, меньшее, чем первое пороговое значение, устанавливается в качестве числового порогового значения NC в случае, если расстояние D меньше, чем пороговое значение D_H расстояния. То есть, в случае, когда расстояние D меньше, чем пороговое значение D_H расстояния, блок 180 установки порогового значения устанавливает числовое пороговое значение NC меньше, чем числовое пороговое значение NC, установленное, когда расстояние D равно или превышает пороговое значение D_H расстояния.[0036] In particular, the threshold setting unit 180 compares the distance D with the distance threshold D_H, and the threshold setting unit 180 sets the first threshold value as the numerical threshold value NC in the case where the distance D is equal to or greater than the distance threshold D_H, and a second threshold smaller than the first threshold is set as the numerical threshold NC in case the distance D is smaller than the distance threshold D_H. That is, in the case where the distance D is smaller than the distance threshold D_H, the threshold setting unit 180 sets the numerical threshold NC to be smaller than the numerical threshold NC set when the distance D is equal to or greater than the distance threshold D_H.

[0037] Первое пороговое значение и второе пороговое значение могут быть определены на основе производительности блока 71 формирования изображения, длины последовательности результатов, хранимых блоком 155 хранения результатов определения, описанным ниже, заданного интервала и т.п.[0037] The first threshold value and the second threshold value may be determined based on the performance of the imaging unit 71, the length of the sequence of results stored by the determination result storage unit 155 described below, a predetermined interval, and the like.

[0038] Числовое пороговое значение NC, установленное блоком 180 установки порогового значения, будет описано со ссылкой на фиг. 3. Фиг. 3 является схематичным видом, иллюстрирующим пример взаимного расположения между транспортным средством и светофором.[0038] The numerical threshold value NC set by the threshold setting unit 180 will be described with reference to FIG. 3. FIG. 3 is a schematic view illustrating an example of positional relationship between a vehicle and a traffic light.

[0039] Предполагается, что тормозной путь D_B установлен в качестве порогового значения D_H расстояния.[0039] It is assumed that the braking distance D_B is set as the distance threshold D_H.

В этом случае, на фиг. 3, первое пороговое значение установлено равным числовому пороговому значению NC в секции, расположенной между местоположением PS и местоположением P2. С другой стороны, в секции, расположенной между местоположением P2 и местоположением PE, второе пороговое значение устанавливается равным числовому пороговому значению NC.In this case, in FIG. 3, the first threshold is set to the numerical threshold NC in the section located between the PS location and the P2 location. On the other hand, in the section located between the P2 location and the PE location, the second threshold value is set to the numerical threshold value NC.

[0040] Предполагается, что сумма тормозного пути D_B и расстояния D_F свободного пробега устанавливается в качестве порогового значения D_H расстояния. В этом случае, на фиг. 3, первое пороговое значение установлено равным числовому пороговому значению NC в секции, расположенной между местоположением PS и местоположением P1. С другой стороны, в секции, расположенной между местоположением P1 и местоположением PE, второе пороговое значение устанавливается равным числовому пороговому значению NC.[0040] It is assumed that the sum of the braking distance D_B and the free run distance D_F is set as the distance threshold D_H. In this case, in FIG. 3, the first threshold value is set to the numerical threshold value NC in the section located between the PS location and the P1 location. On the other hand, in the section located between the location P1 and the location PE, the second threshold value is set to the numerical threshold value NC.

[0041] Даже если расстояние D меньше, чем пороговое значение D_H расстояния, блок 180 установки порогового значения может установить первое пороговое значение равным числовому пороговому значению NC в случае, когда ускорение замедления, когда транспортное средство останавливается перед стоп-линией, превышает заданное ускорение замедления. То есть в случае, когда неизбежно, что ускорение замедления, когда транспортное средство останавливается перед стоп-линией, становится больше, чем заданное ускорение замедления, блок 180 установки порогового значения может установить первое пороговое значение равным числовому пороговому значению NC с целью поддержания точности распознавания светофора как можно высокой.[0041] Even if the distance D is smaller than the distance threshold value D_H, the threshold setting unit 180 may set the first threshold value to the numerical threshold value NC in the case where the deceleration acceleration when the vehicle stops in front of the stop line exceeds the predetermined deceleration acceleration . That is, in the case where it is unavoidable that the deceleration acceleration when the vehicle stops before the stop line becomes larger than the predetermined deceleration acceleration, the threshold setting unit 180 may set the first threshold value to the numerical threshold value NC in order to maintain the traffic light recognition accuracy. as high as possible.

[0042] Кроме того, блок 180 установки порогового значения может вычислить возможное расстояние D_CF свободного пробега (второе расстояние) посредством вычитания порогового значения D_H расстояния из расстояния D. Блок 180 установки порогового значения может вычислять значение-кандидат путем деления возможного расстояния D_CF свободного пробега на произведение заданного интервала и скорости транспортного средства. Блок 180 установки порогового значения может установить значение-кандидат равным числовому пороговому значению NC в случае, когда значение-кандидат меньше, чем уже установленное числовое пороговое значение NC. Таким образом, числовое пороговое значение NC устанавливается на основании как расстояния D, так и скорости транспортного средства. В частности, чем меньше расстояние D, тем меньшим устанавливается числовое пороговое значение NC. Кроме того, чем ниже скорость транспортного средства, тем большим устанавливается числовое пороговое значение NC.[0042] In addition, the threshold setting unit 180 may calculate a possible free run distance D_CF (second distance) by subtracting the distance threshold D_H from the distance D. The threshold setting unit 180 may calculate a candidate value by dividing the possible free run distance D_CF by the product of the given interval and the speed of the vehicle. The threshold setting unit 180 may set the candidate value to the numerical threshold value NC in the case where the candidate value is less than the already set numerical threshold value NC. Thus, the numerical threshold value NC is set based on both the distance D and the vehicle speed. In particular, the smaller the distance D, the smaller the numerical threshold value NC is set. In addition, the lower the vehicle speed, the larger the numerical threshold value NC is set.

[0043] Кроме того, в случае, когда блок 150 определения, описанный ниже, определяет, что светофор не светится (в случае, когда последний результат определения блоком 150 определения является результатом определения того, что состояние отображения неизвестно), блок установки порогового значения 180, может поддерживать значение числового порогового значения NC, которое уже было установлено, без установки числового порогового значения NC.[0043] In addition, in the case where the determining unit 150 described below determines that the traffic light is not lit (in the case where the last determination result of the determination unit 150 is the result of determining that the display state is unknown), the threshold setting unit 180 , can maintain the value of the numeric threshold NC that has already been set without setting the numeric threshold NC.

[0044] Блок 180 установки порогового значения сбрасывает числовое пороговое значение NC до начального значения после того, как транспортное средство пересекает стоп-линию, соответствующую целевому светофору.[0044] The threshold setting unit 180 resets the numerical threshold value NC to an initial value after the vehicle crosses the stop line corresponding to the target traffic light.

[0045] Блок 150 определения устанавливает область обнаружения, соответствующую светофору, на изображении, захваченном блоком 71 формирования изображения. Здесь «область обнаружения» означает область на изображении, где предположительно присутствует светофор. Местоположение светофора, отраженного в диапазоне формирования изображения на изображении, может быть оценено на основе направления формирования изображения блока 71 формирования изображения, местоположения и ориентации транспортного средства во время формирования изображения и местоположения светофора. Блок 150 определения задает, например, частичную область захваченного изображения в качестве области обнаружения, причем область включает в себя предполагаемое местоположение светофора на изображении.[0045] The determination unit 150 sets the detection area corresponding to the traffic light in the image captured by the imaging unit 71 . Here, "detection area" means an area in the image where a traffic light is supposed to be present. The location of the traffic light reflected in the imaging range of the image can be estimated based on the imaging direction of the imaging unit 71, the position and orientation of the vehicle at the time of imaging, and the location of the traffic light. The determination unit 150 sets, for example, a partial area of the captured image as a detection area, the area including the estimated location of a traffic light in the image.

[0046] Блок 150 определения выполняет обработку изображения в области обнаружения, обнаруживает светофор в области обнаружения и определяет состояние отображения светофора. Блок 150 определения обнаруживает светофор, например, путем сопоставления с шаблоном. При сопоставлении с шаблоном в качестве шаблона используется стандартное изображение светофора, а область обнаружения сканируется при смещении изображения на один пиксель за раз, и, например, вычисляется корреляция распределения яркости. Затем, когда корреляция достигает наибольшего значения, обнаруживается, что светофор находится в том местоположении на изображении, где расположен шаблон.[0046] The determining unit 150 performs image processing in the detection area, detects a traffic light in the detection area, and determines the display state of the traffic light. The determiner 150 detects a traffic light, for example, by pattern matching. Pattern matching uses a standard traffic light image as a pattern, and scans the detection area while shifting the image one pixel at a time, and calculates the brightness distribution correlation, for example. Then, when the correlation reaches its highest value, it is found that the traffic light is located at the location in the image where the pattern is located.

[0047] «Цветовой сигнал», указываемый светофором, включает в себя «зеленый сигнал», «желтый сигнал» и «красный сигнал». Значение «цветового сигнала» определяется правилами дорожного движения, которым должно следовать транспортное средство. Например, «зеленый сигнал» означает «можно проезжать», а «красный сигнал» означает «остановиться в местоположении остановки». «Желтый сигнал» означает «остановиться в местоположении остановки, за исключением случаев, когда невозможно безопасно остановиться из-за близости к местоположению остановки».[0047] The "color signal" indicated by the traffic light includes "green signal", "yellow signal", and "red signal". The meaning of the "color signal" is determined by the rules of the road that the vehicle must follow. For example, "green signal" means "you can pass" and "red signal" means "stop at the stop location". "Amber signal" means "stop at the stopping location, except when it is not possible to stop safely due to proximity to the stopping location."

[0048] Такое различение «зеленого сигнала», «желтого сигнала» и «красного сигнала» может быть выполнено таким образом, что оценивается, что светится «цветовой сигнал», имеющий самый высокий уровень яркости среди трех «цветовых сигналов».[0048] Such a distinction between "green signal", "yellow signal" and "red signal" can be performed in such a way that it is judged that the "color signal" having the highest brightness level among the three "color signals" is lit.

[0049] Кроме того, светофор может указывать не только «цветовой сигнал», но и «сигнал стрелки», указывающий направление, разрешенное для движения транспортного средства на перекрестке, где установлен светофор. Например, «сигнал стрелки» является «сигналом правого поворота», «сигналом прямого движения» и/или «сигналом левого поворота».[0049] In addition, the traffic light may indicate not only a "color signal" but also an "arrow signal" indicating the direction a vehicle is allowed to travel at an intersection where a traffic light is installed. For example, "arrow signal" is a "right turn signal", "straight ahead signal" and/or "left turn signal".

[0050] «Сигнал стрелки» не ограничен «сигналом правого поворота», «сигналом прямого движения» и «сигналом левого поворота», и могут быть рассмотрены различные варианты в зависимости от структуры перекрестка, на котором установлен светофор. Значение «сигнала стрелки» определяется правилами дорожного движения, которым должно следовать транспортное средство.[0050] "Arrow signal" is not limited to "right turn signal", "direct traffic signal" and "left turn signal", and various options may be considered depending on the structure of the intersection where the traffic light is installed. The meaning of "arrow signal" is determined by the rules of the road that the vehicle must follow.

[0051] Блок 150 определения выполняет обработку изображения в области обнаружения и определяет состояние свечения «цветового сигнала» и «сигнала стрелки» светофора как состояние отображения светофора.[0051] The determination unit 150 performs image processing in the detection area, and determines the lighting state of the "color signal" and "arrow signal" of the traffic light as the display state of the traffic light.

[0052] Обработка изображения обнаружения светофора блоком 150 определения может использовать машинное обучение, такое как машина опорных векторов или нейронная сеть. При обнаружении светофора скорость распознавания можно повысить, подготовив обучающую базу данных, в которой заранее хранятся шаблоны светофоров разных размеров, и используя обучающую базу данных для обращения к ней в зависимости от расстояния до светофора.[0052] The processing of the traffic light detection image by the determiner 150 may use machine learning such as a support vector machine or a neural network. When a traffic light is detected, the recognition speed can be improved by preparing a training database that stores patterns of traffic lights of different sizes in advance, and using the training database to refer to it depending on the distance to the traffic light.

[0053] Блок 155 хранения результатов определения сохраняет состояние отображения светофора, определенное блоком 150 определения. В частности, блок 150 определения последовательно определяет множество изображений, полученных блоком 71 формирования изображения, в порядке временной последовательности, и блок 155 хранения результатов определения последовательно получает полученные результаты определения от блока 150 определения. Затем блок 155 хранения результатов определения сохраняет множество результатов определения в порядке временной последовательности в виде последовательности результатов.[0053] The determination result storage unit 155 stores the traffic light display state determined by the determination unit 150 . Specifically, the determination section 150 sequentially determines a plurality of images acquired by the imaging section 71 in order of time sequence, and the determination result storage section 155 sequentially acquires the obtained determination results from the determination section 150. Then, the determination result storage unit 155 stores the plurality of determination results in time sequence order as a result sequence.

[0054] Структура последовательности результатов, сохраняемая блоком 155 хранения результатов определения, будет описана со ссылкой на фиг. 4. Фиг. 4 является схемой, иллюстрирующей пример последовательности результатов, состоящей из множества результатов определения в порядке временной последовательности. Далее для упрощения пояснения предполагается, что существует четыре типа результатов определения, получаемых блоком 150 определения, и четыре типа являются «зеленым сигналом», «желтым сигналом», «красным сигналом» и «неизвестно» (результат определения того, что состояние отображения неизвестно). На фиг. 4 результаты определения «зеленый сигнал», «желтый сигнал», «красный сигнал» и «неизвестно» обозначены символами «G», «Y», «R» и «-» соответственно.[0054] The result sequence structure stored by the determination result storage unit 155 will be described with reference to FIG. 4. FIG. 4 is a diagram illustrating an example of a result sequence consisting of a plurality of determination results in order of time sequence. In the following, for simplicity of explanation, it is assumed that there are four types of determination results obtained by the determination unit 150, and the four types are "green signal", "yellow signal", "red signal", and "unknown" (determining result that the display state is unknown) . In FIG. 4, the results of determining "green signal", "yellow signal", "red signal" and "unknown" are indicated by the symbols "G", "Y", "R" and "-", respectively.

[0055] Причина, по которой результат определения блоком 150 определения является «неизвестно», заключается, например, в том, что светофор мерцает из-за явления мерцания, при котором яркость захваченного изображения изменяется в зависимости от времени формирования изображения блоком 71 формирования изображения, когда лампа светофора представляет собой лампу, которая периодически мигает, как светодиодная лампа, и/или из-за явления скользящего затвора, при котором время формирования изображения смещается для каждого положения в захваченном изображении из-за способа формирования изображения в блоке 71 формирования изображения.[0055] The reason why the determination result of the determination unit 150 is "unknown" is, for example, that the traffic light flickers due to a flickering phenomenon in which the brightness of the captured image changes depending on the imaging time of the imaging unit 71, when the traffic light is a lamp that flashes intermittently like an LED lamp, and/or due to a rolling shutter phenomenon in which the imaging time shifts for each position in the captured image due to the imaging method of the imaging unit 71.

[0056] Число N результатов определения, сохраненных блоком 155 хранения результатов определения, предварительно задано. То есть число N результатов определения, составляющих последовательность результатов, предварительно задано как заданное число, превышающее числовое пороговое значение NC.[0056] The number N of the determination results stored by the determination result storage unit 155 is predetermined. That is, the number N of the determination results constituting the sequence of results is predetermined as a predetermined number exceeding the numerical threshold value NC.

[0057] Индексы от 0 до N-1 назначаются каждому из N результатов определения, сохраненных блоком 155 хранения результатов определения. Здесь результатом определения индекса 0 является самый последний результат определения, полученный блоком 150 определения, и по мере увеличения числа индексов, присвоенных результату определения, результат определения становится старше по порядку.[0057] Indices from 0 to N-1 are assigned to each of the N determination results stored by the determination result storage unit 155 . Here, the determination result of index 0 is the latest determination result obtained by the determination unit 150, and as the number of indexes assigned to the determination result increases, the determination result becomes higher in order.

[0058] Когда один новый результат определения вводится в блок 155 хранения результатов определения, блок 155 хранения результатов определения увеличивает индекс, присвоенный результату определения, на 1 и добавляет индекс 0 новому результату определения, введенному в блок 155 хранения результатов определения. Результат определения, в котором индекс равен N, удаляется.[0058] When one new determination result is input to the determination result storage unit 155, the determination result storage unit 155 increments the index assigned to the determination result by 1 and adds index 0 to the new determination result entered into the determination result storage unit 155. The result of the definition in which the index is N is deleted.

[0059] Таким образом, блок 155 хранения результатов определения сохраняет результаты определения с индексами от 0 до N-1 в качестве последовательности результатов.[0059] That is, the determination result storage unit 155 stores the determination results with indexes 0 to N-1 as a sequence of results.

[0060] Кроме того, блок 155 хранения результатов определения может иметь функцию дополнения результатов определения. В частности, в случае, когда «неизвестно» включен в результаты определения, составляющие последовательность результатов, сохраненную в блоке 155 хранения результатов определения, результат определения «неизвестно» может быть заменен на основе результата определения непосредственно перед «неизвестно» и результата определения сразу после «неизвестно».[0060] In addition, the determination results storage unit 155 may have a function of supplementing the determination results. In particular, in the case where "unknown" is included in the determination results constituting the sequence of results stored in the determination result storage unit 155, the determination result "unknown" can be replaced based on the determination result immediately before "unknown" and the determination result immediately after " unknown."

[0061] Например, в последовательности результатов, показанной на фиг. 4, результатом определения индекса 2 является «неизвестно». В этом случае блок 155 хранения результатов определения обращается к результату определения индекса 3 непосредственно перед результатом определения индекса 2 и результату определения индекса 1 сразу после результата определения индекса 2. Результат определения индекса 1 и результат определения индекса 3 являются «желтый сигнал». Следовательно, результат определения индекса 2 может быть заменен с «неизвестно» и может стать «желтым сигналом», который является результатом определения индекса 3 непосредственно перед результатом определения индекса 2.[0061] For example, in the sequence of results shown in FIG. 4, the result of determining index 2 is "unknown". In this case, the determination result storage unit 155 refers to the index determination result 3 just before the index determination result 2 and the index determination result 1 immediately after the index determination result 2. The index determination result 1 and the index determination result 3 are "yellow". Therefore, an index result of 2 may be replaced with "unknown" and may become a "yellow signal", which is the index result of 3 just before the index result of 2.

[0062] Таким образом, блок 155 хранения результатов определения может извлекать результат определения, что состояние отображения неизвестно, из результатов определения, составляющих последовательность результатов, в качестве первого результата определения. Блок 155 хранения результатов определения может извлекать результат определения непосредственно перед первым результатом определения и результат определения непосредственно после первого результата определения из результатов определения, составляющих последовательность результатов, за исключением результатов определения, состояние отображения которых неизвестно, в качестве второго результата определения и третьего результата определения, соответственно. Блок 155 хранения результатов определения может заменить первый результат определения в последовательности результатов вторым результатом определения в случае, когда второй результат определения идентичен третьему результату определения.[0062] Thus, the determination result storage unit 155 can extract the determination result that the display state is unknown from the determination results constituting the result sequence as the first determination result. The determination result storage unit 155 can extract the determination result just before the first determination result and the determination result immediately after the first determination result from the determination results constituting the sequence of results, except for the determination results whose display state is unknown as the second determination result and the third determination result, respectively. The determination result storage unit 155 may replace the first determination result in the result sequence with the second determination result in the case where the second determination result is identical to the third determination result.

[0063] В ситуации, когда блок 150 определения не может определить состояние отображения светофора из-за мерцания светофора, вышеупомянутая функция дополнения результата определения блоком 155 хранения результатов определения эффективна для повышения точности распознавания светофора.[0063] In a situation where the determination unit 150 cannot determine the display state of the traffic light due to the flickering of the traffic light, the aforementioned function of supplementing the determination result by the determination result storage unit 155 is effective for improving the recognition accuracy of the traffic light.

[0064] В приведенном выше описании было указано, что число результатов определения, сохраненных в блоке 155 хранения результатов определения, равно N, но настоящее изобретение не ограничено этим.[0064] In the above description, it has been indicated that the number of determination results stored in the determination result storage unit 155 is N, but the present invention is not limited to this.

[0065] Например, блок 155 хранения результатов определения может определять, следует ли сохранять результат определения, на основе времени формирования изображения, которое является источником результата определения, вместо числа результатов определения. Более конкретно, блок 155 хранения результатов определения может стирать результат определения, соответствующий захваченному изображению, в котором прошло заданное время или более с момента получения изображения, и результат определения, сохраненный в блоке 155 хранения результатов определения, может быть только тем соответствующим изображениям, захваченным от настоящего до прошлого в течение заданного времени.[0065] For example, the determination result storage unit 155 may determine whether to store the determination result based on the imaging time that is the source of the determination result instead of the number of determination results. More specifically, the determination result storage unit 155 may erase the determination result corresponding to a captured image in which a predetermined time or more has elapsed since the acquisition of the image, and the determination result stored in the determination result storage unit 155 may only be those corresponding images captured from present to past within a given time.

[0066] В случае, когда блок 71 формирования изображения захватывает изображения в заданный интервал, результат, когда число результатов определения, хранящихся в блоке 155 хранения результатов определения, ограничено на основе числа N, является таким же, как и результат, когда число результатов определения ограничено на основе заданного времени.[0066] In the case where the imaging unit 71 captures images at a predetermined interval, the result when the number of determination results stored in the determination result storage unit 155 is limited based on the number N is the same as the result when the number of determination results limited based on the given time.

[0067] С другой стороны, в случае, когда блок 71 формирования изображения захватывает изображения в неопределенное время, отличное от заданного интервала, результат может измениться в зависимости от того, ограничено ли изображение на основе числа N или заданного времени. Однако независимо от того, ограничено ли число результатов определения, подлежащих сохранению, на основе числа N или заданного времени, это может быть принято в качестве конфигурации блока 155 хранения результатов определения.[0067] On the other hand, in the case where the imaging unit 71 captures images at an indefinite time other than a predetermined interval, the result may change depending on whether the image is limited based on the number N or the predetermined time. However, whether the number of determination results to be stored is limited based on the number N or a predetermined time, this can be taken as the configuration of the determination result storage unit 155 .

[0068] Блок 190 принятия решения о выводе определяет выходное значение на основе числового порогового значения NC, установленного блоком 180 установки порогового значения, и последовательности результатов, сохраненной в блоке 155 хранения результатов определения. В частности, блок 190 принятия решения о выводе устанавливает результат определения с индексом 0 в качестве выходного значения в случае, когда число результатов определения, которые являются теми же, что и последний результат определения (результат определения с индексом 0) из результатов определения, составляющих последовательность результатов, больше числового порогового значения NC. [0068] The output decision block 190 determines the output value based on the numerical threshold value NC set by the threshold setting block 180 and the sequence of results stored in the determination result storage block 155 . Specifically, the output decision block 190 sets the determination result with index 0 as an output value in the case where the number of determination results that are the same as the last determination result (determination result with index 0) of the determination results constituting the sequence results greater than the numeric threshold NC.

[0069] Следует отметить, что блок 190 принятия решения о выводе может поддерживать выходное значение в качестве предыдущего выходного значения в случае, когда число результатов определения, которые являются теми же, что и последний результат определения (результат определения с индексом 0) из результатов определения, составляющих последовательность результатов, равно или меньше числового порогового значения NC.[0069] It should be noted that the output decision block 190 can maintain the output value as the previous output value in the case where the number of determination results that are the same as the last determination result (determination result with index 0) of the determination results , constituting the sequence of results, is equal to or less than the numerical threshold value NC.

[0070] Состояние определения выходного значения блоком 190 принятия решения о выводе будет описано со ссылкой на фиг. 5A. Фиг. 5A является схемой, иллюстрирующей первый пример изменения выходного значения, соответствующего последовательности результатов.[0070] The state of determining the output value by the output decision block 190 will be described with reference to FIG. 5A. Fig. 5A is a diagram illustrating a first example of changing an output value corresponding to a sequence of results.

[0071] На фиг. 5A предполагается, что число N результатов определения, составляющих последовательность результатов, равно 8, а числовое пороговое значение NC равно 4. Кроме того, предполагается, что изображения, полученные блоком 71 формирования изображения, относятся к кадрам от кадра F001 до кадра F010 в порядке временной последовательности, и результат определения блоком 150 определения получается для каждого кадра. Кроме того, в примере, показанном на фиг. 5A, предполагается, что функция дополнения результата определения блоком 155 хранения результатов определения отключена.[0071] FIG. 5A, it is assumed that the number N of the determination results constituting the sequence of results is 8, and the numerical threshold value NC is 4. In addition, the images obtained by the image forming unit 71 are assumed to refer to frames from frame F001 to frame F010 in order of time. sequence, and a determination result by the determination unit 150 is obtained for each frame. Moreover, in the example shown in FIG. 5A, it is assumed that the function of supplementing the determination result with the determination result storage unit 155 is turned off.

[0072] Например, на фиг. 5А, относящейся к строке кадра F001, отображение «G» с левой стороны последовательности результатов означает, что результатом определения блока 150 определения по отношению к кадру F001 является «зеленый сигнал». Кроме того, отображение «G» с правой стороны последовательности результатов означает, что выходное значение, определенное блоком 190 принятия решения о выводе, является «зеленым сигналом», когда результат определения кадра F001 вводится в последовательность результатов. Другие кадры с F002 по F010 также отображаются таким же образом.[0072] For example, in FIG. 5A relating to the line of frame F001, displaying "G" on the left side of the sequence of results means that the determination result of the determination unit 150 with respect to frame F001 is "green". In addition, displaying "G" on the right side of the result sequence means that the output value determined by the output decision block 190 is "green" when the determination result of frame F001 is input into the result sequence. Other blocks F002 to F010 are also displayed in the same way.

[0073] Предполагается, что состояние отображения светофора было зеленым сигналом во время формирования изображения кадра F004, но изменилось на желтый сигнал во время формирования изображения кадра F005. В этом случае, как показано в строке кадра F005 на фиг. 5А, число результатов определения, которые являются теми же, что и результат определения «Y» в последовательности результатов, равно 1, что является значением, равным или меньшим, чем числовое пороговое значение NC. Следовательно, блок 190 принятия решения о выводе поддерживает выходное значение в качестве «зеленого сигнала», который является непосредственно предшествующим выходным значением.[0073] It is assumed that the traffic light display state was green at the time of imaging frame F004, but changed to yellow at the time of imaging frame F005. In this case, as shown in frame line F005 in FIG. 5A, the number of determination results that are the same as the determination result "Y" in the result sequence is 1, which is a value equal to or less than the numerical threshold value NC. Therefore, the output decision block 190 maintains the output value as a "green signal" which is the immediately preceding output value.

[0074] На фиг. 5А выходное значение, определенное блоком 190 принятия решения о выводе, изменяется с «зеленого сигнала» на «желтый сигнал» во время кадра F010. Со ссылкой на строку кадра F010 на фиг. 5A число результатов определения, которые совпадают с результатом определения «Y» в последовательности результатов, равно 5, что больше, чем числовое пороговое значение NC. Следовательно, блок 190 принятия решения о выводе устанавливает выходное значение как «желтый сигнал» во время кадра F010.[0074] FIG. 5A, the output value determined by the output decision block 190 changes from green to yellow during frame F010. With reference to frame line F010 in FIG. 5A, the number of determination results that match with the determination result "Y" in the result sequence is 5, which is greater than the numerical threshold value NC. Therefore, the output decision block 190 sets the output value to "yellow" during frame F010.

[0075] В примере, показанном на фиг. 5А, существует временная задержка в 5 кадров от фактического изменения состояния отображения светофора до изменения выходного значения блоком 190 принятия решения о выводе. Расстояние, пройденное транспортным средством за время задержки, является расстоянием свободного пробега транспортного средства.[0075] In the example shown in FIG. 5A, there is a time delay of 5 frames from the actual change in the display state of the traffic light to the change in the output value by the output decision block 190. The distance traveled by the vehicle during the delay time is the free running distance of the vehicle.

[0076] Со ссылкой на фиг. 5B будет описано, что чем меньше установленное числовое пороговое значение NC, тем меньше временная задержка между фактическим изменением состояния отображения светофора и изменением выходного значения. Фиг. 5B является схемой, иллюстрирующей второй пример изменения выходного значения, соответствующего последовательности результатов.[0076] With reference to FIG. 5B, it will be described that the smaller the set numerical threshold value NC, the shorter the time delay between the actual change in the display state of the traffic light and the change in the output value. Fig. 5B is a diagram illustrating a second example of changing an output value corresponding to a sequence of results.

[0077] В примере, показанном на фиг. 5B, в отличие от примера, показанного на фиг. 5A, предполагается, что числовое пороговое значение NC равно 2. На фиг. 5B выходное значение, определенное блоком 190 принятия решения о выводе, изменяется с «зеленого сигнала» на «желтый сигнал» во время кадра F008. В этом случае временная задержка от фактического изменения состояния отображения светофора до изменения выходного значения составляет 3 кадра.[0077] In the example shown in FIG. 5B, unlike the example shown in FIG. 5A, the numerical threshold value NC is assumed to be 2. In FIG. 5B, the output value determined by the output decision block 190 changes from green to yellow during frame F008. In this case, the time delay from actually changing the display state of the traffic light to changing the output value is 3 frames.

[0078] Кроме того, на фиг. 5B, предполагая, что функция дополнения результата определения блоком 155 хранения результатов определения включена, когда результат определения для кадра F007 сохраняется в блоке 155 хранения результатов определения, выполняется дополнение для результата определения индекса 1, и результат определения индекса 1 изменяется с «неизвестно» на «желтый сигнал». В результате выходное значение, определенное блоком 190 принятия решения о выводе, изменяется с «зеленого сигнала» на «желтый сигнал» во время кадра F007. В этом случае временная задержка от фактического изменения состояния отображения светофора до изменения выходного значения составляет два кадра.[0078] In addition, in FIG. 5B, assuming that the determination result addition function by the determination result storage unit 155 is turned on, when the determination result for frame F007 is stored in the determination result storage unit 155, addition is performed for the determination result of index 1, and the determination result of index 1 is changed from "unknown" to " yellow signal. As a result, the output value determined by the output decision block 190 changes from green to yellow during frame F007. In this case, the time delay from actually changing the display state of the traffic light to changing the output value is two frames.

[0079] Как описано выше, чтобы уменьшить временную задержку от фактического изменения состояния отображения светофора до изменения выходного значения и сократить расстояние свободного пробега, желательно уменьшить числовое пороговое значение NC. С другой стороны, чтобы повысить точность распознавания светофора, желательно увеличить числовое пороговое значение NC. То есть существует компромиссное соотношение между повышением точности распознавания светофора и уменьшением временной задержки для сокращения расстояния свободного пробега.[0079] As described above, in order to reduce the time delay from the actual change of the display state of the traffic light to the change of the output value and shorten the free running distance, it is desirable to decrease the numerical threshold value NC. On the other hand, in order to improve the recognition accuracy of a traffic light, it is desirable to increase the numerical threshold value NC. That is, there is a trade-off between improving the accuracy of traffic light recognition and reducing the time delay to reduce the free running distance.

[0080] Следовательно, чтобы сократить расстояние свободного пробега, желательно, чтобы блок 180 установки порогового значения устанавливал числовое пороговое значение NC, когда транспортное средство находится близко к стоп-линии, меньшим, чем числовое пороговое значение NC, установленное, когда транспортное средство находится далеко от стоп-линии. Кроме того, когда состояние отображения светофора представляет собой желтый сигнал или красный сигнал по сравнению со случаем, когда состояние отображения светофора представляет собой зеленый сигнал, желательно, чтобы блок 180 установки порогового значения устанавливал числовое пороговое значение NC меньше, чтобы сократить расстояние свободного пробега. [0080] Therefore, in order to shorten the free running distance, it is desirable that the threshold setting unit 180 sets the numerical threshold value NC when the vehicle is close to the stop line to be smaller than the numerical threshold value NC set when the vehicle is far away. from the stop line. In addition, when the traffic light display state is a yellow signal or a red signal compared to the case where the traffic light display state is a green signal, it is desirable that the threshold setting unit 180 sets the numerical threshold value NC smaller to shorten the free running distance.

[0081] Блок 160 вывода выводит выходное значение, определенное блоком 190 принятия решения о выводе, в качестве состояния отображения светофора. Например, состояние отображения светофора выводится из блока 160 вывода в устройство 400 управления транспортным средством и используется для управления транспортным средством. Кроме того, состояние отображения светофора может быть выведено из блока 160 вывода на устройство уведомления (не показано) и сообщено находящемуся в транспортном средстве человеку через устройство уведомления.[0081] The output block 160 outputs the output value determined by the output decision block 190 as a traffic light display state. For example, the display state of the traffic light is output from the output unit 160 to the vehicle control device 400 and is used to control the vehicle. In addition, the display state of the traffic light can be output from the output unit 160 to a notification device (not shown) and communicated to the vehicle occupant via the notification device.

[0082] [Процедура обработки устройства распознавания светофора][0082] [Traffic Light Recognition Device Processing Process]

Далее со ссылкой на блок-схемы последовательности операций на фиг. 2 и 6 будет описана процедура обработки распознавания светофора устройством распознавания светофора согласно настоящему варианту осуществления. Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей процедуру обработки устройства распознавания светофора согласно настоящему варианту осуществления. Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей модифицированный пример процедуры обработки устройства распознавания светофора согласно настоящему варианту осуществления.Next, with reference to the flowcharts in FIG. 2 and 6, the procedure of traffic light recognition processing by the traffic light recognition device according to the present embodiment will be described. Fig. 2 is a flowchart illustrating a processing procedure of a traffic light recognition apparatus according to the present embodiment. Fig. 6 is a flowchart illustrating a modified example of a processing procedure of a traffic light recognition apparatus according to the present embodiment.

[0083] Процесс распознавания светофора, показанный на фиг. 2 и 6, может выполняться каждый раз, когда блок 71 формирования изображения получает изображение, или может выполняться каждый цикл, когда обработка изображения выполняется в области обнаружения после того, как блок 71 формирования изображения получает изображение.[0083] The traffic light recognition process shown in FIG. 2 and 6 may be executed each time the imaging unit 71 acquires an image, or may be performed every cycle when image processing is performed in the detection area after the imaging unit 71 acquires an image.

[0084] На фиг. 2 на этапе S101 блок 110 получения собственного местоположения получает абсолютное положение транспортного средства с помощью датчика 73 в транспортном средстве.[0084] FIG. 2, in step S101, the own location acquisition unit 110 obtains the absolute position of the vehicle using the sensor 73 in the vehicle.

[0085] На этапе S103 блок 120 получения местоположения остановки ищет картографическую информацию, полученную блоком 75 получения картографической информации, на основе текущего местоположения и позиции транспортного средства, полученных блоком 110 получения собственного местоположения, и извлекает светофор, расположенный в направлении движения транспортного средства. Затем блок 120 получения местоположения остановки получает местоположение стоп-линии, соответствующей извлеченному светофору, из картографической информации.[0085] In step S103, the stop location acquisition unit 120 searches for map information obtained by the map information acquisition unit 75 based on the current location and position of the vehicle obtained by the home location acquisition unit 110, and extracts a traffic light located in the direction of travel of the vehicle. Next, the stop location obtaining unit 120 obtains the location of the stop line corresponding to the retrieved traffic light from the map information.

[0086] На этапе S105 блок 130 вычисления вычисляет расстояние D (первое расстояние) от местоположения транспортного средства до местоположения стоп-линии. Кроме того, блок 130 вычисления вычисляет пороговое значение D_H расстояния.[0086] In step S105, the calculation unit 130 calculates the distance D (first distance) from the location of the vehicle to the location of the stop line. In addition, the calculation unit 130 calculates the distance threshold value D_H.

[0087] На этапе S107 блок 150 определения определяет состояние отображения светофора на основе изображения, захваченного блоком 71 формирования изображения.[0087] In step S107, the determining unit 150 determines the display state of the traffic light based on the image captured by the imaging unit 71 .

[0088] На этапе S109 блок 155 хранения результатов определения сохраняет состояние отображения светофора, определенное блоком 150 определения.[0088] In step S109, the determination result storage unit 155 stores the traffic light display state determined by the determination unit 150.

[0089] На этапе S141 блок 180 установки порогового значения определяет, светится ли светофор. В частности, блок 180 установки порогового значения определяет, светится ли светофор, обращаясь к результату определения индекса 0 из последовательности результатов, сохраненной в блоке 155 хранения результатов определения.[0089] In step S141, the threshold setting unit 180 determines whether the traffic light is on. Specifically, the threshold setting unit 180 determines whether the traffic light is lit by referring to the determination result of index 0 from the sequence of results stored in the determination result storage unit 155 .

[0090] Если светофор не светится (НЕТ на этапе S141), блок 180 установки порогового значения поддерживает числовое пороговое значение NC на этапе S145. Если светофор светится (ДА на этапе S141), процесс переходит к этапу S143.[0090] If the traffic light is not lit (NO in step S141), the threshold setting unit 180 maintains the numerical threshold value NC in step S145. If the traffic light is lit (YES in step S141), the process proceeds to step S143.

[0091] На этапе S143 блок 180 установки порогового значения определяет, меньше или нет расстояние D, чем пороговое значение D_H расстояния.[0091] In step S143, the threshold setting unit 180 determines whether or not the distance D is smaller than the distance threshold D_H.

[0092] Если расстояние D равно или превышает пороговое значение D_H расстояния (НЕТ на этапе S143), блок 180 установки порогового значения устанавливает первое пороговое значение в качестве числового порогового значения NC на этапе S146. Если расстояние D меньше, чем пороговое значение D_H расстояния (ДА на этапе S143), на этапе S147 блок 180 установки порогового значения устанавливает второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения NC.[0092] If the distance D is equal to or greater than the distance threshold D_H (NO in step S143), the threshold setting unit 180 sets the first threshold value as the numerical threshold NC in step S146. If the distance D is smaller than the distance threshold D_H (YES in step S143), in step S147, the threshold setting unit 180 sets the second threshold smaller than the first threshold as the numerical threshold NC.

[0093] После завершения установки числового порогового значения NC на этапе S145, этапе S146 и этапе S147 блок 190 принятия решения о выводе определяет выходное значение на основе последовательности результатов, сохраненной в блоке 155 хранения результатов определения на этапе S171.[0093] After the setting of the numerical threshold value NC is completed in step S145, step S146, and step S147, the output decision block 190 determines an output value based on the sequence of results stored in the determination result storage block 155 in step S171.

[0094] На этапе S173 блок 160 вывода выводит состояние отображения светофора, определенное блоком 190 принятия решения о выводе. Выходное состояние отображения светофора используется, например, в устройстве 400 управления транспортным средством.[0094] In step S173, the output block 160 outputs the traffic light display state determined by the output decision block 190. The traffic light display output state is used in the vehicle control apparatus 400, for example.

[0095] Вместо вышеупомянутых этапов S141, S143, S145, S146 и S147, как показано на блок-схеме последовательности операций на фиг. 6, блок 180 установки порогового значения может установить числовое пороговое значение NC посредством вычисления возможного расстояния D_CF свободного пробега.[0095] Instead of the above steps S141, S143, S145, S146, and S147, as shown in the flowchart of FIG. 6, the threshold setting unit 180 may set the numerical threshold value NC by calculating the possible free path distance D_CF.

[0096] На фиг. 6 на этапе S151 блок 180 установки порогового значения вычисляет возможное расстояние D_CF свободного пробега (второе расстояние) посредством вычитания порогового значения D_H расстояния из расстояния D.[0096] FIG. 6, in step S151, the threshold setting unit 180 calculates a possible free running distance D_CF (second distance) by subtracting the distance threshold D_H from the distance D.

[0097] На этапе S153 блок 180 установки порогового значения вычисляет значение-кандидат посредством деления возможного расстояния D_CF свободного пробега на произведение заданного интервала и скорости транспортного средства, и, если значение-кандидат меньше, чем уже установленное числовое пороговое значение NC, блок 180 установки порогового значения устанавливает значение-кандидат в качестве числового порогового значения NC.[0097] In step S153, the threshold setting unit 180 calculates a candidate value by dividing the possible free run distance D_CF by the product of the predetermined interval and the vehicle speed, and if the candidate value is less than the already set numerical threshold value NC, the setting unit 180 threshold value sets the candidate value as the numerical threshold value NC.

[0098] Посредством многократного выполнения процессов, показанных блок-схемами последовательности операций на фиг. 2 и 6, числовое пороговое значение NC последовательно обновляется.[0098] By repeatedly executing the processes shown by the flowcharts in FIG. 2 and 6, the numerical threshold value NC is sequentially updated.

[0099] [Эффект вариантов осуществления][0099] [Effect of Embodiments]

Как подробно описано выше, способ распознавания светофора и устройство распознавания светофора в соответствии с настоящим вариантом осуществления получают последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных путем определения состояния отображения светофора на основе множества изображений направления движения транспортного средства, устанавливают первое пороговое значение в качестве числового порогового значения в случае, когда первое расстояние от местоположения транспортного средства до местоположения стоп-линии, соответствующего светофору, равно или больше, чем пороговое значение расстояния, устанавливают второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда первое расстояние меньше, чем пороговое значение расстояния, и выводят последний результат определения в случае, когда число результатов определения, идентичных последнему результату определения, больше числового порогового значения из результатов определения, составляющих последовательность результатов.As described in detail above, the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment obtain a sequence of results consisting of a plurality of determination results in time sequence order obtained by determining a traffic light display state based on a plurality of vehicle driving direction images, set a first threshold value as a numerical threshold value in the case where the first distance from the vehicle position to the stop line position corresponding to the traffic light is equal to or greater than the distance threshold value, set the second threshold value less than the first threshold value as the numerical threshold value values in the case where the first distance is smaller than the distance threshold value, and output the last determination result in the case where the number of determination results identical to the last result determination, greater than the numerical threshold value of the determination results constituting the sequence of results.

[0100] В результате возможно определить состояние отображения светофора посредством обращения к множеству изображений, расположенных в порядке временной последовательности, и распознать светофор, подавляя при этом увеличение расстояния свободного пробега транспортного средства. В частности, возможно выводить состояние отображения светофора на ранней стадии и сокращать расстояние свободного пробега транспортного средства, когда расстояние транспортного средства до стоп-линии, соответствующей светофору, становится меньше порогового значения расстояния.[0100] As a result, it is possible to determine the display state of the traffic light by referring to the plurality of images arranged in time order and to recognize the traffic light while suppressing an increase in the free running distance of the vehicle. In particular, it is possible to output the display state of the traffic light at an early stage and shorten the free running distance of the vehicle when the distance of the vehicle to the stop line corresponding to the traffic light becomes less than the distance threshold.

[0101] Кроме того, способ распознавания светофора и устройство распознавания светофора в соответствии с настоящим вариантом осуществления могут вычислять тормозной путь до остановки транспортного средства, когда транспортное средство замедляется с заданным ускорением замедления, и могут устанавливать пороговое значение расстояния на основе тормозного пути. В результате возможно определить числовое пороговое значение для определения состояния отображения светофора на основе текущей скорости транспортного средства и расстояния до стоп-линии светофора, и распознать светофор, подавляя при этом увеличение расстояния свободного пробега транспортного средства.[0101] In addition, the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment can calculate the stopping distance of the vehicle when the vehicle decelerates at a predetermined deceleration acceleration, and can set a distance threshold based on the braking distance. As a result, it is possible to determine a numerical threshold value for determining the display state of a traffic light based on the current vehicle speed and the distance to the stop line of the traffic light, and to recognize the traffic light while suppressing an increase in the free running distance of the vehicle.

[0102] Кроме того, способ распознавания светофора и устройство распознавания светофора в соответствии с настоящим вариантом осуществления могут вычислять расстояние свободного пробега посредством умножения заданного интервала, числового порогового значения и скорости транспортного средства, при этом множество изображений являются изображениями, полученными в заданный интервал, и могут установить сумму расстояния свободного пробега и тормозного пути в качестве порогового значения расстояния. Возможно определить числовое пороговое значение для определения состояния отображения светофора на основе расстояния свободного пробега транспортного средства, оцененного по текущей скорости транспортного средства, и распознать светофор, подавляя при этом увеличение расстояния свободного пробега транспортного средства.[0102] In addition, the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment can calculate the free running distance by multiplying the predetermined interval, the numerical threshold value and the vehicle speed, wherein the plurality of images are images taken at the predetermined interval, and can set the sum of the free running distance and the braking distance as the distance threshold. It is possible to determine a numerical threshold for determining a display state of a traffic light based on a vehicle free run distance judged from a current vehicle speed, and recognize a traffic light while suppressing an increase in the vehicle free run distance.

[0103] Кроме того, в способе распознавания светофора и устройстве распознавания светофора согласно настоящему варианту осуществления при установке числового порогового значения на основе первого расстояния второе пороговое значение может быть установлено в качестве числового порогового значения в случае, когда первое расстояние меньше, чем пороговое значение расстояния, и самый последний результат определения из результатов определения, составляющих последовательность результатов, отличается от результата определения, что состояние отображения неизвестно, и результата определения, что состояние отображения является отображением разрешения, позволяющим прохождение стоп-линии. В результате, когда состояние отображения светофора изменяется с зеленого сигнала на желтый сигнал, возможно вывести состояние отображения светофора на ранней стадии посредством уменьшения числового порогового значения NC, и возможно сократить расстояние свободного пробега из-за задержки в обработке распознавания изображений.[0103] In addition, in the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment, when setting the numerical threshold based on the first distance, the second threshold may be set as the numerical threshold in the case where the first distance is smaller than the distance threshold , and the latest determination result of the determination results constituting the sequence of results differs from the determination result that the display state is unknown and the determination result that the display state is a resolution display allowing the stop line to pass. As a result, when the traffic light display state changes from green to yellow, it is possible to deduce the traffic light display state at an early stage by reducing the numerical threshold value NC, and it is possible to shorten the free running distance due to the delay in image recognition processing.

[0104] Кроме того, в способе распознавания светофора и устройстве распознавания светофора согласно настоящему варианту осуществления при установке числового порогового значения на основе первого расстояния второе пороговое значение может быть установлено в качестве числового порогового значения в случае, когда первое расстояние меньше, чем пороговое значение расстояния, и ускорение замедления, когда транспортное средство останавливается перед стоп-линией, равно или меньше заданного ускорения замедления. В результате, когда транспортное средство приближается к стоп-линии в местоположение, где транспортное средство не может остановиться с заданным ускорением замедления, первое пороговое значение устанавливается в качестве числового порогового значения, а в других случаях устанавливается второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения. Таким образом, числовое пороговое значение NC, которое должно использоваться на следующей стоп-линии после целевой стоп-линии, может быть установлено заранее.[0104] In addition, in the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment, when setting the numerical threshold based on the first distance, the second threshold may be set as the numerical threshold in the case where the first distance is smaller than the distance threshold , and the deceleration acceleration when the vehicle stops before the stop line is equal to or less than the predetermined deceleration acceleration. As a result, when the vehicle approaches the stop line to a location where the vehicle cannot stop with a predetermined deceleration acceleration, the first threshold value is set as a numerical threshold value, and in other cases, the second threshold value is set to be less than the first threshold value. , as a numeric threshold. Thus, the numerical threshold value NC to be used at the next stop line after the target stop line can be set in advance.

[0105] Кроме того, способ распознавания светофора и устройство распознавания светофора в соответствии с настоящим вариантом осуществления могут вычислять второе расстояние посредством вычитания порогового значения расстояния из первого расстояния, могут вычислять значение-кандидат посредством деления второго расстояния на произведение заданного интервала и скорости транспортного средства, при этом множество изображений являются изображениями, полученными в заданный интервал, и могут устанавливать значение-кандидат в качестве числового порогового значения в случае, когда значение-кандидат меньше установленного числового порогового значения. В результате в местоположении дальше от стоп-линии, где точность распознавания изображений низкая, точность распознавания изображений можно повысить, установив большое числовое пороговое значение. С другой стороны, в местоположении, близком к стоп-линии, где точность распознавания изображений высока, расстояние свободного пробега можно сократить, установив малое числовое пороговое значение.[0105] Furthermore, the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment can calculate the second distance by subtracting the distance threshold value from the first distance, can calculate the candidate value by dividing the second distance by the product of the predetermined interval and the vehicle speed, wherein the plurality of images are images taken at a predetermined interval and may set a candidate value as a numerical threshold value in a case where the candidate value is less than the set numerical threshold value. As a result, at a location away from the stop line where the image recognition accuracy is low, the image recognition accuracy can be improved by setting a large numerical threshold value. On the other hand, at a location close to the stop line where the image recognition accuracy is high, the free running distance can be shortened by setting a small numerical threshold value.

[0106] Кроме того, в способе распознавания светофора и устройстве распознавания светофора согласно настоящему варианту осуществления число результатов определения, составляющих последовательность результатов, может быть больше, чем числовое пороговое значение. В результате возможно сохранить число результатов определения, необходимых для определения выходного значения, и возможно уверенно повысить точность распознавания светофора.[0106] In addition, in the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment, the number of determination results constituting the sequence of results may be larger than the numerical threshold value. As a result, it is possible to store the number of determination results needed to determine the output value, and it is possible to improve the recognition accuracy of a traffic light with confidence.

[0107] Кроме того, способ распознавания светофора и устройство распознавания светофора в соответствии с настоящим вариантом осуществления могут извлекать результат определения, что состояние отображения неизвестно, из результатов определения, составляющих последовательность результатов, в качестве первого результата определения, могут извлекать результат определения непосредственно перед первым результатом определения и результатом определения сразу после первого результата определения из результатов определения, составляющих последовательность результатов, за исключением результатов определения, состояние отображения которых неизвестно, в качестве второго результата определения и третьего результата определения, соответственно, могут заменить первый результат определения в последовательности результатов на второй результат определения в случае, когда второй результат определения идентичен третьему результату определения.[0107] In addition, the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment can extract the determination result that the display state is unknown from the determination results constituting the sequence of results, as the first determination result, may extract the determination result immediately before the first the determination result and the determination result immediately after the first determination result of the determination results constituting the sequence of results, except for the determination results whose display state is unknown, as the second determination result and the third determination result, respectively, can replace the first determination result in the sequence of results with the second a determination result in the case where the second determination result is identical to the third determination result.

[0108] В результате, даже в ситуации, когда состояние отображения светофора не может быть определено из-за мерцания светофора, возможно уменьшить временную задержку от фактического изменения состояния отображения светофора до изменения выходного значения и, как следствие, возможно уменьшить расстояние свободного пробега транспортного средства.[0108] As a result, even in a situation where the display state of the traffic light cannot be determined due to the flickering of the traffic light, it is possible to reduce the time delay from the actual change in the display state of the traffic light to the change in the output value, and as a result, it is possible to reduce the free running distance of the vehicle .

[0109] Соответствующие функции, описанные в приведенном выше варианте осуществления, могут быть реализованы одной или множеством схем обработки. Схемы обработки включают в себя запрограммированные устройства обработки, такие как устройство обработки, включающее в себя электрическую схему, и включают в себя устройства, такие как специализированная интегральная схема (ASIC) и обычные элементы схемы, которые приспособлены для выполнения функций, описанных в варианте осуществления.[0109] The respective functions described in the above embodiment may be implemented by one or multiple processing circuits. Processing circuits include programmed processing devices such as a processing device including an electrical circuit, and include devices such as an application specific integrated circuit (ASIC) and conventional circuit elements that are adapted to perform the functions described in the embodiment.

[0110] Хотя содержание настоящего изобретения было описано выше со ссылкой на вариант осуществления, настоящее изобретение не ограничено этими описаниями, и специалистам в данной области техники будет очевидно, что могут быть сделаны различные модификации и усовершенствования. Не следует истолковывать, что настоящее изобретение ограничено описаниями и чертежами, которые составляют часть настоящего раскрытия. [0110] Although the contents of the present invention have been described above with reference to the embodiment, the present invention is not limited to these descriptions, and it will be apparent to those skilled in the art that various modifications and improvements can be made. It should not be construed that the present invention is limited to the descriptions and drawings which form part of the present disclosure.

На основе настоящего раскрытия специалистам в данной области техники будут очевидны различные альтернативные варианты осуществления, практические примеры и способы работы.Based on the present disclosure, various alternative embodiments, practical examples, and methods of operation will be apparent to those skilled in the art.

[0111] Нет необходимости упоминать, что настоящее изобретение также включает в себя различные варианты осуществления, которые здесь не описаны. Следовательно, технический объем настоящего изобретения должен определяться только изобретением, определяющим объекты патентования в соответствии с объемом формулы изобретения, соответствующим образом полученным из приведенных выше описаний.[0111] Needless to say, the present invention also includes various embodiments that are not described here. Therefore, the technical scope of the present invention should only be determined by the invention defining the subject matter of the patent according to the scope of the claims, as appropriately derived from the above descriptions.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙLIST OF REFERENCES

[0112][0112]

71 блок формирования изображения71 imaging units

73 датчик в транспортном средстве73 sensor in the vehicle

75 блок получения картографической информации75 block for obtaining cartographic information

100 контроллер100 controller

110 блок получения собственного местоположения110 get own location block

120 блок получения местоположения остановки120 stop location acquisition block

130 блок вычисления130 calculation block

150 блок определения150 definition block

155 блок хранения результатов определения155 determination result storage unit

160 блок вывода160 output block

180 блок установки порогового значения180 threshold setting block

190 блок принятия решения о выводе190 withdrawal decision block

400 устройство управления транспортным средством.400 vehicle control device.

Claims

1. A method for recognizing a traffic light, comprising the steps of:

obtaining a plurality of images by repeatedly imaging a traffic light in the direction of travel of the vehicle using an imaging unit mounted on the vehicle,

obtaining a sequence of results consisting of a plurality of determination results in order of time sequence obtained by determining the display state of a traffic light for each image of the plurality of images,

get the location of the stop line corresponding to the traffic light,

calculating the first distance from the vehicle location to the stop line location,

when setting a numerical threshold based on the first distance,

setting the first threshold value as a numerical threshold value in the case where the first distance is equal to or greater than the distance threshold value,

setting a second threshold less than the first threshold as a numerical threshold in the case where the first distance is less than the distance threshold, and

outputting the last determination result in a case where the number of determination results identical to the last determination result exceeds a numerical threshold value from the determination results constituting the sequence of results.

2. The traffic light recognition method according to claim 1, further comprising the steps of:

calculating the stopping distance to stop the vehicle when the vehicle decelerates with a given deceleration acceleration, and

setting a distance threshold based on the braking distance.

3. The traffic light recognition method according to claim 2, further comprising the steps of:

calculating the free run distance by multiplying the predetermined interval, the numerical threshold value and the vehicle speed, wherein the plurality of images are images taken at the predetermined interval, and

setting the sum of the free running distance and the stopping distance as the distance threshold.

4. The method of recognizing a traffic light according to any one of paragraphs. 1-3, in which

when setting the numerical threshold based on the first distance, the second threshold is set as the numerical threshold in the case where

the first distance is less than the distance threshold, and

the last determination result of the determination results constituting the sequence of results differs from the determination result that the display state is unknown and the determination result that the display state is a permission display that permits the stop line to pass.

5. A method for recognizing a traffic light according to any one of paragraphs. 1-4, in which

the first distance is less than the distance threshold, and

deceleration acceleration when the vehicle stops before the stop line is equal to or less than the set deceleration acceleration.

6. The method of recognizing a traffic light according to any one of paragraphs. 1-5, further comprising the steps of:

calculating the second distance by subtracting the distance threshold from the first distance,

calculating a candidate value by dividing the second distance by the product of the predetermined interval and the speed of the vehicle, wherein the plurality of images are images taken at the predetermined interval, and

setting the candidate value as a numerical threshold value in case the candidate value is less than the set numerical threshold value.

7. The method of recognizing a traffic light according to any one of paragraphs. 1-6, in which

the number of determination results constituting the sequence of results exceeds the numerical threshold value.

8. A method for recognizing a traffic light according to any one of paragraphs. 1-7, further comprising the steps of:

extracting a determination result that the display state is unknown from the determination results constituting the sequence of results as the first determination result,

extracting a determination result immediately before the first determination result and a determination result immediately after the first determination result from the determination results constituting the sequence of results, except for the determination results whose display state is unknown as the second determination result and the third determination result, respectively,

replacing the first determination result in the sequence of results with the second determination result in the case where the second determination result is identical to the third determination result.

9. A traffic light recognition device, comprising an imaging unit installed on a vehicle and a controller, wherein the controller

obtains a plurality of images by repeatedly imaging a traffic light in the direction of travel of the vehicle using an imaging unit,

obtains a sequence of results consisting of a plurality of determination results in order of time sequence obtained by determining the display state of a traffic light for each image of the plurality of images,

gets the location of the stop line corresponding to the traffic light,

calculates the first distance from the vehicle location to the stop line location,

when setting a numerical threshold based on the first distance

sets the first threshold as a numeric threshold in the case where the first distance is equal to or greater than the distance threshold,

sets a second threshold less than the first threshold as a numeric threshold in the case where the first distance is less than the distance threshold, and

outputs the last determination result in the case where the number of determination results identical to the last determination result exceeds the numerical threshold value from the determination results constituting the sequence of results.