RU2779798C1 - Traffic light recognition method and traffic light recognition device - Google Patents

Traffic light recognition method and traffic light recognition device Download PDF

Info

Publication number
RU2779798C1
RU2779798C1 RU2022115721A RU2022115721A RU2779798C1 RU 2779798 C1 RU2779798 C1 RU 2779798C1 RU 2022115721 A RU2022115721 A RU 2022115721A RU 2022115721 A RU2022115721 A RU 2022115721A RU 2779798 C1 RU2779798 C1 RU 2779798C1
Authority
RU
Russia
Prior art keywords
determination result
traffic light
threshold value
results
display
Prior art date
Application number
RU2022115721A
Other languages
Russian (ru)
Inventor
Тосихико НИСИМУРА
Харуо МАЦУО
Original Assignee
Ниссан Мотор Ко., Лтд.
Filing date
Publication date
Application filed by Ниссан Мотор Ко., Лтд. filed Critical Ниссан Мотор Ко., Лтд.
Application granted granted Critical
Publication of RU2779798C1 publication Critical patent/RU2779798C1/en

Links

Images

Abstract

FIELD: traffic light recognition.
SUBSTANCE: invention relates to a traffic light recognition method and a traffic light recognition device. The traffic light recognition method comprising the steps of obtaining a plurality of images by repeatedly forming a traffic light image, obtaining a sequence of results consisting of a plurality of determination results in the order of time sequence. When setting a numerical threshold value based on the specific determination result that is the last determination result of the determination results constituting the sequence of results, the first threshold value is set as the numerical threshold in the case where the specific determination result is the determination result that the display state is display permission that allows the passage of a stop line corresponding to a traffic light. A second threshold value smaller than the first threshold value is set as a numerical threshold value in the case where the specific determination result differs from the determination result that the display state is a resolution display. The traffic light recognition device comprises an imaging unit and a controller.
EFFECT: increase in the accuracy of image recognition is achieved.
7 cl, 6 dwg

Description

ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY

[0001] Настоящее изобретение относится к способу распознавания светофора и устройству распознавания светофора.[0001] The present invention relates to a traffic light recognition method and a traffic light recognition device.

УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE INVENTION

[0002] В соответствии с патентным документом 1, чтобы избежать ситуации, в которой светофор, управляемый для свечения, ошибочно определяется как управляемый для выключения или мигания, предлагается способ, в котором определяют, что светофор выключен или мигает на основе превышает ли количество захваченных изображений, определенных как выключенный светофор, среди заданного количества последовательных захваченных изображений, пороговое значение.[0002] According to Patent Document 1, in order to avoid a situation in which a traffic light controlled to be lit is erroneously determined to be controlled to turn off or flash, a method is proposed in which it is determined that the traffic light is off or flashes based on whether the number of captured images exceeds , defined as a traffic light off, among a given number of consecutive captured images, a threshold value.

СПИСОК ЦИТИРУЕМЫХ ДОКУМЕНТОВLIST OF CITATIONS

ПАТЕНТНЫЙ ДОКУМЕНТPATENT DOCUMENT

[0003] Патентный документ 1: Патентная публикация № 6228492[0003] Patent Document 1: Patent Publication No. 6228492

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

ТЕХНИЧЕСКАЯ ЗАДАЧАTECHNICAL PROBLEM

[0004] Однако в соответствии со способом, описанным в патентном документе 1, если состояние отображения светофора определяется путем обращения к множеству изображений, расположенных во временной последовательности, чтобы повысить точность распознавания изображений, существует время задержки между фактическим переходом световой индикации светофора и началом процесса, соответствующего световой индикации, после перехода при переходе световой индикации с «зеленого сигнала» (цветового сигнала, означающего «транспортное средство может двигаться») на цветовой сигнал, отличный от «зеленого сигнала».[0004] However, according to the method described in Patent Document 1, if the display state of a traffic light is determined by referring to a plurality of images arranged in time sequence in order to improve image recognition accuracy, there is a delay time between the actual transition of the traffic light indication and the start of the process, corresponding to the light indication, after the transition when the light indication changes from "green signal" (color signal meaning "vehicle can move") to a color signal other than "green signal".

[0005] Настоящее изобретение было выполнено с учетом вышеупомянутых проблем, и цель настоящего изобретения состоит в том, чтобы предоставить способ распознавания светофора и устройство распознавания светофора, способные определять состояние отображения светофора посредством обращения к множеству изображений, расположенных в порядке временной последовательности, и распознавать светофор, подавляя при этом время задержки от фактического перехода состояния отображения светофора до начала обработки, соответствующей состоянию отображения после перехода.[0005] The present invention has been made in view of the above problems, and an object of the present invention is to provide a traffic light recognition method and a traffic light recognition apparatus capable of determining the display state of a traffic light by referring to a plurality of images arranged in time sequence and recognizing a traffic light while suppressing the delay time from the actual transition of the traffic light display state to the start of processing corresponding to the display state after the transition.

РЕШЕНИЕ ЗАДАЧИTHE SOLUTION OF THE PROBLEM

[0006] Чтобы решить вышеупомянутые проблемы, способ распознавания светофора и устройство распознавания светофора в соответствии с аспектом настоящего изобретения получают последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных посредством определения состояния отображения светофора на основе множества изображений направления движения транспортного средства, устанавливают первое пороговое значение в качестве числового порогового значения, если конкретный результат определения, который является последним результатом определения из результатов определения, составляющих последовательность результатов, является результатом определения, что состояние отображения является отображением разрешения, которое разрешает проезд стоп-линии, соответствующей светофору, устанавливают второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения, если конкретный результат определения отличается от результата определения, что состояние отображения является отображением разрешения, и выводят конкретный результат определения, если число результатов определения, идентичных конкретному результату определения, больше числового порогового значения.[0006] In order to solve the above problems, a traffic light recognition method and a traffic light recognition apparatus according to an aspect of the present invention obtain a sequence of results consisting of a plurality of determination results in time order obtained by determining a traffic light display state based on a plurality of images of a vehicle's driving direction, setting the first threshold value as a numerical threshold value, if the specific determination result, which is the last determination result of the determination results constituting the sequence of results, is the determination result that the display state is a permission display that permits the stop line corresponding to a traffic light to pass, set the second threshold value smaller than the first threshold value as a numerical threshold value, if the specific determination result from differs from the determination result that the display state is a resolution display, and outputting a specific determination result if the number of determination results identical to the specific determination result is larger than a numerical threshold.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯADVANTAGES OF THE INVENTION

[0007] Согласно настоящему изобретению возможно определить состояние отображения светофора посредством обращения к множеству изображений, расположенных в порядке временной последовательности, и распознавания светофора, подавляя при этом время задержки от фактического перехода состояния отображения светофора до начала обработки, соответствующей состоянию отображения после перехода.[0007] According to the present invention, it is possible to determine the display state of a traffic light by referring to a plurality of images arranged in time sequence and recognizing the traffic light, while suppressing the delay time from the actual transition of the display state of the traffic light to the start of processing corresponding to the display state after the transition.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

[0008][0008]

[Фиг. 1] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора согласно варианту осуществления настоящего изобретения.[Fig. 1] FIG. 1 is a block diagram illustrating the configuration of a traffic light recognition apparatus according to an embodiment of the present invention.

[Фиг. 2] Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей процедуру обработки устройства распознавания светофора согласно варианту осуществления настоящего изобретения.[Fig. 2] FIG. 2 is a flowchart illustrating a processing procedure of a traffic light recognition apparatus according to an embodiment of the present invention.

[Фиг. 3] Фиг. 3 является блок-схемой последовательности операций, иллюстрирующей модифицированный пример процедуры обработки устройства распознавания светофора согласно варианту осуществления настоящего изобретения.[Fig. 3] FIG. 3 is a flowchart illustrating a modified example of a processing procedure of a traffic light recognition device according to an embodiment of the present invention.

[Фиг. 4] Фиг. 4 является схемой, иллюстрирующей пример последовательности результатов, состоящей из множества результатов определения в порядке временной последовательности.[Fig. 4] FIG. 4 is a diagram illustrating an example of a result sequence consisting of a plurality of determination results in order of time sequence.

[Фиг. 5A] Фиг. 5A является схемой, иллюстрирующей первый пример изменения выходного значения, соответствующего последовательности результатов.[Fig. 5A] FIG. 5A is a diagram illustrating a first example of changing an output value corresponding to a sequence of results.

[Фиг. 5B] Фиг. 5B является схемой, иллюстрирующей второй пример изменения выходного значения, соответствующего последовательности результатов.[Fig. 5B] FIG. 5B is a diagram illustrating a second example of changing an output value corresponding to a sequence of results.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯDESCRIPTION OF EMBODIMENTS

[0009] Далее будут подробно описаны варианты осуществления настоящего изобретения со ссылкой на чертежи. В описании одни и те же элементы обозначены одними и теми же ссылочными позициями, и дублирующееся описание будет опущено.[0009] Embodiments of the present invention will now be described in detail with reference to the drawings. In the description, the same elements are identified by the same reference numerals, and the duplicate description will be omitted.

[0010] [Конфигурация устройства распознавания светофора][0010] [Traffic light recognition device configuration]

Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора согласно настоящему варианту осуществления. Как показано на фиг. 1, устройство распознавания светофора в соответствии с настоящим вариантом осуществления включает в себя блок 71 формирования изображения и контроллер 100, и контроллер 100 соединен с блоком 71 формирования изображения, датчиком 73 в транспортном средстве, блоком 75 получения картографической информации и устройством 400 управления транспортным средством по проводному или беспроводному каналу связи.Fig. 1 is a block diagram illustrating the configuration of a traffic light recognition device according to the present embodiment. As shown in FIG. 1, the traffic light recognition apparatus according to the present embodiment includes an imaging unit 71 and a controller 100, and the controller 100 is connected to the imaging unit 71, the vehicle sensor 73, the map information acquisition unit 75, and the vehicle control unit 400 via wired or wireless communication channel.

[0011] Здесь блок 71 формирования изображения, датчик 73 в транспортном средстве и устройство 400 управления транспортным средством установлены на транспортном средстве (не показано), но блок 75 получения картографической информации и контроллер 100 могут быть установлены на транспортном средстве или могут быть установлены вне транспортного средства.[0011] Here, the imaging unit 71, the in-vehicle sensor 73, and the vehicle control device 400 are installed on the vehicle (not shown), but the mapping information acquisition unit 75 and the controller 100 may be installed on the vehicle or may be installed outside the vehicle. funds.

[0012] Блок 71 формирования изображения захватывает изображение транспортного средства в направлении движения. Например, блок 71 формирования изображения представляет собой цифровую камеру, снабженную твердотельным датчиком изображения, таким как ПЗС или КМОП, и формирует изображение окружения транспортного средства для захвата цифрового изображения периферийной области транспортного средства. Блок 71 формирования изображения формирует изображения в заданном диапазоне вокруг транспортного средства посредством установки фокусного расстояния, угла обзора объектива, вертикального и горизонтального углов камеры и т.п.[0012] The imaging unit 71 captures an image of the vehicle in the direction of travel. For example, the imaging unit 71 is a digital camera equipped with a solid state image sensor such as a CCD or CMOS and forms an image of the vehicle environment to capture a digital image of a peripheral area of the vehicle. The imaging unit 71 forms images in a predetermined range around the vehicle by setting the focal length, lens viewing angle, vertical and horizontal camera angles, and the like.

[0013] Изображение, захваченное блоком 71 формирования изображения, выводится на контроллер 100 и сохраняется в блоке памяти (не показан) в течение заданного периода времени. Например, блок 71 формирования изображения захватывает изображения в заданные интервалы времени, и изображения, захваченные в заданные интервалы времени, сохраняются в блоке памяти как прошлые изображения. Прошлое изображение может быть удалено по истечении заданного периода с момента захвата прошлого изображения.[0013] The image captured by the imaging unit 71 is output to the controller 100 and stored in a memory unit (not shown) for a predetermined period of time. For example, the imaging unit 71 captures images at predetermined time intervals, and images captured at predetermined time intervals are stored in the memory unit as past images. The past image can be deleted after a specified period has elapsed since the last image was captured.

[0014] Датчик 73 в транспортном средстве включает в себя датчик обнаружения объекта, установленный на транспортном средстве, такой как лазерный радар, радар миллиметрового диапазона и камера, который обнаруживает объект, существующий вокруг транспортного средства. Датчик 73 в транспортном средстве может включать в себя множество различных типов датчиков обнаружения объекта.[0014] The sensor 73 in the vehicle includes an object detection sensor mounted on the vehicle, such as a laser radar, a millimeter wave radar, and a camera that detects an object existing around the vehicle. The sensor 73 in the vehicle may include many different types of object detection sensors.

[0015] Датчик 73 в транспортном средстве обнаруживает окружающую среду вокруг транспортного средства. Например, датчик 73 в транспортном средстве может обнаруживать движущийся объект, включая другое транспортное средство, мотоцикл, велосипед, пешехода, и неподвижный объект, включая остановившееся транспортное средство, а также местоположение, позицию, размер, скорость, ускорение, замедление, скорость рыскания и т. д. движущегося объекта и неподвижного объекта по отношению к транспортному средству. Датчик 73 в транспортном средстве может выводить, например, поведение двухмерного объекта в зенитном ракурсе (также называемом видом сверху), наблюдаемом с воздуха над транспортным средством, в качестве результата обнаружения. Кроме того, датчик 73 в транспортном средстве может обнаруживать знак (дорожный знак или знак, отображенный на поверхности дороги), направляющий рельс и т.п., существующие вокруг транспортного средства. Кроме того, датчик 73 в транспортном средстве может обнаруживать скользкость дорожного покрытия на полосе движения, по которой движется транспортное средство, посредством обнаружения скорости вращения и разницы в скорости вращения колес, обеспеченных в транспортном средстве.[0015] The sensor 73 in the vehicle detects the environment around the vehicle. For example, a sensor 73 in a vehicle can detect a moving object, including another vehicle, a motorcycle, a bicycle, a pedestrian, and a stationary object, including a stopped vehicle, as well as location, position, size, speed, acceleration, deceleration, yaw rate, etc. d. a moving object and a stationary object in relation to the vehicle. The sensor 73 in the vehicle may output, for example, the behavior of a two-dimensional object in a zenithal view (also referred to as a top view) viewed from the air above the vehicle as a detection result. In addition, the sensor 73 in the vehicle can detect a sign (a road sign or a sign displayed on a road surface), a guide rail, and the like existing around the vehicle. In addition, the sensor 73 in the vehicle can detect the slipperiness of the road surface in the lane on which the vehicle is traveling by detecting the rotation speed and the difference in the rotation speed of the wheels provided in the vehicle.

[0016] Кроме того, датчик 73 в транспортном средстве обнаруживает состояние транспортного средства в дополнение к окружающей среде вокруг транспортного средства. Например, датчик 73 в транспортном средстве может обнаруживать скорость движения транспортного средства (скорость движения в направлении вперед-назад, направление влево-вправо, скорость поворота), угол поворота колес, обеспеченных в транспортном средстве, и изменение скорости угла поворота.[0016] In addition, the sensor 73 in the vehicle detects the state of the vehicle in addition to the environment around the vehicle. For example, the sensor 73 in the vehicle can detect the vehicle's running speed (forward-backward running speed, left-right direction, turning speed), the steering angle of the wheels provided in the vehicle, and the change in steering angle speed.

[0017] Кроме того, датчик 73 в транспортном средстве может измерять абсолютное положение транспортного средства, то есть местоположение, угловое пространственное положение и скорость транспортного средства относительно заданной опорной точки, с помощью датчика определения положения, который измеряет абсолютное положение транспортного средства, такого как GPS (глобальная система позиционирования) и одометр.[0017] In addition, the sensor 73 in the vehicle can measure the absolute position of the vehicle, that is, the position, attitude and speed of the vehicle relative to a given reference point, using a position sensor that measures the absolute position of the vehicle, such as GPS (global positioning system) and odometer.

[0018] Блок 75 получения картографической информации получает картографическую информацию, указывающую структуру дороги, по которой движется транспортное средство. Картографическая информация, полученная блоком 75 получения картографической информации, включает в себя информацию о структуре дороги, такую как абсолютные положения полос движения, отношения соединения полос движения и относительные взаимные расположения. Кроме того, картографическая информация, полученная блоком 75 получения картографической информации, может включать в себя информацию об объекте, такую как место стоянки транспортных средств и заправочная станция. Кроме того, картографическая информация может включать в себя информацию о местоположении светофора, типе светофора, местоположении стоп-линии, соответствующей светофору, и т.п. Блок 75 получения картографической информации может обладать картографической базой данных, в которой хранится картографическая информация, или может получать картографическую информацию с внешнего сервера картографических данных с помощью облачных вычислений. Кроме того, блок 75 получения картографической информации может получать картографическую информацию, используя связь транспортное средство-транспортное средство и связь дорога-транспортное средство.[0018] The map information acquisition unit 75 acquires map information indicative of the structure of the road on which the vehicle is traveling. The map information obtained by the map information acquisition unit 75 includes road structure information such as absolute lane positions, lane connection relationships, and relative positions. In addition, the map information obtained by the map information acquisition unit 75 may include object information such as a parking lot and a filling station. In addition, the mapping information may include information about the location of a traffic light, the type of traffic light, the location of a stop line corresponding to a traffic light, and the like. The map information acquisition unit 75 may have a map database in which map information is stored, or may acquire map information from an external map data server using cloud computing. In addition, the map information acquisition unit 75 can acquire map information using vehicle-vehicle communication and road-vehicle communication.

[0019] Устройство 400 управления транспортным средством управляет транспортным средством (не показано) на основе результата распознавания светофора, полученного контроллером 100. Например, устройство 400 управления транспортным средством может управлять транспортным средством посредством автоматического вождения в соответствии с заданным маршрутом движения или может поддерживать операцию вождения находящихся в транспортном средстве людей. Кроме того, устройство 400 управления транспортным средством может быть устройством уведомления, которое уведомляет находящихся в транспортном средстве людей о результате распознавания светофора.[0019] The vehicle control device 400 controls a vehicle (not shown) based on a traffic light recognition result obtained by the controller 100. For example, the vehicle control device 400 may control the vehicle by automatically driving according to a predetermined driving route, or may support a driving operation people in the vehicle. In addition, the vehicle control device 400 may be a notification device that notifies vehicle occupants of a traffic light detection result.

[0020] Контроллер 100 (пример блока управления или блока обработки) представляет собой микрокомпьютер общего назначения, включающий в себя ЦП (центральный процессор), память и блок ввода/вывода. Компьютерная программа (программа распознавания светофора) для работы в качестве устройства распознавания светофора установлена в контроллере 100. Выполняя компьютерную программу, контроллер 100 функционирует как множество схем обработки информации (150, 155, 160, 180, 190), включенных в устройство распознавания светофора.[0020] The controller 100 (example of a control unit or processing unit) is a general purpose microcomputer including a CPU (central processing unit), a memory, and an I/O unit. A computer program (traffic light recognition program) for operating as a traffic light recognition device is installed in the controller 100. By executing the computer program, the controller 100 functions as a plurality of information processing circuits (150, 155, 160, 180, 190) included in the traffic light recognition device.

[0021] Здесь показан пример, в котором множество схем обработки информации (150, 155, 160, 180, 190), включенных в устройство распознавания светофора, реализуются программным обеспечением. Однако также возможно сконфигурировать схемы обработки информации (150, 155, 160, 180, 190), подготовив специальное аппаратное обеспечение для выполнения каждой из следующей обработки информации. Кроме того, множество схем обработки информации (150, 155, 160, 180, 190) могут быть сконфигурированы отдельным аппаратным обеспечением. Кроме того, схема обработки информации (150, 155, 160, 180, 190) также может использоваться в качестве электронного блока управления (ЭБУ), используемого для другого управления, относящегося к транспортному средству.[0021] An example is shown here in which a plurality of information processing circuits (150, 155, 160, 180, 190) included in the traffic light recognition apparatus are implemented by software. However, it is also possible to configure the information processing circuits (150, 155, 160, 180, 190) by preparing specific hardware to perform each of the following information processing. In addition, a plurality of information processing circuits (150, 155, 160, 180, 190) may be configured by separate hardware. In addition, the information processing circuit (150, 155, 160, 180, 190) can also be used as an electronic control unit (ECU) used for other control related to the vehicle.

[0022] Контроллер 100, в качестве множества схем обработки информации (150, 155, 160, 180, 190), включает в себя блок 150 определения, блок 155 хранения результатов определения, блок 180 установки порогового значения, блок 190 принятия решения о выводе и блок 160 вывода.[0022] The controller 100, as a plurality of information processing circuits (150, 155, 160, 180, 190), includes a determination unit 150, a determination result storage unit 155, a threshold setting unit 180, an output decision unit 190, and block 160 output.

[0023] Блок 150 определения устанавливает область обнаружения, соответствующую светофору, на изображении, захваченном блоком 71 формирования изображения. Здесь «область обнаружения» означает область на изображении, где предположительно присутствует светофор. Местоположение светофора, отраженного в диапазоне формирования изображения на изображении, может быть оценено на основе направления формирования изображения блока 71 формирования изображения, местоположения и ориентации транспортного средства во время формирования изображения и местоположения светофора. Блок 150 определения задает, например, частичную область захваченного изображения в качестве области обнаружения, причем область включает в себя предполагаемое местоположение светофора на изображении.[0023] The determination unit 150 sets the detection area corresponding to the traffic light in the image captured by the imaging unit 71 . Here, "detection area" means an area in the image where a traffic light is supposed to be present. The location of the traffic light reflected in the imaging range of the image can be estimated based on the imaging direction of the imaging unit 71, the position and orientation of the vehicle at the time of imaging, and the location of the traffic light. The determination unit 150 sets, for example, a partial area of the captured image as a detection area, the area including the estimated location of a traffic light in the image.

[0024] Блок 150 определения выполняет обработку изображения в области обнаружения, обнаруживает светофор в области обнаружения и определяет состояние отображения светофора. Блок 150 определения обнаруживает светофор, например, путем сопоставления с шаблоном. При сопоставлении с шаблоном в качестве шаблона используется стандартное изображение светофора, а область обнаружения сканируется при смещении изображения на один пиксель за раз, и, например, вычисляется корреляция распределения яркости. Затем, когда корреляция достигает наибольшего значения, обнаруживается, что светофор находится в том местоположении на изображении, где расположен шаблон.[0024] The determining unit 150 performs image processing in the detection area, detects a traffic light in the detection area, and determines the display state of the traffic light. The determiner 150 detects a traffic light, for example, by pattern matching. Pattern matching uses a standard traffic light image as a pattern, and scans the detection area while shifting the image one pixel at a time, and calculates the brightness distribution correlation, for example. Then, when the correlation reaches its highest value, it is found that the traffic light is located at the location in the image where the pattern is located.

[0025] «Цветовой сигнал», указываемый светофором, включает в себя «зеленый сигнал», «желтый сигнал» и «красный сигнал». Значение «цветового сигнала» определяется правилами дорожного движения, которым должно следовать транспортное средство. Например, «зеленый сигнал» означает «можно проезжать», а «красный сигнал» означает «остановиться в местоположении остановки». «Желтый сигнал» означает «остановиться в местоположении остановки, за исключением случаев, когда невозможно безопасно остановиться из-за близости к местоположению остановки».[0025] A "color signal" indicated by a traffic light includes "green signal", "yellow signal", and "red signal". The meaning of the "color signal" is determined by the rules of the road that the vehicle must follow. For example, "green signal" means "you can pass" and "red signal" means "stop at the stop location". "Amber signal" means "stop at the stopping location, except when it is not possible to stop safely due to proximity to the stopping location."

[0026] Такое различение «зеленого сигнала», «желтого сигнала» и «красного сигнала» может быть выполнено таким образом, что оценивается, что светится «цветовой сигнал», имеющий самый высокий уровень яркости среди трех «цветовых сигналов».[0026] This distinction between "green signal", "yellow signal" and "red signal" can be performed in such a way that it is judged that the "color signal" having the highest brightness level among the three "color signals" is lit.

[0027] Кроме того, светофор может указывать не только «цветовой сигнал», но и «сигнал стрелки», указывающий направление, разрешенное для движения транспортного средства на перекрестке, где установлен светофор. Например, «сигнал стрелки» является «сигналом правого поворота», «сигналом прямого движения» и/или «сигналом левого поворота».[0027] In addition, the traffic light may indicate not only a "color signal" but also an "arrow signal" indicating the direction a vehicle is allowed to travel at an intersection where a traffic light is installed. For example, "arrow signal" is a "right turn signal", "straight ahead signal" and/or "left turn signal".

[0028] «Сигнал стрелки» не ограничен «сигналом правого поворота», «сигналом прямого движения» и «сигналом левого поворота», и могут быть рассмотрены различные варианты в зависимости от структуры перекрестка, на котором установлен светофор. Значение «сигнала стрелки» определяется правилами дорожного движения, которым должно следовать транспортное средство.[0028] "Arrow signal" is not limited to "right turn signal", "direct traffic signal" and "left turn signal", and various options can be considered depending on the structure of the intersection where the traffic light is installed. The meaning of "arrow signal" is determined by the rules of the road that the vehicle must follow.

[0029] Блок 150 определения выполняет обработку изображения в области обнаружения и определяет состояние свечения «цветового сигнала» и «сигнала стрелки» светофора как состояние отображения светофора.[0029] The determining unit 150 performs image processing in the detection area, and determines the lighting state of the "color signal" and "arrow signal" of the traffic light as the display state of the traffic light.

[0030] Обработка изображения обнаружения светофора блоком 150 определения может использовать машинное обучение, такое как машина опорных векторов или нейронная сеть. При обнаружении светофора скорость распознавания можно повысить, подготовив обучающую базу данных, в которой заранее хранятся шаблоны светофоров разных размеров, и используя обучающую базу данных для обращения к ней в зависимости от расстояния до светофора.[0030] The processing of the traffic light detection image by the determiner 150 may use machine learning such as a support vector machine or a neural network. When a traffic light is detected, the recognition speed can be improved by preparing a training database that stores patterns of traffic lights of different sizes in advance, and using the training database to refer to it depending on the distance to the traffic light.

[0031] Блок 155 хранения результатов определения сохраняет состояние отображения светофора, определенное блоком 150 определения. В частности, блок 150 определения последовательно определяет множество изображений, полученных блоком 71 формирования изображения, в порядке временной последовательности, и блок 155 хранения результатов определения последовательно получает полученные результаты определения от блока 150 определения. Затем блок 155 хранения результатов определения сохраняет множество результатов определения в порядке временной последовательности в виде последовательности результатов.[0031] The determination result storage unit 155 stores the traffic light display state determined by the determination unit 150 . Specifically, the determination section 150 sequentially determines a plurality of images acquired by the imaging section 71 in order of time sequence, and the determination result storage section 155 sequentially acquires the obtained determination results from the determination section 150. Then, the determination result storage unit 155 stores the plurality of determination results in time sequence order as a result sequence.

[0032] Структура последовательности результатов, сохраняемая блоком 155 хранения результатов определения, будет описана со ссылкой на фиг. 4. Фиг. 4 является схемой, иллюстрирующей пример последовательности результатов, состоящей из множества результатов определения в порядке временной последовательности. Далее для упрощения пояснения предполагается, что существует четыре типа результатов определения, получаемых блоком 150 определения, и четыре типа являются «зеленым сигналом», «желтым сигналом», «красным сигналом» и «неизвестно» (результат определения того, что состояние отображения неизвестно). На фиг. 4 результаты определения «зеленый сигнал», «желтый сигнал», «красный сигнал» и «неизвестно» обозначены символами «G», «Y», «R» и «-» соответственно.[0032] The result sequence structure stored by the determination result storage unit 155 will be described with reference to FIG. 4. FIG. 4 is a diagram illustrating an example of a result sequence consisting of a plurality of determination results in order of time sequence. In the following, for simplicity of explanation, it is assumed that there are four types of determination results obtained by the determination unit 150, and the four types are "green signal", "yellow signal", "red signal", and "unknown" (determining result that the display state is unknown) . In FIG. 4, the results of determining "green signal", "yellow signal", "red signal" and "unknown" are indicated by the symbols "G", "Y", "R" and "-", respectively.

[0033] Причина, по которой результат определения блоком 150 определения является «неизвестно», заключается, например, в том, что светофор мерцает из-за явления мерцания, при котором яркость захваченного изображения изменяется в зависимости от времени формирования изображения блоком 71 формирования изображения, когда лампа светофора представляет собой лампу, которая периодически мигает, как светодиодная лампа, и/или из-за явления скользящего затвора, при котором время формирования изображения смещается для каждого положения в захваченном изображении из-за способа формирования изображения в блоке 71 формирования изображения.[0033] The reason why the determination result of the determination unit 150 is “unknown” is, for example, that the traffic light flickers due to a flickering phenomenon in which the brightness of the captured image changes depending on the imaging time of the imaging unit 71, when the traffic light is a lamp that flashes intermittently like an LED lamp, and/or due to a rolling shutter phenomenon in which the imaging time shifts for each position in the captured image due to the imaging method of the imaging unit 71.

[0034] Число N результатов определения, сохраненных блоком 155 хранения результатов определения, предварительно задано. То есть число N результатов определения, составляющих последовательность результатов, предварительно задано как заданное число, превышающее числовое пороговое значение NC.[0034] The number N of the determination results stored by the determination result storage unit 155 is predetermined. That is, the number N of the determination results constituting the sequence of results is predetermined as a predetermined number exceeding the numerical threshold value NC.

[0035] Индексы от 0 до N-1 назначаются каждому из N результатов определения, сохраненных блоком 155 хранения результатов определения. Здесь результатом определения индекса 0 является самый последний результат определения, полученный блоком 150 определения, и по мере увеличения числа индексов, присвоенных результату определения, результат определения становится старше по порядку.[0035] Indices from 0 to N-1 are assigned to each of the N determination results stored by the determination result storage unit 155 . Here, the determination result of index 0 is the latest determination result obtained by the determination unit 150, and as the number of indexes assigned to the determination result increases, the determination result becomes higher in order.

[0036] Когда один новый результат определения вводится в блок 155 хранения результатов определения, блок 155 хранения результатов определения увеличивает индекс, присвоенный результату определения, на 1 и добавляет индекс 0 новому результату определения, введенному в блок 155 хранения результатов определения. Результат определения, в котором индекс равен N, удаляется.[0036] When one new determination result is input to the determination result storage unit 155, the determination result storage unit 155 increments the index assigned to the determination result by 1 and adds index 0 to the new determination result entered into the determination result storage unit 155. The result of the definition in which the index is N is deleted.

[0037] Таким образом, блок 155 хранения результатов определения сохраняет результаты определения с индексами от 0 до N-1 в качестве последовательности результатов.[0037] That is, the determination result storage unit 155 stores the determination results with indexes 0 to N-1 as a sequence of results.

[0038] Кроме того, блок 155 хранения результатов определения может иметь функцию дополнения результатов определения. В частности, в случае, когда «неизвестно» включен в результаты определения, составляющие последовательность результатов, сохраненную в блоке 155 хранения результатов определения, результат определения «неизвестно» может быть заменен на основе результата определения непосредственно перед «неизвестно» и результата определения сразу после «неизвестно».[0038] In addition, the determination result storage unit 155 may have a determination result addition function. In particular, in the case where "unknown" is included in the determination results constituting the sequence of results stored in the determination result storage unit 155, the determination result "unknown" can be replaced based on the determination result immediately before "unknown" and the determination result immediately after " unknown."

[0039] Например, в последовательности результатов, показанной на фиг. 4, результатом определения индекса 2 является «неизвестно». В этом случае блок 155 хранения результатов определения обращается к результату определения индекса 3 непосредственно перед результатом определения индекса 2 и результату определения индекса 1 сразу после результата определения индекса 2. Результат определения индекса 1 и результат определения индекса 3 являются «желтый сигнал». Следовательно, результат определения индекса 2 может быть заменен с «неизвестно» и может стать «желтым сигналом», который является результатом определения индекса 3 непосредственно перед результатом определения индекса 2.[0039] For example, in the sequence of results shown in FIG. 4, the result of determining index 2 is "unknown". In this case, the determination result storage unit 155 refers to the index determination result 3 just before the index determination result 2 and the index determination result 1 immediately after the index determination result 2. The index determination result 1 and the index determination result 3 are "yellow". Therefore, an index result of 2 may be replaced with "unknown" and may become a "yellow signal", which is the index result of 3 just before the index result of 2.

[0040] Таким образом, блок 155 хранения результатов определения может извлекать результат определения, что состояние отображения неизвестно, из результатов определения, составляющих последовательность результатов, в качестве первого результата определения. Блок 155 хранения результатов определения может извлекать результат определения непосредственно перед первым результатом определения и результат определения непосредственно после первого результата определения из результатов определения, составляющих последовательность результатов, за исключением результатов определения, состояние отображения которых неизвестно, в качестве второго результата определения и третьего результата определения, соответственно. Блок 155 хранения результатов определения может заменить первый результат определения в последовательности результатов вторым результатом определения в случае, когда второй результат определения идентичен третьему результату определения.[0040] Thus, the determination result storage unit 155 can extract the determination result that the display state is unknown from the determination results constituting the result sequence as the first determination result. The determination result storage unit 155 can extract the determination result just before the first determination result and the determination result immediately after the first determination result from the determination results constituting the sequence of results, except for the determination results whose display state is unknown as the second determination result and the third determination result, respectively. The determination result storage unit 155 may replace the first determination result in the result sequence with the second determination result in the case where the second determination result is identical to the third determination result.

[0041] В ситуации, когда блок 150 определения не может определить состояние отображения светофора из-за мерцания светофора, вышеупомянутая функция дополнения результата определения блоком 155 хранения результатов определения эффективна для повышения точности распознавания светофора.[0041] In a situation where the determining unit 150 cannot determine the display state of the traffic light due to the flickering of the traffic light, the aforementioned function of supplementing the determination result by the determination result storage unit 155 is effective for improving the recognition accuracy of the traffic light.

[0042] В приведенном выше описании было указано, что число результатов определения, сохраненных в блоке 155 хранения результатов определения, равно N, но настоящее изобретение не ограничено этим.[0042] In the above description, it has been indicated that the number of determination results stored in the determination result storage unit 155 is N, but the present invention is not limited to this.

[0043] Например, блок 155 хранения результатов определения может определять, следует ли сохранять результат определения, на основе времени формирования изображения, которое является источником результата определения, вместо числа результатов определения. Более конкретно, блок 155 хранения результатов определения может стирать результат определения, соответствующий захваченному изображению, в котором прошло заданное время или более с момента получения изображения, и результат определения, сохраненный в блоке 155 хранения результатов определения, может быть только тем соответствующим изображениям, захваченным от настоящего до прошлого в течение заданного времени.[0043] For example, the determination result storage unit 155 may determine whether to store the determination result based on the imaging time that is the source of the determination result instead of the number of determination results. More specifically, the determination result storage unit 155 may erase the determination result corresponding to a captured image in which a predetermined time or more has elapsed since the acquisition of the image, and the determination result stored in the determination result storage unit 155 may only be those corresponding images captured from present to past within a given time.

[0044] В случае, когда блок 71 формирования изображения захватывает изображения в заданный интервал, результат, когда число результатов определения, хранящихся в блоке 155 хранения результатов определения, ограничено на основе числа N, является таким же, как и результат, когда число результатов определения ограничено на основе заданного времени.[0044] In the case where the imaging unit 71 captures images at a predetermined interval, the result when the number of determination results stored in the determination result storage unit 155 is limited based on the number N is the same as the result when the number of determination results limited based on the given time.

[0045] С другой стороны, в случае, когда блок 71 формирования изображения захватывает изображения в неопределенное время, отличное от заданного интервала, результат может измениться в зависимости от того, ограничено ли изображение на основе числа N или заданного времени. Однако независимо от того, ограничено ли число результатов определения, подлежащих сохранению, на основе числа N или заданного времени, это может быть принято в качестве конфигурации блока 155 хранения результатов определения.[0045] On the other hand, in the case where the imaging unit 71 captures images at an indefinite time other than a predetermined interval, the result may change depending on whether the image is limited based on the number N or the predetermined time. However, whether the number of determination results to be stored is limited based on the number N or a predetermined time, this can be taken as the configuration of the determination result storage unit 155 .

[0046] Блок 180 установки порогового значения устанавливает числовое пороговое значение NC, которое является значением, используемым в блоке 190 принятия решения о выводе, описанном ниже, на основе состояния отображения светофора (процесс установки порогового значения). Числовое пороговое значение NC устанавливается равным заданному начальному значению, когда контроллер 100 запускается в первый раз, и впоследствии обновляется блоком 180 установки порогового значения.[0046] The threshold setting block 180 sets the numerical threshold value NC, which is the value used in the output decision block 190 described below, based on the display state of the traffic light (threshold setting process). The numerical threshold value NC is set to a predetermined initial value when the controller 100 is started for the first time, and subsequently updated by the threshold setting block 180 .

[0047] В частности, блок 180 установки порогового значения обращается к последнему результату определения из результатов определения, составляющих последовательность результатов, сохраненную в блоке 155 хранения результатов определения. В случае, когда последним результатом определения является результат определения того, что состояние отображения является отображением разрешения («зеленый сигнал»), которое разрешает проезд стоп-линии, соответствующей светофору, блок 180 установки порогового значения устанавливает первое пороговое значение в качестве числового порогового значения NC. В случае, когда последний результат определения отличается от результата определения того, что состояние отображения является отображением разрешения, блок 180 установки порогового значения устанавливает второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения NC.[0047] In particular, the threshold setting unit 180 refers to the last determination result of the determination results constituting the sequence of results stored in the determination result storage unit 155 . In the case where the last determination result is the result of determining that the display state is the permission display ("green") that allows the stop line corresponding to the traffic light to pass, the threshold setting unit 180 sets the first threshold value as the numerical threshold value NC . In the case where the last determination result is different from the determination result that the display state is resolution display, the threshold setting unit 180 sets the second threshold value smaller than the first threshold value as the numerical threshold value NC.

[0048] Кроме того, блок 180 установки порогового значения может установить числовое пороговое значение NC на основе того, является ли последний результат определения отображением запрещения («красным сигналом»), запрещающим проезд стоп-линии, или промежуточным отображением («желтым сигналом»), отображенным после отображения разрешения и перед отображением запрещения.[0048] In addition, the threshold setting unit 180 may set the numerical threshold value NC based on whether the last determination result is a prohibition display ("red signal") prohibiting passage of the stop line or an intermediate display ("yellow signal") displayed after the permission display and before the prohibit display.

[0049] Например, блок 180 установки порогового значения может установить третье пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения NC в случае, когда последним результатом определения является результат определения того, что состояние отображения является отображением запрещения. Кроме того, блок 180 установки порогового значения может установить второе пороговое значение, меньшее, чем третье пороговое значение, установленное в случае отображения запрещения, в качестве числового порогового значения NC, в случае, когда последний результат определения является результатом определения того, что состояние отображения является промежуточным отображением.[0049] For example, the threshold setting unit 180 may set the third threshold value smaller than the first threshold value as the numerical threshold value NC in the case where the last determination result is the determination result that the display state is a prohibition display. In addition, the threshold setting unit 180 may set the second threshold smaller than the third threshold set in the case of prohibition display as the numerical threshold value NC, in the case where the last determination result is the determination result that the display state is intermediate display.

[0050] Следует отметить, что первое пороговое значение, второе пороговое значение и третье пороговое значение могут быть определены на основе производительности блока 71 формирования изображения, длины последовательности результатов, сохраненной блоком 155 хранения результатов определения, цикла формирования изображения блока 71 формирования изображения, и тому подобном.[0050] It should be noted that the first threshold value, the second threshold value, and the third threshold value can be determined based on the performance of the imaging unit 71, the length of the sequence of results stored by the determination result storage unit 155, the imaging cycle of the imaging unit 71, and so on. similar.

[0051] Кроме того, в случае, когда блок 150 определения определяет, что светофор не светится (в случае, когда последний результат определения блоком 150 определения является результатом определения того, что состояние отображения неизвестно), блок установки порогового значения 180, может поддерживать значение числового порогового значения NC, которое уже было установлено, без установки числового порогового значения NC.[0051] In addition, in the case where the determining unit 150 determines that the traffic light is not lit (in the case where the last determination result of the determination unit 150 is the result of determining that the display state is unknown), the threshold setting unit 180 may maintain the value the NC numeric threshold that has already been set without setting the NC numeric threshold.

[0052] Блок 180 установки порогового значения сбрасывает числовое пороговое значение NC до начального значения после того, как транспортное средство пересекает стоп-линию, соответствующую целевому светофору.[0052] The threshold setting unit 180 resets the numerical threshold value NC to an initial value after the vehicle crosses the stop line corresponding to the target traffic light.

[0053] Блок 190 принятия решения о выводе определяет выходное значение на основе числового порогового значения NC, установленного блоком 180 установки порогового значения, и последовательности результатов, сохраненной в блоке 155 хранения результатов определения. В частности, блок 190 принятия решения о выводе устанавливает результат определения с индексом 0 в качестве выходного значения в случае, когда число результатов определения, которые являются теми же, что и последний результат определения (результат определения с индексом 0) из результатов определения, составляющих последовательность результатов, больше числового порогового значения NC.[0053] The output decision block 190 determines the output value based on the numerical threshold value NC set by the threshold setting block 180 and the sequence of results stored in the determination result storage block 155 . Specifically, the output decision block 190 sets the determination result with index 0 as an output value in the case where the number of determination results that are the same as the last determination result (determination result with index 0) of the determination results constituting the sequence results greater than the numeric threshold NC.

[0054] Следует отметить, что блок 190 принятия решения о выводе может поддерживать выходное значение в качестве предыдущего выходного значения в случае, когда число результатов определения, которые являются теми же, что и последний результат определения (результат определения с индексом 0) из результатов определения, составляющих последовательность результатов, равно или меньше числового порогового значения NC.[0054] It should be noted that the output decision block 190 can maintain the output value as the previous output value in the case where the number of determination results that are the same as the last determination result (determination result with index 0) of the determination results , constituting the sequence of results, is equal to or less than the numerical threshold value NC.

[0055] Состояние определения выходного значения блоком 190 принятия решения о выводе будет описано со ссылкой на фиг. 5A. Фиг. 5A является схемой, иллюстрирующей первый пример изменения выходного значения, соответствующего последовательности результатов.[0055] The state of determining the output value by the output decision block 190 will be described with reference to FIG. 5A. Fig. 5A is a diagram illustrating a first example of changing an output value corresponding to a sequence of results.

[0056] На фиг. 5A предполагается, что число N результатов определения, составляющих последовательность результатов, равно 8, а числовое пороговое значение NC равно 4. Кроме того, предполагается, что изображения, полученные блоком 71 формирования изображения, относятся к кадрам от кадра F001 до кадра F010 в порядке временной последовательности, и результат определения блоком 150 определения получается для каждого кадра. Кроме того, в примере, показанном на фиг. 5A, предполагается, что функция дополнения результата определения блоком 155 хранения результатов определения отключена.[0056] FIG. 5A, it is assumed that the number N of the determination results constituting the sequence of results is 8, and the numerical threshold value NC is 4. In addition, the images obtained by the image forming unit 71 are assumed to refer to frames from frame F001 to frame F010 in order of time. sequence, and a determination result by the determination unit 150 is obtained for each frame. Moreover, in the example shown in FIG. 5A, it is assumed that the function of supplementing the determination result with the determination result storage unit 155 is turned off.

[0057] Например, на фиг. 5А, относящейся к строке кадра F001, отображение «G» с левой стороны последовательности результатов означает, что результатом определения блока 150 определения по отношению к кадру F001 является «зеленый сигнал». Кроме того, отображение «G» с правой стороны последовательности результатов означает, что выходное значение, определенное блоком 190 принятия решения о выводе, является «зеленым сигналом», когда результат определения кадра F001 вводится в последовательность результатов. Другие кадры с F002 по F010 также отображаются таким же образом.[0057] For example, in FIG. 5A relating to the line of frame F001, displaying "G" on the left side of the sequence of results means that the determination result of the determination unit 150 with respect to frame F001 is "green". In addition, displaying "G" on the right side of the result sequence means that the output value determined by the output decision block 190 is "green" when the determination result of frame F001 is input into the result sequence. Other blocks F002 to F010 are also displayed in the same way.

[0058] Предполагается, что состояние отображения светофора было зеленым сигналом во время формирования изображения кадра F004, но изменилось на желтый сигнал во время формирования изображения кадра F005. В этом случае, как показано в строке кадра F005 на фиг. 5А, число результатов определения, которые являются теми же, что и результат определения «Y» в последовательности результатов, равно 1, что является значением, равным или меньшим, чем числовое пороговое значение NC. Следовательно, блок 190 принятия решения о выводе поддерживает выходное значение в качестве «зеленого сигнала», который является непосредственно предшествующим выходным значением.[0058] It is assumed that the traffic light display state was green at the time of imaging frame F004, but changed to yellow at the time of imaging frame F005. In this case, as shown in frame line F005 in FIG. 5A, the number of determination results that are the same as the determination result "Y" in the result sequence is 1, which is a value equal to or less than the numerical threshold value NC. Therefore, the output decision block 190 maintains the output value as a "green signal" which is the immediately preceding output value.

[0059] На фиг. 5А выходное значение, определенное блоком 190 принятия решения о выводе, изменяется с «зеленого сигнала» на «желтый сигнал» во время кадра F010. Со ссылкой на строку кадра F010 на фиг. 5A число результатов определения, которые совпадают с результатом определения «Y» в последовательности результатов, равно 5, что больше, чем числовое пороговое значение NC. Следовательно, блок 190 принятия решения о выводе устанавливает выходное значение как «желтый сигнал» во время кадра F010.[0059] FIG. 5A, the output value determined by the output decision block 190 changes from green to yellow during frame F010. With reference to frame line F010 in FIG. 5A, the number of determination results that match with the determination result "Y" in the result sequence is 5, which is greater than the numerical threshold value NC. Therefore, the output decision block 190 sets the output value to "yellow" during frame F010.

[0060] В примере, показанном на фиг. 5А, существует временная задержка в 5 кадров от фактического изменения состояния отображения светофора до изменения выходного значения блоком 190 принятия решения о выводе. Расстояние, пройденное транспортным средством за время задержки, является расстоянием свободного пробега транспортного средства.[0060] In the example shown in FIG. 5A, there is a time delay of 5 frames from the actual change in the display state of the traffic light to the change in the output value by the output decision block 190. The distance traveled by the vehicle during the delay time is the free running distance of the vehicle.

[0061] Со ссылкой на фиг. 5B будет описано, что чем меньше установленное числовое пороговое значение NC, тем меньше временная задержка между фактическим изменением состояния отображения светофора и изменением выходного значения. Фиг. 5B является схемой, иллюстрирующей второй пример изменения выходного значения, соответствующего последовательности результатов.[0061] With reference to FIG. 5B, it will be described that the smaller the set numerical threshold value NC, the shorter the time delay between the actual change in the display state of the traffic light and the change in the output value. Fig. 5B is a diagram illustrating a second example of changing an output value corresponding to a sequence of results.

[0062] В примере, показанном на фиг. 5B, в отличие от примера, показанного на фиг. 5A, предполагается, что числовое пороговое значение NC равно 2. На фиг. 5B выходное значение, определенное блоком 190 принятия решения о выводе, изменяется с «зеленого сигнала» на «желтый сигнал» во время кадра F008. В этом случае временная задержка от фактического изменения состояния отображения светофора до изменения выходного значения составляет 3 кадра.[0062] In the example shown in FIG. 5B, unlike the example shown in FIG. 5A, the numerical threshold value NC is assumed to be 2. In FIG. 5B, the output value determined by the output decision block 190 changes from green to yellow during frame F008. In this case, the time delay from actually changing the display state of the traffic light to changing the output value is 3 frames.

[0063] Кроме того, на фиг. 5B, предполагая, что функция дополнения результата определения блоком 155 хранения результатов определения включена, когда результат определения для кадра F007 сохраняется в блоке 155 хранения результатов определения, выполняется дополнение для результата определения индекса 1, и результат определения индекса 1 изменяется с «неизвестно» на «желтый сигнал». В результате выходное значение, определенное блоком 190 принятия решения о выводе, изменяется с «зеленого сигнала» на «желтый сигнал» во время кадра F007. В этом случае временная задержка от фактического изменения состояния отображения светофора до изменения выходного значения составляет два кадра.[0063] In addition, in FIG. 5B, assuming that the determination result addition function by the determination result storage unit 155 is turned on, when the determination result for frame F007 is stored in the determination result storage unit 155, addition is performed for the determination result of index 1, and the determination result of index 1 is changed from "unknown" to " yellow signal. As a result, the output value determined by the output decision block 190 changes from green to yellow during frame F007. In this case, the time delay from actually changing the display state of the traffic light to changing the output value is two frames.

[0064] Как описано выше, чтобы уменьшить временную задержку от фактического изменения состояния отображения светофора до изменения выходного значения и сократить расстояние свободного пробега, желательно уменьшить числовое пороговое значение NC. С другой стороны, чтобы повысить точность распознавания светофора, желательно увеличить числовое пороговое значение NC. То есть существует компромиссное соотношение между повышением точности распознавания светофора и уменьшением временной задержки для сокращения расстояния свободного пробега.[0064] As described above, in order to reduce the time delay from the actual change of the display state of the traffic light to the change of the output value and shorten the free running distance, it is desirable to decrease the numerical threshold value NC. On the other hand, in order to improve the recognition accuracy of a traffic light, it is desirable to increase the numerical threshold value NC. That is, there is a trade-off between improving the accuracy of traffic light recognition and reducing the time delay to reduce the free running distance.

[0065] Следовательно, чтобы сократить расстояние свободного пробега, желательно, чтобы блок 180 установки порогового значения устанавливал числовое пороговое значение NC, когда транспортное средство находится близко к стоп-линии, меньшим, чем числовое пороговое значение NC, установленное, когда транспортное средство находится далеко от стоп-линии. Кроме того, когда состояние отображения светофора представляет собой желтый сигнал или красный сигнал по сравнению со случаем, когда состояние отображения светофора представляет собой зеленый сигнал, желательно, чтобы блок 180 установки порогового значения устанавливал числовое пороговое значение NC меньше, чтобы сократить расстояние свободного пробега.[0065] Therefore, in order to shorten the free running distance, it is desirable that the threshold setting unit 180 sets the numerical threshold value NC when the vehicle is close to the stop line to be smaller than the numerical threshold value NC set when the vehicle is far away. from the stop line. In addition, when the traffic light display state is a yellow signal or a red signal compared to the case where the traffic light display state is a green signal, it is desirable that the threshold setting unit 180 sets the numerical threshold value NC smaller to shorten the free running distance.

[0066] Блок 160 вывода выводит выходное значение, определенное блоком 190 принятия решения о выводе, в качестве состояния отображения светофора. Например, состояние отображения светофора выводится из блока 160 вывода в устройство 400 управления транспортным средством и используется для управления транспортным средством. Кроме того, состояние отображения светофора может быть выведено из блока 160 вывода на устройство уведомления (не показано) и сообщено находящемуся в транспортном средстве человеку через устройство уведомления.[0066] The output block 160 outputs the output value determined by the output decision block 190 as a traffic light display state. For example, the display state of the traffic light is output from the output unit 160 to the vehicle control device 400 and is used to control the vehicle. In addition, the display state of the traffic light can be output from the output unit 160 to a notification device (not shown) and communicated to the vehicle occupant via the notification device.

[0067] [Процедура обработки устройства распознавания светофора][0067] [Traffic Light Recognition Device Processing]

Далее со ссылкой на блок-схемы последовательности операций на фиг. 2 и 3 будет описана процедура обработки распознавания светофора устройством распознавания светофора согласно настоящему варианту осуществления. Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей процедуру обработки устройства распознавания светофора согласно настоящему варианту осуществления. Фиг. 3 является блок-схемой последовательности операций, иллюстрирующей модифицированный пример процедуры обработки устройства распознавания светофора согласно настоящему варианту осуществления.Next, with reference to the flowcharts in FIG. 2 and 3, a traffic light recognition processing procedure of the traffic light recognition apparatus according to the present embodiment will be described. Fig. 2 is a flowchart illustrating a processing procedure of a traffic light recognition apparatus according to the present embodiment. Fig. 3 is a flowchart illustrating a modified example of a processing procedure of a traffic light recognition apparatus according to the present embodiment.

[0068] Процесс распознавания светофора, показанный на фиг. 2 и 3, может выполняться каждый раз, когда блок 71 формирования изображения получает изображение, или может выполняться каждый цикл, когда обработка изображения выполняется в области обнаружения после того, как блок 71 формирования изображения получает изображение.[0068] The traffic light recognition process shown in FIG. 2 and 3 may be executed each time the imaging unit 71 acquires an image, or may be performed every cycle when image processing is performed in the detection area after the imaging unit 71 acquires an image.

[0069] На этапе S107 блок 150 определения определяет состояние отображения светофора на основе изображения, захваченного блоком 71 формирования изображения.[0069] In step S107, the determining unit 150 determines the display state of the traffic light based on the image captured by the imaging unit 71 .

[0070] На этапе S109 блок 155 хранения результатов определения сохраняет состояние отображения светофора, определенное блоком 150 определения.[0070] In step S109, the determination result storage unit 155 stores the traffic light display state determined by the determination unit 150 .

[0071] На этапе S141 блок 180 установки порогового значения определяет, светится ли светофор. В частности, блок 180 установки порогового значения определяет, светится ли светофор, обращаясь к последнему результату определения из последовательности результатов, сохраненной в блоке 155 хранения результатов определения.[0071] In step S141, the threshold setting unit 180 determines whether the traffic light is on. Specifically, the threshold setting unit 180 determines whether the traffic light is lit by referring to the last determination result from the sequence of results stored in the determination result storage unit 155 .

[0072] Если светофор не светится (НЕТ на этапе S141), блок 180 установки порогового значения поддерживает числовое пороговое значение NC на этапе S145. Если светофор светится (ДА на этапе S141), процесс переходит к этапу S142.[0072] If the traffic light is not lit (NO in step S141), the threshold setting unit 180 maintains the numerical threshold value NC in step S145. If the traffic light is lit (YES in step S141), the process proceeds to step S142.

[0073] На этапе S142 блок 180 установки порогового значения определяет, светится ли зеленый сигнал. В частности, блок 180 установки порогового значения определяет, является ли последний результат определения результатом определения того, что состояние отображения является отображением разрешения («зеленым сигналом»), которое разрешает проезд стоп-линии, соответствующей светофору.[0073] In step S142, the threshold setting unit 180 determines whether the green signal is lit. Specifically, the threshold setting unit 180 determines whether the last determination result is the determination result that the display state is a permission display ("green") that permits the stop line corresponding to a traffic light to pass.

[0074] В случае, когда светится зеленый сигнал (ДА на этапе S142), блок 180 установки порогового значения устанавливает первое пороговое значение в качестве числового порогового значения NC на этапе S146. В случае, когда не светится зеленый сигнал (НЕТ на этапе S142), блок 180 установки порогового значения устанавливает второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения NC на этапе S147.[0074] In the case where the green signal is lit (YES in step S142), the threshold setting unit 180 sets the first threshold value as the numerical threshold value NC in step S146. In the case where the green signal is not lit (NO in step S142), the threshold setting unit 180 sets the second threshold smaller than the first threshold as the numerical threshold NC in step S147.

[0075] Если зеленый сигнал не светится (НЕТ на этапе S142), как показано в блок-схеме последовательности операций на фиг. 3, процесс может перейти на этап S143, чтобы определить, светится ли желтый сигнал.[0075] If the green signal is not lit (NO in step S142), as shown in the flowchart of FIG. 3, the process may proceed to step S143 to determine whether the yellow signal is lit.

[0076] В случае, когда светится желтый сигнал (ДА на этапе S143), блок 180 установки порогового значения устанавливает второе пороговое значение в качестве числового порогового значения NC на этапе S147. В случае, когда не светится желтый сигнал (НЕТ на этапе S143), блок 180 установки порогового значения может установить третье пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения NC на этапе S148. Третье пороговое значение может быть меньше первого порогового значения и больше второго порогового значения.[0076] In the case where the yellow signal is lit (YES in step S143), the threshold setting unit 180 sets the second threshold value as the numerical threshold value NC in step S147. In the case where the yellow signal is not lit (NO in step S143), the threshold setting unit 180 may set the third threshold smaller than the first threshold as the numerical threshold NC in step S148. The third threshold may be less than the first threshold and greater than the second threshold.

[0077] После завершения установки числового порогового значения NC на этапе S145, этапе S146, этапе S147 и этапе S148 блок 190 принятия решения о выводе определяет выходное значение на основе последовательности результатов, сохраненной в блоке 155 хранения результатов определения на этапе S171.[0077] After the setting of the numerical threshold value NC is completed in step S145, step S146, step S147, and step S148, the output decision unit 190 determines an output value based on the sequence of results stored in the determination result storage unit 155 in step S171.

[0078] На этапе S173 блок 160 вывода выводит состояние отображения светофора, определенное блоком 190 принятия решения о выводе. Выходное состояние отображения светофора используется, например, в устройстве 400 управления транспортным средством.[0078] In step S173, the output block 160 outputs the traffic light display state determined by the output decision block 190. The traffic light display output state is used in the vehicle control apparatus 400, for example.

[0079] Посредством многократного выполнения процессов, показанных блок-схемами последовательности операций на фиг. 2 и 3, числовое пороговое значение NC последовательно обновляется.[0079] By repeatedly executing the processes shown by the flowcharts in FIG. 2 and 3, the numerical threshold value NC is sequentially updated.

[0080] [Эффект вариантов осуществления][0080] [Effect of Embodiments]

Как подробно описано выше, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления получают последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных посредством определения состояния отображения светофора на основе множества изображений направления движения транспортного средства, устанавливают первое пороговое значение в качестве числового порогового значения, если конкретный результат определения, который является последним результатом определения из результатов определения, составляющих последовательность результатов, является результатом определения, что состояние отображения является отображением разрешения, которое разрешает проезд стоп-линии, соответствующей светофору, устанавливают второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения, если конкретный результат определения отличается от результата определения, что состояние отображения является отображением разрешения, и выводят конкретный результат определения, если число результатов определения, идентичных конкретному результату определения, больше числового порогового значения.As described in detail above, the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment obtain a sequence of results consisting of a plurality of determination results in time order obtained by determining a traffic light display state based on a plurality of vehicle driving direction images, set the first threshold value to as a numerical threshold value, if the specific determination result, which is the last determination result of the determination results constituting the sequence of results, is the result of determining that the display state is a permission display that permits the stop line corresponding to a traffic light to pass, set a second threshold value smaller than than the first threshold value, as a numerical threshold value, if the specific determination result is different from the result of o determining that the display state is a resolution display, and outputting a specific determination result if the number of determination results identical to the specific determination result is greater than a numerical threshold.

[0081] В результате, подавляя время задержки от фактического перехода состояния отображения светофора до начала процесса, соответствующего состоянию отображения после перехода, возможно определить состояние отображения светофора и распознать светофор, обращаясь к множеству изображений, расположенных в порядке временной последовательности. В частности, возможно подавить время задержки распознавания светофора в случае, когда светофор находится в состоянии отображения, отличном от отображения разрешения, по сравнению со случаем, когда светофор представляет отображение разрешения. В результате возможно ускорить начало процесса (например, процесса выдачи сигнала предупреждения находящемуся в транспортном средстве человеку, процесса торможения транспортного средства и т. д.), соответствующего состоянию отображения, отличному от отображения разрешения.[0081] As a result, by suppressing the delay time from the actual transition of the display state of the traffic light to the start of the process corresponding to the display state after the transition, it is possible to determine the display state of the traffic light and recognize the traffic light by referring to a plurality of images arranged in time order. In particular, it is possible to suppress the traffic light recognition delay time in the case where the traffic light is in a display state other than the permission display compared to the case where the traffic light represents the permission display. As a result, it is possible to speed up the start of a process (for example, a process for issuing an occupant warning signal, a process for braking the vehicle, etc.) corresponding to a display state other than permission display.

[0082] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут устанавливать второе пороговое значение в качестве числового порогового значения в случае, когда конкретным результатом определения является отображение запрещения или промежуточное отображение, для светофора, который отображает по меньшей мере одно из отображения разрешения, отображения запрещения, которое запрещает проезд стоп-линии, и промежуточного отображения, отображаемого после отображения разрешения и перед отображением запрещения. В результате возможно подавить время задержки при распознавании светофора в случае, когда светофор представляет промежуточное отображение или отображение запрещения, по сравнению со случаем, когда светофор представляет отображение разрешения.[0082] In addition, the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment can set the second threshold value as a numerical threshold value in the case where the specific determination result is a prohibition display or an intermediate display, for a traffic light that displays at least one of a permission display, a prohibition display that prohibits passage of the stop line, and an intermediate display displayed after the permission display and before the prohibition display. As a result, it is possible to suppress a traffic light recognition delay time in a case where the traffic light represents an intermediate display or a prohibition display, as compared to a case where the traffic light represents an enable display.

[0083] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут установить третье пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда конкретным результатом определения является результат определения того, что состояние отображения является отображением запрещения. В результате возможно подавить время задержки при распознавании светофора в случае, когда светофор представляет отображение запрещения, по сравнению со случаем, когда светофор представляет отображение разрешения.[0083] Furthermore, the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment can set a third threshold value smaller than the first threshold value as a numerical threshold value in the case where the specific determination result is the determination result that the display state is is a display of prohibition. As a result, it is possible to suppress the traffic light recognition delay time in the case where the traffic light represents a prohibition display, compared with the case where the traffic light represents a permission display.

[0084] Кроме того, в способе распознавания светофора и устройстве распознавания светофора согласно настоящему варианту осуществления второе пороговое значение может быть меньше третьего порогового значения. В результате возможно подавить время задержки при распознавании светофора в случае, когда светофор представляет промежуточное отображение, по сравнению со случаем, когда светофор представляет отображение запрещения.[0084] In addition, in the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment, the second threshold value may be less than the third threshold value. As a result, it is possible to suppress the traffic light recognition delay time in the case where the traffic light represents an intermediate display, as compared to the case where the traffic light represents a prohibition display.

[0085] Кроме того, в способе распознавания светофора и устройстве распознавания светофора согласно настоящему варианту осуществления число результатов определения, составляющих последовательность результатов, может быть больше, чем числовое пороговое значение. В результате возможно сохранить число результатов определения, необходимых для определения выходного значения, и возможно уверенно повысить точность распознавания светофора.[0085] In addition, in the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment, the number of determination results constituting the sequence of results may be larger than the numerical threshold value. As a result, it is possible to store the number of determination results needed to determine the output value, and it is possible to improve the recognition accuracy of a traffic light with confidence.

[0086] Кроме того, способ распознавания светофора и устройство распознавания светофора в соответствии с настоящим вариантом осуществления могут извлекать результат определения, что состояние отображения неизвестно, из результатов определения, составляющих последовательность результатов, в качестве первого результата определения, могут извлекать результат определения непосредственно перед первым результатом определения и результатом определения сразу после первого результата определения из результатов определения, составляющих последовательность результатов, за исключением результатов определения, состояние отображения которых неизвестно, в качестве второго результата определения и третьего результата определения, соответственно, могут заменить первый результат определения в последовательности результатов на второй результат определения в случае, когда второй результат определения идентичен третьему результату определения.[0086] In addition, the traffic light recognition method and the traffic light recognition apparatus according to the present embodiment can extract the determination result that the display state is unknown from the determination results constituting the sequence of results, as the first determination result, may extract the determination result just before the first the determination result and the determination result immediately after the first determination result of the determination results constituting the sequence of results, except for the determination results whose display state is unknown, as the second determination result and the third determination result, respectively, can replace the first determination result in the sequence of results with the second a determination result in the case where the second determination result is identical to the third determination result.

[0087] В результате, даже в ситуации, когда состояние отображения светофора не может быть определено из-за мерцания светофора, возможно уменьшить временную задержку от фактического изменения состояния отображения светофора до изменения выходного значения.[0087] As a result, even in a situation where the traffic light display state cannot be determined due to the flickering of the traffic light, it is possible to reduce the time delay from actually changing the traffic light display state to changing the output value.

[0088] Соответствующие функции, описанные в приведенном выше варианте осуществления, могут быть реализованы одной или множеством схем обработки. Схемы обработки включают в себя запрограммированные устройства обработки, такие как устройство обработки, включающее в себя электрическую схему, и включают в себя устройства, такие как специализированная интегральная схема (ASIC) и обычные элементы схемы, которые приспособлены для выполнения функций, описанных в варианте осуществления.[0088] The respective functions described in the above embodiment may be implemented by one or multiple processing circuits. Processing circuits include programmed processing devices such as a processing device including an electrical circuit, and include devices such as an application specific integrated circuit (ASIC) and conventional circuit elements that are adapted to perform the functions described in the embodiment.

[0089] Хотя содержание настоящего изобретения было описано выше со ссылкой на вариант осуществления, настоящее изобретение не ограничено этими описаниями, и специалистам в данной области техники будет очевидно, что могут быть сделаны различные модификации и усовершенствования. Не следует истолковывать, что настоящее изобретение ограничено описаниями и чертежами, которые составляют часть настоящего раскрытия. На основе настоящего раскрытия специалистам в данной области техники будут очевидны различные альтернативные варианты осуществления, практические примеры и способы работы.[0089] Although the contents of the present invention have been described above with reference to the embodiment, the present invention is not limited to these descriptions, and it will be apparent to those skilled in the art that various modifications and improvements can be made. It should not be construed that the present invention is limited to the descriptions and drawings which form part of the present disclosure. Based on the present disclosure, various alternative embodiments, practical examples, and methods of operation will be apparent to those skilled in the art.

[0090] Нет необходимости упоминать, что настоящее изобретение также включает в себя различные варианты осуществления, которые здесь не описаны. Следовательно, технический объем настоящего изобретения должен определяться только изобретением, определяющим объекты патентования в соответствии с объемом формулы изобретения, соответствующим образом полученным из приведенных выше описаний.[0090] Needless to say, the present invention also includes various embodiments that are not described here. Therefore, the technical scope of the present invention should only be determined by the invention defining the subject matter of the patent according to the scope of the claims, as appropriately derived from the above descriptions.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙLIST OF REFERENCES

[0091][0091]

71 блок формирования изображения71 imaging units

73 датчик в транспортном средстве73 sensor in the vehicle

75 блок получения картографической информации75 block for obtaining cartographic information

100 контроллер100 controller

150 блок определения150 definition block

155 блок хранения результатов определения155 determination result storage unit

160 блок вывода160 output block

180 блок установки порогового значения180 threshold setting block

190 блок принятия решения о выводе190 withdrawal decision block

400 устройство управления транспортным средством.400 vehicle control device.

Claims (27)

1. Способ распознавания светофора, содержащий этапы, на которых:1. A method for recognizing a traffic light, comprising the steps of: получают множество изображений посредством многократного формирования изображения светофора в направлении движения транспортного средства с использованием блока формирования изображения, установленного на транспортном средстве, obtaining a plurality of images by repeatedly imaging a traffic light in the direction of travel of the vehicle using an imaging unit mounted on the vehicle, получают последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных посредством определения состояния отображения светофора для каждого изображения из множества изображений, obtaining a sequence of results consisting of a plurality of determination results in order of time sequence obtained by determining the display state of a traffic light for each image of the plurality of images, при установке числового порогового значения на основе конкретного результата определения, который является последним результатом определения из результатов определения, составляющих последовательность результатов, when setting a numerical threshold value based on a specific determination result, which is the last determination result of the determination results constituting the sequence of results, устанавливают первое пороговое значение в качестве числового порогового значения в случае, когда конкретный результат определения является результатом определения того, что состояние отображения является отображением разрешения, которое разрешает проезд стоп-линии, соответствующей светофору, setting the first threshold value as a numerical threshold value in the case where the specific determination result is the result of determining that the display state is a permission display that allows the passage of a stop line corresponding to a traffic light, устанавливают второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда конкретный результат определения отличается от результата определения того, что состояние отображения является отображением разрешения, setting a second threshold value smaller than the first threshold value as a numerical threshold value in the case where the specific determination result is different from the determination result that the display state is a resolution display, выводят конкретный результат определения в случае, когда число результатов определения, идентичных конкретному результату определения, больше, чем числовое пороговое значение.outputting a specific determination result in a case where the number of determination results identical to the specific determination result is greater than the numerical threshold value. 2. Способ распознавания светофора по п. 1, дополнительно содержащий этап, на котором:2. The traffic light recognition method according to claim 1, further comprising the step of: для светофора, который отображает по меньшей мере одно из отображения разрешения, отображения запрещения, которое запрещает проезд стоп-линии, и промежуточного отображения, отображаемого после отображения разрешения и перед отображением запрещения, for a traffic light that displays at least one of a permission display, a prohibition display that prohibits passage of the stop line, and an intermediate display displayed after the permission display and before the prohibition display, устанавливают второе пороговое значение в качестве числового порогового значения в случае, когда конкретным результатом определения является отображение запрещения или промежуточное отображение.setting the second threshold value as a numerical threshold value in the case where the specific result of the determination is a prohibition display or an intermediate display. 3. Способ распознавания светофора по п. 2, дополнительно содержащий этап, на котором:3. The traffic light recognition method according to claim 2, further comprising the step of: устанавливают третье пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда конкретный результат определения является результатом определения того, что состояние отображения является отображением запрещения.setting a third threshold value smaller than the first threshold value as a numerical threshold value in a case where the specific determination result is a determination result that the display state is a prohibition display. 4. Способ распознавания светофора по п. 3, в котором:4. The traffic light recognition method according to claim 3, in which: второе пороговое значение меньше третьего порогового значения.the second threshold is less than the third threshold. 5. Способ распознавания светофора по любому из пп. 1-4, в котором5. A method for recognizing a traffic light according to any one of paragraphs. 1-4, in which число результатов определения, составляющих последовательность результатов, превышает числовое пороговое значение.the number of determination results constituting the sequence of results exceeds the numerical threshold value. 6. Способ распознавания светофора по любому из пп. 1-5, дополнительно содержащий этапы, на которых:6. A method for recognizing a traffic light according to any one of paragraphs. 1-5, further comprising the steps of: извлекают результат определения, что состояние отображения неизвестно, из результатов определения, составляющих последовательность результатов, в качестве первого результата определения, extracting a determination result that the display state is unknown from the determination results constituting the sequence of results as the first determination result, извлекают результат определения непосредственно перед первым результатом определения и результат определения непосредственно после первого результата определения из результатов определения, составляющих последовательность результатов, за исключением результатов определения, состояние отображения которых неизвестно, в качестве второго результата определения и третьего результата определения, соответственно, extracting a determination result immediately before the first determination result and a determination result immediately after the first determination result from the determination results constituting the sequence of results, except for the determination results whose display state is unknown as the second determination result and the third determination result, respectively, заменяют первый результат определения в последовательности результатов вторым результатом определения в случае, когда второй результат определения идентичен третьему результату определения.replacing the first determination result in the sequence of results with the second determination result in the case where the second determination result is identical to the third determination result. 7. Устройство распознавания светофора, содержащее блок формирования изображения, установленный на транспортном средстве, и контроллер, при этом контроллер7. A traffic light recognition device, comprising an imaging unit installed on a vehicle and a controller, wherein the controller получает множество изображений посредством многократного формирования изображения светофора в направлении движения транспортного средства с использованием блока формирования изображения, obtains a plurality of images by repeatedly imaging a traffic light in the direction of travel of the vehicle using an imaging unit, получает последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных посредством определения состояния отображения светофора для каждого изображения из множества изображений, obtains a sequence of results consisting of a plurality of determination results in order of time sequence obtained by determining the display state of a traffic light for each image of the plurality of images, при установке числового порогового значения на основе конкретного результата определения, который является последним результатом определения из результатов определения, составляющих последовательность результатов, when setting a numerical threshold value based on a specific determination result, which is the last determination result of the determination results constituting the sequence of results, устанавливает первое пороговое значение в качестве числового порогового значения в случае, когда конкретный результат определения является результатом определения того, что состояние отображения является отображением разрешения, которое разрешает проезд стоп-линии, соответствующей светофору, sets the first threshold value as a numerical threshold value in the case where the specific determination result is the result of determining that the display state is a permission display that permits the stop line corresponding to a traffic light to pass, устанавливает второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда конкретный результат определения отличается от результата определения того, что состояние отображения является отображением разрешения, sets a second threshold value smaller than the first threshold value as a numerical threshold value in the case where the specific determination result is different from the determination result that the display state is a resolution display, выводит конкретный результат определения в случае, когда число результатов определения, идентичных конкретному результату определения, больше, чем числовое пороговое значение.outputs the specific determination result in the case where the number of determination results identical to the specific determination result is greater than the numeric threshold value.
RU2022115721A 2019-11-12 Traffic light recognition method and traffic light recognition device RU2779798C1 (en)

Publications (1)

Publication Number Publication Date
RU2779798C1 true RU2779798C1 (en) 2022-09-13

Family

ID=

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024622A1 (en) * 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device
RU2639851C1 (en) * 2014-05-20 2017-12-22 Ниссан Мотор Ко., Лтд. Traffic-light recognizer and traffic-light recognizing method
RU2693419C1 (en) * 2015-07-13 2019-07-02 Ниссан Мотор Ко., Лтд. Device (embodiments) and method of recognizing traffic lights
JP2019109602A (en) * 2017-12-15 2019-07-04 クラリオン株式会社 Traffic light recognition device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2639851C1 (en) * 2014-05-20 2017-12-22 Ниссан Мотор Ко., Лтд. Traffic-light recognizer and traffic-light recognizing method
RU2693419C1 (en) * 2015-07-13 2019-07-02 Ниссан Мотор Ко., Лтд. Device (embodiments) and method of recognizing traffic lights
US20170024622A1 (en) * 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device
JP2019109602A (en) * 2017-12-15 2019-07-04 クラリオン株式会社 Traffic light recognition device

Similar Documents

Publication Publication Date Title
US10339805B2 (en) Traffic light recognition device and traffic light recognition method
RU2703440C1 (en) Method and device for controlling movement
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
JP6313646B2 (en) External recognition device
JP7255706B2 (en) Traffic light recognition method and traffic light recognition device
US20120277990A1 (en) Method and apparatus for determining a plausible lane for guiding a vehicle and an automobile
JP2011028659A (en) Road shape recognition device
CN102881186A (en) Environment recognizing device for a vehicle and vehicle control system using the same
JP2011053809A (en) White line recognition device for vehicle
CN112001235A (en) Vehicle traffic information generation method and device and computer equipment
JP2018048949A (en) Object recognition device
JP7255707B2 (en) Traffic light recognition method and traffic light recognition device
RU2779798C1 (en) Traffic light recognition method and traffic light recognition device
RU2779921C1 (en) Traffic light recognition method and traffic light recognition device
CN114746923B (en) Semaphore recognition method and semaphore recognition device
RU2779773C1 (en) Traffic light recognition method and traffic light recognition device
WO2024161469A1 (en) Traffic signal recognition method and traffic signal recognition device
JP6941677B2 (en) Image recognition device
JP7564946B2 (en) Sign recognition device and sign recognition method
WO2024161521A1 (en) Traffic signal recognition method and traffic signal recognition device
JP2008250871A (en) Vehicle operation warning device
JP2024047487A (en) On-vehicle device, on-vehicle device operation method, and program
JP2022138525A (en) Travel support method and travel support device