WO2014115239A1 - 信号機認識装置、制御方法、プログラム及び記憶媒体 - Google Patents

信号機認識装置、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2014115239A1
WO2014115239A1 PCT/JP2013/051144 JP2013051144W WO2014115239A1 WO 2014115239 A1 WO2014115239 A1 WO 2014115239A1 JP 2013051144 W JP2013051144 W JP 2013051144W WO 2014115239 A1 WO2014115239 A1 WO 2014115239A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
signal
pixel
system controller
recognizing
Prior art date
Application number
PCT/JP2013/051144
Other languages
English (en)
French (fr)
Inventor
宏平 伊藤
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2014558309A priority Critical patent/JPWO2014115239A1/ja
Priority to PCT/JP2013/051144 priority patent/WO2014115239A1/ja
Publication of WO2014115239A1 publication Critical patent/WO2014115239A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Definitions

  • the present invention relates to a technique for recognizing a signal displayed by a traffic light.
  • Patent Document 1 discloses a technique for detecting a signal lamp signal lamp of a traffic light with high accuracy by detecting a candidate area of the signal lamp of the traffic light and determining whether or not the candidate area is blinking at a predetermined cycle. Has been.
  • Patent Document 1 According to the technique described in Patent Document 1, it is possible to prevent erroneous detection of a signal lamp of an LED traffic light and to detect the signal lamp with high accuracy.
  • Patent Document 1 does not describe anything about detecting the shape of a signal lamp that is lit. Therefore, the technique of Patent Document 1 cannot recognize the type of arrow signal.
  • the present invention has been made in order to solve the above-described problems, and mainly provides a traffic light recognition device capable of recognizing the type of a lit signal with high accuracy in a short time. Objective.
  • the invention described in claim is an acquisition unit that acquires an image around a traffic light by an imaging unit mounted on a moving body, and a plurality of images that are acquired by the acquisition unit during a predetermined period when the moving body is stopped.
  • a calculation unit configured to calculate, for each pixel, a difference between the luminance based on the first luminance stored in the first storage unit, and a shape formed by a pixel in which the luminance difference calculated by the calculation unit is equal to or greater than a predetermined value.
  • recognizing means for recognizing the type of the lighted signal.
  • the invention described in the claims is a control method executed by a traffic signal recognition device having a storage unit, wherein an acquisition step of acquiring an image around a traffic signal by an imaging means mounted on a moving body, and the acquisition step A first storage step of storing, in the storage unit, a first luminance similar to a minimum luminance for each pixel of an image around the traffic signal based on a plurality of images acquired during a predetermined period in which the moving body is stopped; The difference between the luminance based on at least one of the plurality of images acquired during the predetermined period by the acquisition step and the first luminance stored in the storage unit in the first storage step is calculated for each pixel. And a recognition step of recognizing the type of a lit signal based on a shape formed by a pixel having a luminance difference calculated by the calculation step equal to or greater than a predetermined value. To do.
  • the invention described in the claims is a program executed by a computer that controls a traffic light recognition device having a storage unit, the acquisition means for acquiring an image around the traffic light by a shooting means mounted on a moving body, and A first memory for storing, in the storage unit, a first luminance similar to the minimum luminance for each pixel of an image around the traffic signal based on a plurality of images acquired during a predetermined period when the moving body is stopped by the acquisition means.
  • a difference between the luminance based on at least one of the plurality of images acquired during the predetermined period by the acquisition unit and the first luminance stored in the storage unit by the first storage unit As a recognition means for recognizing the type of a lit signal based on a shape formed by a pixel having a luminance difference calculated by the calculation means equal to or greater than a predetermined value. Characterized in that the functioning of the serial computer.
  • FIG. 1 shows a schematic configuration of a navigation device.
  • the LED traffic light which displayed the signal that the LED traffic light permits only a straight advance and a left turn is shown.
  • the target range when the signal lamp is temporarily turned off due to the characteristics of the LED is shown.
  • An example is shown in which blue pixels that are larger than the minimum luminance value by a predetermined threshold or more and are extracted and displayed. Indicates the positional relationship between the connected pixel area and each divided area
  • the flowchart which shows the process outline
  • the flowchart of an arrow signal recognition process is shown.
  • the flowchart of the arrow signal recognition process which concerns on a modification is shown. It is a schematic diagram of the system concerning a modification.
  • an acquisition unit that acquires an image around a traffic light by an imaging unit mounted on a moving body, and a plurality of units that are acquired by the acquisition unit during a predetermined period in which the moving body is stopped. And at least one of the plurality of images acquired during the predetermined period by the acquisition unit, the first storage unit storing a first luminance similar to the minimum luminance for each pixel of the image around the traffic signal.
  • Calculating means for calculating, for each pixel, a difference between the luminance based on one image and the first luminance stored in the first storage means; and a pixel for which the difference in luminance calculated by the calculating means is a predetermined value or more.
  • Recognizing means for recognizing the type of the lit signal based on the shape of the component.
  • the signal recognition device includes an acquisition unit, a first storage unit, a calculation unit, and a recognition unit.
  • the acquisition unit acquires an image around the traffic signal using an imaging unit mounted on the moving body.
  • the first storage means stores a first luminance similar to the minimum luminance for each pixel of the image around the traffic signal based on a plurality of images acquired by the acquiring means during a predetermined period in which the moving body is stopped.
  • first luminance means performing statistical processing for the purpose of noise removal or the like on each luminance value in addition to the lowest value selected from each luminance value in time series at the target pixel. May be an estimated value of the minimum luminance determined in (1).
  • the calculating means calculates a difference between the luminance based on at least one of the plurality of images acquired during the predetermined period and the first luminance for each pixel.
  • the recognizing unit recognizes the type of the lit signal based on the shape formed by the pixels having the luminance difference equal to or greater than a predetermined value.
  • the traffic signal recognition apparatus calculates the first luminance similar to the minimum luminance of the corresponding signal lamp at the time of extinction in a predetermined period using the fact that the signal lamp blinks periodically in the lighting state. Thereby, the traffic light recognition apparatus can extract the pixel which shows the lighting part of the signal lamp in lighting with high precision in a short time, and can recognize suitably the kind of signal which the said signal lamp shows.
  • the traffic signal recognition device has a second luminance similar to the maximum luminance for each pixel of the image around the traffic signal based on a plurality of images acquired during the predetermined period by the acquisition means.
  • Second storage means for storing is provided, and the calculation means calculates, for each pixel, a difference between the first luminance stored in the first storage means and the second luminance stored in the second storage means.
  • the “second luminance” is determined by performing statistical processing for noise removal or the like on each luminance value in addition to the highest value selected from each luminance value in time series at a predetermined pixel. It may be an estimated value of the highest value.
  • the traffic light recognition device can compare the first luminance that is similar to the lowest luminance of the signal lamp corresponding to when the light is turned off with the second luminance that is similar to the highest luminance of the traffic light that corresponds to when the light is turned on.
  • the shape can be extracted suitably.
  • the recognition unit is lit based on the shape of a pixel group formed by adjacent pixels in which the difference in luminance calculated by the calculation unit is equal to or greater than a predetermined value. Recognize the type of signal. According to this aspect, the traffic light recognition device can recognize the pixel region indicating each lighting portion of the signal lamp in the lighting state, and can appropriately recognize the type of the signal.
  • the recognition means recognizes a direction indicated by an arrow of a lighted arrow signal.
  • the shape of the lighting part is different for each of right turn, left turn, and straight ahead. Therefore, according to this aspect, the traffic light recognition device can preferably recognize which direction the arrow signal in the lighting state indicates.
  • the first storage unit sets the predetermined period within a period in which a red signal of the traffic light is in a lighting state.
  • the traffic light recognition device can calculate the minimum luminance of the display portion of the arrow signal and recognize the shape of the arrow signal within the period in which the red signal is lit, and recognize the type of the arrow signal. it can.
  • the recognition unit includes each of the minimum rectangular regions each including a group of pixels adjacent to each other and having a luminance difference calculated by the calculation unit equal to or greater than a predetermined value.
  • the direction indicated by the arrow of the lit arrow signal is recognized based on the number of pixels in which the pixels of the pixel group are present in the area obtained by dividing the rectangular area.
  • the traffic signal recognition device can appropriately recognize the direction indicated by the arrow of the arrow signal in the lighting state.
  • a control method executed by a traffic signal recognition device having a storage unit the acquisition step of acquiring an image around a traffic signal by a photographing means mounted on a moving body, Based on a plurality of images acquired during a predetermined period in which the moving body is stopped in the acquisition step, a first storage that stores in the storage unit a first luminance that is similar to a minimum luminance for each pixel of an image around the traffic light.
  • the difference between the luminance based on at least one of the plurality of images acquired during the predetermined period by the step and the acquisition step and the first luminance stored in the storage unit in the first storage step is a pixel
  • a recognition unit that recognizes the type of a signal that is lit based on a shape configured by a calculation unit that calculates a difference for each pixel, and a pixel that has a luminance difference calculated by the calculation unit equal to or greater than a predetermined value. It said computer to function as a. By installing and executing this program, the computer can extract the pixel indicating the lighting portion of the signal lamp that is lit with high accuracy in a short time, and can appropriately recognize the type of signal indicated by the signal lamp.
  • the above-described program is stored in a storage medium.
  • the “lighting state” refers to a state in which the display of the signal lamp is turned on, and includes a state in which the signal lamp is temporarily turned off due to the characteristics of the LED signal.
  • FIG. 1 shows a schematic configuration of the navigation apparatus 1.
  • the navigation device 1 is, for example, a stationary navigation device or a portable terminal that performs route guidance.
  • the navigation device 1 is a self-supporting positioning device 10, a camera 14, a GPS receiver 18, a system controller 20, a disk drive 31,
  • a data storage unit 36, a communication interface 37, a communication device 38, a display unit 40, an audio output unit 50, and an input device 60 are provided.
  • the self-supporting positioning device 10 includes an acceleration sensor 11, an angular velocity sensor 12, and a distance sensor 13.
  • the acceleration sensor 11 is made of, for example, a piezoelectric element, detects vehicle acceleration, and outputs acceleration data.
  • the angular velocity sensor 12 is composed of, for example, a vibrating gyroscope, detects the angular velocity of the vehicle when the direction of the vehicle is changed, and outputs angular velocity data and relative azimuth data.
  • the distance sensor 13 measures a vehicle speed pulse composed of a pulse signal generated with the rotation of the vehicle wheel.
  • the camera 14 is fixed in a state of being directed to the front of the vehicle, and generates an image (also referred to as “image Im”) obtained by photographing the front of the vehicle at predetermined intervals.
  • image Im also referred to as “image Im”
  • the camera 14 supplies the generated image Im to the system controller 20.
  • the camera 14 functions as an “imaging unit” in the present invention.
  • the GPS receiver 18 receives radio waves 19 carrying downlink data including positioning data from a plurality of GPS satellites.
  • the positioning data is used to detect the absolute position of the vehicle from latitude and longitude information.
  • the system controller 20 includes an interface 21, a CPU (Central Processing Unit) 22, a ROM (Read Only Memory) 23, and a RAM (Random Access Memory) 24. By executing a control program stored in the ROM 23 or the like, The entire navigation device 1 is controlled. For example, the system controller 20 performs a process for recognizing a lighting arrow signal (also referred to as an “arrow signal recognition process”) based on the image Im generated by the camera 14. In the arrow signal recognition process, the system controller 20 takes into account that the lit signal lamp is periodically temporarily turned off (that is, blinks) in the LED traffic light, and the lit arrow signal is based on the luminance change in the image Im due to the blinking. Recognize the shape of the light part. This will be described in detail in the [arrow signal recognition processing] section.
  • a lighting arrow signal also referred to as an “arrow signal recognition process”
  • the interface 21 performs an interface operation with the acceleration sensor 11, the angular velocity sensor 12, the distance sensor 13, and the GPS receiver 18. From these, vehicle speed pulses, acceleration data, relative azimuth data, angular velocity data, GPS positioning data, absolute azimuth data, and the like are input to the system controller 20.
  • the CPU 22 controls the entire system controller 20.
  • the ROM 23 includes a nonvolatile memory (not shown) in which a control program for controlling the system controller 20 is stored.
  • the RAM 24 stores various data such as route data preset by the user via the input device 60 so as to be readable, and provides a working area to the CPU 22.
  • a system controller 20 a disk drive 31 such as a CD-ROM drive or a DVD-ROM drive, a data storage unit 36, a communication interface 37, a display unit 40, an audio output unit 50 and an input device 60 are mutually connected via a bus line 30. It is connected to the.
  • the disk drive 31 reads and outputs content data such as music data and video data from a disk 33 such as a CD or DVD under the control of the system controller 20.
  • the disk drive 31 may be either a CD-ROM drive or a DVD-ROM drive, or may be a CD and DVD compatible drive.
  • the data storage unit 36 is configured by, for example, an HDD or the like, and stores various data used for navigation processing such as map data.
  • the map data includes road data represented by links corresponding to roads and nodes corresponding to road connecting portions (intersections), facility information about each facility, and the like.
  • the map data stores information for specifying the position of each traffic light.
  • the communication device 38 is composed of, for example, an FM tuner, a beacon receiver, a mobile phone, a dedicated communication card, and the like, and via a communication interface 37, traffic jams distributed from a VICS (registered trademark, Vehicle Information Communication System) center Receive road traffic information such as traffic information and other information.
  • VICS Vehicle Information Communication System
  • the display unit 40 displays various display data on a display device such as a display under the control of the system controller 20.
  • the system controller 20 reads map data from the data storage unit 36.
  • the display unit 40 displays the map data read from the data storage unit 36 by the system controller 20 on the display screen.
  • the display unit 40 includes a graphic controller 41 that controls the entire display unit 40 based on control data sent from the CPU 22 via the bus line 30 and a memory such as a VRAM (Video RAM), and can display image information that can be displayed immediately.
  • a buffer memory 42 that temporarily stores, a display control unit 43 that controls display of a display 44 such as a liquid crystal or a CRT (Cathode Ray Tube) based on image data output from the graphic controller 41, and a display 44 are provided.
  • the display 44 functions as an image display unit, and includes, for example, a liquid crystal display device having a diagonal size of about 5 to 10 inches and is mounted near the front panel in the vehicle.
  • the audio output unit 50 performs D / A (Digital to Analog) conversion of audio digital data sent from the CD-ROM drive 31, DVD-ROM 32, RAM 24, or the like via the bus line 30 under the control of the system controller 20.
  • a D / A converter 51 to perform an amplifier (AMP) 52 that amplifies the audio analog signal output from the D / A converter 51, and a speaker 53 that converts the amplified audio analog signal into sound and outputs the sound into the vehicle. It is prepared for.
  • AMP amplifier
  • the input device 60 includes keys, switches, buttons, a remote controller, a voice input device, and the like for inputting various commands and data.
  • the input device 60 is disposed around the front panel and the display 44 of the main body of the in-vehicle electronic system mounted in the vehicle.
  • the display 44 is a touch panel system
  • the touch panel provided on the display screen of the display 44 also functions as the input device 60.
  • the system controller 20 functions as “acquisition means”, “first storage means”, “calculation means”, “recognition means”, and “computer” in the present invention.
  • a predetermined range including an arrow signal display area also referred to as “target range Rtag”.
  • a luminance value also referred to as “lowest luminance value” that is the smallest within a predetermined period (also referred to as “target period Ttag”) is detected.
  • the target range Rtag is a range determined based on the position of the recognized red signal display area.
  • the system controller 20 stores information such as the relative position and size of the target range Rtag relative to the red signal display area in a memory such as the data storage unit 36 or the ROM 23 in advance based on experiments or the like.
  • the target range Rtag in the image Im is determined.
  • the system controller 20 sets the target period Ttag to a period (for example, 1 second) that is longer than the period of blinking in the lighting state of the LED traffic light and short enough to prevent the signal lamp in the lighting state from being switched. .
  • FIG. 2 shows the LED traffic light displaying a signal indicating that the LED traffic light only permits straight travel and left turn.
  • the red signal lamp 8R is lit red
  • the left turn arrow signal signal light 9L that permits left turn traveling
  • the straight arrow signal signal light 9S that permits straight travel light blue. Yes.
  • the other signal lights, the yellow signal light 8Y, the blue signal light 8B, and the right turn arrow signal light 9R permitting the right turn are turned off.
  • red is represented by mesh hatching
  • blue is represented by hatching.
  • FIG. 3 shows the target range Rtag in the image Im generated by the camera 14 when the LED traffic light is displaying the same signal as in FIG.
  • the signal lights 9L and 9S of the left turn arrow signal and the straight arrow signal are temporarily turned off by blinking in the lighting state.
  • each signal lamp of the LED signal is temporarily turned off at a predetermined cycle when it is in a lighting state.
  • the system controller 20 detects the minimum luminance value of each pixel in the target range Rtag based on the image Im generated by the camera 14 during the target period Ttag longer than the turn-off cycle in the lighting state, and the data Store in a memory such as the storage unit 36.
  • the system controller 20 preferably uses the luminance value when the signal lamp of each arrow signal in the lighting state is turned off during the target period Ttag in which the red signal lamp is in the lighting state as the minimum luminance value of the pixels in the target range Rtag. Can be memorized.
  • the system controller 20 may determine the minimum luminance value from the remaining luminance values excluding the luminance value for which the index indicating the variation calculated by the statistical processing exceeds a predetermined amount among the luminance values of each pixel in the target range Rtag. Good.
  • the index indicating the above-described variation may be, for example, the square of the difference from the average value of the luminance values of each target pixel, or may be various statistical indexes indicating other variations. Thereby, the system controller 20 can suppress suitably setting a minimum luminance value to the abnormal value by the influence of noise resulting from the influence of sudden noise.
  • the system controller 20 recognizes a pixel region that displays an arrow indicated by a signal lamp of a lighting arrow signal based on the lowest luminance value of each pixel in the target range Rtag.
  • the system controller 20 uses the luminance value of the image Im displaying the lit arrow signal (also referred to as “comparison image Imc”) and the minimum luminance value stored in the memory to the pixels in the target range Rtag. Compare each.
  • the system controller 20 may select, for example, the image Im having the smallest pixel of the minimum luminance value from among the images Im acquired in the target period Ttag as the comparison image Imc, and the progress of the target period Ttag. You may select the image Im produced
  • the system controller 20 extracts a pixel of the comparative image Imc that is larger than the minimum luminance value by a predetermined threshold value and indicates blue, which is the lamp color of the arrow signal, as a pixel that displays the arrow indicated by the signal lamp of the lighting arrow signal.
  • a predetermined threshold value is set in consideration of the luminance difference in the image between when the arrow indicated by a general arrow signal is turned on and when it is turned off, and is stored in advance in the memory.
  • the system controller 20 selects areas (hereinafter also referred to as “connected pixel areas Tp”) that are a group of adjacent pixels as the lighted portions (that is, arrows) of the lit arrow signals. It recognizes as a pixel area to show.
  • FIG. 4 is a diagram in which pixels that are larger than the minimum luminance value by a predetermined threshold or more and within the blue target range Rtag are extracted from the comparative image Imc and displayed.
  • the system controller 20 indicates that each pixel in the arrow portion of the left turn arrow signal lamp 9L and the straight arrow signal lamp 9S in the lighting state is higher than the minimum luminance value by a predetermined threshold and is blue. These pixels are extracted.
  • the system controller 20 recognizes the connected pixel regions Tp1 and Tp2 each configured from the extracted pixels as pixel regions for displaying the arrow of the signal lamp of the lighting arrow signal.
  • the system controller 20 can suitably extract the pixel area of the lighting portion of the lighting arrow signal by using the minimum luminance value stored in the memory. Further, the system controller 20 can appropriately prevent pixels other than the lighting portion of the arrow signal from being erroneously extracted by performing the extraction processing only on the pixels that indicate blue, which is the lighting color of the arrow signal. .
  • the system controller 20 identifies the connected pixel area Tp in the area (also referred to as “divided area Td”) obtained by dividing the minimum rectangular area including each connected pixel area Tp. Based on the number of pixels, the type of arrow signal indicated by each connected pixel region Tp is recognized. This will be described with reference to FIG.
  • FIG. 5 is a diagram showing a positional relationship between the connected pixel regions Tp1 and Tp2 shown in FIG. 4 and the respective divided regions Td (Td1A to Td1D, Td2A to Td2D).
  • the divided areas Td1A to Td1D are four areas obtained by dividing the smallest rectangular area including the connected pixel area Tp1 into two equal parts vertically and horizontally.
  • the divided areas Td2A to Td2D are four areas obtained by dividing the smallest rectangular area including the connected pixel area Tp2 into two parts in the vertical and horizontal directions.
  • the system controller 20 calculates the number of pixels of the connected pixel regions Tp1 and Tp2 included in each divided region Td. Then, the system controller 20 determines, based on the calculated number of pixels in each divided region Td, whether the number of pixels is biased to the divided region Td located on the left side, the right side, or the upper side with respect to each connected pixel region Tp1, Tp2. Thus, the type of the arrow signal indicated by each connected pixel region Tp is recognized.
  • the system controller 20 determines that the total number of pixels in the left divided areas Td1A and Td1C is the total number of pixels in the right divided areas Td1B and 1D and the total number of pixels in the upper divided areas Td1A and Td1B. Since it is larger than the number, it is recognized that the connected pixel region Tp1 indicates a left arrow.
  • the system controller 20 determines that the total number of pixels in the upper divided areas Td2A and Td2B is the total number of pixels in the right divided areas Td2B and 2D and the total number of pixels in the left divided areas Td2A and Td2C. Therefore, it is recognized that the connected pixel region Tp2 indicates an up arrow.
  • the system controller 20 sets the divided region Td for each connected pixel region Tp, and calculates the number of pixels in the connected pixel region Tp in each divided region Td.
  • the type of the arrow signal shown can be suitably recognized.
  • FIG. 6 is a flowchart showing an outline of processing according to this embodiment executed by the system controller 20.
  • the system controller 20 repeatedly executes the process of the flowchart shown in FIG.
  • the system controller 20 determines whether or not the vehicle is stopped (step S101). For example, the system controller 20 obtains the vehicle speed from the vehicle speed pulse output from the distance sensor 13, the GPS positioning data of the GPS receiver 18, etc., and determines whether or not the vehicle speed has become zero. And when a vehicle stops (step S101; Yes), the system controller 20 acquires the image Im from the camera 14 (step S102). On the other hand, when the vehicle is not stopped (step S101; No), the system controller 20 ends the process of the flowchart.
  • step S103 the system controller 20 determines whether or not a red signal is lit (step S103). For example, the system controller 20 recognizes a candidate area for a red signal lamp from the image Im using a known image processing technique, and determines whether or not the candidate area is blinking at a predetermined cycle. Whether or not is turned on is determined. Note that a method for recognizing lighting of a red signal in an LED traffic light is described in, for example, Japanese Patent Application Laid-Open No. 2005-301518.
  • step S103 when it is detected that the red signal is lit (step S103; Yes), the system controller 20 executes an arrow signal recognition process shown in a flowchart of FIG. 7 to be described later (step S104). On the other hand, when it is not possible to detect that the red signal is lit (step S103; No), the system controller 20 ends the process of the flowchart.
  • FIG. 7 is a flowchart of the arrow signal recognition process executed by the system controller 20 in step S104 of the flowchart of FIG.
  • the system controller 20 performs processing for acquiring the image Im from the camera 14 (step S201) and processing for storing the minimum luminance value for each pixel in the target range Rtag in the memory (step S202). (Step S203).
  • the system controller 20 determines the target range Rtag to be a range including the display position of the arrow signal based on the display position of the red signal, and sets the target period Ttag from the blinking cycle of the signal during lighting of the LED traffic light. Also, the time width is set to be short and short enough that there is no possibility of changing the signal display.
  • the system controller 20 When the target period Ttag has elapsed since the start of the arrow signal recognition process (step S203; Yes), the system controller 20 has a luminance that is higher than the minimum luminance value by a predetermined threshold or more among the pixels of the comparison image Imc. And a pixel indicating blue which is a hue at the time of lighting of the arrow signal is extracted (step S204). Thereby, the system controller 20 extracts a pixel indicating an arrow of the arrow signal.
  • the system controller 20 recognizes a connected pixel region Tp, which is a region that groups adjacent pixel groups, from the pixels extracted in step S205 (step S205). Thereby, the system controller 20 recognizes each arrow area indicated by the signal lamp for each lighting arrow signal.
  • the system controller 20 calculates the number of pixels in the connected pixel area Tp for each divided area Td obtained by equally dividing the minimum rectangular area including each connected pixel area Tp into two vertically and horizontally (Step S206). Then, the system controller 20 recognizes the type of arrow indicated by each connected pixel region Tp based on the number of pixels in the connected pixel region Tp for each divided region Td (step S207). Specifically, the system controller 20 determines, based on the calculated number of pixels, whether the number of pixels is biased to the left, right, or upper divided region Td for each connected pixel region Tp. The type of arrow signal indicated by the pixel region Tp is recognized.
  • the system controller 20 of the navigation device 1 acquires an image around the traffic signal using the camera 14 mounted on the vehicle. Further, the system controller 20 stores the minimum luminance value for each pixel in the target range Rtag based on the plurality of images Im acquired during the target period Ttag in which the vehicle is stopped. Further, the system controller 20 calculates, for each pixel, the difference between the luminance value based on at least one image Im among the images Im acquired during or immediately after the target period Ttag and the minimum luminance value. Then, the system controller 20 recognizes the type of the lit signal based on the shape formed by the pixels having the above luminance difference equal to or greater than a predetermined threshold. Thereby, the navigation apparatus 1 can recognize the shape of the lighting signal lamp suitably, and can recognize the kind of signal which the said signal lamp shows suitably.
  • step S202 of the arrow signal recognition process in FIG. 7 the system controller 20 adds the highest luminance value (“highest luminance” for each pixel in the target range Rtag in addition to the lowest luminance value for each pixel in the target range Rtag. May also be held. Thereby, the system controller 20 suitably holds the luminance of each pixel indicating the lit arrow of the lit arrow signal as the maximum luminance value.
  • FIG. 8 shows a flowchart of the arrow signal recognition process according to this modification.
  • the system controller 20 stores the minimum luminance value and the maximum luminance value for each pixel in the target range Rtag in a memory such as the data storage unit 36 in step S302.
  • the system controller 20 sets the maximum luminance value of each pixel in the target range Rtag instead of the comparison image Imc as a target, and is higher than the minimum luminance value by a predetermined threshold value and The pixel with the highest luminance value of blue is extracted. Then, the system controller 20 executes steps S305 to S307 in the same manner as steps S205 to S207.
  • step S304 the system controller 20 determines the luminance value of each pixel indicating the arrow signal when the arrow signal is turned on and the luminance value of each pixel indicating the arrow signal when the arrow signal is turned off. Can be suitably compared, and the extraction accuracy of the pixel indicating the lighting portion of the arrow signal can be improved.
  • the system controller 20 functions as the “second storage unit” in the present invention.
  • the system controller 20 may determine the maximum luminance value from the remaining luminance values excluding the luminance values for which the index calculated by statistical processing exceeds a predetermined amount among the luminance values of each pixel in the target range Rtag. Good.
  • the index indicating the above-described variation may be, for example, the square of the difference from the average value of the luminance values of each target pixel, or may be various statistical indexes indicating other variations. Thereby, the system controller 20 can suppress suitably setting a maximum brightness value to the abnormal value by the influence of noise resulting from the influence of sudden noise.
  • FIG. 9 is an example of a system according to a modification. As shown in FIG. 9, the navigation device 1 is connected to the server device 300 via the network 200. Then, the server apparatus 300 executes an arrow signal recognition process based on the image Im transmitted from the navigation apparatus 1 and transmits the processing result to the navigation apparatus 1.
  • the navigation device 1 sets a target range Rtag in a range including an arrow signal light, extracts a pixel region indicating an arrow based on a change in luminance in the target period Ttag within the target range Rtag, Recognized type. Instead, the navigation device 1 sets a target range Rtag in a range including a signal light other than an arrow signal, and a pixel area indicating a lighting portion of the signal light based on a change in luminance in the target period Ttag within the target range Rtag. May be extracted to recognize the type of signal indicated by the signal lamp.
  • the navigation device 1 sets the target range Rtag in a range including a pedestrian signal lamp, and changes the shape of the mark portion of the pedestrian signal lamp based on a change in luminance in the target period Ttag within the target range Rtag. It may be extracted. In this case, the navigation device 1 recognizes whether the signal light that can be walked is lit or the signal light that indicates that walking is not lit by recognizing the shape of the extracted mark.

Abstract

ナビゲーション装置１のシステムコントローラ２０は、車両に搭載されたカメラ１４により信号機周辺の画像を取得する。また、システムコントローラ２０は、車両が停車状態の対象期間Ｔｔａｇ中に取得された複数の画像Ｉｍを基に、対象範囲Ｒｔａｇ内の画素ごとの最低輝度値に類する第１輝度を記憶する。さらに、システムコントローラ２０は、対象期間Ｔｔａｇ中又はその直後に取得された複数の画像Ｉｍのうち少なくとも１つの画像Ｉｍに基づく輝度値と、第１輝度値との差分を画素ごとに算出する。そして、システムコントローラ２０は、上述の輝度差が所定の閾値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する。

Description

信号機認識装置、制御方法、プログラム及び記憶媒体
　本発明は、信号機が表示する信号を認識する技術に関する。
　従来から、車両前方を撮影するカメラから取得した画像に基づき、車両の前方風景に存在する信号機の信号表示を認識する技術が知られている。また、近年では、信号灯として発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を複数配置して形成したＬＥＤ信号機が設置されている。ＬＥＤ信号機の信号灯は、一定の周期で点滅している。これに関し、特許文献１では、信号機の信号灯の候補領域を検出し、当該候補領域が所定周期で点滅しているか否かを判定することにより、ＬＥＤ信号機の信号灯を高精度に検出する技術が開示されている。
特開２００５－３０１５１８号公報
　特許文献１に記載の技術によれば、ＬＥＤ信号機の信号灯の誤検出を防ぎ、信号灯を高精度に検出することが可能である。しかしながら、特許文献１には、点灯中の信号灯の形状を検出する点については、何ら記載されていない。従って、特許文献１の技術では、矢印信号の種類などを認識することができない。
　本発明は、上記のような課題を解決するためになされたものであり、点灯している信号の種類を短時間で高精度に認識することが可能な信号機認識装置を提供することを主な目的とする。
　請求項に記載の発明は、移動体に搭載された撮影手段により信号機周辺の画像を取得する取得手段と、前記取得手段により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を記憶する第１記憶手段と、前記取得手段により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶手段に記憶された第１輝度との差分を画素ごとに算出する算出手段と、前記算出手段により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段と、を備える。
　また、請求項に記載の発明は、記憶部を有する信号機認識装置が実行する制御方法であって、移動体に搭載された撮影手段により信号機周辺の画像を取得する取得工程と、前記取得工程により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を前記記憶部に記憶する第１記憶工程と、前記取得工程により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶工程で前記記憶部に記憶された第１輝度との差分を画素ごとに算出する算出工程と、前記算出工程により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識工程と、を有することを特徴とする。
　また、請求項に記載の発明は、記憶部を有する信号機認識装置を制御するコンピュータが実行するプログラムであって、移動体に搭載された撮影手段により信号機周辺の画像を取得する取得手段と、前記取得手段により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を前記記憶部に記憶する第１記憶手段と、前記取得手段により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶手段で前記記憶部に記憶された第１輝度との差分を画素ごとに算出する算出手段と、前記算出手段により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段として前記コンピュータを機能させることを特徴とする。
ナビゲーション装置の概略構成を示す。 ＬＥＤ信号機が直進及び左折のみを許可する旨の信号を表示したＬＥＤ信号機を示す。 信号灯がＬＥＤの特性により一時的に消灯したときの対象範囲を示す。 最低輝度値よりも所定閾値以上大きく、かつ青色の画素を抽出して表示した例を示す。 連結画素領域と、各分割領域との位置関係を示す 実施例に係る処理概要を示すフローチャートを示す。 矢印信号認識処理のフローチャートを示す。 変形例に係る矢印信号認識処理のフローチャートを示す 変形例に係るシステムの概要図である。
　本発明の好適な実施形態によれば、移動体に搭載された撮影手段により信号機周辺の画像を取得する取得手段と、前記取得手段により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を記憶する第１記憶手段と、前記取得手段により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶手段に記憶された第１輝度との差分を画素ごとに算出する算出手段と、前記算出手段により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段と、を備える。
　上記の信号機認識装置は、取得手段と、第１記憶手段と、算出手段と、認識手段とを備える。取得手段は、移動体に搭載された撮影手段により信号機周辺の画像を取得する。第１記憶手段は、取得手段により移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を記憶する。ここで、「第１輝度」は、対象となる画素での時系列での各輝度値から選定した最低値の他、当該各輝度値に対してノイズ除去等を目的とした統計処理を行うことで定めた最低輝度の推定値であってもよい。算出手段は、所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、第１輝度との差分を画素ごとに算出する。認識手段は、上記輝度差が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する。この態様では、信号機認識装置は、信号灯が点灯状態に周期的に点滅することを利用し、所定期間において、消灯時に対応する信号灯の最低輝度に類する第１輝度を算出する。これにより、信号機認識装置は、点灯中の信号灯の灯火部分を示す画素を短時間で高精度に抽出し、当該信号灯が示す信号の種類を好適に認識することができる。
　上記信号機認識装置の一態様では、信号機認識装置は、前記取得手段により前記所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最高輝度に類する第２輝度を記憶する第２記憶手段を備え、前記算出手段は、前記１記憶手段に記憶された第１輝度と前記２記憶手段に記憶された第２輝度との差分を画素ごとに算出する。ここで、「第２輝度」は、所定画素での時系列での各輝度値から選定した最高値の他、当該各輝度値に対してノイズ除去等を目的とした統計処理を行うことで定めた最高値の推定値であってもよい。この態様により、信号機認識装置は、消灯時に対応する信号灯の最低輝度に類する第１輝度と、点灯時に対応する信号機の最高輝度に類する第２輝度とを比較することができ、点灯状態の信号灯の形状を好適に抽出することができる。
　上記信号機認識装置の他の一態様では、前記認識手段は、前記算出手段により算出された輝度の差分が所定値以上となる画素が隣接して構成する画素群の形状を基に、点灯している信号の種類を認識する。この態様により、信号機認識装置は、点灯状態の信号灯の各々の灯火部分を示す画素領域を認識し、信号の種類を好適に認識することができる。
　上記信号機認識装置の他の一態様では、前記認識手段は、点灯している矢印信号の矢印が指す向きを認識する。矢印信号は、右折、左折、直進のそれぞれで灯火部分の形状が異なる。従って、この態様により、信号機認識装置は、点灯状態の矢印信号がいずれの方向を指し示しているか好適に認識することができる。
　上記信号機認識装置の他の一態様では、前記第１記憶手段は、前記所定期間を、前記信号機の赤信号が点灯状態の期間内に設定する。このようにすることで、信号機認識装置は、赤信号が点灯状態となる期間内で、矢印信号の表示部分の最低輝度の算出や形状の認識処理を行い、矢印信号の種類を認識することができる。
　上記信号機認識装置の他の一態様では、前記認識手段は、前記算出手段により算出された輝度の差分が所定値以上となる画素が隣接して構成する画素群をそれぞれ含む最小の矩形領域の各々について、当該矩形領域を分割した領域での前記画素群の画素が存在する画素数に基づき、点灯している矢印信号の矢印が指す向きを認識する。この態様により、信号機認識装置は、点灯状態の矢印信号の矢印が指す向きを好適に認識することができる。
　本発明の好適な他の実施形態によれば、記憶部を有する信号機認識装置が実行する制御方法であって、移動体に搭載された撮影手段により信号機周辺の画像を取得する取得工程と、前記取得工程により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を前記記憶部に記憶する第１記憶工程と、前記取得工程により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶工程で前記記憶部に記憶された第１輝度との差分を画素ごとに算出する算出工程と、前記算出工程により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識工程と、を有する。信号機認識装置は、この制御方法を実行することで、点灯中の信号灯の灯火部分を示す画素を短時間で高精度に抽出し、当該信号灯が示す信号の種類を好適に認識することができる。
　本発明の他の好適な実施形態によれば、記憶部を有する信号機認識装置を制御するコンピュータが実行するプログラムであって、移動体に搭載された撮影手段により信号機周辺の画像を取得する取得手段と、前記取得手段により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を前記記憶部に記憶する第１記憶手段と、前記取得手段により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶手段で前記記憶部に記憶された第１輝度との差分を画素ごとに算出する算出手段と、前記算出手段により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段として前記コンピュータを機能させる。コンピュータは、このプログラムをインストールして実行することで、点灯中の信号灯の灯火部分を示す画素を短時間で高精度に抽出し、当該信号灯が示す信号の種類を好適に認識することができる。好適には、上述のプログラムは、記憶媒体に記憶される。
　以下、図面を参照して本発明の好適な実施例について説明する。以後では、「点灯状態」とは、信号灯の表示がオンになっている状態を指し、ＬＥＤ信号の特性により一時的に消灯する状態も含むものとする。
　［概略構成］
　図１は、ナビゲーション装置１の概略構成を示す。ナビゲーション装置１は、例えば据置型のナビゲーション装置やルート案内を行う携帯端末であって、図１に示すように、自立測位装置１０、カメラ１４、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０及び入力装置６０を備える。
　自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
　カメラ１４は、車両の前方に向けられた状態で固定され、所定の間隔ごとに車両前方を撮影した画像（「画像Ｉｍ」とも呼ぶ。）を生成する。カメラ１４は、生成した画像Ｉｍをシステムコントローラ２０に供給する。カメラ１４は、本発明における「撮像手段」として機能する。
　ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。
　システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２４を含んでおり、ＲＯＭ２３などに記憶された制御プログラムを実行することで、ナビゲーション装置１全体の制御を行う。例えば、システムコントローラ２０は、カメラ１４が生成した画像Ｉｍに基づき、点灯状態の矢印信号を認識する処理（「矢印信号認識処理」とも呼ぶ。）を行う。矢印信号認識処理では、システムコントローラ２０は、ＬＥＤ信号機では点灯状態の信号灯が周期的に一時消灯する（即ち点滅する）ことを勘案し、点滅による画像Ｉｍ中の輝度変化に基づき点灯状態の矢印信号の灯火部分の形状を認識する。これについては、［矢印信号認識処理］のセクションで詳しく説明する。
　インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。
　システムコントローラ２０、ＣＤ－ＲＯＭドライブ又はＤＶＤ－ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。
　ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ－ＲＯＭドライブ又はＤＶＤ－ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。
　データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。地図データは、道路に相当するリンクと、道路の接続部分（交差点）に相当するノードとにより表された道路データや、各施設に関する施設情報などを含む。また、地図データには、各信号機の位置を特定する情報が記憶されている。
　通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、通信用インタフェース３７を介して、ＶＩＣＳ（登録商標、Ｖｅｈｉｃｌｅ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）センタから配信される渋滞や交通情報などの道路交通情報、その他の情報を受信する。
　表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５～１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
　音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ－ＲＯＭドライブ３１又はＤＶＤ－ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。
　入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式の場合、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。
　なお、システムコントローラ２０は本発明における「取得手段」、「第１記憶手段」、「算出手段」、「認識手段」、及び「コンピュータ」として機能する。
　［矢印信号認識処理］
　次に、システムコントローラ２０が実行する矢印信号認識処理について説明する。概略的には、システムコントローラ２０は、ＬＥＤ信号機の赤信号が点灯状態の時に、画像中の所定範囲内の輝度変化等に基づき、点灯状態の矢印信号を示す画素を抽出し、当該画素の連結領域の形状に基づき矢印信号の種類を認識する。これにより、システムコントローラ２０は、点灯状態の矢印信号の種類を、短期間で高精度に認識する。以下、必要な処理ごとに具体的に説明する。
　（１）最低輝度値の認識
　まず、システムコントローラ２０は、車両の停車時にＬＥＤ信号機の赤信号の点灯を認識した場合、矢印信号の表示領域を含む所定範囲（「対象範囲Ｒｔａｇ」とも呼ぶ。）の各画素を対象に、所定の期間（「対象期間Ｔｔａｇ」とも呼ぶ。）内で最小となる輝度値（「最低輝度値」とも呼ぶ。）を検出する。
　ここで、対象範囲Ｒｔａｇは、認識した赤信号の表示領域の位置を基準として定められる範囲である。例えば、システムコントローラ２０は、赤信号の表示領域に対する対象範囲Ｒｔａｇの相対位置や大きさ等の情報を、実験等に基づき予め定めてデータ記憶ユニット３６やＲＯＭ２３などのメモリに記憶しておくことで、画像Ｉｍ中の対象範囲Ｒｔａｇを決定する。また、システムコントローラ２０は、対象期間Ｔｔａｇを、ＬＥＤ信号機の点灯状態での点滅の周期よりも長く、かつ、点灯状態となる信号灯が切り替わるおそれがない程度に短い期間（例えば１秒）に設定する。
　ここで、ＬＥＤ信号機の信号灯の点灯状態における点滅について図２及び図３を参照して説明する。
　図２は、ＬＥＤ信号機が直進及び左折のみを許可する旨の信号表示を行っているＬＥＤ信号機を示す。図２では、赤信号の信号灯８Ｒが赤色に点灯しており、かつ、左折の走行を許可する左折矢印信号の信号灯９Ｌ及び直進の走行を許可する直進矢印信号の信号灯９Ｓが青色に点灯している。そして、他の信号灯である黄色信号の信号灯８Ｙ、青信号の信号灯８Ｂ、及び右折の走行を許可する右折矢印信号の信号灯９Ｒは、消灯している。なお、図２では、便宜上、赤色を網状のハッチングにより表現し、青色を斜線のハッチングにより表現している。
　図３は、ＬＥＤ信号機が図２と同一の信号表示を行っているときにカメラ１４が生成した画像Ｉｍ中の対象範囲Ｒｔａｇを示す。図３では、左折矢印信号及び直進矢印信号の信号灯９Ｌ、９Ｓは、点灯状態での点滅により一時的に消灯している。このように、ＬＥＤ信号の各信号灯は、点灯状態の場合に、所定周期で一時的に消灯する。
　以上を勘案し、システムコントローラ２０は、点灯状態での消灯の周期よりも長い対象期間Ｔｔａｇ中にカメラ１４が生成した画像Ｉｍに基づき、対象範囲Ｒｔａｇの各画素の最低輝度値を検出し、データ記憶ユニット３６などのメモリに記憶する。これにより、システムコントローラ２０は、赤信号の信号灯が点灯状態である対象期間Ｔｔａｇ中に、点灯状態の各矢印信号の信号灯の消灯時の輝度値を、対象範囲Ｒｔａｇの画素の最低輝度値として好適に記憶することができる。
　なお、システムコントローラ２０は、対象範囲Ｒｔａｇの各画素の輝度値のうち、統計処理により算出したばらつきを示す指標が所定量を超える輝度値を除外した残りの輝度値から最低輝度値を定めてもよい。上述のばらつきを示す指標は、例えば、対象の各画素での輝度値の平均値との差の二乗であってもよく、他のばらつきを示す種々の統計的な指標であってもよい。これにより、システムコントローラ２０は、突発的なノイズの影響に起因して、最低輝度値を、ノイズの影響による異常値に設定するのを好適に抑制することができる。
　（２）矢印を表す画素領域の認識
　次に、システムコントローラ２０は、対象範囲Ｒｔａｇの各画素の最低輝度値に基づき、点灯状態の矢印信号の信号灯が示す矢印を表示する画素領域を認識する。
　具体的には、まず、システムコントローラ２０は、点灯した矢印信号を表示した画像Ｉｍ（「比較画像Ｉｍｃ」とも呼ぶ。）の輝度値とメモリに記憶した最低輝度値とを対象範囲Ｒｔａｇ内の画素ごとに比較する。ここで、システムコントローラ２０は、比較画像Ｉｍｃとして、例えば、対象期間Ｔｔａｇで取得された画像Ｉｍのうち、最低輝度値となる画素が最も少ない画像Ｉｍを選定してもよく、対象期間Ｔｔａｇの経過直後に生成された画像Ｉｍを選定してもよい。そして、システムコントローラ２０は、最低輝度値よりも所定閾値以上大きく、矢印信号の灯火色である青色を示す比較画像Ｉｍｃの画素を、点灯状態の矢印信号の信号灯が示す矢印を表示する画素として抽出する。上述の所定閾値は、例えば一般的な矢印信号が示す矢印の点灯時と消灯時との画像中での輝度差を勘案して設定され、メモリに予め記憶される。
　そして、システムコントローラ２０は、抽出した画素中で、隣接する画素群を一まとまりとする領域（「連結画素領域Ｔｐ」とも呼ぶ。）を、それぞれ点灯状態の矢印信号の灯火部分（即ち矢印）を示す画素領域として認識する。
　図４は、最低輝度値よりも所定閾値以上大きく、かつ青色の対象範囲Ｒｔａｇ内の画素を比較画像Ｉｍｃから抽出して表示した図である。図４の例では、システムコントローラ２０は、点灯状態であった左折矢印信号の信号灯９Ｌ及び直進矢印の信号灯９Ｓの矢印部分の各画素が、最低輝度値よりも所定閾値以上高く、かつ青色であると判断し、これらの画素を抽出している。そして、図４では、システムコントローラ２０は、抽出した画素からそれぞれ構成される連結画素領域Ｔｐ１、Ｔｐ２を、点灯状態の矢印信号の信号灯の矢印を表示する画素領域として認識する。
　ここで、最低輝度値と所定閾値とを用いた画素の抽出処理について補足説明する。「（１）最低輝度値の認識」のセクションで述べたように、対象期間Ｔｔａｇは、点灯状態となる信号灯が変わる虞れがない程度に短い時間に設定される。従って、対象期間Ｔｔａｇでの対象範囲Ｒｔａｇの各画素の最低輝度値と、比較画像Ｉｍｃの対象範囲Ｒｔａｇの各画素の輝度値とは、灯火部分の画素領域では点滅による輝度差が生じ、それ以外の画素領域ではほぼ一致する。従って、システムコントローラ２０は、メモリに記憶した最低輝度値を用いることで、点灯状態の矢印信号の灯火部分の画素領域を好適に抽出することができる。また、システムコントローラ２０は、矢印信号の灯火色である青色を示す画素に限定して抽出処理を行うことで、矢印信号の灯火部分以外の画素を誤って抽出するのを好適に防ぐことができる。
　（３）矢印信号の種類の認識
　次に、システムコントローラ２０は、各連結画素領域Ｔｐを含む最小の矩形領域を分割した領域（「分割領域Ｔｄ」とも呼ぶ。）中の当該連結画素領域Ｔｐの各画素数に基づき、各連結画素領域Ｔｐが示す矢印信号の種類を認識する。これについて、図５を参照して説明する。
　図５は、図４に示す連結画素領域Ｔｐ１、Ｔｐ２と、各分割領域Ｔｄ（Ｔｄ１Ａ～Ｔｄ１Ｄ、Ｔｄ２Ａ～Ｔｄ２Ｄ）との位置関係を示す図である。図５に示すように、分割領域Ｔｄ１Ａ～Ｔｄ１Ｄは、連結画素領域Ｔｐ１を含む最小の矩形領域を、縦及び横に２等分して区切った４つの領域である。また、分割領域Ｔｄ２Ａ～Ｔｄ２Ｄは、連結画素領域Ｔｐ２を含む最小の矩形領域を、縦及び横に２等分して区切った４つの領域である。
　この場合、まず、システムコントローラ２０は、各分割領域Ｔｄに含まれる連結画素領域Ｔｐ１、Ｔｐ２の画素数を算出する。そして、システムコントローラ２０は、算出した各分割領域Ｔｄの画素数に基づき、各連結画素領域Ｔｐ１、Ｔｐ２について、左側、右側、上側のいずれに位置する分割領域Ｔｄに画素数が偏っているかを判定することで、各連結画素領域Ｔｐが示す矢印信号の種類を認識する。
　例えば、システムコントローラ２０は、連結画素領域Ｔｐ１では、左側に位置する分割領域Ｔｄ１Ａ、Ｔｄ１Ｃの合計画素数が、右側の分割領域Ｔｄ１Ｂ、１Ｄの合計画素数及び上側の分割領域Ｔｄ１Ａ、Ｔｄ１Ｂの合計画素数よりも大きいことから、連結画素領域Ｔｐ１が左矢印を示すと認識する。同様に、システムコントローラ２０は、連結画素領域Ｔｐ２では、上側の分割領域Ｔｄ２Ａ、Ｔｄ２Ｂの合計画素数が、右側の分割領域Ｔｄ２Ｂ、２Ｄの合計画素数及び左側の分割領域Ｔｄ２Ａ、Ｔｄ２Ｃの合計画素数よりも大きいことから、連結画素領域Ｔｐ２が上矢印を示すと認識する。
　このように、システムコントローラ２０は、各連結画素領域Ｔｐに対して分割領域Ｔｄを設定し、各分割領域Ｔｄ中に占める連結画素領域Ｔｐの画素数を算出することで、各連結画素領域Ｔｐが示す矢印信号の種類を好適に認識することができる。
　［処理フロー］
　（１）処理概要
　まず、システムコントローラ２０が実行する処理概要を説明する。図６は、システムコントローラ２０が実行する本実施例に係る処理概要を示すフローチャートである。システムコントローラ２０は、図６に示すフローチャートの処理を繰り返し実行する。
　まず、システムコントローラ２０は、車両が停車中であるか否か判定する（ステップＳ１０１）。例えば、システムコントローラ２０は、距離センサ１３が出力する車速パルスやＧＰＳ受信機１８のＧＰＳ測位データ等から車速を得て、車速が０になったか否かを判定する。そして、車両が停車した場合（ステップＳ１０１；Ｙｅｓ）、システムコントローラ２０は、カメラ１４から画像Ｉｍを取得する（ステップＳ１０２）。一方、車両が停車していない場合（ステップＳ１０１；Ｎｏ）、システムコントローラ２０は、フローチャートの処理を終了する。
　次に、ステップＳ１０３では、システムコントローラ２０は、赤信号が点灯しているか否か判定する（ステップＳ１０３）。例えば、システムコントローラ２０は、周知の画像処理技術により画像Ｉｍから赤信号の信号灯の候補領域を認識し、当該候補領域が所定周期で点滅しているか否か判定することで、ＬＥＤ信号機の赤信号の点灯の有無を判定する。なお、ＬＥＤ信号機での赤信号の点灯を認識する方法については、例えば特開２００５－３０１５１８号公報に記載されている。
　そして、赤信号が点灯していることを検出した場合（ステップＳ１０３；Ｙｅｓ）、システムコントローラ２０は、後述する図７のフローチャートに示す矢印信号認識処理を実行する（ステップＳ１０４）。一方、赤信号が点灯していることを検出できなかった場合（ステップＳ１０３；Ｎｏ）、システムコントローラ２０は、フローチャートの処理を終了する。
　（２）矢印信号認識処理
　図７は、図６のフローチャートのステップＳ１０４でシステムコントローラ２０が実行する矢印信号認識処理のフローチャートである。
　まず、システムコントローラ２０は、画像Ｉｍをカメラ１４から取得する処理（ステップＳ２０１）、及び、対象範囲Ｒｔａｇ内での画素ごとの最低輝度値をメモリに記憶する処理（ステップＳ２０２）を、対象期間Ｔｔａｇ内で繰り返す（ステップＳ２０３）。この場合、システムコントローラ２０は、対象範囲Ｒｔａｇを、赤信号の表示位置を基準に矢印信号の表示位置を含む範囲に定めると共に、対象期間Ｔｔａｇを、ＬＥＤ信号機の点灯中の信号の点滅の周期よりも長く、かつ、信号表示が変更する虞がない程度に短い時間幅に設定する。
　そして、矢印信号認識処理を開始してから対象期間Ｔｔａｇが経過した場合（ステップＳ２０３；Ｙｅｓ）、システムコントローラ２０は、比較画像Ｉｍｃの画素のうち、最低輝度値よりも所定の閾値以上高い輝度を有し、矢印信号の点灯時の色相である青色を示す画素を抽出する（ステップＳ２０４）。これにより、システムコントローラ２０は、矢印信号の矢印を示す画素を抽出する。
　次に、システムコントローラ２０は、ステップＳ２０５で抽出した画素から、隣接する画素群を一まとまりとする領域である連結画素領域Ｔｐを認識する（ステップＳ２０５）。これにより、システムコントローラ２０は、点灯状態の矢印信号ごとに、その信号灯が示す矢印の領域をそれぞれ認識する。
　そして、システムコントローラ２０は、各連結画素領域Ｔｐを含む最小の矩形領域を上下左右均等にそれぞれ２分割した分割領域Ｔｄごとの連結画素領域Ｔｐの画素数をそれぞれ算出する（ステップＳ２０６）。そして、システムコントローラ２０は、分割領域Ｔｄごとの連結画素領域Ｔｐの画素数に基づき、各連結画素領域Ｔｐが示す矢印の種類を認識する（ステップＳ２０７）。具体的には、システムコントローラ２０は、算出した画素数に基づき、各連結画素領域Ｔｐについて、左側、右側、上側のいずれの分割領域Ｔｄに画素数が偏っているかを判定することで、各連結画素領域Ｔｐが示す矢印信号の種類を認識する。
　以上説明したように、本実施例に係るナビゲーション装置１のシステムコントローラ２０は、車両に搭載されたカメラ１４により信号機周辺の画像を取得する。また、システムコントローラ２０は、車両が停車状態の対象期間Ｔｔａｇ中に取得された複数の画像Ｉｍを基に、対象範囲Ｒｔａｇ内の画素ごとの最低輝度値を記憶する。さらに、システムコントローラ２０は、対象期間Ｔｔａｇ中又はその直後に取得された画像Ｉｍのうち少なくとも１つの画像Ｉｍに基づく輝度値と、最低輝度値との差分を画素ごとに算出する。そして、システムコントローラ２０は、上述の輝度差が所定の閾値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する。これにより、ナビゲーション装置１は、点灯状態の信号灯の形状を好適に認識して、当該信号灯が示す信号の種類を好適に認識することができる。
　［変形例］
　以下、実施例の各変形例について説明する。なお、これらの各変形例は、組み合わせて上述の実施例に適用してもよい。
　（変形例１）
　図７の矢印信号認識処理のステップＳ２０２において、システムコントローラ２０は、対象範囲Ｒｔａｇ内での画素ごとの最低輝度値に加えて、対象範囲Ｒｔａｇ内での画素ごとの最も高い輝度値（「最高輝度値」とも呼ぶ。）をさらに保持してもよい。これにより、システムコントローラ２０は、点灯状態の矢印信号の点灯した矢印を示す各画素の輝度を最高輝度値として好適に保持する。
　図８は、本変形例に係る矢印信号認識処理のフローチャートを示す。図８のフローチャートでは、システムコントローラ２０は、ステップＳ３０２で、対象範囲Ｒｔａｇ内での画素ごとの最低輝度値及び最高輝度値をデータ記憶ユニット３６などのメモリに記憶する。そして、対象期間Ｔｔａｇの経過後のステップＳ３０４では、システムコントローラ２０は、比較画像Ｉｍｃに代えて対象範囲Ｒｔａｇ内の各画素の最高輝度値を対象に、最低輝度値よりも所定閾値以上高く、かつ、青色の最高輝度値の画素を抽出する。そして、システムコントローラ２０は、ステップＳ２０５～ステップＳ２０７と同様に、ステップＳ３０５～ステップＳ３０７の処理を実行する。
　本変形例によれば、システムコントローラ２０は、ステップＳ３０４で、矢印信号の点灯時での矢印信号を示す各画素の輝度値と、矢印信号の消灯時での矢印信号を示す各画素の輝度値とを好適に比較することができ、矢印信号の灯火部分を示す画素の抽出精度を向上させることができる。そして、本変形例では、システムコントローラ２０は、本発明における「第２記憶手段」として機能する。
　なお、システムコントローラ２０は、対象範囲Ｒｔａｇの各画素の輝度値のうち、統計処理により算出したばらつきを示す指標が所定量を超える輝度値を除外した残りの輝度値から最高輝度値を定めてもよい。上述のばらつきを示す指標は、例えば、対象の各画素での輝度値の平均値との差の二乗であってもよく、他のばらつきを示す種々の統計的な指標であってもよい。これにより、システムコントローラ２０は、突発的なノイズの影響に起因して、最高輝度値を、ノイズの影響による異常値に設定するのを好適に抑制することができる。
　（変形例２）
　ナビゲーション装置１が図６及び図７のフローチャートで実行する処理の一部の処理を、ナビゲーション装置１と接続するサーバ装置が実行してもよい。図９は、変形例に係るシステムの一例である。図９に示すように、ナビゲーション装置１は、ネットワーク２００を介してサーバ装置３００と接続する。そして、サーバ装置３００は、ナビゲーション装置１から送信される画像Ｉｍ等に基づき、矢印信号認識処理などを実行し、その処理結果をナビゲーション装置１に送信する。
　（変形例３）
　実施例では、ナビゲーション装置１は、矢印信号灯を含む範囲に対象範囲Ｒｔａｇを設定し、当該対象範囲Ｒｔａｇ内の対象期間Ｔｔａｇでの輝度の変化に基づき、矢印を示す画素領域を抽出して矢印の種類を認識した。これに代えて、ナビゲーション装置１は、矢印信号以外の信号灯を含む範囲に対象範囲Ｒｔａｇを設定し、当該対象範囲Ｒｔａｇ内の対象期間Ｔｔａｇでの輝度の変化に基づき信号灯の点灯部分を示す画素領域を抽出して当該信号灯が示す信号の種類を認識してもよい。
　例えば、ナビゲーション装置１は、歩行者用の信号灯を含む範囲に対象範囲Ｒｔａｇを設定し、当該対象範囲Ｒｔａｇ内の対象期間Ｔｔａｇでの輝度の変化に基づき歩行者用の信号灯のマーク部分の形状を抽出してもよい。この場合、ナビゲーション装置１は、抽出したマークの形状を認識することで、歩行可の信号灯が点灯しているか、又は歩行不可を示す信号灯が点灯しているかを認識する。
　１　ナビゲーション装置
　１０　自立測位装置
　１４　カメラ
　１８　ＧＰＳ受信機
　２０　システムコントローラ
　２２　ＣＰＵ
　３６　データ記憶ユニット
　３８　通信装置
　４０　表示ユニット
　４４　ディスプレイ
　６０　入力装置

Claims (9)

  1. 　移動体に搭載された撮影手段により信号機周辺の画像を取得する取得手段と、
    　前記取得手段により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を記憶する第１記憶手段と、
    　前記取得手段により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶手段に記憶された第１輝度との差分を画素ごとに算出する算出手段と、
    　前記算出手段により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段と、
    を備えることを特徴とする信号機認識装置。
  2. 　前記取得手段により前記所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最高輝度に類する第２輝度を記憶する第２記憶手段を備え、
    　前記算出手段は、前記１記憶手段に記憶された第１輝度と前記２記憶手段に記憶された第２輝度との差分を画素ごとに算出することを特徴とする請求項１に記載の信号機認識装置。
  3. 　前記認識手段は、前記算出手段により算出された輝度の差分が所定値以上となる画素が隣接して構成する画素群の形状を基に、点灯している信号の種類を認識することを特徴とする請求項１または２に記載の信号機認識装置。
  4. 　前記認識手段は、点灯している矢印信号の矢印が指す向きを認識することを特徴とする請求項１～３のいずれか一項に記載の信号機認識装置。
  5. 　前記第１記憶手段は、前記所定期間を、前記信号機の赤信号が点灯状態の期間内に設定することを特徴とする請求項４に記載の信号機認識装置。
  6. 　前記認識手段は、前記算出手段により算出された輝度の差分が所定値以上となる画素が隣接して構成する画素群をそれぞれ含む最小の矩形領域の各々について、当該矩形領域を分割した領域での前記画素群の画素が存在する画素数に基づき、点灯している矢印信号の矢印が指す向きを認識することを特徴とする請求項４または５に記載の信号機認識装置。
  7. 　記憶部を有する信号機認識装置が実行する制御方法であって、
    　移動体に搭載された撮影手段により信号機周辺の画像を取得する取得工程と、
    　前記取得工程により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を前記記憶部に記憶する第１記憶工程と、
    　前記取得工程により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶工程で前記記憶部に記憶された第１輝度との差分を画素ごとに算出する算出工程と、
    　前記算出工程により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識工程と、
    を有することを特徴とする制御方法。
  8. 　記憶部を有する信号機認識装置を制御するコンピュータが実行するプログラムであって、
    　移動体に搭載された撮影手段により信号機周辺の画像を取得する取得手段と、
    　前記取得手段により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を前記記憶部に記憶する第１記憶手段と、
    　前記取得手段により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶手段で前記記憶部に記憶された第１輝度との差分を画素ごとに算出する算出手段と、
    　前記算出手段により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段
    として前記コンピュータを機能させることを特徴とするプログラム。
  9. 　請求項８に記載のプログラムを記憶したことを特徴とする記憶媒体。
PCT/JP2013/051144 2013-01-22 2013-01-22 信号機認識装置、制御方法、プログラム及び記憶媒体 WO2014115239A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014558309A JPWO2014115239A1 (ja) 2013-01-22 2013-01-22 信号機認識装置、制御方法、プログラム及び記憶媒体
PCT/JP2013/051144 WO2014115239A1 (ja) 2013-01-22 2013-01-22 信号機認識装置、制御方法、プログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/051144 WO2014115239A1 (ja) 2013-01-22 2013-01-22 信号機認識装置、制御方法、プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2014115239A1 true WO2014115239A1 (ja) 2014-07-31

Family

ID=51227056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/051144 WO2014115239A1 (ja) 2013-01-22 2013-01-22 信号機認識装置、制御方法、プログラム及び記憶媒体

Country Status (2)

Country Link
JP (1) JPWO2014115239A1 (ja)
WO (1) WO2014115239A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931724A (zh) * 2020-09-23 2020-11-13 北京百度网讯科技有限公司 信号灯的异常识别方法、装置、电子设备和路侧设备
CN112180285A (zh) * 2020-09-23 2021-01-05 北京百度网讯科技有限公司 识别交通信号灯故障的方法、装置、导航系统和路侧设备
EP3859708A1 (en) * 2020-09-23 2021-08-04 Beijing Baidu Netcom Science And Technology Co. Ltd. Traffic light image processing method and device, and roadside device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931726A (zh) * 2020-09-23 2020-11-13 北京百度网讯科技有限公司 交通灯检测的方法、装置、计算机存储介质和路侧设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009043068A (ja) * 2007-08-09 2009-02-26 Honda Motor Co Ltd 信号機認識装置
JP2012168592A (ja) * 2011-02-10 2012-09-06 Fuji Heavy Ind Ltd 環境認識装置
JP2012238244A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009043068A (ja) * 2007-08-09 2009-02-26 Honda Motor Co Ltd 信号機認識装置
JP2012168592A (ja) * 2011-02-10 2012-09-06 Fuji Heavy Ind Ltd 環境認識装置
JP2012238244A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931724A (zh) * 2020-09-23 2020-11-13 北京百度网讯科技有限公司 信号灯的异常识别方法、装置、电子设备和路侧设备
CN112180285A (zh) * 2020-09-23 2021-01-05 北京百度网讯科技有限公司 识别交通信号灯故障的方法、装置、导航系统和路侧设备
EP3859708A1 (en) * 2020-09-23 2021-08-04 Beijing Baidu Netcom Science And Technology Co. Ltd. Traffic light image processing method and device, and roadside device
JP2021119462A (ja) * 2020-09-23 2021-08-12 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 信号機画像の処理方法、装置、コンピュータシステム及び路側デバイス
JP7267333B2 (ja) 2020-09-23 2023-05-01 阿波▲羅▼智▲聯▼（北京）科技有限公司 信号機画像の処理方法、装置、コンピュータシステム及び路側デバイス
US11790772B2 (en) 2020-09-23 2023-10-17 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd Traffic light image processing

Also Published As

Publication number Publication date
JPWO2014115239A1 (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
JP2018120600A (ja) 信号機認識装置、制御方法、プログラム及び記憶媒体
JP6106495B2 (ja) 検出装置、制御方法、プログラム及び記憶媒体
WO2016151749A1 (ja) 自動運転支援装置、制御方法、プログラム及び記憶媒体
JP5962594B2 (ja) 車載表示装置およびプログラム
JP4881493B1 (ja) ナビゲーション装置、制御方法、プログラム、及び記憶媒体
JP6337646B2 (ja) 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム
US9404765B2 (en) On-vehicle display apparatus
EP3522134A1 (en) Roadside machine, roadside machine control method and roadside machine control program
JP2008293277A (ja) 信号機検出装置、信号機検出方法及びプログラム
JPWO2015128985A1 (ja) 表示装置、制御方法、プログラム、及び記憶媒体
WO2014115239A1 (ja) 信号機認識装置、制御方法、プログラム及び記憶媒体
JPWO2013161028A1 (ja) 画像表示装置、画像表示方法、画像表示プログラム、及び記録媒体
JP5795386B2 (ja) 表示装置及び制御方法
JP4561338B2 (ja) 走行支援装置
JP4888285B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2016219024A (ja) 信号機認識装置、制御方法、プログラム及び記憶媒体
JP2015141155A (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2016207065A (ja) 運転支援装置及び運転支援方法
JP5517176B2 (ja) 画像調整装置、制御方法、プログラム、及び記憶媒体
US10665076B2 (en) Mobile electronic device, control system, control method, and non-transitory computer readable storage medium
JP2015152467A (ja) 表示制御装置、制御方法、プログラム、及び記憶媒体
JP2009265061A (ja) ナビゲーション装置
JP2016176962A (ja) 表示装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体
JP2009009368A (ja) 路面標示認識システム
JP2020064076A (ja) 表示装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13873126

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014558309

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13873126

Country of ref document: EP

Kind code of ref document: A1