WO2014162797A1 - 信号認識装置 - Google Patents

信号認識装置 Download PDF

Info

Publication number
WO2014162797A1
WO2014162797A1 PCT/JP2014/054435 JP2014054435W WO2014162797A1 WO 2014162797 A1 WO2014162797 A1 WO 2014162797A1 JP 2014054435 W JP2014054435 W JP 2014054435W WO 2014162797 A1 WO2014162797 A1 WO 2014162797A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
link
information
travel
traffic
Prior art date
Application number
PCT/JP2014/054435
Other languages
English (en)
French (fr)
Inventor
直樹 古城
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to EP14778961.4A priority Critical patent/EP2983153B1/en
Priority to JP2015509951A priority patent/JP5962850B2/ja
Priority to US14/782,072 priority patent/US9389093B2/en
Priority to RU2015140803A priority patent/RU2666061C2/ru
Priority to CN201480017472.6A priority patent/CN105074794B/zh
Priority to BR112015024721-0A priority patent/BR112015024721B1/pt
Priority to MX2015013884A priority patent/MX346231B/es
Publication of WO2014162797A1 publication Critical patent/WO2014162797A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a signal recognizing device that identifies a signal to be noticed on a traveling path of a host vehicle and recognizes the content thereof.
  • Patent Document 1 based on the distance from the vehicle to the intersection and the height information of the traffic light, the image area of the traffic light where the traffic light will be imaged in the captured image of the camera is estimated, and the image area of this traffic light A technique for recognizing the state of a traffic light based on the image is known (Patent Document 1).
  • the technique according to the prior art erroneously identifies the signal signal to which the vehicle should pay attention and misrecognizes the signal content indicated by the signal. There's a problem.
  • the problem to be solved by the present invention is that even when a signal such as a signal that should not be noticed in a captured image of a vehicle-mounted camera is reflected or a signal that is not noticed is reflected, This is to accurately identify one traffic light that the host vehicle should pay attention to and to recognize the signal content indicated by the traffic signal with high accuracy.
  • the present invention refers to map information including travel link information defined for each lane by a directional link, in which connection links and travel direction information are associated, and traffic signal information associated with the travel link information.
  • the above-described problem is solved by identifying a traffic signal to be noted based on the travel link to which the current position of the host vehicle belongs.
  • a travel link that is specified for each lane by a directional link including a start point, an end point, and a travel direction, and is associated with the connection link and the traveling direction information when the travel link is traveled.
  • the traffic signal to be noticed during the travel of each travel link is specified, so even in a complicated traffic environment where there are multiple traffic signals, It is possible to accurately identify one traffic light that the driver should pay attention to.
  • FIG. 1 is a diagram illustrating a block configuration of a driving support system 1 including a signal recognition device 100 according to the present embodiment.
  • the signal recognition device 100 and the driving support system 1 including the signal recognition device 100 are mounted on a vehicle.
  • the signal recognition device 100 identifies a signal to which the driver of the host vehicle is interested and recognizes the content of information indicated by the signal.
  • the driving support system 1 includes a signal recognition device 100, a navigation device 50, a vehicle controller 60, and a drive system 70 (vehicle drive device) that controls driving.
  • the driving support system 1 controls driving / braking of the host vehicle via the vehicle controller 60 and the driving system 70 based on information indicated by the signal recognized by the signal recognition device 100, and driving via the navigation device 50. Provide information to support the driver.
  • the signal recognition device 100 of this embodiment includes a control device 10, a camera 20, a position detection device 30, and a database 40.
  • the camera 20 is mounted on the host vehicle and images the surroundings of the host vehicle.
  • the lens may be a telephoto lens with a narrow viewing angle that can be imaged by a distant preceding vehicle, or a fish-eye lens with a wide field of view or an omnidirectional camera lens that can capture the entire circumference to cope with changes in curves and gradients. May be.
  • the attachment position of the camera 20 is not limited, in this embodiment, it installs in the vicinity of the vehicle interior mirror of the own vehicle toward the vehicle front. Further, the case where the lens is a standard lens having a viewing angle of about 25 ° to 50 ° will be described as an example.
  • Imaging characteristic information 42 such as an internal parameter such as lens distortion of the camera 20 and an external parameter indicating an attachment position with respect to the vehicle can be stored in advance in the ROM.
  • the camera 20 of the present embodiment has a zoom function that increases or decreases the imaging magnification at the time of imaging.
  • the zoom function of the present embodiment controls the imaging magnification based on an area ratio of an image area of a specified traffic light to a captured image, which will be described later.
  • the camera 20 of this embodiment includes a driving device 21.
  • the drive device 21 can change the imaging direction of the camera 20.
  • the drive device 21 of the present embodiment has a drive function that can be driven in the vertical direction of the host vehicle.
  • the drive device 21 may be configured as a support device that is separate from the camera 20, but in the present embodiment, a PTZ camera (camera capable of driving pan, tilt, and zoom) having a mechanism for rotating the camera 20 body is driven.
  • the camera 20 in which the camera 20 main body and the drive device 21 are integrated is used.
  • a PTZ camera is not specifically limited, it arrange
  • the aspect of the drive device 21 is not particularly limited, and a method of changing the imaging direction by installing a mirror in front of the imaging element and driving the mirror may be used.
  • External parameters including the mounting position of the camera 20 with respect to the vehicle, the amount of change in the mounting position of the camera 20 due to the operation of the driving device 21, etc. are calculated in advance and stored in the database 40.
  • the drive device 21 according to the present embodiment changes the imaging direction of the camera 20 based on the position of the identified traffic light image region with respect to the captured image.
  • the position detection device 30 includes a GPS (Global Positioning System) and detects the current position (latitude / longitude) of the traveling vehicle.
  • the current position of the host vehicle can also be acquired from the position detection device 30 provided in the navigation device 50 mounted on the host vehicle.
  • the position detection device 30 of this embodiment has a function of detecting the attitude of the host vehicle.
  • the position detection device 30 may include two GPSs and calculate the direction of the host vehicle, or may further include an azimuth meter to calculate the direction of the host vehicle. Also good.
  • the position detection device 30 may calculate the attitude of the host vehicle based on the captured image of the camera 20.
  • An example of a method for calculating the attitude of the host vehicle based on the captured image will be described.
  • the viewpoint of the captured image of the camera 20 is set above the vehicle, and the captured image is converted into an overhead image when the host vehicle is viewed from the viewpoint of the vehicle information.
  • the white line or curb can be recognized in the overhead image, and the direction of the vehicle can be calculated from the inclination of the white line or curb.
  • the position / orientation of the host vehicle may be calculated using SLAM (Simultaneous Localization and Mapping), which is a self-position estimation technique, using an image known at the time of filing this application.
  • SLAM Simultaneous Localization and Mapping
  • the three-dimensional positions of the image feature points are stored in the database 40 in advance, and the image feature points stored in the database 40 and the image feature points in the captured image of the camera 20 are collated, so that The position / orientation of the vehicle can be calculated.
  • the database 40 stores map information 41.
  • the map information 41 may be stored in the navigation device 50 that can be accessed by the control device 10.
  • the map information 41 of the present embodiment includes travel link information 411 and traffic signal information 412 associated with the travel link information 411.
  • Each travel link of the travel link information 411 is a directional link including a start point, an end point, and a travel direction, and is defined for each lane.
  • a directed link is defined by information on at least a start point, an end point (that is, a length), and a direction.
  • each travel link (directed link) of the present embodiment is associated with a connection link connected at the start point and the end point, and travel direction information for specifying a travel direction including straight or right / left turn.
  • traffic information is associated with the travel link.
  • the traffic signal information is information including position information of a traffic signal to which the driver pays attention when traveling on each travel link.
  • the map information 41 of the present embodiment includes a point identified by a map coordinate value such as latitude and longitude, a node with an identifier (ID), as in general map information, It includes a travel link with an identifier (ID), a traffic light with an identifier (ID), and point information (POI) associated with each point.
  • the node information is specified by a map coordinate value, and includes an identifier of a node to be connected and an identifier of a plurality of nodes branched from.
  • the node is set at the center of the road lane. However, at a complicated intersection having a plurality of lanes, the position of the node may be defined using a trajectory actually passed by the vehicle.
  • the travel link information is specified by the map coordinate values, the identifier of the node that defines the start point and end point, the travel direction of each travel link, such as straight line, right turn, left turn, etc., and each travel link is for merging links / branches It has a type of whether it is a link, an identifier of a traveling link connected to the traveling link, and an identifier of a plurality of branched traveling links that are branched. Each traveling link is associated with an identifier of a noticeable traffic signal. Even if the travel link information of the present embodiment exists on the same road, a different ID is assigned to each lane, and the travel link information is treated as a separate travel link.
  • the right-turn travel link and the straight travel link are processed as different travel links. Even if the information of the start point and the end point is common, the traffic signal to be noticed in the right turn travel link is different from the traffic signal to be noticed in the straight travel link, and is therefore stored as separate information.
  • the travel path of the vehicle branches or intersects, or when a traffic signal to be noticed is different, it is defined as another travel link. That is, in the travel link information of the present embodiment, the travel link is defined for each lane, and one notable traffic signal is associated with one travel link, even if a plurality of traffic links are associated with the same travel road.
  • a plurality of traffic lights are not associated with one travel link. Since one notable traffic signal is associated with one travel link defined for each lane, if the travel link on which the host vehicle travels is determined, the traffic signal that is primarily focused can be identified.
  • the traffic signal information includes the height information, the installation position specified by the map coordinate value, the travel link on which the vehicle to be watched travels on each traffic signal, that is, the identifier of the travel link on which the traffic signal is to be controlled, Signal type information.
  • the type information of the traffic light is information such as a traffic light that displays red, yellow, or blue, a traffic light that displays red or blue for pedestrians, or a traffic light that indicates a left or right turn by an arrow.
  • FIG. 3 is a diagram showing an example of travel link information and traffic signal information at an actual intersection.
  • a travel link LKD1 is set on a road where a travel link LKU1 on which the host vehicle V travels exists.
  • the travel link LKU1 is a travel link in the up lane
  • the travel link LKD1 is a travel link in the down lane
  • both are given different identifiers as separate travel links.
  • the travel link LKU2A is a travel link for a straight lane
  • the travel link LKU2B is a travel link for a right turn lane
  • the travel link LKU2C is a travel link for a left turn lane.
  • the travel link LKU2A and the travel link LKU2C are defined as different travel links because the connection links associated with each other are different.
  • both the traffic light SG1 and the traffic light SG2 enter the field of view (imaging range) at a time as shown in FIG. It may be difficult to know whether you should pay attention to. In such a situation, an erroneous process may be performed in the process of specifying one of the traffic lights by an image recognition technique or the like. Note that the z-axis shown in FIG. 4 is the imaging direction.
  • the traveling link LKU1 of the host vehicle V includes a traffic light SG1. Therefore, even when entering the imaging range at the same time as shown in FIG. 4, it is possible to identify the signal SG1 to be noted and extract the image region R including the signal SG1.
  • one notable traffic signal for one travel link can be specified.
  • a signal recognition method according to the present embodiment will be described in which one notable traffic signal is identified and the content indicated by the signal is recognized.
  • the control device 10 of the signal recognition device 100 identifies a signal device to be noticed and stores a ROM (Read Only Memory) 12 in which a program for recognizing the contents of information indicated by the signal device and a program stored in the ROM are stored.
  • the computer includes a CPU (Central Processing Unit) 11 as an operation circuit that functions as the signal recognition device 100 and a RAM (Random Access Memory) 13 that functions as an accessible storage device.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • the control device 10 of the signal recognition device 100 has a captured image acquisition function, a vehicle position acquisition function, an attention signal device identification function, a signal image region extraction function, and a signal content recognition function.
  • the control apparatus 10 of this embodiment performs each function by cooperation of the software for implement
  • the control device 10 acquires a captured image around the host vehicle captured by the camera 20.
  • the own vehicle position acquisition function of the control device 10 of this embodiment will be described.
  • the control device 10 acquires the current position of the host vehicle detected by the position detection device 30. If there is posture information of the own vehicle detected by the position detection device 30, the control device 10 also acquires it.
  • the attention signal device identification function of the control device 10 refers to the map information 41 and identifies a signal device to which attention should be paid based on the travel link to which the current position of the vehicle belongs.
  • the control device 10 estimates a travel link on which the host vehicle travels from the travel link information acquired from the map information 41 and the current position of the host vehicle acquired from the position detection device.
  • the control device 10 estimates the travel link associated with the point or region to which the current position of the host vehicle belongs as the travel link on which the host vehicle travels. Further, the control device 10 may estimate the travel link having the shortest (near) distance from the current position of the host vehicle as the travel link on which the host vehicle travels.
  • the difference between the traveling direction of the host vehicle and the vector direction from the start point to the end point of the travel link is less than a predetermined threshold, for example, 90 ° or less.
  • a travel link that is the link and has the shortest (closest) distance to the current position may be estimated as the travel link on which the host vehicle travels.
  • connection link transition destination
  • next travel link is limited to the connection link connected to the current travel link.
  • the link that is closest to the current position may be selected.
  • the control device 10 of the present embodiment refers to the travel link information 411 on which the host vehicle travels in the map information 41, and calculates the travel link on which the host vehicle travels next when it is determined that the end point of the travel link has been reached. To do. Specifically, the control device 10 refers to the travel link information 411 and determines the current position of the host vehicle when the distance between the host vehicle and the end point of the directed link associated with the travel link is less than a predetermined value. The connection link that is connected at the end point of the travel link to which the belongs belongs is calculated.
  • the control device 10 estimates the travel link on which the host vehicle V will travel next at the timing when the host vehicle V reaches the end point of the travel link LKU1. .
  • the control device 10 refers to the travel link information 411 and / or the traffic signal information 412 associated with the map information 41, and identifies a noticeable traffic signal associated with the estimated travel link of the host vehicle. To do.
  • the control device 10 identifies the travel link ID on which the host vehicle travels, refers to the traffic light information 412 associated with the travel link ID in the travel link information 411, and when the host vehicle travels on the travel link, Identify noticeable traffic lights. And the control apparatus 10 acquires the three-dimensional position information, the classification, etc., such as the installation position and height of the specified traffic signal, from the traffic signal information 412.
  • the control device 10 extracts the image area of the traffic signal in the captured image of the camera 20 based on the determined position information of the traffic signal and the imaging characteristic information 42 of the camera 20.
  • the control device 10 includes an external parameter that includes the position of the host vehicle acquired by the host vehicle position acquisition function, the three-dimensional position information of the traffic signal to be noted specified by the traffic signal specifying function, and the position information of the camera 20 attached to the host vehicle. From the (imaging characteristic information 42), the relative positional relationship of the traffic light with respect to the camera 20 is calculated from the geometric relationship.
  • the control device 10 of the present embodiment extracts the image area of the traffic light in the captured image in consideration of the posture of the host vehicle detected by the host vehicle position acquisition function. By taking into account the attitude of the host vehicle, it is possible to accurately extract an image region in which an image of a traffic light appears.
  • specific processing is not limited, coordinate conversion according to the posture of the host vehicle is performed, and an image area of the traffic signal in the captured image when the traffic signal is captured in the current posture of the host vehicle is obtained.
  • the control device 10 determines the direction of the travel link on which the host vehicle travels. It can be used as a posture.
  • a travel link having a curvature such as a right turn or a left turn
  • the posture at the start node and the posture at the end node are included in the travel link information of the map information 41 in advance, and the position of the host vehicle and the start node of the travel link and The distance to the end point node is calculated, and the change in posture at each position from the start point node to the end point node of the travel link can be calculated based on the travel rate of the host vehicle on the travel link.
  • the driving device 21 of the camera 20 changes the imaging direction of the camera 20 based on the position of the image area of the traffic light in the captured image.
  • the position of the image area of the traffic light used when changing the imaging direction of the camera 20 not only the relative position information up to the traffic light based on the current camera 20 but also the vehicle speed, yaw rate, etc. It is preferable to calculate the image area of the traffic light specified in the next cycle in consideration of the traveling information of the host vehicle and the expected time required for the process of calculating the image area of the traffic light.
  • the travel information of the host vehicle is acquired from the vehicle controller 60.
  • the driving device 21 adjusts the imaging direction of the camera 20 so that the camera 20 can capture the image area of the predicted traffic light. As a result, the next traffic light can be accurately identified.
  • the camera 20 changes the imaging magnification of the camera 20 based on the ratio of the image area of the traffic light to the captured image.
  • the ratio of the image area of the traffic signal to the entire captured image used when changing the imaging magnification of the camera 20 not only the relative position information up to the traffic signal based on the current camera 20 but also the own vehicle It is preferable to calculate the image area of the traffic light specified in the next cycle in consideration of the travel information of the host vehicle such as the vehicle speed and the yaw rate of the vehicle and the expected time required for the process of calculating the image area of the traffic light.
  • the driving device 21 adjusts the imaging magnification of the camera 20 so that the camera 20 can clearly capture the image area of the predicted traffic light. Thereby, the content recognition of the signal which the next traffic signal shows can be performed correctly.
  • the control device 10 determines the image area on the captured image in which the image of the specified traffic signal appears from the relative position of the traffic signal with respect to the camera 20 and the internal parameters (imaging characteristic information 42) including lens distortion information of the camera 20. (Signal signal image area) is extracted.
  • the central coordinates of the image area of the traffic light are obtained by projecting and converting the three-dimensional coordinates of the central portion of the traffic light (for example, the central portion of the yellow light if it is a red, yellow, blue type signal) to the coordinate system of the captured image of the camera 20. Ask.
  • the size of the image area of the traffic light may be arbitrarily set to a certain size, may be set according to the type of the traffic light, or the size is changed according to the distance from the own vehicle to the traffic light May be.
  • the size of the image area of the traffic light of the captured image is set so that the distance to the traffic light is larger so that the distance to the traffic light is larger, and the image area of the traffic light is closer to the traffic light. May be reduced.
  • the size of the image area of the traffic light may be changed according to the detection accuracy of the position detection device 30 of the host vehicle.
  • the control device 10 recognizes the signal content of the traffic signal based on the extracted traffic image of the image area.
  • the control device 10 performs processing for recognizing the signal content of the traffic light for the image area of the traffic light extracted by the signal image extraction function, and acquires information indicated by the signal.
  • the signal content recognition processing is not particularly limited, but a template image is held for each piece of information indicated by the traffic signal in advance, the image area of the traffic light is specifically identified by general template matching in image processing, and then Further, the lighting state of each signal (for example, red, yellow, and blue) indicated by the traffic light is verified by color recognition, and the lighted color is recognized as information indicated by the traffic light.
  • the signal recognition method is not particularly limited, and a method known at the time of filing can be appropriately used.
  • the processing content shown in FIG. 6 is continuously performed at an interval of, for example, about 50 msec in the signal recognition ECU functioning as the control device 10.
  • step S ⁇ b> 110 the control device 10 acquires the current position of the host vehicle detected by the position detection device 30.
  • step S120 the control device 10 determines the own vehicle position based on the position of the host vehicle acquired in step S110 and the information on the travel link determined that the host vehicle was traveling (belonged to) in the previous process. It is determined whether or not the vehicle has reached the end node of the travel link. As the determination method, the method described based on FIG. 5 is used. If it is determined that the host vehicle has reached the end point node, the process proceeds to step S130. If it is not determined that the host vehicle has reached the end point node, the processing of steps 110 and 120 is continued.
  • step S130 the control device 10 obtains a travel link on which the host vehicle travels based on the current position of the host vehicle acquired in step S110 and the travel link information 411 included in the map information 41, and proceeds to step S140.
  • step S140 the control device 10 determines a traffic signal to be noted based on the travel link to which the current position of the host vehicle belongs, from the identifier (ID) of the travel link to which the host vehicle belongs in step S130 and the map information 41. Identify.
  • step S150 the control device 10 refers to the traffic signal information 412 of the map information 41, and acquires the position information of the traffic signal identified in step S140, the current position of the host vehicle acquired in step S110, and attached to the host vehicle.
  • the relative position of the traffic light with respect to the camera 20 is calculated from the obtained external parameters (imaging characteristic information 42) of the camera 20.
  • step S160 the control device 10 extracts the image area of the traffic signal in the captured image of the camera 20 based on the specified position information of the traffic signal and the imaging characteristic information 42 of the camera 20.
  • step S170 the control device 10 recognizes the signal content of the traffic signal based on the image of the traffic signal in the image area.
  • step S180 the control device 10 sends the recognition result to the navigation device 50, the vehicle controller 60, or the drive system 70.
  • the in-vehicle device performs driving support according to the content of the signal indicated by the traffic light.
  • the driving support system 1 of the present embodiment executes control to reduce the speed of the host vehicle or displays a stop or caution signal. Execute the guidance with voice.
  • step 220 the control device 10 changes the imaging direction of the camera 20 based on the position of the image area of the traffic light in the captured image obtained in step S160. This is because when the signal image is deviated from the center of the captured image, the image capturing direction of the camera 20 is corrected so that an image of the entire signal can be acquired.
  • the image area of the signal obtained in step S160 is used, the image area of the signal is predicted at the timing of processing performed in the next cycle in step S220, and the position of the predicted image area of the traffic light is estimated.
  • the imaging direction of the camera 20 is changed based on the above. Since the vehicle is moving, it is predicted that the position of the image area of the traffic light in the current processing cycle is different from the position of the image area of the traffic light in the next processing cycle.
  • the image area of the traffic signal specified in the next cycle is determined. calculate.
  • the signal recognition device 100 has the following effects.
  • the travel link information 411 defined by the directed link and associated with the connection link and the travel direction information is associated with the travel link information.
  • the traffic signal to be noted is specified based on the travel link to which the current position of the host vehicle belongs, so even in a complicated traffic environment where a plurality of traffic signals exist, The traveling link can be accurately estimated, and as a result, one traffic light that the driver should pay attention to can be accurately identified.
  • a travel link which is defined as a directed link by a start point and an end point, is set for each traveling lane of the road, and is set for each traveling direction information such as a straight line, a right turn, and a left turn in the intersection.
  • traveling direction information such as a straight line, a right turn, and a left turn in the intersection.
  • the left turn travel link LKU2C and the straight travel link LKU2A exist on the same lane, but the left turn travel link LKU2C is a connecting link LKU3- Since the straight traveling link LKU2A is associated with the TL and is associated with the transitional connection link LKU3-ST, the traveling link LKU2C and the traveling link LKU2A can be accurately identified.
  • the travel link specifying process is performed at the timing when the vehicle approaches the end point node of the travel link within a predetermined distance. Can be specified. For example, when the detection accuracy of the current position of the host vehicle is lowered, it is possible not to select an incorrect connection link.
  • the attitude of the host vehicle is acquired, and the image area of the traffic light in that attitude is extracted. Therefore, the position of the image area where the image of the traffic signal appears can be accurately obtained. it can.
  • the lane, the directed link, the connection link, and the traveling direction information have higher accuracy. From the travel link information estimated in (1), it is possible to identify one notable traffic signal.
  • the camera 20 can be driven, imaging can be performed regardless of the position of the traffic light. For example, in an intersection environment as shown in FIG. 3, in the situation of waiting for a right turn at the point TRP of the travel link LKU3-TR, the signal SG3 that is out of the field of view is captured by the camera 20 that images the normal front. be able to. Also, compared to using a camera with a wide viewing angle, using a driving camera with a narrow viewing angle can reduce the possibility that a traffic light that should not be noticed will be reflected, thereby reducing misrecognition. Can do.
  • the camera 20 has a zoom drive function and controls the increase / decrease of the imaging magnification according to the size of the image area of the traffic light. Therefore, regardless of the distance relationship with the traffic light, The size of the image area of the traffic light in the captured image can be kept appropriate. For this reason, it is possible to further reduce the risk that other traffic signals are reflected. In addition, since the size of the image area of the traffic signal to be recognized is substantially constant, the accuracy of the signal recognition process can be increased.
  • the driving support system 1 including the signal recognition device 100, the navigation device 50, the vehicle controller 60, and the drive system 70 according to the present invention will be described as an example. It is not limited.
  • a signal recognition apparatus 100 including a control apparatus 10, a camera 20 as an imaging unit, a position detection apparatus 30, and a database 40 will be described as an example.
  • the present invention is not limited to this.
  • a signal recognition apparatus which includes a captured image acquisition unit, a vehicle position acquisition unit, a target signal device identification unit, a signal image region extraction unit, and a signal content recognition unit
  • imaging is performed.
  • the signal recognition device 100 including the control device 10 that executes the image acquisition function, the vehicle position acquisition function, the attention signal device identification function, the signal image region extraction function, and the signal content recognition function will be described as an example. It is not limited to.
  • Driving support system DESCRIPTION OF SYMBOLS 100 ... Signal recognition apparatus 10 ... Control apparatus 11 ... CPU 12 ... ROM 13 ... RAM DESCRIPTION OF SYMBOLS 20 ... Camera 30 ... Position detection apparatus 40 ... Database 41 ... Map information 411 ... Traveling link information 412 ... Traffic signal information 50 ... Navigation apparatus 60 ... Vehicle controller 70 ... Drive system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)

Abstract

　カメラ２０から自車両周囲の撮像画像を取得する撮像画像取得機能と、自車両の現在位置を取得する自車位置取得機能と、始点及び終点と走行方向とを含む有向リンクで定義されるとともに、有向リンクの始点及び終点で接続する接続リンクと、直進又は右左折を含む進行方向を特定する進行方向情報とが対応づけられた走行リンク情報と、走行リンクに対応づけられた信号機の位置情報を含む信号機情報と、を含む地図情報を参照し、自車両の走行リンクにおいて注目すべき信号機を特定する注目信号機特定機能と、信号機の位置情報とカメラ２０の撮像特性情報とに基づいて信号機の画像領域を抽出する信号画像領域抽出機能と、画像領域の信号機の画像に基づいて信号機の信号内容を認識する信号内容認識機能とを実行する制御装置１０を備える信号認識装置１００を提供する。

Description

信号認識装置
　本発明は、自車両の走行路において注目するべき信号を特定し、その内容を認識する信号認識装置に関する。
　この種の装置に関し、自車から交差点までの距離と信号機の高さ情報に基づいて、カメラの撮像画像内において信号機が撮像されるであろう信号機の画像領域を推測し、この信号機の画像領域の画像に基づいて信号機の状態を認識する技術が知られている（特許文献１）。
特許第３８５７６９８号公報
　しかしながら、交差点において複数の信号機が存在する環境では、自車両の向きや走行道路の車線の相違や走行方向など形状によっては、車載カメラの撮像画像に、自車両が注目するべきではない信号機が映り込むことや、注目するべき信号機が映らないことが発生することがあるため、従来技術による手法では、自車両が注目すべき信号機を誤って特定し、その信号機が示す信号内容を誤認識するという問題がある。
　本発明が解決しようとする課題は、車載カメラの撮像画像に注目するべきではない信号機までもが映り込むこと、又は注目するべき信号機が映らないことなどの不都合が発生した場合であっても、自車両が注目するべき一つの信号機を正確に特定し、その信号機が示す信号内容を高い精度で認識することである。
　本発明は、有向リンクで車線ごとに定義され、接続リンクと進行方向情報とが対応づけられた走行リンク情報と、この走行リンク情報に対応づけられた信号機情報とを含む地図情報を参照し、自車両の現在位置が属する走行リンクに基づいて注目すべき信号機を特定することにより、上記課題を解決する。
　本発明によれば、始点及び終点と走行方向とを含む有向リンクで車線ごとに特定され、接続リンク及び進行方向情報が対応づけられた走行リンクに、その走行リンクを走行する際に注目するべき信号機情報とが対応づけられた地図情報に基づいて、各走行リンクの走行中に注目すべき信号機を特定するので、複数の信号機が存在する複雑な交通環境においても、自車両の走行リンクにおいてドライバが注目すべき一つの信号機を正確に特定することができる。
本実施形態に係る運転支援システムのブロック構成図である。 本実施形態の地図情報の一例を示す図である。 複数の信号機が存在する交通環境を説明するための図である。 注目すべき信号機を特定する処理を説明するための図である。 走行リンクの推測処理のタイミングを説明するための図である。 本実施形態に係る運転支援システムの制御手順を示すフローチャートである。
　以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る信号認識装置を、運転支援システムに適用した場合を例にして説明する。
　図１は、本実施形態に係る信号認識装置１００を備える運転支援システム１のブロック構成を示す図である。信号認識装置１００及びこれを含む運転支援システム１は、車両に搭載されている。信号認識装置１００は、自車両のドライバが注目すべき信号を特定し、その信号が示す情報の内容を認識する。
　運転支援システム１は、信号認識装置１００と、ナビゲーション装置５０と、車両コントローラ６０と、駆動を制御する駆動系７０（車両の駆動装置）とを備える。運転支援システム１は、信号認識装置１００により認識された信号が示す情報に基づいて、車両コントローラ６０、駆動系７０を介して自車両の駆動・制動を制御したり、ナビゲーション装置５０を介して運転を支援する情報をドライバに提供する。
　図１に示すように、本実施形態の信号認識装置１００は、制御装置１０と、カメラ２０と、位置検出装置３０と、データベース４０とを備えている。
　カメラ２０は、自車両に搭載され、自車両の周囲を撮像する。例えば、ＣＣＤ等の撮像素子を用いたカメラである。レンズは、遠方の先行車両が撮像可能な視野角の狭い望遠レンズでも良いし、カーブや勾配変化に対応するために視野の広い魚眼レンズや、全周囲を撮像可能な全方位カメラ用のレンズを用いても良い。カメラ２０の取り付け位置は限定されないが、本実施形態では、自車両の車室内ミラーの近傍に、車両前方向きに設置する。またレンズは、視野角２５°～５０°程度の標準レンズでの場合を例に説明する。なおカメラ２０のレンズ歪み等の内部パラメータ、及び車両に対する取り付け位置を示す外部パラメータなどの撮像特性情報４２は、ＲＯＭに予め記憶させておくことができる。
　本実施形態のカメラ２０は、撮像時における撮像倍率を増減させるズーム機能を備える。本実施形態のズーム機能は、後述する、特定された信号機の画像領域の撮像画像に対する面積比に基づいて、撮像倍率を制御する。
　本実施形態のカメラ２０は、駆動装置２１を備える。駆動装置２１はカメラ２０の撮像方向を変更させることができる。本実施形態の駆動装置２１は、自車両の垂直方向に駆動可能な駆動機能を備える。駆動装置２１はカメラ２０とは別個の支持装置として構成されてもよいが、本実施形態では、カメラ２０本体を回転駆動させる機構を備えるＰＴＺカメラ（パン・チルト・ズームが駆動可能なカメラ）のように、カメラ２０本体と駆動装置２１とが一体として構成されたカメラ２０を用いる。ＰＴＺカメラは、特に限定されないが、自車両のダッシュボード上に車両前方を撮像するように配置する。なお、駆動装置２１の態様は特に限定されず、撮像素子の前方にミラーを設置し、ミラーを駆動することで撮像方向を変化させる手法を取っても良い。カメラ２０の車両に対する取付位置を含む外部パラメータ、駆動装置２１の動作によるカメラ２０の取付位置の変更量などは事前に算出してデータベース４０に記憶しておく。本実施形態の駆動装置２１は、特定された信号機の画像領域の撮像画像に対する位置に基づいて、カメラ２０の撮像方向を変更する。
　位置検出装置３０は、ＧＰＳ（Global Positioning System）を備え、走行中の車両の現在位置（緯度・経度）を検出する。自車両の現在位置は、自車両に搭載されたナビゲーション装置５０が備える位置検出装置３０から取得することもできる。本実施形態の位置検出装置３０は、自車両の姿勢を検出する機能を備える。自車両の姿勢を検出する場合には、位置検出装置３０は、二台のＧＰＳを備え、自車両の向きを算出してもよいし、方位計をさらに備えて自車両の向きを算出してもよい。
　また、位置検出装置３０は、カメラ２０の撮像画像に基づいて、自車両の姿勢を算出してもよい。撮像画像に基づいて自車両の姿勢を算出する場合の手法の一例を説明する。自車両が直線の道路を走行している場合には、カメラ２０の撮像画像の視点を車両上方に設定し、撮像画像を車両情報の視点から自車両を見た俯瞰画像に変換する。そして、その俯瞰画像中で白線もしくは縁石を認識し、白線もしくは縁石の傾きから、車両の向きを算出することができる。もちろん、本願出願時において知られている画像を用いて自己位置推測技術であるSLAM（Simultaneous Localization and Mapping）を用いて、自車両の位置・姿勢を算出してもよい。具体的には、予め画像特徴点の３次元位置をデータベース４０に記憶しておき、データベース４０に保持された画像特徴点と、カメラ２０の撮像画像中の画像特徴点を照合することにより、自車両の位置・姿勢を算出できる。
　データベース４０は、地図情報４１を記憶する。この地図情報４１は制御装置１０がアクセスが可能なナビゲーション装置５０に記憶させてもよい。本実施形態の地図情報４１は、走行リンク情報４１１と、これと対応づけられた信号機情報４１２とを有する。
　走行リンク情報４１１の各走行リンクは、始点及び終点と走行方向とを含む有向リンクで車線ごとに定義される。有向リンクは、少なくとも始点、終点（すなわち長さ）、方向の情報により定義される。さらに、本実施形態の各走行リンク（有向リンク）には、始点及び終点で接続する接続リンクと、直進又は右左折を含む進行方向を特定する進行方向情報とが対応づけられている。また、走行リンクには信号機情報が対応づけられている。信号機情報は、各走行リンクを走行する際にドライバが注目する信号機の位置情報を含む情報である。
　図２に地図情報４１の一例を示す。図２に示すように、本実施形態の地図情報４１は、一般的な地図情報と同様に緯度・経度などの地図座標値で特定される地点と、識別子（ＩＤ）が付されたノードと、識別子（ＩＤ）が付された走行リンクと、識別子（ＩＤ）が付された信号機と、地点ごとに対応づけられた地点情報（ＰＯＩ）とを含む。ノードの情報は、地図座標値で特定されるとともに、接続するノードの識別子と、分岐した先の複数のノードの識別子を有する。なお、ノードは、道路の車線の中央に設定するが、複数の車線を有する複雑な交差点などでは、実際に車両が通った軌跡を利用してノードの位置を定義してもよい。
　走行リンク情報は、地図座標値で特定されるとともに、始点・終点を定義するノードの識別子と、各走行リンクの直線・右折・左折などの進行方向と、各走行リンクが合流用リンク／分岐用リンクであるかの種別と、走行リンクに接続する走行リンクの識別子と、分岐した先の複数の分岐走行リンクの識別子を有する。また、各走行リンクには、注目すべき信号機の識別子が対応づけられている。本実施形態の走行リンク情報は、同じ道路上に存在しても、車線ごとに異なるＩＤが付され、別の走行リンクとして扱われる。これにより、同じ道路上であっても右折用の走行リンクと直進用の走行リンクは別の走行リンクとして処理される。始点及び終点の情報が共通したとしても、右折用の走行リンクにおいて注目すべき信号機と、直進用の走行リンクにおいて注目すべき信号機とは異なるため、別々の情報として記憶される。本実施形態では、車両の走行路が分岐又は交差する場合や、注目すべき信号機が異なる場合には、別の走行リンクとして定義する。つまり、本実施形態の走行リンク情報においては、走行リンクは、車線ごとに定義されており、一つの走行リンクには一つの注目すべき信号機が対応づけられており、たとえ同じ走行道路に複数の信号機が存在したとしても、本実施形態の走行リンク情報においては、一の走行リンクに複数の信号機が対応づけられることはない。車線ごとに定義された一つの走行リンクに一つの注目すべき信号機を対応づけるため、自車両が走行する走行リンクが決定されれば、一義的に注目する信号機を特定できる。
　信号機情報は、その高さ情報と、地図座標値で特定される設置位置と、各信号機を注目すべき車両が走行する走行リンク、つまり信号機が交通を制御する対象となる走行リンクの識別子と、信号機の種別情報とを有する。信号機の種別情報とは、赤色、黄色又は青色を表示する信号機である、歩行者用の赤色又は青色の表示をする信号機である、又は矢印により右左折を示す信号機であるなどの情報である。
　図３は、実際の交差点における走行リンク情報及び信号機情報の一例を示す図である。図３に示すように、自車両Ｖが走行する走行リンクＬＫＵ１が存在する道路には、走行リンクＬＫＤ１が設定されている。ただし、走行リンクＬＫＵ１は上り車線の走行リンクであり、走行リンクＬＫＤ１は下り車線の走行リンクであり、両者は別の走行リンクとして異なる識別子が付されている。また、自車両が走行する走行リンクＬＫＵ１の進行方向側には、ノードＮＤ２で接続する３つの走行リンクＬＫＵ２Ａと走行リンクＬＫＵ２Ｂと走行リンクＬＫＵ２Ｃとがある。走行リンクＬＫＵ２Ａは直進レーンの走行リンクであり、走行リンクＬＫＵ２Ｂは右折レーンの走行リンクであり、走行リンクＬＫＵ２Ｃは左折レーンの走行リンクである。走行リンクＬＫＵ２Ａと走行リンクＬＫＵ２Ｃとは対応づけられる接続リンクが異なるため、別の走行リンクとして定義される。
　ところで、図３に示す自車両Ｖから前方を見ると、図４に示すように、信号機ＳＧ１と信号機ＳＧ２との両方が一度に視野（撮像範囲）に入ってしまい、自車両Ｖがどちらの信号機に注目するべきかわかりずらい場合がある。このような状況では、画像認識技術などにより、いずれか一方の信号機を特定する処理において誤った処理を行う場合もありうる。なお、図４に示すｚ軸は撮像方向である。
　詳細は後述するが、本実施形態の信号認識装置１００は、注目すべき信号機ごとに走行リンクが対応づけられており、図３に示す例では、自車両Ｖの走行リンクＬＫＵ１には、信号機ＳＧ１のみが対応づけられているため、図４に示すように同時に撮像範囲に入っても、注目すべき信号機ＳＧ１を特定し、この信号機ＳＧ１を含む画像領域Ｒを抽出することができる。
　つまり、交差点に複数の信号機が設けられ、交通環境が複雑な環境においても、本実施形態では走行リンク情報と信号機情報とを参照することにより、一の走行リンクに対して一の注目すべき信号機を特定することができる。以下、一の注目すべき信号機を特定し、その信号の示す内容を認識する本実施形態の信号認識の手法について説明する。
　信号認識装置１００の制御装置１０は、注目すべき信号機を特定し、その信号機が示す情報の内容を認識するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、信号認識装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。
　本実施形態に係る信号認識装置１００の制御装置１０は、撮像画像取得機能と、自車位置取得機能と、注目信号機特定機能と、信号画像領域抽出機能と、信号内容認識機能とを有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。
　以下、本実施形態に係る信号認識装置１００の各機能について説明する。
　まず、本実施形態の制御装置１０の撮像画像取得機能について説明する。制御装置１０は、カメラ２０が撮像した自車両周囲の撮像画像を取得する。
　本実施形態の制御装置１０の自車位置取得機能について説明する。制御装置１０は、位置検出装置３０により検出された自車両の現在位置を取得する。制御装置１０は、位置検出装置３０により検出された自車両の姿勢情報があれば、それも取得する。
　制御装置１０の注目信号機特定機能は、地図情報４１を参照し、自車両の現在位置が属する走行リンクに基づいて注目すべき信号機を特定する。制御装置１０は、地図情報４１から取得した走行リンク情報と、位置検出装置から取得した自車両の現在位置とから、自車両が走行する走行リンクを推測する。制御装置１０は、自車両の現在位置が属する地点又は領域に対応づけられた走行リンクを、自車両が走行する走行リンクとして推測する。また、制御装置１０は、自車両の現在位置との距離が最も小さい（近い）走行リンクを自車両が走行する走行リンクとして推測してもよい。また、自車両の走行方向を含む姿勢が取得された場合には、自車両の走行方向と、走行リンクの始点から終点に向けたベクトルの向きとの差が所定閾値以下、例えば９０°以下走行リンクであって、現在位置との距離が最も小さい（近い）走行リンクを自車両が走行する走行リンクとして推測してもよい。
　さらに、走行リンク情報に接続する（遷移先の）接続リンクが含まれる場合には、次に走行する走行リンクは、現在の走行リンクに接続する接続リンクに選択肢が絞られるので、絞られた走行リンク中で現在位置から最も距離が近いものを選択してもよい。これにより、遷移する（次に移動する）接続リンクごとに、注意すべき信号機が異なるような複雑な交通環境であっても、自車両の走行する走行リンクを正確に推測し、交差点で右折する走行リンクと交差点で直進する走行リンクとを間違えることなく推測することができる。
　本実施形態の制御装置１０は、地図情報４１の自車両が走行する走行リンク情報４１１を参照し、走行リンクの終点に到達したと判断された場合に自車両が次に走行する走行リンクを算出する。具体的に制御装置１０は、自車両と走行リンクに対応づけられた有向リンクの終点との距離が所定値未満となった場合に、走行リンク情報４１１を参照して、自車両の現在位置が属する走行リンクの終点で接続する接続リンクを演算する。
　具体的には、図５に示すように、走行リンクの始点から終点に向けたベクトルとの比較において、終点ノードまでの距離を算出し、自車両Ｖの現在位置ＶＬが、走行リンクＬＫＵ１の終点ノードＮＤ２からの距離Ｄが所定値未満となった場合に、制御装置１０は、自車両Ｖが走行リンクＬＫＵ１の終点に到達したタイミングで、自車両Ｖのが次に走行する走行リンクを推測する。
　本実施形態の制御装置１０は、地図情報４１において対応づけられた走行リンク情報４１１及び／又は信号機情報４１２を参照し、推測された自車両の走行リンクに対応づけられた注目すべき信号機を特定する。制御装置１０は、自車両が走行する走行リンクＩＤを識別し、走行リンク情報４１１において、その走行リンクＩＤに対応づけられた信号機情報４１２を参照し、その走行リンクを走行する際に自車両が注目すべき信号機を特定する。そして、制御装置１０は、信号機情報４１２から、特定された信号機の設置位置、高さなどの三次元位置情報、種別などを取得する。
　次に、制御装置１０の信号画像領域抽出機能について説明する。制御装置１０は、定された信号機の位置情報とカメラ２０の撮像特性情報４２とに基づいて、カメラ２０の撮像画像における信号機の画像領域を抽出する。制御装置１０は、自車位置取得機能が取得した自車両の位置と、信号機特定機能により特定された注目すべき信号機の三次元位置情報と、カメラ２０の自車両に対する取り付け位置情報を含む外部パラメータ（撮像特性情報４２）とから、カメラ２０を基準とした信号機の相対的な位置関係を、幾何学的な関係から算出する。
　本実施形態の制御装置１０は、自車位置取得機能により検出された自車両の姿勢を考慮して、撮像画像における信号機の画像領域を抽出する。自車両の姿勢までを考慮することにより、信号機の像が現れる画像領域を正確に抽出することができる。具体的な処理は限定されないが、自車両の姿勢に応じた座標変換を行い、現在の自車両の姿勢において信号機を撮像したときの、撮像画像における信号機の画像領域を求める。
　制御装置１０は、自車位置取得機能が自車両の位置のみを取得した場合、つまり自車両の姿勢の情報を取得できなかった場合には、自車が走行する走行リンクの向きを自車両の姿勢として用いることができる。右折や左折などの曲率を持つ走行リンクにおいては、始点ノードでの姿勢と終点ノードでの姿勢を、予め地図情報４１の走行リンク情報に含めておき、自車両の位置と走行リンクの始点ノード及び終点ノードまでの距離をそれぞれ算出し、これを走行リンクにおける自車両の進行割合に応じて、走行リンクの始点ノードから終点ノードまでの各位置における姿勢の変化を算出できる。
　先述したように、カメラ２０の駆動装置２１は、撮像画像における信号機の画像領域の位置に基づいて、カメラ２０の撮像方向を変更する。カメラ２０の撮像方向を変更する際に用いられる信号機の画像領域の位置については、現在のカメラ２０を基準とする信号機までの相対位置情報を算出するだけでなく、自車両の車速やヨーレートなどの自車両の走行情報と、この信号機の画像領域を算出する処理に要する見込み時間を考慮して、次の周期で特定される信号機の画像領域を算出することが好ましい。自車両の走行情報は、車両コントローラ６０から取得する。次回の信号機の特定処理を行う際の信号機の画像領域を予測できれば、駆動装置２１は、カメラ２０が予測された信号機の画像領域を撮像できるように、カメラ２０の撮像方向を調整する。これにより、次回の信号機の特定を正確に行うことができる。
　同じく先述したように、カメラ２０は、撮像画像に対する信号機の画像領域の割合に基づいて、カメラ２０の撮像倍率を変更する。カメラ２０の撮像倍率を変更させる際に用いられる、信号機の画像領域が撮像画像全体に占める割合については、現在のカメラ２０を基準とする信号機までの相対位置情報を算出するだけでなく、自車両の車速やヨーレートなどの自車両の走行情報と、この信号機の画像領域を算出する処理に要する見込み時間を考慮して、次の周期で特定される信号機の画像領域を算出することが好ましい。次回の信号機の特定処理を行う際の信号機の画像領域を予測できれば、駆動装置２１は、カメラ２０が予測された信号機の画像領域を明確に撮像できるように、カメラ２０の撮像倍率を調整する。これにより、次回の信号機が示す信号の内容認定を正確に行うことができる。
　制御装置１０は、カメラ２０を基準とした信号機の相対位置と、カメラ２０のレンズ歪み情報を含む内部パラメータ（撮像特性情報４２）とから、特定された信号機の像が現れる撮像画像上の画像領域（信号機の画像領域）を抽出する。信号機の画像領域の中心座標は、この信号機の中心部（例えば赤黄青タイプの信号であれば、黄色のライトの中央部）の３次元座標をカメラ２０の撮像画像の座標系に投影変換して求める。信号機の画像領域の大きさは、一定の大きさに任意に設定してもよいし、信号機の種別に応じて設定してもよいし、自車両から信号機までの距離に応じて大きさを変更してもよい。特に限定されないが、撮像画像の信号機の画像領域の大きさ所定の範囲となるように、信号機までの距離が遠いほど信号機の画像領域を大きく設定し、信号機までの距離が近いほど信号機の画像領域を小さくしてもよい。また、自車両の位置検出装置３０の検出精度に応じて信号機の画像領域の大きさを変化させてもよい。
　最後に、本実施形態の制御装置１０の信号内容認識機能について説明する。本実施形態の制御装置１０は、抽出された画像領域の信号機の画像に基づいて、その信号機の信号内容を認識する。制御装置１０は、信号画像抽出機能によって抽出された信号機の画像領域について、信号機の信号内容を認識する処理を行い、信号が示す情報を取得する。信号機の信号内容の認識処理は、特に限定されないが、予め信号機が示す情報ごとにテンプレート画像を保持しておき、画像処理において一般的なテンプレートマッチングにより信号機の画像領域を具体的に特定し、その後に、色認識により信号機が示す各信号（例えば赤・黄・青）の点灯状態を検証し、点灯している色を、信号機の示す情報として認識する。信号の認識手法は、特に限定されず、出願時に知られた手法を適宜に用いることができる。
　続いて、本実施形態の信号認識装置１００の制御手順を、図６のフローチャートに基づいて説明する。図６に示す処理内容は、制御装置１０として機能する信号認識ＥＣＵにおいて、例えば50msec程度の間隔で連続的に行われる。
　図６に示すように、ステップＳ１１０において、制御装置１０は、位置検出装置３０が検出した自車両の現在位置を取得する。
　ステップＳ１２０において、制御装置１０は、ステップＳ１１０で取得した自車両の位置と、前回の処理において自車両が走行していた（属していた）と判断された走行リンクの情報とに基づいて、自車両が走行リンクの終点ノードに到達したか否かを判断する。判断手法は、図５に基づいて説明した手法を用いる。自車両が終点ノードに到達したと判断された場合にはステップＳ１３０に進み、自車両が終点ノードに到達したと判断されていない場合には、ステップ１１０及び１２０の処理を継続する。
　ステップＳ１３０において、制御装置１０は、ステップＳ１１０で取得した自車両の現在位置と、地図情報４１に含まれる走行リンク情報４１１に基づいて、自車両が走行する走行リンクを求め、ステップＳ１４０に進む。
　ステップＳ１４０において、制御装置１０は、ステップＳ１３０で求めた自車両が属する走行リンクの識別子（ＩＤ）と、地図情報４１とから、自車両の現在位置が属する走行リンクに基づいて注目すべき信号機を特定する。
　ステップＳ１５０において、制御装置１０は、地図情報４１の信号機情報４１２を参照して取得した、ステップＳ１４０で特定した信号機の位置情報と、ステップＳ１１０で取得した自車両の現在位置と、自車両に取り付けられたカメラ２０の外部パラメータ（撮像特性情報４２）とから、カメラ２０に対する信号機の相対的な位置を算出する。
　ステップＳ１６０において、制御装置１０は、特定された信号機の位置情報とカメラ２０の撮像特性情報４２とに基づいて、カメラ２０の撮像画像における信号機の画像領域を抽出する。
　ステップＳ１７０において、制御装置１０は、画像領域の信号機の画像に基づいて、その信号機の信号内容を認識する。
　ステップＳ１８０において、制御装置１０は、認識結果をナビゲーション装置５０，車両コントローラ６０又は駆動系７０へ送出する。車載機は、信号機が示す信号の内容に応じた運転支援を行う。特に限定されないが、本実施形態の運転支援システム１は、停止又は注意の信号表示が認識された場合には自車両の速度を減速させる制御を実行したり、停止又は注意の信号が表示されていることを音声でガイダンスを実行する。
　また、制御装置１０は、ステップ２２０において、ステップＳ１６０で求められた、撮像画像における信号機の画像領域の位置に基づいて、カメラ２０の撮像方向を変更する。信号の画像が撮像画像の中心からずれてしまっている場合には、カメラ２０の撮像方向を補正して、信号全体の画像を取得できるようにするためである。
　さらに、本実施形態では、ステップＳ１６０で求められた信号の画像領域を利用し、ステップＳ２２０において次回周期で行われる処理のタイミングにおける信号の画像領域を予測し、予測された信号機の画像領域の位置に基づいて、カメラ２０の撮像方向を変更する。車両は移動しているので、今回の処理周期における信号機の画像領域の位置と次回の処理周期における信号機の画像領域の位置とは異なることが予測される。本実施形態では、自車両の車速やヨーレートなどの自車両の走行情報と、この信号機の画像領域を算出する処理に要する見込み時間を考慮して、次の周期で特定される信号機の画像領域を算出する。
　本実施形態の信号認識装置１００によれば、以下の効果を奏する。
　[１]本実施形態の信号認識装置１００によれば、有向リンクで定義され、接続リンクと進行方向の情報とが対応づけられた走行リンク情報４１１と、この走行リンク情報に対応づけられた信号機情報４１２とを含む地図情報４１を参照し、自車両の現在位置が属する走行リンクに基づいて注目すべき信号機を特定するので、複数の信号機が存在する複雑な交通環境においても、自車両の走行リンクが正確に推測され、結果としてドライバが注目すべき一つの信号機を正確に特定することができる。
　本実施形態では、始点及び終点により有向リンクとして定義された、走行リンクが道路の走行車線ごとに設定され、交差点内においては、直線、右折、左折などの進行方向情報ごとに設定されるため、例えば図３に示すような複雑な交差点内の環境においても、自車両が注目すべき信号機を特定することができる。
　本実施形態では、走行リンクが、次に接続する接続リンクの情報が対応づけられているので、同じ道路に複数の走行リンクが存在する場合であっても、適切に自車両の属する走行リンクを推測することができる。例えば図３のように信号機ＳＧ２が配置された交差点での左折時においては、左折走行リンクＬＫＵ２Ｃと、直進走行リンクＬＫＵ２Ａが同じ車線上に存在するが、左折走行リンクＬＫＵ２Ｃは遷移する接続リンクＬＫＵ３－ＴＬと対応づけられ、直進走行リンクＬＫＵ２Ａは、遷移する接続リンクＬＫＵ３－ＳＴと対応づけられているので、走行リンクＬＫＵ２Ｃと走行リンクＬＫＵ２Ａとを正確に識別することができる。
　[２] 本実施形態の信号認識装置１００によれば、走行リンクの特定処理を、自車両が走行リンクの終点ノードと所定距離以内に近づいたタイミングで行うので、次に走行する走行リンクを正確に特定することができる。たとえば、自車両の現在位置の検出精度が低下した場合に、誤った接続リンクを選択しないようにすることができる。
　[３] 本実施形態の信号認識装置１００によれば、自車両の姿勢を取得し、その姿勢における信号機の画像領域を抽出するので、信号機の像が現れる画像領域の位置を正確に求めることができる。
　[４]本実施形態の信号認識装置１００では、一つの走行リンク情報に一つの信号機情報が対応づけられている情報形態であるので、車線、有向リンク、接続リンク及び進行方向情報により高い精度で推測された走行リンク情報から、一の注目すべき信号機を特定することができる。
　[５]本実施形態の信号認識装置１００では、カメラ２０が駆動可能であるため、信号機の位置にかかわらず、撮像することができる。例えば、図３のような交差点環境において、走行リンクＬＫＵ３－ＴＲのポイントＴＲＰで右折待ちをしている状況において、通常の前方を撮像するカメラ２０では視野範囲外になってしまう信号機ＳＧ３を撮像することができる。また、広視野角のカメラを用いた場合に比べて、狭視野角な駆動カメラを用いたほうが、注目すべきではない信号機が映りこむ可能性を低減することができ、誤認識を低減させることができる。
　[６]本実施形態の信号認識装置１００では、カメラ２０がズーム駆動機能を備え、信号機の画像領域の大きさに応じて撮像倍率の増減制御をするので、信号機との距離関係にかかわらず、撮像画像における信号機の画像領域の大きさを適切に保つことができる。このため、他の信号機が映りこむリスクを更に低減できる。また、認識対象である信号機の画像領域の大きさが略一定であるため、信号認識処理の精度を上げることができる。
　なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
　すなわち、本明細書では、本発明に係る信号認識装置１００と、ナビゲーション装置５０と、車両コントローラ６０と、駆動系７０とを備える運転支援システム１を例にして説明するが、本発明はこれに限定されるものではない。
　本明細書では、本発明に係る信号認識装置の一態様として、制御装置１０と、撮像手段としてのカメラ２０と、位置検出装置３０と、データベース４０とを備える信号認識装置１００を一例として説明するが、これに限定されるものではない。
　本明細書では、撮像画像取得手段と、自車位置取得手段と、注目信号機特定手段と、信号画像領域抽出手段と、信号内容認識手段とを備える本発明に係る信号認識装置の一例として、撮像画像取得機能と、自車位置取得機能と、注目信号機特定機能と、信号画像領域抽出機能と、信号内容認識機能とを実行する制御装置１０を有する信号認識装置１００を一例として説明するが、これに限定されるものではない。
１…運転支援システム　
１００…信号認識装置
　１０…制御装置
　　１１…ＣＰＵ
　　１２…ＲＯＭ
　　１３…ＲＡＭ
　２０…カメラ
　３０…位置検出装置
　４０…データベース
　　４１…地図情報
　　４１１…走行リンク情報
　　４１２…信号機情報
　５０…ナビゲーション装置
　６０…車両コントローラ
　７０…駆動系

Claims (6)

  1. 　自車両に搭載された撮像手段から、前記自車両の周囲の撮像画像を取得する撮像画像取得手段と、
    　前記自車両の現在位置を取得する自車位置取得手段と、
    　始点及び終点と走行方向とを含む有向リンクで車線ごとに定義されるとともに、前記有向リンクの始点及び終点で接続する接続リンクと、直進又は右左折を含む進行方向を特定する進行方向情報とが対応づけられた走行リンク情報と、前記走行リンクに対応づけられ、当該走行リンクを走行する際に注目する信号機の位置情報を含む信号機情報と、を含む地図情報を参照し、前記自車両の現在位置が属する走行リンクに基づいて注目すべき信号機を特定する注目信号機特定手段と、
    　前記特定された信号機の位置情報と前記撮像手段の撮像特性情報とに基づいて、前記撮像手段の撮像画像における前記信号機の画像領域を抽出する信号画像領域抽出手段と、
    　前記抽出された画像領域の前記信号機の画像に基づいて、当該信号機の信号内容を認識する信号内容認識手段と、を備える信号認識装置。
  2. 　前記注目信号機特定手段は、前記自車両が走行する走行リンク情報を参照し、前記自車両と前記走行リンクに対応づけられた前記有向リンクの終点との距離が所定値未満となった場合に、前記自車両が現在位置が属する走行リンクの次に走行する走行リンクを演算し、前記走行リンクを走行する際に注目すべき信号機を特定することを特徴とする請求項１に記載の信号認識装置。
  3. 　前記自車位置取得手段は、現在位置における自車両の姿勢を取得し、
    　前記取得された前記自車両の姿勢における、前記信号機の画像領域を抽出することを特徴とする請求項１又は２に記載の信号認識装置。
  4. 　一つの前記走行リンク情報には、一つの前記信号機情報が対応づけられていることを特徴とする請求項１～３の何れか一項に記載の信号認識装置。
  5. 　前記撮像手段は、当該撮像手段の撮像方向を変更させる駆動装置を備え、
    　前記駆動装置は、前記撮像画像における前記信号機の画像領域の位置に基づいて、前記撮像手段の撮像方向を変更することを特徴とする請求項１～４のいずれか一項に記載の信号認識装置。
  6. 　前記撮像手段は、ズーム機能を備え、
    　前記撮像手段のズーム機能は、前記撮像画像に対する前記信号機の画像領域の面積比に基づいて、撮像倍率を制御することを特徴とする請求項１～５のいずれか一項に記載の信号認識装置。
PCT/JP2014/054435 2013-04-04 2014-02-25 信号認識装置 WO2014162797A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP14778961.4A EP2983153B1 (en) 2013-04-04 2014-02-25 Signal recognition device
JP2015509951A JP5962850B2 (ja) 2013-04-04 2014-02-25 信号認識装置
US14/782,072 US9389093B2 (en) 2013-04-04 2014-02-25 Traffic signal recognition apparatus
RU2015140803A RU2666061C2 (ru) 2013-04-04 2014-02-25 Устройство распознавания сигнала регулирования движения
CN201480017472.6A CN105074794B (zh) 2013-04-04 2014-02-25 信号识别装置
BR112015024721-0A BR112015024721B1 (pt) 2013-04-04 2014-02-25 Aparelho de reconhecimento de sinal de trânsito
MX2015013884A MX346231B (es) 2013-04-04 2014-02-25 Aparato de reconocimiento de señales de tránsito.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013078368 2013-04-04
JP2013-078368 2013-04-04

Publications (1)

Publication Number Publication Date
WO2014162797A1 true WO2014162797A1 (ja) 2014-10-09

Family

ID=51658101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/054435 WO2014162797A1 (ja) 2013-04-04 2014-02-25 信号認識装置

Country Status (8)

Country Link
US (1) US9389093B2 (ja)
EP (1) EP2983153B1 (ja)
JP (1) JP5962850B2 (ja)
CN (1) CN105074794B (ja)
BR (1) BR112015024721B1 (ja)
MX (1) MX346231B (ja)
RU (1) RU2666061C2 (ja)
WO (1) WO2014162797A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203616A1 (ja) * 2015-06-18 2016-12-22 日産自動車株式会社 信号機検出装置及び信号機検出方法
JP2016223874A (ja) * 2015-05-29 2016-12-28 富士重工業株式会社 道路地図情報処理装置、及び処理方法
JP2017016279A (ja) * 2015-06-30 2017-01-19 株式会社ゼンリン 運転支援装置、運転支援システム、コンピュータプログラム、データ構造
WO2017009934A1 (ja) * 2015-07-13 2017-01-19 日産自動車株式会社 信号機認識装置及び信号機認識方法
WO2017009933A1 (ja) * 2015-07-13 2017-01-19 日産自動車株式会社 信号機認識装置及び信号機認識方法
JP2017130163A (ja) * 2016-01-22 2017-07-27 富士通テン株式会社 信号機の点灯色判定装置および信号機の点灯色判定方法
CN107735826A (zh) * 2015-06-09 2018-02-23 日产自动车株式会社 信号机检测装置及信号机检测方法
JP2021076884A (ja) * 2019-11-05 2021-05-20 三菱スペース・ソフトウエア株式会社 自動検出システムおよび自動検出プログラム
JP2021076883A (ja) * 2019-11-05 2021-05-20 三菱スペース・ソフトウエア株式会社 データベース生成システムおよびデータベース生成プログラム
JP2021124456A (ja) * 2020-02-07 2021-08-30 三菱重工機械システム株式会社 経路推定装置、経路推定方法、及びプログラム
JP2021524026A (ja) * 2018-06-19 2021-09-09 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 姿勢判断システムおよび方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
DE102016216070A1 (de) * 2016-08-26 2018-03-01 Siemens Aktiengesellschaft Steuergerät, System mit solch einem Steuergerät und Verfahren zum Betrieb solch eines Systems
WO2018145245A1 (en) * 2017-02-07 2018-08-16 Bayerische Motoren Werke Aktiengesellschaft Method, device and system for configuration of a sensor on a moving object
DE102017102593A1 (de) * 2017-02-09 2018-08-09 SMR Patents S.à.r.l. Verfahren und Vorrichtung zum Erkennen des Signalisierungszustands von mindestens einer Signalvorrichtung
JP6552064B2 (ja) * 2017-03-31 2019-07-31 株式会社Ｓｕｂａｒｕ 車両の走行制御システム
JP6838522B2 (ja) * 2017-08-10 2021-03-03 トヨタ自動車株式会社 画像収集システム、画像収集方法、画像収集装置、および記録媒体
JP6843819B2 (ja) * 2018-11-27 2021-03-17 本田技研工業株式会社 交通案内物認識装置、交通案内物認識方法、およびプログラム
KR20200069542A (ko) 2018-12-07 2020-06-17 팅크웨어(주) 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기
JP7088135B2 (ja) * 2019-07-23 2022-06-21 トヨタ自動車株式会社 信号表示推定システム
JP7088137B2 (ja) * 2019-07-26 2022-06-21 トヨタ自動車株式会社 信号機情報管理システム
JP2021051603A (ja) * 2019-09-25 2021-04-01 株式会社Ｊｖｃケンウッド 車両用電子機器制御装置、車両用電子機器、車両用制御方法およびプログラム
US11679769B2 (en) * 2019-11-12 2023-06-20 Nissan Motor Co., Ltd. Traffic signal recognition method and traffic signal recognition device
EP4308430A1 (en) * 2021-03-17 2024-01-24 Argo AI, LLC Remote guidance for autonomous vehicles
JP2022147209A (ja) * 2021-03-23 2022-10-06 トヨタ自動車株式会社 車両制御装置
CN113452904B (zh) * 2021-06-18 2022-11-04 北京三快在线科技有限公司 一种交通信号灯检测方法及装置
US11810049B2 (en) * 2021-08-20 2023-11-07 Ford Global Technologies, Llc Systems and methods to generate a last mile travel route for a delivery robot

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306489A (ja) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd カメラシステム
JP3857698B2 (ja) 2004-04-05 2006-12-13 株式会社日立製作所 走行環境認識装置
JP2007071581A (ja) * 2005-09-05 2007-03-22 Xanavi Informatics Corp ナビゲーション装置
JP2007178223A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 地物認識装置
JP2008293277A (ja) * 2007-05-24 2008-12-04 Aisin Aw Co Ltd 信号機検出装置、信号機検出方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100224326B1 (ko) * 1995-12-26 1999-10-15 모리 하루오 차량용 네비게이션장치
JP3619628B2 (ja) * 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
CA2534968C (en) * 2002-09-20 2013-06-18 M7 Visual Intelligence, Lp Vehicle based data collection and processing system
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
JP5691915B2 (ja) 2011-07-27 2015-04-01 アイシン・エィ・ダブリュ株式会社 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム
US9501929B2 (en) * 2013-01-25 2016-11-22 Mitsubishi Electric Corporation Movement assistance device and movement assistance method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306489A (ja) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd カメラシステム
JP3857698B2 (ja) 2004-04-05 2006-12-13 株式会社日立製作所 走行環境認識装置
JP2007071581A (ja) * 2005-09-05 2007-03-22 Xanavi Informatics Corp ナビゲーション装置
JP2007178223A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 地物認識装置
JP2008293277A (ja) * 2007-05-24 2008-12-04 Aisin Aw Co Ltd 信号機検出装置、信号機検出方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2983153A4

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016223874A (ja) * 2015-05-29 2016-12-28 富士重工業株式会社 道路地図情報処理装置、及び処理方法
CN107735826B (zh) * 2015-06-09 2019-07-23 日产自动车株式会社 信号机检测装置及信号机检测方法
CN107735826A (zh) * 2015-06-09 2018-02-23 日产自动车株式会社 信号机检测装置及信号机检测方法
WO2016203616A1 (ja) * 2015-06-18 2016-12-22 日産自動車株式会社 信号機検出装置及び信号機検出方法
JPWO2016203616A1 (ja) * 2015-06-18 2018-04-26 日産自動車株式会社 信号機検出装置及び信号機検出方法
JP2017016279A (ja) * 2015-06-30 2017-01-19 株式会社ゼンリン 運転支援装置、運転支援システム、コンピュータプログラム、データ構造
KR20180018732A (ko) * 2015-07-13 2018-02-21 닛산 지도우샤 가부시키가이샤 신호기 인식 장치 및 신호기 인식 방법
KR101988811B1 (ko) * 2015-07-13 2019-06-12 닛산 지도우샤 가부시키가이샤 신호기 인식 장치 및 신호기 인식 방법
CN107851387A (zh) * 2015-07-13 2018-03-27 日产自动车株式会社 信号机识别装置及信号机识别方法
WO2017009933A1 (ja) * 2015-07-13 2017-01-19 日産自動車株式会社 信号機認識装置及び信号機認識方法
JPWO2017009933A1 (ja) * 2015-07-13 2018-05-31 日産自動車株式会社 信号機認識装置及び信号機認識方法
JPWO2017009934A1 (ja) * 2015-07-13 2018-06-14 日産自動車株式会社 信号機認識装置及び信号機認識方法
EP3324384A4 (en) * 2015-07-13 2018-12-05 Nissan Motor Co., Ltd. Traffic light recognition device and traffic light recognition method
EP3324383A4 (en) * 2015-07-13 2018-12-05 Nissan Motor Co., Ltd. Traffic light recognition device and traffic light recognition method
RU2678527C1 (ru) * 2015-07-13 2019-01-29 Ниссан Мотор Ко., Лтд. Устройство и способ распознавания светофора
CN107851387B (zh) * 2015-07-13 2021-04-27 日产自动车株式会社 信号机识别装置及信号机识别方法
US10339805B2 (en) 2015-07-13 2019-07-02 Nissan Motor Co., Ltd. Traffic light recognition device and traffic light recognition method
RU2693419C1 (ru) * 2015-07-13 2019-07-02 Ниссан Мотор Ко., Лтд. Устройство (варианты) и способ распознавания светофоров
WO2017009934A1 (ja) * 2015-07-13 2017-01-19 日産自動車株式会社 信号機認識装置及び信号機認識方法
US10789491B2 (en) 2015-07-13 2020-09-29 Nissan Motor Co., Ltd. Traffic light recognition device and traffic light recognition method
JP2017130163A (ja) * 2016-01-22 2017-07-27 富士通テン株式会社 信号機の点灯色判定装置および信号機の点灯色判定方法
JP2021524026A (ja) * 2018-06-19 2021-09-09 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 姿勢判断システムおよび方法
JP2021076884A (ja) * 2019-11-05 2021-05-20 三菱スペース・ソフトウエア株式会社 自動検出システムおよび自動検出プログラム
JP2021076883A (ja) * 2019-11-05 2021-05-20 三菱スペース・ソフトウエア株式会社 データベース生成システムおよびデータベース生成プログラム
JP2021124456A (ja) * 2020-02-07 2021-08-30 三菱重工機械システム株式会社 経路推定装置、経路推定方法、及びプログラム
JP7390204B2 (ja) 2020-02-07 2023-12-01 三菱重工機械システム株式会社 経路推定装置、経路推定方法、及びプログラム

Also Published As

Publication number Publication date
MX346231B (es) 2017-03-13
US20160054138A1 (en) 2016-02-25
JP5962850B2 (ja) 2016-08-03
MX2015013884A (es) 2016-06-06
EP2983153B1 (en) 2018-12-19
BR112015024721A2 (pt) 2017-07-18
RU2015140803A (ru) 2017-05-15
BR112015024721B1 (pt) 2022-01-18
RU2666061C2 (ru) 2018-09-05
EP2983153A1 (en) 2016-02-10
CN105074794B (zh) 2017-10-24
EP2983153A4 (en) 2016-06-01
US9389093B2 (en) 2016-07-12
CN105074794A (zh) 2015-11-18
JPWO2014162797A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5962850B2 (ja) 信号認識装置
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
EP2933790B1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
CN109658719B (zh) 用于识别交通指示牌的方法、车辆设备和可信性验证方法以及存储媒介
JP3711405B2 (ja) カメラを利用した車両の道路情報抽出方法及びシステム
CN106463051B (zh) 信号机识别装置以及信号机识别方法
WO2020209363A1 (ja) 道路種別判定装置および運転支援装置
CN113859263B (zh) 预定行驶路径设定装置以及预定行驶路径设定方法
JP2018048949A (ja) 物体識別装置
JP2006344133A (ja) 道路区画線検出装置
US20230111488A1 (en) Vehicle control apparatus
CN114944073B (zh) 地图生成装置和车辆控制装置
CN114973644B (zh) 道路信息生成装置
JP7226583B2 (ja) 信号機認識方法及び信号機認識装置
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2020038551A (ja) 顔向き検出装置、顔向き検出方法、及び制御プログラム
US20220254056A1 (en) Distance calculation apparatus and vehicle position estimation apparatus
JP7362800B2 (ja) 車両制御装置
US11867526B2 (en) Map generation apparatus
JP7141479B2 (ja) 地図生成装置
JP7467522B2 (ja) 車両制御装置
JP2022123238A (ja) 区画線認識装置
JP2024013451A (ja) 車両用検出装置
JP2022123239A (ja) 区画線認識装置
CN115050203A (zh) 地图生成装置以及车辆位置识别装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480017472.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14778961

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015509951

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2015/013884

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 14782072

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014778961

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015140803

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015024721

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015024721

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150925