WO2007018145A1 - 路面標示認識システム - Google Patents

路面標示認識システム Download PDF

Info

Publication number
WO2007018145A1
WO2007018145A1 PCT/JP2006/315491 JP2006315491W WO2007018145A1 WO 2007018145 A1 WO2007018145 A1 WO 2007018145A1 JP 2006315491 W JP2006315491 W JP 2006315491W WO 2007018145 A1 WO2007018145 A1 WO 2007018145A1
Authority
WO
WIPO (PCT)
Prior art keywords
road marking
road
vehicle
marking
distance
Prior art date
Application number
PCT/JP2006/315491
Other languages
English (en)
French (fr)
Inventor
Tomoaki Ishikawa
Masaki Nakamura
Osamu Aisaka
Motoki Kanba
Motohiro Nakamura
Original Assignee
Aisin Aw Co., Ltd.
Toyota Jidosha Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Aw Co., Ltd., Toyota Jidosha Kabushiki Kaisha filed Critical Aisin Aw Co., Ltd.
Priority to US11/922,779 priority Critical patent/US8600655B2/en
Priority to DE112006001703T priority patent/DE112006001703T5/de
Priority to CN200680021501A priority patent/CN100595811C/zh
Publication of WO2007018145A1 publication Critical patent/WO2007018145A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0244—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using reflecting strips
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present invention relates to a road marking recognition system that recognizes a road marking formed on a road surface based on an image captured by an imaging means, and in particular, only a road marking having a state that satisfies a predetermined criterion.
  • the present invention relates to a road marking recognition system that can reduce processing load by recognizing road markings by detection.
  • an imaging means such as a camera is provided on the entire surface of the vehicle, and based on the captured image.
  • an imaging means such as a camera
  • a temporary stop line formed on a road on which the host vehicle travels is detected by detecting the image data force captured by a CCD camera installed in front of the vehicle.
  • V is described as a vehicle driving assistance device that performs driving assistance at an intersection.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-86363 (pages 8 to 10; FIG. Four)
  • a temporary stop line to be controlled is uniformly detected directly by a detection means such as a CCD camera, and guidance to the detected control object is provided.
  • the road marking which is the object of detection, is formed on the road surface on which the vehicle travels, and as time passes, part of the paint is caused by various factors such as friction with the tires. It will peel off or become thin. If such a road marking is detected by the image force picked up by the camera, it is difficult to grasp the outline correctly, and there is a high possibility of erroneous recognition.
  • the present invention has been made to solve the above-described conventional problems, and by removing road markings that are difficult to detect from the road markings formed on the road surface in advance.
  • the purpose is to provide a road marking recognition system that can be configured with an inexpensive system by reducing the processing load on the equipment by reducing only the necessary processing while reducing the false recognition rate.
  • a road marking recognition system is a marking state that is arranged on a vehicle and stores an imaging means for imaging the periphery of the vehicle, and a road marking state formed on the road surface.
  • road marking refers to a certain form using paints, road fences or the like for necessary guidance, guidance, warning, regulation, instructions, etc. for road traffic. This refers to a set of lines, letters, and symbols placed on the road surface, such as stop lines and pedestrian crossings.
  • the “road marking state” includes the road marking outline, blurring, paint density, color, and the like.
  • a road marking recognition system is a road marking recognition system according to claim 1, wherein the road marking recognition system stores position information of road markings formed on the road surface. And a current position detection means for detecting the current position of the vehicle, wherein the road surface sign detection means is based on a detection result of the current position detection means and position information stored in the sign position storage means.
  • a sign information extracting means for extracting from the recorded sign state storage means, and a sign state for determining whether or not the road sign from which the information is extracted by the sign information extracting means is a road sign having a state satisfying a predetermined standard Determining means, and detecting the road marking when the sign state determining means determines that there is a road marking that satisfies the condition.
  • the road marking recognition system is the distance between the road marking detected by the road marking detection means and the vehicle in the road marking recognition system according to claim 1 or 2.
  • the road marking has a plurality of measurement start points used when calculating the distance by the distance calculation means, and the distance calculation means includes the measurement start points of the plurality of measurement start points.
  • the distance between the road marking and the vehicle is calculated by calculating a predetermined measurement starting point force selected based on the road marking detected by the road marking detection means and the distance to the vehicle.
  • the road marking recognition system is the road marking recognition system according to claim 1 or claim 2, wherein the road marking having a state satisfying the predetermined standard is: A pavement marking of a lane boundary line located at a connection between a main line of an expressway and an attachment road, characterized in that the lane boundary line is divided in a length direction.
  • the road marking recognition system is the road marking recognition system according to claim 4, wherein the road marking recognition system stores the positional information of the road marking formed on the road surface.
  • Current position detection means for detecting the current position of the vehicle, the road marking detection means based on the detection result of the current position detection means and the position information stored in the sign position storage means. Recognize the shape of the road marking formed on the road surface based on the sign information extracting means for extracting the information of the road marking located within a predetermined range from the current location from the marking state storage means and the image captured by the imaging means.
  • Image recognition means, and the image recognition means recognizes that double lines parallel to each other at a predetermined interval are formed on the road surface, and the marking information extraction means extracts the double lines. With When the road marking is not extracted, the double line is detected as a part or all of the road marking of the lane boundary line.
  • the invention's effect [0010]
  • a road marking having a state satisfying a predetermined criterion among road markings formed on a road surface on which the vehicle travels is based on a captured image. Since the detection is performed, it is possible to remove the detection target force in advance for the road marking in a state that is difficult to detect, and to reduce the false recognition rate in the recognition of the road marking.
  • the road marking recognition system detects the road marking only when there is a road marking having a state satisfying a predetermined standard within a predetermined range of the current local force of the vehicle. It is possible to perform the detection process using the imaging means only at an appropriate timing, and to minimize the processing load of the device in detecting the road marking. Therefore, an inexpensive system that does not require a separate control unit for image processing can be configured.
  • the distance from the predetermined measurement start point selected based on the detected road marking state to the vehicle among the plurality of measurement start points included in the road marking By calculating the distance between the road marking and the vehicle, it is possible to select the part with good road marking condition as the starting point for distance measurement, and improve the accuracy of distance measurement. it can.
  • the connection between the main road of the expressway and the attachment road Because it detects the road markings of the lane boundary line located in the area, the road markings of the lane boundary lines that are likely to be separated into double lines due to the paint being peeled off are detected as much as possible. It is possible to provide various services such as driving assistance and information disclosure using the detection results.
  • the road marking recognition system when it is recognized that double lines parallel to each other at a predetermined interval are formed on the road surface based on the captured image! If there is no road marking within the specified range based on the current strength of the vehicle, the recognized double line is divided in the length direction. Because it is detected as a part or all of the road marking with a line in the state of being cut, it can be detected as a correct type of road marking even if the road marking has been divided into double lines due to peeling of the paint, etc. It becomes possible. Therefore, the detection accuracy can be improved.
  • FIG. 1 is a schematic configuration diagram of a driving support apparatus according to a first embodiment.
  • FIG. 2 is a block diagram schematically showing a control system of the driving support apparatus according to the first embodiment.
  • FIG. 3 is a diagram showing a storage area of a road marking DB according to the first embodiment.
  • FIG. 4 is an explanatory view showing a blur pattern of a road marking particularly “with a pedestrian crossing” among the blur patterns used in the driving support apparatus according to the first embodiment.
  • FIG. 5 is an explanatory view showing a blur pattern of a road marking particularly “with a pedestrian crossing” among the blur patterns used in the driving support apparatus according to the first embodiment.
  • FIG. 6 is an overhead view showing a vehicle that images road markings.
  • FIG. 7 is a side view showing a vehicle that images road markings.
  • FIG. 8 is a schematic diagram showing a captured image captured by the rear camera of the vehicle in the state of FIGS. 6 and 7.
  • Fig. 9 is a schematic diagram showing a method for calculating a distance to a vehicle force control object when a road marking is imaged by a rear camera of the vehicle.
  • FIG. 10 is a flowchart of a driving support processing program in the driving support apparatus according to the first embodiment.
  • FIG. 11 is a bird's-eye view showing a case where a road marking “with a pedestrian crossing” in which the blur pattern is classified as pattern 4 is formed around the vehicle.
  • FIG. 12 is a bird's-eye view showing a case where a road marking “with a pedestrian crossing” in which the blur pattern is classified as pattern 8 is formed around the vehicle.
  • FIG. 13 is an explanatory view showing a blur pattern of a “thick, broken line” road marking used in the driving support apparatus according to the second embodiment.
  • FIG. 14 is a driving support processing program in the driving support apparatus according to the second embodiment. It is a flowchart of.
  • FIG. 15 is an overhead view showing a case where a “thick, broken line” road marking in which the blur pattern is classified as pattern 4 is formed in front of the vehicle.
  • FIG. 16 is a bird's-eye view showing a case where a “thick, broken line” road marking in which the blur pattern is classified as pattern 5 is formed around the vehicle.
  • FIG. 17 is a schematic configuration diagram of a driving support apparatus according to the third embodiment.
  • FIG. 1 is a schematic configuration diagram of a driving support apparatus 1 according to the first embodiment.
  • the driving support apparatus 1 includes a rear camera (imaging means) 3, a navigation apparatus 4, a vehicle ECU 5, and the like installed on a vehicle 2.
  • the rear camera 3 uses a solid-state image sensor such as a CCD, for example, and is attached near the upper center of the license plate mounted on the rear side of the vehicle 2, and the line-of-sight direction is set to 4 from the horizontal. Installed 5 degrees downward. Then, when the vehicle is parked, the rear of the vehicle, which is the traveling direction of the vehicle 2, is imaged, and the captured image (hereinafter referred to as a BGM (back 'guide' monitor) image) is displayed on the liquid crystal display 7 of the navigation device. On the other hand, during normal traveling, road markings such as stop lines, pedestrian crossings, and the maximum vehicle speed are formed on the road surface around the vehicle 2 as described later. The distance from the vehicle 2 to the control object that is the target for driving guidance and control of the vehicle, such as stop lines, intersections, and curve entrances, is indirectly calculated based on the captured road marking image.
  • the navigation device 4 is provided on a navigation ECU (electronic 'control unit' unit) 6 and the center console or panel surface of the vehicle 2 to display a map and a search route to the destination.
  • a liquid crystal display 7 that outputs voice guidance related to route guidance, a current location detection unit (current location detection means) 9 that identifies the current location and traveling direction of the vehicle 2 on a map, and a map display
  • the data recording unit 10 stores information related to the type and position of map data and road markings formed on the road surface, and a communication device 13 for communicating with an information center or the like.
  • the navigation ECU (road marking detection means, marking information extraction means, marking state determination means, distance calculation means) 6 is a vehicle 2 based on the captured image captured by the rear camera 3 in addition to the normal route search and route guidance processing. Detection process for detecting road markings formed on the road surface on which the vehicle travels, road marking force that detects the distance from the vehicle 2 to a controlled object such as a stop line, intersection, or curve entrance, calculation process for calculating indirectly, This is an electronic control unit that gives instructions for driving control of the vehicle 2 and route guidance processing based on the calculated distance. The detailed configuration of the navigation ECU 6 will be described later.
  • the vehicle ECU 5 is an electronic control unit of the vehicle 2 that controls the operation of the engine, transmission, accelerator, brake, and the like, and is connected to the brake actuator 11 and the accelerator actuator 12. . Then, the navigation ECU 6 sends a control signal to the brake actuator 11 and the accelerator actuator 12 via the vehicle ECU 5 when a predetermined condition is satisfied, so that the brake pressure and the amount of air taken into the engine are determined. Change the brake force automatically.
  • FIG. 2 is a block diagram schematically showing a control system of the driving support apparatus 1 according to the first embodiment.
  • control system of the driving support device 1 is configured based on the navigation device 4 and the vehicle ECU 5, and predetermined peripheral devices are connected to each control means.
  • the current location detection unit 9 includes a GPS 31, a geomagnetic sensor 32, a gyro sensor 33, a steering sensor 34, a distance sensor 35, and an altimeter (not shown). It is possible to detect the current position and direction of the vehicle, and the distance traveled by a predetermined point.
  • the GPS 31 detects the current location and current time of the vehicle on the earth by receiving radio waves generated by an artificial satellite, and the geomagnetic sensor 32 measures the geomagnetism. Thus, the direction of the vehicle is detected.
  • the gyro sensor 33 detects the turning angle of the host vehicle.
  • a gas rate gyro, a vibration gyro, or the like is used as the gyro sensor 33. Further, by integrating the turning angle detected by the gyro sensor 33, the vehicle direction can be detected.
  • the steering sensor 34 detects the rudder angle of the host vehicle.
  • the steering sensor 34 for example, an optical rotation sensor, a rotation resistance sensor, an angle sensor attached to a wheel, or the like attached to a rotating portion of a steering wheel (not shown) is used.
  • the distance sensor 35 detects the moving speed (integrated moving distance) based on the vehicle speed pulse generated at every constant travel distance.
  • the data recording unit 10 includes an external storage device and a hard disk (not shown) as a recording medium, a predetermined program recorded on the hard disk, route information such as map data, and information necessary for map display.
  • a map head that stores information on the map DB41, a road marking database that stores information related to road markings (signing status storage means, marking position storage means), etc. 42, and a recording head ( Figure) Not shown).
  • a hard disk is used as the external storage device and storage medium of the data recording unit 10, but in addition to the hard disk, A magnetic disk such as a flexible disk can be used as an external storage device.
  • Memory cards, magnetic tapes, magnetic drums, CDs, MDs, DVDs, optical disks, MOs, IC cards, optical cards, etc. can also be used as external storage devices.
  • map data for displaying a map intersection data regarding each intersection, node points Node data related to roads, road data related to roads, search data to search for routes, facility data related to facilities, search data to search for points, etc. are recorded.
  • type of road marking for example, stop line, pedestrian crossing, maximum speed
  • paint marking of the road marking A blur pattern indicating the state, specific information for specifying the type of detected road marking, and coordinate data for specifying the position of the road marking on the map are also recorded.
  • the road marking DB42 will be described in detail later with reference to FIG.
  • the navigation ECU 6 is used as a working memory when the CPU performs various arithmetic processes in addition to the CPU as the arithmetic device and the control device for controlling the entire navigation device 4.
  • RAM which stores route data when a route is searched
  • a control program a route guidance processing program that searches for a route to the destination, and guides the searched guidance route
  • the rear camera 3 Based on the captured image, calculate the distance to the controlled object (stop line, intersection, entrance to the curve, etc.), and record the driving assistance processing program (see Fig. 10) described later that assists driving, etc.
  • Internal storage device As the RAM, ROM, etc., a semiconductor memory, a magnetic core, etc. are used.
  • the arithmetic unit and the control unit it is possible to use an MPU or the like instead of the CPU.
  • the navigation ECU 6 includes a GUI control unit 51, a location unit 52, a route search and guidance processing unit 53, and also acquires the rear camera 3, the current location detection unit 9, the data recording unit 10, and each peripheral device force. Various controls are performed based on the information.
  • the GUI control unit 51 uses the map data read from the map DB 41 and the location unit.
  • an appropriate map image around the vehicle In addition to displaying on the liquid crystal display 7 and when guidance of the route is required, icons, guidance screens, search routes, etc. are combined with the map image and displayed on the liquid crystal display 7.
  • the current absolute position (latitude, longitude) of vehicle 2 is detected.
  • the detected current position and the information power stored in the road marking DB42 are within the predetermined range (30m forward to 20m backward) of the vehicle 2 and there is a road marking in a good state where the paint scrape condition satisfies the predetermined standard. If it exists, the image captured by the rear camera 3 is taken in and analyzed, and the road marking on the road surface is detected and recognized.
  • the distance between the road marking detected from the captured image and the vehicle 2 is calculated, and further, the distance to the control object associated with the distance force road marking is calculated, and the brake actuator is calculated according to the calculated distance.
  • the driving of the vehicle 2 is controlled by controlling the actuator 11 and the accelerator actuator 12, or the driving is guided by the liquid crystal display 7 and the speaker 8.
  • the route search / guidance processing unit 53 searches the route from the current location to the destination based on the node point data and the search data stored in the data recording unit 10 and is set.
  • the guidance of the route is performed using the liquid crystal display 7 and the power 8 according to the guidance route.
  • the navigation ECU 6 is electrically connected to peripheral devices such as a liquid crystal display 7, a speaker 8, a communication device 13 and the like.
  • the liquid crystal display 7 includes operation guidance, operation menu, key guidance, guidance route from the current location to the destination, guidance information along the guidance route, traffic information, news, weather forecast, time, mail, TV
  • the program, BGM images captured by the rear camera 3, etc. are displayed.
  • the liquid crystal display 7 it is also possible to use a CRT display, a plasma display, or the like, or a hologram device that projects a hologram onto the windshield of the vehicle.
  • the speaker 8 outputs voice guidance for guiding traveling along the guidance route based on an instruction from the navigation ECU 6.
  • voice guidance to be guided for example, “Turn right at the intersection 200m ahead” or “National highway No. 00 ahead” Is congested. And so on.
  • the voice output from the speaker 8 can output various sound effects and various guidance information recorded in advance on a tape, a memory or the like.
  • the liquid crystal display 7 and the driving force 8 on the control object for example, Warning that the stop line is approaching).
  • the communication device 13 is used for traffic jam information, regulation information, parking lot information, traffic accident information, service area information transmitted from an information center such as a VICS (registered trademark: Vehicle Information and Communication System) center. It is a beacon receiver that receives traffic information consisting of various information such as congestion status as radio beacons, optical beacons, etc. via radio beacon devices, optical beacon devices, etc. arranged along the road.
  • the communication device 13 can communicate in communication systems such as LAN, WAN, intranet, mobile phone network, telephone network, public communication network, dedicated communication network, and communication networks such as the Internet. Network equipment may be used.
  • the communication device 13 includes an FM receiver that receives FM multiplex information including information such as news and weather forecasts as FM multiplex broadcast via the FM broadcasting station.
  • the beacon receiver and the FM receiver are united and arranged as a VICS receiver, but can be arranged separately.
  • the navigation device 4 according to the first embodiment is connected to the information center via the communication device 13, and updates the information stored in the map DB 41 and the road marking DB.
  • FIG. 3 is a diagram showing a storage area of the road marking DB 42 according to the first embodiment.
  • the storage area of the road marking DB42 is a scale indicating the coordinates (position) on the road marking map data, the type of road marking, and the paint state of the road marking paint. It consists of a pattern, a control object associated with the road marking, and a distance from the measurement start point of the road marking (the measurement start point closest to the control object if there are multiple) to the control object.
  • the blur pattern of the road marking stored in the road marking DB will be described with reference to FIG. 4 and FIG. FIG. 4 and FIG. 5 are explanatory diagrams showing the blur pattern of the road marking 60 of “with a pedestrian crossing” in particular, among the blur patterns used in the driving support apparatus 1 according to the first embodiment.
  • the scum pattern defined by the road marking 60 with “with pedestrian crossing” is a total of 8 pattern forces, and the paint is blurred. Based on the location and range, they are classified.
  • pattern 1 is classified as a pattern with no significant paint blur and a clear overall shape.
  • the pattern 2 is classified into those in which the paint is missing or the thinned portion 61 exists but the outer shape remains.
  • pattern 3 is classified into a state in which paint is missing on the front side of the traveling direction of the vehicle or there is a faint portion 61 that is thin.
  • Pattern 4 is classified into a state in which there is a paint portion 61 that is missing or painted thinly on the back side with respect to the traveling direction of the vehicle.
  • Pattern 5 is classified into a state in which there is a scraped portion 61 in which paint is missing on the left side with respect to the traveling direction of the vehicle or is thinned! /.
  • Pattern 6 is classified into a state in which a paint portion 61 is missing on the right side with respect to the traveling direction of the vehicle or there is a faint portion 61 that is thin.
  • Pattern 7 is categorized as a pattern in which part of the paint is missing due to obstacles 62 such as manhole covers and road joints.
  • Pattern 8 is classified as a pattern that does not retain its outer shape due to missing or thin paint.
  • measurement start points 60A to 60D are set at different positions on the road marking 60 in each of the blur patterns.
  • the measurement start points 60A to 60D are provided at the corners and tip of the line (boundary line) forming the road marking 60, and the distance between the vehicle 2 and the road marking is calculated as described later.
  • the road marking 60 “with pedestrian crossing” defines four measurement start points 60A to 60D.
  • the measurement start points 60A to 60D are set in advance so that only the measurement start point of the part with less blur is used as the measurement start point.
  • pattern 1 is set as a measurement start point used by all the measurement start points 60A to 60D.
  • Pattern 2 only the measurement start points 60A and 60B that can be detected from the boundary line are set as measurement start points to be used.
  • Pattern 3 is set as the measurement start point used only by the measurement start points 60A and 60C that can also detect boundary force.
  • Pattern 4 is set as the measurement start point used only by the measurement start points 60B and 60D that can be detected from the boundary line.
  • Pattern 5 is set as the measurement start point used only by the measurement start points 60A and 60B that can detect the boundary force.
  • Pattern 6 is set as the measurement start point used only by the measurement start points 60A and 60B that can detect the boundary force.
  • Pattern 7 only the measurement start points 60A and 60B that can be detected from the boundary line are set as measurement start points to be used. In Pattern 8, no usable measurement start point is set.
  • the navigation ECU 6 reads from the road marking DB 42 the road marking marking pattern to be detected, and selects one measurement start point from the set measurement start point to be used as the starting point of the distance measurement. Then, calculate the distance from vehicle 2 to the measurement start point that is closest to the direction of travel (measurement start point 60A for road marking 60 with “pedestrian crossing” shown in FIGS. 4 and 5) (S7, S8 in FIG. 10). ). As a result, it is possible to use a portion with less blur as a starting point for distance measurement, and to improve the accuracy of distance measurement. A specific method for calculating the distance will be described later.
  • the detection of the road marking is detected for the "road marking that does not retain its outer shape due to missing or thin paint" classified as pattern 8. It is controlled not to perform processing. As a result, road markings that are difficult to detect can be removed from the detection target in advance, and the misrecognition rate in recognition of road markings is reduced, and navigation is performed by performing only necessary processing. Yon It becomes possible to reduce the processing load of ECU6.
  • FIGS. 4 and 5 have been described with reference to an example of a shading pattern of only a road marking “with a pedestrian crossing”, other road markings (for example, “stop line”, “arrow”, “ On a pedestrian crossing)
  • the pattern 1 to pattern 8 are set in the same manner, and the road markings recorded in the road marking DB 42 are classified as misaligned patterns.
  • the measurement start point is defined for each pattern, and the road marking classified into pattern 8 is controlled not to perform the road marking detection process.
  • a road marking “with a crosswalk” with a cascading pattern 2 is formed at coordinates (xl, yl).
  • the road marking indicates that a “stop line” road marking is associated as a control object 60m ahead.
  • the coordinates (x2, y2) have a “arrow” road marking with a blur pattern 8, and the road marking corresponds to an “intersection (intersection node)” as a controlled object 54m ahead. Indicates that it is attached.
  • the coordinate (x3, y3) has a “highest speed” road marking of the blur pattern 1, and the road marking is “corner (node at the corner starting point)” as a control object 72 m ahead. "Indicates that it is associated.
  • the coordinates (x4, y4) have a pedestrian crossing road marking with a pattern of 3 and the road marking has an "intersection (intersection node)" as a control object 89m ahead. Shows that it is associated.
  • the controlled object is a target for driving guidance and vehicle control, and is the traveling direction of the road on which the road marking is formed, and is in a predetermined section (for example, 10m to 200m). Some node points and other road markings are used.
  • the navigation ECU 6 indirectly calculates the distance to the control object associated with the captured image force when the rear force memer 3 images one of the road markings recorded in the road marking DB42. When the distance reaches a predetermined distance, drive control of the vehicle 2 and travel guidance are performed.
  • the content of the drive control and travel guidance of the vehicle 2 varies depending on the type of the control target associated with the vehicle 2. For example, when a "stop line” is associated with the control target, When the distance to the line reaches 50 m, the character string “Stop line is approaching” indicating that the stop line is approaching is displayed on the liquid crystal display 7, and the same content is displayed from the speaker 8. The warning sound is output. Further, if deceleration is not performed at that time, the brake actuator 11 is controlled to perform deceleration control so that the vehicle 2 stops before the stop line. [0049] If an "intersection" is associated as a control object, route guidance is performed according to the guidance route set when the distance from the node at the relevant intersection reaches 10m.
  • a guidance display indicating a left turn is displayed on the liquid crystal display 7, and a guidance voice “Please turn left at the next intersection” is output from the speaker 8.
  • a guidance route is set to V, especially the guidance display and guidance voice output are not performed.
  • the curling pattern that is associated with the road marking 69 of the stop line as the control object is pattern 1 ⁇ With crosswalk ''
  • the case where the road marking 60 is imaged is shown. 6 is a bird's-eye view showing the vehicle 2 that images the road marking 60
  • FIG. 7 is a side view that shows the vehicle 2 that images the road marking 60
  • FIG. 8 is a rear camera of the vehicle 2 in the state of FIGS. 3 is a schematic diagram illustrating a captured image 70 captured by 3.
  • the rear camera 3 is mounted so that the force near the rear bumper 71 of the vehicle 2 can also image the rear side so that the optical axis L is directed 45 degrees downward in the horizontal direction, and the imaging range is It is fixed. Therefore, the distance to the subject can be calculated from the position of the image data (specifically, the number of pixels from the lower edge) in the captured image shown in FIG. 8 captured by the rear camera 3.
  • measurement start points for measuring the distance to the vehicle 2 are defined in advance at a plurality of locations, and further, as the start points of measurement according to the blur pattern.
  • the measurement start point to be used is set (see Fig. 4 and Fig. 5).
  • the vehicle 2 and the measurement start point are determined from the position of the measurement start point (specifically, the number of pixels from the lower edge to the measurement start point). It is possible to calculate the distance D1 between the two.
  • the distance to which the measurement start point is calculated is determined for each road marking. In the road marking 60, the distance from the measurement start point 60A is calculated.
  • the distance to the measurement start point 60B is first determined.
  • the distance between the measurement start point 60A and the measurement start point 60A is calculated indirectly by using the distance between the measurement start point 60A and the measurement start point 60B.
  • the measurement start point 60C is used, and when the force that cannot be specified for the measurement start point 60C is used, the measurement start point 60D is used.
  • the measurement start points 60B and 60D are set as the measurement start points to be used as the starting points of the distance measurement in the road marking 60 of “With pedestrian crossing” of the scour pattern 4 shown in FIG.
  • the distance to the measurement start point 60A is indirectly calculated.
  • the measurement start point 60B cannot be specified due to some cause (for example, when a part of the white line is hidden by an obstacle such as sand or a puddle)
  • the measurement start point 60D is used.
  • the power to calculate the distance to any of the measurement start points among a plurality of measurement start points set to be used is determined.
  • Fig. 9 shows the case where the vehicle 2 detects the road marking 60 "with pedestrian crossing" with the rear camera 3, and the road marking 60 has a distance D2 ahead as a control object. "stop Road marking 69 of “stop line” is associated.
  • the navigation ECU 6 calculates the travel distance S of the vehicle 2 by the distance sensor 35 based on the vehicle speed pulse generated at every constant travel distance from the engine. Then, the distance (D2-D1 -S) from the traveling vehicle 2 to the controlled object is calculated by subtracting the traveling distance S from the distance from the vehicle 2 to the controlled object (D2-D1). It becomes possible.
  • the brake actuator 11 based on the calculated distance (D2-Dl-S) to the road marking 69 of the "stop line"
  • the vehicle 2 is stopped along the stop line. The brake pressure can be adjusted.
  • the road marking force detected by the rear camera 3 without directly recognizing the control object can be calculated more accurately at an earlier stage by indirectly calculating the distance to the control object ahead. It is possible to calculate the distance (D2-D1 -S) to the control object. Based on the calculated accurate distance to the control object (D2-D1-S), appropriate vehicle control and travel guidance can be performed at a more appropriate timing.
  • FIG. 10 is a flowchart of the driving support processing program in the driving support device 1 according to the first embodiment.
  • the driving support processing program detects the road marking from the captured image captured by the rear camera 3 when the vehicle 2 travels on the road surface, and the detected road marking force also determines the distance between the vehicle and the controlled object. It detects and performs control to assist the user's operation based on the distance.
  • the program shown in the flowchart of FIG. 10 below is stored in the ROM or RAM of the navigation ECU 6 and is executed by the CPU.
  • step (hereinafter abbreviated as S) 1 the navigation ECU 6 applies the current location information of the vehicle 2 detected by the current location detection unit 9 and the road marking DB42 (see FIG. 3). Based on the recorded position information of the road marking, the information on the road marking located in the vicinity of the vehicle 2 (2000 m forward to 500 m behind the vehicle 2 in the first embodiment) is displayed. Read from DB42.
  • S2 it is determined whether or not there is a road marking located in a predetermined range of the vehicle 2 (30m forward to 20m behind the vehicle 2), among the road markings read by the SI. . If it is determined that there is a road marking located in the predetermined range of the vehicle 2 (S2: YES), the process proceeds to S3, and the blur pattern of the road marking located in the predetermined range of the vehicle 2 is changed to the road marking DB42. Read from. On the other hand, if it is determined that there is no road marking located in the predetermined range of vehicle 2 (S2: NO), the process returns to S1 and reads the road marking information based on the current location again. This S3 corresponds to the processing of the sign information extracting means.
  • the blur pattern read in S3 is a blur pattern to be detected by the rear camera 3.
  • eight patterns of patterns 1 to 8 are provided as the blur patterns (see FIGS. 4 and 5), and the blur patterns of patterns 1 to 7 are provided.
  • the road markings classified as No. 3 are road markings that can be recognized at least by the navigation ECU 6 even if some paint blurring occurs, and are road markings to be detected by the rear camera 3. Determined.
  • the road markings classified as the pattern 8 blur pattern are road markings that are difficult to recognize because the outline cannot be correctly detected by the blur, and are determined not to be detected by the rear camera 3.
  • the This S4 corresponds to the processing of the marking state determination means.
  • FIG 11 is an overhead view showing a case where a road marking 60 of "with a pedestrian crossing", in which the force threshold pattern is classified as pattern 4, is formed around the vehicle 2, and the rear camera 3
  • the image recognition processing of the road marking 60 is performed based on the image power picked up in.
  • Figure 12 shows the case where a road marking 60 with a pedestrian crossing, in which the blur pattern is classified as pattern 8, is formed around vehicle 2. In this case, the image recognition processing of the road marking 60 by the image captured by the rear camera 3 is not performed.
  • an image captured by the rear camera 3 is input using analog communication means such as NTSC or digital communication means such as i link, and is converted into a digital image format such as jpeg or mpeg.
  • analog communication means such as NTSC or digital communication means such as i link
  • digital communication means such as i link
  • luminance correction is performed on the road surface on which the road marking in the captured image is drawn and another road surface based on the luminance difference.
  • binarization processing to separate the target road marking from the image geometric processing to correct distortion, smoothing processing to remove image noise, etc., and the boundary line between the road marking and other road surface and Detect the measurement start point.
  • the placement force of the detected boundary line and the specified measurement start point is specified.
  • the type of the detected road marking is specified, and further, the specified road marking type is present in the predetermined range of the vehicle in S2. It is determined whether or not the force matches the determined road marking type.
  • S6 it is determined whether or not the road marking is recognized by the image recognition process in S5. As a result, when it is determined that the road marking has been recognized (S6: YES), that is, the road marking is detected in the captured image, and the detected road marking is detected in S2 above. If it is determined that it matches the type of road marking determined to be at this position, the process proceeds to S7. On the other hand, if it is determined that the road marking has not been recognized (S6: NO), that is, if the road marking has not been detected in the captured image, or the detected road marking has been detected.
  • the process returns to S1 and reads the road marking information based on the current location again.
  • S1 to S6 correspond to the processing of the road marking detection means.
  • the measurement start point 6 OA is First, it is selected as the starting point for distance measurement and detected based on the boundary line of the road marking. However, if the measurement start point 60A cannot be detected by an obstacle such as sand or a puddle, another measurement start point is selected and detected in the priority order of the measurement start points 60B, 60C, and 60D. As shown in Fig. 4, when the road marking 60 with pedestrian crossing classified as cascading pattern 4 is recognized as a road surface display located around the vehicle 2, the measurement start point 60 B is the starting point of the distance measurement first. And is detected based on road marking boundaries. However, if the measurement start point 60B cannot be detected by an obstacle such as sand or a puddle, the measurement start point 60D is selected and detected.
  • the distance between the road marking detected in S3 and the vehicle 2 is calculated. Specifically, from the position of the measurement start point detected in S7 (specifically, the number of pixels from the lower edge to the measurement start point) in the captured image obtained by capturing the road marking (see Fig. 8), the vehicle 2 Calculate the distance D1 between and the measurement start point.
  • the above S7 to S8 correspond to the processing of the distance calculation means.
  • the distance D1 between the vehicle 2 calculated in S8 and the measurement start point, and the distance D2 to the control object associated with the detected road marking (the value of D2 is the road marking in advance)
  • the distance (D2-D1) from the vehicle 2 to the control object associated with the road marking detected from the vehicle 2 is calculated from the data stored in the DB 42 (see Fig. 3) (see Fig. 9).
  • the distance sensor 35 calculates the mileage S of the vehicle 2 with the detection point power of the road marking, and is calculated in S6. Based on the distance between the vehicle 2 and the controlled object (D2-D1), the remaining distance from the traveling vehicle 2 to the controlled object (D2-D1-S) is calculated (see Fig. 9).
  • the vehicle 2 is set to the guidance or control start point set for each type of the control object. It is determined whether or not the force reached. For example, if the control object is a road marking for a “stop line” In other cases, it is determined that the guidance or control start point has been reached when the remaining distance is within 50 m. If the control object is a road marking of “intersection”, it is determined that the guidance or control start point has been reached when the remaining distance is 10 m. Furthermore, when the control object is a “corner” road marking, it is determined that the guidance or control start point has been reached when the remaining distance is within 50 m.
  • route guidance is performed according to the guidance route set when the distance to the node at the relevant intersection reaches 10 m. For example, a guidance display indicating a left turn is displayed on the liquid crystal display 7, and a guidance voice “Please turn left at the next intersection” is output from the speaker 8.
  • the driving support device 1 when it is determined that there is a road marking classified into a blur pattern to be detected within a predetermined range from the vehicle 2 ( (S4: YES) recognizes the road marking from the image captured by the rear camera 3 (S5) and calculates the distance to the control object associated with the road marking recognized from the vehicle 2 ( (S7 to S10), when it is determined that the distance to the controlled object has become a predetermined distance (S11: YES), travel guidance or vehicle control is performed according to the type of the associated controlled object ( S14), it is not necessary to directly detect control objects such as stop lines and intersections, and control objects from the host vehicle are indirectly controlled based on the detection results of road markings at an early stage when the distance from the control object is long.
  • an appropriate measurement start point is selected based on the measurement start point set for each categorized blur pattern, and the measurement start point closest to the traveling direction from the vehicle 2 (see “Pedestrian crossing” in FIGS. 4 and 5).
  • the distance to the measurement start point 60A is calculated, so it is possible to use the part of the road marking with less blur as the starting point for distance measurement, which improves the accuracy of distance measurement. it can.
  • FIGS. 1 to 12 a driving support apparatus according to a second embodiment will be described with reference to FIGS.
  • the same reference numerals as those of the driving support device 1 according to the first embodiment in FIGS. 1 to 12 are the same as or equivalent to those of the driving support device 1 according to the first embodiment. Is shown.
  • the schematic configuration of the driving support apparatus according to the second embodiment is substantially the same as the driving support apparatus 1 according to the first embodiment. Further, the various control processes are almost the same control processes as those of the driving support device 1 according to the first embodiment.
  • a lane boundary line consisting of a thick broken line located at the connecting part (branch point, junction) between the main road of the expressway and the attachment road is detected as a road marking. Then, the control object is controlled.
  • the road marking DB 42 in which information related to road marking is stored in the data recording unit 10 will be described with reference to FIG.
  • it is configured by information on road markings on the lane boundary line that is a thick breaking force located at the connecting part (branch point, junction point) of the main road and the attachment road of the expressway. Yes.
  • the storage area of the road marking DB42 is associated with the coordinates (position) of the road marking on the map data, the type of road marking, the blur pattern indicating the paint scraping state of the road marking, and the road marking. It consists of the control object and the distance to the road marking force control object (see Fig. 3).
  • FIG. 13 is an explanatory diagram showing a blur pattern of a road marking 80 of a “thick broken line” in particular, among the blur patterns of the road marking used in the driving support apparatus according to the second embodiment.
  • the driving support apparatus is defined by the road marking 80 of “thick, broken line”! Categorized based on location and range.
  • pattern 1 is classified as a pattern in which there is no large paint blur and a rectangular frame remains completely, and the paint is uniform inside.
  • Pattern 2 is classified as a pattern with uneven interior paint, although the rectangular frame remains completely.
  • the pattern 3 is classified into a state in which the paint is missing or there is a faint portion 81 that is thin, and a part of the short frame is missing.
  • Pattern 4 is classified as a thick broken line that does not appear as a thick broken line due to missing or thin paint.
  • the pattern 5 is divided into left and right by the cracks 82 in the length direction of the broken line paint, and the patterns appearing as double lines are classified.
  • the navigation ECU 6 detects the “thick V, broken line” road surface detected by the vehicle 2 when the “thick V, broken line” road marking 80 is detected from the image captured by the rear camera 3.
  • the control force associated with the road marking 80 is determined.
  • the distance to the figurine can be extracted from the road marking DB42 and the current position of the vehicle can be accurately identified.
  • various services such as driving assistance and information disclosure can be provided based on the exact current location of the identified vehicle.
  • the paint is missing or thinly thinned portion 81 classified as pattern 3 is present, and the short frame is partially missing. If you try to forcibly recognize “thick broken line”, other types of road markings formed elsewhere may be mistakenly recognized as “thick broken line” road markings 80. is there. Therefore, the “thick broken line” road marking 80 classified as pattern 3 is controlled not to perform the detection process. As a result, road markings that are difficult to detect can be excluded from detection targets in advance, reducing the misrecognition rate in recognition of road markings and performing only necessary processing. Yon It becomes possible to reduce the processing load of ECU6.
  • the "painted missing or thin outline, which is classified as pattern 4" is recognized from the image captured by the rear camera 3 with respect to the outer shape due to the lack of paint or thinning. Difficult to do. Therefore, the “thick broken line” road marking 80 classified as Noturn 4 is controlled not to perform the detection process. As a result, the road marking that is difficult to detect can be removed in advance, the detection target power can be removed in advance, the error recognition rate in the recognition of the road marking is reduced, and only the necessary processing is performed. It is possible to reduce the processing load.
  • FIG. 14 is a flowchart of the driving support processing program in the driving support apparatus according to the second embodiment.
  • the driving support processing program detects the road marking of “thick broken line” from the captured image captured by the rear camera 3 when the vehicle 2 travels on the road surface, and also detects the detected road marking force vehicle and the control object. Is detected, and control is performed to assist the user's driving based on the detected distance.
  • the program shown in the flowchart in FIG. 14 below is stored in ROM or RAM provided in the navigation ECU 6 and is executed by the CPU.
  • the navigation ECU 6 is based on the current location information of the vehicle 2 detected by the current location detection unit 9 and the location information of the road marking recorded in the road marking DB 42 (see FIG. 3).
  • information on the road marking located in the vicinity of the vehicle 2 is read from the road marking DB42.
  • the "thick, broken line” road marking 80 located in a predetermined range of the vehicle 2 (30m forward to 20m behind the vehicle 2) is provided. Determine if there is. If it is determined that there is a “thick broken line” road marking 80 located in a predetermined range of the vehicle 2 (S102: YES), the flow proceeds to S103, and the “thick broken line” road marking 80 is positioned in the predetermined range of the vehicle 2. , “Dashed line” road marking 80 The blurred pattern is read from the road marking DB42.
  • the blur pattern read in S103 is a blur pattern to be detected by the rear camera 3.
  • five patterns of pattern 1 to pattern 5 are provided as the pattern of “thick and broken” road marking 80 (see FIG. 13).
  • the road markings classified into the pattern 2 and pattern 2 are road markings that can be recognized at least by the navigation ECU 6 even if some paint blurring occurs. It is determined that the road marking is.
  • the road markings are classified into pattern 3 and pattern 4 Is a road marking that is difficult to recognize because the outline cannot be detected correctly due to blurring, and is determined to be a road marking that is not detected by the rear camera 3.
  • FIG. 15 is an overhead view showing a case where a “thick broken line” road marking in which the blur pattern is classified as pattern 4 is formed in front of the vehicle 2.
  • a “thick broken line” road marking in which the blur pattern is classified as pattern 4 is formed in front of the vehicle 2.
  • FIG. 15 shows in Fig. 15, when vehicle 2 is traveling on the main road 85 of the highway and there is an attachment road 86 that branches off from the main line 85 in the traveling direction of vehicle 2, there is a connection at the connection between main line 85 and attachment road 86.
  • Information of the formed “thick broken line” road marking 87 is read from the road marking DB 42 (S 101). If the read “thick broken line” road marking 87 is a “thick, broken line” road marking that is erased as shown in FIG. Thereafter, the image recognition process (S105) of the road marking 87 based on the image captured by the rear camera 3 is not performed.
  • an image of the rear environment of the vehicle 2 captured by the rear camera 3 is captured and analyzed, and is formed on the road surface on which the vehicle travels.
  • the type of detected road marking is determined.
  • an image captured by the rear camera 3 is input using analog communication means such as NTSC or digital communication means such as i link, and digital such as jpeg or mpeg is input. Convert to image format.
  • luminance correction is performed on the road surface on which the road marking in the captured image is drawn and another road surface based on the luminance difference.
  • binarization processing to separate the target road marking from the image, geometric processing to correct the distortion, smoothing processing to remove the noise of the image, etc., and the boundary line between the road marking and other road surface are performed To detect.
  • the type of road marking detected from the shape of the detected boundary line is specified.
  • S105 corresponds to the processing of the image recognition means.
  • S 106 it is determined whether or not the “thick broken line” road marking 80 has been recognized by the image recognition processing in S 105.
  • S106: YES when it is determined that the “thick broken line” road marking 80 is recognized (S106: YES), that is, the road marking is detected in the captured image, and the detected road marking is If it is determined in S102 that the road marking 80 is “thick broken line” determined to be located around the host vehicle, the process proceeds to S109.
  • S 106: NO when it is determined that the road marking 80 of “dashed dashed line” is not recognized.
  • the process proceeds to S107.
  • S107 it is determined whether or not a double line in which lines are parallel at a predetermined interval is recognized by the image recognition process in S105. As a result, when it is determined that the double line has been recognized (S107: YES), that is, the road marking is detected in the captured image and the detected road marking lines are parallel at a predetermined interval. If it is determined that it is a double line, the process proceeds to S108. On the other hand, when it is determined that the double line has not been recognized (S107: NO), the process returns to S105, and the image recognition process based on the image captured by the rear camera 3 is performed again.
  • the navigation ECU 6 determines whether or not the recognized double line can be replaced with a “thick broken line” road marking 80. Specifically, first, it is determined whether or not the current position force of the vehicle 2 is within a predetermined range (for example, 30 m forward to 20 m behind the vehicle 2) and there is a road marking having another double line. If it is determined that there is no road marking with another double line, it is determined that the recognized double line can be replaced with a “thick broken line” road marking 80. As a result, the recognized double line is replaced with part or all of the “thick broken line” road marking 80. Detect as.
  • FIG. 16 is an overhead view showing a case where a “thick broken line” road marking in which the blur pattern is classified as pattern 5 is formed in front of the vehicle 2.
  • a “thick broken line” road marking in which the blur pattern is classified as pattern 5 is formed in front of the vehicle 2.
  • the vehicle 2 is traveling on the main road 91 of the highway and there is an attachment road 92 that branches from the main line 91 in the traveling direction of the vehicle 2, the connection between the main line 91 and the attachment road 92
  • the information of the “thick broken line” road marking 93 formed in (5) is read from the road marking DB 42 (S 101).
  • the read “thick broken line” road marking 93 is a “thick broken line” road marking classified into a blur pattern 5 in which the paint is divided in the length direction as shown in FIG.
  • the image recognition process of the sign 93 is performed, even if a double line is recognized, the “thick broken line” road sign 93 is processed as recognized. As a result, even if it is divided into double lines, it becomes possible to accurately detect the road marking 93 of “dashed dashed line”.
  • the above S101 to S108 correspond to the process of the road marking detection means.
  • the navigation ECU 6 performs a determination process for detecting whether or not the vehicle 2 is straddling the road marking 80 indicated by the “dashed broken line” detected in S101 to S108.
  • a captured image captured by the rear camera 3, a vehicle speed sensor, or the like is used.
  • the navigation ECU 6 detects the distance to the control object associated with the “thick, broken line” road marking 80 detected by the rear camera 3 and determined to straddle (stored in the road marking DB 42). ) To calculate the distance from vehicle 2 to the controlled object associated with the road marking detected. Based on the vehicle speed pulse generated at every fixed travel distance, the distance sensor 35 calculates the travel distance of the vehicle 2 from the point where the road marking is straddled, and the remaining distance from the traveling vehicle 2 to the controlled object is calculated. calculate. [0099] Also, in SI 12, based on the remaining distance to the control object calculated in SI 11, the vehicle 2 has reached the guidance or control start point set for each type of control object. Force is determined.
  • control target is a “stop line” road marking
  • guidance or control start point has been reached when the remaining distance is within 50 m.
  • control object is a road marking of “intersection”
  • guidance or control start point has been reached when the remaining distance is 10 m.
  • control object is a “corner” road marking
  • route guidance is performed according to the guidance route set when the distance to the node at the relevant intersection reaches 10 m. For example, a guidance display indicating a left turn is displayed on the liquid crystal display 7, and a guidance voice “Please turn left at the next intersection” is output from the speaker 8.
  • S116 it is determined whether or not the remaining distance to the control object calculated in S111 has become 0, that is, whether or not the vehicle 2 has reached the position of the control object. Then, when it is determined that the position of the control target has been reached (S116: YES), the driving support process is terminated. In contrast, if it is determined that the position of the control object has not been reached (S116: NO), the process returns to S111, and the remaining distance from the current vehicle 2 to the position of the control object is calculated again. .
  • the thick broken line located at the junction (junction or junction) of the main road and the attachment road within the predetermined range from the vehicle 2 If it is determined that there is a road marking on the lane boundary that is also a force (S102: YES), and it is further determined that the ⁇ thick broken line '' road marking is classified as a screech pattern to be detected (S 104: YES), the image force captured by the rear camera 3 also recognizes the road marking (S105) and straddles the road marking of the “dashed dashed line” where the vehicle 2 is recognized!
  • the distance to the control object associated with the marking is calculated (S111), and if it is determined that the distance to the control object has reached the predetermined distance (S112: YES), the associated control object Directs driving or controls the vehicle according to the type (S115).
  • Control objects that do not need to be detected such as stop lines and intersections
  • the distance from the vehicle to the control object can be calculated accurately indirectly based on the road marking detection result at an early stage when the distance is long. Therefore, it is possible to reliably control the control object without requiring an expensive device such as an image pickup device using a front camera in order to take an image of a distant place.
  • the schematic configuration of the driving support apparatus 100 according to the third embodiment is substantially the same as that of the driving support apparatus 1 according to the first embodiment. Further, the various control processes are almost the same as those of the driving support device 1 according to the first embodiment.
  • the driving support device 1 according to the first embodiment is provided with a rear camera 3 that captures the rear environment as an imaging unit, recognizes road markings based on an image captured by the rear camera, and controls the control object.
  • a front camera 101 that images the front environment of the vehicle 2 is provided as an imaging unit. It is different from the driving support apparatus 1 according to the first embodiment in that the road marking is recognized based on the image captured by the camera 101 and the control target is controlled.
  • FIG. 17 is a schematic configuration diagram of the driving support apparatus 100 according to the third embodiment.
  • the driving support device 1 according to the third embodiment includes a front camera 101, a rear camera 3, a navigation device 4, a vehicle ECU 5, and the like installed on the vehicle 2.
  • the front camera 101 uses a solid-state image sensor such as a CCD, for example, and is attached near the upper center of the license plate attached to the front of the vehicle 2, and the line of sight is directed slightly downward from the horizontal. Installed. Then, the traffic lights, road signs, road markings, etc. installed in front of the vehicle 2 are imaged.
  • a solid-state image sensor such as a CCD, for example
  • the configuration of the rear camera 3, navigation device 4, and vehicle ECU 5 other than the front camera 101 is the same as that of the driving support device 1 according to the first embodiment described above, and the description thereof is omitted.
  • the driving assistance device 100 based on the image captured by the front camera 101, the enlargement of the control target and the improvement of the recognition rate of the road marking can be realized as follows. It becomes ability.
  • the control target of the "intersection" as described above Caring for driving guidance and vehicle drive control (S11 to S14, S112 to S115) according to the object, warns that the traffic light at the intersection is lit in red, and stops the vehicle 2 before the intersection
  • the brake actuator 11 can be controlled.
  • the driving support device 100 when it is determined that there is a road marking classified into a blur pattern to be detected within a predetermined range from the vehicle 2.
  • the distance from the vehicle 2 to the control target associated with the recognized road marking is calculated, and the distance to the control target is predetermined.
  • traveling guidance or vehicle control is performed according to the type of associated control object, so there is no need to directly detect control objects such as stop lines and intersections.
  • the distance from the vehicle to the controlled object can be calculated accurately indirectly based on the detection result of the road marking at an early stage when the distance from the controlled object is far away.
  • the road marking is recognized by the front camera 101 in advance. Thus, even when the rear camera 3 with a narrow field of view is used, the recognition rate of road marking can be improved.
  • control object is a stop line, an intersection, or a corner entrance.
  • control object is not limited to the above.
  • road markings such as pedestrian crossings
  • facilities such as interchanges may be used.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

　車両２から所定範囲内に検出対象となるカスレパターンに分類された路面標示が存在すると判定された場合（Ｓ２：ＹＥＳ）に、後方カメラ３によって撮像された画像から路面標示を認識する（Ｓ５）とともに、車両２から認識された路面標示に関連付けられた制御対象物までの距離を算出し（Ｓ７～Ｓ１０）、制御対象物までの距離が所定距離となったと判定された場合（Ｓ１１：ＹＥＳ）に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う（Ｓ１４）ように構成する。

Description

明 細 書
路面標示認識システム
技術分野
[0001] 本発明は、撮像手段により撮像した画像に基づいて路面上に形成されている路面 標示の認識を行う路面標示認識システムに関し、特に、所定の基準を満たした状態 を有する路面標示のみを検出することによって路面標示の認識を行うことにより、処 理負荷の軽減を可能とした路面標示認識システムに関するものである。
背景技術
[0002] 従来より、ナビゲーシヨン装置の地図データから得られる道路情報や、 GPS等によ つて特定される現在位置等の車両の走行に係る各種情報を取得し、運転手に対す る報知や、運転の補助、さらには運転への介入を行うことで車両事故を防止する運 転支援装置につ 、て提案されて 、る。
そして、そのような運転支援装置の中には、より正確なタイミングで必要な報知や車 両の制御を行う為に、車両の全面にカメラ等の撮像手段を設け、撮像された画像に 基づいて報知や車両の制御を行うものがあった。例えば、特開平 2004— 86363号 公報には、自車両が走行する道路上に形成された一時停止線を、車両の前方に向 けて設置された CCDカメラにより撮像した画像データ力 検出し、検出結果に基づ V、て交差点での運転補助を実行する車両用運転補助装置にっ 、て記載されて 、る 特許文献 1 :特開 2004— 86363号公報 (第 8頁〜第 10頁、図 4)
発明の開示
発明が解決しょうとする課題
[0003] しかしながら、前記した特許文献 1に記載された車両用運転補助装置では、制御対 象となる一時停止線を一律に直接 CCDカメラ等の検出手段によって検出し、検出し た制御対象に対する案内や車両の制御を行っていたが、検出対象である路面標示 は、車両が走行する路面上に形成されており、時間が経過するにつれてタイヤとの 摩擦等の様々な要因によってペイントの一部が剥がれたり、薄くなつてしまう。 そのような路面標示に対してカメラで撮像した画像力 路面標示の検出を行うことと すると、その外形を正しく把握することが困難であり、誤認識が生じる可能性が高かつ た。また、誤認識の可能性が高い路面標示を含めて全ての路面標示の検出を行うこ とは、装置の処理負荷が大きくなり、画像処理用の制御部を別途必要とすることとな つていた。それによつて、装置全体が高価なシステムとなり、このようなカメラを用いた 車両の制御装置の普及を妨げる結果となって 、た。
[0004] 本発明は前記従来における問題点を解消するためになされたものであり、路面上 に形成された路面標示の内、検出することが困難な路面標示を予め検出対象から外 すことにより誤認識率を低下させ、一方で必要性のある処理のみを行わせることによ つて装置の処理負荷を軽減し、安価なシステムにより構成を可能とした路面標示認 識システムを提供することを目的とする。
課題を解決するための手段
[0005] 前記目的を達成するため本願の請求項 1に路面標示認識システムは、車両に配置 され、車両の周辺を撮像する撮像手段と、路面に形成された路面標示の状態を記憶 した標示状態記憶手段と、前記撮像手段により撮像した画像に基づいて、前記車両 が走行する路面に形成された路面標示の内、所定の基準を満たした状態を有する 路面標示に対する検出を行う路面標示検出手段と、を有することを特徴とする。 尚、ここで「路面標示」とは、道路交通に対し、必要な案内、誘導、警戒、規制、指 示等につ 、てペイント類又は道路鉅又はこれに類するもの等を用い、一定の様式ィ匕 された線及び文字、記号を路面に設置したものをいい、例えば、停止線や横断歩道 等がある。
また、「路面標示の状態」とは、路面標示の外形やカスレ具合、ペイントの濃度、色 などを含む。
[0006] また、請求項 2に係る路面標示認識システムは、請求項 1に記載の路面標示認識シ ステムにお 1、て、路面に形成された路面標示の位置情報を記憶した標示位置記憶 手段と、車両の現在地を検出する現在地検出手段と、を有し、前記路面標示検出手 段は、前記現在地検出手段の検出結果と前記標示位置記憶手段に記憶された位置 情報とに基づいて、車両の現在地から所定範囲内に位置する路面標示の情報を前 記標示状態記憶手段から抽出する標示情報抽出手段と、前記標示情報抽出手段に よって情報が抽出された路面標示が所定の基準を満たした状態を有する路面標示 であるか否かを判定する標示状態判定手段と、を備え、前記標示状態判定手段によ つて条件を満たした路面標示が存在すると判定された場合に路面標示の検出を行う ことを特徴とする。
[0007] また、請求項 3に係る路面標示認識システムは、請求項 1又は請求項 2に記載の路 面標示認識システムにおいて、前記路面標示検出手段によって検出された路面標 示と車両との距離を算出する距離算出手段を有し、前記路面標示は前記距離算出 手段によって距離を算出する際に用いる測定開始点を複数箇所に備え、前記距離 算出手段は前記複数の測定開始点の内、前記路面標示検出手段によって検出され た路面標示の状態に基づいて選択された所定の測定開始点力 車両までの距離を 算出することにより路面標示と車両との距離を算出することを特徴とする。
[0008] また、請求項 4に係る路面標示認識システムは、請求項 1又は請求項 2に記載の路 面標示認識システムにお!、て、前記所定の基準を満たした状態を有する路面標示 は高速道路の本線と取り付け道の接続部に位置する車線境界線の路面標示であつ て、前記車線境界線が長さ方向に分割された状態にあることを特徴とする。
[0009] 更に、請求項 5に係る路面標示認識システムは、請求項 4に記載の路面標示認識 システムにお 、て、路面に形成された路面標示の位置情報を記憶した標示位置記 憶手段と、車両の現在地を検出する現在地検出手段と、を有し、前記路面標示検出 手段は、前記現在地検出手段の検出結果と前記標示位置記憶手段に記憶された位 置情報とに基づいて、車両の現在地から所定範囲内に位置する路面標示の情報を 前記標示状態記憶手段から抽出する標示情報抽出手段と、前記撮像手段により撮 像した画像に基づいて路面上に形成された路面標示の形状を認識する画像認識手 段と、を備え、前記画像認識手段によって所定間隔で並行する 2重線が路面上に形 成されていると認識された場合であって、前記標示情報抽出手段により 2重線を備え た路面標示が抽出されなかった場合に、前記 2重線を前記車線境界線の路面標示 の一部又は全部として検出することを特徴とする。
発明の効果 [0010] 前記構成を有する請求項 1の路面標示認識システムでは、撮像した画像に基づい て、車両が走行する路面に形成された路面標示の内、所定の基準を満たした状態を 有する路面標示に対する検出を行うので、検出することが困難な状態の路面標示を 予め検出対象力も外すことができ、路面標示の認識における誤認識率を低下させる ことができる。
また、必要性のある処理のみを行わせることによって、路面標示の検出における装 置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別 途必要とすることなぐ安価なシステムにより構成することが可能となる。
[0011] また、請求項 2の路面標示認識システムでは、車両の現在地力 所定範囲内に所 定の基準を満たした状態を有する路面標示が存在する場合にのみ路面標示の検出 を行うので、必要なタイミングのみで撮像手段を用いた検出処理を行い、路面標示の 検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用 の制御部を別途必要とすることなぐ安価なシステムにより構成することが可能となる
[0012] また、請求項 3の路面標示認識システムでは、路面標示が備える複数の測定開始 点の内、検出された路面標示の状態に基づいて選択された所定の測定開始点から 車両までの距離を算出することにより路面標示と車両との距離を算出するので、路面 標示の状態が良い部分を選択して距離測定の起点とすることが可能であり、距離測 定の精度を向上させることができる。
[0013] また、請求項 4の路面標示認識システムでは、撮像した画像に基づ!/ヽて、車両が走 行する路面に形成された路面標示の内、高速道路の本線と取り付け道の接続部に 位置する車線境界線の路面標示に対する検出を行うので、ペイントが剥がれて 2重 線へと分割され易い車線境界線の路面標示に対しても少しでも多くの路面標示を検 出対象とすることができ、検出結果を用いた運転の支援や情報開示など様々なサー ビスを提供することが可能となる。
[0014] 更に、請求項 5の路面標示認識システムでは、撮像した画像に基づ!/、て所定間隔 で並行する 2重線が路面上に形成されていると認識された場合であって、車両の現 在地力ゝら所定範囲内に路面標示がない場合に、認識された 2重線を長さ方向に分割 された状態の線を備えた路面標示の一部又は全部として検出するので、ペイントが 剥がれる等して 2重線に分割されてしまった路面標示においても、正しい種類の路面 標示として検出することが可能となる。従って、検出の精度を向上させることが可能と なる。
図面の簡単な説明
[図 1]図 1は第 1実施形態に係る運転支援装置の概略構成図である。
[図 2]図 2は第 1実施形態に係る運転支援装置の制御系を模式的に示すブロック図 である。
[図 3]図 3は第 1実施形態に係る路面標示 DBの記憶領域を示した図である。
[図 4]図 4は第 1実施形態に係る運転支援装置において使用されるカスレパターンの 内、特に「横断歩道有り」の路面標示のカスレパターンを示した説明図である。
[図 5]図 5は第 1実施形態に係る運転支援装置において使用されるカスレパターンの 内、特に「横断歩道有り」の路面標示のカスレパターンを示した説明図である。
[図 6]図 6は路面標示を撮像する車両を示した俯瞰図である。
[図 7]図 7は路面標示を撮像する車両を示した側面図である。
[図 8]図 8は図 6及び図 7の状態における車両の後方カメラによって撮像された撮像 画像を示した模式図である。
[図 9]図 9車両の後方カメラによって路面標示を撮像した際の車両力 制御対象物ま での距離の算出方法について示した模式図である。
[図 10]図 10は第 1実施形態に係る運転支援装置における運転支援処理プログラム のフローチャートである。
[図 11]図 11は特にカスレパターンがパターン 4に分類される「横断歩道有り」の路面 標示が車両の周辺に形成されている場合を示した俯瞰図である。
[図 12]図 12は特にカスレパターンがパターン 8に分類される「横断歩道有り」の路面 標示が車両の周辺に形成されている場合を示した俯瞰図である。
[図 13]図 13は第 2実施形態に係る運転支援装置にお 、て使用される「太 、破線」の 路面標示のカスレパターンを示した説明図である。
[図 14]図 14は第 2実施形態に係る運転支援装置における運転支援処理プログラム のフローチャートである。
[図 15]図 15は特にカスレパターンがパターン 4に分類される「太 、破線」の路面標示 が車両の前方に形成されている場合を示した俯瞰図である。
[図 16]図 16は特にカスレパターンがパターン 5に分類される「太 、破線」の路面標示 が車両の周辺に形成されている場合を示した俯瞰図である。
圆 17]図 17は第 3実施形態に係る運転支援装置の概略構成図である。
符号の説明
1 運 ¾5支援装置
2 車両
3 後方カメラ
5 車両 ECU
6 ナビゲーシヨン ECU
7 液晶ディスプレイ
8 スピーカ
9 現在地検出部
11 ブレーキアクチユエ一 -タ
12 アクセルァクチユエ一 -タ
42 路面標示 DB
発明を実施するための最良の形態
[0017] 以下、本発明に係る路面標示認識システムを用いた運転支援装置について具体 化した第 1乃至第 3実施形態に基づき図面を参照しつつ詳細に説明する。
[0018] (第 1実施形態）
先ず、第 1実施形態に係る運転支援装置 1の概略構成について図 1を用いて説明 する。図 1は第 1実施形態に係る運転支援装置 1の概略構成図である。
図 1に示すように、第 1実施形態に係る運転支援装置 1は、車両 2に対して設置され た後方カメラ (撮像手段） 3、ナビゲーシヨン装置 4、車両 ECU5等で構成されている。
[0019] 後方カメラ 3は、例えば CCD等の固体撮像素子を用いたものであり、車両 2の後方 に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より 4 5度下方に向けて設置される。そして、駐車時に車両 2の進行方向となる車両後方を 撮像し、その撮像した画像 (以下、 BGM (バック'ガイド 'モニタ)画像とする）はナビゲ ーシヨン装置の液晶ディスプレイ 7に表示される。一方、通常走行中においては、後 述のように車両 2の周囲の路面上に形成された停止線、横断歩道、車両の最高速度 等の路面標示を撮像する。そして、撮像された路面標示の画像に基づいて車両 2か ら停止線や交差点、カーブ進入口等の走行案内や車両の制御を行う対象となる制 御対象物までの距離が間接的に算出される。
[0020] また、ナビゲーシヨン装置 4は、ナビゲーシヨン ECU (エレクトロニック 'コントローノレ' ユニット） 6と、車両 2の室内のセンターコンソール又はパネル面に備え付けられ、地 図や目的地までの探索経路を表示する液晶ディスプレイ 7と、経路案内に関する音 声ガイダンスを出力するスピーカ 8と、車両 2の現在地と進行方向を地図上で特定す る現在地検出部 (現在地検出手段） 9と、地図を表示するための地図データや路面 上に形成された路面標示の種類及び位置に関する情報が記憶されたデータ記録部 10と、情報センタ等と通信を行う為の通信装置 13とから構成されている。
ナビゲーシヨン ECU (路面標示検出手段、標示情報抽出手段、標示状態判定手段 、距離算出手段) 6は、通常の経路探索及び経路案内の処理の他に、後方カメラ 3で 撮像した撮像画像から車両 2が走行する路面に形成された路面標識を検出する検 出処理、車両 2から停止線や交差点、カーブ進入口等の制御対象物までの距離を 検出した路面標示力 間接的に算出する算出処理、算出された距離に基づいて車 両 2の駆動制御の指示及び経路の案内処理等を行う電子制御ユニットである。尚、 ナビゲーシヨン ECU6の詳細な構成については後述する。
[0021] そして、車両 ECU5は、エンジン、変速機、アクセル、ブレーキ等の作動を制御する 車両 2の電子制御ユニットであり、ブレーキアクチユエータ 11、アクセルァクチユエ一 タ 12が接続されている。そして、ナビゲーシヨン ECU6は、所定の条件を満たした場 合に車両 ECU5を介してブレーキアクチユエータ 11及びアクセルァクチユエータ 12 に制御信号を送信し、ブレーキ圧やエンジンに吸入する空気量を変化させ、制動力 を自動で付与させる。
[0022] 次に、第 1実施形態に係る運転支援装置 1の制御系に係る構成について特にナビ ゲーシヨン装置 4を中心にして図 2に基づき説明する。図 2は第 1実施形態に係る運 転支援装置 1の制御系を模式的に示すブロック図である。
図 2において、運転支援装置 1の制御系は、ナビゲーシヨン装置 4と、車両 ECU5を 基本にして構成され、各制御手段に対して所定の周辺機器が接続されて 1、る。
[0023] 以下に、ナビゲーシヨン装置 4を構成する各構成要素について説明すると、現在地 検出部 9は、 GPS31、地磁気センサ 32、ジャイロセンサ 33、ステアリングセンサ 34、 距離センサ 35、高度計 (図示せず)等からなり、現在の自車の位置、方位、所定地点 力もの走行距離等を検出することが可能となっている。
[0024] 具体的には、 GPS31は、人工衛星によって発生させられた電波を受信することに より、地球上における自車の現在地及び現在時刻を検出し、地磁気センサ 32は、地 磁気を測定することによって自車方位を検出する。
[0025] そして、ジャイロセンサ 33は自車の旋回角を検出する。ここで、ジャイロセンサ 33と しては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセン サ 33によって検出された旋回角を積分することにより、自車方位を検出することがで きる。
[0026] また、ステアリングセンサ 34は自車の舵 (だ）角を検出する。ここで、ステアリングセ ンサ 34としては、例えば、ステアリングホイール（図示せず)の回転部に取り付けられ た光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使 用される。
[0027] 更に、距離センサ 35はエンジン力も一定走行距離毎に発生される車速パルスに基 づいて、移動速度 (積算移動距離)を検出する。
[0028] また、データ記録部 10は、外部記憶装置及び記録媒体としてのハードディスク（図 示せず）と、ハードディスクに記録された所定のプログラム、地図データ等の経路案 内及び地図表示に必要な情報が格納された地図 DB41、路面標示に関する情報が 格納された路面標示 DB (標示状態記憶手段、標示位置記憶手段) 42等を読み出す とともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図 示せず）とを備えている。尚、第 1実施形態においては、データ記録部 10の外部記 憶装置及び記憶媒体としてハードディスクが使用されるが、ハードディスクのほかに、 フレキシブルディスク等の磁気ディスクを外部記憶装置として使用することができる。 また、メモリーカード、磁気テープ、磁気ドラム、 CD、 MD、 DVD,光ディスク、 MO、 I Cカード、光カード等を外部記憶装置として使用することもできる。
[0029] また、地図 DB41に対しては、経路案内及び地図表示に必要な各種情報が記録さ れており、例えば、地図を表示するための地図データ、各交差点に関する交差点デ ータ、ノード点に関するノードデータ、道路に関する道路データ、経路を探索するた めの探索データ、施設に関する施設データ、地点を検索するための検索データ等が 記録されている。更に、第 1実施形態に係るナビゲーシヨン装置 4では路面標示 DB4 2に対して路面上に形成された路面標示の種類 (例えば、停止線、横断歩道、最高 速度）と、路面標示のペイントのカスレ状態を示したカスレパターンと、検出された路 面標示の種類を特定する為の特定情報と、路面標示の位置を地図上で特定する座 標データについても記録されている。尚、路面標示 DB42については後に図 3を用 いて詳細に説明する。
[0030] また、ナビゲーシヨン ECU6は、ナビゲーシヨン装置 4の全体の制御を行う演算装置 及び制御装置としての CPUの他に、 CPUが各種の演算処理を行うに当たってヮー キングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶 される RAMや、制御用のプログラムのほか、目的地までの経路の探索、探索した誘 導経路の案内を行う経路案内処理プログラム、後方カメラ 3で撮像した画像に基づ ヽ て制御対象物 (停止線や交差点、カーブ進入口等)との距離を算出し、運転補助を 行う後述の運転支援処理プログラム（図 10参照）が記録された ROM等の内部記憶 装置を備えている。尚、前記 RAM、 ROM等としては半導体メモリ、磁気コア等が使 用される。そして、演算装置及び制御装置としては、 CPUに代えて MPU等を使用す ることち可會である。
[0031] また、ナビゲーシヨン ECU6には、 GUI制御部 51、ロケーション部 52、経路探索. 案内処理部 53を備え、後方カメラ 3、現在地検出部 9、データ記録部 10及び各周辺 機器力も取得した情報に基づ 、て、各種制御を行う。
[0032] ここで、 GUI制御部 51は、地図 DB41から読み出した地図データとロケーション部
52によって検出された自車の現在位置とに基づいて自車周囲の適当な地図画像を 液晶ディスプレイ 7に表示させるとともに、経路の案内が必要な場合には地図画像に 対してアイコンや案内画面、探索経路等を合成して液晶ディスプレイ 7に表示させる また、ロケーション部 52は、現在地検出部 9から供給される各情報に基づいて、車 両 2の現在の絶対位置 (緯度，経度)を検出する。更に、検出した現在位置と路面標 示 DB42に格納された情報力も車両 2の所定範囲（前方 30m〜後方 20m)内にペイ ントのカスレ状態が所定基準を満たす良好な状態の路面標示が存在するか否かを 判定し、存在する場合には、後方カメラ 3によって撮像した画像を取り込んで解析処 理を行い、路面上の路面標示の検出及び認識を行う。また、撮像した画像から検出 した路面標示と車両 2との距離を算出し、更にその距離力 路面標示に関連付けら れた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチユエ一 タ 11、アクセルァクチユエータ 12を制御して車両 2の駆動制御を行い、又は液晶ディ スプレイ 7及びスピーカ 8により走行の案内を行う。
更に、経路探索 ·案内処理部 53は、目的地が設定された場合においてデータ記録 部 10に記憶されたノード点データや探索データに基づいて現在地から目的地まで の経路探索を行うとともに、設定された誘導経路に従って液晶ディスプレイ 7ゃスピー 力 8を用いて経路の案内を行う。
[0033] また、前記ナビゲーシヨン ECU6には、液晶ディスプレイ 7、スピーカ 8、通信装置 1 3等の各周辺装置が電気的に接続されている。
[0034] 液晶ディスプレイ 7には、操作案内、操作メニュー、キーの案内、現在地から目的地 までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時 刻、メール、テレビ番組、後方カメラ 3で撮像した BGM画像等が表示される。尚、液 晶ディスプレイ 7の代わりに、 CRTディスプレイ、プラズマディスプレイ等を使用したり 、車両のフロントガラスにホログラムを投影するホログラム装置等を使用することも可 能である。
[0035] また、スピーカ 8は、ナビゲーシヨン ECU6からの指示に基づ 、て誘導経路に沿つ た走行を案内する音声ガイダンスを出力する。ここで、案内される音声ガイダンスとし ては、例えば、「200m先の交差点を右折してください。」や「この先の国道〇〇号線 が渋滞しています。」等がある。尚、スピーカ 8より出力される音声としては、合成され た音声のほかに、各種効果音、予めテープやメモリ等に録音された各種の案内情報 を出力することもできる。更に、第 1実施形態に係るナビゲーシヨン装置 4では、自車 力も制御対象物までの距離が所定距離となった場合に、液晶ディスプレイ 7及びスピ 一力 8により制御対象物に関する走行の案内（例えば、停止線が接近していることの 警告等)を行う。
[0036] そして、通信装置 13は、情報センタ、例えば、 VICS (登録商標： Vehicle Inform ation and Communication System)センタ等から送信された渋滞情報、規制 情報、駐車場情報、交通事故情報、サービスエリアの混雑状況等の各情報から成る 交通情報を、道路に沿って配設された電波ビーコン装置、光ビーコン装置等を介し て電波ビーコン、光ビーコン等として受信するビーコンレシーバである。また、通信装 置 13としては、 LAN、 WAN,イントラネット、携帯電話回線網、電話回線網、公衆通 信回線網、専用通信回線網、インターネット等の通信回線網等の通信系において通 信を可能とするネットワーク機器であっても良い。更に、通信装置 13は前記情報セン タからの情報の他に、ニュース、天気予報等の情報から成る FM多重情報を、 FM放 送局を介して FM多重放送として受信する FM受信機を備える。尚、前記ビーコンレ シーバ及び FM受信機は、ユニットィ匕されて VICSレシーバとして配設されるようにな つているが、別々に配設することもできる。また、第 1実施形態に係るナビゲーシヨン 装置 4は通信装置 13を介して情報センタに接続し、地図 DB41及び路面標示 DB42 に格納された情報を更新する。
[0037] 次に、図 3に基づいてデータ記録部 10において路面標示に関する情報が記憶され る路面標示 DB42について説明する。図 3は第 1実施形態に係る路面標示 DB42の 記憶領域を示した図である。
[0038] 図 3に示すように路面標示 DB42の記憶領域は、路面標示の地図データ上におけ る座標 (位置）と、路面標示の種類と、路面標示のペイントのカスレ状態を示したカス レパターンと、路面標示に関連付けられた制御対象物と、路面標示の測定開始点（ 複数ある場合には制御対象物に最も近い測定開始点)から制御対象物までの距離と から構成されている。 [0039] ここで、路面標示 DBに記憶される路面標示のカスレパターンについて図 4及び図 5 を用いて説明する。図 4及び図 5は第 1実施形態に係る運転支援装置 1において使 用されるカスレパターンの内、特に「横断歩道有り」の路面標示 60のカスレパターン を示した説明図である。
[0040] 図 4及び図 5に示すように第 1実施形態に係る運転支援装置 1において「横断歩道 有り」の路面標示 60で定義されているカスレパターンは合計 8パターン力 なり、ペイ ントのかすれて 、る位置と範囲に基づ 、て分類されて 、る。
例えば、パターン 1は、大きなペイントのカスレが無く全体の形がはっきりと残ってい る状態のものが分類される。また、パターン 2は、ペイントが欠落していたり、薄くなつ ているカスレ部分 61が存在するものの外形は残っている状態のものが分類される。ま た、パターン 3は、車両の進行方向に対して手前側にペイントが欠落していたり、薄く なっているカスレ部分 61が存在する状態のものが分類される。また、パターン 4は、 車両の進行方向に対して奥側にペイントが欠落して 、たり、薄くなつて!/、るカスレ部 分 61が存在する状態のものが分類される。また、パターン 5は、車両の進行方向に対 して左側にペイントが欠落して 、たり、薄くなつて!/、るカスレ部分 61が存在する状態 のものが分類される。また、パターン 6は、車両の進行方向に対して右側にペイントが 欠落していたり、薄くなつているカスレ部分 61が存在する状態のものが分類される。 また、パターン 7は、マンホールの蓋や道路の継ぎ目等による障害物 62によってペイ ントの一部が欠落している状態のものが分類される。また、パターン 8は、ペイントが 欠落していたり、薄くなつたりすることによって外形をとどめていない状態のものが分 類される。
[0041] また、各カスレパターンにはそれぞれ路面標示 60の異なる位置に測定開始点 60A 〜60Dが設定されている。ここで、測定開始点 60A〜60Dは路面標示 60を形成す るライン (境界線)の角部や先端部に設けられており、後述のように車両 2と路面標示 との間の距離を算出する際に、車両 2から最も進行方向側にある測定開始点（図 4及 び図 5の「横断歩道有り」の路面標示 60では測定開始点 60A)までの距離を算出す ることによって、その距離を車両 2から路面標示までの距離として扱う。
[0042] ここで、「横断歩道有り」の路面標示 60は 4箇所の測定開始点 60A〜60Dが定義さ れている力 各カスレパターンにおける距離測定の精度を上げる為に測定開始点 60 A〜60Dの内、カスレの少ない部位の測定開始点のみを測定の起点として使用する ように予め設定されている。例えば、パターン 1は、その全ての測定開始点 60A〜60 Dが使用する測定開始点として設定されている。また、パターン 2は、境界線から検 出可能な測定開始点 60A、 60Bのみが使用する測定開始点として設定されている。 また、パターン 3は、境界線力も検出可能な測定開始点 60A、 60Cのみが使用する 測定開始点として設定されている。また、パターン 4は、境界線から検出可能な測定 開始点 60B、 60Dのみが使用する測定開始点として設定されている。また、パターン 5は、境界線力 検出可能な測定開始点 60A、 60Bのみが使用する測定開始点とし て設定されている。また、パターン 6は、境界線力も検出可能な測定開始点 60A、 60 Bのみが使用する測定開始点として設定されている。また、パターン 7は、境界線から 検出可能な測定開始点 60A、 60Bのみが使用する測定開始点として設定されてい る。また、パターン 8は、使用可能な測定開始点は設定されていない。
[0043] そして、後述のようにナビゲーシヨン ECU6は路面標示 DB42から検出を行う路面 標示のカスレパターンを読み出し、距離測定の起点として使用すると設定された測定 開始点から一の測定開始点を選択して、車両 2から最も進行方向側にある測定開始 点（図 4及び図 5に示す「横断歩道有り」の路面標示 60では測定開始点 60A)までの 距離を算出する（図 10の S7、 S8)。それによつて、カスレの少ない部分を距離測定 の起点とすることが可能であり、距離測定の精度を向上させることができる。尚、具体 的な距離の算出方法に関しては後述する。
[0044] また、第 1実施形態に係る運転支援装置 1ではパターン 8に分類される"ペイントが 欠落していたり薄くなつたりして外形をとどめていない路面標示"に関しては、路面標 示の検出処理を行わないように制御される。それによつて、検出することが困難な路 面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低 下させ、また、必要性のある処理のみを行わせることによってナビゲーシヨン ECU6の 処理負荷を低減させることが可能となる。
[0045] 尚、図 4及び図 5においては「横断歩道有り」の路面標示のみのカスレパターンを例 にあげて説明したが、他の路面標示 (例えば、「停止線」、「矢印」、「横断歩道」等）に おいても、同様にパターン 1〜パターン 8のカスレパターンが設定されており、路面標 示 DB42に記録された路面標示は 、ずれかのカスレパターンに分類されて 、る。そ して、各パターンには同様に測定開始点が定義され、更にパターン 8に分類された 路面標示に関しては、路面標示の検出処理を行わないように制御される。
[0046] ここで、図 3に戻って路面標示 DB42の記憶領域について説明すると、例えば、図 3では座標 (xl, yl)にはカスレパターン 2の「横断歩道有り」の路面標示が形成され ており、且つその路面標示には 60m前方に制御対象物として「停止線」の路面標示 が対応付けられていることを示す。また、座標 (x2, y2)にはカスレパターン 8の「矢印 」の路面標示が形成されており、且つその路面標示には 54m前方に制御対象物とし て「交差点 (交差点のノード)」が対応付けられていることを示す。また、座標 (x3, y3) にはカスレパターン 1の「最高速度」の路面標示が形成されており、且つその路面標 示には 72m前方に制御対象物として「コーナ（コーナ開始点のノード)」が対応付けら れていることを示す。また、座標 (x4, y4)にはカスレパターン 3の「横断歩道」の路面 標示が形成されており、且つその路面標示には 89m前方に制御対象物として「交差 点 (交差点のノード)」が対応付けられて 、ることを示す。
[0047] ここで、制御対象物は走行案内や車両の制御を行う対象となるものであり、路面標 示が形成された道路の進行方向であって、所定区間（例えば、 10m〜200m)にある ノード点や他の路面標示が用いられている。そして、ナビゲーシヨン ECU6は後方力 メラ 3が路面標示 DB42に記録されたいずれかの路面標示を撮像した際に、撮像し た画像力も関連付けられた制御対象物に対しての距離を間接的に算出し、その距離 が所定距離となった場合に車両 2の駆動制御や走行の案内を行う。
[0048] また、車両 2の駆動制御や走行の案内の内容は関連付けられた制御対象物の種 類によって異なり、例えば、制御対象物として「停止線」が対応付けられていた場合 には、停止線との距離が 50mとなった時点で停止線が接近していることを示す「停止 線が接近しています。」との文字列を液晶ディスプレイ 7に表示させ、またスピーカ 8か ら同内容の警告音声を出力する。更に、その時点で減速が行われていない場合に は、ブレーキアクチユエータ 11を制御して停止線の手前で車両 2が停止するように減 速制御を行う。 [0049] また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差 点のノードとの距離が 10mとなった時点で設定された誘導経路に従って経路案内を 行う。例えば、左折を示す案内表示を液晶ディスプレイ 7に表示させ、「次の交差点を 左折して下さい。」の案内音声をスピーカ 8から出力する。尚、誘導経路が設定されて V、な 、場合に関しては、特に案内表示や案内音声の出力は行わな 、。
[0050] また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ 開始点のノードとの距離が 50mとなった時点でコーナ進入前に地図 DB41に記録さ れたコーナの Rに対する最適な速度（例えば、 R30で 40kmZh)となるようにブレー キアクチユエータ 11及びアクセルァクチユエータ 12を制御して加速、減速制御を行う 。更に、コーナリング中には最適な速度となるように同様にブレーキアクチユエータ 11 及びアクセルァクチユエータ 12を制御して加速、減速制御を行う。
[0051] 次に、図 6乃至図 9を用いて車両 2の後方カメラ 3によって路面標示を撮像した際の 車両 2と路面標示との距離、及び車両 2と路面標示に関連付けられた制御対象物と の距離の算出方法について具体例をあげて説明する。
以下の具体例では、車両 2が走行する路面 65に形成された路面標示の内、特に制 御対象物として停止線の路面標示 69が対応付けられたカスレパターンがパターン 1 の「横断歩道有り」の路面標示 60を撮像した場合を示すこととする。図 6は路面標示 60を撮像する車両 2を示した俯瞰図、図 7は路面標示 60を撮像する車両 2を示した 側面図、図 8は図 6及び図 7の状態における車両 2の後方カメラ 3によって撮像された 撮像画像 70を示した模式図である。
[0052] 後方カメラ 3は、図 7に示すように車両 2の後バンパー 71付近力も後方を撮像できる ように光軸 Lを水平力も 45度下方向に向けるように取り付けられており、撮像範囲が 固定されている。従って、後方カメラ 3によって撮像された図 8に示す撮像画像中の 画像データの位置 (具体的には下縁からの画素数)から、被写体までの距離を計算 することができる。
[0053] ここで、路面標示には前記したように車両 2との距離を計測する為の測定開始点が 予め複数箇所に定義されており、更にカスレパターンに合わせて測定開始の起点と して使用する測定開始点が設定されている（図 4、図 5参照)。 [0054] そして、図 8に示す路面標示を撮像した撮像画像中にぉ 、て、測定開始点の位置（ 具体的には下縁から測定開始点までの画素数)から車両 2と測定開始点の間の距離 D1を算出することが可能となる。ここで、複数ある測定開始点の内、いずれの測定開 始点との間の距離を算出するかは、路面標示ごとに決まっており、例えば、図 4に示 すカスレパターン 1の「横断歩道有り」の路面標示 60では測定開始点 60Aとの距離 が算出される。但し、測定開始点 60Aが何らかの原因 (例えば、砂や水溜り等の障害 物によって白線の一部が隠れた場合）によって特定できな力つた場合には、先ず測 定開始点 60Bまでの距離を算出し、その後に測定開始点 60Aと測定開始点 60Bと の距離を用いることによって測定開始点 60Aとの距離が間接的に算出される。更に、 測定開始点 60Bについても特定できな力つた場合には測定開始点 60Cが用いられ 、測定開始点 60Cについても特定できな力つた場合には測定開始点 60Dが用いら れる。
[0055] また、図 4に示すカスレパターン 4の「横断歩道有り」の路面標示 60では距離測定 の起点として使用する測定開始点として測定開始点 60B、 60Dが設定されているの で、先ず測定開始点 60Bまでの距離を算出し、その後に測定開始点 60Aと測定開 始点 60Bとの距離を用いることによって測定開始点 60Aとの距離が間接的に算出さ れる。但し、測定開始点 60Bが何らかの原因（例えば、砂や水溜り等の障害物によつ て白線の一部が隠れた場合）によって特定できなかった場合には、測定開始点 60D が用いられる。尚、他のカスレパターン及び他の路面標示についても同様に、使用さ れるように設定された複数の測定開始点の内、いずれの測定開始点との間の距離を 算出する力決まっている。
[0056] 一方、前記した方法によって車両 2と路面標示の測定開始点までの距離 D1が算出 されると、それに基づいて車両 2から検出された路面標示に関連付けられた制御対 象物（図 3参照)までの距離を算出することが可能である。図 9は、車両 2の後方カメラ 3によって路面標示を撮像した際の車両 2から制御対象物までの距離の算出方法に つ！ヽて示した模式図である。
[0057] 図 9では、「横断歩道有り」の路面標示 60を車両 2が後方カメラ 3で検出した場合を 示すものであり、更に、路面標示 60には制御対象物として前方の距離 D2にある「停 止線」の路面標示 69が関連付けられて 、る。
その場合には、距離 D2から距離 D1を減算することによって、路面標示 60検出時 点での車両 2から制御対象物までの距離 (D2-D1)を算出することが可能となる。ま た、ナビゲーシヨン ECU6はエンジンから一定走行距離毎に発生される車速パルス に基づいて距離センサ 35により車両 2の走行距離 Sを算出する。そして、車両 2から 制御対象物までの距離 (D2— D1)カゝら走行距離 Sを減算することによって、走行中 の車両 2から制御対象物までの距離 (D2-D1 -S)を算出することが可能となる。ま た、算出された「停止線」の路面標示 69までの距離 (D2— Dl— S)に基づいてブレ 一キアクチユエータ 11を制御することにより、停止線に沿って車両 2が停止されるよう にブレーキ圧を調整することが可能となる。
以上のように、直接制御対象物を認識することなぐ後方カメラ 3によって検出され た路面標示力 前方にある制御対象物までの距離を間接的に算出することにより、よ り早 、段階で正確な制御対象物までの距離 (D2-D1 -S)を算出することが可能と なる。そして、算出された正確な制御対象物までの距離 (D2— D1— S)に基づいて 適切な車両の制御や、より的確なタイミングでの走行案内ができる。
[0058] 続いて、前記構成を有する第 1実施形態に係る運転支援装置 1のナビゲーシヨン E CU6が実行する運転支援処理プログラムについて図 10に基づき説明する。図 10は 第 1実施形態に係る運転支援装置 1における運転支援処理プログラムのフローチヤ ートである。ここで、運転支援処理プログラムは、車両 2が路面を走行する際において 後方カメラ 3により撮像した撮像画像カゝら路面標示を検出するとともに、検出した路面 標示力も車両と制御対象物までの距離を検出し、その距離に基づいて利用者の運 転を補助する制御を行うものである。尚、以下の図 10にフローチャートで示されるプ ログラムはナビゲーシヨン ECU6が備えて!/、る ROMや RAMに記憶されており、 CP Uにより実行される。
[0059] 運転支援処理では、先ずステップ (以下、 Sと略記する） 1にお 、て、ナビゲーシヨン ECU6は現在地検出部 9によって検出した車両 2の現在地情報と路面標示 DB42 ( 図 3参照）に記録された路面標示の位置情報に基づいて、車両 2の周辺 (第 1実施形 態では車両 2の前方 2000m〜後方 500m)に位置する路面標示の情報を路面標示 DB42から読み出す。
[0060] 次に、 S2では前記 SIで読み出された路面標示の内、特に車両 2の所定範囲（車 両 2の前方 30m〜後方 20m)に位置する路面標示がある力否かを判定する。そして 、車両 2の所定範囲に位置する路面標示があると判定された場合 (S2 : YES)には、 S3へと移行し、車両 2の所定範囲に位置する路面標示のカスレパターンを路面標示 DB42から読み出す。一方、車両 2の所定範囲に位置する路面標示がないと判定さ れた場合 (S2 :NO)には、 S1へと戻り再度、現在地点に基づく路面標示の情報の読 み出しを行う。尚、この S3が標示情報抽出手段の処理に相当する。
[0061] 続いて、 S4では前記 S3で読み出したカスレパターンが後方カメラ 3で検出対象とな るカスレパターンである力否かが判定される。ここで、第 1実施形態に係る運転支援 装置 1ではカスレパターンとしてパターン 1〜パターン 8の 8種類のパターンが設けら れており（図 4及び図 5参照）、パターン 1〜パターン 7のカスレパターンに分類されて いる路面標示に関しては、一部にペイントのカスレが生じていたとしてもナビゲーショ ン ECU6によって少なくとも認識が可能な路面標示であり、後方カメラ 3による検出対 象となる路面標示であると判定される。
一方、パターン 8のカスレパターンに分類されている路面標示に関してはカスレによ つて外形の正しい検出ができない認識が困難な路面標示であり、後方カメラ 3による 検出対象としない路面標示であると判定される。尚、この S4が標示状態判定手段の 処理に相当する。
[0062] そして、後方カメラ 3で検出対象となるカスレパターン (第 1実施形態ではパターン 1 〜パターン 7)であると判定された場合 (S4 : YES)には、 S5へと移行し路面標示の 画像認識処理を行う。それに対し、後方カメラ 3で検出対象とならないカスレパターン (第 1実施形態ではパターン 8)であると判定された場合 (S4 : NO)には、 S1へと戻り 再度、現在地点に基づく路面標示の情報の読み出しを行う。ここで、図 11は特に力 スレパターンがパターン 4に分類される「横断歩道有り」の路面標示 60が車両 2の周 辺に形成されて ヽる場合を示した俯瞰図であり、後方カメラ 3で撮像した画像力ゝら路 面標示 60の画像認識処理が行われる。また、図 12は特にカスレパターンがパターン 8に分類される「横断歩道有り」の路面標示 60が車両 2の周辺に形成されている場合 を示した俯瞰図であり、この場合には後方カメラ 3で撮像した画像による路面標示 60 の画像認識処理は行われな 、。
[0063] そして、 S5の路面標示の画像認識処理では、後方カメラ 3によって撮像される車両 2の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成さ れた路面標示の境界線や測定開始点を特定するとともに、検出された路面標示の種 類を判定する。
具体的には、先ず、 NTSCのようなアナログ通信手段や、 i linkのようなデジタル 通信手段を用いて後方カメラ 3で撮像した映像を入力し、 jpeg、 mpeg等のデジタル 画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用 いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度 補正を行う。その後、対象となる路面標示を画像から分離する 2値化処理、歪みを補 正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の 路面との境界線及び測定開始点を検出する。
その後、検出された境界線及び特定された測定開始点の配置力 検出された路面 標示の種類を特定し、更には特定された路面標示の種類が前記 S2で自車の所定範 囲に存在すると判定された路面標示の種類と一致する力否かを判定する。
[0064] そして、 S6では前記 S5の画像認識処理によって路面標示が認識された力否かが 判定される。その結果、路面標示が認識されたと判定された場合 (S6 :YES)、即ち、 撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示が前記 S2 で自車の周隨こ位置すると判定された路面標示の種類と一致すると判定された場合 には、 S7へと移行する。一方、路面標示が認識されなカゝつたと判定された場合 (S6 : NO)、即ち、撮像された撮像画像中に路面標示が検出されなカゝつたカゝ、又は、検出 された路面標示が前記 S2で自車の周囲に位置すると判定された路面標示の種類と 一致しないと判定された場合には、 S1へと戻り再度、現在地点に基づく路面標示の 情報の読み出しを行う。尚、以上の S1〜S6が路面標示検出手段の処理に相当する
[0065] 続いて、 S7では前記 S3で読み出された路面標示のカスレパターンと、前記 S5で 画像処理が施された撮像画像から、後方カメラ 3によって撮像した路面標示の測定 開始点を検出する検出処理が行われる。
例えば、図 6に示すようにカスレパターン 1に分類された「横断歩道有り」の路面標 示 60が車両 2の周隨こ位置する路面表示として認識された場合には、測定開始点 6 OAが先ず距離測定の起点として選択され、路面標示の境界線に基づいて検出され る。但し、測定開始点 60Aが砂や水溜り等の障害物によって検出できない場合には 、測定開始点 60B、 60C、 60Dの優先順で他の測定開始点が選択され、検出される また、図 11に示すようにカスレパターン 4に分類された「横断歩道有り」の路面標示 60が車両 2の周隨こ位置する路面表示として認識された場合には、測定開始点 60 Bが先ず距離測定の起点として選択され、路面標示の境界線に基づいて検出される 。但し、測定開始点 60Bが砂や水溜り等の障害物によって検出できない場合には、 測定開始点 60Dが選択され、検出される。
[0066] S8では前記 S3で検出された路面標示と車両 2との間の距離を算出する。具体的に は、路面標示を撮像した撮像画像 (図 8参照）中において前記 S7で検出された測定 開始点の位置 (具体的には下縁から測定開始点までの画素数)から、車両 2と測定 開始点の間の距離 D1を算出する。尚、以上の S7〜S8が距離算出手段の処理に相 当する。
[0067] その後、 S9では前記 S8で算出された車両 2と測定開始点の間の距離 D1と、検出 された路面標示に関連付けられた制御対象物までの距離 D2 (D2の値は予め路面 標示 DB42に記憶される。図 3参照）から、車両 2から検出された路面標示に関連付 けられた制御対象物までの距離 (D2— D1)を算出する（図 9参照)。
[0068] 更に、 S 10ではエンジンから一定走行距離毎に発生される車速パルスに基づいて 距離センサ 35により路面標示の検出地点力もの車両 2の走行距離 Sを算出し、前記 S6で算出された車両 2と制御対象物までの距離 (D2— D1)に基づいて、走行中の 車両 2から制御対象物までの残距離 (D2— D 1— S)を算出する（図 9参照)。
[0069] また、 S11では前記 S10で算出された制御対象物までの残距離 (D2— Dl— S)に 基づいて、車両 2が制御対象物の種類ごとに設定された案内又は制御開始地点に 到達した力否かが判定される。例えば、制御対象物が「停止線」の路面標示である場 合には残距離が 50m以内である場合に、案内又は制御開始地点に到達したと判定 される。また、制御対象物が「交差点」の路面標示である場合には残距離が 10mであ る場合に、案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コ ーナ」の路面標示である場合には残距離が 50m以内である場合に、案内又は制御 開始地点に到達したと判定される。
[0070] そして、車両 2が案内又は制御開始地点に到達したと判定された場合 (Sl l : YES )には、制御対象物に対する走行の案内又は車両 2の駆動制御が必要力否かが現 在の車両の速度や目的地の設定の有無等に基づいて判定される（S12)。ここで、第 1実施形態に係る運転支援装置 1では、制御対象物として「停止線」が対応付けられ て 、た場合には、停止線との距離が 50mとなった時点で停止線が接近して 、ること を示す「停止線が接近しています。」との文字列を液晶ディスプレイ 7に表示させ、ま たスピーカ 8から同内容の警告音声を出力する。更に、その時点で減速が行われて Vヽな 、場合には、ブレーキアクチユエータ 11を制御して停止線の手前で車両 2が停 止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差 点のノードとの距離が 10mとなった時点で設定された誘導経路に従って経路案内を 行う。例えば、左折を示す案内表示を液晶ディスプレイ 7に表示させ、「次の交差点を 左折して下さい。」の案内音声をスピーカ 8から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ 開始点のノードとの距離が 50mとなった時点でコーナ進入前に地図 DB41に記録さ れたコーナの Rに対する最適な速度（例えば、 R30で 40kmZh)となるようにブレー キアクチユエータ 11及びアクセルァクチユエータ 12を制御して加速、減速制御を行う
[0071] 従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、 既に車両 2が最適な速度で走行している場合においては、ブレーキアクチユエータ 1 1及びアクセルァクチユエータ 12の制御を行う必要がないと判定する。また、制御対 象物として「交差点」が対応付けられて!/ヽた場合であっても、誘導経路が設定されて いない場合（目的地が設定されていない場合）においては、走行の案内を行う必要 力 いと判定する。
[0072] そして、 S13で制御対象物に対する走行の案内又は車両 2の駆動制御が必要であ ると判定された場合 (S 13 : YES)には、 S 14で制御対象物の種類に従った走行の案 内又は車両 2の駆動制御処理が行われる。具体的な案内処理及び駆動制御処理の 内容に関しては上述の通りである。
[0073] 一方、車両 2が案内又は制御開始地点に到達していないと判定された場合 (S11 :
NO)、及び制御対象物に対する走行の案内又は車両 2の駆動制御が必要でないと 判定された場合 (S13 : NO)には、 S10へと戻り、現在の車両 2から制御対象物まで の残距離 (D2-D1 -S)が再び算出される。
[0074] 続いて、 S15では、前記 S10で算出された制御対象物までの残距離 (D2— D1— S)が 0となった力否力、即ち、車両 2が制御対象物の位置に到達したか否かが判定 される。そして、制御対象物の位置に到達したと判定された場合 (S15 : YES)には、 当該運転支援処理を終了する。それに対し、制御対象物の位置に到達していないと 判定された場合（S15 : NO)には、 S10へと戻り、現在の車両 2から制御対象物の位 置までの残距離 (D2-D1 -S)が再び算出される。
[0075] 以上詳細に説明した通り、第 1実施形態に係る運転支援装置 1では、車両 2から所 定範囲内に検出対象となるカスレパターンに分類された路面標示が存在すると判定 された場合 (S4 : YES)に、後方カメラ 3によって撮像された画像カゝら路面標示を認識 する（S5)とともに、車両 2から認識された路面標示に関連付けられた制御対象物ま での距離を算出し (S7〜S10)、制御対象物までの距離が所定距離となったと判定さ れた場合 (S11 :YES)に、関連付けられた制御対象物の種類に応じた走行の案内 又は車両の制御を行う（S14)ので、直接に停止線や交差点等の制御対象物を検出 する必要が無ぐ制御対象物との距離が離れた早期段階で路面標示の検出結果に 基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能とな る。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必 要とすることなぐ確実に制御対象物に対する制御を行うことが可能となる。また、車 両 2の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要と する箇所での案内において、より正確なタイミングにより経路の案内を行うことができ る。また、従来のように直接に制御対象物を検出する場合においては、対象となる制 御対象物が認識できな力つた場合にその制御対象物に対する案内や制御を行うこと ができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一 の路面標示が検出できな力つた場合であっても、同一の制御対象物が関連付けられ た他の路面標示を検出することによってその制御対象物に対する案内や制御を行う ことが可能となる。
更に、検出することが困難なカスレパターンに分類された路面標示を予め検出対象 力も外すことができ、路面標示の認識における誤認識率を低下させ、一方で必要性 のある処理のみを行わせることによってナビゲーシヨン ECU6の処理負荷を低減させ ることが可能となる。従って、本来のナビゲーシヨン装置 4が有するナビゲーシヨン機 能の処理と並行して処理をすることも可能であり、また、画像処理用の制御部を別途 必要とすることなぐ安価なシステムにより構成することが可能となる。
更に、分類されるカスレパターン毎に設定された測定開始点に基づいて適当な測 定開始点を選択し、車両 2から最も進行方向側にある測定開始点（図 4及び図 5の「 横断歩道有り」の路面標示 60では測定開始点 60A)までの距離を算出するので、路 面標示のカスレの少ない部分を距離測定の起点とすることが可能であり、距離測定 の精度を向上させることができる。
[0076] (第 2実施形態）
次に、第 2実施形態に係る運転支援装置について図 13乃至図 15に基づいて説明 する。尚、以下の説明において上記図 1乃至図 12の第 1実施形態に係る運転支援 装置 1の構成と同一符号は、前記第 1実施形態に係る運転支援装置 1等の構成と同 一あるいは相当部分を示すものである。
[0077] この第 2実施形態に係る運転支援装置の概略構成は、第 1実施形態に係る運転支 援装置 1とほぼ同じ構成である。また、各種制御処理も第 1実施形態に係る運転支援 装置 1とほぼ同じ制御処理である。
そして、第 2実施形態に係る運転支援装置では、路面標示として特に高速道路の 本線と取り付け道の接続部（分岐点、合流点）〖こ位置する太い破線カゝらなる車線境 界線を検出し、制御対象物に対する制御を行う。 [0078] 先ず、図 13に基づいてデータ記録部 10において路面標示に関する情報が記憶さ れる路面標示 DB42について説明する。第 2実施形態に係る運転支援装置におい ては、高速道路の本線と取り付け道の接続部 (分岐点、合流点）に位置する太い破 線力 なる車線境界線の路面標示に関する情報によって構成されている。具体的に 路面標示 DB42の記憶領域は、路面標示の地図データ上における座標 (位置）と、 路面標示の種類と、路面標示のペイントのカスレ状態を示したカスレパターンと、路 面標示に関連付けられた制御対象物と、路面標示力 制御対象物までの距離とから 構成されている（図 3参照)。
[0079] そして、第 2実施形態に係る運転支援装置の路面標示 DB42に記憶される高速道 路の本線と取り付け道の接続部（分岐点、合流点）に位置する太い破線力 なる車線 境界線 (以下、単に「太 、破線」と 、う）の路面標示 80のカスレパターンにつ 、て図 1 3を用いて説明する。図 13は第 2実施形態に係る運転支援装置において使用される 路面標示のカスレパターンの内、特に「太い破線」の路面標示 80のカスレパターンを 示した説明図である。
[0080] 図 13に示すように第 2実施形態に係る運転支援装置にぉ 、て「太 、破線」の路面 標示 80で定義されて!、るカスレパターンは合計 5パターン力 なり、ペイントのかすれ て!、る位置と範囲に基づ 、て分類されて 、る。
例えば、パターン 1は、大きなペイントのカスレが無く矩形の枠が完全に残っていて 、内部もペイントが均一である状態のものが分類される。また、パターン 2は、矩形の 枠は完全に残っているものの、内部のペイントにむらのある状態のものが分類される 。また、パターン 3は、ペイントが欠落していたり、薄くなつているカスレ部分 81が存在 し、短形の枠が一部欠けている状態のものが分類される。また、パターン 4は、ペイン トが欠落していたり、薄くなつたりすることによって外形をとどめておらず太い破線に 見えない状態のものが分類される。更に、パターン 5は、破線のペイントの長さ方向に 亀裂 82が入ることにより左右に分割され、 2重線に見える状態のものが分類される。
[0081] そして、後述のようにナビゲーシヨン ECU6は、後方カメラ 3で撮像した画像から「太 V、破線」の路面標示 80を検出した場合に、車両 2が検出した「太 、破線」の路面標示 80を跨 、だか否力判定され、跨 、だ場合には路面標示 80に対応付けられた制御対 象物までの距離を路面標示 DB42から抽出し、自車の現在位置を正確に特定するこ とが可能となる。更に、特定した自車の正確な現在位置に基づいて、運転の支援や 情報開示など様々なサービスの提供が可能となる。
[0082] ここで、第 2実施形態に係る運転支援装置ではパターン 3に分類される"ペイントが 欠落していたり、薄くなつているカスレ部分 81が存在し、短形の枠が一部欠けている 状態の太い破線"に関しては強引に認識させようとすると他の場所に形成された他の 種類の路面標示が、該当する「太い破線」の路面標示 80として誤って認識されてしま う虞がある。そこて、パターン 3に分類される「太い破線」の路面標示 80については、 検出処理を行わないように制御される。それによつて、検出することが困難な路面標 示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下さ せ、また、必要性のある処理のみを行わせることによってナビゲーシヨン ECU6の処 理負荷を低減させることが可能となる。
[0083] また、パターン 4に分類される"ペイントが欠落していたり、薄くなつたりすることによ つて外形をとどめて 、な ヽ太 、破線"に関しては後方カメラ 3で撮像した画像からは 認識することが困難である。そこて、ノターン 4に分類される「太い破線」の路面標示 80については、検出処理を行わないように制御される。それによつて、検出すること が困難な路面標示を予め検出対象力も外すことができ、路面標示の認識における誤 認識率を低下させ、また、必要性のある処理のみを行わせることによってナビゲーシ ヨン ECU6の処理負荷を低減させることが可能となる。
[0084] また、パターン 5に分類される"破線のペイントの長さ方向に亀裂 82が入ることにより 分割され、 2重線に見える状態の太い破線"に関しては、後方カメラ 3で撮像した画像 から認識を行うと、太い破線でなく 2重線として認識される可能性が高い。そこて、パ ターン 5に分類される「太い破線」の路面標示 80については、 2重線が認識された場 合に自車周辺に 2重線を備えた路面標示が無ければ太い破線が認識されたと置き 換えて「太い破線」の路面標示 80を検出したと取り扱う。それによつて、 2重線へと分 割された状態の線を備えた路面標示に対しても、誤認識率を低下させつつ検出対象 とすることが可能となる。
[0085] 続ヽて、前記構成を有する第 2実施形態に係る運転支援装置のナビゲーシヨン EC U6が実行する運転支援処理プログラムについて図 14に基づき説明する。図 14は第 2実施形態に係る運転支援装置における運転支援処理プログラムのフローチャート である。ここで、運転支援処理プログラムは、車両 2が路面を走行する際において後 方カメラ 3により撮像した撮像画像から「太い破線」の路面標示を検出するとともに、 検出した路面標示力 車両と制御対象物までの距離を検出し、その距離に基づいて 利用者の運転を補助する制御を行うものである。尚、以下の図 14にフローチャートで 示されるプログラムはナビゲーシヨン ECU6が備えている ROMや RAMに記憶され ており、 CPUにより実行される。
[0086] 運転支援処理では、先ず S 101において、ナビゲーシヨン ECU6は現在地検出部 9 によって検出した車両 2の現在地情報と路面標示 DB42 (図 3参照）に記録された路 面標示の位置情報に基づいて、車両 2の周辺（第 2実施形態では車両 2の前方 200 Om〜後方 500m)に位置する路面標示の情報を路面標示 DB42から読み出す。
[0087] 次に、 S 102では前記 S1で読み出された路面標示の内、特に車両 2の所定範囲（ 車両 2の前方 30m〜後方 20m)に位置する「太 、破線」の路面標示 80があるか否か を判定する。そして、車両 2の所定範隨こ位置する「太い破線」の路面標示 80がある と判定された場合（S102 : YES)には、 S103へと移行し、車両 2の所定範囲に位置 する「太 、破線」の路面標示 80のカスレパターンを路面標示 DB42から読み出す。 一方、車両 2の所定範囲に位置する「太 、破線」の路面標示 80がな 、と判定された 場合 (S102 :NO)には、 S101へと戻り再度、現在地点に基づく路面標示の情報の 読み出しを行う。尚、この S103が標示情報抽出手段の処理に相当する。
[0088] 続いて、 S104では前記 S103で読み出したカスレパターンが後方カメラ 3で検出対 象となるカスレパターンである力否かが判定される。ここで、第 2実施形態に係る運転 支援装置では「太 、破線」の路面標示 80のカスレパターンとしてパターン 1〜パター ン 5の 5種類のパターンが設けられており（図 13参照）、パターン 1とパターン 2のカス レパターンに分類されている路面標示に関しては、一部にペイントのカスレが生じて いたとしてもナビゲーシヨン ECU6によって少なくとも認識が可能な路面標示であり、 後方カメラ 3による検出対象となる路面標示であると判定される。
一方、パターン 3とパターン 4のカスレパターンに分類されて 、る路面標示に関して はカスレによって外形の正しい検出ができない認識が困難な路面標示であり、後方 カメラ 3による検出対象としない路面標示であると判定される。
更に、パターン 5のカスレパターンに分類されて 、る路面標示に関してはカスレによ つて 2重線に誤認識される可能性の高い路面標示であり、後述のように 2重線が認識 された場合であっても一定条件を満たした場合には太い破線が認識されたと置き換 えて検出する処理を行う路面標示であると判定される。尚、この S104が標示状態判 定手段の処理に相当する。
[0089] そして、後方カメラ 3で検出対象となるカスレパターン (第 2実施形態ではパターン 1 、パターン 2、パターン 5)であると判定された場合（S104 : YES)には、 S105へと移 行し路面標示の画像認識処理を行う。それに対し、後方カメラ 3で検出対象とならな いカスレパターン (第 2実施形態ではパターン 3、パターン 4)であると判定された場合 (S 104 : NO)には、 S101へと戻り再度、現在地点に基づく路面標示の情報の読み 出しを行う。
[0090] ここで、図 15は特にカスレパターンがパターン 4に分類される「太い破線」の路面標 示が車両 2の前方に形成されて!ヽる場合を示した俯瞰図である。図 15に示すように 車両 2が高速道路の本線 85を走行しており、車両 2の進行方向に本線 85から分岐 する取り付け道 86がある場合には、本線 85と取り付け道 86の接続部に形成された「 太い破線」の路面標示 87の情報が路面標示 DB42から読み出される（S 101)。 そして、読み出された「太い破線」の路面標示 87が図 15に示すようにペイントの消 失して 、るカスレパターン 4に分類される「太 、破線」の路面標示であった場合には、 その後に後方カメラ 3で撮像した画像に基づく路面標示 87の画像認識処理 (S105) を行わないようにする。
[0091] 次に、 S 105の路面標示の画像認識処理では、後方カメラ 3によって撮像される車 両 2の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形 成された路面標示の境界線を特定するとともに、検出された路面標示の種類を判定 する。
具体的には、先ず、 NTSCのようなアナログ通信手段や、 i linkのようなデジタル 通信手段を用いて後方カメラ 3で撮像した映像を入力し、 jpeg、 mpeg等のデジタル 画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用 いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度 補正を行う。その後、対象となる路面標示を画像から分離する 2値化処理、歪みを補 正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の 路面との境界線を検出する。その後、検出された境界線の形状から検出された路面 標示の種類を特定する。尚、上記 S 105が画像認識手段の処理に相当する。
[0092] そして、 S 106では前記 S 105の画像認識処理によって「太い破線」の路面標示 80 が認識されたカゝ否かが判定される。その結果、「太い破線」の路面標示 80が認識さ れたと判定された場合 (S106 :YES)、即ち、撮像された撮像画像中に路面標示を 検出し、且つ、検出された路面標示が前記 S102で自車の周囲に位置すると判定さ れた「太い破線」の路面標示 80であると判定された場合には、 S109へと移行する。 一方、「太 ヽ破線」の路面標示 80が認識されなカゝつたと判定された場合 (S 106： NO )、即ち、撮像された撮像画像中に路面標示が検出されなカゝつたカゝ、又は、検出され た路面標示が前記 S 102で自車の周囲に位置すると判定された「太 、破線」の路面 標示 80でないと判定された場合には、 S 107へと移行する。
[0093] S107では前記 S105の画像認識処理によって線が所定間隔で並行する 2重線が 認識されたカゝ否かが判定される。その結果、 2重線が認識されたと判定された場合 (S 107 : YES)、即ち、撮像された撮像画像中に路面標示を検出し、且つ、検出された 路面標示の線が所定間隔で並行する 2重線であると判定された場合には、 S 108へ と移行する。一方、 2重線が認識されな力つたと判定された場合 (S 107 : NO)には、 S 105へと戻り、後方カメラ 3によって撮像された画像に基づく画像認識処理が再び 行われる。
[0094] そして、 S108でナビゲーシヨン ECU6は、認識した 2重線を「太い破線」の路面標 示 80に置き換え可能であるか否力判定される。具体的には、先ず車両 2の現在位置 力も所定範囲内（例えば、車両 2の前方 30m〜後方 20m)に他の 2重線を備えた路 面標示がある力否かを判定する。そして、他の 2重線を備えた路面標示が無いと判定 された場合には、認識した 2重線を「太い破線」の路面標示 80に置き換え可能である と判定する。その結果、認識した 2重線を「太い破線」の路面標示 80の一部又は全部 として検出する。
[0095] ここで、図 16は特にカスレパターンがパターン 5に分類される「太い破線」の路面標 示が車両 2の前方に形成されている場合を示した俯瞰図である。図 16に示すよう〖こ 車両 2が高速道路の本線 91を走行しており、車両 2の進行方向に本線 91から分岐 する取り付け道 92がある場合には、本線 91と取り付け道 92の接続部に形成された「 太い破線」の路面標示 93の情報が路面標示 DB42から読み出される（S 101)。 そして、読み出された「太い破線」の路面標示 93が図 16に示すようにペイントが長 さ方向に分割されたカスレパターン 5に分類される「太い破線」の路面標示であった 場合には、車両 2の所定範囲内（例えば、車両 2の前方 30m〜後方 20m)に他の 2 重線を備えた路面標示が無いことを条件として、その後に後方カメラ 3で撮像した画 像に基づく路面標示 93の画像認識処理が行われた際に、 2重線が認識されたとして も「太い破線」の路面標示 93が認識されたものとして処理する。その結果、 2重線に 分割されて ヽたとしても「太 ヽ破線」の路面標示 93を正確に検出することが可能とな る。尚、以上の S101〜S108が路面標示検出手段の処理に相当する。
[0096] その後、 S109でナビゲーシヨン ECU6は車両 2が前記 S101〜S108で検出され た「太 ヽ破線」の路面標示 80を跨 ヽだか否かを検出する判定処理が行われる。尚、 判定処理には後方カメラ 3で撮像した撮像画像や車速センサ等が用いられる。
[0097] そして、 S 110では前記 S 109の判定処理に基づいて車両 2が「太い破線」の路面 標示 80を跨 、だか否力判定され、「太 、破線」の路面標示 80を跨 、で 、な 、と判定 された場合（S 110 : NO)〖こは S 109へと戻り、継続して判定処理が行われる。
[0098] 一方、「太い破線」の路面標示 80を跨いだと判定された場合（S110 :YES)には S 111へと移行する。
S111でナビゲーシヨン ECU6は、後方カメラ 3によって検出され、且つ跨いだと判 定された「太 、破線」の路面標示 80に関連付けられた制御対象物までの距離 (路面 標示 DB42に記憶されている）に基づいて、車両 2から検出された路面標示に関連 付けられた制御対象物までの距離を算出する。そして、一定走行距離毎に発生され る車速パルスに基づいて距離センサ 35により路面標示を跨いだ地点からの車両 2の 走行距離を算出し、走行中の車両 2から制御対象物までの残距離を算出する。 [0099] また、 SI 12では前記 SI 11で算出された制御対象物までの残距離に基づいて、車 両 2が制御対象物の種類ごとに設定された案内又は制御開始地点に到達した力否 力が判定される。例えば、制御対象物が「停止線」の路面標示である場合には残距 離が 50m以内である場合に、案内又は制御開始地点に到達したと判定される。また 、制御対象物が「交差点」の路面標示である場合には残距離が 10mである場合に、 案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コーナ」の路 面標示である場合には残距離が 50m以内である場合に、案内又は制御開始地点に 到達したと判定される。
[0100] そして、車両 2が案内又は制御開始地点に到達したと判定された場合 (S112 : YE S)には、制御対象物に対する走行の案内又は車両 2の駆動制御が必要力否かが現 在の車両の速度や目的地の設定の有無等に基づ 、て判定される（S 113)。ここで、 第 2実施形態に係る運転支援装置では、制御対象物として「停止線」が対応付けられ て 、た場合には、停止線との距離が 50mとなった時点で停止線が接近して 、ること を示す「停止線が接近しています。」との文字列を液晶ディスプレイ 7に表示させ、ま たスピーカ 8から同内容の警告音声を出力する。更に、その時点で減速が行われて Vヽな 、場合には、ブレーキアクチユエータ 11を制御して停止線の手前で車両 2が停 止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差 点のノードとの距離が 10mとなった時点で設定された誘導経路に従って経路案内を 行う。例えば、左折を示す案内表示を液晶ディスプレイ 7に表示させ、「次の交差点を 左折して下さい。」の案内音声をスピーカ 8から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ 開始点のノードとの距離が 50mとなった時点でコーナ進入前に地図 DB41に記録さ れたコーナの Rに対する最適な速度（例えば、 R30で 40kmZh)となるようにブレー キアクチユエータ 11及びアクセルァクチユエータ 12を制御して加速、減速制御を行う
[0101] 従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、 既に車両 2が最適な速度で走行している場合においては、ブレーキアクチユエータ 1 1及びアクセルァクチユエータ 12の制御を行う必要がないと判定する。また、制御対 象物として「交差点」が対応付けられて!/ヽた場合であっても、誘導経路が設定されて いない場合（目的地が設定されていない場合）においては、走行の案内を行う必要 力 いと判定する。
[0102] そして、 S113で制御対象物に対する走行の案内又は車両 2の駆動制御が必要で あると判定された場合 (S 114 : YES)には、 S 115で制御対象物の種類に従った走 行の案内又は車両 2の駆動制御処理が行われる。具体的な案内処理及び駆動制御 処理の内容に関しては上述の通りである。
[0103] 一方、車両 2が案内又は制御開始地点に到達していないと判定された場合 (S112 ： NO)、及び制御対象物に対する走行の案内又は車両 2の駆動制御が必要でない と判定された場合 (S 114 : NO)には、 S111へと戻り、現在の車両 2から制御対象物 までの残距離が再び算出される。
[0104] 続いて、 S116では、前記 S 111で算出された制御対象物までの残距離が 0となつ たか否か、即ち、車両 2が制御対象物の位置に到達したか否かが判定される。そして 、制御対象物の位置に到達したと判定された場合 (S116 :YES)には、当該運転支 援処理を終了する。それに対し、制御対象物の位置に到達していないと判定された 場合（S116 :NO)には、 S111へと戻り、現在の車両 2から制御対象物の位置までの 残距離が再び算出される。
[0105] 以上詳細に説明した通り、第 2実施形態に係る運転支援装置では、車両 2から所定 範囲内に高速道路の本線と取り付け道の接続部 (分岐点、合流点）に位置する太い 破線力もなる車線境界線の路面標示が存在すると判定され (S 102 : YES)、更に、 その「太い破線」の路面標示が検出対象となるカスレパターンに分類されていると判 定された場合 (S 104 : YES)に、後方カメラ 3によって撮像された画像力も路面標示 を認識する（S 105)とともに、車両 2が認識された「太 ヽ破線」の路面標示を跨!、だ際 に、その路面標示に関連付けられた制御対象物までの距離を算出し (S111)、制御 対象物までの距離が所定距離となったと判定された場合 (S112 :YES)に、関連付 けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う (S115)ので 、直接に停止線や交差点等の制御対象物を検出する必要が無ぐ制御対象物との 距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御 対象物までの距離を正確に算出することが可能となる。従って、遠方を撮像する為に フロントカメラによる撮像装置等の高額な装置を必要とすることなぐ確実に制御対象 物に対する制御を行うことが可能となる。また、車両 2の正確な位置を特定することが 可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正 確なタイミングにより経路の案内を行うことができる。また、従来のように直接に制御対 象物を検出する場合においては、対象となる制御対象物が認識できなカゝつた場合に その制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて 間接的に制御対象物を検出することにより、一の路面標示が検出できな力つた場合 であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによ つてその制御対象物に対する案内や制御を行うことが可能となる。
更に、検出することが困難なカスレパターンに分類された路面標示を予め検出対象 力も外すことができ、路面標示の認識における誤認識率を低下させ、一方で必要性 のある処理のみを行わせることによってナビゲーシヨン ECU6の処理負荷を低減させ ることが可能となる。従って、本来のナビゲーシヨン装置 4が有するナビゲーシヨン機 能の処理と並行して処理をすることも可能であり、また、画像処理用の制御部を別途 必要とすることなぐ安価なシステムにより構成することが可能となる。
また、特に、パターン 5に分類される破線のペイントの長さ方向に亀裂 82が入ること により分割され、 2重線に見える状態の「太 、破線」の路面標示 80が存在すると判定 された場合には（S 102 : YES)、その後の画像認識処理（S 105)において 2重線が 認識された場合に自車周辺に 2重線を備えた路面標示が無 ヽことを条件として太!ヽ 破線が認識されたと置き換えて「太 ヽ破線」の路面標示 80を検出したと取り扱う。そ れによって、ペイントが剥がれる等して 2重線に分割されてしまった路面標示におい ても、正しい種類の路面標示として検出することが可能となる。その結果、ペイントが 剥がれて 2重線へと分割され易い車線境界線の路面標示に対しても少しでも多くの 路面標示を検出対象とすることができ、検出結果を用いた運転の支援や情報開示な ど様々なサービスを提供することが可能となる。
(第 3実施形態） 次に、第 3実施形態に係る運転支援装置 100について図 17に基づいて説明する。 尚、以下の説明において上記図 1乃至図 12の第 1実施形態に係る運転支援装置 1 の構成と同一符号は、前記第 1実施形態に係る運転支援装置 1等の構成と同一ある いは相当部分を示すものである。
[0107] この第 3実施形態に係る運転支援装置 100の概略構成は、第 1実施形態に係る運 転支援装置 1とほぼ同じ構成である。また、各種制御処理も第 1実施形態に係る運転 支援装置 1とほぼ同じ制御処理である。
ただし、第 1実施形態に係る運転支援装置 1が、撮像手段として後方環境を撮像す る後方カメラ 3を設け、後方カメラによって撮像した画像に基づいて路面標示の認識 を行い、制御対象物に対する制御を行っていたのに対し、第 3実施形態に係る運転 支援装置 100では、撮像手段として後方カメラ 3のほかに車両 2の前方環境を撮像 する前方カメラ 101を設け、後方カメラ 3に加えて前方カメラ 101で撮像した画像に基 づいて路面標示の認識を行い、制御対象物に対する制御を行う点で前記第 1実施 形態に係る運転支援装置 1と異なっている。
[0108] 先ず、第 3実施形態に係る運転支援装置 100の概略構成について図 17を用いて 説明する。図 17は第 3実施形態に係る運転支援装置 100の概略構成図である。 図 17に示すように、第 3実施形態に係る運転支援装置 1は、車両 2に対して設置さ れた前方カメラ 101、後方カメラ 3、ナビゲーシヨン装置 4、車両 ECU5等で構成され ている。
[0109] 前方カメラ 101は、例えば CCD等の固体撮像素子を用いたものであり、車両 2の前 方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より やや下方に向けて設置される。そして、車両 2の前方に設置された信号機、道路標 識、路面標示等を撮像する。
[0110] 尚、前方カメラ 101以外の後方カメラ 3、ナビゲーシヨン装置 4、車両 ECU5の各構 成に関しては前記した第 1実施形態に係る運転支援装置 1と同様であり、その説明は 省略する。
[0111] そして、第 3実施形態に係る運転支援装置 100では前方カメラ 101で撮像した画像 に基づいて、以下のように制御対象の拡大及び路面標示の認識率の向上を実現可 能となる。
[0112] 例えば、前方カメラ 101によって撮像した画像に基づいて前方の交差点に位置す る信号機が赤で点灯して 、ると判定された場合には、前記したような「交差点」の制 御対象物に従った走行案内及び車両の駆動制御（S11〜S14、S112〜S115)に カロえて、交差点の信号機が赤で点灯していることの警告を行うとともに、交差点の手 前で車両 2が停止するようにブレーキアクチユエータ 11を制御することが可能となる。
[0113] また、前方カメラ 101によって撮像した画像に基づいて前方の交差点に一時停止 の道路標識が設置されて ヽると判定された場合には、前記したような「交差点」の制 御対象物に従った走行案内及び車両の駆動制御（S11〜S14、S112〜S115)に カロえて、一時停止に対する警告を行うとともに、交差点の手前で車両 2が停止するよ うにブレーキアクチユエータ 11を制御することが可能となる。
[0114] また、前方カメラ 101によって撮像した画像に基づいて前方の路面に路面標示が 形成されていると判定された場合に、車両 2が路面標示を通過するタイミングを算出 し、算出されたタイミングに合わせて後方カメラ 3による画像の認識処理を行うことによ り、視野が狭い後方カメラ 3を用いた場合であっても路面標示の認識率を向上させる ことが可能となる。
[0115] 以上詳細に説明した通り、第 3実施形態に係る運転支援装置 100では、車両 2から 所定範囲内に検出対象となるカスレパターンに分類された路面標示が存在すると判 定された場合に、後方カメラ 3によって撮像された画像カゝら路面標示を認識するととも に、車両 2から認識された路面標示に関連付けられた制御対象物までの距離を算出 し、制御対象物までの距離が所定距離となったと判定された場合に、関連付けられ た制御対象物の種類に応じた走行の案内又は車両の制御を行うので、直接に停止 線や交差点等の制御対象物を検出する必要が無ぐ制御対象物との距離が離れた 早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの 距離を正確に算出することが可能となる。
また、前方カメラ 101によって撮像した車両 2の前方環境の画像の画像解析に基づ いて、現在の車両 2の周囲状況に応じたより的確な走行案内や車両の駆動制御を行 うことが可能となる。更に、予め前方カメラ 101によって路面標示を認識させることによ り、視野が狭い後方カメラ 3を用いた場合であっても路面標示の認識率を向上させる ことが可能となる。
尚、本発明は前記実施形態に限定されるものではなぐ本発明の要旨を逸脱しな い範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第 1実施形態乃至第 3実施形態では、制御対象物が停止線、交差点、コ ーナ進入口である場合にっ 、て説明したが、制御対象物は上記のものに限られるこ と無ぐ例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても 良い。

Claims

請求の範囲
[1] 車両に配置され、車両の周辺を撮像する撮像手段と、
路面に形成された路面標示の状態を記憶した標示状態記憶手段と、
前記撮像手段により撮像した画像に基づ ヽて、前記車両が走行する路面に形成さ れた路面標示の内、所定の基準を満たした状態を有する路面標示に対する検出を 行う路面標示検出手段と、を有することを特徴とする路面標示認識システム。
[2] 路面に形成された路面標示の位置情報を記憶した標示位置記憶手段と、
車両の現在地を検出する現在地検出手段と、を有し、
前記路面標示検出手段は、
前記現在地検出手段の検出結果と前記標示位置記憶手段に記憶された位置 情報とに基づいて、車両の現在地から所定範囲内に位置する路面標示の情報を前 記標示状態記憶手段から抽出する標示情報抽出手段と、
前記標示情報抽出手段によって情報が抽出された路面標示が所定の基準を満 たした状態を有する路面標示であるか否かを判定する標示状態判定手段と、を備え 前記標示状態判定手段によって条件を満たした路面標示が存在すると判定さ れた場合に路面標示の検出を行うことを特徴とする請求項 1に記載の路面標示認識 システム。
[3] 前記路面標示検出手段によって検出された路面標示と車両との距離を算出する距 離算出手段を有し、
前記路面標示は前記距離算出手段によって距離を算出する際に用いる測定開始 点を複数箇所に備え、
前記距離算出手段は前記複数の測定開始点の内、前記路面標示検出手段によつ て検出された路面標示の状態に基づいて選択された所定の測定開始点力 車両ま での距離を算出することにより路面標示と車両との距離を算出することを特徴とする 請求項 1又は請求項 2に記載の路面標示認識システム。
[4] 前記所定の基準を満たした状態を有する路面標示は高速道路の本線と取り付け道 の接続部に位置する車線境界線の路面標示であって、前記車線境界線が長さ方向 に分割された状態にあることを特徴とする請求項 1又は請求項 2に記載の路面標示 システム。
路面に形成された路面標示の位置情報を記憶した標示位置記憶手段と、 車両の現在地を検出する現在地検出手段と、を有し、
前記路面標示検出手段は、
前記現在地検出手段の検出結果と前記標示位置記憶手段に記憶された位置 情報とに基づいて、車両の現在地から所定範囲内に位置する路面標示の情報を前 記標示状態記憶手段から抽出する標示情報抽出手段と、
前記撮像手段により撮像した画像に基づ!ヽて路面上に形成された路面標示の 形状を認識する画像認識手段と、を備え、
前記画像認識手段によって所定間隔で並行する 2重線が路面上に形成されて いると認識された場合であって、前記標示情報抽出手段により 2重線を備えた路面 標示が抽出されなかった場合に、前記 2重線を前記車線境界線の路面標示の一部 又は全部として検出することを特徴とする請求項 4に記載の路面標示システム。
PCT/JP2006/315491 2005-08-05 2006-08-04 路面標示認識システム WO2007018145A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/922,779 US8600655B2 (en) 2005-08-05 2006-08-04 Road marking recognition system
DE112006001703T DE112006001703T5 (de) 2005-08-05 2006-08-04 Straßenmarkierungserkennungssystem
CN200680021501A CN100595811C (zh) 2005-08-05 2006-08-04 路面标示识别系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005228900 2005-08-05
JP2005-228900 2005-08-05
JP2006212481A JP4820712B2 (ja) 2005-08-05 2006-08-03 路面標示認識システム
JP2006-212481 2006-08-03

Publications (1)

Publication Number Publication Date
WO2007018145A1 true WO2007018145A1 (ja) 2007-02-15

Family

ID=37727328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/315491 WO2007018145A1 (ja) 2005-08-05 2006-08-04 路面標示認識システム

Country Status (5)

Country Link
US (1) US8600655B2 (ja)
JP (1) JP4820712B2 (ja)
CN (1) CN100595811C (ja)
DE (1) DE112006001703T5 (ja)
WO (1) WO2007018145A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008146949A1 (en) * 2007-05-31 2008-12-04 Aisin Aw Co., Ltd. Driving assistance apparatus
JP2008298622A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
US20100121561A1 (en) * 2007-01-29 2010-05-13 Naoaki Kodaira Car navigation system
EP2282295A4 (en) * 2008-04-25 2013-10-30 Hitachi Automotive Systems Ltd OBJECT RECOGNITION DEVICE AND OBJECT RECOGNITION METHOD
WO2015019122A1 (en) 2013-08-07 2015-02-12 Audi Ag Visualization system,vehicle and method for operating a visualization system
CN104658263A (zh) * 2013-11-22 2015-05-27 上海宝康电子控制工程有限公司 对车辆借用右转车道越黄线抓拍的电子警察系统及方法
US9224052B2 (en) 2012-12-19 2015-12-29 Industrial Technology Research Institute Method for in-image periodic noise pixel inpainting
WO2018113117A1 (zh) * 2016-12-20 2018-06-28 深圳市元征科技股份有限公司 一种信息提示方法及装置
EP3786921A4 (en) * 2018-04-27 2022-01-05 Hino Motors, Ltd. DRIVER ASSISTANCE DEVICE AND TRAFFIC SYSTEM

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7584208B2 (en) * 2002-11-20 2009-09-01 Radar Networks, Inc. Methods and systems for managing offers and requests in a network
JP4720383B2 (ja) * 2005-09-01 2011-07-13 トヨタ自動車株式会社 車両制御装置
JP4295298B2 (ja) * 2006-08-07 2009-07-15 株式会社日立製作所 車両の運転支援制御装置
JP4569837B2 (ja) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
US20100292895A1 (en) * 2007-04-27 2010-11-18 Aisin Aw Co. Ltd Driving support device
JP4780471B2 (ja) * 2007-06-06 2011-09-28 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びプログラム
JP2009009368A (ja) * 2007-06-28 2009-01-15 Aisin Aw Co Ltd 路面標示認識システム
JP2009075933A (ja) * 2007-09-21 2009-04-09 Xanavi Informatics Corp 分岐路内位置演算装置、分岐路内位置演算方法、および、分岐路内位置演算プログラム
JP4951481B2 (ja) * 2007-12-10 2012-06-13 日立オートモティブシステムズ株式会社 路面標示認識装置
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
JP2009223817A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP4416039B2 (ja) * 2008-03-19 2010-02-17 日本電気株式会社 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
KR101067424B1 (ko) * 2008-07-28 2011-09-27 삼성전자주식회사 휴대단말기의 위젯을 이용한 교통정보 표시 방법 및 장치
JP5123812B2 (ja) * 2008-10-10 2013-01-23 日立オートモティブシステムズ株式会社 道路標示認識システム
JP5097681B2 (ja) * 2008-10-31 2012-12-12 日立オートモティブシステムズ株式会社 地物位置認識装置
JP5482167B2 (ja) * 2009-12-10 2014-04-23 アイシン・エィ・ダブリュ株式会社 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP5088592B2 (ja) * 2010-04-28 2012-12-05 アイシン・エィ・ダブリュ株式会社 自車位置認識装置及び自車位置認識プログラム
JP5099460B2 (ja) * 2010-04-28 2012-12-19 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP5433525B2 (ja) * 2010-08-06 2014-03-05 株式会社日立製作所 車両走行支援装置及び道路標示の作成方法
JP5896263B2 (ja) * 2011-01-31 2016-03-30 矢崎エナジーシステム株式会社 画像記録制御方法および車載画像記録装置
DE102011012791A1 (de) * 2011-03-02 2012-09-06 Audi Ag Kraftfahrzeug
KR20130005107A (ko) * 2011-07-05 2013-01-15 현대자동차주식회사 차간거리 자동 가변 시스템 및 그 방법
KR20130015746A (ko) * 2011-08-04 2013-02-14 엘지전자 주식회사 차선 인식 장치 및 그 방법
DE102011109491A1 (de) * 2011-08-04 2013-02-07 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrunterstützungsvorrichtung zur Unterstützung der Befahrung enger Fahrwege
US9469297B2 (en) * 2011-12-28 2016-10-18 Toyota Jidosha Kabushiki Kaisha Driving assistance apparatus for vehicle
US8744675B2 (en) 2012-02-29 2014-06-03 Ford Global Technologies Advanced driver assistance system feature performance using off-vehicle communications
US9053372B2 (en) 2012-06-28 2015-06-09 Honda Motor Co., Ltd. Road marking detection and recognition
WO2014083821A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 運転支援装置
DE102012025067A1 (de) 2012-12-19 2014-06-26 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung mit kombinierter Verkehrszeichenerfassung und Markierungserfassung für ein Kraftfahrzeug und entsprechendes Verfahren
GB2510833B (en) * 2013-02-13 2017-02-22 Wdm Ltd A road marking analyser and a method of analysing of road markings
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
US8996197B2 (en) 2013-06-20 2015-03-31 Ford Global Technologies, Llc Lane monitoring with electronic horizon
CN104331703A (zh) * 2013-07-22 2015-02-04 博世汽车部件(苏州)有限公司 监测车辆行驶状态的方法及实现该方法的汽车导航设备
JP6313589B2 (ja) * 2013-12-20 2018-04-18 矢崎エナジーシステム株式会社 運行情報管理システム
CN103942962B (zh) * 2014-01-02 2016-07-13 浙江宇视科技有限公司 一种遮挡车牌的违章处理装置及方法
EP2918974B1 (en) * 2014-03-11 2019-01-16 Volvo Car Corporation Method and system for determining a position of a vehicle
CN104021693B (zh) * 2014-06-25 2016-08-03 青海省恒立公路勘测设计有限公司 基于雷达探测的车行道标示方法及车行道标示系统
JP6526191B2 (ja) * 2014-10-14 2019-06-19 トヨタ モーター ヨーロッパ 交通標識支援システム及び方法
EP3239956B1 (en) * 2014-12-26 2021-02-24 The Yokohama Rubber Co., Ltd. Collision avoidance system
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
DE102015205094A1 (de) * 2015-03-20 2016-09-22 Continental Automotive Gmbh Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts
US10509971B2 (en) * 2015-08-28 2019-12-17 Hitachi, Ltd. Landmark recognition device and landmark recognition method using a database storing landmark extraction information
US9654891B2 (en) * 2015-09-15 2017-05-16 D&M Holdings, Inc. System and method for determining proximity of a controller to a media rendering device
US10068133B2 (en) * 2016-01-22 2018-09-04 International Business Machines Corporation Pavement marking determination
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
US9851212B2 (en) * 2016-05-06 2017-12-26 Ford Global Technologies, Llc Route generation using road lane line quality
DE102016210632A1 (de) * 2016-06-15 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
JP6642334B2 (ja) * 2016-08-25 2020-02-05 トヨタ自動車株式会社 車両制御装置
US10217240B2 (en) * 2017-01-23 2019-02-26 Autonomous Fusion, Inc. Method and system to determine distance to an object in an image
JP6935513B2 (ja) * 2017-12-12 2021-09-15 愛知製鋼株式会社 マーカ施工方法及びマーカ施工システム
JP7037930B2 (ja) * 2017-12-19 2022-03-17 株式会社小糸製作所 車両の運転支援装置、命令表示装置及び車両用灯具。
DE102018203560A1 (de) * 2018-03-08 2019-09-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Erkennung einer Fahrspurbegrenzung
US10890462B2 (en) * 2018-06-26 2021-01-12 Princess Sumaya University For Technology Traffic notification system and method
JP7385595B2 (ja) * 2018-11-28 2023-11-22 株式会社堀場製作所 車両試験システム及び車両試験方法
GB2580388B (en) * 2019-01-09 2021-07-28 Jaguar Land Rover Ltd Control system for a vehicle
US11023747B2 (en) 2019-03-05 2021-06-01 Here Global B.V. Method, apparatus, and system for detecting degraded ground paint in an image
JP7358762B2 (ja) * 2019-04-02 2023-10-11 トヨタ自動車株式会社 道路異常検知装置、道路異常検知方法および道路異常検知プログラム
KR102638068B1 (ko) * 2019-04-26 2024-02-21 주식회사 에이치엘클레무브 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법
WO2020263498A1 (en) * 2019-06-25 2020-12-30 Snap Inc. Vanishing point stereoscopic image correction
JP7211350B2 (ja) * 2019-11-29 2023-01-24 トヨタ自動車株式会社 路面損傷検出装置、路面損傷検出方法、プログラム
CN113127681A (zh) * 2019-12-30 2021-07-16 深圳Tcl数字技术有限公司 一种基于人脸识别的视频推荐方法及装置、电视
CN111999745A (zh) * 2020-05-21 2020-11-27 深圳市西博泰科电子有限公司 提高地标定位精度的数据处理方法、装置、设备
JP7287373B2 (ja) * 2020-10-06 2023-06-06 トヨタ自動車株式会社 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
US11557132B2 (en) 2020-10-19 2023-01-17 Here Global B.V. Lane marking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168123A (ja) * 2001-11-30 2003-06-13 Toyota Central Res & Dev Lab Inc 車線境界判定装置
JP2003252148A (ja) * 2002-03-01 2003-09-10 Alpine Electronics Inc 車載用ナビゲーション装置
JP2005063398A (ja) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd 車両制御装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JP3969251B2 (ja) 2002-08-23 2007-09-05 トヨタ自動車株式会社 車両用運転補助装置
JP2004206275A (ja) * 2002-12-24 2004-07-22 Denso Corp 自動運転制御システム
US20040160595A1 (en) * 2003-02-14 2004-08-19 Lafarge Road Marking, Inc. Road marking evaluation and measurement system
DE10323915A1 (de) * 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
KR100559870B1 (ko) * 2003-11-04 2006-03-13 현대자동차주식회사 차량의 주행차로 변경방법
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168123A (ja) * 2001-11-30 2003-06-13 Toyota Central Res & Dev Lab Inc 車線境界判定装置
JP2003252148A (ja) * 2002-03-01 2003-09-10 Alpine Electronics Inc 車載用ナビゲーション装置
JP2005063398A (ja) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd 車両制御装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100121561A1 (en) * 2007-01-29 2010-05-13 Naoaki Kodaira Car navigation system
US8175806B2 (en) * 2007-01-29 2012-05-08 Kabushiki Kaisha Toshiba Car navigation system
WO2008146949A1 (en) * 2007-05-31 2008-12-04 Aisin Aw Co., Ltd. Driving assistance apparatus
JP2008298622A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
US8600673B2 (en) 2007-05-31 2013-12-03 Aisin Aw Co., Ltd. Driving assistance apparatus
EP2282295A4 (en) * 2008-04-25 2013-10-30 Hitachi Automotive Systems Ltd OBJECT RECOGNITION DEVICE AND OBJECT RECOGNITION METHOD
US9224052B2 (en) 2012-12-19 2015-12-29 Industrial Technology Research Institute Method for in-image periodic noise pixel inpainting
WO2015019122A1 (en) 2013-08-07 2015-02-12 Audi Ag Visualization system,vehicle and method for operating a visualization system
CN104658263A (zh) * 2013-11-22 2015-05-27 上海宝康电子控制工程有限公司 对车辆借用右转车道越黄线抓拍的电子警察系统及方法
WO2018113117A1 (zh) * 2016-12-20 2018-06-28 深圳市元征科技股份有限公司 一种信息提示方法及装置
EP3786921A4 (en) * 2018-04-27 2022-01-05 Hino Motors, Ltd. DRIVER ASSISTANCE DEVICE AND TRAFFIC SYSTEM

Also Published As

Publication number Publication date
JP4820712B2 (ja) 2011-11-24
US20090088978A1 (en) 2009-04-02
CN100595811C (zh) 2010-03-24
CN101198996A (zh) 2008-06-11
DE112006001703T5 (de) 2008-06-05
US8600655B2 (en) 2013-12-03
JP2007066305A (ja) 2007-03-15

Similar Documents

Publication Publication Date Title
JP4820712B2 (ja) 路面標示認識システム
JP4421549B2 (ja) 運転支援装置
JP4915739B2 (ja) 運転支援装置
JP6217412B2 (ja) 自動運転支援装置、自動運転支援方法及びプログラム
EP2141678A1 (en) Driving support system
JP4211620B2 (ja) カーナビゲーション装置
JP4762697B2 (ja) 車両走行補助システム
JP4792948B2 (ja) 車車間通信システム
JP2006209511A (ja) 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP2011122936A (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP4614098B2 (ja) 周辺状況認識装置及び方法
JP3811238B2 (ja) 画像情報を利用した車両用音声案内装置
JP2009042167A (ja) 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
JP4637302B2 (ja) 路面標示認識システム
JP4888285B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2010210477A (ja) ナビゲーション装置
JP2005182308A (ja) 車両運転支援装置
JP2002321579A (ja) 警告情報生成方法及び車両側方映像生成装置
JP4692831B2 (ja) 周辺状況認識装置及び方法
JP4912495B2 (ja) 画像認識装置及び方法、ナビゲーション装置
JP4924303B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2009009368A (ja) 路面標示認識システム
JP2007085911A (ja) 車両位置判定装置、その制御方法及び制御プログラム
JP4648697B2 (ja) 画像認識装置及び方法、ナビゲーション装置
JP2009002797A (ja) 車両状態判定装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680021501.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1120060017039

Country of ref document: DE

RET De translation (de og part 6b)

Ref document number: 112006001703

Country of ref document: DE

Date of ref document: 20080605

Kind code of ref document: P

122 Ep: pct application non-entry in european phase

Ref document number: 06782349

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11922779

Country of ref document: US