WO2022085258A1 - 障害物情報取得システム - Google Patents

障害物情報取得システム Download PDF

Info

Publication number
WO2022085258A1
WO2022085258A1 PCT/JP2021/026924 JP2021026924W WO2022085258A1 WO 2022085258 A1 WO2022085258 A1 WO 2022085258A1 JP 2021026924 W JP2021026924 W JP 2021026924W WO 2022085258 A1 WO2022085258 A1 WO 2022085258A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
vehicle
control unit
image
lane
Prior art date
Application number
PCT/JP2021/026924
Other languages
English (en)
French (fr)
Inventor
邦光 藤田
鋭典 竹内
光宏 二村
Original Assignee
株式会社アイシン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アイシン filed Critical 株式会社アイシン
Priority to CN202180072196.3A priority Critical patent/CN116348933A/zh
Priority to US18/030,013 priority patent/US20230373475A1/en
Priority to JP2022556410A priority patent/JP7449497B2/ja
Priority to EP21882399.5A priority patent/EP4235616A4/en
Publication of WO2022085258A1 publication Critical patent/WO2022085258A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Definitions

  • the present invention relates to an obstacle information acquisition system.
  • Patent Document 1 information indicating whether or not the vehicle has performed an avoidance operation on a falling object and position information of the falling object are transmitted from the vehicle to the server, and the server avoids the same falling object. It is stated that when the ratio of the operated vehicle is equal to or higher than the predetermined value, the following vehicle is notified that the falling object should be avoided.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of acquiring information on obstacles regardless of whether or not an obstacle avoidance operation has been performed.
  • the obstacle information acquisition system includes an image acquisition unit that acquires an image of the road on which the vehicle is traveling, and an image recognition unit that detects obstacles and lanes on the road from the image. It is provided with an obstacle information acquisition unit that acquires obstacle information in which the position of the obstacle and the image are associated with each other based on the passable width of the lane in which the obstacle is located in the image.
  • the passable width of the lane in which the obstacle is located is specified from the image, and the obstacle information in which the position of the obstacle and the image are associated with each other is acquired based on the passable width of the lane. do. Therefore, according to this obstacle information acquisition system, obstacle information can be acquired regardless of whether or not the avoidance operation is actually performed.
  • FIG. 2A is a diagram showing an example of a captured image
  • FIG. 2B is a diagram showing a plane including a vehicle width axis and a vehicle length axis.
  • 3A to 3C are flowcharts of obstacle information acquisition processing.
  • 4A to 4B are flowcharts of obstacle information acquisition processing according to the second embodiment. The flowchart of obstacle information acquisition processing which concerns on 3rd Embodiment. The figure which shows the example of the photographed image.
  • FIG. 1 is a block diagram showing a configuration of an obstacle information acquisition system according to the present invention.
  • the obstacle information acquisition system includes an in-vehicle system 100, a server 200, and an in-vehicle system 300.
  • the in-vehicle system 100 is provided in a vehicle that functions as a probe vehicle in the present embodiment, and has a function of capturing an image of the surroundings of the vehicle and transmitting it to the server 200.
  • the in-vehicle system 300 is provided in a vehicle (guidance vehicle) that provides guidance based on information distributed from the server 200.
  • the in-vehicle system 100 includes a control unit 120, a recording medium 130, a camera 140, a GNSS receiving unit 141, a vehicle speed sensor 142, a gyro sensor 143, a user I / F unit 144, and a communication unit 145. ..
  • the control unit 120 is a computer including a CPU, RAM, ROM, and the like.
  • the in-vehicle system 100 can execute a program stored in the recording medium 130 or the ROM by the control unit 120.
  • Map information 130a and vehicle body information 130b are recorded in advance on the recording medium 130. Further, the recording medium 130 records an image taken in the traveling process and image information 130c including information associated with the image.
  • the map information 130a is information used for specifying the current position of the probe vehicle, route guidance, etc., and is node data indicating the position of a node set on the road on which the probe vehicle travels, node data indicating the position of a node, and roads between nodes. Includes shape interpolation point data indicating the position of the shape interpolation point for specifying the shape, link data indicating the connection between nodes, feature data indicating the position and shape of features existing on the road and its surroundings, etc. I'm out.
  • the node indicates an intersection.
  • the link data is associated with information indicating the number and type of lanes existing in the road section indicated by the link data and the width of the lane.
  • the position indicated by the node or the shape interpolation point indicates the position of the center line on the road section, and the position of the lane or the range in which the lane exists can be specified by the position, the number of lanes, and the width of the lane. be.
  • the vehicle body information 130b is information on the vehicle body of the probe vehicle equipped with the in-vehicle system 100, and the vehicle body information 130b includes information indicating the dimensions of the vehicle body such as the total length, the total width, and the height of the probe vehicle. ..
  • the GNSS receiving unit 141 is a device that receives the signal of the Global Navigation Satellite System, receives radio waves from the navigation satellite, and outputs a signal for calculating the current position of the probe vehicle via an interface (not shown).
  • the control unit 120 acquires this signal and acquires the current position (latitude, longitude, etc.) of the probe vehicle in the coordinate system of the map.
  • the vehicle speed sensor 142 outputs a signal corresponding to the rotation speed of the wheels included in the probe vehicle.
  • the control unit 120 acquires this signal via an interface (not shown) to acquire the vehicle speed.
  • the gyro sensor 143 detects the angular acceleration for turning in the horizontal plane of the probe vehicle, and outputs a signal corresponding to the direction of the probe vehicle.
  • the control unit 120 acquires this signal and acquires the traveling direction of the probe vehicle.
  • the vehicle speed sensor 142, the gyro sensor 143, and the like are used to specify the traveling locus of the probe vehicle.
  • the current position is specified based on the starting point and the traveling locus of the probe vehicle, and the starting point is specified.
  • the current position of the probe vehicle specified based on the traveling locus and the traveling locus is corrected based on the output signal of the GNSS receiving unit 141.
  • the camera 140 is a device that acquires an image in the field of view directed to the front of the probe vehicle.
  • the optical axis of the camera 140 may be fixed to the probe vehicle, and the direction of the optical axis may be known in the in-vehicle system 100.
  • the camera 140 is attached to the probe vehicle in such a posture that the width direction of the probe vehicle and the center of the optical axis are perpendicular to each other and the front of the probe vehicle in the traveling direction is included in the field of view.
  • the control unit 120 can detect the image to be detected included in the captured image by acquiring the image output by the camera 140 and analyzing the image by extracting the feature amount or the like.
  • the user I / F unit 144 is an interface unit for inputting user instructions and providing various information to the user, and includes a touch panel type display, a speaker, and the like (not shown). That is, the user I / F unit 144 includes an image and sound output unit and a user-instructed input unit.
  • the output unit of the user I / F unit 144 can function as a guide unit for guiding arbitrary information by the output of the output unit (the same applies to the user I / F unit 344 described later).
  • the communication unit 145 includes a circuit for performing wireless communication with another device. In the present embodiment, the control unit 120 can exchange various information with the server 200 by wireless communication via the communication unit 145.
  • the control unit 120 can display a map including the current position and execute a navigation program (not shown) that guides the route to the destination. Further, when the control unit 120 detects an obstacle existing on the road from the image taken by the camera 140, the control unit 120 can realize a function of acquiring obstacle information in which the position of the obstacle and the image are associated with each other. .. This function can be realized by the obstacle information acquisition program 121. In order to realize this function, the obstacle information acquisition program 121 includes an image acquisition unit 121a, an image recognition unit 121b, and an obstacle information acquisition unit 121c. The guidance control unit 121d will be described in the third embodiment.
  • the image acquisition unit 121a is a program module that causes the control unit 120 to execute a function of acquiring an image of the road on which the probe vehicle is traveling.
  • the control unit 120 controls the camera 140 at regular intervals in the process of traveling the probe vehicle, and photographs the landscape including the road in front of the probe vehicle.
  • the image output from the camera 140 by shooting is recorded on the recording medium 130 as image information 130c.
  • the control unit 120 acquires the current position of the probe vehicle based on the output signals of the GNSS receiving unit 141, the vehicle speed sensor 142, and the gyro sensor 143, and the current position of the probe vehicle when the image is taken. And the shooting time is associated with each other and recorded as image information 130c on the recording medium 130.
  • the control unit 120 acquires the road section in which the probe vehicle is traveling by the map matching process. Further, the control unit 120 can acquire the lane in which the probe vehicle is traveling by detecting the position of the lane marking such as the boundary line, the center line, and the outside line of the lane by the image recognition process described later. be.
  • the image recognition unit 121b is a program module that enables the control unit 120 to realize a function of detecting an obstacle on the road and a lane from an image.
  • the control unit 120 performs image recognition processing to detect the detection target.
  • the detection targets include peripheral vehicles (passenger cars, trucks, buses, two-wheeled vehicles, etc.), traffic signs, traffic lights, structures around roads (electric poles, guardrails, etc.), road markings (characters, pedestrian crossings, etc.). Central line, lane boundary line, road outside line, etc.) are included.
  • the control unit 120 acquires the image information 130c and corrects the distortion by the lens.
  • the control unit 120 recognizes a line painted on the road such as a road outside line, a lane boundary line, or a center line with respect to the image after distortion correction.
  • the lane marking process may be carried out by various methods.
  • the control unit 120 executes a straight line detection process using a Hough transform or the like, and the color of the region sandwiched by the detected straight lines is a predetermined color such as white, and the width of the region is within a predetermined distance.
  • a process of recognizing a line painted on a road such as a lane boundary line or a central line may be mentioned.
  • control unit 120 executes the image recognition process for detecting the above-mentioned detection target by using YOLO (You Only Look Once), pattern matching, or the like.
  • the control unit 120 detects the image to be detected from the captured image.
  • the above-mentioned division line recognition process may be performed by YOLO, pattern matching, or the like.
  • the control unit 120 identifies a bounding box surrounding the peripheral vehicle in the image.
  • the size and position of the bounding box indicate the size of the image of the peripheral vehicle and the position of the peripheral vehicle in the captured image.
  • FIG. 2A is a diagram showing an example of an image I taken by the camera 140 and corrected for distortion.
  • the bounding box B is a rectangular area surrounding the peripheral vehicle detected from the image I.
  • the size and position of the bounding box B are represented by, for example, the coordinates of the upper left vertex and the coordinates of the lower right vertex of the bounding box B.
  • the control unit 120 acquires the height h (number of pixels) of the bounding box B and the representative coordinates Bo (x, y) of the bounding box B from the coordinates of the two diagonal vertices of the bounding box B.
  • the representative coordinates Bo are, for example, the center coordinates (midpoint in the width direction and the height direction) of the bounding box B and the like.
  • the control unit 120 identifies the relative orientation of the peripheral vehicle as seen from the probe vehicle based on the position of the representative coordinate Bo of the bounding box B. Further, the control unit 120 specifies the distance from the probe vehicle to the peripheral vehicle based on the height h of the bounding box B and the type of the peripheral vehicle.
  • each coordinate in the image I is associated with the relative orientation of the object reflected in the coordinates when the probe vehicle is used as a reference, and information indicating the correspondence is stored in the recording medium 130. ing. Based on this correspondence, the control unit 120 acquires the relative orientation of the surrounding vehicles reflected in the representative coordinates Bo.
  • a vehicle coordinate system based on the probe vehicle is defined.
  • the vehicle coordinate system is a coordinate system defined by a vehicle width axis (X axis shown in FIG. 2B) and a vehicle length axis (Y axis shown in FIG. 2B) orthogonal to each other.
  • FIG. 2B shows a plane including a vehicle width axis and a vehicle length axis.
  • the point O is the origin of the vehicle coordinate system in the probe vehicle.
  • the vehicle length axis is parallel to the link indicating the road section on which the probe vehicle is traveling.
  • the relative orientation is expressed, for example, by the angle ( ⁇ ) formed by the straight line SL connecting the origin O of the vehicle coordinate system and the point P corresponding to the representative coordinate Bo and the vehicle length axis (for example, when ⁇ is a negative value). It indicates that it is on the left side of the vehicle length axis toward the front in the direction of travel, and on the right side if it is a positive value).
  • control unit 120 identifies the types of peripheral vehicles in the bounding box B by image recognition processing.
  • the types of peripheral vehicles may be classified into, for example, buses, trucks, passenger cars, two-wheeled vehicles, and the like. Further, in the present embodiment, a typical vehicle height (for example, in the case of a passenger car, 1.5 [m], etc.) is specified for each type of peripheral vehicle. Further, the linear distance between the probe vehicle and the peripheral vehicle and the height h of the bounding box B when the peripheral vehicle is photographed by the camera 140 are measured in advance. Information indicating the correspondence between the height h of the bounding box B and the linear distance with respect to the origin of the vehicle coordinate system is stored in the recording medium 130 for each type of peripheral vehicle.
  • the control unit 120 calculates a linear distance D (see FIG. 2B) corresponding to the height h of the bounding box B. As described above, the control unit 120 acquires the relative direction ⁇ of the peripheral vehicle included in the image and the linear distance D from the probe vehicle based on the image taken by the camera 140.
  • images are taken at each shooting cycle by the camera 140, and for each image, the surrounding vehicles are specified, and the linear distance and the relative direction are specified. Therefore, the same peripheral vehicle can be recognized over the shooting process of several frames. Therefore, in the present embodiment, the control unit 120 imparts the same identification information to the peripheral vehicle while the same peripheral vehicle is being photographed. Therefore, the control unit 120 identifies the characteristics (for example, colors, patterns in the bounding box B, etc.) of the images of the peripheral vehicles for which the relative orientation ⁇ and the linear distance D are specified, and the identification information corresponding to the characteristics. (For example, a number or the like) is recorded on the recording medium 130 in association with the relative direction ⁇ , the linear distance D, the information indicating the characteristics of the surrounding vehicles, and the shooting time of the image.
  • the characteristics for example, colors, patterns in the bounding box B, etc.
  • the control unit 120 In order to give the same identification information to the same peripheral vehicle each time an image is taken, the control unit 120 refers to the recording medium 130 and corresponds to the peripheral vehicle recognized by the immediately preceding image and the latest image. It is determined whether or not the feature of the attached image matches. If they match, the control unit 120 also gives the identification information given to the peripheral vehicle in the immediately preceding image to the peripheral vehicle recognized in the latest image. As a result, the same identification information is given to the peripheral vehicles that are continuously photographed by the camera 140. Of course, even if images having the same characteristics are taken in consecutive frames, the control unit 120 may perform various processes such as not assuming that the images are the same when the distance between the two images is equal to or greater than the threshold value. In any case, it can be considered that the same peripheral vehicle continues to be detected during the period in which the image to which the same identification information is attached is detected.
  • the control unit 120 acquires the identification information corresponding to the relative direction ⁇ , the linear distance D, and the characteristics of each peripheral vehicle recognized by the image recognition process. That is, since the image recognition process is performed every time the image information 130c is acquired, the control unit 120 determines the default from the result of the image recognition process performed on the image information 130c taken within the predetermined period before the present.
  • the relative orientation ⁇ obtained for the period, the linear distance D, and the identification information corresponding to the feature are acquired in chronological order.
  • control unit 120 is the current position of the probe vehicle (current position when the image information 130c is taken by the camera 140) associated with each of the image information 130c that is the calculation source of the relative direction ⁇ and the linear distance D. ) And the direction of travel (direction indicated by the long axis of the vehicle). Then, the control unit 120 acquires the positions of peripheral vehicles in the coordinate system of the map based on the relative direction ⁇ , the linear distance D, the current position of the probe vehicle, and the traveling direction of the probe vehicle. That is, the position in the coordinate system of the map is acquired for each peripheral vehicle to which the same identification information is associated.
  • control unit 120 identifies the road section and lane in which the surrounding vehicles are located. That is, the control unit 120 identifies the road section in which the peripheral vehicle exists based on the node data and shape interpolation data of the road section in which the probe vehicle is traveling and the road section around the probe vehicle and the position of the peripheral vehicle. , The position of the center line on the road section is specified based on the node data and the shape interpolation data of the road section. Further, the control unit 120 refers to the map information 130a and specifies the width of the lane on the road section based on the lane information of the road section. Then, the control unit 120 acquires the lane in which the peripheral vehicle is located based on the distance between the central line and the peripheral vehicle.
  • the control unit 120 when the amount of change in the position of the peripheral vehicle of a certain identification information is equal to or less than the threshold value, the control unit 120 considers the peripheral vehicle as a stopped vehicle. Further, in the present embodiment, peripheral vehicles stopped due to traffic congestion are not regarded as obstacles. Specifically, for example, when both the probe vehicle and the peripheral vehicle facing the same traveling direction as the probe vehicle are stopped, the control unit 120 makes the stopped peripheral vehicle an obstacle. Not considered. On the other hand, when the peripheral vehicle is stopped at a specific position, while the probe vehicle or another peripheral vehicle facing the same traveling direction as the probe vehicle is moving, the control unit 120 sets the control unit 120. Consider a stopped peripheral vehicle as an obstacle.
  • the control unit 120 considers the peripheral vehicle as an obstacle.
  • the control unit 120 specifies a region sandwiched between the lane markings in the image as a road surface (lane) region.
  • the control unit 120 recognizes the road markings.
  • the control unit 120 detects an object that includes at least a part of the road surface (lane) and is not a road marking
  • the control unit 120 acquires the relative position of the object with respect to the probe vehicle.
  • the control unit 120 can acquire the linear distance and the relative direction between the object and the probe vehicle from the coordinates in the image of the central portion of the object, for example.
  • the control unit 120 identifies the position of the object in the coordinate system of the map based on the current position and traveling direction of the probe vehicle at the time of image capture, the straight line distance, and the relative direction. In the image information 130c taken within the predetermined period before the present, the position of the same object is acquired in chronological order. When the amount of change in the position of the object is equal to or less than the threshold value, the control unit 120 considers the object as an obstacle.
  • the obstacle information acquisition unit 121c is a program that enables the control unit 120 to acquire the obstacle information in which the position of the obstacle and the image are associated with each other based on the passable width of the lane in which the obstacle is located in the image. It is a module.
  • the passable width of the lane in which the obstacle is located is calculated based on the image, and the obstacle information is transmitted to the server 200 when the passable width is equal to or less than the default value.
  • the passable width is the width of the entire width of the lane that is not occupied by obstacles.
  • the control unit 120 identifies a portion of the lane that is not occupied by the obstacle from the position of the obstacle in the lane in which the obstacle is located, and calculates the width of the portion in the real space. Specifically, for example, the control unit 120 acquires the coordinates in the horizontal end of the image of the obstacle in the horizontal direction, and the straight line extending in the horizontal direction from the end in the image and the position of the obstacle. Calculate the coordinates of the intersection with the lane marking that indicates the boundary of the lane. The control unit 120 acquires the length (number of pixels) of a line segment connecting the end portion and the intersection point. W in FIG. 2A shows this line segment in an example of an image containing an obstacle.
  • the correspondence between the number of pixels in the x direction and the distance in the real space is defined in advance for each y coordinate, and this correspondence is recorded on the recording medium 130.
  • the control unit 120 is a lane marking indicating the boundary between the end of the obstacle and the lane. You can get the actual distance (passable width) from.
  • the control unit 120 determines whether or not this passable width is equal to or less than the default value.
  • the default value is a value for determining whether or not there is a possibility of traveling outside the lane in which the obstacle is located in order to avoid the obstacle. For example, a value from the value of the lane width itself to the value obtained by adding a default margin to the maximum possible vehicle width can be adopted as the default value.
  • the control unit 120 obtains obstacle information in which at least one image including the target obstacle in the image information 130c is associated with the position of the obstacle. Acquire and send to the server 200.
  • the position of the obstacle includes the coordinates in the coordinate system of the map, the link ID indicating the road section where the obstacle is located, and the identification information of the lane in which the obstacle is located.
  • the obstacle information may include the shooting date and time of the image and the position of the probe vehicle at the time of shooting.
  • the control unit 120 when the type of the obstacle is a vehicle and the type of the vehicle obtained by the image recognition process is a bus, the control unit 120 does not calculate the passable width of the lane, and also Do not send obstacle information to the server 200. It should be noted that it may be configured so that it is determined whether or not the stop position of the bus detected as an obstacle is a bus stop, and if it is a bus stop, the obstacle information is not transmitted to the server 200. When the bus is stopped at the bus stop, the control unit 120 considers it as a temporary stop for getting on and off, and in the present embodiment, does not transmit the obstacle information about the bus to the server 200.
  • the position of the bus stop can be acquired based on the map information 130a, the position and orientation (traveling direction) of the probe vehicle and the position of the bus are calculated based on the captured image, and the position of the bus and the position of the bus stop are calculated.
  • collating it is possible to determine whether or not the bus is stopped at the bus stop.
  • detecting a signboard or the like indicating a bus stop included in the image it can be determined that the position of the bus corresponds to the bus stop.
  • the control unit 120 when the height of the obstacle is equal to or less than the standard, the control unit 120 does not transmit the obstacle information to the server 200 for the obstacle. If the height of the obstacle is below the standard (here, a thin and flat object such as a flat cardboard, a flat plastic bag, a crushed empty can, etc. is assumed), it is possible to drive without avoiding it. Do not send obstacle information as possible. As a result, it is possible to prevent a large amount of obstacle information from being unnecessarily transmitted to the server 200.
  • the correspondence between the coordinates of the bottom of the object in the image, the number of pixels of the object in the height direction (y direction) of the image from the bottom, and the actual height of the object is recorded in advance on the recording medium 130. The height of the obstacle can be obtained based on the coordinates of the obstacle in the image, the number of pixels of the obstacle in the height direction (y direction) of the image, and this correspondence relationship.
  • Obstacle information in which the position and the image are associated can be transmitted to the server 200. Therefore, obstacle information can be acquired regardless of whether or not the avoidance operation is actually performed. For example, a probe vehicle that has passed an obstacle by a gentle steering operation that is not judged to be an avoidance operation without performing an avoidance operation such as a sudden steering wheel, or a lane other than the lane in which the obstacle is located (for example, an adjacent lane or an oncoming lane). Obstacle information can also be obtained from the image taken by the probe vehicle that did not perform the avoidance operation because it was traveling in the lane).
  • the server 200 has a function of delivering obstacle information to the guide vehicle.
  • the server 200 may be configured by one unit or may be configured by a plurality of units.
  • the server 200 includes a control unit 220, a recording medium 230, and a communication unit 240.
  • the control unit 220 is a computer including a CPU, RAM, ROM, and the like.
  • the control unit 220 can execute the obstacle information acquisition program 221 stored in the recording medium 230 or the ROM.
  • the communication unit 240 includes a circuit that communicates with other devices.
  • the control unit 220 can wirelessly communicate with the in-vehicle systems 100, 300, etc. via the communication unit 240 by the processing of the obstacle information acquisition program 221.
  • Map information 230a is recorded on the recording medium 230.
  • the map information 230a is common to the configuration of the map information 130a.
  • the control unit 220 when the obstacle information acquisition program 221 is executed, the control unit 220 functions as the obstacle information acquisition unit 221a and the guidance control unit 221b.
  • the control unit 220 when the control unit 220 receives the obstacle information from the in-vehicle system 100 mounted on the vehicle functioning as the probe vehicle by the function of the obstacle information acquisition unit 221a, the control unit 220 stores the obstacle information in the recording medium 230 (obstacles). Information 230b). Further, the control unit 220 performs the image recognition process described above on the image included in the obstacle information, detects the obstacle, and calculates the passable width in the lane in which the obstacle is located.
  • the control unit 220 calculates the passable width from the image included in each obstacle information. , The statistical value of the passable width may be calculated. In addition, since the position of the obstacle may have changed, the passable width calculated before a certain time from the current time may be excluded from the statistical value calculation.
  • the guidance control unit 221b is a program module that enables the control unit 220 to provide guidance regarding obstacles based on obstacle information.
  • the guidance control unit is realized by the cooperation of the guidance control unit 221b of the server 200 and the guidance control unit 32a of the guidance vehicle.
  • the guidance control unit 221b in the server 200 identifies a vehicle located within a predetermined range including the position of an obstacle, distributes obstacle information to the vehicle, and provides guidance based on the obstacle information in the vehicle. It is a function to be done.
  • the default range including the position of the obstacle may be assumed to be a range of a predetermined distance square around the position of the obstacle, a range of a predetermined radius, a mesh including the position of the obstacle, and the like.
  • the control unit 220 acquires vehicle position information transmitted from a communicable vehicle-mounted system (vehicle-mounted system mounted on a vehicle that can be a guide vehicle), and can be a guide vehicle on the recording medium 230. Save the position of the vehicle.
  • the control unit 220 sets a default range including the position of the obstacle based on the obstacle information 230b, and identifies a vehicle located within the default range.
  • the probe vehicle may be included in the specified vehicle.
  • the obstacle information is delivered to the specified vehicle.
  • the obstacle information distributed from the server 200 includes the position of the obstacle, the road section and lane in which the obstacle is located, and the passable width (or its statistical value). In the present embodiment, the obstacle information distributed from the server 200 may not include an image including an obstacle.
  • the in-vehicle system 300 includes a control unit 320, a recording medium 330, a camera 340, a GNSS receiving unit 341, a vehicle speed sensor 342, a gyro sensor 343, a user I / F unit 344, and a communication unit 345.
  • These configurations included in the vehicle-mounted system 300 have the same functions as the configurations of 140 to 145 included in the vehicle-mounted system 100.
  • the map information 330a recorded on the recording medium 330 has the same configuration as the map information 130a.
  • the vehicle body information 330b is information on the vehicle body of the guide vehicle equipped with the in-vehicle system 300, and includes information such as the total length, the total width, and the height of the guide vehicle.
  • the control unit 320 can display a map including the current position of the guide vehicle and execute a navigation program (not shown) that guides the route to the destination.
  • the control unit 320 can execute the obstacle information acquisition program 321 as one function of the navigation program.
  • the obstacle information acquisition program 321 includes a guidance control unit 321a.
  • the guidance control unit 321a is a program module that enables the control unit 320 to perform a function of guiding based on obstacle information.
  • the control unit 320 acquires the current position of the guide vehicle by the function of the guide control unit 321a. Further, it is configured to transmit the vehicle position information indicating the current position of the guiding vehicle to the server 200 at a predetermined timing.
  • control unit 320 acquires the obstacle information from the server 200
  • the control unit 320 identifies the position of the obstacle, the road section in which the obstacle is located, and the lane from the obstacle information.
  • the control unit 320 determines whether or not the passage width of the guide vehicle is larger than the passable width. judge. That is, the control unit 320 refers to the vehicle body information 330b, acquires the total width of the guided vehicle, and calculates the traffic width by adding the width of the predetermined margin to the total width.
  • the control unit 320 determines that the obstacle is located.
  • the control unit 320 notifies that the obstacle exists and calls attention. Guidance to urge.
  • the traffic width of the guide vehicle differs depending on the total width of the guide vehicle and the like, it is necessary to change the lane by calculating the traffic width of the guide vehicle for each guide vehicle and comparing it with the passable width as in the present embodiment. It is possible to provide lane change guidance to the guidance vehicle.
  • the control unit 320 notifies the position of the obstacle by displaying an icon indicating the obstacle at the position of the obstacle on the map displayed on the touch panel display of the user I / F unit 344. Further, the distance K [m] along the road between the guide vehicle and the obstacle may be calculated, and the presence of the obstacle may be notified by voice in front of K [m]. Further, when performing lane change guidance, the control unit 320 displays a lane list diagram or the like indicating the lane in which the obstacle is located and the recommended lane different from the lane among the lanes of the road section in which the vehicle is traveling. Notify.
  • the in-vehicle system 300 of the guide vehicle may have the same function as the in-vehicle system 100 of the probe vehicle. That is, when passing through the position of the obstacle indicated by the obstacle information transmitted from the server 200, the obstacle information in which the image taken by the guide vehicle and the position of the obstacle are associated with each other is transmitted to the server 200. It may be configured as follows. By doing so, the server 200 can recognize that the obstacle is still on the road (not removed from the road) based on the image transmitted from the guide vehicle. In addition, since the number of accumulated images of the same obstacle is increased, the reliability of the passable width statistical value calculated based on the image is increased.
  • the control unit 320 of the guide vehicle analyzes the image taken by the camera 340 before the predetermined distance of the position of the obstacle (the distance that the position of the obstacle is included in the field of view of the camera 340), and the obstacle. Even if the existence of the image is not recognized from the image, the image may be transmitted to the server 200 in association with the position of the guide vehicle at the time of shooting and the shooting date and time. By doing so, when the server 200 acquires the image, the shooting date and time, and the shooting position from the guide vehicle, the image recognition process is performed on the image, and if the obstacle is removed, the obstacle is included in the image. You can recognize that it is not.
  • the control unit 220 of the server 200 When it is recognized based on one or more images that the image of the position where the obstacle was present does not include the obstacle, the control unit 220 of the server 200 indicates that the obstacle has been removed from the road. After the determination is made, the distribution of the obstacle information related to the obstacle may be terminated.
  • step S100 the control unit 120 acquires the current position of the probe vehicle (step S100). That is, the control unit 120 acquires the current position of the probe vehicle and the traveling road section (link) by the output of the GNSS receiving unit 141, the vehicle speed sensor 142, and the gyro sensor 143 and the map matching process using the map information 130a. do. Further, the lane marking included in the image taken by the camera 140 is detected to identify the lane in which the probe vehicle is traveling.
  • control unit 120 acquires a captured image by processing the image acquisition unit 121a (step S102). That is, the control unit 120 acquires an image taken by the camera 140. Subsequently, the control unit 120 performs image recognition by the function of the image recognition unit 121b (step S105). That is, the control unit 120 performs image recognition processing for detecting the detection target for the image acquired in step S102. Then, as described above, lanes and obstacles are detected.
  • the control unit 120 determines whether or not an obstacle exists by the function of the image recognition unit 121b (step S110). That is, the control unit 120 determines whether or not an obstacle has been detected as a result of the image recognition process in step S105. If it is not determined in step S110 that an obstacle exists, the control unit 120 ends the obstacle information acquisition process. When it is determined in step S110 that there is an obstacle, the control unit 120 determines whether or not the obstacle is a vehicle by the function of the image recognition unit 121b (step S115). That is, the control unit 120 determines in the image whether or not a vehicle that is continuously stopped even though a surrounding vehicle is running is detected.
  • step S115 When it is determined in step S115 that the obstacle is a vehicle, the control unit 120 determines whether or not the obstacle is a bus (step S120). That is, the control unit 120 determines whether or not the type of the peripheral vehicle obtained by the image recognition process is a bus. If it is determined in step S120 that the obstacle is a bus, the control unit 120 ends the obstacle information acquisition process.
  • step S115 determines whether or not the height of the obstacle other than the vehicle is equal to or higher than the reference (step S125). That is, the control unit 120 calculates the height of the obstacle based on the number of pixels of the obstacle in the height direction of the image, the coordinates in the image of the obstacle, and the like. If it is not determined in step S125 that the height is equal to or higher than the reference, the control unit 120 ends the obstacle information acquisition process.
  • step S120 When the obstacle is not determined to be a bus in step S120, that is, when the vehicle is a stopped vehicle other than a bus such as a passenger car or a truck, the control unit 120 has a passable width by the function of the obstacle information acquisition unit 121c. Is calculated (step S130). Further, even when it is determined in step S125 that the height is equal to or higher than the reference, the control unit 120 executes step S130. In step S130, the width of the portion of the entire width of the lane that is not occupied by obstacles is calculated as the passable width.
  • the control unit 120 determines whether or not the passable width is equal to or less than the default value by the function of the obstacle information acquisition unit 121c (step S135), and if it is equal to or less than the default value, the obstacle Obstacle information in which the position of the above is associated with the image is transmitted to the server 200 (step S140).
  • the obstacle information includes at least one image including the obstacle, the position of the obstacle (coordinates in the coordinate system of the map, the link ID indicating the road section where the obstacle is located, and the obstacle. (Identification information of the lane in which it is located), the date and time when the image was taken, the position of the probe vehicle at the time of shooting, etc. are included. If it is not determined in step S135 that the passable width is equal to or less than the default value, the control unit 120 ends the obstacle information acquisition process.
  • FIG. 3B is a flowchart of the obstacle information acquisition process executed by the server 200.
  • the process of FIG. 3B is repeatedly executed at regular time intervals.
  • the control unit 220 acquires obstacle information by the function of the obstacle information acquisition unit 221a (step S200). That is, the control unit 220 acquires the obstacle information received from the in-vehicle system 100 of the probe vehicle, and acquires the road section (link) in which the obstacle is located from the obstacle information.
  • control unit 220 acquires vehicle position information by the function of the guidance control unit 221b (step S205). That is, the control unit 220 acquires the vehicle position information transmitted from the in-vehicle system 300 of the guide vehicle.
  • the control unit 220 transmits the obstacle information to the guide vehicle within the predetermined range including the position of the obstacle (step S210). That is, the control unit 220 identifies a guide vehicle located within a predetermined range including the position of the obstacle based on the obstacle information acquired in step S200 and the vehicle position information acquired in step S205, and the control unit 220 of the guide vehicle. Obstacle information is distributed to the in-vehicle system 300.
  • FIG. 3C is a flowchart of the obstacle information acquisition process executed by the in-vehicle system 300.
  • the process shown in FIG. 3C is repeatedly executed at regular time intervals.
  • the control unit 320 acquires the current position by the function of the guidance control unit 321a (step S300). That is, the control unit 320 acquires the current position of the guide vehicle and the traveling road section (link) by the output of the GNSS receiving unit 341, the vehicle speed sensor 342, and the gyro sensor 343 and the map matching process using the map information 330a. do. Further, the control unit 320 detects the lane marking included in the image taken by the camera 340 and identifies the lane in which the guiding vehicle is traveling.
  • the control unit 320 acquires obstacle information by the function of the guidance control unit 321a (step S305). That is, the control unit 320 acquires the obstacle information distributed from the server 200. Obstacle information includes road sections and lanes where obstacles are located.
  • the control unit 320 determines whether or not the guide vehicle is traveling in the road section and lane where the obstacle is located and has not passed the obstacle by the function of the guidance control unit 321a (step). S310). That is, the control unit 320 determines whether or not the guide vehicle is traveling in the same road section as the obstacle and is traveling in the same lane as the lane in which the obstacle is located. When the road section and the lane are the same, the control unit 320 determines that the guide vehicle does not have an obstacle based on the current position of the guide vehicle, the position of the obstacle, the shape of the road section, and the traveling direction of the lane. Determine if it has passed or has already passed.
  • step S310 if it is not determined that the guiding vehicle is traveling in the road section and lane where the obstacle is located and the obstacle has not passed, the control unit 320 ends the process of FIG. 3C.
  • the control unit 320 uses the function of the guidance control unit 321a to guide the vehicle. It is determined whether or not the passage width of the vehicle is larger than the passable width (step S315). That is, the control unit 320 acquires the passage width of the guide vehicle based on the vehicle body information 330b, and compares the passage width with the passable width acquired from the server 200.
  • step S315 When it is determined in step S315 that the passage width of the guide vehicle is larger than the passable width, the control unit 320 provides lane change guidance by the function of the guide control unit 321a (step S320). If it is not determined in step S315 that the passage width of the guide vehicle is larger than the passable width, the control unit 320 uses the function of the guide control unit 321a to provide alert guidance (step S325). The guidance in steps S320 and S325 may be performed regardless of whether or not the route to the destination is being guided.
  • Second embodiment The difference between the second embodiment and the first embodiment is the content of the obstacle information transmitted to the server 200 according to the passable width.
  • a specific description will be given with reference to FIG. 3A.
  • the default value for example, a value obtained by adding a default margin to the maximum possible vehicle width can be adopted. That is, if it is determined that even the widest vehicle can pass without going out of the lane, the position of the obstacle is uploaded to the server 200, but the image including the obstacle is not uploaded to the server 200 (in this case, the obstacle). The object information does not include the image, but the location of the obstacle). As described above, in the case of the present embodiment, since the images are not transmitted to the obstacles that do not have a great influence on the passage in many vehicles, it is possible to prevent unnecessary many images from being transmitted to the server 200.
  • FIG. 4A is a flowchart of the obstacle information acquisition process in the server 200 of the second embodiment
  • FIG. 4B is a flowchart of the obstacle information acquisition process in the in-vehicle system 300 of the guide vehicle of the second embodiment.
  • processing steps different from those in the first embodiment are shown by thick lines.
  • the server 200 receives the obstacle information including the position of the obstacle but not the image (N determination in step S206 of FIG. 4A)
  • the control unit 220 is positioned within the predetermined range including the position of the obstacle. Obstacle information including the position of the obstacle and the alert guidance is transmitted to the guidance vehicle (step S207).
  • the obstacle information received from the server 200 includes a warning guidance (Y determination in step S306 of FIG. 4B), the obstacle before reaching the position of the obstacle. The position is notified and attention is given (step S325).
  • the control unit 220 receives the information as in the first embodiment.
  • the image recognition process is performed on the image to calculate the passable width, and the obstacle information including the position of the obstacle and the passable width is transmitted to the in-vehicle system 300 (step S210).
  • the processing after step S310 is performed as in the first embodiment. conduct.
  • the control unit 120 of the vehicle-mounted system 100 of the probe vehicle further includes a guidance control unit 121d in addition to the image acquisition unit 121a, the image recognition unit 121b, and the obstacle information acquisition unit 121c.
  • FIG. 5 is a flowchart of the obstacle information acquisition process of the probe vehicle according to the third embodiment. In FIG. 5, the processing steps different from those of the first embodiment are shown in a thick frame.
  • the control unit 120 calculates the passable width based on the image (step S130).
  • the control unit 120 determines whether or not the probe vehicle is traveling in the lane in which the obstacle is located by the function of the guidance control unit 121d (step S145). If it is not determined in step S145 that the vehicle is traveling in the lane of the obstacle, the control unit 120 ends the obstacle information acquisition process. When it is determined in step S145 that the vehicle is traveling in the lane of an obstacle, the control unit 120 determines whether or not the passage width of the probe vehicle is larger than the passable width by the function of the guidance control unit 121d (step). S150).
  • the control unit 120 uses the function of the guidance control unit 121d to guide the lane change to a lane other than the lane in which the obstacle is located as a recommended lane. (Step S155). Further, when the passage width of the probe vehicle is equal to or less than the passable width (N determination in step S150), the control unit 120 uses the function of the guidance control unit 121d to notify the position of the obstacle to give warning guidance (n). Step S160).
  • the passage width of the probe vehicle is a value obtained by adding a predetermined margin to the total width of the vehicle body information 130b. According to the present embodiment, in the probe vehicle that has detected an obstacle, guidance for dealing with the obstacle can be performed without going through the server 200.
  • the obstacle information acquisition system may be a device mounted on a vehicle or the like, a device realized by a portable terminal, or a plurality of devices (for example, in the in-vehicle system 100). It may be a system realized by a control unit 120 and a control unit in the camera 140). Further, the functions of the image recognition unit and the obstacle information acquisition unit constituting the obstacle information acquisition system may be realized by the server. Further, the functions of the image recognition unit and the obstacle information acquisition unit may be realized in the in-vehicle system of the guidance vehicle.
  • Both the in-vehicle system 300 and the in-vehicle system 100 can be an in-vehicle system for a probe vehicle and can also be an in-vehicle system for a guide vehicle. Some configurations of the above embodiments may be omitted, and the order of processing may be varied or omitted.
  • the image acquisition unit should be able to acquire an image of the road on which the probe vehicle is traveling.
  • the camera attached to the probe vehicle may be a camera that includes the road in front of the probe vehicle in the field of view, or may be a camera that includes the road behind or the road on the side in the field of view. It may be adjusted in advance so that the position of the object (relative position with respect to the probe vehicle) included in the image taken by the camera can be specified. If the relative position with respect to the probe vehicle can be acquired, the absolute position of the object can be acquired based on the relative position and the absolute position of the probe vehicle.
  • the image recognition unit only needs to be able to detect obstacles and lanes on the road from the image, and any method may be adopted. For example, whether or not an obstacle is included in the captured image may be determined by collating with the pattern of the obstacle, or using a machine-learned model using the image of the obstacle as teacher data. It may be done. Further, the image recognition unit may be able to identify the lane in which the obstacle is located among all the lanes in the road section in which the obstacle is located based on the image. Obstacles and lane markings indicating lane boundaries may be detected by using a camera and a detection device other than the camera (for example, radar, LiDAR, etc.) in combination.
  • a camera and a detection device other than the camera for example, radar, LiDAR, etc.
  • the obstacle information acquisition unit should be able to acquire obstacle information in which the position of the obstacle and the image are associated with each other based on the passable width of the lane in which the obstacle is located in the image.
  • the obstacle may be any obstacle that can hinder the passage of the vehicle.
  • the obstacle may be one existing on the road surface, or may be a recess formed in the road, for example. In the case of a recess, if the size is smaller than the size standard or the depth is shallower than the depth standard, it may be excluded from the target of obstacle information acquisition.
  • the obstacle information may be at least information in which the image including the obstacle and the position of the obstacle are associated with each other.
  • the position of the obstacle may be coordinates that directly indicate the position of the obstacle, or may be information that indirectly indicates the position of the obstacle.
  • the obstacle information may be information in which the position and traveling direction of the probe vehicle at the time of image capture including the obstacle are associated with the captured image.
  • the in-vehicle system capable of communicating with the server is configured to transmit the vehicle position information to the server in association with the ID of the vehicle equipped with the in-vehicle system, and further transmits the vehicle body information in association with the vehicle ID. It may be configured as follows. In that case, the server can specify the traffic width of each vehicle based on the vehicle body information of each vehicle, and the server can compare the size of the passable width and the traffic width of the guide vehicle. Then, the in-vehicle system of the guidance vehicle whose traffic width is larger than the passable width is notified to give lane change guidance if the vehicle is traveling in the lane where the obstacle is located, and the traffic width is less than or equal to the passable width. The in-vehicle system of a certain guidance vehicle may be notified to give a warning. The in-vehicle system of the guidance vehicle may be configured to provide guidance in accordance with the notification.
  • the obstacle information is distributed to the guide vehicle located within the predetermined range including the position of the obstacle, but the distribution destination may be further limited.
  • the obstacle information may be transmitted to the vehicle traveling on the road section where the obstacle is located, or the obstacle information may be transmitted by narrowing down the lane in which the obstacle is located to the traveling vehicle. ..
  • the obstacle information may be transmitted to the vehicle.
  • the probe vehicle is subjected to image recognition processing to calculate the passable width
  • the server is also configured to perform image recognition processing on the image again to calculate the passable width.
  • the passable width of the vehicle is calculated, it is not necessary to perform the image recognition process again on the server. That is, the passable width acquired as a result of the image recognition process by the probe vehicle is included in the obstacle information and transmitted to the server, and the server adopts the passable width transmitted from the probe vehicle to process the guidance control unit. You may go. Further, for example, a configuration may be adopted in which the server does not perform the image recognition process on the image but performs the image recognition process on the image in the guide vehicle to acquire the passable width.
  • the obstacle information delivered from the server to the guide vehicle includes the position of the obstacle and at least one image including the obstacle.
  • the image including obstacles received by the server from the probe vehicle may be used in addition to being used for the image recognition process for calculating the passable width.
  • the server may perform image recognition processing to identify the type of obstacle (vehicle, tire, box, bag, carcass of animal, etc.).
  • the image is collected as teacher data for generating a model for acquiring whether or not the image contains an obstacle, a model for acquiring the type of the obstacle from the image including the obstacle, and the like by machine learning. May be good. Further, for example, it may be used to display an obstacle portion of the image in the guidance control unit of the guidance vehicle.
  • the above embodiment has been described with an example in which the number of obstacles included in the image is one, but even when a plurality of obstacles exist in the same lane, obstacles are made based on the passable width. It suffices if the object information can be obtained.
  • the distance between each obstacle in the extending direction of the road is less than a predetermined value, and the distance between each obstacle in the width direction of the road is less than, for example, a predetermined value.
  • the passable width may be calculated by regarding it as one obstacle.
  • the guidance control unit may provide warning guidance even for a second vehicle traveling in a second lane other than the first lane in which an obstacle is located. Since there is a possibility that the first vehicle traveling in the first lane in which the obstacle is located suddenly protrudes into a lane other than the first lane (for example, the second lane), a warning guide may be provided.
  • the second lane may be the same lane as the first lane, or may be an oncoming lane (without a median strip).
  • the second lane may be a lane adjacent to the first lane, or the second lane and the first lane may be adjacent to each other with one or more lanes in between.
  • the guidance control unit may be configured to guide the avoidance of the road section. ..
  • the guidance control unit may be realized by a server. That is, the guidance control unit 221b of the server identifies the guidance vehicle, selects the content of guidance (lane change guidance, alerting, etc.) in the guidance vehicle, and determines the guidance timing (guidance implementation point) in the guidance vehicle. Go and send the guidance content and guidance timing information to the guidance target.
  • the guidance vehicle may be configured to control the user I / F unit 344 to execute guidance according to the information.
  • the passable width may be the length of a portion of the lane in which the obstacle is located that is not occupied by the obstacle in the height direction from the road surface.
  • FIG. 6 shows an example in which an obstacle exists on a road from the road surface through a space.
  • an obstacle for example, a branch of a tree, a signboard, or a flying object hanging on them may be assumed.
  • FIG. 6 schematically shows an example in which a part of a tree branch on the side of a road protrudes into the road.
  • the image recognition unit detects lanes and obstacles by image recognition processing such as YOLO, pattern matching, and contour detection.
  • the obstacle is the part of the branch or leaf that juts out onto the road.
  • the image recognition unit acquires the relative direction ⁇ and the linear distance D as seen from the probe vehicle at the point P1 when the lower end of the obstacle is projected onto the road surface from vertically above. Then, the image recognition unit acquires the position of the obstacle point P1 in the coordinate system of the map based on the relative direction ⁇ , the straight line distance D, the current position of the probe vehicle, and the traveling direction. Further, the obstacle information acquisition unit acquires the length of the line segment wh having the lower end of the obstacle and the point P1 at both ends.
  • the correspondence between the length of the line segment wh in the image and the position of the lower end (P1) of the line segment wh in the image and the length of the line segment wh in the real space is specified in advance, and this correspondence Using the relationship, the image recognition unit acquires the length ( wh ) of the lower end of the obstacle and the road surface in real space.
  • the length ( wh ) in the real space is the length (passable width in the height direction) of the portion of the lane in which the obstacle is located that is not occupied by the obstacle in the height direction from the road surface. ..
  • the guidance control unit causes the guidance vehicle to acquire obstacle information including the position of the obstacle and the passable width in the height direction of the lane in which the obstacle is located.
  • the traffic width in the height direction of the guide vehicle (the total height of the guide vehicle is obtained from the vehicle body information, and the height of the predetermined margin is added to the total height to obtain the traffic width in the height direction). It is compared with the passable width in the height direction, and guidance on obstacles is provided. For example, when the traffic width in the height direction of the guide vehicle is larger than the passable width in the height direction, lane change guidance is performed with a lane other than the lane in which the obstacle is located as the recommended lane. Further, for example, when the passage width in the height direction of the guide vehicle is equal to or less than the passable width in the height direction, the warning guidance for notifying the presence of an obstacle is performed.
  • the obstacle information may include both the passable width in the width direction of the lane and the passable width in the height direction, and the pass width and the width in the full width direction of the guide vehicle may be included in the direction.
  • a comparison with the possible width and a comparison between the traffic width in the height direction of the guide vehicle and the traffic width ( wh ) in the height direction are performed, and guidance on obstacles with contents according to the results is performed. May be.
  • an obstacle and a lane on the road are detected from an image of a moving road, and the position and image of the obstacle are based on the passable width of the lane in which the obstacle is located in the image.
  • the method of acquiring obstacle information associated with is also applicable as a program or method.
  • the above systems, programs, and methods may be realized as a single device or may be realized by using parts shared with each part provided in the vehicle, including various aspects. It is a program.
  • some of them are software and some of them are hardware, so they can be changed as appropriate.
  • the invention is also established as a recording medium for a program that controls a system.
  • the recording medium of the program may be a magnetic recording medium or a semiconductor memory, and any recording medium developed in the future can be considered in exactly the same way.
  • Guidance control unit 230 ... Recording medium, 230a ... Map information, 230b ... Obstacle information, 240 ... Communication unit, 300 In-vehicle system, 320 ... control unit, 321 ... obstacle information acquisition program, 321a ... guidance control unit, 330 ... recording medium, 330a ... map information, 330b ... vehicle body information, 340 ... camera, 341 ... GNSS receiver, 342 ... Vehicle speed sensor, 343 ... Gyro sensor, 344 ... User I / F unit, 345 ... Communication unit, B ... Bounding box, Bo ... Representative coordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】障害物に対する回避操作が実施されたか否かに関わらず障害物の情報を取得する技術の提供。 【解決手段】車両が走行中の道路を撮影した画像を取得する画像取得部と、前記画像から道路上の障害物と車線とを検出する画像認識部と、前記画像における前記障害物が位置する車線の通行可能幅に基づいて、前記障害物の位置と前記画像とを対応付けた障害物情報を取得する障害物情報取得部と、を備える障害物情報取得システムを構成する。

Description

障害物情報取得システム
　本発明は、障害物情報取得システムに関する。
　従来、道路上の落下物（障害物）を車両において検知することが知られている。特許文献１には、落下物に対して車両が回避操作を行ったか否かを示す情報と落下物の位置情報とを当該車両からサーバに送信し、サーバでは、同一の落下物に対して回避操作を行った車両の割合が所定以上である場合に後続車に落下物を回避すべきであることを通知することが記載されている。
特開２０２０－０８７３０９号公報
　しかし、従来の技術では、次のような場合に落下物を回避すべきものとして判定することができない。例えば、落下物の横を落下物から至近距離で通過した場合（僅かなステアリング操作で通過）や、落下物が存在する車線に隣接している車線を走行している場合（回避操作をしない）等である。
  本発明は、上記課題にかんがみてなされたもので、障害物に対する回避操作が実施されたか否かに関わらず障害物の情報を取得することができる技術の提供を目的とする。
　上記の目的を達成するため、障害物情報取得システムは、車両が走行中の道路を撮影した画像を取得する画像取得部と、画像から道路上の障害物と車線とを検出する画像認識部と、画像における障害物が位置する車線の通行可能幅に基づいて、障害物の位置と画像とを対応付けた障害物情報を取得する障害物情報取得部と、を備える。
　すなわち、障害物情報取得システムでは、障害物が位置する車線の通行可能幅を画像から特定し、車線の通行可能幅に基づいて、障害物の位置と画像とを対応付けた障害物情報を取得する。従ってこの障害物情報取得システムによれば、実際に回避操作が実施されたか否かに関わらず障害物情報を取得することができる。
障害物情報取得システムの構成を示すブロック図。 図２Ａは撮影された画像の例を示す図、図２Ｂは車幅軸と車長軸とを含む平面を示す図。 図３Ａ～図３Ｃは、障害物情報取得処理のフローチャート。 図４Ａ～図４Ｂは、第２実施形態にかかる障害物情報取得処理のフローチャート。 第３実施形態にかかる障害物情報取得処理のフローチャート。 撮影された画像の例を示す図。
　ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）第１実施形態：
　（１－１）障害物情報取得システムの構成：
　（１－２）障害物情報取得処理：
（２）第２実施形態：
（３）第３実施形態：
（４）他の実施形態：
　（１）第１実施形態：
  （１－１）障害物情報取得システムの構成：
  図１は、本発明にかかる障害物情報取得システムの構成を示すブロック図である。本実施形態において、障害物情報取得システムは、車載システム１００とサーバ２００と車載システム３００とを備える。車載システム１００は、本実施形態においてプローブ車両として機能する車両に備えられており、当該車両の周囲の画像を撮影しサーバ２００に送信する機能を有している。車載システム３００は、サーバ２００から配信された情報に基づいて案内を実施する車両（案内車両）に備えられている。
　車載システム１００は、制御部１２０と、記録媒体１３０と、カメラ１４０と、ＧＮＳＳ受信部１４１と、車速センサ１４２と、ジャイロセンサ１４３と、ユーザＩ／Ｆ部１４４と、通信部１４５を備えている。制御部１２０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備えるコンピュータである。車載システム１００は、記録媒体１３０やＲＯＭに記憶されたプログラムを制御部１２０で実行することができる。記録媒体１３０には、予め地図情報１３０ａと車体情報１３０ｂが記録されている。また、記録媒体１３０には、走行過程で撮影された画像および当該画像に対応付けられた情報を含む画像情報１３０ｃが記録される。
　地図情報１３０ａは、プローブ車両の現在位置の特定や、経路案内等に利用される情報であり、プローブ車両が走行する道路上に設定されたノードの位置等を示すノードデータ，ノード間の道路の形状を特定するための形状補間点の位置等を示す形状補間点データ，ノード同士の連結を示すリンクデータ，道路やその周辺に存在する地物の位置や形状等を示す地物データ等を含んでいる。なお、本実施形態においてノードは交差点を示している。また、リンクデータには、当該リンクデータが示す道路区間に存在する車線の数および種別、車線の幅を示す情報が対応づけられている。本実施形態においてノードや形状補間点が示す位置は道路区間上の中央線の位置を示しており、当該位置と車線の数および車線の幅によって車線の位置や車線が存在する範囲が特定可能である。車体情報１３０ｂは、車載システム１００を搭載しているプローブ車両の車体の情報であり、車体情報１３０ｂには、プローブ車両の全長、全幅、高さ等の車体の寸法を示す情報が含まれている。
　ＧＮＳＳ受信部１４１は、Global Navigation Satellite Systemの信号を受信する装置であり、航法衛星からの電波を受信、図示しないインタフェースを介してプローブ車両の現在位置を算出するための信号を出力する。制御部１２０は、この信号を取得して地図の座標系におけるプローブ車両の現在位置（緯度、経度等）を取得する。車速センサ１４２は、プローブ車両が備える車輪の回転速度に対応した信号を出力する。制御部１２０は、図示しないインタフェースを介してこの信号を取得し、車速を取得する。ジャイロセンサ１４３は、プローブ車両の水平面内の旋回についての角加速度を検出し、プローブ車両の向きに対応した信号を出力する。制御部１２０は、この信号を取得してプローブ車両の進行方向を取得する。車速センサ１４２およびジャイロセンサ１４３等は、プローブ車両の走行軌跡を特定するために利用され、本実施形態においては、プローブ車両の出発地と走行軌跡とに基づいて現在位置が特定され、当該出発地と走行軌跡とに基づいて特定されたプローブ車両の現在位置がＧＮＳＳ受信部１４１の出力信号に基づいて補正される。
　カメラ１４０は、プローブ車両の前方に向けられた視野内の画像を取得する装置である。カメラ１４０の光軸はプローブ車両に対して固定されており、車載システム１００において当該光軸の方向が既知であればよい。本実施形態において、カメラ１４０はプローブ車両の車幅方向と光軸中心が垂直で、プローブ車両の進行方向前方が視野に含まれるような姿勢でプローブ車両に取り付けられている。制御部１２０は、当該カメラ１４０の出力する画像を取得し、特徴量の抽出等により画像を解析することによって、撮影画像に含まれる検出対象の画像を検出することができる。
　ユーザＩ／Ｆ部１４４は、利用者の指示を入力し、また利用者に各種の情報を提供するためのインタフェース部であり、図示しないタッチパネル方式のディスプレイやスピーカ等を備えている。すなわち、ユーザＩ／Ｆ部１４４は画像や音の出力部およびユーザによる指示の入力部を備えている。ユーザＩ／Ｆ部１４４の出力部は、当該出力部の出力によって任意の情報を案内する案内部として機能し得る（後述のユーザＩ／Ｆ部３４４も同様）。通信部１４５は、他の装置と無線通信を行うための回路を含んでいる。本実施形態において、制御部１２０は、通信部１４５を介して、無線通信によってサーバ２００と様々な情報を授受することができる。
　制御部１２０は、現在位置を含む地図の表示や、目的地までの経路を案内する図示しないナビゲーションプログラムを実行可能である。また、制御部１２０は、カメラ１４０で撮影した画像から道路上に存在する障害物を検出すると、障害物の位置と当該画像とを対応付けた障害物情報を取得する機能を実現することができる。当該機能は障害物情報取得プログラム１２１によって実現可能である。当該機能を実現するため、障害物情報取得プログラム１２１は、画像取得部１２１ａと、画像認識部１２１ｂと、障害物情報取得部１２１ｃと、を備えている。案内制御部１２１ｄについては、第３実施形態にて説明する。
　画像取得部１２１ａは、プローブ車両が走行中の道路を撮影した画像を取得する機能を制御部１２０に実行させるプログラムモジュールである。本実施形態においては、プローブ車両が走行している過程において制御部１２０が一定周期毎にカメラ１４０を制御し、プローブ車両の前方の道路を含む風景を撮影する。撮影によってカメラ１４０から出力された画像は、画像情報１３０ｃとして記録媒体１３０に記録される。なお、本実施形態において、制御部１２０は、ＧＮＳＳ受信部１４１，車速センサ１４２，ジャイロセンサ１４３の出力信号に基づいてプローブ車両の現在位置を取得し、画像を撮影した際のプローブ車両の現在位置および撮影時刻を対応付けて画像情報１３０ｃとして記録媒体１３０に記録する。なお、制御部１２０は、マップマッチング処理によりプローブ車両が走行中の道路区間を取得する。また、制御部１２０は、後述する画像認識処理によって車線の境界線や中央線、車道外側線等の区画線の位置を検出することにより、プローブ車両が走行中の車線を取得することが可能である。
　画像認識部１２１ｂは、画像から道路上の障害物と車線とを検出する機能を制御部１２０に実現させるプログラムモジュールである。制御部１２０は、画像認識処理を行って検出対象を検出する。本実施形態において、検出対象には、周辺車両（乗用車、トラック、バス、２輪車等）、交通標識、信号機、道路周辺の構造物（電柱、ガードレール等）、路面標示（文字、横断歩道、中央線、車線境界線、車道外側線等）等が含まれる。
　制御部１２０は、画像情報１３０ｃを取得し、レンズによる歪み補正等を施す。制御部１２０は、歪み補正後の画像に対して、車道外側線や車線境界線や中央線等の路上にペイントされた線を認識する。区画線認識処理は、種々の手法で実施されてよい。例えば、制御部１２０が、ハフ変換等を利用した直線検出処理を実行し、検出された直線によって挟まれる領域の色が白等の所定の色であり、当該領域の幅が既定距離以内である場合に車線境界線等や中央線等の路上にペイントされた線であるとして認識する処理等が挙げられる。
　さらに、制御部１２０は、ＹＯＬＯ（You Only Look Once）やパターンマッチング等を用いて、上述の検出対象を検出するための画像認識処理を実行する。画像認識処理の結果、制御部１２０は、撮影画像から検出対象の画像を検出する。なお上述の区画線認識処理がＹＯＬＯやパターンマッチング等によって行われても良い。例えば制御部１２０は、検出対象の１つである周辺車両を認識すると、当該周辺車両を囲むバウンディングボックスを画像内で特定する。バウンディングボックスの大きさおよび位置は、周辺車両の画像の大きさや、撮影された画像内における周辺車両の位置を示している。図２Ａは、カメラ１４０によって撮影され、歪み補正が行われた後の画像Ｉの一例を示す図である。図２Ａに示すように、本実施形態においてバウンディングボックスＢは、画像Ｉから検出された周辺車両を囲む矩形領域である。
　バウンディングボックスＢの大きさや位置は、例えばバウンディングボックスＢの左上の頂点の座標と右下の頂点の座標によって表される。制御部１２０は、バウンディングボックスＢの対角２頂点の座標から、バウンディングボックスＢの高さｈ（画素数）と、バウンディングボックスＢの代表座標Ｂｏ（ｘ、ｙ）を取得する。代表座標Ｂｏは、例えばバウンディングボックスＢの中心座標（幅方向および高さ方向の中点）等である。制御部１２０は、バウンディングボックスＢの代表座標Ｂｏの位置に基づいて、プローブ車両から見た周辺車両の相対方位を特定する。また、制御部１２０は、バウンディングボックスＢの高さｈおよび周辺車両の種類に基づいて、プローブ車両から周辺車両までの距離を特定する。
　具体的には、画像Ｉ内の各座標には、プローブ車両を基準とした場合の、当該座標に写る物体の相対方位が対応付けられており、対応関係を示す情報が記録媒体１３０に記憶されている。制御部１２０はこの対応関係に基づいて、代表座標Ｂｏに写る周辺車両の相対方位を取得する。本実施形態においては、プローブ車両を基準とした車両座標系が定義される。車両座標系は、互いに直交する車幅軸（図２Ｂに示すＸ軸）と車長軸（図２Ｂに示すＹ軸）とで定義される座標系である。
　図２Ｂは車幅軸と車長軸とを含む平面を示している。同図において点Ｏは、プローブ車両における車両座標系の原点である。図２Ｂの例において、車長軸はプローブ車両が走行している道路区間を示すリンクと平行である。相対方位は、例えば、車両座標系の原点Ｏと代表座標Ｂｏに対応する地点Ｐとを結ぶ直線ＳＬと車長軸とのなす角度（θ）で表現される（例えばθが負値の場合は進行方向前方に向かって車長軸の左側、正値の場合は右側であることを示す）。
　さらに、制御部１２０は、画像認識処理により、バウンディングボックスＢ内の周辺車両の種類を特定する。周辺車両の種類は、例えばバス、トラック、乗用車、２輪車等のように分類されてよい。また、本実施形態においては周辺車両の種類毎に、代表的な車高（例えば乗用車の場合、１．５［ｍ］等）が規定されている。さらに、プローブ車両と周辺車両との直線距離と、当該周辺車両をカメラ１４０で撮影した場合のバウンディングボックスＢの高さｈとが予め計測されている。そして、周辺車両の種類毎に、バウンディングボックスＢの高さｈと、車両座標系の原点を基準とした直線距離との対応関係を示す情報が記録媒体１３０に記憶されている。
　例えば、車高の代表的な実寸が１．５［ｍ］の乗用車を囲むバウンディングボックスの高さがｈ１画素であれば直線距離がＤ１［ｍ］であり、ｈ２画素であれば直線距離がＤ２［ｍ］であることが対応付けられている。バスやトラック、２輪車等の他の種類についてもそれぞれ対応関係を示す情報が記録媒体１３０に記憶されている。制御部１２０は、この対応関係に基づいて、バウンディングボックスＢの高さｈに対応する直線距離Ｄ（図２Ｂを参照）を算出する。以上のようにして、制御部１２０は、カメラ１４０が撮影した画像に基づいて、画像内に含まれる周辺車両の相対方位θと、プローブ車両との直線距離Ｄを取得する。
　本実施形態においては、カメラ１４０による撮影周期毎に画像が撮影され、各画像について周辺車両の特定および直線距離、相対方位の特定が行われる。従って、数フレームの撮影過程に渡って同一の周辺車両が認識され得る。そこで、本実施形態において、制御部１２０は、同一の周辺車両が撮影されている間、当該周辺車両に対して同一の識別情報を付与する。このため、制御部１２０は、相対方位θと直線距離Ｄが特定された各周辺車両の画像の特徴（例えば、色、バウンディングボックスＢ内の模様等）を特定し、当該特徴に対応した識別情報（例えば、番号等）を、相対方位θ、直線距離Ｄ、周辺車両の特徴を示す情報および画像の撮影時刻に対応付けて記録媒体１３０に記録する。
　画像が撮影されるたびに同一の周辺車両に対して同一の識別情報を付与するため、制御部１２０は、記録媒体１３０を参照し、直前の画像と最新の画像で認識された周辺車両に対応づけられた画像の特徴と一致するか否か判定する。一致する場合、制御部１２０は、直前の画像において周辺車両に付与された識別情報を、最新の画像で認識された周辺車両に対しても付与する。この結果、カメラ１４０によって撮影され続けられる周辺車両に対しては同一の識別情報が付与される。むろん、連続するフレームにおいて特徴が同一の画像が撮影されたとしても、制御部１２０は、両者の画像の距離が閾値以上である場合に同一とみなさないなどの各処理が行われてよい。いずれにしても、同一の識別情報が付与された画像が検出されている期間においては、同一の周辺車両が検出され続けているとみなすことができる。
　続いて制御部１２０は、画像認識処理で認識された各周辺車両の相対方位θと直線距離Ｄと特徴に対応した識別情報を取得する。すなわち、画像認識処理は画像情報１３０ｃが取得されるたびに行われるため、制御部１２０は、現在以前の既定期間内に撮影された画像情報１３０ｃにおいて実施された画像認識処理の結果から、当該既定期間分に得られた相対方位θと直線距離Ｄと特徴に対応した識別情報とを時系列で取得する。
　また、制御部１２０は、相対方位θおよび直線距離Ｄの算出元となった画像情報１３０ｃのそれぞれに対応づけられていたプローブ車両の現在位置（カメラ１４０で画像情報１３０ｃを撮影した際の現在位置）や進行方位（車長軸が示す方位）を取得する。そして、制御部１２０は、相対方位θ、直線距離Ｄ、プローブ車両の現在位置およびプローブ車両の進行方位に基づいて、地図の座標系における周辺車両の位置を取得する。すなわち同じ識別情報が対応付けられた周辺車両毎に地図の座標系における位置を取得する。
　さらに、制御部１２０は、周辺車両が位置する道路区間および車線を特定する。すなわち、制御部１２０は、プローブ車両が走行中の道路区間およびその周辺の道路区間のノードデータおよび形状補間データと、周辺車両の位置とに基づいて、当該周辺車両が存在する道路区間を特定し、当該道路区間のノードデータおよび形状補間データに基づいて当該道路区間上の中央線の位置を特定する。さらに、制御部１２０は、地図情報１３０ａを参照し、当該道路区間の車線情報に基づいて当該道路区間上の車線の幅を特定する。そして、制御部１２０は、中央線と周辺車両との距離に基づいて周辺車両が位置している車線を取得する。なお、画像から検出した周辺車両が位置する車線の領域の幅方向の両端の区画線の線種と、地図情報１３０ａから取得した車線情報に基づいて、周辺車両が位置する車線を特定してもよい。
　現在以前の既定期間内に撮影された画像情報１３０ｃにおいて、ある識別情報の周辺車両の位置の変化量が閾値以下である場合、制御部１２０は当該周辺車両を停止車両と見なす。また、本実施形態において、交通渋滞によって停止している周辺車両は、障害物とみなされない。具体的には例えば、プローブ車両と、当該プローブ車両の進行方向と同じ進行方向を向いている周辺車両と、がともに停止している場合、制御部１２０は、停止している周辺車両を障害物と見なさない。一方、特定の位置に周辺車両が停止している一方で、プローブ車両や、当該プローブ車両の進行方向と同じ進行方向を向いている他の周辺車両が移動している場合、制御部１２０は、停止している周辺車両を障害物と見なす。また例えば、当該周辺車両が位置する車線の進行方向とプローブ車両の進行方向が同じであり、プローブ車両が当該周辺車両の横を通過したが当該周辺車両は継続的に停止していると判断した場合にも、制御部１２０は、当該周辺車両を障害物と見なす。
　次に、車両以外の障害物の検出について説明する。制御部１２０は、画像内において区画線に挟まれた領域を路面（車線）の領域として特定する。制御部１２０は、区画線以外の路面標示が画像内に存在する場合には当該路面標示を認識する。そして、制御部１２０は、路面（車線）の領域に少なくとも一部が含まれる物体であって路面標示以外の物体を検出した場合、プローブ車両を基準とした当該物体の相対位置を取得する。例えば制御部１２０は、当該物体の例えば中央部の画像内における座標から、当該物体とプローブ車両との直線距離や相対方位を取得することができる。制御部１２０は画像撮影時のプローブ車両の現在位置および進行方位と当該直線距離と相対方位に基づいて、地図の座標系における当該物体の位置を特定する。現在以前の既定期間内に撮影された画像情報１３０ｃにおいて、同一の物体について位置を時系列に取得する。当該物体の位置の変化量が閾値以下である場合に、制御部１２０は、当該物体を障害物と見なす。
　障害物情報取得部１２１ｃは、画像における障害物が位置する車線の通行可能幅に基づいて、障害物の位置と画像とを対応付けた障害物情報を取得する機能を制御部１２０に実現させるプログラムモジュールである。本実施形態においては、画像に基づいて、障害物が位置する車線の通行可能幅を算出し、通行可能幅が既定値以下である場合に障害物情報をサーバ２００に送信する。通行可能幅は、車線の全幅のうち障害物に占有されていない部分の幅である。制御部１２０は、障害物が位置する車線における障害物の位置から、車線において障害物に占有されていない部分を特定し、当該部分の実空間における幅を算出する。具体的には例えば、制御部１２０は、障害物の画像の底部の水平方向における端部の画像内の座標を取得し、画像内において当該端部から水平方向に延びる直線と、障害物が位置する車線の境界を示す区画線との交点の座標を算出する。制御部１２０は、端部と交点とを結ぶ線分の長さ（画素数）を取得する。図２Ａのｗは、障害物を含む画像の一例におけるこの線分を示している。画像Ｉにおいてｙ座標毎にｘ方向の画素数と実空間における距離との対応関係が予め定義されており、この対応関係は記録媒体１３０に記録されている。端部および交点のｙ座標と、端部と交点とを結ぶ線分の長さ（画素数）と、この対応関係とから、制御部１２０は障害物の端部と車線の境界を示す区画線との実際の距離（通行可能幅）を取得することができる。
　制御部１２０は、この通行可能幅が既定値以下であるか否かを判定する。既定値は、障害物を回避するために、障害物が位置する車線の外側にはみ出して走行する可能性があるか否かを判別するための値である。例えば、車線の幅そのものの値から、想定しうる車両最大幅に既定のマージンを追加した値までの値を既定値として採用可能である。制御部１２０は、通行可能幅が既定値以下である場合に、画像情報１３０ｃのうち対象とする障害物を含む少なくとも１個の画像と、当該障害物の位置とを対応付けた障害物情報を取得し、サーバ２００に送信する。障害物の位置には、地図の座標系における座標、障害物が位置する道路区間を示すリンクＩＤ、障害物が位置する車線の識別情報が含まれる。なお、障害物情報には、画像の撮影日時、撮影時のプローブ車両の位置も含まれてよい。通行可能幅が既定値より大きい場合、本実施形態においては、制御部１２０は、障害物情報をサーバ２００に送信しない。従ってこの場合、本実施形態においては案内車両において当該障害物に関する案内はなされない。
　なお、本実施形態において、障害物の種類が車両であり、なおかつ画像認識処理により得られた車両の種別がバスである場合、制御部１２０は、車線の通行可能幅を算出せず、また、障害物情報をサーバ２００に送信しない。なお、障害物として検出されたバスの停止位置がバス停であるか否かを判定し、バス停である場合に、障害物情報をサーバ２００に送信しないように構成されてもよい。バスがバス停に停止している場合、制御部１２０は、乗降のための一時的な停車であると見なし、本実施形態においては、バスについての障害物情報をサーバ２００送信しない。この結果、無用に多くの障害物情報がサーバ２００に送信されることを防止できる。なお、バス停の位置は、地図情報１３０ａに基づいて取得可能であり、プローブ車両の位置や向き（進行方位）と撮影画像に基づいてバスの位置を算出し、バスの位置とバス停の位置とを照合することでバスがバス停に停車しているか否かを判定することができる。なお、画像に含まれるバス停を示す看板等を検出することにより、バスの位置がバス停に該当すると判定することもできる。
　また、本実施形態において、障害物の高さが基準以下である場合、制御部１２０は当該障害物についてのサーバ２００に障害物情報を送信しない。障害物の高さが基準以下である場合（ここでは、平らな状態の段ボール、平らな状態のビニール袋、つぶれた空き缶等の薄く平らな物体を想定している）、回避せずとも走行できる可能性があると見なし、障害物情報を送信しない。この結果、無用に多くの障害物情報がサーバ２００に送信されることを防止できる。なお、画像内における物体の底部の座標と、当該底部から画像の高さ方向（ｙ方向）における物体の画素数と、当該物体の実際の高さとの対応関係が予め記録媒体１３０に記録されており、障害物の高さは、画像内における障害物の座標と、画像の高さ方向（ｙ方向）における障害物の画素数と、この対応関係に基づいて取得可能である。
　以上のように、本実施形態によれば、プローブ車両に備えられたカメラ１４０で撮影した画像に基づいて障害物を回避するために車線をはみ出して走行する可能性がある場合に、障害物の位置と画像とを対応付けた障害物情報をサーバ２００に送信することができる。そのため、実際に回避操作が行われたか否かに関わらず障害物情報を取得することができる。例えば、急ハンドル等の回避操作を行わずに回避操作と判断されない程度の緩やかなハンドル操作等で障害物を通過したプローブ車両や、障害物が位置する車線以外の車線（例えば隣りの車線や対向車線）を走行しているために回避操作を行わなかったプローブ車両が撮影した画像からも障害物情報を取得することができる。
　次に、サーバ２００の構成について説明する。本実施形態においてサーバ２００は、障害物情報を案内車両に配信する機能を有する。サーバ２００は、一台で構成されても良いし、複数台で構成されても良い。サーバ２００は、制御部２２０、記録媒体２３０、通信部２４０を備えている。制御部２２０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備えるコンピュータである。制御部２２０は、記録媒体２３０やＲＯＭに記憶された障害物情報取得プログラム２２１を実行することができる。
　通信部２４０は、他の装置と通信を行う回路を備えている。制御部２２０は、障害物情報取得プログラム２２１の処理によって、通信部２４０を介して、車載システム１００，３００等と無線通信することができる。記録媒体２３０には、地図情報２３０ａが記録されている。地図情報２３０ａは地図情報１３０ａの構成と共通である。
　本実施形態において、障害物情報取得プログラム２２１が実行されると、制御部２２０は、障害物情報取得部２２１ａ、案内制御部２２１ｂとして機能する。本実施形態において、制御部２２０は、障害物情報取得部２２１ａの機能により、プローブ車両として機能する車両に搭載された車載システム１００から障害物情報を受信すると、記録媒体２３０に保存する（障害物情報２３０ｂ）。また、制御部２２０は、障害物情報に含まれる画像に対して上述した画像認識処理を行い、障害物を検出し、障害物が位置する車線における通行可能幅を算出する。制御部２２０は、複数のプローブ車両から同一地点に位置する障害物についての障害物情報をそれぞれ取得している場合には、例えば、各障害物情報に含まれる画像からそれぞれ通行可能幅を算出し、通行可能幅の統計値を算出するようにしてもよい。また、障害物の位置が変化している可能性もあることから、現在時刻から一定時間より以前に算出した通行可能幅は統計値算出の対象外としてもよい。
　案内制御部２２１ｂは、障害物情報に基づいて障害物に関する案内を行わせる機能を制御部２２０に実現させるプログラムモジュールである。なお、本実施形態において案内制御部は、サーバ２００の案内制御部２２１ｂと案内車両の案内制御部３２ａの協働によって実現される。本実施形態においてサーバ２００における案内制御部２２１ｂは、障害物の位置を含む既定範囲内に位置する車両を特定し、当該車両に障害物情報を配信し、当該車両において障害物情報に基づく案内を行わせる機能である。本実施形態において、障害物の位置を含む既定範囲は、障害物の位置を中心とする既定距離四方の範囲や、半径既定距離の範囲、障害物の位置を含むメッシュ等を想定してよい。
　この機能を実現するため、制御部２２０は、通信可能な車載システム（案内車両となりうる車両に搭載された車載システム）から送信された車両位置情報を取得し、記録媒体２３０に、案内車両となりうる車両の位置を保存する。制御部２２０は、障害物情報２３０ｂに基づいて、障害物の位置を含む既定範囲を設定し、当該既定範囲内に位置する車両を特定する。なお特定した車両の中にプローブ車両が含まれていてもよい。そして、特定した車両に対して障害物情報を配信する。本実施形態において、サーバ２００から配信される障害物情報には、障害物の位置、障害物の位置する道路区間および車線、通行可能幅（あるいはその統計値）が含まれている。本実施形態において、サーバ２００から配信される障害物情報には、障害物を含む画像は含まれていなくてもよい。
　次に、案内車両に搭載される車載システム３００の構成を説明する。車載システム３００は、制御部３２０と、記録媒体３３０と、カメラ３４０と、ＧＮＳＳ受信部３４１と、車速センサ３４２と、ジャイロセンサ３４３、ユーザＩ／Ｆ部３４４と、通信部３４５を備えている。車載システム３００が備えるこれらの構成は、車載システム１００が備える１４０から１４５の構成と同様の機能を有する。また、記録媒体３３０に記録されている地図情報３３０ａは、地図情報１３０ａと共通の構成である。車体情報３３０ｂは、車載システム３００を搭載している案内車両の車体の情報であり、当該案内車両の全長、全幅、高さ等の情報が含まれる。
　制御部３２０は、案内車両の現在位置を含む地図の表示や、目的地までの経路を案内する図示しないナビゲーションプログラムを実行可能である。本実施形態において、制御部３２０は、ナビゲーションプログラムの一機能としての障害物情報取得プログラム３２１を実行することができる。障害物情報取得プログラム３２１は、案内制御部３２１ａを備えている。案内制御部３２１ａは、障害物情報に基づいて案内を行う機能を制御部３２０に実現させるプログラムモジュールである。制御部３２０は、案内制御部３２１ａの機能により、案内車両の現在位置を取得する。また、案内車両の現在位置を示す車両位置情報を既定のタイミングでサーバ２００に送信するように構成されている。さらに制御部３２０は、サーバ２００から障害物情報を取得すると、障害物情報から障害物の位置や、障害物が位置する道路区間および車線を特定する。障害物の位置する道路区間および車線を案内車両が走行中であり、障害物の位置を未通過である場合に、制御部３２０は、案内車両の通行幅が通行可能幅より大きいか否かを判定する。すなわち制御部３２０は、車体情報３３０ｂを参照し、案内車両の全幅を取得し、全幅に既定のマージン分の幅を加えた通行幅を算出する。
　障害物情報として受信した通行可能幅より案内車両の通行幅の方が大きい場合、障害物を回避するために隣りの車線にはみ出すことが予想されるとし、制御部３２０は、障害物が位置する車線以外の車線を推奨車線とする車線変更案内を行う。案内車両の通行幅が通行可能幅以下である場合、隣りの車線にはみ出さずとも障害物を回避することができると判断し、制御部３２０は、障害物が存在することを報知し注意喚起を促す案内を行う。案内車両の通行幅は案内車両の全幅等に応じて異なるため、本実施形態のように、案内車両毎に案内車両の通行幅を算出し通行可能幅と比較することによって、車線変更が必要な案内車両に対して車線変更案内を行うことができる。
　制御部３２０は、ユーザＩ／Ｆ部３４４のタッチパネルディスプレイに表示された地図において、障害物の位置に障害物を示すアイコンを表示することで、障害物の位置を報知する。また、案内車両と障害物までの道路に沿った距離Ｋ［ｍ］を算出し、音声によってＫ［ｍ］前方に障害物が存在することを報知してもよい。また、車線変更案内を行う場合、制御部３２０は、走行中の道路区間の車線のうち、障害物が位置する車線と当該車線とは異なる推奨車線とを、レーンリスト図等を表示することによって報知する。
　なお、案内車両の車載システム３００もプローブ車両の車載システム１００と同等の機能を備えていて良い。すなわち、サーバ２００から送信された障害物情報が示す障害物の位置を通過する際に、案内車両にて撮影された画像と障害物の位置とを対応付けた障害物情報をサーバ２００に送信するように構成されていてもよい。このようにすることで、サーバ２００は、案内車両から送信された画像に基づいて、障害物がまだ道路上に存在すること（道路から撤去されていないこと）を認識することができる。また、同一の障害物を撮影した画像の蓄積数が増えるため、当該画像に基づいて算出される通行可能幅の統計値の信頼度が高まる。
　なお、当該障害物の位置の既定距離前（カメラ３４０の視野内に障害物の位置が含まれる程度の距離）にカメラ３４０にて撮影した画像を案内車両の制御部３２０が解析し、障害物の存在が画像から認識されなかったとしても、撮影時の案内車両の位置と撮影日時と対応付けて画像を、サーバ２００に送信するように構成されていてもよい。このようにすることで、サーバ２００では案内車両から当該画像や撮影日時や撮影位置を取得すると、画像に対して画像認識処理を行い、障害物が撤去されていた場合は障害物が画像に含まれていないことを認識することができる。それまで障害物が存在していた位置を撮影した画像に障害物が含まれないことを１以上の画像に基づいて認識した場合、サーバ２００の制御部２２０は、障害物が路上から撤去されたと判定し、以降は当該障害物にかかる障害物情報の配信を終了してもよい。
　（１－２）障害物情報取得処理：
  次に、プローブ車両の車載システム１００において制御部１２０が実行する障害物情報取得処理を、図３Ａを参照しながら説明する。図３Ａの処理は、一定時間経過毎に実行される。図３Ａの障害物情報取得処理が開始されると、制御部１２０は、プローブ車両の現在位置を取得する（ステップＳ１００）。すなわち、制御部１２０は、ＧＮＳＳ受信部１４１，車速センサ１４２，ジャイロセンサ１４３の出力と、地図情報１３０ａを用いたマップマッチング処理により、プローブ車両の現在位置および走行中の道路区間（リンク）を取得する。また、カメラ１４０が撮影した画像に含まれる区画線を検出しプローブ車両が走行中の車線を特定する。
　続いて制御部１２０は、画像取得部１２１ａの処理により、撮影画像を取得する（ステップＳ１０２）。すなわち、制御部１２０はカメラ１４０が撮影した画像を取得する。続いて制御部１２０は、画像認識部１２１ｂの機能により、画像認識を行う（ステップＳ１０５）。すなわち、制御部１２０は、ステップＳ１０２にて取得した画像について、検出対象を検出するための画像認識処理を行う。そして上述したように車線や障害物の検出を行う。
　続いて、制御部１２０は、画像認識部１２１ｂの機能により、障害物が存在するか否かを判定する（ステップＳ１１０）。すなわち、制御部１２０は、ステップＳ１０５の画像認識処理の結果、障害物が検出されたか否かを判定する。ステップＳ１１０において障害物が存在すると判定されなかった場合、制御部１２０は障害物情報取得処理を終了する。ステップＳ１１０において障害物有りと判定された場合、制御部１２０は、画像認識部１２１ｂの機能により、障害物は車両であるか否かを判定する（ステップＳ１１５）。すなわち制御部１２０は、画像において、周囲の車両が走行しているにも関わらず継続的に停止している車両が検出されたか否かを判定する。
　ステップＳ１１５において障害物が車両であると判定された場合、制御部１２０は、障害物がバスであるか否かを判定する（ステップＳ１２０）。すなわち制御部１２０は、画像認識処理によって得られた周辺車両の種別がバスであるか否かを判定する。ステップＳ１２０において障害物がバスであると判定された場合、制御部１２０は障害物情報取得処理を終了する。
　ステップＳ１１５において障害物が車両であると判定されなかった場合、制御部１２０は、車両以外の障害物の高さが基準以上であるか否かを判定する（ステップＳ１２５）。すなわち制御部１２０は、画像の高さ方向における障害物の画素数と障害物の画像における座標等に基づいて、障害物の高さを算出する。ステップＳ１２５において高さが基準以上であると判定されなかった場合、制御部１２０は障害物情報取得処理を終了する。
　ステップＳ１２０において障害物はバスであると判定されなかった場合、すなわち、乗用車やトラック等のバス以外の停止車両である場合、制御部１２０は、障害物情報取得部１２１ｃの機能により、通行可能幅を算出する（ステップＳ１３０）。また、ステップＳ１２５において高さが基準以上であると判定された場合も制御部１２０はステップＳ１３０を実行する。ステップＳ１３０では、車線の全幅のうち障害物に占有されていない部分の幅が通行可能幅として算出される。
　ステップＳ１３０を実行後、制御部１２０は、障害物情報取得部１２１ｃの機能により、通行可能幅は既定値以下であるか否かを判定し（ステップＳ１３５）、既定値以下である場合、障害物の位置と画像とを対応付けた障害物情報をサーバ２００に送信する（ステップＳ１４０）。本実施形態において、障害物情報には、障害物を含む少なくとも１個の画像と、当該障害物の位置（地図の座標系における座標、障害物が位置する道路区間を示すリンクＩＤ、障害物が位置する車線の識別情報）、画像の撮影日時、撮影時のプローブ車両の位置等が含まれる。ステップＳ１３５において通行可能幅が既定値以下であると判定されなかった場合、制御部１２０は、障害物情報取得処理を終了する。
　図３Ｂは、サーバ２００にて実行される障害物情報取得処理のフローチャートである。図３Ｂの処理は、一定時間経過毎に繰り返し実行される。図３Ｂの処理が開始されると、制御部２２０は、障害物情報取得部２２１ａの機能により、障害物情報を取得する（ステップＳ２００）。すなわち、制御部２２０は、プローブ車両の車載システム１００から受信した障害物情報を取得し、障害物情報から、障害物が位置する道路区間（リンク）を取得する。
　続いて、制御部２２０は、案内制御部２２１ｂの機能により、車両位置情報を取得する（ステップＳ２０５）。すなわち、制御部２２０は、案内車両の車載システム３００から送信された車両位置情報を取得する。
　続いて、制御部２２０は、障害物の位置を含む既定範囲内の案内車両に障害物情報を送信する（ステップＳ２１０）。すなわち、制御部２２０は、ステップＳ２００で取得した障害物情報とステップＳ２０５で取得した車両位置情報に基づいて、障害物の位置を含む既定範囲内に位置する案内車両を特定し、当該案内車両の車載システム３００に対して障害物情報を配信する。
　図３Ｃは、車載システム３００にて実行される障害物情報取得処理のフローチャートである。図３Ｃに示す処理は一定時間経過毎に繰り返し実行される。図３Ｃに示す障害物情報取得処理が開始されると、制御部３２０は、案内制御部３２１ａの機能により、現在位置を取得する（ステップＳ３００）。すなわち、制御部３２０は、ＧＮＳＳ受信部３４１，車速センサ３４２，ジャイロセンサ３４３の出力と、地図情報３３０ａを用いたマップマッチング処理により、案内車両の現在位置および走行中の道路区間（リンク）を取得する。また、制御部３２０は、カメラ３４０が撮影した画像に含まれる区画線を検出し案内車両が走行中の車線を特定する。
　続いて制御部３２０は、案内制御部３２１ａの機能により、障害物情報を取得する（ステップＳ３０５）。すなわち、制御部３２０は、サーバ２００から配信された障害物情報を取得する。障害物情報には障害物が位置する道路区間および車線が含まれている。
　続いて制御部３２０は、案内制御部３２１ａの機能により、障害物が位置する道路区間および車線を案内車両が走行中であり、且つ、障害物を未通過であるか否かを判定する（ステップＳ３１０）。すなわち、制御部３２０は、案内車両が障害物と同じ道路区間を走行中であり、障害物が位置する車線と同じ車線を走行中であるか否かを判定する。道路区間も車線も同じである場合に、案内車両の現在位置と障害物の位置と、道路区間の形状と、車線の進行方向とに基づいて、制御部３２０は、案内車両は障害物を未通過であるか既に通過したかを判定する。
　ステップＳ３１０において、障害物が位置する道路区間および車線を案内車両が走行中であり且つ障害物を未通過であると判定されなかった場合、制御部３２０は図３Ｃの処理を終了する。ステップＳ３１０において、障害物が位置する道路区間および車線を案内車両が走行中であり且つ障害物を未通過であると判定された場合、制御部３２０は、案内制御部３２１ａの機能により、案内車両の通行幅が通行可能幅よりも大きいか否かを判定する（ステップＳ３１５）。すなわち制御部３２０は、車体情報３３０ｂに基づいて案内車両の通行幅を取得し、当該通行幅と、サーバ２００から取得した通行可能幅とを比較する。ステップＳ３１５において、案内車両の通行幅が通行可能幅より大きいと判定された場合、制御部３２０は、案内制御部３２１ａの機能により、車線変更案内を行う（ステップＳ３２０）。ステップＳ３１５において、案内車両の通行幅が通行可能幅より大きいと判定されなかった場合、制御部３２０は、案内制御部３２１ａの機能により、注意喚起案内を行う（ステップＳ３２５）。なお、ステップＳ３２０やステップＳ３２５の案内は、目的地までの経路案内中であるか否かに関わらず行われて良い。
　（２）第２実施形態：
  第２実施形態が第１実施形態と相違する点は、通行可能幅に応じてサーバ２００に送信される障害物情報の内容である。図３Ａを参照しながら具体的に説明する。ステップＳ１３０において画像に基づいて通行可能幅を算出した後、通行可能幅が既定値以下であるか否かを判定し、既定値以下でない場合（ステップＳ１３５：Ｎ）には、障害物の位置を含み画像を含まない障害物情報をサーバ２００に送信する。通行可能幅が既定値以下である（ステップＳ１３５：Ｙ）場合には、第１実施形態と同様に、障害物の位置と画像とを対応付けた障害物情報をサーバ２００に送信する（ステップＳ１４０）。この場合、既定値としては例えば、想定しうる車両最大幅に既定のマージンを追加した値を採用可能である。すなわち、最も全幅が大きい車両でも車線外にはみ出すことなく通行できると判断される場合は、障害物の位置はサーバ２００にアップロードするが障害物を含む画像はサーバ２００にアップロードしない（この場合の障害物情報には画像は含まれず障害物の位置は含まれる）。このように、本実施形態の場合、多くの車両において通行に大きな影響を及ぼさない程度の障害物については画像が送信されないため、無用に多くの画像がサーバ２００に送信されることを防止できる。
　図４Ａは第２実施形態のサーバ２００における障害物情報取得処理のフローチャートであり、図４Ｂは第２実施形態の案内車両の車載システム３００における障害物情報取得処理のフローチャートである。図４Ａおよび図４Ｂにおいては、第１実施形態と相違する処理ステップを太線枠で示している。サーバ２００においては、障害物の位置を含むが画像を含まない障害物情報を受信した場合（図４ＡのステップＳ２０６においてＮ判定）、制御部２２０は、障害物の位置を含む既定範囲内に位置する案内車両に、障害物の位置と注意喚起案内を実施する旨を含む障害物情報を送信する（ステップＳ２０７）。車載システム３００においては、サーバ２００から受信した障害物情報に注意喚起案内を行う旨が含まれている場合（図４ＢのステップＳ３０６においてＹ判定）、障害物の位置に到達する前に障害物の位置を報知し注意喚起案内を行う（ステップＳ３２５）。
　一方、サーバ２００において、障害物の位置と画像とを対応付けた障害物情報を受信した場合（図４ＡのステップＳ２０６においてＹ判定）、制御部２２０は、第１実施形態と同様に、受信した画像について画像認識処理を行って通行可能幅を算出し、車載システム３００に障害物の位置と通行可能幅とを含む障害物情報を送信する（ステップＳ２１０）。車載システム３００では、サーバ２００から受信した障害物情報に注意喚起案内を行う旨が含まれていない場合（図４ＢのステップＳ３０６においてＮ判定）、第１実施形態と同様にステップＳ３１０以降の処理を行う。
　（３）第３実施形態：
  第３実施形態では、プローブ車両の車載システム１００の制御部１２０は、画像取得部１２１ａと画像認識部１２１ｂと障害物情報取得部１２１ｃに加えて、案内制御部１２１ｄをさらに備えている。図５は第３実施形態にかかるプローブ車両の障害物情報取得処理のフローチャートである。図５において第１実施形態と相違する処理ステップを太枠で示している。第３実施形態において、車載システム１００の制御部１２０は、撮影画像に対する画像認識処理によって案内すべき障害物の存在を認識すると、画像に基づいて通行可能幅を算出する（ステップＳ１３０）。そして制御部１２０は、案内制御部１２１ｄの機能により、プローブ車両は障害物が位置する車線を走行中であるか否かを判定する（ステップＳ１４５）。ステップＳ１４５において障害物の車線を走行中であると判定されない場合、制御部１２０は障害物情報取得処理を終了する。ステップＳ１４５にて障害物の車線を走行中であると判定された場合、制御部１２０は案内制御部１２１ｄの機能により、プローブ車両の通行幅が通行可能幅より大きいか否かを判定する（ステップＳ１５０）。プローブ車両の通行幅が通行可能幅より大きい場合（ステップＳ１５０においてＹ判定）、制御部１２０は、案内制御部１２１ｄの機能により、障害物が位置する車線以外の車線を推奨車線とする車線変更案内を行う（ステップＳ１５５）。また、プローブ車両の通行幅が通行可能幅以下である場合（ステップＳ１５０においてＮ判定）、制御部１２０は案内制御部１２１ｄの機能により、障害物の位置を報知することで注意喚起案内を行う（ステップＳ１６０）。なお、プローブ車両の通行幅は車体情報１３０ｂの全幅に所定のマージンを追加した値である。本実施形態によれば、障害物を検知したプローブ車両において、障害物に対処するための案内を、サーバ２００を介さずとも行うことができる。
　（４）他の実施形態：
  以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、障害物情報取得システムは、車両等に搭載された装置であっても良いし、可搬型の端末によって実現される装置であっても良いし、複数の装置（例えば、車載システム１００内の制御部１２０とカメラ１４０内の制御部等）によって実現されるシステムであっても良い。また、障害物情報取得システムを構成する画像認識部、障害物情報取得部の機能がサーバで実現されてもよい。また、画像認識部や障害物情報取得部の機能が案内車両の車載システムで実現されてもよい。車載システム３００や車載システム１００は共に、プローブ車両の車載システムにもなり得、案内車両の車載システムにもなり得る。上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
　画像取得部は、プローブ車両が走行中の道路を撮影した画像を取得することができればよい。プローブ車両に取り付けられたカメラは、プローブ車両の前方の道路を視野に含むカメラであってもよいし、後方の道路や側方の道路を視野に含むカメラであってもよい。カメラが撮影した画像に含まれる物体の位置（プローブ車両を基準とした相対位置）を特定できるように予め調整されていればよい。プローブ車両を基準とした相対位置が取得できれば、当該相対位置とプローブ車両の絶対位置とに基づいて物体の絶対位置を取得することができる。
　画像認識部は、画像から道路上の障害物と車線とを検出することができればよく、どのような手法が採用されてもよい。例えば、撮影された画像に障害物が含まれるか否かは、障害物が有するパターンと照合することによって行われても良いし、障害物の画像を教師データとして機械学習されたモデルを用いて行われても良い。また、画像認識部は、障害物が位置する道路区間における全車線のうち障害物が位置する車線を画像に基づいて特定することができればよい。なお、障害物や、車線の境界を示す区画線は、カメラとカメラ以外の検出装置（例えばレーダやＬｉＤＡＲ等）を併用することで検出されてもよい。
　障害物情報取得部は、画像における障害物が位置する車線の通行可能幅に基づいて、障害物の位置と画像とを対応付けた障害物情報を取得することができればよい。障害物は、車両が通行する際の妨げとなりうる物であればよい。障害物は、路面の上に存在するものであってもよいし、例えば道路に形成された凹部であってもよい。凹部の場合、大きさが大きさの基準より小さい場合や深さが深さの基準より浅い場合は、障害物情報取得の対象外としてもよい。
　障害物情報は、少なくとも、障害物を含む画像と当該障害物の位置とを対応付けた情報であればよい。障害物の位置は障害物の位置を直接的に示す座標であってもよいし、間接的に示す情報であってもよい。後者の場合、例えば障害物情報は、障害物を含む画像撮影時のプローブ車両の位置および進行方位と撮影画像とが対応付けられた情報であってもよい。
　サーバと通信可能な車載システムは、当該車載システムを搭載している車両のＩＤと対応付けて車両位置情報もサーバに送信するように構成され、さらに車両のＩＤに対応付けて車体情報も送信するように構成されていてもよい。その場合、サーバにおいて各車両の車体情報に基づいて各車両の通行幅を特定することが可能であり、通行可能幅と案内車両の通行幅との大小比較はサーバにおいて行うことが可能である。そして、通行幅が通行可能幅より大きい案内車両の車載システムに対しては、障害物が位置する車線を走行中であれば車線変更案内をするように通知し、通行幅が通行可能幅以下である案内車両の車載システムに対しては、注意喚起案内をするように通知してもよい。そして案内車両の車載システムにおいては当該通知に従って案内を行うように構成されていてもよい。
　また、上記実施形態においては、障害物の位置を含む既定範囲内に位置する案内車両に障害物情報を配信していたが、配信先をさらに限定してもよい。例えば、障害物が位置する道路区間を走行中の車両に障害物情報を送信してもよいし、さらに障害物が位置する車線を走行中の車両に絞って障害物情報を送信してもよい。また、目的地までの経路が設定済みの場合であって、経路に障害物が位置する道路区間が含まれる場合に当該車両に障害物情報を送信してもよい。
　なお上記実施形態においては、プローブ車両において画像認識処理を行って通行可能幅を算出し、サーバにおいても再度画像に対して画像認識処理を行って通行可能幅を算出する構成であったが、プローブ車両において通行可能幅を算出した場合、サーバにおいて再度画像認識処理を行わなくても良い。すなわち、プローブ車両による画像認識処理の結果取得された通行可能幅を障害物情報に含めてサーバに送信し、サーバにおいてはプローブ車両から送信された通行可能幅を採用して案内制御部の処理を行っても良い。また例えば、サーバでは画像に対する画像認識処理を行わず案内車両において画像に対する画像認識処理を行って通行可能幅を取得する構成を採用してもよい。この場合、サーバから案内車両に配信される障害物情報には、障害物の位置、障害物を含む少なくとも１枚の画像が含まれる。
　また、サーバがプローブ車両から受信した、障害物を含む画像は、通行可能幅を算出するための画像認識処理に利用される以外に用いられても良い。例えばサーバでは、障害物の種類（車両、タイヤ、箱、袋、動物の死骸等）を特定するために画像認識処理がなされてもよい。また例えば、画像に障害物が含まれるか否かを取得するモデルや、障害物を含む画像から障害物の種類を取得するモデル等を機械学習により生成するための教師データとして画像が収集されてもよい。また例えば、案内車両の案内制御部において当該画像の障害物部分を表示するために用いられても良い。
　また、上記実施形態は、画像内に含まれる障害物の個数が１個の例を挙げて説明したが、同一車線に複数の障害物が存在している場合にも通行可能幅に基づいて障害物情報を取得することができればよい。同一車線に障害物が複数存在する場合、道路の延びる方向における各障害物の間隔が予め決められた値未満であり道路の幅方向における各障害物の間隔が例えば予め決められた値未満であれば１個の障害物と見なして通行可能幅を算出してもよい。
　案内制御部は、障害物が位置する第１車線以外の第２車線を走行中の第２車両においても注意喚起案内をしてもよい。障害物が位置する第１車線を走行している第１車両が第１車線以外の車線（例えば第２車線）に急にはみ出す可能性があるため、注意喚起案内を行っても良い。第２車線は第１車線と進行方向が同じ車線であってもよいし、対向車線（中央分離帯無し）であってもよい。第２車線は第１車線と隣接する車線であってもよいし、第２車線と第１車線とは１以上の車線を挟んで隣り合っていても良い。
　なお、複数の車線を有する道路区間に障害物が存在する場合だけでなく、道路区間に単一の車線しか存在しない場合にも障害物の位置を通知し注意喚起する案内を行っても良い。単一の車線しか存在しない道路区間において、障害物の位置の通行可能幅が車両の通行幅以下である場合、案内制御部は、当該道路区間の回避を案内するように構成されていてもよい。
  案内制御部は、サーバによって実現されてもよい。すなわち、サーバの案内制御部２２１ｂが、案内車両の特定を行い、案内車両における案内の内容（車線変更案内、注意喚起等）の選定と、案内車両における案内タイミング（案内実施地点）の決定とを行って、案内内容や案内タイミングの情報を案内対象に送信う。案内車両では当該情報に従ってユーザＩ／Ｆ部３４４を制御して案内を実行するように構成されていてもよい。
　通行可能幅は、障害物が位置する車線において、路面からの高さ方向における、障害物に占有されていない部分の長さであってもよい。例えば、図６は、道路上に、路面から空間を介して障害物が存在する例を示している。このような障害物としては、例えば、樹木の枝や、看板、あるいはそれらにかかっている飛来物等を想定してよい。図６は、道路脇の樹木の枝の一部が道路にせり出している例を模式的に示している。画像認識部は、ＹＯＬＯやパターンマッチング、輪郭検出等の画像認識処理により、車線と、障害物とを検出する。この例の場合、障害物は、道路にせり出した枝や葉の部分である。画像認識部は、障害物の下端部を鉛直上方から路面に投影した場合の地点Ｐ１の、プローブ車両から見た相対方位θと直線距離Ｄとを取得する。そして画像認識部は、当該相対方位θと直線距離Ｄとプローブ車両の現在位置および進行方位とに基づいて、障害物の地点Ｐ１の、地図の座標系における位置を取得する。また、障害物情報取得部は、障害物の下端と地点Ｐ１とを両端とする線分ｗｈの長さを取得する。線分ｗｈの画像内における長さおよび線分ｗｈの下端（Ｐ１）の画像内における位置と、実空間における線分ｗｈの長さの対応関係が予め特定されており、この対応関係を用いて、画像認識部は、障害物の下端部と路面との実空間における長さ（ｗｈ）を取得する。実空間における当該長さ（ｗｈ）は、障害物が位置する車線において、路面からの高さ方向における、障害物に占有されていない部分の長さ（高さ方向における通行可能幅）である。案内制御部は、障害物の位置と、障害物が位置する車線の高さ方向の通行可能幅を含む障害物情報を案内車両に取得させる。案内車両においては、案内車両の高さ方向における通行幅（車体情報から案内車両の全高を取得し、全高に既定のマージン分の高さを加えて、高さ方向における通行幅とする）が、高さ方向における通行可能幅と比較され、障害物に関する案内が行われる。例えば、案内車両の高さ方向における通行幅が高さ方向における通行可能幅よりも大きい場合、障害物が位置する車線以外の車線を推奨車線とする車線変更案内が行われる。また例えば、案内車両の高さ方向における通行幅が高さ方向における通行可能幅以下の場合、障害物の存在を報知させる注意喚起案内が行われる。なおもちろん、障害物情報には、車線の幅方向における通行可能幅と、高さ方向における通行可能幅の両方が含まれていてもよく、案内車両の全幅方向における通行幅と幅を方向における通行可能幅との比較と、案内車両の高さ方向における通行幅と高さ方向における通行可能幅（ｗｈ）との比較が行われ、それらの結果に応じた内容の障害物に関する案内が行われても良い。
　さらに、本発明のように、走行中の道路を撮影した画像から道路上の障害物と車線とを検出し、画像における障害物が位置する車線の通行可能幅に基づいて障害物の位置と画像とを対応付けた障害物情報を取得する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
  １００…車載システム、１２０…制御部、１２１…障害物情報取得プログラム、１２１ａ…画像取得部、１２１ｂ…画像認識部、１２１ｃ…障害物情報取得部、１２１ｄ…案内制御部、１３０…記録媒体、１３０ａ…地図情報、１３０ｂ…車体情報、１３０ｃ…画像情報、１４０…カメラ、１４１…ＧＮＳＳ受信部、１４２…車速センサ、１４３…ジャイロセンサ、１４４…ユーザＩ／Ｆ部、１４５…通信部、２００…サーバ、２２０…制御部、２２１…障害物情報取得プログラム、２２１ａ…障害物情報取得部、２２１ｂ…案内制御部、２３０…記録媒体、２３０ａ…地図情報、２３０ｂ…障害物情報、２４０…通信部、３００…車載システム、３２０…制御部、３２１…障害物情報取得プログラム、３２１ａ…案内制御部、３３０…記録媒体、３３０ａ…地図情報、３３０ｂ…車体情報、３４０…カメラ、３４１…ＧＮＳＳ受信部、３４２…車速センサ、３４３…ジャイロセンサ、３４４…ユーザＩ／Ｆ部、３４５…通信部、Ｂ…バウンディングボックス、Ｂｏ…代表座標

Claims (5)

  1. 　車両が走行中の道路を撮影した画像を取得する画像取得部と、
    　前記画像から道路上の障害物と車線とを検出する画像認識部と、
    　前記画像における前記障害物が位置する車線の通行可能幅に基づいて、前記障害物の位置と前記画像とを対応付けた障害物情報を取得する障害物情報取得部と、
    を備える障害物情報取得システム。
  2. 　前記通行可能幅は、前記障害物が位置する車線の全幅のうち前記障害物に占有されていない部分の幅であり、
    　前記通行可能幅が既定値以下である場合に前記障害物情報が取得される、
    請求項１に記載の障害物情報取得システム。
  3. 　前記障害物の高さが基準以下である場合、前記障害物情報は取得されない、
    請求項１または請求項２に記載の障害物情報取得システム。
  4. 　前記障害物情報に基づいて案内部に案内を行わせる案内制御部を備え、
    　前記案内制御部は、前記障害物が位置する車線を走行しており、前記障害物の位置を未通過の案内車両において、
    　　道路上の前記障害物の位置と、前記障害物が位置する車線の前記通行可能幅を示す情報と、を含む前記障害物情報を取得させ、
    　　前記障害物の位置と前記通行可能幅とに基づいて、前記障害物に関する案内を行わせる、
    請求項１から請求項３のいずれか一項に記載の障害物情報取得システム。
  5. 　前記障害物情報に基づいて案内部に案内を行わせる案内制御部を備え、
    　前記案内制御部は、前記障害物が位置する車線を走行しており、前記障害物の位置を未通過の案内車両において、
    　　前記障害物の存在を報知させ、
    　　前記案内車両の通行幅が前記通行可能幅より大きい場合には、前記障害物が位置する車線以外の車線を推奨車線とする車線変更案内を行わせる、
    請求項１から請求項３のいずれか一項に記載の障害物情報取得システム。
PCT/JP2021/026924 2020-10-22 2021-07-19 障害物情報取得システム WO2022085258A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180072196.3A CN116348933A (zh) 2020-10-22 2021-07-19 障碍物信息获取系统
US18/030,013 US20230373475A1 (en) 2020-10-22 2021-07-19 Obstacle information acquisition system technical field
JP2022556410A JP7449497B2 (ja) 2020-10-22 2021-07-19 障害物情報取得システム
EP21882399.5A EP4235616A4 (en) 2020-10-22 2021-07-19 OBSTACLE INFORMATION ACQUISITION SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020177046 2020-10-22
JP2020-177046 2020-10-22

Publications (1)

Publication Number Publication Date
WO2022085258A1 true WO2022085258A1 (ja) 2022-04-28

Family

ID=81290416

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026924 WO2022085258A1 (ja) 2020-10-22 2021-07-19 障害物情報取得システム

Country Status (5)

Country Link
US (1) US20230373475A1 (ja)
EP (1) EP4235616A4 (ja)
JP (1) JP7449497B2 (ja)
CN (1) CN116348933A (ja)
WO (1) WO2022085258A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034684A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 車両の障害物表示装置
JP2013037601A (ja) * 2011-08-10 2013-02-21 Suzuki Motor Corp 運転支援装置
JP2018089990A (ja) * 2016-11-30 2018-06-14 三菱自動車工業株式会社 運転支援装置
WO2018179275A1 (ja) * 2017-03-30 2018-10-04 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019171893A (ja) * 2018-03-26 2019-10-10 パナソニックＩｐマネジメント株式会社 運転支援システム、運転支援装置、運転支援方法
JP2020087309A (ja) 2018-11-30 2020-06-04 トヨタ自動車株式会社 サーバ装置、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182753A (ja) * 2003-11-28 2005-07-07 Denso Corp 車両運転支援装置
JP2008143263A (ja) * 2006-12-07 2008-06-26 Mazda Motor Corp 車両の走行制御装置
US9365214B2 (en) * 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
JP6791093B2 (ja) * 2017-10-23 2020-11-25 株式会社デンソー 自動運転制御装置、車両の自動運転制御方法
JP2019151207A (ja) * 2018-03-02 2019-09-12 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034684A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 車両の障害物表示装置
JP2013037601A (ja) * 2011-08-10 2013-02-21 Suzuki Motor Corp 運転支援装置
JP2018089990A (ja) * 2016-11-30 2018-06-14 三菱自動車工業株式会社 運転支援装置
WO2018179275A1 (ja) * 2017-03-30 2018-10-04 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019171893A (ja) * 2018-03-26 2019-10-10 パナソニックＩｐマネジメント株式会社 運転支援システム、運転支援装置、運転支援方法
JP2020087309A (ja) 2018-11-30 2020-06-04 トヨタ自動車株式会社 サーバ装置、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4235616A4

Also Published As

Publication number Publication date
EP4235616A4 (en) 2024-03-27
EP4235616A1 (en) 2023-08-30
CN116348933A (zh) 2023-06-27
JPWO2022085258A1 (ja) 2022-04-28
JP7449497B2 (ja) 2024-03-14
US20230373475A1 (en) 2023-11-23

Similar Documents

Publication Publication Date Title
US11727799B2 (en) Automatically perceiving travel signals
US10984557B2 (en) Camera calibration using traffic sign recognition
EP3842754A1 (en) System and method of detecting change in object for updating high-definition map
US10650256B2 (en) Automatically perceiving travel signals
KR102613839B1 (ko) 긴급 차량들의 검출
US11341754B2 (en) Method and apparatus for auto calibration
US20180299893A1 (en) Automatically perceiving travel signals
CN105608927A (zh) 警告装置
CN111595357B (zh) 可视化界面的显示方法、装置、电子设备和存储介质
WO2018195150A1 (en) Automatically perceiving travel signals
US20180300566A1 (en) Automatically perceiving travel signals
JP2021197009A (ja) リスク判定システム、リスク判定プログラム
JP4968369B2 (ja) 車載装置及び車両認識方法
WO2022085258A1 (ja) 障害物情報取得システム
JP7392506B2 (ja) 画像送信システム、画像処理システムおよび画像送信プログラム
JP2022007526A (ja) 周辺車両判別システム、周辺車両判別プログラム
JP2022112572A (ja) 障害物情報案内システム
EP4092651A1 (en) Nearby vehicle position estimation system, and nearby vehicle position estimation program
WO2023054655A1 (ja) 先行車両判定システム
WO2023286303A1 (ja) 車両制御装置
JP2021196614A (ja) 周辺車両検出システムおよび周辺車両検出プログラム
KR20230106195A (ko) 주차공간 인식방법 및 장치
JP2023089311A (ja) 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム
CN114889632A (zh) 无车道线车道偏离预警方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882399

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022556410

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021882399

Country of ref document: EP

Effective date: 20230522