WO2022044634A1 - 対象物認識装置、移動体衝突予防装置および対象物認識方法 - Google Patents

対象物認識装置、移動体衝突予防装置および対象物認識方法 Download PDF

Info

Publication number
WO2022044634A1
WO2022044634A1 PCT/JP2021/027323 JP2021027323W WO2022044634A1 WO 2022044634 A1 WO2022044634 A1 WO 2022044634A1 JP 2021027323 W JP2021027323 W JP 2021027323W WO 2022044634 A1 WO2022044634 A1 WO 2022044634A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
distance
vehicle
recognition device
sensor
Prior art date
Application number
PCT/JP2021/027323
Other languages
English (en)
French (fr)
Inventor
拓磨 山内
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2022044634A1 publication Critical patent/WO2022044634A1/ja
Priority to US18/174,439 priority Critical patent/US20230215273A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks

Definitions

  • This disclosure relates to recognition of an external object of a moving object such as a vehicle and collision prevention technology using the recognition.
  • the first embodiment is an embodiment as an object recognition device.
  • This object recognition device includes a first sensor that acquires an image of an object existing outside the moving object, a second sensor that detects the distance to the object, and the first sensor and the second sensor.
  • the output is provided with a recognition unit that recognizes the position of the object with respect to the moving object and the shape of the object at the position.
  • the recognition unit determines that the object is a first-class object having a predetermined size or larger
  • the recognition unit obtains the actual shape of the object by the first sensor.
  • the object is determined by the image of the above and the distance detected by the second sensor, and it is recognized that the object exists in the actual shape at a position separated by the distance from the moving body. Therefore, this object recognition device can accurately recognize the actual shape of the first type object having a size larger than a predetermined size.
  • the second aspect of the present disclosure uses such an object recognition device, a first calculation unit for obtaining a travel prediction position of the moving object in time series, and the recognized position and actual shape of the object.
  • This is an embodiment as a moving body collision prevention device including a unit and an output unit that outputs the prediction. By doing so, it is possible to accurately recognize the actual shape and position of the object, predict a collision, and easily prevent this.
  • a third aspect of the present disclosure is to acquire an image of an object existing outside the moving object, detect the distance to the object, and determine that the size of the object can be specified in advance.
  • the actual shape of the object is obtained from the image of the object and the distance, and the object exists in the actual shape at a position separated by the distance.
  • FIG. 1 is a schematic configuration diagram showing an object recognition device according to an embodiment.
  • FIG. 2 is an explanatory diagram showing an example of a captured image of a camera which is the first sensor.
  • FIG. 3 is a flowchart showing an object recognition processing routine according to the first embodiment.
  • FIG. 4A is an explanatory diagram showing an example of list data.
  • FIG. 4B is an explanatory diagram for explaining the method of the first correction for an example of the object.
  • FIG. 4C is an explanatory diagram showing a method of first correction for objects having different shapes.
  • FIG. 5 is an explanatory diagram for explaining the method of the second correction.
  • FIG. 6 is an explanatory diagram illustrating a representative point of the second correction.
  • FIG. 7 is an explanatory diagram showing an example of the data of the object stored in the database.
  • FIG. 8A is a schematic configuration diagram of a vehicle driving control device including the collision prevention device of the second embodiment and a vehicle equipped with the vehicle driving control device.
  • FIG. 8B is a schematic configuration diagram of the collision prevention device.
  • FIG. 9 is a flowchart showing a collision avoidance control routine.
  • FIG. 10 is an explanatory diagram showing an example of three-dimensional prediction of a traveling route.
  • FIG. 1 is a schematic configuration diagram
  • the object recognition device 20 of the first embodiment is mounted on a vehicle 10 which is a kind of moving body, and a first sensor provided on the front surface of the vehicle 10.
  • the camera 21 is provided with a millimeter-wave radar 22 as a second sensor, and the camera 21 captures a two-dimensional image with a predetermined number of frames and outputs the image as a video signal.
  • the image to be captured may be color or black and white.
  • the imaging range may be a predetermined range in front of the vehicle 10 to be recognized. Of course, if it is desired to recognize an object on the side or rear of the vehicle 10, it may be provided in that direction.
  • the millimeter wave radar 22 outputs a millimeter wave in a pulsed manner and measures the distance of an object existing in the direction in which the millimeter wave is radiated by the time until the reflected wave is received.
  • the millimeter wave radar 22 sequentially measures the time until the reflected wave returns while scanning a predetermined range two-dimensionally.
  • the vehicle 10 may be referred to as a own vehicle 10 when the distinction from other vehicles is clarified.
  • the object recognition device 20 analyzes the signal from the millimeter-wave radar 22 and the extraction unit 31 that inputs the video signal from the camera 21 and cuts out the object included in the video, and detects the distance to the object 20 in front of the object recognition device 20.
  • a database 45 or the like for recording the result recognized by the recognition unit 40 is provided.
  • the vehicle 10 equipped with the object recognition device 20 is traveling on a roadway defined by the left end RL and the right end RR of the road, and another four-wheeled vehicle CA (hereinafter referred to as "hereinafter") is in front of the vehicle 10.
  • vehicle CA another four-wheeled vehicle CA
  • Other vehicle CA pedestrian PR
  • Objects existing on the road such as a roadway include vehicles with four or more wheels, pedestrians, two-wheeled vehicles, bicycles, electric carts, wheelchairs, etc., which are small moving objects that are clearly different in size from four-wheeled vehicles. There can be.
  • the former that is, a vehicle having four or more wheels
  • the latter that is, a two-wheeled vehicle smaller than the type 1 mobile body is referred to as a type 2 mobile body.
  • FIG. 2 illustrates one frame image SR1 of the image captured by the camera 21.
  • the rear view of the other vehicle CA and the rear view of the pedestrian PR, and the left end RL and the right end RR of the road are imaged.
  • An object is extracted from such a frame image SR1 of the extraction unit 31. Extraction of an object from the frame image SR1 can be easily realized by performing machine learning such as deep learning in advance.
  • other vehicle CA, pedestrian PR, and the like are extracted.
  • the recognition unit 40 includes a well-known computer (hereinafter, simply referred to as a CPU) and a memory such as a ROM and a RAM, and recognizes an object by executing an arithmetic logical operation according to a program prepared in advance in the ROM or the like. To do.
  • the extraction unit 31 and the distance measuring unit 32 are drawn separately from the recognition unit 40, but as described below, the extraction unit 31 and the distance measuring unit 32 may be realized together depending on the program executed by the recognition unit 40. good.
  • the object recognition processing routine executed by the CPU provided in the recognition unit 40 will be described with reference to FIG.
  • the CPU of the recognition unit 40 still performs the processing of acquiring an image (step S100).
  • the acquisition of an image means reading each frame image SR1 constituting the image captured by the camera 21.
  • the image of the object is specified and the distance is estimated (step S105). This process corresponds to the process performed by the extraction unit 31 in accordance with FIG.
  • the image of the object from the frame image SR1 is first specified by cutting out the range of the image of the object included in the image from the frame image SR1 by using machine learning or the like.
  • the objects may overlap when viewed from the camera 21, but machine learning distinguishes between the object A in the foreground and the object B on the other side, which is partially hidden by the object A.
  • Image recognition is possible.
  • the image of the recognized object is then coordinate-transformed into a plan view image (hereinafter, also referred to as a bird's-eye view image if necessary).
  • the quadrilateral shape circumscribing the bird's-eye view image is treated as a set of coordinates of four vertices.
  • the distance L1 to the object is estimated.
  • Various processes for estimating the distance L1 to the object from the frame image SR1 acquired by the monocular camera 21 are known. For example, if autofocus is applied to an object at the center of the camera 21, it is easy to estimate the distance L1 from the focal position to the object existing at the center. At this time, for an object that is out of focus by autofocus, the deviation from the in-focus position can be recognized from the defocused state, and this is used to include it in the frame image SR1. The distance L1 to each object can be estimated.
  • the distance L1 can be estimated by attaching a two-color filter to the lens and analyzing the color and size of the blurred image generated according to the distance to the object.
  • there is also a technique for estimating the distance based on the frame image SR1 from the monocular camera 21 by analyzing how the image is blurred (blurred shape) depending on the position on the lens by utilizing deep learning. are known.
  • step S105 After specifying the shape of the object in plan view and estimating its position (step S105) based on the frame image SR1 acquired by the camera 21 by such a method, the distance is measured from the millimeter wave radar 22.
  • the process of reading the distance L2, which is the result of the above, is performed (step S110).
  • step S110 using the shape of the object in plan view based on the frame image SR1 acquired from the camera 21, the estimation result of the distance L1, and the distance L2 which is the result of the distance measurement by the millimeter wave radar 22.
  • a process of cutting out all the objects included in the acquired image is performed (step S120).
  • the cut out object is stored as list data 43. An example of the list data is shown in FIG. 4A.
  • the list data representing the object includes the object number N for distinguishing the object, the shape of the object in a plan view obtained from the frame image acquired from the camera 21, the distance L1 to the object, and millimeters.
  • the distance L2 measured by the wave radar 22 and the like are included.
  • the shape of the object in a plan view is represented by the coordinates of each vertex of the quadrilateral shape circumscribing the object. The quadrilateral vertices circumscribing the object will be described in detail later.
  • step S140 one of the cut-out objects, for example, the object m shown in FIG. 4A is specified (step S140).
  • a rectangle CG surrounding the bird's-eye view image BG showing the shape of the object in a plan view is also generated.
  • the rectangular CG has a quadrangular shape circumscribing an object (here, a bird's-eye view image BG of another vehicle CA).
  • step S150 the size of the object cut out as the rectang CG is determined.
  • the bird's-eye view image BG of the object that is, the size of the object in a plan view and the estimated distance L1 are recognized, so that it is easy to estimate the actual size.
  • the first correction process for correcting the acquired image is performed.
  • the outline of the first correction process will be described with reference to FIG. 4B.
  • the first correction process is a correction process performed when it is determined that the object is a first-class object, and the actual shape of the object in a plan view is acquired by the camera 21 which is the first sensor. This is a process of obtaining an image of an object and a distance detected by a millimeter-wave radar 22 which is a second sensor.
  • the bird's-eye view image BG of the object obtained by coordinate conversion from the frame image SR1 acquired by the camera 21, and here the other vehicle CA in front of the own vehicle 10 exists at a distance L1.
  • the bird's-eye view image BG of the object is treated as a rectangle CG circumscribing the object.
  • the two left and right vertices VR1 and VR2 close to the own vehicle 10 are specified.
  • the enlarged rectangle CH when the rectangle CG exists at the position of the distance L2 is obtained by maintaining the apex VR1 with the position of the camera 21 of the own vehicle 10 as the origin, the angle ⁇ 1 in the left-right direction of the apex VR2, and the angle ⁇ 2. That is, the other vehicle CA in front of the own vehicle 10 does not exist at the position of the distance L1 estimated from the frame image acquired by the camera 21, but exists at the position of the distance L2 measured by the millimeter wave radar 22.
  • the size of the plan view of the other vehicle CA is obtained as an enlarged Rectangle CH similar to the Rectangle CG.
  • the position of the distance measurement of the object by the millimeter wave radar 22 is illustrated by the reference numeral ML.
  • the range-finding position ML may be any location on the object.
  • FIG. 4B the circumscribed quadrangular rectangular CG surrounding the other vehicle CA is almost horizontal to the own vehicle 10, but the actual size of the object varies and various positional relationships are taken. .. Therefore, the rectangle CG obtained from it also takes various shapes and angles. Further, the distance measuring position where the distance to the object is measured by the millimeter wave radar 22 may also be different for each object or each distance measurement.
  • FIG. 4C shows an example of another object. In the example of FIG. 4C, the other vehicle CA is about to cross diagonally in front of the own vehicle 10 from the right side. Therefore, the quadrangular shape circumscribing the object is recognized as an inclined rectangle CG surrounding the bird's-eye view image BG obtained by coordinate-transforming the object extracted from the frame image SR1.
  • the two left and right vertices VR1 and VR2 close to the own vehicle AM are specified, and the position of the camera 21 of the own vehicle is set as the origin.
  • the enlarged rectangle CH when the renting CG exists at the position of the distance L2 is obtained by maintaining the angle ⁇ 1 and the angle ⁇ 2 in the left-right direction of the apex VR1 and the apex VR2.
  • the apex far from the own vehicle (for example, the apex VR3) is located at the position of the camera 21 rather than the apex near the own vehicle (for example, the apex VR2 in FIG. 4C).
  • the angle ⁇ 2 from may be large.
  • the expanded rectangle CH may be obtained by using the apex far from the own vehicle.
  • the distance L2 measured by the millimeter wave radar 22 is described as being larger than the distance L1 estimated from the frame image, but it is naturally possible that L2 ⁇ L1. Even in such a case, the corrected rectangle may be obtained as a similar figure. The corrected rectangle is reduced relative to the original rectangle.
  • step S160 The process described above is performed by the first correction process (step S160), and the position of the object is recognized by the size of the corrected object (enlarged rectangle CH) and its distance L2 (step S165).
  • Step S150 if it is determined that the object is a type 2 object, that is, a two-wheeled vehicle or a pedestrian smaller than the other vehicle CA with four or more wheels, the acquired image is corrected by the second correction process.
  • the outline of the second correction process will be described with reference to FIG.
  • the second correction process is a correction process performed when it is determined that the object is a type 2 object, and the actual shape of the object is captured by the camera 21 as the first sensor.
  • This is a process of maintaining the size of the bird's-eye view image PBG obtained by converting the coordinates of the PR and correcting it by assuming that it exists at the distance P2 detected by the millimeter wave radar 22 which is the second sensor.
  • the object here the pedestrian PR in front of the own vehicle, exists at the distance P1.
  • the rectangle PH surrounding the pedestrian bird's-eye view image PBG obtained by converting the coordinates of the pedestrian PR, which is the second type object maintains the same size, and the camera 21 While maintaining the angle ⁇ 3 of the representative point GG of the rectangle PH having the position of the origin, the position of the rectangle PH when the rectangle PH exists at the position of the distance P2 is obtained. That is, assuming that the pedestrian PR in front does not exist at the position of the distance P1 estimated from the frame image acquired by the camera 21, but exists at the position of the distance P2 measured by the millimeter-wave radar 22. It recognizes the bird's-eye view image PBG corresponding to the pedestrian PR, which is a two-kind object.
  • the position of the type 2 object (here, the pedestrian PR) is corrected using the representative point GG representing the rectangle PH, but as the representative point GG.
  • the representative point GG is not limited to the center of gravity, and other representative points such as the center point of the rectangle PH may be used.
  • the representative point on the plane of the object when the distance P1 from the camera 21 is assumed may be the center point PP1 of the rectangle PH circumscribing the second object in the plan view.
  • step S170 it may be a point PP2 on the edge on the camera 21 side.
  • the second correction process is performed as described above (step S170), and the position of the object is recognized by the size of the object (rectangle PH) and the distance P2 (step S175).
  • step S160 The first correction process (step S160) or the second correction process (step S170) according to the determination of the size of the object described above and the subsequent recognition of the size and position of the object in a plan view (step S165 or S175). ), Then the process of saving the data of the recognized object in the database 45 is performed (step S180).
  • FIG. 7 shows an example of the data of the object stored in the database 45. As shown in the figure, the data of each object includes the number N for identifying the object, the coordinates of the four vertices indicating the corrected shape of the object, and the distance L2 to the object.
  • step S140 to S180 is repeated for all the objects stored in the list data 43. If it is determined that the processing for all the objects is completed (step S130e), the process exits to "END" and the processing routine ends.
  • the size of the object and the distance from the own vehicle 10 are estimated from the image acquired by the monocular camera 21, and the object is a four-wheeled vehicle or more depending on the size of the object.
  • the size and distance of the object are different depending on whether it is a type 1 object or a type 2 object such as a two-wheeled vehicle or a pedestrian smaller than a four-wheeled vehicle. That is, the first correction is applied to the first-class object, and the second correction is applied to the second-class object.
  • the correction uses the distance to the object obtained by the millimeter-wave radar 22, and in the first correction, the angles of the two vertices of the polygon circumscribing the object, here the rectangular rectangle, with respect to the camera 21 are maintained. , Enlarge or reduce the size of the object to obtain the size and position of the object in a plan view.
  • the size and position of the object in a plan view are obtained by maintaining the size of the rectangle circumscribing the object and the angle of the representative point representing the rectangle with respect to the camera 21. Therefore, the size and position of the type 1 object and the smaller type 2 object can be recognized more accurately.
  • the first-class object is an object having a size of a four-wheeled vehicle or more
  • the shape detection accuracy at the resolution of the camera 21, particularly the detection accuracy of the apex position can be improved to some extent or more. Therefore, the shape can be corrected with high accuracy by using the distance measured by the millimeter wave radar 22.
  • the range in which the shape and size can be taken is wider than that of the second-class object, from a small four-wheeled vehicle to a large bus or truck. Therefore, for the first-class object, it is of great significance to correct the size of the object and recognize the object by using the distance measured by the millimeter-wave radar 22.
  • the type 2 object is a two-wheeled vehicle or a pedestrian smaller than the type 1 object
  • the shape recognition accuracy obtained from the image acquired by the camera 21 is relatively lower than that of the type 1 object.
  • the range in which the shape can be taken is generally narrow. Therefore, even if the type 2 object is not corrected using the distance measured by the millimeter wave radar 22 and its size and shape are maintained, the influence on the recognition accuracy of the object is small. Rather, by not correcting it, it is possible to prevent the occurrence of an error due to the correction.
  • the vehicle driving control device 200 is a device that controls the driving of the vehicle AM.
  • the vehicle driving control device 200 includes a driving control ECU 100 that realizes automatic driving within a certain range according to a route instruction from the route guidance device 110 that guides the route to the destination. Therefore, when the destination is set and the vehicle AM is automatically driven, the operation control ECU 100 recognizes in advance the travel route of the vehicle from the current location to the destination.
  • the operation control ECU 100 is also provided with a 3-axis acceleration sensor such as a yaw rate sensor (not shown), and can predict the traveling path of the vehicle AM in time series.
  • the predicted time-series travel path data is output from the operation control ECU 100 to the collision prevention device 190.
  • the vehicle AM is also provided with a steering wheel 151, a brake pedal (not shown), and the like, so that the driver can intervene in the driving.
  • Such a change in the vehicle travel path due to the driver's intervention in driving can be detected from the acceleration of each axis input from various sensors connected to the operation control ECU 100. Therefore, even in such a case, it is easy to predict the traveling route of the vehicle AM in time series.
  • the vehicle operation control device 200 includes a large number of devices such as a driving force ECU 120, a driving motor 130, a braking force ECU 70, a steering ECU 140, and a steering device 150. To prepare for.
  • a driving force ECU 120 a driving force ECU 120
  • a driving motor 130 a driving motor 130
  • a braking force ECU 70 a steering ECU 140
  • a steering device 150 a steering device 150.
  • Each of these ECUs and devices is connected by a network CAN, which is an in-vehicle LAN (not shown), and each ECU constantly exchanges data and commands.
  • the driving force ECU 120 controls the driving force for driving the vehicle AM.
  • the driving force ECU 120 controls the driving force of the driving motor 130 in response to an instruction from the operation control ECU 100.
  • the drive motor 130 receives electric power from a battery (not shown) via an inverter (not shown) and rotates.
  • the driving force ECU 120 directly controls this inverter.
  • the driving force of the driving motor 130 is transmitted to the rear wheels 11 and 12 on the left and right via the differential gear 132 and the driving shaft 134.
  • rear wheel drive is used, but front wheel drive or four-wheel drive may be used.
  • the vehicle AM of the present embodiment has a configuration as a so-called electric vehicle.
  • the steering device 150 includes an encoder 152 that detects the steering amount (rotation angle) of the steering wheel 151, and a steering motor 154 that drives the steering gear 155.
  • the steering motor 154 of the steering device 150 controls the steering angles (angles with respect to the straight direction) of the left and right front wheels 113 and 114 via the steering gear 155.
  • the steering angles of the right and left front wheels 113 and 114 are provided with turning radius as needed by the steering gear 155.
  • each wheel 111-114 is provided with a disc brake device including a brake disc BD, a wheel cylinder 119-122, and the like, and the braking force of each wheel can be controlled.
  • the brake disc BD provided on each wheel 111-114 has a structure of being sandwiched by a disc pad (not shown) attached to the wheel cylinders 119-122, and a braking force is generated by the frictional force between the disc pad and the brake disc. Occurs.
  • the hydraulic pressure for driving the wheel cylinders 119-122 is supplied from a hydraulic brake generator (not shown) via the hydraulic pipe 180.
  • the braking force ECU 170 controls the hydraulic pressure applied to each wheel cylinder 119-122 to control the braking force of the vehicle AM.
  • the driving force ECU 120, the steering ECU 140, and the braking force ECU 170 described above are connected to the operation control ECU 100, and in response to an instruction from the operation control ECU 100, the steering angles of the wheels 113 and 114, the braking force of each wheel 111-114, and so on.
  • the driving force of the wheels 111 and 112, which are the driving wheels, is adjusted. By doing so, the vehicle AM travels along the route received from the route guidance device 110.
  • a collision prevention device 190 is also connected to the operation control ECU 100. Further, the collision prevention device 190 is connected to the object recognition device 20.
  • the object recognition device 20 is the device described in the first embodiment, recognizes an object based on the signals from the camera 21 and the millimeter wave radar 22, and outputs the recognition result to the collision prevention device 190. do.
  • the recognition result of the object by the object recognition device 20 is passed as data stored in the database 45, as will be described later.
  • the internal configuration of the collision prevention device 190 is shown in FIG. 8B.
  • the collision prevention device 190 includes a first calculation unit 191 and a second calculation unit 192, a prediction unit 195, and an output unit 197.
  • the first calculation unit 191 is connected to the operation control ECU 100, and based on the information about the own vehicle position received from the operation control ECU 100, performs an operation to obtain the travel prediction position of the moving vehicle AM in time series.
  • the second calculation unit 192 is connected to the object recognition device 20 and performs an operation to obtain the predicted existence position of the object in time series using the position and the actual shape of the object recognized by the object recognition device 20. ..
  • the prediction unit 195 predicts a collision between the two from the time series of the travel prediction position of the vehicle AM and the time series of the existence prediction position of the object. Further, the output unit 197 outputs the content predicted by the prediction unit 195 to the operation control ECU 100 as needed.
  • Each unit such as the first calculation unit 191 is realized by the computer mounted on the collision prevention device 190 executing a program prepared in advance.
  • the position of the own vehicle (own vehicle position) is first acquired (step S200).
  • the position of the own vehicle can be acquired with high accuracy by a GNSS (Global Navigation Satellite System) provided in the route guidance device 110 or the like.
  • GNSS Global Navigation Satellite System
  • the position of the vehicle may be acquired with an accuracy of several centimeters to several tens of centimeters by adding the positional relationship with the surrounding landscape, the traveling lane, etc. captured by the camera to the position of the vehicle acquired by GNSS. ..
  • the planned travel course is acquired from the route guidance device 110 (step S210).
  • the planned travel route of the own vehicle is predicted in chronological order (step S220).
  • the planned travel route of the own vehicle can be predicted with high accuracy by superimposing the position of the own vehicle acquired with high accuracy and the driving state planned by the operation control ECU 100 on the travel course acquired from the route guidance device 110. can.
  • the position of the own vehicle in the driving lane is specified, and from here, the shape of the road, the subsequent speed planned by the driving control ECU 100, whether or not the driving lane is changed, and the schedule of turning left or right are added. Then, find the planned travel route.
  • the position of the own vehicle changes from moment to moment, so the planned travel route is gradually updated.
  • the planned travel route is not simply a continuous plot of the position through which the own vehicle passes, but is a stack of information on when the vehicle was present at that position.
  • the time predicts the position of the own vehicle at that time, for example, in units of 0.1 seconds in real time. This means "in chronological order". In 0.1 seconds, for example, a vehicle traveling at 60 km / h travels about 1.7 meters. In order to avoid a collision, for example, the position of the own vehicle in a range of about 170 meters for 10 seconds is predicted in chronological order.
  • FIG. 10 shows an example of the time-series prediction of the planned travel route of the own vehicle.
  • x and y indicate two-dimensional positions in the shape of a traveling path. Actually, it indicates the position expressed as latitude and longitude. The actual driving road is high and low and has undulations, but since vehicles and pedestrians do not leave the road surface, the position of the own vehicle should be expressed in two dimensions, that is, the position on the xy plane should be specified. It's enough. If the moving object can move three-dimensionally, such as a drone or a helicopter, the position information will also be three-dimensional. In the figure, the time axis t is taken in the direction perpendicular to the xy plane. If the position information becomes three-dimensional, the time-series representation of the own vehicle position becomes four-dimensional.
  • the position of the own vehicle AM is shown as a time-series locus DD.
  • the own vehicle AM is currently located at the position D0 and travels in the y direction from here, but at that time, due to the operation by the operation control ECU 100, the vehicle AM is slightly operated in the ⁇ x direction from the current position. After moving, it is predicted to change course in the x direction, that is, to turn right.
  • the rectangular parallelepiped represents a shape circumscribing the own vehicle AM. The inclination of the rectangular parallelepiped indicates the posture of the vehicle. It should be noted that the posture is a schematic one and does not necessarily represent the posture during actual running.
  • the object recognition device 20 accesses the database 45 storing the object recognized at the present time, and acquires one information of the registered object (step S235).
  • the object information acquired here is information for each object currently registered in the database 45, and is data indicating the size and position of the object.
  • the database 45 stores data on the shapes and positions recognized so far for each of the plurality of objects. Of course, some objects have been recognized in the past, but are not currently recognized in the images captured by the camera 21. The data of such objects that are not recognized at this time are sequentially deleted from the database 45.
  • the object taken out in step S235 is one of the objects whose shape and position data up to that point are stored in the database 45, which is recognized from the image captured by the camera 21 at the present time. Is.
  • the information is acquired from the database 45 in order from the object existing at the position closest to the own vehicle AM in order to determine the possibility of collision.
  • the object instead of the object existing at the position closest to the own vehicle, the object may be acquired in order from the largest object. Alternatively, it may be acquired at random.
  • the object is cut out from the image captured by the camera 21, and depending on the size, the object is a first-class object having a size of a four-wheeled vehicle or more. , It is obtained by determining whether it is a second-class object such as a two-wheeled vehicle or a pedestrian smaller than this, and performing the first correction or the second correction, respectively.
  • the position is determined as a position relative to the own vehicle AM (distance L2 or P2 and angles ⁇ 1, ⁇ 2, ⁇ 3), the same applies to the own vehicle position determined two-dimensionally. It is converted to the coordinates in the two-dimensional xy plane.
  • step S240 the process of predicting the route of the object in time series is performed (step S240).
  • the object is a four-wheeled vehicle, a two-wheeled vehicle, or a pedestrian
  • a moving object can be predicted to continue its previous movement. Therefore, the future position of the object is predicted by using the position where the object has existed so far.
  • the object is currently located at position E0 and is predicted to move in the x direction from here.
  • the rectangular parallelepiped represents a shape circumscribing a pedestrian.
  • both the rectangular parallelepiped dd representing the own vehicle AM and the rectangular parallelepiped ee representing the pedestrian have the same interval in the vertical axis direction. Be arranged.
  • the interval between position detection and prediction on the time axis may be wide.
  • step S250 After predicting the route of the object in time series in this way (step S240), it is determined whether the own vehicle AM and the object whose route is predicted in time series may collide (step S250).
  • the possibility of collision depends not only on whether the loci on the space of the own vehicle AM and the object, here on the two-dimensional plane, simply intersect, but on whether the trajectories intersect in the coordinate system including the time axis shown in FIG. to decide.
  • time t TN
  • the rectangular parallelepiped dddd representing the own vehicle AM and the rectangular parallelepiped ee representing the pedestrian who is the object intersect with each other in the trajectories DD and EE including the volumes of the rectangular parallelepipeds. It is judged that there is a possibility of collision.
  • the collision prevention device 190 instructs the operation control ECU 100 to avoid a collision (step S260). At this time, the collision prevention device 190 also outputs at least the locus EE of the object to the operation control ECU 100.
  • the operation control ECU 100 recognizes the locus of the object that may collide, and controls the operation of the own vehicle AM so that the own vehicle AM does not intersect with this locus. Specifically, if there is a margin before the collision prediction time TN with the object, the driving force ECU 120 is instructed to change the vehicle speed, for example, decrease, and the speed of the own vehicle AM is changed to the collision prediction position.
  • the arrival time is delayed (or earlier in some cases), or the braking force ECU 170 is instructed to brake in accordance with the instruction of the driving force ECU 120, and the speed of the own vehicle AM is rapidly reduced to reach the collision predicted position. I delay the time.
  • the steering ECU 140 may be instructed to steer the wheels and change the traveling path to avoid a collision.
  • the collision may be avoided by sounding a horn, issuing a warning to the driver, and switching to manual operation.
  • step S250 if it is determined that there is no possibility of collision with respect to the object for which the possibility of collision has been determined, the process of step S260 is not performed. After performing the determination of the possibility of collision (step S250) and the processing of the collision avoidance instruction (step S260), it is determined whether the processing for all the objects has been completed (step S230e) until the processing is completed. The above process (steps S235 to S260) is repeated. When the processing is completed for all the objects, the process exits to "END" and the processing routine ends. The collision avoidance process is performed so that a collision with another object does not occur due to the increase / decrease in the vehicle speed or the steering taken for the collision avoidance.
  • the own vehicle AM and the target are used by using the result of the recognition of the object by the object recognition device 20 described in the first embodiment.
  • the operation control ECU 100 controls the vehicle AM so as to determine the possibility of collision with an object and to avoid the possibility of collision.
  • the object recognition device 20 when the object is a first-class object, as described in detail in the first embodiment, on the plane of the object acquired by the camera 21 which is the first sensor.
  • the first correction is performed to correct the magnitude of the above using the distance measurement result by the millimeter wave radar 22 which is the second sensor.
  • the object is a type 2 object
  • the second correction is performed. Therefore, it is possible to accurately detect the shape and position of the object based on the shape and distance of the object acquired by the monocular camera 21, and to predict the possibility of collision based on this with high accuracy. can. As a result, the possibility of realizing collision prevention can be increased.
  • the determination of the possibility of collision and the avoidance process by the vehicle driving control device 200 are exemplified in detail in Japanese Patent Application Laid-Open No. 2020-8288.
  • One embodiment is an embodiment as an object recognition device.
  • This object recognition device includes a first sensor that acquires an image of an object existing outside the moving object, a second sensor that detects the distance to the object, and the first sensor and the second sensor.
  • the output is provided with a recognition unit that recognizes the position of the object with respect to the moving object and the shape of the object at the position.
  • the recognition unit determines that the object is a first-class object having a predetermined size or larger, the recognition unit obtains the actual shape of the object by the first sensor.
  • the object is determined by the image of the above and the distance detected by the second sensor, and it is recognized that the object exists in the actual shape at a position separated by the distance from the moving body. Therefore, this object recognition device can accurately recognize the actual shape of the first type object having a size larger than a predetermined size.
  • the moving body may be a vehicle moving on the ground, a two-wheeled vehicle such as a bicycle, a pedestrian, a train, or the like, or a ship moving on or under water, a submarine, a hovercraft, or the like.
  • a flying object such as an airplane, a helicopter, or a drone.
  • the object may move in the same manner as the moving body, or may move differently from the moving body.
  • the moving body when the moving body is a vehicle moving on the ground, the object may be a vehicle, a two-wheeled vehicle, a pedestrian, or the like, but may be a vehicle that moves three-dimensionally like a drone.
  • the moving body may be one that moves on a predetermined railroad track, such as a train, and the object may be a vehicle that crosses a railroad crossing. Further, the object may be a non-moving object. For example, if the moving body moves on the ground, it may be a feature on the ground such as a guardrail, a road sign, or a curb, and if the moving body is a ship, it may be a quay, a buoy, or the like. .. When the moving object is an aircraft or the like, the object may be a steel tower, a skyscraper, or the like.
  • the recognition unit recognizes the first-class object as a polygon shape from the image, and two or more of the vertices constituting the polygon shape.
  • the polygonal shape is corrected to a similar shape so that the polygonal object is present at the distance while maintaining the angle of the apex with respect to the moving object, and the polygonal shape is corrected to a similar shape according to the similar shape at the position of the object.
  • the actual shape may be obtained. In this way, an actual object having a complicated shape can be approximated by a polygonal shape, and the actual shape can be recognized.
  • the recognition of the object is not limited to the polygonal shape, and may be performed by a circular shape, an elliptical shape, a shape surrounded by an arbitrary curve, or the like.
  • the actual shape of the object may be recognized as a polygonal shape in a plan view.
  • the moving object moves three-dimensionally, such as a drone, a helicopter, an airplane, or a submarine, the actual shape of the object may be recognized as a polygon.
  • the object of the first kind may use at least three or more vertices of the polygon to correct the polygon to a similar shape and obtain the actual shape thereof.
  • the polygonal shape may be a quadrangular shape.
  • a first-class object having a predetermined size or larger such as a vehicle, can be accurately approximated by the quadrangular shape, and correction and the like can be easily performed.
  • the polygonal shape is not limited to the quadrangular shape, and may be a triangular shape or a polygonal shape of pentagon or more.
  • the recognition unit determines that the object is a second type object other than the first type
  • the recognition unit is an actual object at the position of the object.
  • the shape may be recognized by a method different from that of the first type object.
  • the first type of object is an object of a predetermined size or larger, and the other second type of objects have different sizes, so it is desirable to recognize the actual shape by different methods. Because there are cases. For example, since the size is smaller than the first type object, it is assumed that the error will be large when trying to correct the size. In such a case, there is a method of not correcting the size. There are cases where it is desirable. Of course, in the case of the second object, it is possible to take measures such as not recognizing the actual shape.
  • the second type object is an object that can be specified as a smaller object than the first type object, and the recognition unit is the second type.
  • the object of the species may be recognized as being present at a position separated by the distance from the moving object in a shape corresponding to the image of the object. In this way, the processing for the second type object can be simplified.
  • the recognition unit recognizes the second type of object from the image as a predetermined shape including a representative point representing the object, and the representative point moves. Assuming that an object having the predetermined shape exists at the distance while maintaining the angle formed with respect to the body and the predetermined shape, the actual shape of the object at the position may be obtained. In this way, the position of the second type object can be accurately obtained by using the distance obtained by the second sensor.
  • the moving object may be a vehicle
  • the second type object may be a two-wheeled moving object or a pedestrian.
  • Two-wheeled moving objects such as motorcycles and bicycles and pedestrians have a relatively narrow range of size and shape compared to first-class objects such as four-wheeled vehicles, so a method different from that of first-class objects. It can be said that there is room for recognizing the actual shape.
  • the distance detected by the second sensor is 1) a point on the edge closest to the second sensor in the object, and 2) from the edge.
  • the actual shape of the object may be obtained by assuming that it is a distance to any one of a point separated from the object side by a predetermined distance and 3) a center point in the object. Since the position detected by the second sensor is the distance to any position corresponding to the three-dimensional shape of the object, this can be regarded as one of the above 1), 2), and 3) for recognizing the actual shape. It is desirable to use it. Of course, if it is possible to roughly recognize the three-dimensional shape and measure the distance, it may be treated as the distance of the position of the object corresponding to the measured point.
  • the first-class object may be a vehicle having four or more wheels. This is because a four-wheeled vehicle is most likely to be an object of a predetermined size or larger existing around a moving body, and it is required to recognize its actual shape and distance in order to avoid a collision.
  • a larger object such as a bus or a truck may be treated as a first-class object.
  • the moving body is a ship, a ship larger than a small ship may be treated as a first-class object.
  • it may be specified by the length of the hull or the like.
  • the moving object When the moving object is a flying object such as a drone, it is a heavy aircraft, and the first type of object is a fixed-wing aircraft such as an airplane, jet aircraft, or glider, a rotary wing aircraft such as a helicopter, or a light aircraft such as an airship. Smaller aircraft such as drones, hang riders, paragliders, microplanes, etc. may be treated as the second type of objects. Of course, the size of a non-rotating part such as an airframe may be used to distinguish between the first type and the second type.
  • a fixed-wing aircraft such as an airplane, jet aircraft, or glider
  • a rotary wing aircraft such as a helicopter
  • a light aircraft such as an airship.
  • Smaller aircraft such as drones, hang riders, paragliders, microplanes, etc.
  • the size of a non-rotating part such as an airframe may be used to distinguish between the first type and the second type.
  • a second aspect of the present disclosure is to obtain such an object recognition device, a first calculation unit for obtaining a travel prediction position of the moving object in time series, and the recognized position and actual shape of the object.
  • the collision between the second calculation unit that obtains the predicted existence position of the object in time series and the time series of the predicted running position of the moving body and the predicted position of the existence of the object are detected by using the second calculation unit.
  • a moving body collision prevention device a moving body that receives the prediction output by the output unit and changes at least one of the speed and the traveling direction of the moving body so as to avoid the predicted collision. It may be provided with a control device.
  • collision prevention can be achieved by simply switching to warning or manual driving, but if you change your speed or direction of travel, you can increase the certainty of collision prevention.
  • the collision may be prevented by changing the arrival time at the predicted collision position to prevent the collision or by warning the driver. If it is possible to convey information to the object, the collision may be prevented by transmitting this to the object regarding the prediction of the collision and changing the speed, the traveling direction, etc. on the object side.
  • Various methods can be adopted for transmitting information to the object, such as direct communication, communication via an information center, or optical method such as warning sound, voice, or warning light.
  • the moving body may be a vehicle equipped with such a moving body collision prevention device. Since there are many vehicles that are a type of moving vehicle and collisions between vehicles and vehicles and pedestrians can actually occur, collision prevention can be achieved by installing a moving vehicle collision prevention device on the moving vehicle. The benefits that can be achieved are great.
  • an image of an object existing outside the moving body is acquired, the distance to the object is detected, and the size of the object can be specified in advance.
  • the actual shape of the object is obtained from the image of the object and the distance, and the object is located at a position separated by the distance.
  • a fourth aspect of the present disclosure is a first sensor that acquires an image of an object existing outside the moving object, a second sensor that detects the distance to the object, the first sensor, and the first sensor.
  • a recognition unit that recognizes the position of the object with respect to the moving object and the shape of the object at the position by using the output of the second sensor is provided.
  • the recognition unit changes the method of recognizing the actual shape of the object at the position according to the type of the object. Recognize the actual shape. By doing so, when recognizing the actual shape at the position of the object detected by the second sensor according to the type of the object, it is possible to change to an appropriate method and perform this, and the recognition of the actual shape can be performed. It is easy to make the accuracy of the above according to the type of the object.
  • a part of the configuration realized by the hardware may be replaced with software.
  • At least some of the configurations realized by software can also be realized by discrete circuit configurations.
  • the software (computer program) can be provided in a form stored in a computer-readable recording medium.
  • the "computer-readable recording medium” is not limited to portable recording media such as flexible disks and CD-ROMs, but is fixed to internal storage devices in computers such as various RAMs and ROMs, and computers such as hard disks. It also includes external storage devices that have been installed. That is, the term "computer-readable recording medium” has a broad meaning including any recording medium on which data packets can be fixed rather than temporarily.
  • the controls and methods thereof described in the present disclosure are realized by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. You may.
  • the controls and methods thereof described in the present disclosure may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits.
  • the controls and methods thereof described in the present disclosure are configured by a combination of a processor and memory programmed to perform one or more functions and a processor configured by one or more hardware logic circuits. It may be realized by one or more dedicated computers.
  • the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.
  • the present disclosure is not limited to the above-described embodiment, and can be realized by various configurations within a range not deviating from the purpose.
  • the technical features in the embodiments corresponding to the technical features in each embodiment described in the column of the outline of the invention are for solving a part or all of the above-mentioned problems, or one of the above-mentioned effects. It is possible to replace or combine as appropriate to achieve the part or all. Further, if the technical feature is not described as essential in the present specification, it can be appropriately deleted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

移動体（１０）の外部に存在する対象物（ＣＡ，ＰＲ）の画像を第１センサ（２１）で取得し、この対象物までの距離を第２センサ（２２）で検出する。その上で、対象物が、予め大きさが特定可能であるとされた第１種の対象物（ＣＡ）であると判断した場合、対象物の実形状を、対象物の画像と距離とにより求め、対象物が、距離だけ隔たった位置に、求めた実形状で存在すると認識することで、画像から取得した対象物の実形状と距離の認識精度を高める。

Description

対象物認識装置、移動体衝突予防装置および対象物認識方法 関連出願の相互参照
　本願は、２０２０年８月２６日に日本国において出願された特許出願番号２０２０－１４２２３８に基づくものであって、その優先権の利益を主張するものであり、その特許出願の全ての内容が、参照により、本願明細書に組み入れられる。
　本開示は、車両などの移動体の外部の対象物の認識とこれを用いた衝突予防の技術に関する。
　自動車などの移動体の走行時の安全性を高めるために、移動体外部の他の車両、二輪車、歩行者、ガードレールなどの対象物を認識する技術が、種々開発されている。移動体外部の対象物の位置や大きさ、走行状態などを精度良く認識することで、ブレーキをかけて自動的に自車速度を低減または停止させて衝突を回避したり、転舵して衝突を回避したりすることが可能となる。こうした衝突回避に限らず、自動運転を行なうためには、対象物を精度良く認識する技術として、例えば、特開２０２０－８２８８号公報には、対象物の認識と衝突回避を行なう技術が開示されている。
　上記特許公報記載の技術は、自車両や対象物を立体的に認識して衝突を回避する優れたものであるが、実施形態における対象物までの距離の検出はミリ波レーダを用いている。これに対して、近年、対象物の位置や形状の認識に、カメラなどの画像撮像装置を用いたり、これとレーダを組み合わせるなど、多様な形態が提案されている。こうした画像撮像装置を用いて、対象物の位置や形状を認識する際に生じ得る誤差等を補正して、対象物を認識し、また衝突回避適用する技術が求められていた。
　本開示は、以下の形態又は適用例として実現することが可能である。第１の実施形態は、対象物認識装置としての態様である。この対象物認識装置は、移動体の外部に存在する対象物の画像を取得する第１センサと、前記対象物までの距離を検出する第２センサと、前記第１センサおよび前記第２センサの出力を用いて、前記対象物の前記移動体に対する位置および前記位置における前記対象物の形状を認識する認識部と、を備える。この認識部は、前記対象物が、予め定めた大きさ以上の第１種の対象物であると判断した場合には、前記対象物の実形状を、前記第１センサが取得した前記対象物の画像と前記第２センサにより検出された前記距離とにより求め、前記対象物が、前記移動体から前記距離だけ隔たった位置に前記実形状で存在すると認識する。従って、この対象物認識装置は、予め定めた大きさ以上の第１種の対象物の実形状を精度良く認識できる。
　本開示の第２の態様は、こうした対象物認識装置と、前記移動体の走行予測位置を時系列的に求める第１演算部と、前記認識した前記対象物の位置と実形状を用いて、前記対象物の存在予測位置を時系列的に求める第２演算部と、前記移動体の走行予測位置の時系列と前記対象物の存在予測位置の時系列とから、両者の衝突を予測する予測部と、前記予測を出力する出力部と、を備えた移動体衝突予防装置としての態様である。こうすれば、対象物の実形状と位置とを精度よく認識し、衝突を予測して、これを予防しやすくできる。
　本開示の第３の態様は、移動体の外部に存在する対象物の画像を取得し、前記対象物までの距離を検出し、前記対象物が、予め大きさが特定可能であるとされた第１種の対象物であると判断した場合、前記対象物の実形状を、前記対象物の画像と前記距離とにより求め、前記対象物が、前記距離だけ隔たった位置に前記実形状で存在すると認識する、対象物の認識方法として態様である。こうすれば、予め定めた大きさ以上の第１種の対象物の実形状を精度良く認識できる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、実施形態の対象物認識装置を示す概略構成図であり、 図２は、第１センサであるカメラの撮像画像の一例を示す説明図であり、 図３は、第１実施形態における対象物認識処理ルーチンを示すフローチャートであり、 図４Ａは、一覧データの一例を示す説明図であり、 図４Ｂは、対象物の一例に対する第１補正の手法を説明するための説明図であり、 図４Ｃは、異なる形状の対象物に対する第１補正の手法を示す説明図であり、 図５は、第２補正の手法を説明するための説明図であり、 図６は、第２補正の代表点を例示する説明図であり、 図７は、データベースに保存された対象物のデータの一例を示す説明図であり、 図８Ａは、第２実施形態の衝突予防装置を備える車両運転制御装置およびこれを搭載した車両の概略構成図であり、 図８Ｂは、衝突予防装置の概略構成図であり、 図９は、衝突回避制御ルーチンを示すフローチャートであり、 図１０は、走行経路の３次元予測の一例を示す説明図である。
Ａ．第１実施形態：
　第１実施形態の対象物認識装置２０は、概略構成図である図１に示したように、移動体に一種である車両１０に搭載されており、車両１０の前面に設けられた第１センサとしてのカメラ２１，第２センサとしてのミリ波レーダ２２を備えるであり、カメラ２１は、２次元の画像を所定のフレーム数で撮像し、これを映像信号として出力する。撮像する画像はカラーでも良いし白黒でもよい。また撮像範囲は、認識しようとする車両１０前方の所定の範囲を撮像できれば良い。もとより、車両１０の側方や後方の対象物を認識したい場合には、その方向に向けて設ければよい。ミリ波レーダ２２は、ミリ波をパルス的に出力し、その反射波を受信するまでの時間により、ミリ波を放射した方向に存在する対象物の距離を計測するものである。本実施形態では、ミリ波レーダ２２は、所定の範囲を２次元的にスキャンしながら、反射波が戻ってくるまでの時間を順次計測している。なお、車両１０は、他の車両との区別を明確にする場合には、自車両１０とよぶことがある。
　対象物認識装置２０は、カメラ２１からの映像信号を入力し映像に含まれる対象物を切り出す抽出部３１、ミリ波レーダ２２からの信号を分析して２０前方に存在するものまでの距離を検出する測距部３２、抽出部３１よる対象物の検出結果と測距部３２による距離の測定とを用いて対象物を認識する認識部４０、認識部４０の認識結果を出力する出力部５０、認識部４０が認識した結果を記録するデータベース４５等を備える。
　本実施形態では、対象物認識装置２０を搭載した車両１０は、道路の左端ＲＬと右端ＲＲで区画された車道を走行しており、この車両１０の前方に、他の４輪車両ＣＡ（以下、他車ＣＡという）と歩行者ＰＲとが存在するものとして説明する。車道などの走行路に存在する対象物としては、４輪以上の車両や、４輪車両とは明確に大きさの異なる小さな移動体である歩行者、二輪車、自転車、電動カート、車イス、等があり得る。以下、前者、つまり４輪以上の車両を第１種移動体と呼び、後者、つまり第１種移動体より小さな二輪車等を第２種移動体と呼ぶ。
　カメラ２１が撮像した映像の１つのフレーム画像ＳＲ１を、図２に例示した。この例では、他車ＣＡの後部および歩行者ＰＲの後姿と、道路の左端ＲＬおよび右端ＲＲとが、撮像されている。抽出部３１のこうしたフレーム画像ＳＲ１から、対象物を抽出する。こうしたフレーム画像ＳＲ１からの対象物の抽出は、予めディープラーニングなどの機械学習を行なっておくことにより、容易に実現可能である。図２に示した例では、他車ＣＡや歩行者ＰＲなどが抽出される。
　認識部４０は、周知のコンピュータ（以下、単にＣＰＵと呼ぶ）やＲＯＭ、ＲＡＭなどのメモリを備え、ＲＯＭ等に予め用意したプログラムに従って、算術論理演算を実行することにより、対象物を認識する処理を行なう。図１では、抽出部３１，測距部３２は、認識部４０とは別に描いたが、以下に説明するように、認識部４０が実行するプログラムに拠って、併せて実現するようにしてもよい。
　認識部４０に設けられたＣＰＵが実行する対象物認識処理ルーチンについて、図３に従い、説明する。図示した対象物認識処理ルーチンを開始すると、認識部４０のＣＰＵは、まだ画像を取得する処理を行なう（ステップＳ１００）。ここで画像の取得とは、カメラ２１が撮像した映像を構成する各フレーム画像ＳＲ１を読み込むことを意味する。次に、取得したフレーム画像ＳＲ１から、対象物の画像の特定と距離の推定とを行なう（ステップＳ１０５）。この処理は、図１に即して言えば、抽出部３１が行なう処理に相当する。
　フレーム画像ＳＲ１からの対象物の画像の特定は、まずフレーム画像ＳＲ１から、機械学習などを用いて画像に含まれる対象物の映像の範囲を切り出すことにより行なわれる。対象物は、カメラ２１から見て重なっている場合もあるが、機械学習により、手前の対象物Ａとその対象物Ａに一部が隠された向こう側の対象物Ｂとを区別する程度の画像認識は、可能である。認識された対象物の画像は、次に座標変換され、平面視の画像（以下、必要に応じて鳥瞰画像とも言う）にされる。その鳥瞰画像に外接する四角形形状は、４つの頂点の座標の集合として扱われる。
　同時に、その対象物までの距離Ｌ１を推定する。単眼のカメラ２１により取得したフレーム画像ＳＲ１から、対象物までの距離Ｌ１を推定する処理は、種々知られている。例えば、カメラ２１の中心の対象物に対してオートフォーカスを適用すれば、焦点位置から、中心に存在する対象物までの距離Ｌ１を推定することは容易である。このとき、オートフォーカスで焦点の合っていない対象物については、そのボケの状態から焦点の合っている位置からの偏差を認識することができるから、これを利用して、フレーム画像ＳＲ１内に含まれる各対象物までの距離Ｌ１を推定することができる。
　無焦点カメラや焦点深度の比較的深いカメラを用い、オートフォーカスを利用しない場合であっても、ディープラーニングによって対象物の形状や背景などの風景情報を学習し、対象物までの距離Ｌ１を推定することが可能である。例えば、２色のカラーフィルタをレンズに装着し、対象物までの距離に応じて生じる画像のぼけの色と大きさを分析することで、距離Ｌ１を推定することができる。あるいは、ディープラーニングを活用してレンズ上の位置によって画像がどのようにぼけているか（ぼけの形状）を解析することで、単眼のカメラ２１からのフレーム画像ＳＲ１に基づき、距離を推定する技術も知られている。更に、カメラ２１の位置を微少に変位させ、変位に伴うフレーム画像ＳＲ１における対象物の位置の変化量から、対象物までの距離Ｌ１を推定することも可能である。カメラの位置が変化したとき、カメラから遠いほど、フレーム画像ＳＲ１中の位置の変位は小さいからである。
　こうした手法で、カメラ２１により取得したフレーム画像ＳＲ１に基づいて、対象物の平面視の形状の特定とその位置の推定とを行なった後（ステップＳ１０５）、次に、ミリ波レーダ２２から測距の結果である距離Ｌ２を読み込む処理を行なう（ステップＳ１１０）。その上で、カメラ２１から取得したフレーム画像ＳＲ１に基づく対象物の平面視の形状の特定と距離Ｌ１の推定結果、それにミリ波レーダ２２により距離測距の結果である距離Ｌ２を利用して、取得した画像に含まれる全対象物を切り出す処理を行なう（ステップＳ１２０）。切り出した対象物は、一覧データ４３として記憶される。一覧データの一例を、図４Ａに示した。図示するように、対象物を表わす一覧データには、これを区別する対象物番号Ｎ、カメラ２１から取得したフレーム画像から求めた対象物の平面視の形状、同じく対象物までの距離Ｌ１、ミリ波レーダ２２により測距した距離Ｌ２などが含まれる。対象物の平面視の形状は、対象物に外接する四角形形状の各頂点の座標により表現される。対象物に外接する四角形形状の頂点については、後で詳しく説明する。
　こうしてフレーム画像ＳＲ１に含まれる全対象物を切り出したあと、ステップＳ１３０ｓ－Ｓ１３０ｅまでの処理を全対象物の各々について繰り返す。具体的には、まず切り出した対象物のうちの１つ、例えば図４Ａに示した対象物ｍを特定する（ステップＳ１４０）。このとき、対象物の平面視の形状を示す鳥瞰画像ＢＧを囲むレクタングルＣＧも併せて生成する。レクタングルＣＧは、対象物（ここでは他車ＣＡの鳥瞰画像ＢＧ）に外接する四角形形状である。次に、レクタングＣＧルとして切り出した対象物の大きさについて判別する（ステップＳ１５０）。この段階で、対象物の鳥瞰画像ＢＧ、つまり対象物の平面視での大きさと、推定される距離Ｌ１とが認識されているので、現実の大きさを概算することは容易である。
　対象物の大きさに関する判断（ステップＳ１５０）を行なった結果、対象物は第１種対象物、つまり４輪以上の車両ＣＡであると判断すると、取得した画像を補正する第１補正処理を行なう（ステップＳ１６０）。この第１補正処理の概要を、図４Ｂを用いて説明する。第１補正処理は、対象物が、第１種の対象物であると判断した場合に行なう補正処理であり、対象物の平面視の実形状を、第１センサであるカメラ２１が取得した対象物の画像と、第２センサであるミリ波レーダ２２により検出された距離とにより求める処理である。具体的には、まずカメラ２１により取得したフレーム画像ＳＲ１から座標変換して得られた対象物の鳥瞰画像ＢＧ、ここでは自車両１０の前方の他車ＣＡが距離Ｌ１に存在すると推定する。対象物の鳥瞰画像ＢＧは、これに外接するレクタングルＣＧとして扱われる。
　その上で、第１補正処理では、第１種対象物である他車ＣＡを取り囲むレクタングルＣＧの４つの頂点ＶＲ１－ＶＲ４のうち、自車両１０に近い左右２つの頂点ＶＲ１とＶＲ２を特定し、自車両１０のカメラ２１の位置を原点とする頂点ＶＲ１、頂点ＶＲ２の左右方向への角度θ１、角度θ２を維持して、レクタングルＣＧが距離Ｌ２の位置に存在する場合の拡大レクタングルＣＨを求める。つまり、自車両１０の前方の他車ＣＡが、カメラ２１で取得したフレーム画像から推定された距離Ｌ１の位置に存在するのではなく、ミリ波レーダ２２により測距された距離Ｌ２の位置に存在する場合の他車ＣＡの平面視の大きさを、レクタングルＣＧに相似する拡大レクタングルＣＨとして求めるのである。なお、図４Ｂおよび後述する図４Ｃでは、ミリ波レーダ２２による対象物の測距の位置を符号ＭＬで例示した。測距の位置ＭＬは、対象物のいずれの箇所でも差し支えない。
　図４Ｂでは、他車ＣＡを取り囲む外接四角形形状のレクタングルＣＧは、自車両１０に対してほぼ水平になっているが、実際の対象物の大きさはまちまちであり、また様々な位置関係をとる。したがって、そこから得られるレクタングルＣＧも様々な形状および角度をとる。また、ミリ波レーダ２２により対象物までの距離を測定した測距位置も、対象物毎に、あるいは測距毎に異なる場合がある。図４Ｃは、他の対象物の一例を示す。図４Ｃの例では、他車ＣＡは、右側から、自車両１０の前を斜めに横切ろうとしている。このため、この対象物に外接する四角形形状は、フレーム画像ＳＲ１から抽出した対象物を座標変換して得られた鳥瞰画像ＢＧを取り囲む傾いたレクタングルＣＧとして認識される。そこで、図４Ｂに示した例と同様に、レクタングルＣＧの４つの頂点ＶＲ１－ＶＲ４のうち、自車両ＡＭに近い左右２つの頂点ＶＲ１とＶＲ２を特定し、自車両のカメラ２１の位置を原点とする頂点ＶＲ１、頂点ＶＲ２の左右方向への角度θ１、角度θ２を維持して、レンタングルＣＧが距離Ｌ２の位置に存在する場合の拡大レクタングルＣＨを求める。なお、更に対象物に外接するレクタングルＣＧが傾くと、自車両に近い頂点（例えば、図４Ｃの頂点ＶＲ２）よりも、自車両からは遠い頂点（例えば頂点ＶＲ３）の方が、カメラ２１の位置からの角度θ２が大きくなる場合がある。こうした場合には、自車両から遠い頂点を用いて、拡大レクタングルＣＨを求めても良い。また、これらの例では、ミリ波レーダ２２により測距した距離Ｌ２が、フレーム画像から推定した距離Ｌ１より大きいものとして説明したが、Ｌ２＜Ｌ１の場合も当然あり得る。こうした場合でも同様に相似形として補正後のレクタングルを求めればよい。補正後のレクタングルは、元のレクタングルに対して縮小される。
　以上説明した処理を第１補正処理して行ない（ステップＳ１６０）、補正処理した対象物の大きさ（拡大レクタングルＣＨ）とその距離Ｌ２とにより対象物の位置を認識する（ステップＳ１６５）。
　他方、ステップＳ１５０の判断において、対象物は第２種対象物、つまり４輪以上の他車ＣＡより小さい２輪車や歩行者等であると判断すると、取得した画像を第２補正処理により補正する（ステップＳ１７０）。この第２補正処理の概要を、図５を用いて説明する。第２補正処理は、対象物が、第２種の対象物であると判断した場合に行なう補正処理であり、対象物の実形状を、第１センサであるカメラ２１が取得した対象物の画像ＰＲを座標変換した鳥瞰画像ＰＢＧの大きさを維持して、第２センサであるミリ波レーダ２２により検出された距離Ｐ２に存在すると見做して補正する処理である。具体的には、まずカメラ２１により取得したフレーム画像ＳＲ１から、対象物、ここでは自車両前方の歩行者ＰＲが距離Ｐ１に存在すると推定する。
　その上で、第２補正処理では、第２種対象物である歩行者ＰＲを座標変換して得られた歩行者の鳥瞰画像ＰＢＧを取り囲むレクタングルＰＨはそのままの大きさを維持し、かつカメラ２１の位置を原点とするレクタングルＰＨの代表点ＧＧの角度θ３を維持して、レクタングルＰＨが距離Ｐ２の位置に存在する場合のレクタングルＰＨの位置を求める。つまり、前方の歩行者ＰＲが、カメラ２１で取得したフレーム画像から推定された距離Ｐ１の位置に存在するのではなく、ミリ波レーダ２２により測距された距離Ｐ２の位置に存在するとして、第２種対象物である歩行者ＰＲに対応したその鳥瞰画像ＰＢＧを認識するのである。
　こうした第２種対象物に対する第２補正を行なう際、第２種対象物（ここでは歩行者ＰＲ）の位置の補正は、レクタングルＰＨを代表する代表点ＧＧを用いて行なうが、代表点ＧＧとしては、鳥瞰画像ＰＢＧにおける対象物の形状に外接するレクタングルＰＨの重心位置を用いればよい。もとより、代表点ＧＧは、重心に限らず、レクタングルＰＨの中心点など、他の代表点を用いてもよい。また、カメラ２１からの距離Ｐ１を想定する場合の対象物の平面上の代表点は、図６に例示したように、平面視において第２対象物に外接するレクタングルＰＨの中心点ＰＰ１としてもよいし、カメラ２１側の縁上の点ＰＰ２としてもよい。あるいは、前縁から中心方向に予め定めた距離だけ変位した位置として定めた点ＰＰ３としてもよい。以上の第２補正処理して行ない（ステップＳ１７０）、対象物の大きさ（レクタングルＰＨ）とその距離Ｐ２とにより対象物の位置を認識する（ステップＳ１７５）。
　上述した対象物の大きさの判定に応じた第１補正処理（ステップＳ１６０）または第２補正処理（ステップＳ１７０）とこれに続く対象物の平面視での大きさと位置の認識（ステップＳ１６５またはＳ１７５）を行なった後、認識した対象物のデータをデータベース４５に保存する処理を行なう（ステップＳ１８０）。データベース４５に保存された対象物のデータの一例を、図７に示す。図示するように、各対象物のデータには、対象物を特定する番号Ｎ、対象物の補正後の形状を示す４頂点の座標、対象物までの距離Ｌ２が含まれる。以上の処理（ステップＳ１４０からＳ１８０）を、一覧データ４３に保存してあった全ての対象物について繰り返す。全ての対象物についての処理が完了したと判断すれば（ステップＳ１３０ｅ）、「ＥＮＤ」に抜けて、本処理ルーチンを終了する。
　以上説明した対象物認識装置２０によれば、単眼のカメラ２１により取得した画像から対象物の大きさと自車両１０からの距離を推定し、対象物の大きさによって、対象物が４輪車両以上の第１種対象物であると判断した場合と４輪車両より小さな２輪車や歩行者などの第２種対象物であると判断した場合とで、対象物の大きさと距離に関し、異なる補正、つまり、第１種対象物には第１補正を、第２種対象物には第２補正をそれぞれ適用する。補正は、ミリ波レーダ２２により求めた対象物までの距離を用い、第１補正では、対象物に外接する多角形、ここでは四角形形状のレクタングルの２つの頂点のカメラ２１に対する角度を維持して、対象物の大きさを拡大または縮小して、対象物の平面視での大きさと位置を求める。また第２補正では、対象物に外接するレクタングルの大きさとレクタングルを代表する代表点のカメラ２１に対する角度とを維持して、対象物の平面視での大きさと位置を求める。このため、第１種対象物であってもこれより小さな第２種対象物であっても、その大きさと位置とを、より正確に認識することができる。第１種対象物は、４輪車両以上の大きさの対象物なので、カメラ２１の解像度における形状の検出精度、特に頂点位置の検出精度をある程度以上高くできる。このため、ミリ波レーダ２２により測距された距離を用いて、その形状を高い精度で補正できる。４輪車両以上の車両の場合には、小型の４輪車両から大型のバスやトラックまで、その形状や大きさの取り得る範囲は、第２種対象物より広い。このため、第１種対象物については、ミリ波レーダ２２により計測した距離を用いて、対象物の大きさを補正して対象物を認識することの意義は大きい。
　他方、第２種対象物は、第１種対象物より小さい２輪車や歩行者なので、カメラ２１により取得した画像から得られる形状の認識精度は第１種対象物と比べて相対的に低くなる可能性がある。またその形状の取り得る範囲も、一般に狭い。従って、第２種対象物に関して、ミリ波レーダ２２により測距された距離を用いた補正を行なわず、その大きさや形状を維持しても、対象物の認識精度に与える影響は小さい。むしろ、補正しないことで、補正による誤差の発生を防止できる。
Ｂ．第２実施形態：
　次に、第２実施形態として、対象物認識装置２０および衝突予防装置１９０を備える車両運転制御装置２００およびこれを搭載した車両ＡＭについて説明する。この車両運転制御装置２００の概略構成を図８Ａに示した。車両運転制御装置２００は、車両ＡＭの運転を制御する装置である。車両運転制御装置２００は、目的地までの経路を案内する経路案内装置１１０からの経路指示に従って、一定範囲で自動運転を実現する運転制御ＥＣＵ１００を備える。従って、目的地がセットされて、車両ＡＭが自動運転されている場合、運転制御ＥＣＵ１００は、現在地から目的地に向かう車両の走行経路を予め認識している。更に、運転制御ＥＣＵ１００には図示しないヨーレートセンサなどの３軸加速度センサも設けられており、車両ＡＭの走行経路を時系列的に予測することができる。この予測された時系列的な走行経路のデータは、運転制御ＥＣＵ１００から衝突予防装置１９０に出力される。車両ＡＭには、ハンドル１５１や図示しないブレーキペダルなども設けられており、運転者が運転に介入することも可能である。こうした運転者の運転への介入による車両走行経路の変更は、運転制御ＥＣＵ１００に接続された各種センサから入力した各軸の加速度などから検出できる。従って、こうした場合でも、車両ＡＭの走行経路を時系列的に予測することは容易である。
　車両運転制御装置２００は、上述した運転制御ＥＣＵ１００や対象物認識装置２０および衝突予防装置１９０の他、駆動力ＥＣＵ１２０、駆動用モータ１３０、制動力ＥＣＵ７０，操舵ＥＣＵ１４０、操舵装置１５０等の多数の装置を備える。これらの各ＥＣＵや装置は、図示しない車内ＬＡＮであるネットワークＣＡＮにより結ばれており、各ＥＣＵは、常時データやコマンドをやり取りしている。
　駆動力ＥＣＵ１２０は、車両ＡＭを走行させる駆動力を制御する。駆動力ＥＣＵ１２０は、運転制御ＥＣＵ１００からの指示を受けて、駆動用モータ１３０の駆動力を制御する。駆動用モータ１３０は、図示しないバッテリからの電力を図示しないインバータを介して受けて回転する。駆動力ＥＣＵ１２０は直接的にはこのインバータを制御している。駆動用モータ１３０の駆動力は、ディファレンシャルギヤ１３２および駆動軸１３４を介して、右左の後輪１１，１２に伝達される。本実施形態では後輪駆動としているが、前輪駆動でも４輪駆動でも差し支えない。本実施形態の車両ＡＭは、いわゆる電気自動車としての構成を備える。
　操舵装置１５０は、ハンドル１５１の操舵量（回転角度）を検出するエンコーダ１５２と、操舵ギヤ１５５を駆動する操舵モータ１５４とを備える。操舵装置１５０の操舵モータ１５４は、操舵ギヤ１５５を介して、右左の前輪１１３，１１４の舵角（直進方向に対する角度）を制御する。右左前輪１１３，１１４それぞれの舵角には、操舵ギヤ１５５により、必要に応じたターニングラジアスが付与される。
　次に、各車輪１１１－１１４に制動力を付与する仕組みについて説明する。図８Ａに示したように、各車輪１１１－１１４には、ブレーキディスクＢＤや、ホイールシリンダ１１９－１２２等を備えたディスクブレーキ装置が設けられており、車輪毎の制動力を制御できる。各車輪１１１－１１４に設けられたブレーキディスクＢＤは、ホイールシリンダ１１９－１２２に付設のディスクパッド（不図示）よって挟み込まれる構造となっており、ディスクパッドとブレーキディスクとの摩擦力により、制動力を発生する。ホイールシリンダ１１９－１２２を駆動する油圧は、図示しない油圧ブレーキ発生装置から油圧配管１８０を介して、供給される。制動力ＥＣＵ１７０は、各ホイールシリンダ１１９－１２２に付与される油圧を制御し、車両ＡＭの制動力を制御する。
　上述した駆動力ＥＣＵ１２０、操舵ＥＣＵ１４０、制動力ＥＣＵ１７０は、運転制御ＥＣＵ１００に接続されており、運転制御ＥＣＵ１００からの指示を受けて、車輪１１３，１１４の舵角、各車輪１１１－１１４の制動力、駆動輪である車輪１１１，１１２の駆動力などを調整する。こうすることで、車両ＡＭは、経路案内装置１１０から受け取った経路に沿って走行する。
　運転制御ＥＣＵ１００には、衝突予防装置１９０も接続されている。またこの衝突予防装置１９０は、対象物認識装置２０に接続されている。この対象物認識装置２０は、第１実施形態で説明した装置であり、カメラ２１およびミリ波レーダ２２からの信号に基づいて、対象物を認識し、この認識結果を、衝突予防装置１９０に出力する。対象物認識装置２０による対象物の認識結果は、後述するように、データベース４５に保存されたデータとして受け渡される。
　衝突予防装置１９０の内部構成を、図８Ｂに示した。図示するように、この衝突予防装置１９０は、第１演算部１９１、第２演算部１９２、予測部１９５、出力部１９７を備える。第１演算部１９１は、運転制御ＥＣＵ１００に接続され、運転制御ＥＣＵ１００から受け取った自車位置に関する情報に基づいて、移動体である車両ＡＭの走行予測位置を時系列的に求める演算を行なう。第２演算部１９２は、対象物認識装置２０に接続され、対象物認識装置２０が認識した対象物の位置と実形状を用いて、対象物の存在予測位置を時系列的に求める演算を行なう。また、予測部１９５は、車両ＡＭの走行予測位置の時系列と対象物の存在予測位置の時系列とから、両者の衝突を予測する。更に、出力部１９７は、予測部１９５が予測した内容を必要に応じて、運転制御ＥＣＵ１００に出力する。第１演算部１９１などの各部は、衝突予防装置１９０に搭載されたコンピュータが、予め用意したプログラムを実行することにより、実現される。
　次に、図９を用いて、衝突予防装置１９０が運転制御ＥＣＵ１００と共に行なう衝突回避制御ルーチンについて説明する。衝突回避制御ルーチンを開始すると、まず自車両の位置（自車位置）を取得する（ステップＳ２００）。自車位置は、経路案内装置１１０に設けられたＧＮＳＳ（Global Navigation Satellite System、全地球航法衛星システム）などにより高い精度で取得できる。もとより、ＧＮＳＳで取得した自車位置に、更に、カメラで撮像した周囲の風景、走行レーン等との位置関係を加え、自車位置を数センチから数十センチメートルの精度で取得してもよい。続いて、経路案内装置１１０から走行予定コースを取得する（ステップＳ２１０）。
　こうして得られた自車位置と走行予定コースとを用いて、自車両走行予定経路を時系列的に予測する（ステップＳ２２０）。自車両走行予定経路は、経路案内装置１１０から取得した走行コースにおいて、高い精度で取得した自車位置および運転制御ＥＣＵ１００が予定している運転状態を重ね合わせることで、高い精度で予測することができる。具体的には、走行レーン内の自車位置を特定し、ここから、道路の形状、運転制御ＥＣＵ１００が予定するその後の速度、走行レーン変更の有無、更には左折、右折などの予定などを加味して、走行予定経路を求める。もとより、自車位置は時々刻々と変化するから、これにより走行予定経路も漸次更新される。また、走行予定経路は、単に自車両の通過する位置を連続的にプロットとしたものではなく、その位置にどの時間に存在したか、という情報を積み重ねたものである。時間は、例えば実時間における０．１秒を単位として、その時刻の自車位置を予測する。これが「時系列的に」という意味である。０．１秒の間に、例えば時速６０ｋｍで走行している車両は、約１．７メートル移動する。衝突回避のためには、例えば１０秒間１７０メートル程度の範囲の自車位置を時系列的に予測する。
　この自車両走行予定経路の時系列的な予測の様子の一例を、図１０に示した。図において、ｘ，ｙは、走行路状の２次元的な位置を示す。実際には緯度経度として表わされる位置を示す。実際の走行路は、高低があり起伏があるが、車両や歩行者は路面を離れることはないので、自車位置は、２次元的な表現、つまりｘ－ｙ平面上での位置を特定すれば足りる。移動体が、ドローンやヘリコプタなど、３次元的に移動できるものの場合は、位置情報も３次元になる。図では、ｘ－ｙ平面に垂直な方向に時間軸ｔをとっている。位置情報が３次元になれば、自車位置の時系列表現は、４次元となる。
　図１０では、自車両ＡＭの位置を時系列的な軌跡ＤＤとして示す。この例では、自車両ＡＭは、現時点において位置Ｄ０に位置しており、ここからｙ方向に向かって走行するが、その際、運転制御ＥＣＵ１００による運転によって、現在の位置から－ｘ方向に僅かに移動した後、ｘ方向に進路を変更、つまり右折すると予測している。図において、直方体は、自車両ＡＭに外接する形状を表わしている。直方体の傾きは、車両の姿勢を示す。なお、姿勢については、模式的なものであり、必ずしも実際の走行時の姿勢を表わしているものではない。
　このように、自車両走行経路を時系列的に予測したあと、ステップＳ２３０ｓ－Ｓ２３０ｅまでの処理を、対象物認識装置２０がその時点で認識している全対象物の各々について繰り返す。具体的には、まず対象物認識装置２０が、現時点で認識している対象物を保存しているデータベース４５にアクセスし、登録されている対象物の情報を１つ取得する（ステップＳ２３５）。ここで取得される対象物情報とは、現時点でデータベース４５に登録されている対象物毎の情報であって、対象物の大きさと位置とを示すデータである。データベース４５には、複数の対象物のそれぞれについて、それまでに認識された形状と位置のデータが蓄積されている。もとより対象物の中には、過去に認識されたが、現在はカメラ２１が撮像した画像において認識されていないものも存在する。こうした現時点で認識されていない対象物のデータは、データベース４５からは順次削除されている。従って、ステップＳ２３５で取り出される対象物は、現在の時点で、カメラ２１によって撮像された画像から認識され、データベース４５にそれまでの形状と位置のデータが保存されている対象物のうちの１つである。複数の対象物が、データベース４５に保存されている場合、衝突の可能性を判断することから、自車両ＡＭに最も近い位置に存在する対象物から順に、その情報をデータベース４５から取得する。なお、自車両に最も近い位置に存在する対象物に代えて、最も大きい対象物から順に取得してもよい。あるいはランダムに取得しても良い。
　対処物に関する情報は、第１実施形態で説明したように、カメラ２１が撮像した画像から対象物を切り出し、その大きさによって、対象物が４輪車以上の大きさの第１種対象物か、これより小さい２輪車や歩行者である第２種対象物であるかを判断し、それぞれ第１補正または第２補正を行なって得られたものである。もとより、その位置は、自車両ＡＭに対する相対的な位置（距離Ｌ２またはＰ２および角度θ１，θ２，θ３）として定められているから、これを２次元的に定めた自車位置を用いて、同様に２次元のｘ－ｙ平面における座標に変換している。
　こうして対象物情報を取得すると、次に、対象物の経路を時系列的に予測する処理を行なう（ステップＳ２４０）。対象物が４輪車両であれ２輪車または歩行者であれ、移動している物体は、それまでの動きを継続すると予測することができる。そこで、対象物が、それまでに存在した位置を用いて、将来の位置を予測する。図１０では、時刻ｔ＝０において、位置Ｅ０に存在した対象物が歩行者であって、ゆっくりｘ方向にのみ移動している場合を例示している。この例では、対象物は、現時点において位置Ｅ０に位置しており、ここからｘ方向に移動すると予測している。図において、直方体は、歩行者に外接する形状を表わしている。自車両ＡＭと比べて、歩行者の移動速度は遅いが、図における縦軸は時間ｔなので、自車両ＡＭを表わす直方体ｄｄも歩行者を表わす直方体ｅｅも、縦軸方向には、同じ間隔で配列される。もとより、低速で移動している対象物については、位置の検出と予測の時間軸上の間隔を広くとっても差し支えない。
　こうして対象物の経路を時系列的に予測した後（ステップＳ２４０）、自車両ＡＭと経路を時系列的に予測した対象物とが衝突する可能性があるかを判断する（ステップＳ２５０）。衝突の可能性は、自車両ＡＭと対象物の空間上、ここでは２次元平面上の軌跡が単に交わるかどうかではなく、図１０に示した時間軸を含む座標系で軌跡が交わるかどうかにより判断する。図に示した例では、時間ｔ＝ＴＮで、自車両ＡＭを表わす直方体ｄｄと対象物である歩行者を表わす直方体ｅｅとが、直方体同士の体積を含めた軌跡ＤＤ，ＥＥで交わっており、衝突の可能性があると判断される。
　衝突の可能性があると判断すると、衝突予防装置１９０は、運転制御ＥＣＵ１００に対して、衝突回避を指示する（ステップＳ２６０）。このとき、衝突予防装置１９０は、運転制御ＥＣＵ１００に対して、少なくとも対象物の軌跡ＥＥも出力する。指示を受けた運転制御ＥＣＵ１００は、衝突の可能性があるとされた対象物の軌跡を認識し、自車両ＡＭがこの軌跡と交わらないように、自車両ＡＭの運転を制御する。具体的には、対象物との衝突予測時間ＴＮまでに余裕があれば、駆動力ＥＣＵ１２０に対して車速の変更、例えば低下を指示し、自車両ＡＭの速度を変更させて、衝突予測位置に到達する時間を遅らせ（場合によっては早め）、あるいは駆動力ＥＣＵ１２０の指示に併せて制動力ＥＣＵ１７０に対して制動を指示し、自車両ＡＭの速度を急速に低下させて、衝突予測位置に到達する時間を遅らせたりする。このほか、操舵ＥＣＵ１４０に指示して、車輪を転舵し、走行経路を変更して、衝突を回避してもよい。このほか、クラクションを鳴らす、運転者に警告を発して手動運転に切り替えるなどの方法で、衝突を回避してもよい。
　ステップＳ２５０において、衝突の可能性を判断した対象物に関して、衝突の可能性がないと判断すれば、ステップＳ２６０の処理は行なわない。これらの衝突の可能性の判断（ステップＳ２５０）および衝突回避指示の処理（ステップＳ２６０）を行なった後、全ての対象物についての処理を完了したかを判断し（ステップＳ２３０ｅ）、完了するまで、上記の処理（ステップＳ２３５からＳ２６０）を繰り返す。全ての対象物について処理を完了すれば、「ＥＮＤ」に抜けて、本処理ルーチンを終了する。なお、衝突回避の処理は、衝突回避のためにとった車速の増減や転舵によって、他の対象物との衝突が起きないように行なう。
　以上、第２実施形態として説明した衝突予防装置としての車両運転制御装置２００では、第１実施形態で説明した対象物認識装置２０による対象物の認識の結果を利用して、自車両ＡＭと対象物との衝突の可能性を判断し、衝突の可能性がある場合には、これを回避するよう運転制御ＥＣＵ１００が車両ＡＭを制御する。対象物認識装置２０においては、第１実施形態で詳しく説明した様に、対象物が第１種の対象物である場合には、第１センサであるカメラ２１により取得した対象物の平面上での大きさを、第２センサであるミリ波レーダ２２による測距結果を用いて補正する第１補正を行なっている。他方、対象物が第２種の対象物である場合には、第１センサであるカメラ２１により取得した対象物の形状を維持したまま、対象物の位置をミリ波レーダ２２により測距した結果とする第２補正を行なっている。従って、単眼のカメラ２１により取得した対象物の形状や距離に基づきながら、対象物の形状と位置とを精度良く検出でき、これを元にした衝突の可能性の予測を高い精度で行なうことができる。この結果、衝突予防を実現する可能性も高めることができる。なお、こうした車両運転制御装置２００による衝突の可能性の判断と回避処理については、特開２０２０－８２８８号公報などに詳しく例示されている。
Ｃ．他の実施形態：
　本開示の各装置は以下の形態で実施可能である。
（１）１つの実施形態は、対象物認識装置としての態様である。この対象物認識装置は、移動体の外部に存在する対象物の画像を取得する第１センサと、前記対象物までの距離を検出する第２センサと、前記第１センサおよび前記第２センサの出力を用いて、前記対象物の前記移動体に対する位置および前記位置における前記対象物の形状を認識する認識部と、を備える。この認識部は、前記対象物が、予め定めた大きさ以上の第１種の対象物であると判断した場合には、前記対象物の実形状を、前記第１センサが取得した前記対象物の画像と前記第２センサにより検出された前記距離とにより求め、前記対象物が、前記移動体から前記距離だけ隔たった位置に前記実形状で存在すると認識する。従って、この対象物認識装置は、予め定めた大きさ以上の第１種の対象物の実形状を精度良く認識できる。
　ここで、移動体は、地上を移動する車両や自転車等の２輪車、歩行者、列車などであってもよく、水上や水中を移動する船舶、潜水艦、ホバークラフトなどであってもよい。もとより、飛行機、ヘリコプタ、ドローンなどの飛翔体であってもよい。対象物は、移動体と同様に移動するものであってもよいし、移動体とは異なる移動をするものであってもよい。例えば、移動体が地上を移動する車両である場合、対象物は、車両や２輪車、歩行者などであってもよいが、ドローンのように３次元移動するものであってもよい。移動体は、列車のように、予め定められた線路上を移動するものであってもよく、対象物は踏切を亘る車両などであってもよい。また、対象物は、移動しないものであってもよい。例えば、移動体が地上を移動するものであれば、ガードレールや道路標識、縁石など、地上の地物であってもよく、移動体が船舶などであれば、岸壁、ブイなどであってもよい。移動体が航空機などの場合には、対象物は、鉄塔、高層ビルなどであってもよい。
（２）こうした対象物認識装置において、前記認識部は、前記第１種の対象物を、前記画像から、多角形形状として認識し、前記多角形形状を構成する頂点のうちの２つ以上の頂点の前記移動体に対する角度を維持して、前記距離に前記多角形形状の対象物が存在するよう前記多角形形状を相似形状に補正し、前記相似形状に従い、前記対象物の前記位置での前記実形状を求めるものとしてもよい。こうすれば、複雑な形状をした実際の対象物を多角形形状により近似して、その実形状を認識することができる。もとより、対象物の認識は、多角形形状に限る必要はなく、円形、楕円形、任意の曲線に囲まれた形状などにより行なってもよい。ここで移動体が車両や船舶のように、路面や水面などを２次元的に移動するものの場合には、対象物の実形状は、平面視における多角形形状として認識してもよい。移動体がドローンやヘリコプタ、飛行機、潜水艦などのように３次元的に移動するものであれば、対象物の実形状は、多角形のポリゴンとして認識しても良い。後者の場合、第１種の対象物は、ポリゴンの少なくとも３つ以上の頂点を用いて、ポリゴンを相似形状に補正して、その実形状を求めるようにすればよい。
（３）こうした対象物認識装置において、前記多角形形状は、四角形形状としてもよい。対象物のうち、車両など、予め定めた大きさ以上の第１種の対象物は、四角形形状により精度良く近似でき、また補正なども容易である。もとより、多角形形状は四角形形状に限る必要はなく、三角形形状や五角形以上の多角形形状でも差し支えない。
（４）こうした対象物認識装置において、前記認識部は、前記対象物が、前記第１種以外の第２種の対象物であると判断した場合には、前記対象物の前記位置での実形状の認識を、前記第１種の対象物とは異なる手法で行なうものとしてもよい。第１種の対象物は、予め定めた大きさ以上の対象物とされており、これ以外の第２種の対象物は、大きさが異なるので、異なる手法で実形状を認識することが望ましい場合が存在するからである。例えば大きさが第１種の対象物より小さいために、大きさを補正しようとすると、誤差が大きくなってしまう場合などが想定され、こうした場合には、大きさの補正を行なわないといった手法が望ましい場合が存在する。もとより、第２の対象物の場合には、実形状の認識を行なわないといった対応も可能である。
（５）こうした対象物認識装置において、前記第２種の対象物は、前記対象物が前記第１種の対象物より小さいものとして特定可能な対象物であり、前記認識部は、前記第２種の対象物は、前記移動体から前記距離だけ隔たった位置に、前記対象物の前記画像に対応する大きさの形状で存在すると認識するものとしてもよい。こうすれば、第２種の対象物についての処理を簡略化できる。
（６）こうした対象物認識装置において、前記認識部は、前記第２種の対象物を、前記画像から、前記対象物を代表する代表点を含む所定形状として認識し、前記代表点が前記移動体に対してなす角度と前記所定形状とを維持して、前記距離に前記所定形状の対象物が存在するとして、前記対象物の前記位置での実形状を求めるものとしてもよい。こうすれば、第２センサにより求めた距離を用いて、第２種の対象物の位置を精度良く求めることができる。
（７）こうした対象物認識装置において、前記移動体は車両であり、前記第２種の対象物は、２輪移動体または歩行者であるものとしてもよい。オートバイや自転車などの２輪移動体や歩行者などは、その大きさや形状の範囲は４輪車両などの第１種の対象物と比べると比較的狭いので、第１種の対象物と異なる手法で実形状を認識する余地があると言える。
（８）こうした対象物認識装置において、前記認識部は、前記第２センサが検出した前記距離が、前記対象物における、１）前記第２センサに最も近い縁上の点、２）前記縁から前記対象物側に所定距離だけ隔たった点、３）前記対象物における中心点、のいずれかまでの距離であるとして、前記対象物の前記実形状を求めるものとしてもよい。第２センサが検出する位置は、対象物の３次元形状に対応したいずれかの位置までの距離であることから、これを上記１）、２）、３）のいずれかとして実形状の認識に用いることが望ましい。もとより、おおまかな３次元形状の認識と距離の計測とが可能であれば、計測した点に対応する対象物の位置の距離として扱えばよい。
（９）こうした対象物認識装置において、前記第１種の対象物は、４輪以上の車両であるものとしてもよい。移動体の周囲に存在する所定以上の大きさの対象物として、４輪車両が最も蓋然性が高く、かつ衝突回避などのためにその実形状と距離とを認識することが求められるものだからである。もとより、バスやトラックなど、更に大型のものを第１種の対象物として扱うものとしてもよい。また移動体が船舶であれば、小型船舶より大きな船舶を第１種の対象物として扱っても良い。あるいは船体の長さなどで規定してもよい。移動体がドローンなどの飛翔体である場合には、重航空機であって、飛行機・ジェット機・グライダなどの固定翼機、ヘリコプタなどの回転翼機、飛行船などの軽航空機を第１種の対象物として扱い、これらより小さい飛翔体、例えばドローンやハングライダ、パラグライダ、マイクロプレーンなどを第２種の対象物として扱ってもよい。もとより、機体など、回転しない部分の大きさで、第１種と第２種とに区別するものとしてもよい。
（１０）本開示の第２の態様は、こうした対象物認識装置と、前記移動体の走行予測位置を時系列的に求める第１演算部と、前記認識した前記対象物の位置と実形状を用いて、前記対象物の存在予測位置を時系列的に求める第２演算部と、前記移動体の走行予測位置の時系列と前記対象物の存在予測位置の時系列とから、両者の衝突を予測する予測部と、前記予測を出力する出力部と、を備えた移動体衝突予防装置としての態様である。こうすれば、対象物の実形状と位置とを精度よく認識し、衝突を予測して、これを予防しやすくできる。
（１１）こうした移動体衝突予防装置において、前記出力部が出力する前記予測を受け取って、前記予測された前記衝突を回避するよう、前記移動体の速度および進行方向の少なくとも一方を変更する移動体制御装置を備えるものとしてもよい。もとより衝突の予防は、単に警告や手動運転に切り替えることでも可能だが、自らの速度や進行方向に変更すれば、衝突予防の確実性を高めることができる。この他、衝突予測位置への到達時刻を変更することで、衝突を予防したり、運転者に警告したりすることにより、衝突を予防してもよい。対象物に情報を伝えることが可能であれば、衝突の予測に関して対象物にこれを伝え、対象物側の速度や進行方向等を変更して、衝突を予防してもよい。対象物への情報の伝達は、直接的な通信や、情報センタなどを介した通信、警告音や音声あるいは警告灯など光学的な手法による伝達など、種々の方法が採用可能である。
（１２）移動体は、こうした移動体衝突予防装置を備えた車両であってもよい。移動体の一種である車両は多数存在し、現実に車両相互、車両と歩行者などの衝突は生じ得るから、移動体である車両に移動体衝突予防装置を設けることにより、衝突の予防が実現できるメリットは大きい。
（１３）本開示の第３の態様は、移動体の外部に存在する対象物の画像を取得し、前記対象物までの距離を検出し、前記対象物が、予め大きさが特定可能であるとされた第１種の対象物であると判断した場合、前記対象物の実形状を、前記対象物の画像と前記距離とにより求め、前記対象物が、前記距離だけ隔たった位置に前記実形状で存在すると認識する、対象物の認識方法として態様である。こうすれば、予め定めた大きさ以上の第１種の対象物の実形状を精度良く認識できる。
（１４）本開示の第４の態様は、移動体の外部に存在する対象物の画像を取得する第１センサと、前記対象物までの距離を検出する第２センサと、前記第１センサおよび前記第２センサの出力を用いて、前記対象物の前記移動体に対する位置および前記位置における前記対象物の形状を認識する認識部と、を備える。ここで、前記認識部は、前記対象物の種別に応じて、前記対象物の前記位置での実形状を認識する手法を変更する、前記変更した手法で、前記対象物の前記位置での前記実形状を認識する。こうすれば、対象物の種別に応じて、第２センサで検出した対象物の位置での実形状を認識する際に、適切な手法に変更してこれを行なうことができ、実形状の認識の精度を、対象物の種別に応じたものとすることが容易である。
（１５）上記各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。ソフトウェアによって実現されていた構成の少なくとも一部は、ディスクリートな回路構成により実現することも可能である。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。すなわち、「コンピュータ読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
　本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つまたは複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つまたは複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
　本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

Claims (14)

  1. 　移動体（１０，ＡＭ）の外部に存在する対象物（ＣＡ，ＰＲ）の画像を取得する第１センサ（２１）と、
    　前記対象物までの距離を検出する第２センサ（２２）と、
    　前記第１センサおよび前記第２センサの出力を用いて、前記対象物の前記移動体に対する位置および前記位置における前記対象物の形状を認識する認識部（４０）と、
    　を備え、
    　前記認識部は、前記対象物が、予め定めた大きさ以上の第１種の対象物（ＣＡ）であると判断した場合には、前記対象物の実形状を、前記第１センサが取得した前記対象物の画像と前記第２センサにより検出された前記距離（Ｌ２）とにより求め、前記対象物が、前記移動体から前記距離だけ隔たった位置に前記実形状で存在すると認識する、対象物認識装置。
  2. 　請求項１に記載の対象物認識装置であって、
    　前記認識部は、
    　　前記第１種の対象物を、前記画像から、多角形形状（ＣＧ）として認識し、
    　　前記多角形形状を構成する頂点のうちの２つ以上の頂点（ＶＲ１，ＶＲ２）の前記移動体に対する角度（θ１，θ２）を維持して、前記距離に前記多角形形状の対象物が存在するよう前記多角形形状を相似形状（ＣＨ）に補正し、前記相似形状に従い、前記対象物の前記位置での前記実形状を求める、
    　対象物認識装置。
  3. 　前記多角形形状は、四角形形状である、請求項２に記載の対象物認識装置。
  4. 　請求項１から請求項３のいずれか一項に記載の対象物認識装置であって、前記認識部は、前記対象物が、前記第１種以外の第２種の対象物（ＰＲ）であると判断した場合には、前記対象物の前記位置での実形状の認識を、前記第１種の対象物とは異なる手法で行なう、対象物認識装置。
  5. 　請求項４記載の対象物認識装置であって、
    　前記第２種の対象物は、前記対象物が前記第１種の対象物より小さいものとして特定可能な対象物であり、
    　前記認識部は、前記第２種の対象物は、前記移動体から前記距離だけ隔たった位置に、前記対象物の前記画像に対応する大きさの形状（ＰＨ）で存在すると認識する、
    　対象物認識装置。
  6. 　請求項４または請求項５に記載の対象物認識装置であって、
    　前記認識部は、
    　　前記第２種の対象物を、前記画像から、前記対象物を代表する代表点（ＧＧ）を含む所定形状として認識し、
    　　前記代表点が前記移動体に対してなす角度（θ３）と前記所定形状とを維持して、前記距離に前記所定形状の対象物が存在するとして、前記対象物の前記位置での実形状を求める、
    　対象物認識装置。
  7. 　前記移動体は車両であり、前記第２種の対象物は、２輪移動体または歩行者である、請求項４から請求項６のいずれか一項に記載の対象物認識装置。
  8. 　請求項１から請求項７のいずれか一項に記載の対象物認識装置であって、
    　前記認識部は、前記第２センサが検出した前記距離が、前記対象物における、
    　１）前記第２センサに最も近い縁上の点（ＰＰ２）、
    　２）前記縁から前記対象物側に所定距離だけ隔たった点（ＰＰ３）、
    　３）前記対象物における中心点（ＰＰ１）、
    のいずれかまでの距離であるとして、前記対象物の前記実形状を求める、
    　対象物認識装置。
  9. 　前記第１種の対象物は、４輪以上の車両である、請求項１から請求項８のいずれか一項に記載の対象物認識装置。
  10. 　請求項１から請求項９のいずれか一項に記載の対象物認識装置（２０）と、
    　前記移動体の走行予測位置を時系列的に求める第１演算部（１９１）と、
    　前記認識した前記対象物の位置と実形状を用いて、前記対象物の存在予測位置を時系列的に求める第２演算部（１９２）と、
    　前記移動体の走行予測位置の時系列と前記対象物の存在予測位置の時系列とから、両者の衝突を予測する予測部（１９５）と、
    　前記予測を出力する出力部（１９７）と、
    　を備えた移動体衝突予防装置。
  11. 　前記出力部が出力する前記予測を受け取って、前記予測された前記衝突を回避するよう、前記移動体の速度および進行方向の少なくとも一方を変更する移動体制御装置（１００）を備える、請求項１０記載の移動体衝突予防装置。
  12. 　前記移動体は車両であり、
    　請求項１０または請求項１１記載の移動体衝突予防装置を備えた車両。
  13. 　移動体の外部に存在する対象物の画像を取得し、
    　前記対象物までの距離を検出し、
    　前記対象物が、予め大きさが特定可能であるとされた第１種の対象物であると判断した場合、前記対象物の実形状を、前記対象物の画像と前記距離とにより求め、
    　前記対象物が、前記距離だけ隔たった位置に前記実形状で存在すると認識する、　対象物の認識方法。
  14. 　移動体（１０，ＡＭ）の外部に存在する対象物（ＣＡ，ＰＲ）の画像を取得する第１センサ（２１）と、
    　前記対象物までの距離を検出する第２センサ（２２）と、
    　前記第１センサおよび前記第２センサの出力を用いて、前記対象物の前記移動体に対する位置および前記位置における前記対象物の形状を認識する認識部（４０）と、
    　を備え、
    　前記認識部は、前記対象物の種別に応じて、前記対象物の前記位置での実形状を認識する手法を変更する、前記変更した手法で、前記対象物の前記位置での前記実形状を認識する、対象物認識装置。
PCT/JP2021/027323 2020-08-26 2021-07-21 対象物認識装置、移動体衝突予防装置および対象物認識方法 WO2022044634A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/174,439 US20230215273A1 (en) 2020-08-26 2023-02-24 Object recognition device, movable body collision prevention device, and object recognition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020142238A JP7359107B2 (ja) 2020-08-26 2020-08-26 対象物認識装置、移動体衝突予防装置および車両
JP2020-142238 2020-08-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/174,439 Continuation US20230215273A1 (en) 2020-08-26 2023-02-24 Object recognition device, movable body collision prevention device, and object recognition method

Publications (1)

Publication Number Publication Date
WO2022044634A1 true WO2022044634A1 (ja) 2022-03-03

Family

ID=80353244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027323 WO2022044634A1 (ja) 2020-08-26 2021-07-21 対象物認識装置、移動体衝突予防装置および対象物認識方法

Country Status (3)

Country Link
US (1) US20230215273A1 (ja)
JP (1) JP7359107B2 (ja)
WO (1) WO2022044634A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JP2004028727A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP2020008288A (ja) * 2018-07-02 2020-01-16 株式会社デンソー 衝突判定装置
WO2020116206A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4887539B2 (ja) * 2008-02-07 2012-02-29 本田技研工業株式会社 物体種別判定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JP2004028727A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP2020008288A (ja) * 2018-07-02 2020-01-16 株式会社デンソー 衝突判定装置
WO2020116206A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
US20230215273A1 (en) 2023-07-06
JP2022037985A (ja) 2022-03-10
JP7359107B2 (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
JP6361567B2 (ja) 自動運転車両システム
JP6344275B2 (ja) 車両制御装置
CN109466542B (zh) 车辆控制装置、车辆控制方法及存储介质
US20190071094A1 (en) Vehicle control system, vehicle control method, and storage medium
JP6641583B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US11370420B2 (en) Vehicle control device, vehicle control method, and storage medium
WO2019176083A1 (ja) 移動体制御装置
US20190347492A1 (en) Vehicle control device
JP2007190977A (ja) 車両制御装置
KR102428117B1 (ko) 정지선 위치 추정 장치 및 차량 제어 시스템
US20210139019A1 (en) Driving assistance apparatus
WO2022044634A1 (ja) 対象物認識装置、移動体衝突予防装置および対象物認識方法
US11932283B2 (en) Vehicle control device, vehicle control method, and storage medium
US20220309804A1 (en) Vehicle control device, vehicle control method, and storage medium
CN115959111A (zh) 车辆控制装置、车辆控制方法及存储介质
CN115959112A (zh) 车辆控制装置、车辆控制方法及存储介质
JP7028838B2 (ja) 周辺認識装置、周辺認識方法、およびプログラム
US20230294676A1 (en) Driving assistance device, driving assistance method, and storage medium
US20230294679A1 (en) Driving assistance device, driving assistance method, and storage medium
US20230294674A1 (en) Driving assistance device, driving assistance method, and storage medium
US20230294680A1 (en) Driving assistance device, driving assistance method, and storage medium
US20230294673A1 (en) Driving assistance device, driving assistance method, and storage medium
US20230294675A1 (en) Driving assistance device, driving assistance method, and storage medium
WO2023175917A1 (ja) 運転支援装置、運転支援方法、およびプログラム
EP3862239A1 (en) Vehicle control device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861062

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21861062

Country of ref document: EP

Kind code of ref document: A1