WO2016158261A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2016158261A1
WO2016158261A1 PCT/JP2016/057281 JP2016057281W WO2016158261A1 WO 2016158261 A1 WO2016158261 A1 WO 2016158261A1 JP 2016057281 W JP2016057281 W JP 2016057281W WO 2016158261 A1 WO2016158261 A1 WO 2016158261A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
image
parameter
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/057281
Other languages
English (en)
French (fr)
Inventor
陽介 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to CN201680020080.4A priority Critical patent/CN107430821B/zh
Priority to DE112016001568.2T priority patent/DE112016001568T5/de
Priority to US15/562,868 priority patent/US10380435B2/en
Publication of WO2016158261A1 publication Critical patent/WO2016158261A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image processing apparatus.
  • Patent Document 1 a technique for recognizing a target in an image acquired using an in-vehicle camera and performing a process for avoiding a collision with the recognized target is known (see Patent Document 1).
  • An image processing apparatus includes an image acquisition unit that acquires an image of the outside of the host vehicle using a camera mounted on the host vehicle every predetermined time, and a target that recognizes a target candidate in the image.
  • a candidate recognition unit a target determination unit that determines the target candidate as a target on the condition that the same target candidate is recognized in the images of consecutive N frames (N is a natural number)
  • a parameter X acquisition unit that acquires a parameter X that correlates with a moving speed when the target that is apparently moving in the image, and the value of the parameter X increases the moving speed;
  • An N setting unit for setting N to a small value.
  • FIG. 1 It is a block diagram showing the structure of an image processing apparatus. It is a flowchart showing the target recognition process which an image processing apparatus performs. It is a flowchart showing the N setting process which an image processing apparatus performs. It is explanatory drawing showing a related target candidate. It is explanatory drawing showing the coordinate y. Is a graph showing the relationship between the coordinate y and N a. It is explanatory drawing showing the magnitude
  • FIG. 12A is a graph showing the relationship between coordinates y and N.
  • FIG. 12B is a graph showing the relationship between the sizes S and N.
  • FIG. 12C is a graph showing the relationship between the steering angle and N.
  • FIG. 12D is a graph showing the relationship between acceleration G and N.
  • FIG. 12E is a graph showing the relationship between the vehicle speed and N.
  • Image processing device 1 is an on-vehicle device mounted on a vehicle.
  • vehicle on which the image processing apparatus 1 is mounted is referred to as the own vehicle.
  • the image processing apparatus 1 is a known computer including a CPU, a RAM, a ROM, and the like.
  • the image processing apparatus 1 executes processing to be described later with a program stored in the ROM.
  • the image processing apparatus 1 functionally includes an image acquisition unit 3, a target candidate recognition unit 5, a target determination unit 7, a parameter X acquisition unit 9, a parameter Y acquisition unit 11, an N setting unit 13, and an information output unit 14. Is provided. The function of each unit will be described later.
  • the host vehicle is a vehicle-mounted camera 15, a vehicle speed sensor 17, a yaw sensor 19, a G sensor 21, a rudder angle sensor 23, a direction indication switch 25, a GPS 27, a map information storage unit 29, and a vehicle control device 31. Is provided.
  • the in-vehicle camera 15 is a camera mounted on the own vehicle.
  • the in-vehicle camera 15 repeatedly captures the outside of the host vehicle every predetermined time and generates an image.
  • the optical axis of the in-vehicle camera 15 is fixed with respect to the host vehicle.
  • an image obtained by one shooting is referred to as one frame.
  • the vehicle speed sensor 17 detects the vehicle speed of the host vehicle.
  • the yaw sensor 19 detects the yaw rate of the host vehicle.
  • the G sensor 21 detects the acceleration G in the front-rear direction of the host vehicle.
  • the acceleration G correlates with the pitching size of the host vehicle. The larger the acceleration G, the larger the pitching.
  • the steering angle sensor 23 detects the steering angle of the host vehicle.
  • the direction instruction switch 25 receives the operation of the driver of the host vehicle and gives a direction instruction according to the operation. In addition, the direction instruction switch 25 outputs a signal representing the contents of the direction instruction to the image processing apparatus 1.
  • the GPS27 acquires position information of own vehicle.
  • the map information storage unit 29 stores map information.
  • the vehicle control device 31 receives target information to be described later from the image processing device 1, and executes a collision avoidance support process (for example, automatic brake, brake assist, alarm output, automatic steering, etc.) according to the target information. .
  • the vehicle control device 31 is a known computer including a CPU, a RAM, a ROM, and the like. The vehicle control device 31 executes the above-described process by a program stored in the ROM.
  • step S ⁇ b> 1 of FIG. 2 the image acquisition unit 3 acquires an image of one frame using the in-vehicle camera 15.
  • step S2 the target candidate recognition unit 5 executes a well-known image recognition process on the one-frame image acquired in step S1.
  • step S3 the target candidate recognition unit 5 determines whether or not the target candidate has been recognized in step S2.
  • the target candidate means a target that is estimated to be a target as a result of performing image recognition processing on an image of one frame, but is not finally determined to be a target. If it is determined that the target candidate has been recognized, the process proceeds to step S4. If it is determined that the target candidate has not been recognized, the process proceeds to step S13.
  • step S4 the target determination unit 7 performs tracking. Tracking is a process of searching for a target candidate (hereinafter referred to as a related target candidate) that can be associated with the target candidate recognized in step S2 in the previous frame.
  • the related target candidate is a target candidate that can be estimated to be the same target candidate as the target candidate recognized in step S2.
  • the condition of being a related target candidate is that the position change of the target candidate and the change in the size of the target candidate are respectively equal to or smaller than a predetermined threshold value in contrast to the target candidate recognized in step S2. It is to be.
  • the target candidate 35 of size S 1 in the image 39 is recognized, in the latest frame and target candidates 37 size S 2 is recognized . If the magnitude d of the positional change between the target candidate 35 and the target candidate 37 is less than or equal to the threshold value, and the amount of change between the magnitude S 1 and the magnitude S 2 is less than or equal to the threshold value, the target candidate 35. And the target candidate 37 are related target candidate candidates.
  • step S5 the target determination unit 7 determines whether or not the related target candidate of the target candidate recognized in step S2 exists in the previous frame as a result of the tracking in step S4. To do. If the related target candidate exists in the previous frame, the process proceeds to step S6. If the related target candidate does not exist in the previous frame, the process proceeds to step S7.
  • step S6 the target determination unit 7 adds 1 to the number of recognitions I at that time, and updates the value of the number of recognitions I.
  • the number of times of recognition I represents the cumulative number of frames in which related target candidates have been continuously discovered up to that point. Therefore, if the number of times of recognition is I, related target candidates have been continuously found in images of consecutive I frames up to the latest frame.
  • step S7 the target determination unit 7 sets the value of the recognition frequency I to 1.
  • step S8 the N setting unit 13 sets a value of N.
  • This N is a natural number used for determination in the next step S9. A method for setting N will be described later.
  • step S9 the target determination unit 7 determines whether or not the number of times of recognition I set in step S6 or S7 is equal to or greater than N set in step S8. If the number of times of recognition I is N or more, the process proceeds to step S10, and if it is less than N, the process proceeds to step S12.
  • step S10 the target determination unit 7 determines the target candidate recognized in step S2 as a target.
  • step S11 the information output unit 14 outputs target information related to the target determined as the target in step S10.
  • the target information includes the position of the target in the image, the size of the target in the image, the shape of the target, and the like.
  • the vehicle control device 31 receives the target information and uses the target information to determine the position of the target, the direction of the target, the type of the target, and the like. Then, based on the determination result, a collision avoidance support process is executed.
  • step S12 the target determination unit 7 stores the latest I value. On the other hand, if a negative determination is made in step S3, the process proceeds to step S13, where the target determination unit 7 updates the value of the number of times of recognition I to 0 and ends the present process.
  • step S8 The N setting process in step S8 will be described with reference to FIGS. 3 and 5 to 12E.
  • the parameter Y acquisition unit 11 acquires the position in the vertical direction of the target candidate recognized in step S2 in the image acquired in step S1.
  • the position in the vertical direction is the coordinate y of the target candidate 37 on the vertical axis 41 when the vertical axis 41 is assumed in the image 39.
  • the coordinate y is a positive value. The higher the position of the target candidate 37 in the vertical direction, the larger the value of the coordinate y.
  • the coordinate y is an example of a parameter Y that correlates with the distance from the host vehicle to the target. As the distance from the host vehicle to the target increases, the coordinate y increases.
  • step S22 the N setting unit 13 calculates N a from the coordinate y acquired in step S21.
  • N a is a natural number.
  • N setting unit 13 in advance, if you enter the coordinates y has a map that outputs the N a, by inputting the coordinate y in the map, calculates the N a. Relationship between the coordinate y and the N a, as shown in FIG. 6, as the value of the coordinate y is large, a relationship N a is large.
  • step S23 the parameter Y acquisition unit 11 acquires the size of the target candidate recognized in step S2 in the image acquired in step S1.
  • the size of the target candidate is the size S of the target candidate 37 in the image 39 as shown in FIG.
  • the size S is an example of a parameter Y that correlates with the distance from the host vehicle to the target. As the distance from the host vehicle to the target increases, the size S decreases.
  • N setting unit 13 from the size S acquired in step S23, to calculate the N b.
  • N b is a natural number.
  • the N setting unit 13 is provided with a map that outputs N b when the size S is input in advance, and calculates N b by inputting the size S to the map.
  • the above map is used for each type of target candidate (for example, pedestrian, vehicle, etc.). Relationship between the size S and N b, as shown in FIG. 8, as the value of the size S is large, a relationship N b is small.
  • the parameter X acquisition unit 9 acquires the steering angle of the host vehicle using the steering angle sensor 23.
  • the steering angle is an example of the parameter X that correlates with the moving speed when the stationary target apparently moves in the image, and is an example of the parameter X that correlates with the magnitude of yawing.
  • a stationary target means a target that is stationary with respect to the earth.
  • step S26 the N setting unit 13 calculates Nc from the steering angle acquired in step S25.
  • N c is a natural number.
  • the N setting unit 13 includes a map that outputs Nc when a steering angle is input in advance, and calculates Nc by inputting the steering angle into the map. As shown in FIG. 9, the relationship between the steering angle and Nc is such that Nc is smaller as the steering angle is larger.
  • step S27 the parameter X acquisition unit 9 acquires the acceleration G using the G sensor 21.
  • the acceleration G is an example of a parameter X that correlates with the moving speed when the stationary target apparently moves in the image, and an example of a parameter that correlates with the magnitude of pitching. As the acceleration G increases, the pitching increases, and the moving speed when the stationary target apparently moves in the image increases.
  • N setting unit 13 the acceleration G obtained in the step S27, to calculate the N d.
  • N d is a natural number.
  • N setting unit 13 in advance, by entering the acceleration G has a map that outputs the N d, by inputting the acceleration G in the map, it calculates a N d. As shown in FIG. 10, the relationship between the acceleration G and N d is such that N d decreases as the acceleration G increases.
  • step S29 the parameter X acquisition unit 9 acquires the vehicle speed of the host vehicle using the vehicle speed sensor 17.
  • the vehicle speed is an example of the parameter X that correlates with the moving speed when the stationary target apparently moves in the image. As the vehicle speed increases, the moving speed when the stationary target apparently moves in the image increases.
  • N setting unit 13 from the vehicle speed acquired in step S29, to calculate the N e.
  • N e is a natural number.
  • N setting unit 13 in advance, by entering the vehicle speed includes a map that outputs the N e, by entering the vehicle speed to the map, to calculate the N e. Relationship between the vehicle speed and N e, as shown in FIG. 11, as the vehicle speed is high, a relationship N e is small.
  • N a calculated in step S22, N b calculated in step S24, N c calculated in step S26, N d calculated in step S28, and N e calculated in step S30 are used.
  • the N setting unit 13 sets N.
  • the N setting unit 13 includes a map that outputs N when N a , N b , N c , N d , and N e are input in advance, and that map includes N a , N b , N c , N d. , And N e are input to calculate N.
  • N The relationship between N, coordinate y, size S, steering angle, acceleration G, and vehicle speed is as follows.
  • N increases as the coordinate y increases.
  • N becomes smaller as the vehicle speed increases.
  • Steering angle, acceleration G, and vehicle speed are parameters that correlate with the moving speed when an apparently moving target moves in the image. For example, as the steering angle increases, the yawing of the host vehicle increases, and the moving speed when the stationary target apparently moves in the image increases. Further, as the acceleration G increases, the pitching of the host vehicle increases, and the moving speed when the stationary target apparently moves in the image increases. In addition, as the vehicle speed increases, the moving speed when the stationary target apparently moves in the image increases.
  • N is fixed even in a situation where the moving speed of the stationary target apparently moves in the image is fixed, it takes time from the target candidate to the recognition decision in the consecutive N frame images. However, a delay in the response of the vehicle control occurs.
  • the image processing apparatus 1 sets N smaller as the steering angle, the acceleration G, and the vehicle speed are larger (as the moving speed when the target apparently moves in the image is larger). As a result, the recognition time is shortened, and the control response of the vehicle control device can be improved.
  • the image processing apparatus 1 can increase N when the steering angle, the acceleration G, and the vehicle speed are low, and improve the recognition accuracy of the target.
  • the image processing apparatus 1 uses the steering angle, acceleration G, and vehicle speed as parameters used for setting N. As a result, parameters can be easily acquired and N can be calculated easily.
  • the image processing apparatus 1 uses, as parameters used for setting N, a steering angle having a correlation with the yawing magnitude and an acceleration G having a correlation with the pitching magnitude. As a result, N can be calculated more appropriately.
  • the coordinate y and the size S are parameters that correlate with the distance from the host vehicle to the target. For example, the smaller the coordinate y, the smaller the distance from the vehicle to the target. Moreover, the larger the size S, the smaller the distance from the vehicle to the target.
  • the image processing apparatus 1 sets N smaller as the coordinate y is smaller and the size S is larger (the distance from the host vehicle to the target is smaller). As a result, the response to a target close to the host vehicle is improved.
  • the image processing apparatus 1 can increase N and improve the target recognition accuracy.
  • any one parameter of steering angular velocity, yaw rate, and yaw rate change rate may be acquired instead of the steering angle, and in step S26, Nc may be calculated according to the parameters.
  • the relationship between the steering angular velocity and the like and Nc is as follows. The larger the steering angular velocity, the smaller Nc . The larger the yaw rate, the smaller Nc . The larger the yaw rate change rate, the smaller Nc .
  • pitch angle in place of the acceleration G, pitch angle, or acquires the pitch angle change rate, in the step S28, may be calculated N d according to the pitch angle, or pitch angle rate of change .
  • Pitch angle the relationship between the pitch angle change rate and N d is as follows. The larger the pitch angle, N d is small. More pitch angle change rate is large, N d is small.
  • the image processing apparatus 1 may include a map that outputs N when the coordinate y, the size S, the steering angle, the acceleration G, and the vehicle speed are input. Then, N may be calculated by inputting the coordinates y, size S, steering angle, acceleration G, and vehicle speed acquired in steps S21, 23, 25, 27, and 29 to the map.
  • the image processing apparatus 1 may calculate N using a part of N a , N b , N c , N d , and N e .
  • N may be calculated from N a and N b .
  • the relationship between the coordinate y and the sizes S and N can be as shown in FIGS. 12A and 12B.
  • N may be calculated from N c , N d , and N e . Also in this case, the relationship between the steering angle, acceleration G, vehicle speed, and N can be as shown in FIGS. 12C, 12D, and 12E.
  • the image processing apparatus 1 makes a right / left turn of the own vehicle (conditions correlated with yawing), road shape recognition using an image acquired by the in-vehicle camera 15, a signal from the direction indication switch 25, GPS 27 and map information storage.
  • the determination may be made by road shape recognition using the unit 29.
  • N can be set smaller than in other cases. As a result, the recognition time can be shortened and the control response of the vehicle control device can be improved.
  • the image processing apparatus 1 determines road undulations (conditions that correlate pitching) by road shape recognition using an image acquired by the in-vehicle camera 15 and road shape recognition using the GPS 27 and the map information storage unit 29. May be. And N can be set small, so that the road undulation is severe. As a result, the recognition time is shortened, and the control response of the vehicle control device can be improved.
  • the image processing apparatus 1 may include means for acquiring weather and time.
  • the weather and time are conditions that make image recognition difficult (for example, rainy weather, nighttime, etc.), N can be increased. Thereby, the recognition accuracy of the target is improved.
  • the image processing apparatus 1 acquires the position x of the target object in the lateral direction of the image, from the position x, may be calculated N a.
  • the position x is an example of a parameter Y that correlates with the distance from the host vehicle to the target. The further the position x is from the center in the left-right direction of the image, the greater the distance from the host vehicle to the target.
  • N a increases as the position x moves away from the center in the left-right direction of the image.
  • the image processing apparatus 1 can set N according to the distortion of the captured image.
  • N can be set larger than in the case of being in the center. Thereby, the recognition accuracy of the target candidates in the peripheral part of the image is improved.
  • the functions of one component in the above embodiment may be distributed as a plurality of components, or the functions of a plurality of components may be integrated into one component. Further, at least a part of the configuration of the above embodiment may be replaced with a known configuration having the same function. Moreover, you may abbreviate
  • the image processing apparatus includes an image acquisition unit that acquires an image of the outside of the host vehicle using a camera mounted on the host vehicle every predetermined time, and a target candidate that recognizes a target candidate in the image.
  • a parameter X acquisition unit that acquires a parameter X that correlates with a movement speed when apparently moving in the system, and an N setting unit that sets N smaller as the value of the parameter X increases the movement speed.
  • the image processing apparatus of the present embodiment sets N smaller as the moving speed when the target apparently moves in the image increases. Thereby, the recognition time of the target that appears suddenly is shortened, and the control responsiveness of the vehicle control device can be improved.
  • the image processing apparatus includes an image acquisition unit that acquires an image obtained by photographing the outside of the host vehicle using a camera mounted on the host vehicle every predetermined time, and images of consecutive N frames (N is a natural number).
  • the target determination unit that determines the target candidate as a target
  • the parameter Y that acquires the parameter Y that correlates with the distance from the vehicle to the target
  • an N setting unit for setting N to be smaller as the distance corresponding to the value of the parameter Y is smaller.
  • the image processing apparatus of the present embodiment sets N smaller as the distance from the host vehicle to the target is smaller. As a result, the recognition time of a target close to the host vehicle, which is assumed to require a highly urgent response, is shortened, and the control responsiveness of the vehicle control device can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Regulating Braking Force (AREA)

Abstract

　画像処理装置は、自車両に搭載されたカメラを用いて前記自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニットと、前記画像において物標候補を認識する物標候補認識ユニットと、連続するＮフレーム(Ｎは自然数)の前記画像において同一の前記物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニットと、静止している物標が前記画像において見かけ上移動するときの移動速度と相関するパラメータＸを取得するパラメータＸ取得ユニットと、前記パラメータＸの値が、前記移動速度を大きくするものであるほど、前記Ｎを小さく設定するＮ設定ユニットと、を備える。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　従来、車載カメラを用いて取得した画像において物標を認識し、認識した物標との衝突を回避するための処理を行う技術が知られている（特許文献１参照）。
特開２００８－３０８０２４号公報
　物標の認識精度を向上させるために、複数のフレームにおいて同一の物標を連続して認識できたときに、物標を認識したと最終的に判断する処理方法が考えられる。この場合、自車両や周囲の状況等によっては、物標を適切に認識できないおそれがある。
　一実施形態は、物標を適切に認識することができる画像処理装置を提供する。
　実施形態の画像処理装置は、自車両に搭載されたカメラを用いて前記自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニットと、前記画像において物標候補を認識する物標候補認識ユニットと、連続するＮフレーム(Ｎは自然数)の前記画像において同一の前記物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニットと、静止している物標が前記画像において見かけ上移動するときの移動速度と相関するパラメータＸを取得するパラメータＸ取得ユニットと、前記パラメータＸの値が、前記移動速度を大きくするものであるほど、前記Ｎを小さく設定するＮ設定ユニットと、を備える。
画像処理装置の構成を表すブロック図である。 画像処理装置が実行する物標認識処理を表すフローチャートである。 画像処理装置が実行するＮ設定処理を表すフローチャートである。 関連物標候補を表す説明図である。 座標ｙを表す説明図である。 座標ｙとＮａとの関係を表すグラフである。 大きさＳを表す説明図である。 大きさＳとＮｂとの関係を表すグラフである。 ステアリング角度とＮｃとの関係を表すグラフである。 加速度ＧとＮｄとの関係を表すグラフである。 車速とＮｅとの関係を表すグラフである。 図１２Ａは座標ｙとＮとの関係を表すグラフである。図１２Ｂは大きさＳとＮとの関係を表すグラフである。図１２Ｃはステアリング角度とＮとの関係を表すグラフである。図１２Ｄは加速度ＧとＮとの関係を表すグラフである。図１２Ｅは車速とＮとの関係を表すグラフである。
　本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
　１．画像処理装置１とそれに関連する構成の説明
　画像処理装置１は、車両に搭載される車載装置である。以下では、画像処理装置１を搭載する車両を自車両とする。画像処理装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える公知のコンピュータである。画像処理装置１は、ＲＯＭに記憶したプログラムにより、後述する処理を実行する。
　画像処理装置１は、機能的に、画像取得ユニット３、物標候補認識ユニット５、物標判定ユニット７、パラメータＸ取得ユニット９、パラメータＹ取得ユニット１１、Ｎ設定ユニット１３、及び情報出力ユニット１４を備える。各ユニットの機能は後述する。
　自車両は、画像処理装置１に加えて、車載カメラ１５、車速センサ１７、ヨーセンサ１９、Ｇセンサ２１、舵角センサ２３、方向指示スイッチ２５、ＧＰＳ２７、地図情報記憶部２９、及び車両制御装置３１を備える。
　車載カメラ１５は、自車両に搭載されたカメラである。車載カメラ１５は、所定時間ごとに繰り返し、自車両の外部を撮影し、画像を生成する。車載カメラ１５の光軸は、自車両に対し固定されている。なお、以下では、１回の撮影で得られる画像を１フレームと呼ぶ。
　車速センサ１７は自車両の車速を検出する。ヨーセンサ１９は自車両のヨーレートを検出する。Ｇセンサ２１は自車両の前後方向における加速度Ｇを検出する。なお、加速度Ｇは、自車両のピッチングの大きさと相関があり、加速度Ｇが大きいほど、ピッチングが大きくなる。舵角センサ２３は自車両のステアリング角度を検出する。方向指示スイッチ２５は、自車両のドライバの操作を受け付け、その操作に応じて方向指示を行う。また、方向指示スイッチ２５は、方向指示の内容を表す信号を画像処理装置１に出力する。
　ＧＰＳ２７は自車両の位置情報を取得する。地図情報記憶部２９は地図情報を記憶している。車両制御装置３１は、画像処理装置１から後述する物標情報を受け取り、その物標情報に応じて、衝突回避支援処理（例えば、自動ブレーキ、ブレーキアシスト、警報出力、自動操舵等）を実行する。車両制御装置３１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える公知のコンピュータである。車両制御装置３１は、ＲＯＭに記憶したプログラムにより、上記の処理を実行する。
　２．画像処理装置１が実行する物標認識処理
　画像処理装置１が所定時間ごとに繰り返し実行する物標認識処理を、図２、図４に基づき説明する。図２のステップＳ１では、画像取得ユニット３が、車載カメラ１５を用いて１フレームの画像を取得する。
　ステップＳ２では、物標候補認識ユニット５が、前記ステップＳ１で取得した１フレームの画像に対し、周知の画像認識処理を実行する。
　ステップＳ３では、前記ステップＳ２において物標候補を認識できたか否かを、物標候補認識ユニット５が判断する。物標候補とは、１フレームの画像に対し画像認識処理を行った結果、物標であると推定されるが、最終的に物標であるという判定はなされていないものを意味する。物標候補を認識できたと判断した場合は、本処理はステップＳ４に進み、物標候補を認識できなかったと判断した場合はステップＳ１３に進む。
　ステップＳ４では、物標判定ユニット７がトラッキングを行う。トラッキングとは、前記ステップＳ２において認識した物標候補と関連付けることができる物標候補（以下、関連物標候補とする）を、前回のフレームにおいて探す処理である。関連物標候補は、前記ステップＳ２において認識した物標候補と同一の物標候補であると推定できる物標候補である。
　関連物標候補であることの条件は、前記ステップＳ２において認識した物標候補と対比して、物標候補の位置変化と、物標候補の大きさの変化とが、それぞれ、所定の閾値以下であることである。
　例えば、図４に示すように、前回のフレームにおいて、画像３９中に大きさＳ１の物標候補３５が認識され、最新のフレームにおいて、大きさＳ２の物標候補３７が認識されたとする。物標候補３５と物標候補３７との位置変化の大きさｄが閾値以下であり、且つ、大きさＳ１と大きさＳ２との変化量が閾値以下であるならば、物標候補３５と物標候補３７とは、関連物標候補の関係にある。
　図２に戻り、ステップＳ５では、前記ステップＳ４におけるトラッキングの結果、前記ステップＳ２において認識した物標候補の関連物標候補が、前回のフレームに存在したか否かを物標判定ユニット７が判断する。関連物標候補が前回のフレームに存在した場合はステップＳ６に進み、関連物標候補が前回のフレームに存在しなかった場合はステップＳ７に進む。
　ステップＳ６では、物標判定ユニット７が、その時点での認識回数Ｉに１を加算し、認識回数Ｉの値を更新する。認識回数Ｉとは、その時点までに、関連物標候補が連続して発見されてきたフレームの累積数を表す。よって、認識回数がIであれば、最新のフレームまでの連続するＩフレームの画像において、関連物標候補が発見され続けてきたことになる。
　ステップＳ７では、物標判定ユニット７が、認識回数Ｉの値を１にする。
　ステップＳ８では、Ｎ設定ユニット１３がＮの値を設定する。このＮは次のステップＳ９での判定に使用される自然数である。Ｎの設定方法は後述する。
　ステップＳ９では、前記ステップＳ６又はＳ７で設定された認識回数Ｉが、前記ステップＳ８で設定されたＮ以上であるか否かを、物標判定ユニット７が判定する。認識回数ＩがＮ以上である場合は、本処理はステップＳ１０に進み、Ｎ未満である場合は、本処理はステップＳ１２に進む。
　ステップＳ１０では、物標判定ユニット７が、前記ステップＳ２において認識した物標候補を物標と判定する。
　ステップＳ１１では、前記ステップＳ１０で物標と判定した物標に関する物標情報を情報出力ユニット１４が出力する。その物標情報には、画像における物標の位置、画像における物標の大きさ、物標の形状等が含まれる。なお、車両制御装置３１は物標情報を受信し、その物標情報を使用して、物標の位置、物標の方位、物標の種類等を判断する。そして、その判断結果に基づき、衝突回避支援処理を実行する。
　ステップＳ１２では、最新のＩの値を物標判定ユニット７が記憶する。
　一方、前記ステップＳ３で否定判断された場合はステップＳ１３に進み、物標判定ユニット７が認識回数Ｉの値を０に更新し、本処理を終了する。
　３．画像処理装置１が実行するＮ設定処理
　前記ステップＳ８のＮ設定処理を、図３、図５～図１２Ｅに基づき説明する。図３のステップＳ２１では、パラメータＹ取得ユニット１１が、前記ステップＳ１で取得した画像において、前記ステップＳ２で認識した物標候補の上下方向における位置を取得する。上下方向における位置とは、図５に示すように、画像３９において縦軸４１を想定したとき、その縦軸４１での物標候補３７の座標ｙである。座標ｙは正の値であり、物標候補３７の上下方向における位置が高いほど、座標ｙの値は大きい。なお、座標ｙは、自車両から物標までの距離と相関するパラメータＹの一例である。自車両から物標までの距離が大きいほど、座標ｙは大きくなる。
　ステップＳ２２では、Ｎ設定ユニット１３が、前記ステップＳ２１で取得した座標ｙから、Ｎａを算出する。Ｎａは自然数である。Ｎ設定ユニット１３は、予め、座標ｙを入力するとＮａを出力するマップを備えており、そのマップに座標ｙを入力することで、Ｎａを算出する。座標ｙとＮａとの関係は、図６に示すように、座標ｙの値が大きいほど、Ｎａが大きいという関係である。
　ステップＳ２３では、パラメータＹ取得ユニット１１が、前記ステップＳ１で取得した画像において、前記ステップＳ２で認識した物標候補の大きさを取得する。物標候補の大きさとは、図７に示すように、画像３９における物標候補３７の大きさＳである。なお、大きさＳは、自車両から物標までの距離と相関するパラメータＹの一例である。自車両から物標までの距離が大きいほど、大きさＳは小さくなる。
　ステップＳ２４では、Ｎ設定ユニット１３が、前記ステップＳ２３で取得した大きさＳから、Ｎｂを算出する。Ｎｂは自然数である。Ｎ設定ユニット１３は、予め、大きさＳを入力するとＮｂを出力するマップを備えており、そのマップに大きさＳを入力することで、Ｎｂを算出する。上記のマップは、物標候補の種類（例えば、歩行者、車両等）ごとに使い分けられる。大きさＳとＮｂとの関係は、図８に示すように、大きさＳの値が大きいほど、Ｎｂが小さいという関係である。
　ステップＳ２５では、パラメータＸ取得ユニット９が、舵角センサ２３を用いて、自車両のステアリング角度を取得する。なお、ステアリング角度は、静止している物標が画像において見かけ上移動するときの移動速度と相関するパラメータＸの一例であり、ヨーイングの大きさと相関を有するパラメータＸの一例である。ステアリング角度が大きいほど、静止している物標が画像において見かけ上移動するときの移動速度は大きくなる。なお、静止している物標とは、地球に対し静止している物標を意味する。
　ステップＳ２６では、Ｎ設定ユニット１３が、前記ステップＳ２５で取得したステアリング角度から、Ｎｃを算出する。Ｎｃは自然数である。Ｎ設定ユニット１３は、予め、ステアリング角度を入力するとＮｃを出力するマップを備えており、そのマップにステアリング角度を入力することで、Ｎｃを算出する。ステアリング角度とＮｃとの関係は、図９に示すように、ステアリング角度が大きいほど、Ｎｃが小さいという関係である。
　ステップＳ２７では、パラメータＸ取得ユニット９が、Ｇセンサ２１を用いて、加速度Ｇを取得する。なお、加速度Ｇは、静止している物標が画像において見かけ上移動するときの移動速度と相関するパラメータＸの一例であり、ピッチングの大きさと相関するパラメータの一例である。加速度Ｇが大きいほど、ピッチングが大きくなり、静止している物標が画像において見かけ上移動するときの移動速度が大きくなる。
　ステップＳ２８では、Ｎ設定ユニット１３が、前記ステップＳ２７で取得した加速度Ｇから、Ｎｄを算出する。Ｎｄは自然数である。Ｎ設定ユニット１３は、予め、加速度Ｇを入力するとＮｄを出力するマップを備えており、そのマップに加速度Ｇを入力することで、Ｎｄを算出する。加速度ＧとＮｄとの関係は、図１０に示すように、加速度Ｇが大きいほど、Ｎｄが小さいという関係である。
　ステップＳ２９では、パラメータＸ取得ユニット９が、車速センサ１７を用いて、自車両の車速を取得する。なお、車速は、静止している物標が画像において見かけ上移動するときの移動速度と相関するパラメータＸの一例である。車速が大きいほど、静止している物標が画像において見かけ上移動するときの移動速度は大きくなる。
　ステップＳ３０では、Ｎ設定ユニット１３が、前記ステップＳ２９で取得した車速から、Ｎｅを算出する。Ｎｅは自然数である。Ｎ設定ユニット１３は、予め、車速を入力するとＮｅを出力するマップを備えており、そのマップに車速を入力することで、Ｎｅを算出する。車速とＮｅとの関係は、図１１に示すように、車速が大きいほど、Ｎｅが小さいという関係である。
　ステップＳ３１では、前記ステップＳ２２で算出したＮａ、前記ステップＳ２４で算出したＮｂ、前記ステップＳ２６で算出したＮｃ、前記ステップＳ２８で算出したＮｄ、及び前記ステップＳ３０で算出したＮｅを用いて、Ｎ設定ユニット１３がＮを設定する。Ｎ設定ユニット１３は、予め、Ｎａ、Ｎｂ、Ｎｃ、Ｎｄ、及びＮｅを入力するとＮを出力するマップを備えており、そのマップにＮａ、Ｎｂ、Ｎｃ、Ｎｄ、及びＮｅを入力することで、Ｎを算出する。
　Ｎと、座標ｙ、大きさＳ、ステアリング角度、加速度Ｇ、及び車速との関係は以下のようになる。大きさＳ、ステアリング角度、加速度Ｇ、及び車速が一定であるとき、図１２Ａに示すように、座標ｙが大きいほど、Ｎは大きくなる。
　また、座標ｙ、ステアリング角度、加速度Ｇ、及び車速が一定であるとき、図１２Ｂに示すように、大きさＳが大きいほど、Ｎは小さくなる。
　また、座標ｙ、大きさＳ、加速度Ｇ、及び車速が一定であるとき、図１２Ｃに示すように、ステアリング角度が大きいほど、Ｎは小さくなる。
　また、座標ｙ、大きさＳ、ステアリング角度、及び車速が一定であるとき、図１２Ｄに示すように、加速度Ｇが大きいほど、Ｎは小さくなる。
　また、座標ｙ、大きさＳ、ステアリング角度、及び加速度Ｇが一定であるとき、図１２Ｅに示すように、車速が大きいほど、Ｎは小さくなる。
　４．画像処理装置１が奏する効果
　（１Ａ）ステアリング角度、加速度Ｇ、及び車速は、静止している物標が画像において見かけ上移動するときの移動速度と相関するパラメータである。例えば、ステアリング角度が大きいほど、自車両のヨーイングが大きくなり、静止している物標が画像において見かけ上移動するときの移動速度が大きくなる。また、加速度Ｇが大きいほど、自車両のピッチングが大きくなり、静止している物標が画像において見かけ上移動するときの移動速度が大きくなる。また、車速が大きいほど、静止している物標が画像において見かけ上移動するときの移動速度が大きくなる。
　仮に、静止している物標が画像において見かけ上移動するときの移動速度が大きい状況においてもＮが固定されていると、連続するＮフレームの画像において物標候補から認識決定までに時間を要し、車両制御の応答性の遅れが発生する。
　画像処理装置１は、ステアリング角度、加速度Ｇ、及び車速が大きいほど（物標が画像において見かけ上移動するときの移動速度が大きいほど）、Ｎを小さく設定する。そのことにより、認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能である。
　また、画像処理装置１は、ステアリング角度、加速度Ｇ、及び車速が小さいときは、Ｎを大きくし、物標の認識精度を向上させることができる。
　（１Ｂ）画像処理装置１は、Ｎの設定に用いるパラメータとして、ステアリング角度、加速度Ｇ、及び車速を用いる。そのことにより、パラメータを容易に取得し、Ｎの算出を容易に行うことができる。
　（１Ｃ）画像処理装置１は、Ｎの設定に用いるパラメータとして、ヨーイングの大きさと相関を有するステアリング角度と、ピッチングの大きさと相関を有する加速度Ｇとを用いる。そのことにより、Ｎの算出を一層適切に行うことができる。
　（１Ｄ）座標ｙ、及び大きさＳは、自車両から物標までの距離と相関するパラメータである。例えば、座標ｙが小さいほど、自車両から物標までの距離は小さい。また、大きさＳが大きいほど、自車両から物標までの距離が小さい。
　自車両から物標までの距離が小さいときは、迅速に物標を認識すること（物標の認識における応答性を向上させること）が求められるが、仮に、Ｎが固定されていると、応答性を向上させることは困難である。
　画像処理装置１は、座標ｙが小さく、大きさＳが大きいほど（自車両から物標までの距離が小さいほど）、Ｎを小さく設定する。そのことにより、自車両に近い物標に対する応答性が向上する。
　また、画像処理装置１は、自車両から物標までの距離が大きいときは、Ｎを大きくし、物標の認識精度を向上させることができる。
＜その他の実施形態＞
　以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
　（１）前記ステップＳ２５において、ステアリング角度に代えて、ステアリング角速度、ヨーレート、及びヨーレート変化率のいずれかのパラメータを取得し、前記ステップＳ２６では、そのパラメータに応じてＮｃを算出してもよい。ステアリング角速度等とＮｃとの関係は以下のようになる。ステアリング角速度が大きいほど、Ｎｃは小さい。ヨーレートが大きいほど、Ｎｃは小さい。ヨーレート変化率が大きいほど、Ｎｃは小さい。
　（２）前記ステップＳ２７において、加速度Ｇに代えて、ピッチ角、又はピッチ角変化率を取得し、前記ステップＳ２８では、ピッチ角、又はピッチ角変化率に応じてＮｄを算出してもよい。ピッチ角、ピッチ角変化率とＮｄとの関係は以下のようになる。ピッチ角が大きいほど、Ｎｄは小さい。ピッチ角変化率が大きいほど、Ｎｄは小さい。
　（３）画像処理装置１は、座標ｙ、大きさＳ、ステアリング角度、加速度Ｇ、及び車速を入力すると、Ｎを出力するマップを備えていてもよい。そして、そのマップに、前記ステップＳ２１、２３、２５、２７、２９で取得した座標ｙ、大きさＳ、ステアリング角度、加速度Ｇ、及び車速を入力して、Ｎを算出してもよい。
　（４）画像処理装置１は、Ｎａ、Ｎｂ、Ｎｃ、Ｎｄ、及びＮｅのうちの一部を用いて、Ｎを算出してもよい。例えば、ＮａとＮｂとから、Ｎを算出してもよい。この場合も、座標ｙ、大きさＳとＮとの関係は、図１２Ａ、図１２Ｂに示すものとすることができる。
　また、Ｎｃ、Ｎｄ、Ｎｅから、Ｎを算出してもよい。この場合も、ステアリング角度、加速度Ｇ、車速と、Ｎとの関係は、図１２Ｃ、図１２Ｄ、図１２Ｅに示すものとすることができる。
　（５）画像処理装置１は、自車両の右左折（ヨーイングと相関する条件）を、車載カメラ１５で取得した画像を用いた道路形状認識、方向指示スイッチ２５からの信号、ＧＰＳ２７及び地図情報記憶部２９を用いた道路形状認識により判断してもよい。そして、右左折中の場合は、その他の場合に比べて、Ｎを小さく設定することができる。そのことにより認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能である。
　また、画像処理装置１は、道路の起伏（ピッチングを相関する条件）を、車載カメラ１５で取得した画像を用いた道路形状認識、ＧＰＳ２７及び地図情報記憶部２９を用いた道路形状認識により判断してもよい。そして、道路の起伏が激しいほど、Ｎを小さく設定することができる。そのことにより認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能になる。
　（６）画像処理装置１は、天候や時刻を取得する手段を備えていてもよい。そして、天候や時刻が、画像認識を困難にする条件（例えば、雨天、夜間等）である場合は、Ｎを大きくすることができる。これにより、物標の認識精度が向上する。
　（７）画像処理装置１は、前記ステップＳ２１において、画像の左右方向における物標の位置ｘを取得し、その位置ｘから、Ｎａを算出してもよい。位置ｘは、自車両から物標までの距離と相関するパラメータＹの一例である。画像の左右方向における中心から位置ｘが離れるほど、自車両から物標までの距離は大きくなる。位置ｘとＮａとの関係は、画像の左右方向における中心から位置ｘが離れるほど、Ｎａが大きくなる。
　（８）車載カメラ１５のレンズが広角レンズで歪み補正前の場合、静止している物標が画像において見かけ上移動するときの移動速度は、画像の中央では速く、画像の周辺部では遅い。画像処理装置１は、撮影画像の歪みに応じて、Ｎを設定することができる。車載カメラ１５のレンズが広角レンズであり、物標候補が画像の周辺部にある場合は、中央にある場合に比べて、Ｎを大きく設定することができる。それにより、画像の周辺部にある物標候補の認識精度が向上する。
　（９）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
　（１０）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、画像処理方法等、種々の形態で本発明を実現することもできる。
　本実施形態の画像処理装置は、自車両に搭載されたカメラを用いて自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニットと、画像において物標候補を認識する物標候補認識ユニットと、連続するＮフレーム(Ｎは自然数)の画像において同一の物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニットと、物標が画像において見かけ上移動するときの移動速度と相関するパラメータＸを取得するパラメータＸ取得ユニットと、パラメータＸの値が、移動速度を大きくするものであるほど、Ｎを小さく設定するＮ設定ユニットと、を備える。
　本実施形態の画像処理装置は、物標が画像において見かけ上移動するときの移動速度が大きいほど、Ｎを小さく設定する。それにより、急に現れる物標の認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能である。
　本実施形態の画像処理装置は、自車両に搭載されたカメラを用いて自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニットと、連続するＮフレーム(Ｎは自然数)の画像において同一の物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニットと、自車両から物標までの距離と相関するパラメータＹを取得するパラメータＹ取得ユニットと、パラメータＹの値と対応する前記距離が小さいほど、Ｎを小さく設定するＮ設定ユニットと、を備える。
　本実施形態の画像処理装置は、自車両から物標までの距離が小さいほど、Ｎを小さく設定する。それにより、緊急性の高い対応が必要と想定される自車に近い物標の認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能である。
　１…画像処理装置、３…画像取得ユニット、５…物標候補認識ユニット、７…物標判定ユニット、９…パラメータＸ取得ユニット、１１…パラメータＹ取得ユニット、１３…Ｎ設定ユニット、１４…情報出力ユニット、１５…車載カメラ、１７…車速センサ、１９…ヨーセンサ、２１…Ｇセンサ、２３…舵角センサ、２５…方向指示スイッチ、２７…ＧＰＳ、２９…地図情報記憶部、３１…車両制御装置、３５、３７…物標候補、３９…画像、４１…縦軸

Claims (7)

  1. 　自車両に搭載されたカメラ（１５）を用いて前記自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニット（３）と、
    　前記画像において物標候補を認識する物標候補認識ユニット（５）と、
    　連続するＮフレーム(Ｎは自然数)の前記画像において同一の前記物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニット（７）と、
    　静止している物標が前記画像において見かけ上移動するときの移動速度と相関するパラメータＸを取得するパラメータＸ取得ユニット（９）と、
    　前記パラメータＸの値が、前記移動速度を大きくするものであるほど、前記Ｎを小さく設定するＮ設定ユニット（１３）と、
    　を備えることを特徴とする画像処理装置（１）。
  2. 　請求項１に記載の画像処理装置であって、
    　前記パラメータＸは、ステアリング角度、ステアリング角速度、ヨーレート、ヨーレート変化率、ピッチ角、ピッチ角変化率、前記自車両の車速、及び前記自車両の前後方向における加速度から成る群から選択される少なくとも１つであることを特徴とする画像処理装置。
  3. 　請求項１又は２に記載の画像処理装置であって、
    　前記パラメータＸは、前記自車両のヨーイング又はピッチングの大きさと相関を有するパラメータであり、
    　前記Ｎ設定ユニットは、前記パラメータＸの値が、前記ヨーイング又はピッチングを大きくするものであるほど、前記Ｎを小さく設定することを特徴とする画像処理装置。
  4. 　請求項１～３のいずれか１項に記載の画像処理装置であって、
    　前記自車両から物標までの距離と相関するパラメータＹを取得するパラメータＹ取得ユニット（１１）を備え、
    　前記Ｎ設定ユニットは、前記パラメータＹの値と対応する前記距離が小さいほど、前記Ｎを小さく設定することを特徴とする画像処理装置。
  5. 　請求項４に記載の画像処理装置であって、
    　前記パラメータＹは、前記画像における前記物標候補の大きさ、前記画像の上下方向における前記物標候補の位置、及び前記画像の左右方向における前記物標の位置から成る群から選択される少なくとも１つであることを特徴とする画像処理装置。
  6. 　自車両に搭載されたカメラ（１５）を用いて前記自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニット（３）と、
    　連続するＮフレーム(Ｎは自然数)の前記画像において同一の前記物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニット（７）と、
    　前記自車両から物標までの距離と相関するパラメータＹを取得するパラメータＹ取得ユニット（１１）と、
    　前記パラメータＹの値と対応する前記距離が小さいほど、前記Ｎを小さく設定するＮ設定ユニット（１３）と、
    　を備えることを特徴とする画像処理装置（１）。
  7. 　請求項６に記載の画像処理装置であって、
    　前記パラメータＹは、前記画像における前記物標候補の大きさ、前記画像の上下方向における前記物標候補の位置、及び前記画像の左右方向における前記物標の位置から成る群から選択される少なくとも１つであることを特徴とする画像処理装置。
PCT/JP2016/057281 2015-04-02 2016-03-09 画像処理装置 Ceased WO2016158261A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680020080.4A CN107430821B (zh) 2015-04-02 2016-03-09 图像处理装置
DE112016001568.2T DE112016001568T5 (de) 2015-04-02 2016-03-09 Bildverarbeitungsapparat
US15/562,868 US10380435B2 (en) 2015-04-02 2016-03-09 Image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-075829 2015-04-02
JP2015075829A JP6299651B2 (ja) 2015-04-02 2015-04-02 画像処理装置

Publications (1)

Publication Number Publication Date
WO2016158261A1 true WO2016158261A1 (ja) 2016-10-06

Family

ID=57007066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/057281 Ceased WO2016158261A1 (ja) 2015-04-02 2016-03-09 画像処理装置

Country Status (5)

Country Link
US (1) US10380435B2 (ja)
JP (1) JP6299651B2 (ja)
CN (1) CN107430821B (ja)
DE (1) DE112016001568T5 (ja)
WO (1) WO2016158261A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903308B (zh) * 2017-12-08 2021-02-26 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
JP2020201583A (ja) * 2019-06-06 2020-12-17 ルネサスエレクトロニクス株式会社 半導体装置、移動体装置および移動体装置の制御方法
JP7238821B2 (ja) * 2020-02-06 2023-03-14 トヨタ自動車株式会社 地図生成システム及び地図生成プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
JP2007164636A (ja) * 2005-12-15 2007-06-28 Toyota Motor Corp 道路区画線検出装置
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313467B2 (en) * 2000-09-08 2007-12-25 Automotive Technologies International Inc. System and method for in-vehicle communications
US5835008A (en) * 1995-11-28 1998-11-10 Colemere, Jr.; Dale M. Driver, vehicle and traffic information system
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
US8331621B1 (en) * 2001-10-17 2012-12-11 United Toll Systems, Inc. Vehicle image capture system
US8384538B2 (en) * 2002-06-11 2013-02-26 Intelligent Technologies International, Inc. Remote monitoring of fixed structures
US20040167861A1 (en) * 2003-02-21 2004-08-26 Hedley Jay E. Electronic toll management
US7970644B2 (en) * 2003-02-21 2011-06-28 Accenture Global Services Limited Electronic toll management and vehicle identification
EP3196805A3 (en) * 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7089099B2 (en) * 2004-07-30 2006-08-08 Automotive Technologies International, Inc. Sensor assemblies
US7409295B2 (en) * 2004-08-09 2008-08-05 M/A-Com, Inc. Imminent-collision detection system and process
JP4506463B2 (ja) * 2004-12-28 2010-07-21 トヨタ自動車株式会社 車高調整装置
CN100593797C (zh) * 2005-06-10 2010-03-10 埃森哲环球服务有限公司 电子车辆识别的系统和方法
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
JP4967840B2 (ja) * 2007-06-14 2012-07-04 トヨタ自動車株式会社 衝突軽減装置
JP4631096B2 (ja) * 2008-10-20 2011-02-16 本田技研工業株式会社 車両周辺監視装置
JP5263401B2 (ja) * 2009-08-18 2013-08-14 トヨタ自動車株式会社 車両の制御装置
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
JP2012071677A (ja) * 2010-09-28 2012-04-12 Fuji Heavy Ind Ltd 車両の運転支援装置
JP5427202B2 (ja) * 2011-03-29 2014-02-26 富士重工業株式会社 車両用運転支援装置
KR101316433B1 (ko) * 2011-09-14 2013-10-08 현대자동차주식회사 차량 주변정보 제공 시스템 및 그 방법
WO2013065120A1 (ja) * 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置
US9365162B2 (en) * 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
JP6138655B2 (ja) * 2013-10-10 2017-05-31 日立オートモティブシステムズ株式会社 車両の運動制御装置
US20150104757A1 (en) * 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
EP3152704A2 (en) * 2014-06-03 2017-04-12 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
JP2007164636A (ja) * 2005-12-15 2007-06-28 Toyota Motor Corp 道路区画線検出装置
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置

Also Published As

Publication number Publication date
CN107430821B (zh) 2020-10-13
US20180114075A1 (en) 2018-04-26
DE112016001568T5 (de) 2017-12-28
JP2016197280A (ja) 2016-11-24
JP6299651B2 (ja) 2018-03-28
US10380435B2 (en) 2019-08-13
CN107430821A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
US10684133B2 (en) Route generator, route generation method, and route generation program
RU2634852C1 (ru) Устройство обнаружения светофора и способ обнаружения светофора
JP5594246B2 (ja) 車線認識装置
US10127460B2 (en) Lane boundary line information acquiring device
WO2014192137A1 (ja) 移動軌跡予測装置及び移動軌跡予測方法
WO2015163078A1 (ja) 外界認識装置
WO2017009923A1 (ja) 自己位置推定装置及び自己位置推定方法
JP2009009209A (ja) 画像認識装置および画像認識処理方法
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
JP2014107697A (ja) 車載用制御装置
KR20190030344A (ko) 객체 인식 방법 및 장치
US11619495B2 (en) Position estimating apparatus and position estimating method
JP6462557B2 (ja) 車両ピッチ角推定装置
JP6493000B2 (ja) 路面標示検出装置及び路面標示検出方法
CN116524016A (zh) 图像处理装置及方法、移动体控制装置、以及存储介质
JP2006338272A (ja) 車両挙動検出装置、および車両挙動検出方法
JP6299651B2 (ja) 画像処理装置
JP7429246B2 (ja) 対象を識別する方法とシステム
JP5345999B2 (ja) レーンマーク認識装置
JP2019029986A (ja) 撮像制御装置および撮像制御方法
JP2017102832A (ja) 車両ピッチ角推定装置
JP6500844B2 (ja) 車両位置姿勢算出装置及び車両位置姿勢算出プログラム
JP6564682B2 (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム
JP7149171B2 (ja) 物体認識方法及び物体認識装置
JP2018063584A (ja) 区画線検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16772145

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15562868

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016001568

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16772145

Country of ref document: EP

Kind code of ref document: A1