WO2018025632A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2018025632A1
WO2018025632A1 PCT/JP2017/026031 JP2017026031W WO2018025632A1 WO 2018025632 A1 WO2018025632 A1 WO 2018025632A1 JP 2017026031 W JP2017026031 W JP 2017026031W WO 2018025632 A1 WO2018025632 A1 WO 2018025632A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle behavior
vehicle
information
unit
behavior
Prior art date
Application number
PCT/JP2017/026031
Other languages
English (en)
French (fr)
Inventor
野中　進一
門司　竜彦
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to CN201780033000.3A priority Critical patent/CN109195849B/zh
Priority to EP17836738.9A priority patent/EP3495222A4/en
Priority to US16/307,557 priority patent/US10810448B2/en
Priority to JP2018531819A priority patent/JP6663622B2/ja
Publication of WO2018025632A1 publication Critical patent/WO2018025632A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B60W30/146—Speed limiting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0292—Fail-safe or redundant systems, e.g. limp-home or backup systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/28—Wheel speed

Definitions

  • the present invention relates to an imaging device mounted on a vehicle and capable of grasping the behavior of the vehicle.
  • sensors that show a behavior by measuring the state inside the vehicle such as a vehicle speed sensor, a steering angle sensor, and a yaw rate (rotational angular velocity) sensor, are generally widely used as a vehicle behavior sensor. Since vehicle behavior information obtained from these vehicle behavior sensors may have a correlation, when a failure occurs in any of the vehicle behavior sensors, A technique for compensating for the generated sensor is known.
  • the difference between the left and right wheel speeds cannot reflect the slip between the tires mounted on the wheels and the road surface, and the yaw rate sensor is replaced with a wheel speed speed sensor as disclosed in JP-A-11-59461. In some cases, the actual yaw rate may not be calculated.
  • An object of the present invention is to provide an imaging apparatus that can play a complementary role when a malfunction of a vehicle behavior sensor occurs.
  • the present invention provides an image acquisition unit that acquires an image around the vehicle, a vehicle behavior estimation unit that estimates behavior information of the vehicle based on the image acquired by the image acquisition unit, By comparing the vehicle behavior acquisition unit that acquires the vehicle behavior information detected by the vehicle behavior sensor, the behavior information acquired by the vehicle behavior acquisition unit and the behavior information estimated by the vehicle behavior estimation unit, And an abnormality detection unit that detects an abnormality of the vehicle behavior sensor.
  • an imaging device that can play a complementary role when a malfunction of the vehicle behavior sensor occurs.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • the flowchart which shows an example of the process in the vehicle behavior sensor information diagnosis and the behavior information selection part 108 shown in FIG.
  • the flowchart which shows an example of the process in the vehicle control method determination part 109 using the diagnosis result by the vehicle behavior sensor information diagnosis and the behavior information selection part 108 shown in FIG.
  • FIG. 5 is a block diagram illustrating a configuration of an imaging apparatus according to a second embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to the first embodiment of the present invention.
  • the imaging apparatus 100 of the present embodiment includes an imaging unit 101a and 101b, an object extraction unit 102, an obstacle and lane information extraction unit 103, a map information generation and obstacle relative speed information extraction unit 104, and a stationary object information extraction.
  • Unit 105 vehicle behavior information estimation unit 106, vehicle behavior sensor information acquisition interface 107, vehicle behavior sensor information diagnosis and behavior information selection unit 108, vehicle control method determination unit 109, and vehicle control command interface 110. It is configured.
  • the unit 108 and the vehicle control method determination unit 109 may be configured by a microcomputer (not shown) that executes software stored in advance in a storage unit (not shown), and a combination of various logic circuits (not shown), There are cases where it is constituted by various ICs.
  • the imaging apparatus 100 is mounted, for example, in front of a vehicle and is used as a part of a system that recognizes signals, signs, obstacles, etc., and realizes driving support and automatic driving.
  • the imaging apparatus 100 includes two imaging units, the imaging unit 101a and the imaging unit 101b, so that the imaging apparatus 100 can operate as a stereo camera that can externally acquire external information.
  • the imaging apparatus 100 as a stereo camera includes imaging units 101 a and 101 b, an object extraction unit 102, an obstacle and lane information extraction unit 103, a map information generation and obstacle relative speed information extraction unit 104.
  • the command interface 110 may be configured, and the vehicle control method determination unit 109 and the vehicle control command interface 110 may be provided outside the imaging apparatus 100.
  • the imaging apparatus 100 sends the output of the map information generation and obstacle relative speed information extraction unit 104 and the output of the vehicle behavior sensor information diagnosis and behavior information selection unit 108 via an interface (not shown) (for example, CAN). Output to the outside.
  • the imaging unit 101a and the imaging unit 101b are configured to include an imaging element (not shown) that converts light into an electrical signal and an optical lens (not shown) that forms an image of light on the imaging surface of the imaging element. Then, each of the imaging unit 101a and the imaging unit 101b outputs an image repeatedly captured at predetermined time intervals.
  • the imaging unit 101a and the imaging unit 101b are fixed to the vehicle in a direction in which external information is acquired (a shooting direction, for example, a traveling direction of the vehicle) in a state of being separated by a predetermined distance.
  • the object extraction unit 102 compares the two images of the image captured by the imaging unit 101a and the image captured by the imaging unit 101b at the same time, and looks at the distribution of the amount of deviation (so-called parallax), thereby obtaining the imaging unit 101a. In addition, extraction of a region where an object exists in the region photographed by the imaging unit 101b and distance information indicating a distance to the object are acquired.
  • the obstacle and lane information extraction unit 103 extracts the image feature amount of the image area where the object exists, and the feature amount of the object registered in advance (vehicle, pedestrian, other objects that may be a traffic obstacle) In addition to identifying objects that can be obstacles, the lane information indicating the road surface and the road edge is extracted from the feature quantities indicating the features such as the white lines and curbs of the road.
  • the map information generation and obstacle relative speed information extraction unit 104 becomes an obstacle existing on or around the lane from the position and lane information of an object that can be an obstacle obtained from the obstacle and lane information extraction unit 103.
  • Map information indicating the obtained object arrangement and lane information is generated, and the relative velocity information of the object is extracted from changes in the object arrangement in the past map information and the object arrangement in the current map information.
  • the stationary object information extraction unit 105 extracts the image feature amount of the image area where the object extracted by the object extraction unit 102 exists, and stores the feature amount of a stationary object (for example, a road sign, a destination signboard). Similar to three-dimensional objects such as traffic lights, crosswalks shown with paint on the road, road markings indicating speed and direction restrictions, image features such as structures around the road such as guardrails and buildings) A stationary object is specified by checking, and position information such as distance and direction is associated with the specified stationary object.
  • a stationary object for example, a road sign, a destination signboard. Similar to three-dimensional objects such as traffic lights, crosswalks shown with paint on the road, road markings indicating speed and direction restrictions, image features such as structures around the road such as guardrails and buildings.
  • the vehicle behavior information estimation unit 106 traces temporal changes in the position information of the distance and the direction linked to the stationary object extracted by the stationary object information extraction unit 105, so that the vehicle behavior up to the present time (for example, the vehicle speed) , Yaw rate, etc.).
  • the estimation of the behavior of the vehicle from the temporal change in the position information of the distance and direction of the stationary object can be realized by taking the following method.
  • FIG. 2 is a diagram showing the positional relationship between the stationary object and the vehicle when two stationary objects are captured.
  • G0 and G1 indicate the position of the captured stationary object
  • T0 indicates the position of the vehicle at time
  • T1 indicates the position of the vehicle 1 second after time
  • an arrow extending from the vehicle The direction (shown by a one-dot chain line) indicates the direction in which the vehicle at each time is heading.
  • the yaw rate is the difference between the directions of the respective arrows, that is, the angle at which the straight line drawn by the line intersecting the straight line connecting G0 and G1 intersects the arrow at the point where the straight line connecting G0 and G1 intersects the arrow.
  • the sum of “e” and “e ′” is the turning angle per second.
  • the vectors T0 (x0, y0) from the origin G0 to T0 and G0 to T1 The velocity can be calculated by calculating the arc length from the chord length and yaw rate obtained from the absolute value of the difference between the vectors T1 (x1, y1).
  • the vector T0 (x0, y0) from G0 to T0 and the angle “e” can be calculated by the following method.
  • B is the distance from G0 to T0.
  • d is an angle formed by a straight line connecting G0 and G1 and a straight line connecting G0 and T0.
  • A is the distance from G1 to T0.
  • c is an angle formed by a straight line connecting G0 and G1 and a straight line connecting G1 and T0.
  • a is an angle formed by the arrow T0 and a straight line connecting G1 and T0.
  • b is an angle formed by the arrow T0 and a straight line connecting G0 and T0.
  • B ' is the distance from G0 to T1.
  • d ' is an angle formed by a straight line connecting G0 and G1 and a straight line connecting G0 and T1.
  • a ' is the distance from G1 to T1.
  • c ′ is an angle formed by a straight line connecting G0 and G1 and a straight line connecting G1 and T1.
  • a ′ is an angle formed by the arrow T1 and a straight line connecting G1 and T1.
  • b ' is an angle formed by the arrow T1 and a straight line connecting G0 and T1.
  • the relational expression xR is established.
  • the vehicle behavior information estimation unit 106 estimates vehicle behavior information as described above.
  • the vehicle behavior sensor information acquisition interface 107 includes vehicle behavior sensors (not shown) arranged in various parts of the vehicle (for example, a vehicle speed sensor, a steering angle sensor, a yaw rate sensor, a right wheel speed sensor, a left wheel speed sensor). ), The vehicle speed information obtained by the vehicle behavior sensor, the yaw rate information, the steering angle information, and the like are taken into the imaging apparatus 100 using a communication means such as CAN.
  • the vehicle behavior sensor information diagnosis and behavior information selection unit 108 includes vehicle behavior information estimated by the vehicle behavior information estimation unit 106, vehicle behavior information from the vehicle behavior sensor obtained via the vehicle behavior sensor information acquisition interface 107, and , The accuracy of the information obtained from the vehicle behavior sensor is diagnosed, the vehicle behavior information corresponding to the diagnosis result is selected and output, and the information for notifying the composition of the output data is also output To do.
  • the vehicle behavior sensor information diagnosis and behavior information selection unit 108 determines that the output value of the vehicle behavior sensor (for example, the yaw rate sensor) is abnormal when the error ratio Yrr is equal to or greater than the determination threshold value Dy.
  • Vehicle control method using alternative yaw rate information Yrsp calculated from detection results of other vehicle behavior sensors (for example, left and right wheel speed sensors) or yaw rate information Yrp that is vehicle behavior information estimated by vehicle behavior information estimation unit 106 While outputting to the determination part 109, it notifies the vehicle control method determination part 109 that there exists a problem in the state of a vehicle behavior sensor as a diagnostic result.
  • the alternative yaw rate information Yrsp calculated from the detection results of other vehicle behavior sensors is sent to the vehicle control method determination unit 109.
  • Whether to output the yaw rate information Yrp, which is the vehicle behavior information estimated by the vehicle behavior information estimation unit 106, to the vehicle control method determination unit 109 is determined by the vehicle behavior sensor (yaw rate sensor) described above.
  • the error between the yaw rate information Yrp, which is the vehicle behavior information estimated by the vehicle behavior information estimation unit 106, and the alternative yaw rate information Yrsp calculated from the detection results of other vehicle behavior sensors The ratio of the second error (ratio of the second error) is evaluated.
  • the alternative yaw rate information Yrsp is output to the vehicle control method determination unit 109 if it is smaller than an arbitrary second determination threshold value Dy2 set for the second determination, and if the second error ratio Yrr2 is larger than the second determination threshold value Dy2, the yaw rate is output.
  • Information Yrp is output to vehicle control method determination unit 109.
  • the yaw rate information Yrp estimated by the vehicle behavior information estimation unit 106 is in a state of being output to the vehicle control method determination unit 109, the yaw rate information Yrp cannot be calculated due to factors such as the capture state of a stationary object. In this case, the value of the alternative yaw rate information Yrsp is output to the vehicle control method determination unit 109.
  • FIG. 3 is a flowchart showing an example of processing in the vehicle behavior sensor information diagnosis and behavior information selection unit 108 shown in FIG.
  • step 301 it is determined whether the error ratio Yrr is smaller than the threshold value Dy. If smaller, the process proceeds to step 310, and yaw rate information Yrs obtained from the yaw rate sensor is output to the vehicle control method determination unit 109. As a result of the diagnosis, the vehicle control method determination unit 109 is notified that the state of the yaw rate sensor is good.
  • the threshold A is set to an initial value. Thereafter, in step 311, the system waits for the trigger input, that is, the elapse of the execution cycle of the image processing (for example, executed by timer interruption) described with reference to FIG. 2, for example. .
  • step 301 if the error ratio Yrr is equal to or greater than the threshold value Dy, the process proceeds to step 302.
  • step 302 the ratio of NO is the number of times that the determination in step 301 is YES (error ratio Yrr is smaller than threshold Dy) and the number of times that NO (error ratio Yrr is greater than or equal to threshold Dy). The ratio of NO increases as the number of times of NO increases.
  • step 302 it is determined whether this NO ratio is smaller than the threshold value A. This is to exclude the case where the yaw rate information Yrs obtained from the yaw rate sensor temporarily shows an abnormal value due to noise or the like.
  • step 302 if the ratio of NO is smaller than the threshold value A, the process proceeds to step 310, where the yaw rate information Yrs obtained from the yaw rate sensor is output to the vehicle control method determination unit 109, and the state of the yaw rate sensor is obtained as a diagnosis result. Is notified to the vehicle control method determination unit 109.
  • the threshold A is set to an initial value. Thereafter, in step 311, the system waits for the trigger input, that is, the elapse of the execution cycle of the image processing (for example, executed by timer interruption) described with reference to FIG. 2, for example. .
  • step 302 if the ratio of NO is greater than or equal to the threshold A, the process proceeds to step 303.
  • step 303 the threshold A is changed to a value smaller than the initial value, and then the process proceeds to step 304.
  • step 304 it is determined whether the error ratio Yrr2 is smaller than the threshold value Dy2. If smaller, the process proceeds to step 312 and from the detection results of other vehicle behavior sensors (for example, left and right wheel speed sensors).
  • the calculated alternative yaw rate information Yrsp is output to the vehicle control method determination unit 109, and the vehicle control method determination unit 109 indicates that the alternative yaw rate information Yrsp calculated from the detection results of other vehicle behavior sensors is good as a diagnosis result.
  • the vehicle control method determination unit 109 is notified that the alternative yaw rate information Yrsp calculated from the detection results of other vehicle behavior sensors is output.
  • the threshold value B is set to an initial value.
  • the process waits for the trigger input, that is, the elapse of the execution period of the image processing (for example, executed by the timer interrupt) described with reference to FIG. 2, for example. .
  • step 304 if the error ratio Yrr2 is greater than or equal to the threshold value Dy2, the process proceeds to step 305.
  • step 305 the ratio of NO is the number of times that the determination in step 304 is YES (error ratio Yrr2 is smaller than threshold Dy2) and the number of times that NO (error ratio Yrr2 is greater than or equal to threshold Dy2). The ratio of NO increases as the number of times of NO increases.
  • step 305 it is determined whether or not the ratio of NO is smaller than the threshold value B. This is to exclude the case where the alternative yaw rate information Yrsp temporarily shows an abnormal value due to noise or the like.
  • step 305 when the ratio of NO is smaller than the threshold value B, the process proceeds to step 312, where the alternative yaw rate information Yrsp is output to the vehicle control method determination unit 109, and as a diagnosis result, detection of other vehicle behavior sensors is performed.
  • the vehicle control method determining unit 109 is notified that the alternative yaw rate information Yrsp calculated from the result is good, and the vehicle control that the alternative yaw rate information Yrsp calculated from the detection result of another vehicle behavior sensor is output.
  • the method determination unit 109 is notified.
  • the threshold value B is set to an initial value.
  • the process waits for the trigger input, that is, the elapse of the execution period of the image processing (for example, executed by the timer interrupt) described with reference to FIG. 2, for example. .
  • step 305 if the ratio of NO is greater than or equal to the threshold value B, the process proceeds to step 306.
  • step 306 the threshold value B is changed to a value smaller than the initial value, and then the process proceeds to step 307.
  • step 307 it is determined whether the yaw rate information Yrp, which is the vehicle behavior information estimated by the vehicle behavior information estimation unit 106, can be calculated.
  • the yaw rate information Yrp may not be calculated based on the images captured by the imaging units 101a and 101b due to factors such as the capture state of a stationary object. If the yaw rate information Yrp cannot be calculated in step 307, the process proceeds to step 312. In this step 312, the alternative yaw rate information Yrsp is output to the vehicle control method determining unit 109, and the vehicle control method determining unit 109 is notified that the yaw rate information Yrp cannot be calculated as a diagnosis result.
  • the vehicle control method determining unit 109 is notified that the alternative yaw rate information Yrsp calculated from the detection results of the other vehicle behavior sensors is output.
  • the threshold value B is set to an initial value.
  • the process waits for the trigger input, that is, the elapse of the execution period of the image processing (for example, executed by the timer interrupt) described with reference to FIG. 2, for example. .
  • step 307 the process proceeds to step 308.
  • step 308 the yaw rate information Yrp is output to the vehicle control method determination unit 109, and the yaw rate information Yrp is obtained as a diagnosis result.
  • the vehicle control method determining unit 109 is notified that calculation is possible, and the vehicle control method determining unit 109 is notified that yaw rate information Yrp has been output.
  • the threshold value B may be set to an initial value, and the threshold value B may not be changed.
  • the processing waits for the trigger input, that is, the elapse of the execution cycle of the image processing (for example, executed by timer interruption) described with reference to FIG. 2, for example. .
  • the yaw rate detected by the yaw rate sensor has been described as an example.
  • the vehicle behavior sensor information diagnosis and behavior information selection unit 108 includes a vehicle speed sensor, an acceleration sensor, and the like. The same diagnosis is performed on the information from the other vehicle behavior sensors using the vehicle behavior information estimated by the vehicle behavior information estimation unit 106, and the behavior information corresponding to the diagnosis result is also output. It can be done.
  • the vehicle control method determination unit 109 includes the map information generated by the map information generation / obstruction relative speed information extraction unit 104, the relative speed information of the obstacle placed on the map, and the vehicle behavior information.
  • the possibility of deviation from the lane and collision with obstacles is evaluated by comparing with the future vehicle trajectory estimated from the above. As a result of this evaluation, if it is determined that there is a risk of deviating from the lane or colliding with an obstacle when the current vehicle behavior state continues, a vehicle control method (steer Control information indicating angle adjustment and speed adjustment) and information indicating a command to output an alarm to the driver are generated.
  • the vehicle control method determination unit 109 generates a control command indicating a vehicle control method for automatically traveling in the travelable region while extracting the travelable region from the map information and performing steering angle adjustment and speed adjustment. It also realizes the function to perform.
  • the adjustment amount of the speed adjustment when generating the control command indicating the vehicle control method for automatically traveling in the travelable region is determined by the vehicle behavior sensor information diagnosis and behavior information selection unit 108. With reference to the state of the behavior sensor, it is limited by a limit value that is arbitrarily set according to the state of the vehicle behavior sensor.
  • FIG. 4 is a flowchart showing an example of processing in the vehicle control method determination unit 109 using the diagnosis result by the vehicle behavior sensor information diagnosis and behavior information selection unit 108 shown in FIG.
  • step 401 it is determined whether the state of the vehicle behavior sensor (for example, the yaw rate sensor) is good, that is, whether the vehicle behavior sensor in step 310 of FIG. 3 is notified that the state is good. If it is determined as good in step 401, the process proceeds to step 410. In step 410, it sets so that control of the above-mentioned normal driving state may be performed, and threshold C is set to an initial value. Thereafter, in step 411, the process waits for the trigger input, that is, the elapse of the period of execution of the image processing (for example, executed by timer interruption) described with reference to FIG. 2, for example. . In step 409, it is determined whether or not automatic control has ended (for example, whether or not an automatic control end instruction has been issued by the driver). If automatic control ends in step 409, the process ends. If not, automatic control does not end. Return to step 401.
  • the state of the vehicle behavior sensor for example, the yaw rate sensor
  • step 401 If it is determined in step 401 that it is not good, the process proceeds to step 402.
  • step 402 the number of NOs is the number of times that the determination in step 401 is NO (the vehicle behavior sensor state is not good).
  • step 402 it is determined whether this NO count is less than the threshold value C. This is provided with hysteresis in the determination of the control state so that the transition between the normal running state, the medium speed running state, and the low speed running state does not frequently occur due to the influence of noise.
  • step 402 if the NO count is less than the threshold value C, the process proceeds to step 410.
  • step 410 it sets so that control of the above-mentioned normal driving state may be performed, and threshold C is set to an initial value.
  • the process waits for the trigger input, that is, the elapse of the period of execution of the image processing (for example, executed by timer interruption) described with reference to FIG. 2, for example. .
  • step 409 it is determined whether or not automatic control has ended (for example, whether or not an automatic control end instruction has been issued by the driver). If automatic control ends in step 409, the process ends. If not, automatic control does not end. Return to step 401.
  • step 402 if the NO count is equal to or greater than the threshold value C, the process proceeds to step 403.
  • step 403 the threshold C is changed to a value smaller than the initial value, and then the process proceeds to step 404.
  • step 404 whether the alternative information (for example, alternative yaw rate information Yrsp) calculated from the detection results of other vehicle behavior sensors (for example, left and right wheel speed sensors) that are alternative sensors is good, 3, if the determination is YES in step 304 and the process proceeds to step 312, or if the determination is YES in step 305 in FIG. 3 and the process proceeds to step 312, alternative information calculated from the detection results of other vehicle behavior sensors in step 312 (for example, It is determined whether a notification that the alternative yaw rate information Yrsp) is good is received. If it is determined as good in step 404, the process proceeds to step 412.
  • alternative information for example, alternative yaw rate information Yrsp
  • step 412 the above-described medium speed traveling state control is set to be performed, and the threshold value D is set to an initial value. Thereafter, in step 413, the process waits for the trigger input, that is, the elapse of the execution cycle of the image processing (for example, executed by timer interruption) described with reference to FIG. 2, for example. .
  • step 409 it is determined whether or not automatic control has ended (for example, whether or not an automatic control end instruction has been issued by the driver). If automatic control ends in step 409, the process ends. If not, automatic control does not end. Return to step 401.
  • step 404 If it is determined in step 404 that it is not good, the process proceeds to step 405.
  • the number of NOs is the number of times that the determination in step 404 is NO (substitution information calculated from the detection results of other vehicle behavior sensors is not good).
  • step 405 it is determined whether this NO count is less than the threshold value D. This is provided with hysteresis in the determination of the control state so that the transition between the normal running state, the medium speed running state, and the low speed running state does not frequently occur due to the influence of noise.
  • step 405 if the NO count is less than the threshold value D, the process proceeds to step 412.
  • step 412 the above-described medium speed traveling state control is set to be performed, and the threshold value D is set to an initial value.
  • the process waits for the trigger input, that is, the elapse of the execution cycle of the image processing (for example, executed by timer interruption) described with reference to FIG. 2, for example. .
  • step 409 it is determined whether or not automatic control has ended (for example, whether or not an automatic control end instruction has been issued by the driver). If automatic control ends in step 409, the process ends. If not, automatic control does not end. Return to step 401.
  • step 405 if the NO count is equal to or greater than the threshold value D, the process proceeds to step 406.
  • step 406 the threshold value D is changed to a value smaller than the initial value, and then the process proceeds to step 407.
  • step 407 setting is made to control the low-speed running state described above. Thereafter, in step 408, the process waits for the trigger input, that is, the elapse of the execution cycle of the image processing (for example, executed by the timer interrupt) described with reference to FIG. 2, for example. .
  • step 409 it is determined whether or not automatic control has ended (for example, whether or not an automatic control end instruction has been issued by the driver). If automatic control ends in step 409, the process ends. If not, automatic control does not end. Return to step 401.
  • the vehicle behavior information estimated by the vehicle behavior information estimation unit 106 is used as main vehicle behavior information, but the vehicle behavior estimated by the vehicle behavior information estimation unit 106 is used.
  • the vehicle behavior information can be updated with a frequency at which the feedback to the vehicle control functions sufficiently (that is, a high frame rate).
  • the imaging units 101a and 101b are driven and vehicle behavior information can be acquired at a frequency commensurate with that, the setting of the maximum speed in the low-speed traveling state may be changed.
  • the limit value of the rudder angle is limited by setting the rudder angle limit value according to the traveling speed in consideration of the turning performance unique to the vehicle.
  • the vehicle control command interface 110 outputs a control command indicating the vehicle control method generated by the vehicle control method determination unit 109 and information indicating a command to output an alarm to the driver (for example, A control command indicating a vehicle control method that is connected to a communication network such as CAN and generated by the vehicle control method determination unit 109 according to a network protocol, Information indicating an instruction to output an alarm to the driver is output.
  • Various electronic control devices can execute automatic control of the vehicle according to various commands obtained via the vehicle control command interface 110.
  • the imaging units 101a and 101b are constructed by a combination of an optical lens and an imaging element, and an external environment recognition process (for example, an object extraction unit) that analyzes the imaging results (captured images) of the imaging units 101a and 101b.
  • an external environment recognition process for example, an object extraction unit
  • actual vehicle behavior information from the past to the present obtained from the external recognition result for example, The state of the behavior sensor using the vehicle behavior information estimation unit 106) (for example, the vehicle behavior sensor information diagnosis and behavior information selection unit 108), and the appropriate vehicle behavior information selection processing (for example, the vehicle behavior sensor).
  • Information diagnosis and behavior information selection unit 108 For a series of processes for generating a suitable vehicle control command generation process (for example, the vehicle control method determination unit 109) according to the state of the vehicle behavior sensor, hardware logic for performing the calculation process, calculation means such as a microcomputer, and calculation It is constructed by combining processing programs.
  • the actual vehicle behavior information from the past to the present is grasped from the external recognition result obtained by analyzing the imaging results (captured images) of the imaging units 101a and 101b, and the actual vehicle It becomes possible to diagnose the state of the vehicle behavior sensor using the behavior information.
  • imaging device 100 it is possible to appropriately predict future behavior by selecting appropriate vehicle behavior information based on the diagnosis result, and accordingly, according to the state of the vehicle behavior sensor. Appropriate vehicle control instructions can be generated.
  • FIG. 5 is a block diagram illustrating a configuration of the imaging apparatus according to the second embodiment of the present invention.
  • the same components as those of the first embodiment shown in FIG. 5 are identical to the same components as those of the first embodiment shown in FIG.
  • an active radar unit 501 and an imaging unit 502 are provided instead of the imaging units 101a and 101b of the imaging apparatus 100 according to the first embodiment.
  • the imaging unit 502 has the same configuration as the imaging unit 101b.
  • the active radar unit 501 is a device that obtains distance information to an object by irradiating an electromagnetic wave, a laser, or the like and receiving a reflected wave thereof.
  • two image capturing units 101a and 101b are provided to perform the stereo matching process for the purpose of grasping the outside world information.
  • the present invention is not limited to this, and the outside world information is grasped.
  • the active radar unit 501 may be provided as an external sensor for object extraction.
  • the distance information obtained by the active radar unit 501 is used to extract the distance to the target object and the relative speed information with respect to the target object, and the presence of the target object from the image information acquired by the imaging unit 502. The direction and the object are identified.
  • An image acquisition unit e.g., imaging units 101a, 101b, and 502 that acquires an image around the vehicle;
  • a vehicle behavior estimation unit for example, a vehicle behavior information estimation unit 106) that estimates behavior information of the vehicle based on the image acquired by the image acquisition unit;
  • a vehicle behavior acquisition unit for example, a vehicle behavior sensor information acquisition interface 107) that acquires behavior information of the vehicle detected by a vehicle behavior sensor (for example, a yaw rate sensor, a vehicle speed sensor, an acceleration sensor);
  • An abnormality detection unit that detects an abnormality of the vehicle behavior sensor by comparing the behavior information acquired by the vehicle behavior acquisition unit and the behavior information estimated by the vehicle behavior estimation unit (for example, vehicle behavior sensor information diagnosis and behavior And an information selection unit 108), and an imaging device capable of playing a complementary role by detecting an abnormality when a vehicle behavior sensor malfunctions.
  • a vehicle behavior information selection unit for example, vehicle behavior sensor information
  • An imaging device for example, an object extraction unit 102, an obstacle and lane information extraction unit 103, a map information generation and obstacle relative velocity information extraction unit 104, a stationary object, which extracts outside world information from the image acquired by the image acquisition unit.
  • An information extraction unit 105 A control method determination unit (for example, a vehicle control method determination unit) that determines the control content of the vehicle based on the behavior information selected by the vehicle behavior information selection unit and the external information extracted by the external information extraction unit 109), the correct control content may be determined by not selecting abnormal behavior information.
  • the vehicle behavior sensor is a plurality of vehicle behavior sensors
  • the vehicle behavior acquisition unit acquires behavior information of the vehicle detected by each of the plurality of vehicle behavior sensors.
  • the abnormality detecting unit detects the abnormality of one vehicle behavior sensor among the plurality of vehicle behavior sensors, and the one vehicle behavior among the plurality of vehicle behavior sensors acquired by the vehicle behavior acquisition unit.
  • the other vehicle behavior sensor is diagnosed by comparing the vehicle behavior information detected by another vehicle behavior sensor different from the sensor and the behavior information estimated by the vehicle behavior estimation unit. Yes, Since the control method determining unit determines the control content based on the diagnosis result of the other vehicle behavior sensor by the abnormality detection unit, the imaging device is characterized by: In some cases, correct control can be executed in consideration of abnormality of the vehicle behavior sensor.
  • the embodiment described above is 5). 4).
  • An imaging device according to claim 1, The control method determination unit, when the diagnosis result of the other vehicle behavior sensor by the abnormality detection unit is good, based on behavior information of the vehicle detected by the other vehicle behavior sensor, Therefore, there is a case where correct control can be executed according to the abnormality of the alternative sensor (other vehicle behavior sensor).
  • the control method determining unit determines the control content based on behavior information estimated by the vehicle behavior estimating unit when a diagnosis result of the other vehicle behavior sensor by the abnormality detecting unit is not good; Therefore, there are cases where correct control can be executed according to the abnormality of the alternative sensor (other vehicle behavior sensor).
  • the image acquisition unit is a plurality of imaging units
  • the outside world information extraction unit is an imaging device characterized by extracting outside world information from images acquired by the plurality of imaging units, stereo imaging can be performed with a simple configuration having a plurality of imaging units. In some cases, external information can be extracted with high accuracy.
  • the embodiment described above is 8).
  • the image acquisition unit is a plurality of imaging units, Since the vehicle behavior estimation unit estimates the vehicle behavior information based on the images acquired by the plurality of imaging units, the imaging device is characterized by having a plurality of imaging units. Stereo shooting may be performed with the configuration, and vehicle behavior information may be estimated with high accuracy.
  • this invention is not limited to an above-described Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本発明は、車両挙動センサの不具合が生じたときに、その補完的役割を果たし得る撮像装置を提供することである。本発明は、車両の周囲の画像を取得する画像取得部と、前記画像取得部で取得した画像に基づいて前記車両の挙動情報を推定する車両挙動推定部と、車両挙動センサで検知された前記車両の挙動情報を取得する車両挙動取得部と、前記車両挙動取得部で取得した挙動情報と前記車両挙動推定部で推定した挙動情報とを比較することで、前記車両挙動センサの異常を検知する異常検知部と、を備えることを特徴とする。

Description

撮像装置
　本発明は、車両に搭載され、車両の挙動を把握可能な撮像装置に関する。
　従来車両には、車速センサ、舵角センサ、ヨーレート（回転角速度）センサなど、車両内部の状態を測定して挙動を示すセンサが、車両挙動センサとして一般的に広く利用されている。これらの車両挙動センサから得られる車両挙動情報には相関性が存在する場合がある為、何れかの車両挙動センサに不具合が発生した際に、他の車両挙動センサからの情報を用いて不具合の発生したセンサを補う技術が知られている。
　例えば、特開平１１-５９４６１号公報には、ヨーレートセンサが異常となった場合、車輪速を検出する速度センサで求めた左右の車輪速の差（即ち、左右の車輪の単位時間の移動距離の差）からヨーレートを算出して代替させる方法が記載されている。
特開平１１－２０８９３９号公報
　ところが、左右の車輪速の差では車輪に装着されているタイヤと路面との滑りを反映することができず、特開平１１-５９４６１号公報の様にヨーレートセンサを車輪速の速度センサで代替したとき、実際のヨーレートを算出することができない場合があるという問題があった。
　特に、タイヤと路面の摩擦係数が小さくなる環境では滑り量が大きくなり、代替手段である車輪速の速度センサによって求めたヨーレートと、実際のヨーレートとの誤差が増大してしまう。このため、代替手段で取得した情報をそのまま例えば車両の軌道予測に利用すると、誤った軌道予測結果が得られることがあり、軌道予測結果に基づいて衝突や逸脱を事前に予測して回避するための運転アシストや自動運転において十分な効果が得られない場合があるという問題があった。
　本発明の目的は、車両挙動センサの不具合が生じたときに、その補完的役割を果たし得る撮像装置を提供することにある。
　本発明は上記の目的を達成するために、車両の周囲の画像を取得する画像取得部と、前記画像取得部で取得した画像に基づいて前記車両の挙動情報を推定する車両挙動推定部と、車両挙動センサで検知された前記車両の挙動情報を取得する車両挙動取得部と、前記車両挙動取得部で取得した挙動情報と前記車両挙動推定部で推定した挙動情報とを比較することで、前記車両挙動センサの異常を検知する異常検知部と、を備えることを特徴とする。
　本発明によれば、車両挙動センサの不具合が生じたときに、その補完的役割を果たし得る撮像装置を提供することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の実施例１に係る撮像装置の構成を示すブロック図。 ２つの静止物を捕捉した際の静止物と車両との位置関係を示した図。 図１に示した車両挙動センサ情報診断及び挙動情報選択部１０８における処理の一例を示すフローチャート。 図１に示した車両挙動センサ情報診断及び挙動情報選択部１０８による診断結果を利用した、車両制御方法決定部１０９での処理の一例を示すフローチャート。 本発明の実施例２に係る撮像装置の構成を示すブロック図。
　以下、図面を用いて、本発明の実施例に係る撮像装置について詳細に説明する。
　図１は、本発明の実施例１に係る撮像装置の構成を示すブロック図である。
　本実施例の撮像装置１００は、撮像部１０１ａ及び１０１ｂと、物体抽出部１０２と、障害物及びレーン情報抽出部１０３と、マップ情報生成及び障害物相対速度情報抽出部１０４と、静止物体情報抽出部１０５と、車両挙動情報推定部１０６と、車両挙動センサ情報取得インターフェース１０７と、車両挙動センサ情報診断及び挙動情報選択部１０８と、車両制御方法決定部１０９と、車両制御命令インターフェース１１０と、を有して構成される。物体抽出部１０２、障害物及びレーン情報抽出部１０３、マップ情報生成及び障害物相対速度情報抽出部１０４、静止物体情報抽出部１０５、車両挙動情報推定部１０６、車両挙動センサ情報診断及び挙動情報選択部１０８、及び車両制御方法決定部１０９は、不図示の記憶部に予め記憶したソフトウェアを実行するマイコン（不図示）によって構成される場合があり、また、各種論理回路（不図示）の組合せ、各種ＩＣによって構成される場合がある。
　この撮像装置１００は、例えば車両の前方に搭載され、信号や標識、障害物などを認識し、運転支援や自動運転を実現するシステムの一部として利用される。この撮像装置１００は、撮像部１０１ａ及び撮像部１０１ｂの２つの撮像部を有することで、外界情報を立体的に取得可能なステレオカメラとして動作可能なものである。
　ステレオカメラとしての撮像装置１００は、図１のように、撮像部１０１ａ及び１０１ｂと、物体抽出部１０２と、障害物及びレーン情報抽出部１０３と、マップ情報生成及び障害物相対速度情報抽出部１０４と、静止物体情報抽出部１０５と、車両挙動情報推定部１０６と、車両挙動センサ情報取得インターフェース１０７と、車両挙動センサ情報診断及び挙動情報選択部１０８と、車両制御方法決定部１０９と、車両制御命令インターフェース１１０と、を有する構成としてもよいし、車両制御方法決定部１０９や車両制御命令インターフェース１１０は、撮像装置１００の外部に設ける構成としてもよい。この場合、撮像装置１００は、マップ情報生成及び障害物相対速度情報抽出部１０４の出力や、車両挙動センサ情報診断及び挙動情報選択部１０８の出力を、不図示のインターフェース（例えば、ＣＡＮ）を介して外部に出力する。
　撮像部１０１ａ及び撮像部１０１ｂは、光を電気的な信号に変換する撮像素子（不図示）と撮像素子の撮像面に光の像を結像させる光学レンズ（不図示）を有して構成され、撮像部１０１ａ及び撮像部１０１ｂのそれぞれにおいて所定の時間間隔毎に繰り返し撮影した画像を出力する。また、撮像部１０１ａと撮像部１０１ｂとは、所定の距離で離れた状態で、外界情報を取得する方向（撮影する方向、例えば車両の進行方向）に向けて車両に固定される。
　物体抽出部１０２は、同時刻に撮像部１０１ａで撮影された画像と撮像部１０１ｂで撮影された画像の２つの画像を比較し、ズレ量（所謂視差）の分布を見ることで、撮像部１０１ａ及び撮像部１０１ｂで撮影した領域内で物体が存在する領域の抽出と、その物体までの距離を示す距離情報を取得する。
　障害物及びレーン情報抽出部１０３は、物体が存在する画像領域の画像特徴量を抽出して、あらかじめ登録されている物体の特徴量（車両、歩行者、その他交通上の障害と成り得る物体の画像的特徴）との類似性を調べることで、障害物と成り得る物体を特定すると共に、道路の白線や縁石などの特徴を示す特徴量から路面や路端を示すレーン情報を抽出する。
　マップ情報生成及び障害物相対速度情報抽出部１０４は、障害物及びレーン情報抽出部１０３から得た障害物と成り得る物体の位置とレーン情報から、レーン上またはその周辺に存在する障害物と成り得る物体の配置とレーンの情報を示すマップ情報を生成すると共に、過去のマップ情報における前記物体の配置と現在のマップ情報における前記物体の配置の変化から前記物体の相対速度情報を抽出する。
　一方、静止物体情報抽出部１０５は、物体抽出部１０２で抽出される物体が存在する画像領域の画像特徴量を抽出して、あらかじめ登録されている静止物の特徴量（例えば道路標識、行先看板、信号機等の立体物の他、道路上にペイントなどで示された横断歩道、速度や方向規制などを示す道路標示、ガードレールや建物など道路周辺の構造物など画像的特徴）との類似性を調べることで静止物を特定し、特定した静止物に対して距離や方位などの位置情報の紐付けを行う。
　車両挙動情報推定部１０６は、静止物体情報抽出部１０５で抽出された静止物に紐付けされた距離や方位の位置情報の時間的変化を辿ることで、現在までの車両の挙動（例えば、車速、ヨーレート等）を推定する。例えば、静止物の距離や方位の位置情報の時間的変化からの車両の挙動の推定は以下の方法をとることで実現できる。
　図２は、２つの静止物を捕捉した際の静止物と車両との位置関係を示した図である。
　図２において、Ｇ０及びＧ１は捕捉した静止物の位置を示し、Ｔ０は時刻０の車両の位置を示し、Ｔ１は時刻０から１秒後の車両の位置を示し、車両から伸びている矢印（一点鎖線で示している）の向きはそれぞれの時刻の車両が向かっている方向を示している。このときヨーレートは、それぞれの矢印の向きの差、即ちＧ０とＧ１を結ぶ直線と矢印が交差する点においてＧ０とＧ１を結ぶ直線に直交するように引かれた直線と矢印の交差する角度である「ｅ」及び「ｅ’」の和が１秒辺り旋回角度となる。また、Ｔ０の座標とＴ１の座標を弦とする円弧の長さが１秒辺りの移動量、即ち速度となるので、原点Ｇ０からＴ０までのベクトルＴ０（ｘ０、ｙ０）とＧ０からＴ１までのベクトルＴ１（ｘ１、ｙ１）の差分の絶対値から求められる弦の長さとヨーレートからその円弧の長さを算出することで速度を算出することが出来る。Ｇ０からＴ０までのベクトルＴ０（ｘ０、ｙ０）及び、角度「ｅ」は以下の方法で計算できる。Ｂは、Ｇ０からＴ０までの距離である。ｄは、Ｇ０とＧ１を結ぶ直線と、Ｇ０とＴ０を結ぶ直線とが成す角度である。Ａは、Ｇ１からＴ０までの距離である。ｃは、Ｇ０とＧ１を結ぶ直線と、Ｇ１とＴ０を結ぶ直線とが成す角度である。ａは、Ｔ０の矢印と、Ｇ１とＴ０を結ぶ直線とが成す角度である。ｂは、Ｔ０の矢印と、Ｇ０とＴ０を結ぶ直線とが成す角度である。Ｂ’は、Ｇ０からＴ１までの距離である。ｄ’は、Ｇ０とＧ１を結ぶ直線と、Ｇ０とＴ１を結ぶ直線とが成す角度である。Ａ’は、Ｇ１からＴ１までの距離である。ｃ’は、Ｇ０とＧ１を結ぶ直線と、Ｇ１とＴ１を結ぶ直線とが成す角度である。ａ’は、Ｔ１の矢印と、Ｇ１とＴ１を結ぶ直線とが成す角度である。ｂ’は、Ｔ１の矢印と、Ｇ０とＴ１を結ぶ直線とが成す角度である。
　Ｇ０からＴ０までのベクトルＴ０（ｘ０、ｙ０）及び、角度「ｅ」は、三角関数を用いて、以下のように、ｘ０＝Ｂ×ＳＩＮ[ｄ]ｙ０＝Ｂ×ＣＯＳ[ｄ]ｄ＝ａｒｃＴＡＮ{Ａ×{ＳＩＮ[ａ＋ｂ] }÷{Ｂ－Ａ{ＣＯＳ[ａ＋ｂ] } }ｅ＝０．５×π－ｂ－ｄで求められる。
　Ｇ０からＴ１までのベクトルＴ１（ｘ１、ｙ１）及び、角度「ｅ’」は、三角関数を用いて、以下のように、ｘ１＝Ｂ’×ＳＩＮ[ｄ’]ｙ１＝Ｂ’×ＣＯＳ[ｄ’]ｄ’＝ａｒｃＴＡＮ{Ａ’×{ＳＩＮ[ａ’＋ｂ’] }÷{Ｂ’-Ａ’{ＣＯＳ[ａ’＋ｂ’] } }ｅ’=０．５×π－ｂ’－ｄ’で求められる。
　さらに、Ｔ０とＴ１を結ぶ円弧の長さ（＝Ｖとする）については、ヨーレート（＝Ｙｒとする）と回転半径（＝Ｒとする）から計算でき以下のように、Ｖ＝｛ｅ＋ｅ’｝×Ｒの関係式が成立する。
　上記ＲはＴ０とＴ１を直線で結ぶ弦の長さ（Ｌ＝とする）とヨーレートから計算でき、計算式は以下のように、Ｒ＝０．５×Ｌ÷ＣＯＳ[０．５×{ｅ＋ｅ’} ]Ｌ＝√｛（ｘ１－ｘ０）×（ｘ１－ｘ０）＋（ｙ１－ｙ０）×（ｙ１－ｙ０）｝となる。車両挙動情報推定部１０６では、上記のようにして車両挙動情報を推定する。
　図１の説明に戻り、車両挙動センサ情報取得インターフェース１０７は、車両各所に配置された不図示の車両挙動センサ（例えば、車速センサ、舵角センサ、ヨーレートセンサ、右車輪速センサ、左車輪速センサ）からの情報を取得するためのインターフェースであり、例えばＣＡＮなどの通信手段を利用して、車両挙動センサで得た車速情報、ヨーレート情報、舵角情報などを撮像装置１００に取り込む。
　車両挙動センサ情報診断及び挙動情報選択部１０８は、車両挙動情報推定部１０６で推定される車両挙動情報と、車両挙動センサ情報取得インターフェース１０７を経由して得られる車両挙動センサからの車両挙動情報と、を比較することで、車両挙動センサから得られる情報の正確性を診断して、診断結果に応じた車両挙動情報を選択して出力すると共に、出力データの組成について通知する情報を併せて出力する。
　例えば、車両挙動センサ情報診断及び挙動情報選択部１０８では、車両挙動情報推定部１０６で推定されるヨーレート情報をＹｒｐ、車両挙動センサから得られるヨーレート情報をＹｒｓとした場合、ＹｒｐとＹｒｓの誤差の割合Ｙｒｒ（＝「例えば｛１－Ｙｒｓ÷Ｙｒｐ｝の絶対値」）が予め設定される任意の判定閾値Ｄｙより小さければ車両挙動センサのうちのヨーレートセンサの状態は良好であると判断して、車両挙動情報として車両挙動センサの情報をそのまま車両制御方法決定部１０９に対して出力すると共に、診断結果として車両挙動センサの状態が良好である旨を車両制御方法決定部１０９に対して通知する。
　また車両挙動センサ情報診断及び挙動情報選択部１０８では、誤差の割合Ｙｒｒが判定閾値Ｄｙ以上である場合は、車両挙動センサ（例えば、ヨーレートセンサ）の出力値に異常があると判断して相関性がある他の車両挙動センサ（例えば、左右の車輪速センサ）の検出結果から算出した代替ヨーレート情報Ｙｒｓｐまたは車両挙動情報推定部１０６で推定される車両挙動情報であるヨーレート情報Ｙｒｐを、車両制御方法決定部１０９に対して出力すると共に、診断結果として車両挙動センサの状態に問題がある旨を車両制御方法決定部１０９に対して通知する。
　また車両挙動センサ情報診断及び挙動情報選択部１０８において、車両挙動センサの状態に問題が有る場合において、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力するか、前記車両挙動情報推定部１０６で推定される車両挙動情報であるヨーレート情報Ｙｒｐを車両制御方法決定部１０９に対して出力するかの判断は、前述の車両挙動センサ（ヨーレートセンサ）から得られるヨーレート情報Ｙｒｓの診断と同様に、車両挙動情報推定部１０６で推定される車両挙動情報であるヨーレート情報Ｙｒｐと、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐとの誤差の割合（第２の誤差の割合）について評価して、この第２の誤差の割合Ｙｒｒ２が予め設定される任意の第２の判定閾値Ｄｙ２より小さければ代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力し、第２の誤差の割合Ｙｒｒ２が第２の判定閾値Ｄｙ２より大きければヨーレート情報Ｙｒｐを車両制御方法決定部１０９に対して出力する。但し、車両挙動情報推定部１０６で推定されるヨーレート情報Ｙｒｐを車両制御方法決定部１０９に対して出力する状態にある場合でも、静止物の捕捉状況などの要因によりヨーレート情報Ｙｒｐが算出出来ない場合があるので、その場合は代替ヨーレート情報Ｙｒｓｐの値を車両制御方法決定部１０９に対して出力する。
　図３は、図１に示した車両挙動センサ情報診断及び挙動情報選択部１０８における処理の一例を示すフローチャートである。
　図３のフローチャートを参照して、車両挙動センサ情報診断及び挙動情報選択部１０８における、上述の車両挙動センサの診断処理と診断結果に基づく出力処理についてさらに説明する。
　ステップ３０１では、誤差の割合Ｙｒｒが閾値Ｄｙよりも小さいかを判定し、小さい場合には、ステップ３１０に進み、ヨーレートセンサから得たヨーレート情報Ｙｒｓを車両制御方法決定部１０９に対して出力し、診断結果としてヨーレートセンサの状態が良好である旨を車両制御方法決定部１０９に対して通知する。またステップ３１０では、閾値Ａを初期値に設定する。その後、ステップ３１１では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。
　ステップ３０１において、誤差の割合Ｙｒｒが閾値Ｄｙ以上である場合には、ステップ３０２に進む。ステップ３０２において、ＮＯの割合とは、ステップ３０１の判定でＹＥＳ（誤差の割合Ｙｒｒが閾値Ｄｙよりも小さい）となった回数と、ＮＯ（誤差の割合Ｙｒｒが閾値Ｄｙ以上）となった回数との割合であり、ＮＯとなった回数が増えるほどＮＯの割合が大きくなる。ステップ３０２では、このＮＯの割合が閾値Ａよりも小さいかを判定する。これは、ヨーレートセンサから得たヨーレート情報Ｙｒｓが、ノイズなどによって一時的に異常な値を示した場合を除外するためである。
　ステップ３０２において、ＮＯの割合が閾値Ａよりも小さい場合には、ステップ３１０に進み、ヨーレートセンサから得たヨーレート情報Ｙｒｓを車両制御方法決定部１０９に対して出力し、診断結果としてヨーレートセンサの状態が良好である旨を車両制御方法決定部１０９に対して通知する。またステップ３１０では、閾値Ａを初期値に設定する。その後、ステップ３１１では、トリガ入力、即ち、例えば図２を参照して説明した画像処理
（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。
　ステップ３０２において、ＮＯの割合が閾値Ａ以上である場合には、ステップ３０３に進む。
　ステップ３０３では、閾値Ａを初期値よりも小さい値に変更し、その後ステップ３０４に進む。
　続いて、ステップ３０４では、誤差の割合Ｙｒｒ２が閾値Ｄｙ２よりも小さいかを判定し、小さい場合には、ステップ３１２に進み、他の車両挙動センサ（例えば、左右の車輪速センサ）の検出結果から算出した代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力し、診断結果として、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐが良好である旨を車両制御方法決定部１０９に対して通知し、また、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐを出力した旨を車両制御方法決定部１０９に対して通知する。またステップ３１２では、閾値Ｂを初期値に設定する。その後、ステップ３１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。
　ステップ３０４において、誤差の割合Ｙｒｒ２が閾値Ｄｙ２以上である場合には、ステップ３０５に進む。ステップ３０５において、ＮＯの割合とは、ステップ３０４の判定でＹＥＳ（誤差の割合Ｙｒｒ２が閾値Ｄｙ２よりも小さい）となった回数と、ＮＯ（誤差の割合Ｙｒｒ２が閾値Ｄｙ２以上）となった回数との割合であり、ＮＯとなった回数が増えるほどＮＯの割合が大きくなる。ステップ３０５では、このＮＯの割合が閾値Ｂよりも小さいかを判定する。これは、代替ヨーレート情報Ｙｒｓｐが、ノイズなどによって一時的に異常な値を示した場合を除外するためである。
　ステップ３０５において、ＮＯの割合が閾値Ｂよりも小さい場合には、ステップ３１２に進み、代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力し、診断結果として、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐが良好である旨を車両制御方法決定部１０９に対して通知し、また、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐを出力した旨を車両制御方法決定部１０９に対して通知する。またステップ３１２では、閾値Ｂを初期値に設定する。その後、ステップ３１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。
　ステップ３０５において、ＮＯの割合が閾値Ｂ以上である場合には、ステップ３０６に進む。
　ステップ３０６では、閾値Ｂを初期値よりも小さい値に変更し、その後ステップ３０７に進む。
　続いて、ステップ３０７では、車両挙動情報推定部１０６で推定される車両挙動情報であるヨーレート情報Ｙｒｐが算出可能であるかを判定する。上述のように、撮像部１０１ａ及び１０１ｂで撮影した画像に基づき、静止物の捕捉状況などの要因によりヨーレート情報Ｙｒｐが算出出来ない場合がある。ステップ３０７において、ヨーレート情報Ｙｒｐが算出不可能であった場合には、ステップ３１２に進む。このステップ３１２では、代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力し、診断結果として、ヨーレート情報Ｙｒｐが算出不可能である旨を車両制御方法決定部１０９に対して通知し、また、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐを出力した旨を車両制御方法決定部１０９に対して通知する。また、このステップ３１２では、閾値Ｂを初期値に設定する。その後、ステップ３１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。
　ステップ３０７において、ヨーレート情報Ｙｒｐが算出可能であった場合には、ステップ３０８に進み、ステップ３０８では、ヨーレート情報Ｙｒｐを車両制御方法決定部１０９に対して出力し、診断結果として、ヨーレート情報Ｙｒｐが算出可能である旨を車両制御方法決定部１０９に対して通知し、また、ヨーレート情報Ｙｒｐを出力した旨を車両制御方法決定部１０９に対して通知する。またステップ３０８では、閾値Ｂを初期値に設定してもよい場合があり、閾値Ｂを変更しなくてもよい場合がある。その後、ステップ３０９では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。
　なお、本実施例では、ヨーレートセンサで検出したヨーレートを例に説明したが、本発明はこれに限られるものではなく、車両挙動センサ情報診断及び挙動情報選択部１０８は、車速センサや加速度センサ等のその他の車両挙動センサからの情報に対しても車両挙動情報推定部１０６で推定される車両挙動情報を利用して同様の診断を行って、診断結果に応じた挙動情報の出力も合わせて行うことが出来るものである。
　図１の説明に戻り、車両制御方法決定部１０９は、マップ情報生成及び障害物相対速度情報抽出部１０４で生成されたマップ情報とマップ上に置かれた障害物の相対速度情報と車両挙動情報から推定される将来の車両の軌道とを照らし合せて、レーンからの逸脱や障害物との衝突の可能性を評価する。この評価の結果、現在の車両の挙動状態が継続した場合にレーンから逸脱したり、障害物と衝突したりする危険があると判断される場合は、それを回避するための車両制御方法（舵角調整や速度調整）を示す制御命令や、運転者に警報を出力する命令を示す情報を生成する。
　さらに、車両制御方法決定部１０９は、前記マップ情報から走行可能領域を抽出して舵角調整や速度調整を行いながら自動的に走行可能領域を走行するための車両制御方法を示す制御命令を生成する機能を併せて実現する。
　ここで、前記自動的に走行可能領域を走行するための車両制御方法を示す制御命令を生成する際における速度調整の調整量は、車両挙動センサ情報診断及び挙動情報選択部１０８で診断される車両挙動センサの状態を参照して、車両挙動センサの状態に応じて任意に設定される制限値で制限されるようにしておく。例えば、全ての車両挙動センサの状態が良好な場合（例えば、ステップ３１０に到った場合）、通常走行状態（例えば、高速道路なら最高速度を１００ｋｍ／ｈ＝道路規制の最高制限速度を目標）とする。また、全ての車両挙動センサうち少なくとも一つの車両挙動センサの状態に問題があるが相関性のある他の車両挙動センサから算出した代替情報の精度が高いと判断される場合（例えば、ステップ３０４においてＹＥＳで進んでステップ３１２に到った場合）では、中速走行状態（例えば、高速道路なら最高速度を５０ｋｍ／ｈ＝道路規制の最低制限速度を目標）とすることで、車両挙動情報の不確実性により発生する将来の車両の予測軌道と実際の軌道ずれ量を、一回の処理単位時間の観点で小さくして、ずれ量を吸収するように制御量を調整することで容易に修正できるようにする。さらに、車両挙動センサから算出した代替情報の精度が低い判断される状態（例えば、ステップ３０７においてＮＯで進んでステップ３１２に到った場合や、ステップ３０８に到った場合）では、ハザードランプを点灯させるなど他の交通に注意を促しつつ低速走行状態（例えば、最高速度を１０ｋｍ／ｈ＝徐行程度）とすることで、前記中速走行状態よりもさらに軌道のずれを容易に修正できるようにする。この処理について図４を参照してさらに説明する。
　図４は、図１に示した車両挙動センサ情報診断及び挙動情報選択部１０８による診断結果を利用した、車両制御方法決定部１０９での処理の一例を示すフローチャートである。
　まず、ステップ４０１では、車両挙動センサ（例えば、ヨーレートセンサ）の状態が良好であるか、即ち、図３のステップ３１０による車両挙動センサの状態が良好である旨の通知を受けたかを判定する。ステップ４０１で良好と判定された場合には、ステップ４１０に進む。ステップ４１０では、上述の通常走行状態の制御を行うよう設定し、また、閾値Ｃを初期値に設定する。その後、ステップ４１１では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。
　ステップ４０１で良好でないと判定された場合には、ステップ４０２に進む。ステップ４０２において、ＮＯ回数とは、ステップ４０１の判定でＮＯ（車両挙動センサの状態が良好でない）となった回数である。ステップ４０２では、このＮＯ回数が閾値Ｃよりも少ないかを判定する。これは、通常走行状態、中速走行状態、低速走行状態の移行がノイズの影響で頻繁に起こらないように制御状態の判定にヒステリシスを設けているものである。
　ステップ４０２において、ＮＯ回数が閾値Ｃよりも少ない場合には、ステップ４１０に進む。ステップ４１０では、上述の通常走行状態の制御を行うよう設定し、また、閾値Ｃを初期値に設定する。その後、ステップ４１１では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。
　ステップ４０２において、ＮＯ回数が閾値Ｃ以上である場合には、ステップ４０３に進む。
　ステップ４０３では、閾値Ｃを初期値よりも小さい値に変更し、その後ステップ４０４に進む。
　続いて、ステップ４０４では、代替センサである他の車両挙動センサ（例えば、左右の車輪速センサ）の検出結果から算出した代替情報（例えば、代替ヨーレート情報Ｙｒｓｐ）が良好であるか、即ち、図３のステップ３０４でＹＥＳ判定となりステップ３１２に進んだ場合または図３のステップ３０５でＹＥＳ判定となりステップ３１２に進んだ場合のステップ３１２による他の車両挙動センサの検出結果から算出した代替情報（例えば、代替ヨーレート情報Ｙｒｓｐ）が良好である旨の通知を受けたかを判定する。ステップ４０４で良好と判定された場合には、ステップ４１２に進む。ステップ４１２では、上述の中速走行状態の制御を行うよう設定し、また、閾値Ｄを初期値に設定する。その後、ステップ４１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。
　ステップ４０４で良好でないと判定された場合には、ステップ４０５に進む。ステップ４０５において、ＮＯ回数とは、ステップ４０４の判定でＮＯ（他の車両挙動センサの検出結果から算出した代替情報が良好でない）となった回数である。ステップ４０５では、このＮＯ回数が閾値Ｄよりも少ないかを判定する。これは、通常走行状態、中速走行状態、低速走行状態の移行がノイズの影響で頻繁に起こらないように制御状態の判定にヒステリシスを設けているものである。
　ステップ４０５において、ＮＯ回数が閾値Ｄよりも少ない場合には、ステップ４１２に進む。ステップ４１２では、上述の中速走行状態の制御を行うよう設定し、また、閾値Ｄを初期値に設定する。その後、ステップ４１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。
　ステップ４０５において、ＮＯ回数が閾値Ｄ以上である場合には、ステップ４０６に進む。
　ステップ４０６では、閾値Ｄを初期値よりも小さい値に変更し、その後ステップ４０７に進む。
　ステップ４０７では、上述の低速走行状態の制御を行うよう設定する。その後、ステップ４０８では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。
　なお、前記低速走行状態では、主な車両挙動情報として車両挙動情報推定部１０６で推定される車両挙動情報を利用することを想定しているが、車両挙動情報推定部１０６で推定される車両挙動情報を生成する為の静止物体の捕捉状態が良好で安定的に車両挙動情報を取得できる場合では、車両の制御へのフィードバックが十分機能する頻度で車両挙動情が更新できる（即ち、高いフレームレートで撮像部１０１ａ、１０１ｂが駆動され、それに見合った頻度で車両挙動情報を取得できる）範囲で、前記低速走行状態での最高速度の設定を変更するようにしてもよい。
　また、車両の自動制御において、舵角の制御量の制限については、車両固有の旋回性能を考慮して、走行速度に応じた舵角の制限値を設ける。
　図１の説明に戻り、車両制御命令インターフェース１１０は、車両制御方法決定部１０９で生成された車両制御方法を示す制御命令や、運転者に警報を出力する命令を示す情報、を外部（例えば、不図示の各種電子制御装置）に出力する為のインターフェースであり、例えばＣＡＮなどの通信ネットワークに接続され、ネットワークのプロトコルに従って車両制御方法決定部１０９で生成された車両制御方法を示す制御命令や、運転者に警報を出力する命令を示す情報を出力する。各種電子制御装置では、この車両制御命令インターフェース１１０を介して得た各種命令に従い、車両の自動制御を実行可能である。
　上述の撮像装置１００において、撮像部１０１ａ、１０１ｂについては、光学レンズと撮像素子の組み合わせで構築され、撮像部１０１ａ、１０１ｂの撮像結果（撮影画像）を分析する外界認識処理（例えば、物体抽出部１０２、障害物及びレーン情報抽出部１０３、マップ情報生成及び障害物相対速度情報抽出部１０４、静止物体情報抽出部１０５）、外界認識結果からえられる過去から現在までの実際の車両挙動情報（例えば、車両挙動情報推定部１０６によって得る）を利用した挙動センサの状態を診断処理（例えば、車両挙動センサ情報診断及び挙動情報選択部１０８）、適切な車両挙動情報の選択処理（例えば、車両挙動センサ情報診断及び挙動情報選択部１０８）、将来の挙動予測処理（例えば、車両制御方法決定部１０９）、車両挙動センサの状態に応じた適切な車両制御命令の生成処理（例えば、車両制御方法決定部１０９）を行う一連の処理については、演算処理を行うハードウェアロジックとマイクロコンピュータ等の演算手段と演算処理プログラムを組み合わせることで構築される。
　上述の撮像装置１００によれば、撮像部１０１ａ、１０１ｂの撮像結果（撮影画像）を分析することで得た外界認識結果から過去から現在までの実際の車両挙動情報を把握して、実際の車両挙動情報を用いて車両挙動センサの状態を診断することが可能となる。
　さらに、上述の撮像装置１００によれば、診断結果に基づいて適切な車両挙動情報を選択することで、適切に将来の挙動予測を行うことが可能となるため、車両挙動センサの状態に応じた適切な車両制御命令を生成することができる。
　図５は、本発明の実施例２に係る撮像装置の構成を示すブロック図である。図５において、図１に示した実施例１と同様の構成については、同じ参照番号を付して詳しい説明を省略する。
　実施例２に係る撮像装置５００では、実施例１に係る撮像装置１００の撮像部１０１ａ及び１０１ｂに代えて、アクティブレーダ部５０１及び撮像部５０２を設けている。
　撮像部５０２は撮像部１０１ｂと同様の構成である。アクティブレーダ部５０１は、電磁波、レーザ等を照射し、その反射波を受信することで対象物までの距離情報を取得する装置である。
　実施例１では外界情報の把握の目的で撮像部１０１ａ及び１０１ｂの２つの撮像部を設けてステレオマッチング処理を行うようにしているが、本発明はこれに限られるものではなく、外界情報が把握できる構成を有すればよく、例えば、図５に示すように、物体抽出の為の外界センサとしてアクティブレーダ部５０１を備える構成であってもよい。
　撮像装置５００では、アクティブレーダ部５０１によって得た距離情報を利用して、対象物までの距離や、対象物との相対速度情報を抽出し、撮像部５０２で取得する画像情報から対象物の存在する方向と物体の識別を行うようにしている。
　＜付記１＞
  なお、以上説明した実施例は、
  １．
  車両の周囲の画像を取得する画像取得部（例えば、撮像部１０１ａ、１０１ｂ、５０２）と、
　前記画像取得部で取得した画像に基づいて前記車両の挙動情報を推定する車両挙動推定部（例えば、車両挙動情報推定部１０６）と、
　車両挙動センサ（例えば、ヨーレートセンサ、車速センサ、加速度センサ）で検知された前記車両の挙動情報を取得する車両挙動取得部（例えば、車両挙動センサ情報取得インターフェース１０７）と、
　前記車両挙動取得部で取得した挙動情報と前記車両挙動推定部で推定した挙動情報とを比較することで、前記車両挙動センサの異常を検知する異常検知部（例えば、車両挙動センサ情報診断及び挙動情報選択部１０８）と、を備えることを特徴とする撮像装置、としたので、・車両挙動センサの不具合が生じたときに、その異常を検知することで、その補完的役割を果たし得る撮像装置を提供することができる。
　また、以上説明した実施例は、
  ２．
  １．に記載の撮像装置であって、
  前記異常検知部で異常を検知した場合、前記車両挙動取得部で取得した挙動情報か、前記車両挙動推定部で推定した挙動情報か、を選択する車両挙動情報選択部（例えば、車両挙動センサ情報診断及び挙動情報選択部１０８）と、を備えることを特徴とする撮像装置、としたので、・異常のある挙動情報を選択しないことで、誤った制御を行わないようにすることができる場合がある。
　また、以上説明した実施例は、
  ３．
  ２．に記載の撮像装置であって、
  前記画像取得部で取得した画像から外界情報を抽出する外界情報抽出部（例えば、物体抽出部１０２、障害物及びレーン情報抽出部１０３、マップ情報生成及び障害物相対速度情報抽出部１０４、静止物体情報抽出部１０５）と、
  前記車両挙動情報選択部で選択された挙動情報と、前記外界情報抽出部で抽出した外界情報と、に基づいて、前記車両の制御内容を決定する制御方法決定部（例えば、車両制御方法決定部１０９）と、を備えることを特徴とする撮像装置、としたので、・異常のある挙動情報を選択しないことで、正しい制御内容を決定することができる場合がある。
　また、以上説明した実施例は、
  ４．
  ３．に記載の撮像装置であって、
  前記車両挙動センサは複数の車両挙動センサであり、
  前記車両挙動取得部は、前記複数の車両挙動センサのそれぞれで検知された前記車両の挙動情報を取得するものであり、
  前記異常検知部は、前記複数の車両挙動センサのうちの一の車両挙動センサの異常を検知した場合に、前記車両挙動取得部で取得した前記複数の車両挙動センサのうちの前記一の車両挙動センサとは異なる他の車両挙動センサで検知された前記車両の挙動情報と、前記車両挙動推定部で推定した挙動情報と、を比較することで、前記他の車両挙動センサの診断を行うものであり、
  前記制御方法決定部は、前記異常検知部による前記他の車両挙動センサの診断結果に基づいて、前記制御内容を決定する、ことを特徴とする撮像装置、としたので、・代替センサ（他の車両挙動センサ）の異常も考慮して、正しい制御を実行することができる場合がある。
　また、以上説明した実施例は、
  ５．
  ４．に記載の撮像装置であって、
  前記制御方法決定部は、前記異常検知部による前記他の車両挙動センサの診断結果が良好であった場合、前記他の車両挙動センサで検知された前記車両の挙動情報に基づいて、前記制御内容を決定する、ことを特徴とする撮像装置、としたので、・代替センサ（他の車両挙動センサ）の異常に応じて、正しい制御を実行することができる場合がある。
　また、以上説明した実施例は、
  ６．
  ４．に記載の撮像装置であって、
  前記制御方法決定部は、前記異常検知部による前記他の車両挙動センサの診断結果が良好でなかった場合、前記車両挙動推定部で推定した挙動情報に基づいて、前記制御内容を決定する、ことを特徴とする撮像装置、としたので、・代替センサ（他の車両挙動センサ）の異常に応じて、正しい制御を実行することができる場合がある。
　また、以上説明した実施例は、
  ７．
  ３．に記載の撮像装置であって、
  前記画像取得部は複数の撮像部であり、
  前記外界情報抽出部は、前記複数の撮像部で取得した画像から外界情報を抽出する、ことを特徴とする撮像装置、としたので、・複数の撮像部を有するという簡単な構成でステレオ撮影を行い、高精度で外界情報を抽出することができる場合がある。
　また、以上説明した実施例は、
  ８．
  １．に記載の撮像装置であって、
  前記画像取得部は複数の撮像部であり、
  前記車両挙動推定部は、前記複数の撮像部で取得した画像に基づいて前記車両の挙動情報を推定する、ことを特徴とする撮像装置、としたので、・複数の撮像部を有するという簡単な構成でステレオ撮影を行い、高精度で車両の挙動情報を推定することができる場合がある。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１０１ａ…撮像部、１０１ｂ…撮像部、１０２…物体抽出部、１０３…障害物及びレーン情報抽出部、１０４…マップ情報生成及び障害物相対速度情報抽出部、１０５…静止物体情報抽出部、１０６…車両挙動情報推定部、１０７…車両挙動センサ情報取得インターフェース、１０８…車両挙動センサ情報診断及び挙動情報選択部、１０９…車両制御方法決定部、１１０…車両制御命令インターフェース、５０１…アクティブレーダ部、５０２…撮像部。

Claims (8)

  1. 　車両の周囲の画像を取得する画像取得部と、
    　前記画像取得部で取得した画像に基づいて前記車両の挙動情報を推定する車両挙動推定部と、
    　車両挙動センサで検知された前記車両の挙動情報を取得する車両挙動取得部と
    　前記車両挙動取得部で取得した挙動情報と前記車両挙動推定部で推定した挙動情報とを比較することで、前記車両挙動センサの異常を検知する異常検知部と、を備えることを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記異常検知部で異常を検知した場合、前記車両挙動取得部で取得した挙動情報か、前記車両挙動推定部で推定した挙動情報か、を選択する車両挙動情報選択部と、を備えることを特徴とする撮像装置。
  3. 　請求項２に記載の撮像装置であって、
    　前記画像取得部で取得した画像から外界情報を抽出する外界情報抽出部と、
    　前記車両挙動情報選択部で選択された挙動情報と、前記外界情報抽出部で抽出した外界情報と、に基づいて、前記車両の制御内容を決定する制御方法決定部と、を備えることを特徴とする撮像装置。
  4. 　請求項３に記載の撮像装置にあって、
    　前記車両挙動センサは複数の車両挙動センサであり、
    　前記車両挙動取得部は、前記複数の車両挙動センサのそれぞれで検知された前記車両の挙動情報を取得するものであり、
    　前記異常検知部は、前記複数の車両挙動センサのうちの一の車両挙動センサの異常を検知した場合に、前記車両挙動取得部で取得した前記複数の車両挙動センサのうちの前記一の車両挙動センサとは異なる他の車両挙動センサで検知された前記車両の挙動情報と、前記車両挙動推定部で推定した挙動情報と、を比較することで、前記他の車両挙動センサの診断を行うものであり、
    　前記制御方法決定部は、前記異常検知部による前記他の車両挙動センサの診断結果に基づいて、前記制御内容を決定する、ことを特徴とする撮像装置。
  5. 　請求項４に記載の撮像装置にあって、
    　前記制御方法決定部は、前記異常検知部による前記他の車両挙動センサの診断結果が良好であった場合、前記他の車両挙動センサで検知された前記車両の挙動情報に基づいて、前記制御内容を決定する、ことを特徴とする撮像装置。
  6. 　請求項４に記載の撮像装置にあって、
    　前記制御方法決定部は、前記異常検知部による前記他の車両挙動センサの診断結果が良好でなかった場合、前記車両挙動推定部で推定した挙動情報に基づいて、前記制御内容を決定する、ことを特徴とする撮像装置。
  7. 　請求項３に記載の撮像装置であって、
    　前記画像取得部は複数の撮像部であり、
    　前記外界情報抽出部は、前記複数の撮像部で取得した画像から外界情報を抽出する、ことを特徴とする撮像装置。
  8. 　請求項１に記載の撮像装置であって、
    　前記画像取得部は複数の撮像部であり、
    　前記車両挙動推定部は、前記複数の撮像部で取得した画像に基づいて前記車両の挙動情報を推定する、ことを特徴とする撮像装置。
PCT/JP2017/026031 2016-08-05 2017-07-19 撮像装置 WO2018025632A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780033000.3A CN109195849B (zh) 2016-08-05 2017-07-19 摄像装置
EP17836738.9A EP3495222A4 (en) 2016-08-05 2017-07-19 IMAGE CAPTURE DEVICE
US16/307,557 US10810448B2 (en) 2016-08-05 2017-07-19 Image-capturing device
JP2018531819A JP6663622B2 (ja) 2016-08-05 2017-07-19 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-154188 2016-08-05
JP2016154188 2016-08-05

Publications (1)

Publication Number Publication Date
WO2018025632A1 true WO2018025632A1 (ja) 2018-02-08

Family

ID=61072705

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/026031 WO2018025632A1 (ja) 2016-08-05 2017-07-19 撮像装置

Country Status (5)

Country Link
US (1) US10810448B2 (ja)
EP (1) EP3495222A4 (ja)
JP (1) JP6663622B2 (ja)
CN (1) CN109195849B (ja)
WO (1) WO2018025632A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021165125A (ja) * 2020-05-25 2021-10-14 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 車両のブレーキ方法、装置及び車両の制御機器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016116964B4 (de) * 2016-09-09 2019-05-16 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Vorrichtung zum Warnen eines Fahrzeugführers eines Fahrzeugs vor einem stationären Objekt sowie Fahrzeug mit einer solchen Vorrichtung
JP7119720B2 (ja) * 2018-07-30 2022-08-17 株式会社デンソー 運転支援装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1178946A (ja) * 1997-09-16 1999-03-23 Honda Motor Co Ltd 車両の自動操舵装置
JPH11281352A (ja) * 1998-03-31 1999-10-15 Nissan Motor Co Ltd 道路形状検出装置
JP2008186344A (ja) * 2007-01-31 2008-08-14 Fuji Heavy Ind Ltd 先行車両検出装置
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63221228A (ja) 1987-03-10 1988-09-14 Mazda Motor Corp 車両制御装置の故障診断装置
JP3478078B2 (ja) 1997-08-21 2003-12-10 トヨタ自動車株式会社 車両の状態量検出装置
DE19736965C1 (de) 1997-08-25 1999-05-06 Mannesmann Vdo Ag Verfahren und Anordnung zur Überprüfung der Gierrate eines sich bewegenden Objektes
JP3652094B2 (ja) 1998-01-20 2005-05-25 キヤノン株式会社 シート搬送装置並びにこれを備えた画像読取装置および画像形成装置
DE102004019832B3 (de) 2004-04-23 2005-11-03 Audi Ag Verfahren zur Analyse und Regelung der Fahrdynamik eines Kraftfahrzeugs sowie Kraftfahrzeug zur Durchführung des Verfahrens
JP4884056B2 (ja) 2005-06-09 2012-02-22 三菱電機株式会社 車両用操舵制御装置
DE102006036921A1 (de) 2005-08-05 2007-04-12 Continental Teves Ag & Co. Ohg Verfahren zum Stabilisieren eines Kraftfahrzeugs und Fahrdynamikregelsystem
WO2009084134A1 (ja) * 2007-12-28 2009-07-09 Mitsubishi Electric Corporation ナビゲーション装置
JP4683240B2 (ja) * 2008-06-03 2011-05-18 株式会社デンソー 自動車用情報提供システム
JP5168601B2 (ja) * 2010-03-31 2013-03-21 アイシン・エィ・ダブリュ株式会社 自車位置認識システム
JP2011232168A (ja) 2010-04-27 2011-11-17 Clarion Co Ltd ナビゲーション装置
US8694224B2 (en) * 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction
CN104584097B (zh) * 2012-08-09 2017-04-05 丰田自动车株式会社 物体检测装置和驾驶辅助装置
JP2015230566A (ja) * 2014-06-04 2015-12-21 トヨタ自動車株式会社 運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1178946A (ja) * 1997-09-16 1999-03-23 Honda Motor Co Ltd 車両の自動操舵装置
JPH11281352A (ja) * 1998-03-31 1999-10-15 Nissan Motor Co Ltd 道路形状検出装置
JP2008186344A (ja) * 2007-01-31 2008-08-14 Fuji Heavy Ind Ltd 先行車両検出装置
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3495222A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021165125A (ja) * 2020-05-25 2021-10-14 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 車両のブレーキ方法、装置及び車両の制御機器

Also Published As

Publication number Publication date
US10810448B2 (en) 2020-10-20
JP6663622B2 (ja) 2020-03-13
CN109195849B (zh) 2021-09-07
EP3495222A4 (en) 2020-03-11
CN109195849A (zh) 2019-01-11
EP3495222A1 (en) 2019-06-12
US20190303690A1 (en) 2019-10-03
JPWO2018025632A1 (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
US10832578B2 (en) System and method for collision prevention
US9797734B2 (en) Object recognition apparatus
US10761536B2 (en) Action planning device having a trajectory generation and determination unit
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
EP3134888B1 (en) False warning reduction using location data
US10489664B2 (en) Image processing device, device control system, and computer-readable storage medium
CN107571866B (zh) 用于分析传感器数据的方法
US10583816B2 (en) Lane departure prevention device
JP6623311B2 (ja) 制御装置及び制御方法
WO2016158278A1 (ja) 車両制御装置、及び車両制御方法
CN110371018B (zh) 使用其他车辆车灯的信息改善车辆行为
JP2008123462A (ja) 物体検知装置
JP6174644B2 (ja) 画像処理装置
CN108263376B (zh) 自动泊车系统和自动泊车方法
KR20170079096A (ko) 지능형 차량용 블랙박스
WO2018025632A1 (ja) 撮像装置
JP2024518934A (ja) 車両ナビゲーション中の光干渉検出
KR20160131196A (ko) 장애물 감지 장치
JP5440292B2 (ja) 車両制御装置
US20230182722A1 (en) Collision avoidance method and apparatus
JP5459002B2 (ja) 車両制御装置
JP2019172032A (ja) 自動制動装置
CN113591673A (zh) 用于识别交通标志的方法和设备
JP6570302B2 (ja) 運転支援装置
US10867397B2 (en) Vehicle with a driving assistance system with a low power mode

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018531819

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17836738

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017836738

Country of ref document: EP

Effective date: 20190305