WO2020075476A1 - 車載システム - Google Patents

車載システム Download PDF

Info

Publication number
WO2020075476A1
WO2020075476A1 PCT/JP2019/036911 JP2019036911W WO2020075476A1 WO 2020075476 A1 WO2020075476 A1 WO 2020075476A1 JP 2019036911 W JP2019036911 W JP 2019036911W WO 2020075476 A1 WO2020075476 A1 WO 2020075476A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
unit
sensor
image processing
external world
Prior art date
Application number
PCT/JP2019/036911
Other languages
English (en)
French (fr)
Inventor
雅士 高田
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP19870226.8A priority Critical patent/EP3865815A4/en
Priority to JP2020550295A priority patent/JPWO2020075476A1/ja
Publication of WO2020075476A1 publication Critical patent/WO2020075476A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an in-vehicle system, and more particularly to an in-vehicle system using image processing technology in stereo vision.
  • FIG. 17 shows the principle of stereoscopic vision.
  • the specifications of the two cameras are the same, and their optical axes are parallel to the xz plane (the y coordinates are the same, not shown). If the base line length between the two cameras is b and the focal length of the cameras is f, the distance zd of the object P in the z-axis direction can be obtained from the following calculation formula (1).
  • xl and xr are x-coordinates (pixel positions) of the object P projected on the images of the two cameras, and the pixel position difference (xl-xr) is called parallax.
  • the distance of the object is calculated based on the parallax, so it is necessary to detect the correct corresponding points (xl, xr) between the images of the object.
  • an image of a camera is used as a reference image and an image of another camera is used as a search target image, and a pixel block composed of a plurality of pixel regions in the reference image has the highest correlation in the search target image.
  • a method of searching for a high pixel block is generally used. There are methods such as SAD (Sum of Absolute Difference) and SSD (Sum of Squared Difference) for calculating the correlation value of the pixel block.
  • the processing time for pixel block search depends on the amount of calculation of the correlation value, the angle of view for distance measurement, and the detectable distance.
  • the angle of view for distance measurement is determined by the pixel area (the number of horizontal pixels ⁇ the number of vertical pixels) in the reference image, and the detectable distance is determined by the pixel search width (the number of horizontal pixels) in the search target image. Therefore, it takes a lot of processing time to detect an object from a short distance to a long distance within a wide angle of view.
  • demands for driving assistance and automatic driving have increased, but in applications of driving assistance and automatic driving that require high real-time property from imaging to recognition, reduction of the processing time is an important issue.
  • Patent Document 1 discloses a technique of changing the angle of view for distance measurement according to the traveling state and the surrounding environment. Specifically, when the vehicle speed is high, it is assumed that it is likely that the vehicle is traveling on a motorway, and the angle of view for distance measurement is narrowed, or according to the bend of the road obtained from the vehicle position and map information. It has been shown that the processing time can be shortened by changing the angle of view for distance measurement.
  • Patent Document 1 The prior art disclosed in Patent Document 1 is a method of changing the angle of view for distance measurement based on the current vehicle speed and position information, but it is often found on ordinary roads such as low vehicle speed and vehicle position at intersections.
  • the angle of view of the distance measurement cannot be changed under certain circumstances.
  • a plurality of sensors including a stereo camera are mounted on a vehicle as a means for realizing advanced driving support and automatic driving.
  • the requirements and the configuration based on the requirements vary depending on the vehicle type and the option, and therefore, the angle of view suitable for each configuration and the detectable distance (hereinafter, the angle of view and the distance may be collectively referred to as a range. ), A stereo camera and its control technology are required.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to appropriately control the angle of view for distance measurement and the detectable distance during stereoscopic viewing, thereby reducing costs and achieving various sensor configurations. It is to provide an in-vehicle system capable of adapting to.
  • an in-vehicle system is based on an external world detection unit including at least one sensor that detects an observation target object around the vehicle, and a detection result of the external world detection unit.
  • An outside world recognition unit that recognizes the surrounding environment of the vehicle, a vehicle plan determination unit that generates a vehicle trajectory plan based on the recognition result of the outside world recognition unit, and a vehicle behavior based on the trajectory plan of the vehicle plan determination unit.
  • a vehicle control unit for controlling wherein the external environment detection unit includes an image processing device that detects an observation target object by stereoscopic vision as the sensor, and the image processing device is the vehicle plan determination unit. Change the range of stereoscopic vision based on at least one of the trajectory plan, sensor configuration information of the external world detection unit, or sensor reliability with respect to the detection result of the external world detection unit. That.
  • an in-vehicle system capable of reducing costs and adapting to various sensor configurations by appropriately controlling an angle of view for distance measurement and a detectable distance during stereoscopic viewing. it can.
  • FIG. 1 It is a figure which shows the structural example of the vehicle-mounted system which concerns on the 1st Embodiment of this invention. It is a figure which shows the structural example of the external world detection part shown in FIG. It is a figure which shows the structural example of the distance detection part shown in FIG. It is a figure which shows the register setting of a distance detection part, and the relationship of processing time. It is a figure which illustrates the range which can be stereo-viewed by an image processing device, and the trajectory of a trajectory plan in space. It is a figure which illustrates the range of the stereoscopic vision changed based on a trajectory plan in space. It is a figure which illustrates the range of the stereoscopic vision changed based on a trajectory plan in space.
  • FIG. 1 It is a flowchart which shows the example of a processing flow which controls the processing load of the stereoscopic vision in the vehicle-mounted system which concerns on the 1st Embodiment of this invention. It is a figure which shows the structural example of the vehicle-mounted system which concerns on the 2nd, 3rd embodiment of this invention. It is a figure which shows the structural example of the external world detection part shown in FIG. It is a figure which illustrates the range which can be stereo-viewed by an image processing device, the range which can be detected by other sensors, and the trajectory of a trajectory plan in space. It is a figure which illustrates the range of the stereoscopic vision changed based on a trajectory plan and sensor composition information in space.
  • FIG. 1 is a configuration example of an in-vehicle system 1 according to the first embodiment of the present invention.
  • the in-vehicle system 1 of the illustrated embodiment includes an external world detection unit 10, an external world recognition unit 20, a vehicle plan determination unit 30, and a vehicle control unit 40, and is mounted on a vehicle 2.
  • FIG. 2 shows a configuration example of the external world detection unit 10 shown in FIG.
  • the external world detection unit 10 uses an image processing device (also referred to as a stereo camera) 100 that detects and recognizes an observation target by stereoscopic vision as a sensor for detecting an observation target around the vehicle 2 (outside).
  • the image processing apparatus 100 includes camera units 110A and 110B, an image correction unit 120, a distance detection unit 130, an image recognition unit 140, and an image processing control unit 150.
  • the image processing apparatus 100 (the camera units 110A and 110B of the image processing apparatus 100) is installed in front of the windshield so that a predetermined area in front of the vehicle 2 can be imaged.
  • the camera units 110A and 110B are composed of, for example, CCDs or CMOS image sensors, are arranged at positions where the baseline lengths are separated left and right (see FIG. 17), acquire a captured image including an observation target object, and provide the image correction unit 120 with the captured image.
  • the observation object is, for example, a vehicle, a pedestrian, a bicycle, an obstacle, a structure, a road sign, or the like.
  • the image correction unit 120 performs, for example, pixel defect correction, brightness correction, camera distortion correction, etc. on the captured images output by the camera units 110A and 110B so as to facilitate detection of an observation target object in stereo vision.
  • the corrected image is output to the distance detection unit 130.
  • the functions may be used.
  • the distance detection unit 130 uses the corrected image output from the image correction unit 120 to calculate the distance by stereoscopic vision, and outputs the result to the image recognition unit 140 as distance information. For the calculation of this distance, for example, the method such as SAD or SSD described above is used. As shown in FIG. 3, the distance detection unit 130 specifies a register 131 that specifies the reduction rate of the corrected image used for stereoscopic vision, a register 132 that specifies the position / size of the pixel area, and a search width at the time of search.
  • a register 133 and a register 134 for designating a search pixel pitch, a pixel block search unit 135 for detecting corresponding points according to these register settings, and a distance calculation unit 136 for calculating a distance from the detected corresponding points are provided. Since the processing time of the pixel block search is determined by the number of pixels as described above, the processing time is controlled by the settings of these registers 131 to 134.
  • register setting there is a method based on a table 137 (see FIG. 4) including a relationship between a set value prepared in advance and a processing time.
  • the processing time is in the relation of T1 ⁇ T2 ⁇ T3, and the time that can be assigned to the processing is T2 or less, the setting value of the stereoscopic range that most matches the request from the setting values # 1 or # 2.
  • the setting of the registers 131 to 134 in the distance detection unit 130 is executed by the image processing control unit 150 described later.
  • the image recognition unit 140 detects and recognizes the observation target object based on the corrected image output by the image correction unit 120 and the distance information output by the distance detection unit 130, and the result is recognized as recognition information to the external world recognition unit 20. Output.
  • the recognition information includes position information, type information, motion information, etc. of the detected observation target.
  • the position information is, for example, information indicating the direction and distance of the observation target object with respect to the vehicle 2.
  • the type information is, for example, information indicating the observation target object described above.
  • the motion information is, for example, information indicating a moving direction, a moving speed, a moving locus, etc. of a pedestrian or a bicycle such as wobbling, jumping out, crossing, and the like.
  • the image processing control unit 150 controls the settings of the camera unit 110 and the image correction unit 120 based on the corrected image output from the image correction unit 120.
  • the setting control is, for example, to adjust the exposure of the camera unit 110 or the correction value of the image correction unit 120 when the ambient brightness changes due to changes in weather or time.
  • the image processing control unit 150 sets a value in the registers 131 to 134 of the distance detection unit 130 based on the instruction information output from the vehicle plan determination unit 30 (described in detail later), thereby setting the stereoscopic range.
  • the external environment recognition unit 20 shown in FIG. 1 combines the map information around the vehicle 2 with the recognition information output from the external world detection unit 10 to generate environmental information about the vehicle 2 and output it to the vehicle plan determination unit 30.
  • the map information is, for example, road type, road shape, traffic rule, and the like.
  • the road type is information indicating a road attribute, and is, for example, an alley, a national road, a highway, or the like.
  • the road shape expresses a spatial shape of a road, a road, and the vicinity thereof (a sidewalk, etc.). Shapes, lane boundaries, lane junctions / merging points, shoulder shapes in road sections, road boundary shapes, stop line shapes, pedestrian crossing shapes, and the like.
  • a traffic rule is information that restricts the running of a vehicle, and includes, for example, signals, speed restrictions, lane attributes (passable direction, exclusive use of buses, passable time zones, etc.), lane boundary attributes (lane change availability, overtaking ability). Etc.), etc. are included and are basically managed in association with road types and road shapes.
  • the map information may be map information of a navigation device or the like (not shown) stored in the vehicle 2 in advance, or map information acquired from the outside.
  • the external world recognition unit 20 uses the captured image obtained by the external world detection unit 10 to display an image for allowing the driver of the vehicle 2 to recognize an observation target object, or a navigation device mounted on the vehicle 2. Information of the observation target may be provided to an information device (not shown) or the like.
  • the vehicle plan determination unit 30 determines the trajectory and speed of the vehicle 2 to be controlled based on the surrounding environment information of the vehicle 2 output by the external environment recognition unit 20 and the state information of the vehicle 2 output by the vehicle control unit 40. Generate the trajectory plan shown. Further, the vehicle plan determination unit 30 outputs target control information to the vehicle control unit 40 based on the trajectory plan, and outputs instruction information for controlling the processing load in stereoscopic view to the external world detection unit 10.
  • the state information of the vehicle 2 is, for example, the vehicle speed, acceleration, steering angle, yaw rate, etc. of the vehicle 2.
  • the vehicle control unit 40 (automatically) controls the behavior of the vehicle 2 based on the target control information output from the vehicle plan determination unit 30, and outputs the state information of the vehicle 2 to the vehicle plan determination unit 30.
  • the behavior control of the vehicle 2 is, for example, control of a brake, an accelerator, a steering angle, lighting of various lamps, a warning sound, and the like.
  • the vehicle control unit 40 controls the behavior of the vehicle 2 based on the target control information output from the vehicle plan determination unit 30, and the vehicle plan determination unit 30.
  • Values are set in the registers 131 to 134 of the distance detection unit 130 based on the instruction information output by the CPU (for example, based on the table 137 (see FIG. 4), the set value in which the range of stereoscopic vision best matches the request is selected. ), The range of stereoscopic vision is changed and the processing load is controlled.
  • FIG. 5 is an example in which the range 50 in which the external world detection unit 10 (the image processing apparatus 100 thereof) can stereoscopically view and the trajectory 70 of the trajectory plan generated by the vehicle plan determination unit 30 are shown in space.
  • the stereo viewable range 50 in the image processing apparatus 100 is a range in which stereoscopic view can be performed in principle using an image captured by the camera unit 110 of the image processing apparatus 100, and processing required by the image processing apparatus 100 is performed.
  • the range that can be executed in time is not always the same.
  • the range that can be executed within the required processing time depends on the processing performance of the image processing apparatus 100. Therefore, in order to reduce the cost of the product, only the necessary range is extracted from the stereo viewable range 50 and the stereo view is performed. It is effective to do.
  • the trajectory plan indicates the future operation of the vehicle 2, and as described above, the trajectory plan can be used to appropriately determine the range required for stereoscopic viewing of the image processing apparatus 100.
  • 6 and 7 are examples in which the stereoscopic ranges 51 and 52 changed based on the trajectory plan are shown in space. This is an example of a trajectory plan in which “the vehicle 2 goes straight to the intersection and then turns right”. However, at the position of the vehicle 2 in FIG. 6, the vehicle 2 is scheduled to go straight, and therefore (the image processing control unit 150 of the image processing apparatus 100). ), By setting the registers 131 to 134 of the distance detection unit 130 and narrowing the stereoscopic range to the range 51 in the straight-ahead direction (specifically, the range about the center of the left and right of the stereoscopic range 50), The processing time required for stereoscopic viewing can be reduced. On the other hand, at the position of the vehicle 2 in FIG.
  • a right turn is planned, so (the image processing control unit 150 of the image processing apparatus 100) sets the registers 131 to 134 of the distance detection unit 130 to turn right in the stereoscopic range.
  • the processing time required for stereo view can be reduced.
  • the range of the stereoscopic view is changed from the range 51 of FIG. 6 to the range 52 of FIG. 7 so that the processing times become equal, for example.
  • the vehicle plan determination unit 30 changes the The instruction information according to the changed trajectory plan is output to the external world detection unit 10, and the image processing device 100 (the image processing control unit 150) of the external world detection unit 10 outputs the instruction information output by the vehicle plan determination unit 30. Based on this, the range of stereoscopic vision can be changed and set.
  • FIG. 8 is an example of a processing flow for controlling the processing load of stereoscopic vision in the vehicle-mounted system 1 according to the first embodiment of the present invention.
  • step S100 the vehicle plan determination unit 30 acquires the surrounding environment information of the vehicle 2 output by the external world recognition unit 20 and the state information of the vehicle 2 output by the vehicle control unit 40.
  • step S101 the vehicle plan determination unit 30 generates a trajectory plan of the vehicle 2 from the information obtained in step S100.
  • step S102 the vehicle plan determination unit 30 determines instruction information for controlling the processing load in the stereoscopic vision executed by the external world detection unit 10 from the trajectory plan generated in step S101.
  • step S103 the external world detection unit 10 (the image processing control unit 150 of the image processing apparatus 100) sets the registers 131 to 134 of the distance detection unit 130 based on the instruction information output from the vehicle plan determination unit 30 in step S102. Then, the stereoscopic range is changed, and the stereoscopic view is executed (for example, the setting value in which the range of the stereoscopic view best matches the request is selected based on the table 137 (see FIG. 4)).
  • the in-vehicle system 1 mounted on the vehicle 2 includes the external world detection unit 10 that detects an observation target object around the vehicle, and the vehicle based on the detection result.
  • An external world recognition unit 20 that recognizes the surrounding state
  • a vehicle plan determination unit 30 that generates a vehicle trajectory plan based on the recognition result
  • a vehicle control unit 40 that controls the behavior of the vehicle based on the trajectory plan. It is provided, and the processing time can be reduced by controlling the range necessary for the stereoscopic view of (the image processing apparatus 100 of) the external world detection section 10 based on the trajectory plan generated by the vehicle plan determination section 30, and the vehicle can be reduced. It is possible to provide an external environment detection device that detects an object to be observed in the vicinity at low cost.
  • FIG. 9 is a configuration example of the vehicle-mounted system 1 according to the second embodiment of the present invention.
  • the vehicle-mounted system 1 of the illustrated embodiment includes an external world detection unit 11, an external world recognition unit 21, a vehicle plan determination unit 31, and a vehicle control unit 40, and is installed in a vehicle 2.
  • the vehicle control unit 40 in the second embodiment is the same as that described in the first embodiment, and therefore the description thereof is omitted below.
  • FIG. 10 shows a configuration example of the external world detection unit 11 shown in FIG.
  • the external world detection unit 11 is a sensor including a plurality of sensors 100 to 102 for detecting an observation target object around the vehicle 2 (the external world), including the image processing device 100 described in the first embodiment. It is composed of groups.
  • the sensors 101 and 102 are, for example, cameras (monocular camera, stereo camera), millimeter wave radar, lidar, and the like. Since the sensors 100 to 102 have different detectable objects, ranges, precisions, costs, etc., the external world detection unit 11 has a configuration in which the type and number of sensors are different depending on the vehicle type of the vehicle 2 and options.
  • the external world detection unit 11 detects and recognizes an observation target object around the vehicle 2 based on the information obtained from the plurality of sensors 100 to 102 including the image processing apparatus 100, and outputs the result to the external world recognition unit 21 as recognition information. .
  • the external world detection unit 11 (the image processing control unit 150 of the image processing apparatus 100 thereof) registers the distance detection unit 130 based on the instruction information output from the vehicle plan determination unit 31, as in the first embodiment. By setting the values to 131 to 134, the stereoscopic range of the image processing apparatus 100 is changed and the processing load (processing time) is controlled.
  • the external world recognition unit 21 uses the other sensor 101 as information to be combined with the map information around the vehicle 2 in the external world recognition unit 20 described in the first embodiment. , 102 also use the detection result (detection information).
  • the external environment recognition unit 21 combines the information obtained from the plurality of sensors 100 to 102 to improve the accuracy of the surrounding environment information of the vehicle 2.
  • the vehicle plan determination unit 31 determines the trajectory and speed of the vehicle 2 to be controlled based on the surrounding environment information of the vehicle 2 output by the external environment recognition unit 21 and the state information of the vehicle 2 output by the vehicle control unit 40. Generate the trajectory plan shown. Furthermore, the vehicle plan determination unit 31 outputs target control information to the vehicle control unit 40 based on the trajectory plan, and stereoscopic vision to the outside world detection unit 11 based on the trajectory plan and the sensor configuration information of the outside world detection unit 11. The instruction information for controlling the range (that is, the processing load in stereo viewing) is output.
  • the sensor configuration information of the external world detection unit 11 is, for example, the type of sensor, the mounting position, the detection range, the resolution, and the like, and is the information recorded in the recording area in advance.
  • the vehicle control unit 40 controls the behavior of the vehicle 2 based on the target control information output from the vehicle plan determination unit 31, and the vehicle plan determination unit 31.
  • 150 sets values in the registers 131 to 134 of the distance detection unit 130 based on the instruction information output from the vehicle plan determination unit 31 (for example, based on the table 137 (see FIG. 4), the range of the stereoscopic vision is the maximum). By selecting a setting value that meets the requirement), the stereoscopic range is changed and the processing load is controlled.
  • FIG. 11 is a range in which the image processing apparatus 100 and the other sensors 101 and 102 are mounted as the sensors of the external world detection unit 11 and the range in which the observation target can be detected by each sensor and the trajectory plan generated by the vehicle plan determination unit 31. 2 is an example in which the trajectory 70 of is shown in space.
  • the stereo viewable range 50 of the image processing apparatus (sensor) 100 is a range in which stereoscopic view can be performed in principle using an image captured by the camera unit 110 of the image processing apparatus 100, and is requested to the image processing apparatus 100.
  • the range that can be executed within the processing time is not always the same.
  • the range that can be executed within the required processing time depends on the processing performance of the image processing apparatus 100.
  • the sensor configuration information of the external world detection unit 11 is used in addition to the trajectory plan.
  • the image processing control unit 150 (of the image processing control unit 150 of the image processing apparatus 100).
  • the image processing control unit 150 sets the registers 131 to 134 of the distance detection unit 130, and the range 53 including the traveling direction of the vehicle 2 avoiding the overlap with the ranges 61 and 62 in the stereo viewable range 50 as shown in FIG.
  • the processing range required for stereoscopic viewing can be reduced and a long-distance observation target can also be detected by narrowing the stereoscopic viewing range to the left and right center of the stereoscopically visible range 50 and the farthest range.
  • the processing time for stereoscopic viewing can be allocated.
  • the trajectory plan generated by the vehicle plan determination unit 31 according to the surrounding environment of the vehicle 2 or the sensor configuration information of the external world detection unit 11 Is changed, the vehicle plan determination unit 31 outputs instruction information according to the changed trajectory plan and sensor configuration information to the external world detection unit 11, and the image processing device 100 (of the external world detection unit 11).
  • the image processing control unit 150 can change / set the stereoscopic range based on the instruction information output from the vehicle plan determination unit 31.
  • FIG. 13 is an example of a processing flow for controlling the processing load of stereoscopic vision in the vehicle-mounted system 1 according to the second embodiment of the present invention.
  • step S200 the vehicle plan determination unit 31 acquires the surrounding environment information of the vehicle 2 output by the external world recognition unit 21, the state information of the vehicle 2 output by the vehicle control unit 40, and the sensor configuration information of the external world detection unit 11.
  • step S201 the vehicle plan determination unit 31 generates a trajectory plan of the vehicle 2 from the information obtained in step S200.
  • step S202 the vehicle plan determination unit 31 determines instruction information for controlling the stereoscopic range executed by the external world detection unit 11 from the trajectory plan generated in step S201 and the sensor configuration information obtained in step S200.
  • step S203 the external world detection unit 11 (the image processing control unit 150 of the image processing apparatus 100) sets the registers 131 to 134 of the distance detection unit 130 based on the instruction information output from the vehicle plan determination unit 31 in step S202. Then, the range of stereoscopic vision is changed to execute stereoscopic vision.
  • the in-vehicle system 1 mounted on the vehicle 2 includes the external world detection unit 11 that detects an observation target object around the vehicle, and the vehicle based on the detection result.
  • An external world recognition unit 21 that recognizes the surrounding state
  • a vehicle plan determination unit 31 that generates a vehicle trajectory plan based on the recognition result
  • a vehicle control unit 40 that controls the behavior of the vehicle based on the trajectory plan.
  • the external world detection unit 11 controls the range necessary for stereoscopic viewing. Processing time can be reduced, and an external environment detection device suitable for various sensor configurations can be provided at low cost.
  • the range required for stereoscopic vision of the image processing apparatus 100 is determined using the trajectory plan generated by the vehicle plan determination unit 31 and the sensor configuration information of the external world detection unit 11.
  • the range required for stereoscopic viewing of the image processing apparatus 100 may be determined using only the sensor configuration information of the unit 11.
  • the external world detection unit 11 in the in-vehicle system 1 of the present embodiment includes various sensors. These sensors not only output the detection result and recognition information of the observation target object around the vehicle 2 to the external world recognition unit 21, but also the sensor.
  • the reliability of the detection result of itself (hereinafter sometimes referred to as sensor reliability) is also output to the external world recognition unit 21.
  • the reliability of the sensor is, for example, determined by periodic self-diagnosis, so that the reliability is always low when a permanent failure occurs, but the detection result may be due to the adhesion of raindrops or the irradiation of lights from oncoming vehicles. In the case of temporary deterioration, the reliability decreases only during the period when the problem occurs. Further, the reliability of the sensor does not need to be uniform for the sensor, and for example, the reliability may be set individually based on the detection accuracy of each observation target.
  • the external world recognition unit 21 uses the reliability output by the sensors in addition to the detection results and recognition information of various sensors as information to be combined with the map information around the vehicle 2. For example, when there are a sensor that outputs high reliability and a sensor that outputs low reliability for the same observation target, the external world recognition unit 21 selects the detection result of the sensor with high reliability, The accuracy of the observation target included in the surrounding environment information of the vehicle 2 is improved. Further, as the reliability of the detection result of the sensor described above, the reliability may be generated based on the history of the detection result by the external world recognition unit 21 without depending on the reliability output from the sensor. For example, if there is a sensor in which the position or distance of a certain observation target takes an abnormal value in time series, the sensor may be treated as having low reliability.
  • the vehicle plan determination unit 31 determines the trajectory and speed of the vehicle 2 to be controlled based on the surrounding environment information of the vehicle 2 output by the external environment recognition unit 21 and the state information of the vehicle 2 output by the vehicle control unit 40. Generate the trajectory plan shown. Furthermore, the vehicle plan determination unit 31 outputs target control information to the vehicle control unit 40 based on the trajectory plan, and at the same time, the outside world detection unit 11 based on the trajectory plan, the sensor configuration information of the outside world detection unit 11, and the sensor reliability. Outputs instruction information for controlling the range of stereoscopic vision (that is, the processing load in stereoscopic vision). As described above, the sensor reliability used for generating the instruction information is the sensor reliability output by the external world detection unit 11 or the sensor reliability generated by the external world recognition unit 21 based on the detection result output by the sensor. .
  • the vehicle control unit 40 controls the behavior of the vehicle 2 based on the target control information output from the vehicle plan determination unit 31, and the vehicle plan determination unit 31.
  • Generates instruction information for controlling the processing load in stereoscopic vision by comprehensively judging the generated trajectory plan of the vehicle 2, the sensor configuration information and the sensor reliability of the external world detection unit 11, and the external world detection unit 11 (image The image processing control unit 150) of the processing device 100 sets values in the registers 131 to 134 of the distance detection unit 130 based on the instruction information output from the vehicle plan determination unit 31 (for example, in the table 137 (see FIG. 4)). Based on this, the stereoscopic range is selected and the setting value that most matches the request is selected) to change the stereoscopic range and control the processing load.
  • FIG. 14 shows a vehicle configuration determination unit and a range in which each sensor can detect an observation target when the sensor 101 on the right side has a failure in the same sensor configuration as FIG.
  • the stereo viewable range 50 of the image processing apparatus (sensor) 100 is a range in which stereoscopic view can be performed in principle using an image captured by the camera unit 110 of the image processing apparatus 100, and is requested to the image processing apparatus 100.
  • the range that can be executed within the processing time is not always the same.
  • the range that can be executed within the required processing time depends on the processing performance of the image processing apparatus 100. Therefore, in order to reduce the cost of the product, only the necessary range is extracted from the stereo viewable range 50 and the stereo view is performed. It is effective to do.
  • the sensor configuration information and the sensor reliability of the external world detection unit 11 are used in addition to the trajectory plan.
  • the image processing apparatus 100 sets the registers 131 to 134 of the distance detection unit 130.
  • the stereo view range is changed to a range 54 including the traveling direction of the vehicle 2 shown in FIG. 15 (specifically, a range from the right end to the center of the stereo view range 50), and the stereo view processing time is changed.
  • the image processing apparatus (sensor) 100 having high reliability can substitute for the range to be detected by the sensor 101 having low reliability.
  • the processing time in order to make the processing time equal (in other words, suppress the increase) or reduce the processing time, the observation object at a long distance is excluded from the detection object.
  • the range 53 (a range including a short distance and a long distance) shown in FIG. 14 and the range 54 (a range including only a short distance) shown in FIG. 15 are switched in time series (for example, every several frames). Then, the image processing apparatus 100 may be controlled so that both ranges can be viewed in stereo.
  • the trajectory plan generated by the vehicle plan determination unit 31 according to the surrounding environment of the vehicle 2 or the sensor configuration information of the external world detection unit 11 (detection range, resolution, etc.).
  • the vehicle plan determination unit 31 outputs the changed trajectory plan, sensor configuration information, and instruction information according to the sensor reliability to the external world detection unit 11, and the external world detection unit.
  • the image processing apparatus 100 of 11 (the image processing control unit 150 thereof) can change and set the stereoscopic range based on the instruction information output from the vehicle plan determination unit 31.
  • FIG. 16 is an example of a processing flow for controlling the processing load of stereoscopic vision in the vehicle-mounted system 1 according to the third embodiment of the present invention.
  • step S300 the vehicle plan determination unit 31 determines the surrounding environment information of the vehicle 2 output by the external environment recognition unit 21, the state information of the vehicle 2 output by the vehicle control unit 40, the sensor configuration information of the external world detection unit 11, and the sensor reliability. To get.
  • step S301 the vehicle plan determination unit 31 generates a trajectory plan of the vehicle 2 from the information obtained in step S300.
  • step S302 the vehicle plan determination unit 31 determines whether or not there is a sensor whose sensor reliability obtained in step S300 is less than or equal to a threshold value.
  • step S302: Yes the process proceeds to step S303, and when there is no sensor whose sensor reliability is equal to or lower than the threshold (step S302: No), the process proceeds to step S305.
  • step S303 the vehicle plan determination unit 31 determines whether or not the detection range of the sensor whose sensor reliability is equal to or lower than the threshold is within the stereoscopic viewable range. If the detection range of the corresponding sensor is within the stereo viewable range (step S303: Yes), the process proceeds to step S304. If the detection range of the corresponding sensor is not within the stereo viewable range (step S303: No), It proceeds to step S305.
  • step S304 the vehicle plan determination unit 31 determines, based on the trajectory plan generated in step S301, the sensor configuration information of the external world detection unit 11 and the sensor reliability obtained in step S300, the range of stereoscopic vision executed by the external world detection unit 11. Determine the instruction information for controlling the.
  • step S305 the vehicle plan determination unit 31 determines the external world detection unit 11 from the trajectory plan generated in step S301 and the sensor configuration information of the external world detection unit 11 obtained in step S300, as in the second embodiment.
  • the instruction information for controlling the range of stereoscopic vision to be executed in is determined.
  • step S306 the external world detection unit 11 (the image processing control unit 150 of the image processing apparatus 100) sets the registers 131 to 134 of the distance detection unit 130 based on the instruction information output from the vehicle plan determination unit 31, and the stereo is detected. Perform stereo viewing by changing the viewing range.
  • the in-vehicle system 1 mounted on the vehicle 2 includes the external world detection unit 11 that detects an observation target object around the vehicle, and the vehicle based on the detection result.
  • An external world recognition unit 21 that recognizes the surrounding state
  • a vehicle plan determination unit 31 that generates a vehicle trajectory plan based on the recognition result
  • a vehicle control unit 40 that controls the behavior of the vehicle based on the trajectory plan.
  • the sensor configuration information of the external world detection unit 11, and the sensor reliability (reliability with respect to the detection result) the stereo of the external world detection unit 11 (the image processing apparatus 100).
  • the trajectory plan generated by the vehicle plan determination unit 31, the sensor configuration information of the external world detection unit 11, and the sensor reliability are used to determine the range required for stereoscopic viewing of the image processing apparatus 100.
  • the range required for stereoscopic vision of the image processing apparatus 100 may be determined using only the sensor reliability of the external world detection unit 11.
  • the present invention is not limited to the above-described embodiment, and various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described above.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of one embodiment can be added to the configuration of another embodiment.
  • the above-described respective configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them, for example, with an integrated circuit.
  • the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, and files that realize each function can be stored in a memory, a storage device such as a hard disk, SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
  • control lines and information lines are shown to be necessary for explanation, and not all control lines and information lines are shown on the product. In fact, it can be considered that almost all components are connected to each other.
  • In-vehicle system 2 Vehicles 10 and 11: External world detection unit 20, 21: External world recognition unit 30, 31: Vehicle plan determination unit 40: Vehicle control unit 50: Stereo viewable range 51 to 54: Changed stereoscopic view Ranges 61 and 62: Sensor detectable range 70: Track planning track 100: Image processing device (sensor) 101 and 102: Sensors 110A and 110B: Camera unit 120: Image correction unit 130: Distance detection units 131 to 134: Register 135: Pixel block search unit 136: Distance calculation unit 137: Table 140: Image recognition unit 150: Image processing control Department

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

ステレオ視の際に距離測定の画角、検出可能な距離を適切に制御することで、低コスト化と多様なセンサ構成の適合が可能な車載システムを提供する。車両周辺の観測対象物を検出する少なくとも一つのセンサを備える外界検出部と、外界検出部の検出結果に基づいて車両の周辺環境を認識する外界認識部と、外界認識部の認識結果に基づいて車両の軌道計画を生成する車両計画判断部と、車両計画判断部の軌道計画に基づいて車両の挙動を制御する車両制御部と、を有する車載システムであって、外界検出部は、センサとしてステレオ視によって観測対象物を検出する画像処理装置を備え、画像処理装置は、車両計画判断部の軌道計画、外界検出部のセンサ構成情報、又は外界検出部の検出結果に対するセンサ信頼度の少なくとも一つに基づいてステレオ視の範囲を変更する。

Description

車載システム
　本発明は、車載システムに係り、特にステレオ視における画像処理技術を用いた車載システムに関する。
　画像を用いた３次元計測技術として、ステレオカメラで撮像した画像から対象物の距離を求めるステレオ視の技術が知られている。図１７にステレオ視の原理を示す。ここでは、説明の簡単化のため、２台のカメラの仕様は同一であり、その光軸はｘｚ平面に平行である（ｙ座標は同一であり、図示しない）ものとする。２台のカメラ間の基線長をｂ、カメラの焦点距離をｆとすると、対象物Ｐのｚ軸方向の距離ｚｄは以下の計算式（１）から求めることができる。
（数１）
　ｚｄ＝ｂ×ｆ／（ｘｌ－ｘｒ）　・・・（１）
ここで、ｘｌ、ｘｒは２台のカメラの画像上に投影される対象物Ｐのｘ座標（画素位置）であり、画素位置の差分（ｘｌ－ｘｒ）を視差と呼ぶ。
　上記のようにステレオ視では視差に基づき対象物の距離を求めるため、対象物に対する画像間での正しい対応点（ｘｌ、ｘｒ）を検出する必要がある。この対応点の検出には、あるカメラの画像を基準画像、他のカメラの画像を探索対象画像とし、基準画像内の複数画素領域からなる画素ブロックに対して、探索対象画像内の最も相関の高い画素ブロックを探索する手法が一般に利用されている。画素ブロックの相関値の計算には例えばＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）等の方式がある。
　画素ブロック探索の処理時間は、相関値の計算量、距離測定の画角、検出可能な距離に依存する。距離測定の画角は基準画像内における画素領域（水平画素数×垂直画素数）で決まり、検出可能な距離は探索対象画像内における画素探索幅（水平画素数）で決まる。このため、広い画角内で近距離から遠距離までの対象物を検出するには処理時間が多くかかる。特に、近年では運転支援や自動運転の要求が高まっているが、撮像から認識までに高いリアルタイム性が要求される運転支援や自動運転の用途では、その処理時間削減が重要な課題となる。下記特許文献１では、走行状態や周辺環境に応じて距離測定の画角を変更する技術が開示されている。具体的には、車速が高速の場合に自動車専用道路を走行中の可能性が高いと想定して距離測定の画角を狭めたり、自車位置と地図情報から得られる道路の屈曲に合わせて距離測定の画角を変えたりすることで処理時間の短縮を図ることが示されている。
特開２０１７－１２９５４３号公報
　上記特許文献１で開示される従来技術は、現在の車速や位置情報に基づいて距離測定の画角を変更する手法であるが、車速が低速、自車位置が交差点、といった一般道で多く見受けられる状況において距離測定の画角を変更できない。また、自車や他車（自車周辺の車両）の将来の挙動を考慮せずに距離測定の画角を変更することは危険であり、結果として処理時間削減の効果が得られないことが多い。このため、高い処理能力または回路規模を有する演算回路を使用しなければならず、製品コストが増加してしまう。また、別の視点の課題としては、高度運転支援や自動運転の実現手段としてステレオカメラを含む複数のセンサを車両に搭載することが想定される。この場合、その要件や要件に基づく構成は車種やオプションによって異なるため、各構成において適した距離測定の画角、検出可能な距離（以降、画角と距離を合わせて範囲と記載することがある）を提供できるステレオカメラ及びその制御技術が要求される。
　本発明は、上記事情に鑑みてなされたものであり、その目的は、ステレオ視の際に距離測定の画角、検出可能な距離を適切に制御することで、低コスト化と多様なセンサ構成の適合が可能な車載システムを提供することにある。
　上記課題を解決するために、本発明の一実施形態に係る車載システムは、車両周辺の観測対象物を検出する少なくとも一つのセンサを備える外界検出部と、前記外界検出部の検出結果に基づいて車両の周辺環境を認識する外界認識部と、前記外界認識部の認識結果に基づいて車両の軌道計画を生成する車両計画判断部と、前記車両計画判断部の軌道計画に基づいて車両の挙動を制御する車両制御部と、を有する車載システムであって、前記外界検出部は、前記センサとしてステレオ視によって観測対象物を検出する画像処理装置を備え、前記画像処理装置は、前記車両計画判断部の軌道計画、前記外界検出部のセンサ構成情報、又は前記外界検出部の検出結果に対するセンサ信頼度の少なくとも一つに基づいて前記ステレオ視の範囲を変更する。
　本発明によれば、ステレオ視の際に距離測定の画角、検出可能な距離を適切に制御することで、低コスト化と多様なセンサ構成への適合が可能な車載システムを提供することができる。
　上記以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第１の実施形態に係る車載システムの構成例を示す図である。 図１に示す外界検出部の構成例を示す図である。 図２に示す距離検出部の構成例を示す図である。 距離検出部のレジスタ設定と処理時間の関係を示す図である。 画像処理装置でステレオ視可能な範囲と軌道計画の軌道を空間上に例示する図である。 軌道計画に基づいて変更したステレオ視の範囲を空間上に例示する図である。 軌道計画に基づいて変更したステレオ視の範囲を空間上に例示する図である。 本発明の第１の実施形態に係る車載システムにおけるステレオ視の処理負荷を制御する処理フロー例を示すフローチャートである。 本発明の第２、第３の実施形態に係る車載システムの構成例を示す図である。 図９に示す外界検出部の構成例を示す図である。 画像処理装置でステレオ視可能な範囲と他のセンサによって検出可能な範囲と軌道計画の軌道を空間上に例示する図である。 軌道計画とセンサ構成情報に基づいて変更したステレオ視の範囲を空間上に例示する図である。 本発明の第２の実施形態に係る車載システムにおけるステレオ視の処理負荷を制御する処理フロー例を示すフローチャートである。 画像処理装置でステレオ視可能な範囲と他のセンサによって検出可能な範囲と軌道計画の軌道を空間上に例示する図である。 軌道計画とセンサ構成情報とセンサ信頼度に基づいて変更したステレオ視の範囲を空間上に例示する図である。 本発明の第３の実施形態に係る車載システムにおけるステレオ視の処理負荷を制御する処理フロー例を示すフローチャートである。 ステレオ視の原理を示す図である。
　以下、本発明の実施形態について図面を参照して説明する。以下の説明では、各処理をプロセッサとメモリを用いて実行されることで実現しているが、プロセッサが行う処理の一部又は全部がハードウェア回路で行われても良い。
　また、以下の説明では、同種の要素を区別して説明する場合には、「カメラ部１１０Ａ」、「カメラ部１１０Ｂ」のように、参照符号を使用し、同種の要素を区別しないで説明する場合には、「カメラ部１１０」のように参照符号のうちの共通部分のみを使用することがある。
＜第１の実施形態＞
　図１は、本発明の第１の実施形態に係る車載システム１の構成例である。図示実施形態の車載システム１は、外界検出部１０、外界認識部２０、車両計画判断部３０、車両制御部４０で構成され、車両２に搭載される。
　図２に、図１に示す外界検出部１０の構成例を示す。外界検出部１０は、本例では、車両２周辺（外界）の観測対象物を検出するためのセンサとして、ステレオ視によって観測対象物を検出・認識する画像処理装置（ステレオカメラともいう）１００を備える。画像処理装置１００は、カメラ部１１０Ａ、１１０Ｂ、画像補正部１２０、距離検出部１３０、画像認識部１４０、画像処理制御部１５０で構成される。画像処理装置１００（のカメラ部１１０Ａ、１１０Ｂ）は、例えば車両２の前方の所定領域を撮像できるようにフロントガラスの手前に設置される。
　カメラ部１１０Ａ、１１０Ｂは、例えばＣＣＤやＣＭＯＳイメージセンサで構成され、左右に基線長分離れた位置に配置され（図１７参照）、観測対象物を含む撮像画像を取得して画像補正部１２０に出力する。観測対象物とは、例えば車両、歩行者、自転車、障害物、構造物、道路標識等である。
　画像補正部１２０は、カメラ部１１０Ａ、１１０Ｂが出力する撮像画像に対し、ステレオ視において観測対象物を検出しやすくなるよう、例えば画素欠陥の補正、輝度の補正、カメラの歪補正等を実施し、その補正後画像を距離検出部１３０に出力する。これらの機能がカメラ部１１０に備わっている場合は、その機能を利用しても良い。
　距離検出部１３０は、画像補正部１２０の出力する補正後画像を用いて、ステレオ視による距離の算出を行い、その結果を距離情報として画像認識部１４０に出力する。この距離の算出には、例えば前述したＳＡＤやＳＳＤ等の方式が用いられる。距離検出部１３０は、図３に示すように、ステレオ視に用いる補正後画像の縮小率を指定するレジスタ１３１と画素領域の位置・大きさを指定するレジスタ１３２、探索時の探索幅を指定するレジスタ１３３と探索画素ピッチを指定するレジスタ１３４、これらのレジスタ設定に従って対応点の検出を行う画素ブロック探索部１３５、検出した対応点から距離を計算する距離計算部１３６を備えている。前述のように画素ブロック探索の処理時間は画素数で決まるため、これらのレジスタ１３１～１３４の設定により、その処理時間が制御される。ここで、レジスタの設定の一例としては、予め用意した設定値と処理時間の関係を含むテーブル１３７（図４参照）に基づいて行う方法がある。例えば、処理時間がＴ１＜Ｔ２＜Ｔ３の関係であり、処理に割り当て可能な時間がＴ２以下とすると、設定値＃１または＃２の中から、ステレオ視の範囲が最も要求に合致する設定値を選択する。なお、距離検出部１３０におけるレジスタ１３１～１３４の設定は、後述する画像処理制御部１５０により実行される。
　画像認識部１４０は、画像補正部１２０の出力する補正後画像と距離検出部１３０の出力する距離情報に基づいて、観測対象物を検出・認識し、その結果を認識情報として外界認識部２０へ出力する。この認識情報は、検出した観測対象物の位置情報、種類情報、動作情報等を含む。位置情報は、例えば、車両２に対する観測対象物の方向や距離等を表す情報である。種類情報は、例えば、前述の観測対象物を表す情報である。動作情報は、例えば、歩行者や自転車のふらつき、飛び出し、横切り等といった、移動方向、移動速度、移動軌跡等を表す情報である。
　画像処理制御部１５０は、画像補正部１２０の出力する補正後画像に基づき、カメラ部１１０、画像補正部１２０の設定を制御する。設定の制御は、例えば、天候や時間の変化によって周囲の明るさが変わった場合に、カメラ部１１０の露光を調整したり、画像補正部１２０の補正値を調整したりするものである。また、画像処理制御部１５０は、車両計画判断部３０の出力する指示情報に基づき（後で詳述）、距離検出部１３０のレジスタ１３１～１３４に値を設定することで、ステレオ視の範囲を変更し、処理負荷（処理時間）を制御する。処理負荷の制御の一例としては、例えば所定の処理負荷を超えないように制御する方法がある。
　図１に示した外界認識部２０は、車両２周辺の地図情報に外界検出部１０の出力する認識情報を結合し、車両２の周辺環境情報を生成して車両計画判断部３０へ出力する。地図情報は、例えば、道路種別、道路形状、交通ルール等である。道路種別とは、道路属性を示す情報であり、例えば、路地、国道、高速道路等である。道路形状とは、道路、道路上、その近傍（歩道等）の空間形状を表現したものであり、例えば、直線路、カーブ路、Ｔ字路、交差点等の形状、それらの路面の車線中心線形状や車線境界線形状、車線分岐・合流点、道路区間内の路肩の形状、車道部境界線形状、停止線形状、横断歩道形状等である。交通ルールとは、車両の走行を制約する情報であり、例えば、信号、速度規制、車線の属性（通行可能方向、バス専用、通行可能時間帯等）、車線境界属性（車線変更可否、追い越し可否等）等が含まれ、基本的に道路種別及び道路形状に紐づいて管理される。なお、地図情報は、車両２に予め記憶されたナビゲーション装置等（図示しない）の地図情報でも良いし、外部から取得した地図情報でも良い。また、外界認識部２０は、外界検出部１０で得られた撮像画像を用いて、車両２の運転者に観測対象物を認識させるための画像表示を行ったり、車両２に搭載されたナビゲーション装置等（図示しない）の情報機器に対して、観測対象物の情報を提供したりしても良い。
　車両計画判断部３０は、外界認識部２０の出力する車両２の周辺環境情報と車両制御部４０の出力する車両２の状態情報に基づき、車両２をどのような軌道、速度で制御するかを示す軌道計画を生成する。更に、車両計画判断部３０は、その軌道計画に基づいて、車両制御部４０へ目標制御情報を出力し、外界検出部１０へステレオ視において処理負荷を制御する指示情報を出力する。車両２の状態情報とは、例えば、車両２の車速、加速度、操舵角、ヨーレート等である。
　車両制御部４０は、車両計画判断部３０の出力する目標制御情報に基づいて、車両２の挙動制御を（自動的に）行うと共に、車両２の状態情報を車両計画判断部３０へ出力する。車両２の挙動制御とは、例えば、ブレーキ、アクセル、操舵角、各種ランプの点灯、警告音等の制御である。
　このように、本第１の実施形態の車載システム１では、車両制御部４０で、車両計画判断部３０の出力する目標制御情報に基づいて車両２の挙動を制御するとともに、車両計画判断部３０は、生成した車両２の軌道計画に基づいてステレオ視において処理負荷を制御する指示情報を生成し、外界検出部１０（の画像処理装置１００の画像処理制御部１５０）は、車両計画判断部３０の出力する指示情報に基づいて距離検出部１３０のレジスタ１３１～１３４に値を設定する（例えば、テーブル１３７（図４参照）に基づいてステレオ視の範囲が最も要求に合致する設定値を選択する）ことで、ステレオ視の範囲を変更し、処理負荷を制御する。
　図５は、外界検出部１０（の画像処理装置１００）でステレオ視可能な範囲５０と車両計画判断部３０が生成した軌道計画の軌道７０を空間上に示した例である。画像処理装置１００でステレオ視可能な範囲５０は、画像処理装置１００のカメラ部１１０で撮像された画像を用いて原理的にステレオ視を実行できる範囲であり、画像処理装置１００に要求される処理時間内で実行可能な範囲とは必ずしも一致するものではない。要求される処理時間内で実行可能な範囲は、画像処理装置１００の処理性能に依存するため、製品の低コスト化には、ステレオ視可能な範囲５０から必要な範囲だけを抽出してステレオ視することが有効である。軌道計画は、車両２の今後の動作を示すものであり、前述したように、この軌道計画を用いて画像処理装置１００のステレオ視に必要な範囲を適切に決定することができる。
　図６及び図７は、軌動計画に基づいて変更したステレオ視の範囲５１、５２を空間上に示した例である。これは、「車両２が交差点まで直進した後に右折する」という軌道計画の例であるが、図６の車両２の位置では、直進予定であるため、画像処理装置１００（の画像処理制御部１５０）は、距離検出部１３０のレジスタ１３１～１３４を設定し、ステレオ視の範囲を直進方向の範囲５１（詳しくは、ステレオ視可能な範囲５０のうちの左右約中央の範囲）に狭めることで、ステレオ視にかかる処理時間を削減できる。一方、図７の車両２の位置では、右折予定であるため、画像処理装置１００（の画像処理制御部１５０）は、距離検出部１３０のレジスタ１３１～１３４を設定し、ステレオ視の範囲を右折方向の範囲５２（詳しくは、ステレオ視可能な範囲５０のうちの右端から所定角度の範囲）に狭めることで、ステレオ視にかかる処理時間を削減できる。なお、図６の範囲５１から図７の範囲５２へのステレオ視の範囲の変更は、例えば処理時間が同等となるように行われる。
　なお、走行中（例えば運転支援や自動運転中）に、車両２の周囲環境等に応じて車両計画判断部３０が生成した軌道計画が変更される場合には、車両計画判断部３０は、その変更された軌道計画に応じた指示情報を外界検出部１０へ出力し、外界検出部１０の画像処理装置１００（の画像処理制御部１５０）は、その車両計画判断部３０の出力する指示情報に基づいてステレオ視の範囲を変更・設定することができる。
　図８は、本発明の第１の実施形態に係る車載システム１におけるステレオ視の処理負荷を制御する処理フロー例である。
　ステップＳ１００において、車両計画判断部３０は、外界認識部２０の出力する車両２の周辺環境情報と車両制御部４０の出力する車両２の状態情報を取得する。
　ステップＳ１０１において、車両計画判断部３０は、ステップＳ１００で得られた情報から車両２の軌道計画を生成する。
　ステップＳ１０２において、車両計画判断部３０は、ステップＳ１０１で生成した軌道計画から、外界検出部１０で実行するステレオ視における処理負荷を制御する指示情報を決定する。
　ステップＳ１０３において、外界検出部１０（の画像処理装置１００の画像処理制御部１５０）は、ステップＳ１０２で車両計画判断部３０が出力する指示情報に基づいて距離検出部１３０のレジスタ１３１～１３４を設定し（例えば、テーブル１３７（図４参照）に基づいてステレオ視の範囲が最も要求に合致する設定値を選択し）、ステレオ視の範囲を変更して、ステレオ視を実行する。
　以上で説明したように、本第１の実施形態によれば、車両２に搭載される車載システム１は、車両周辺の観測対象物を検出する外界検出部１０と、その検出結果に基づいて車両周辺の状態を認識する外界認識部２０と、その認識結果に基づいて車両の軌道計画を生成する車両計画判断部３０と、その軌道計画に基づいて車両の挙動を制御する車両制御部４０とを備えており、車両計画判断部３０で生成した軌道計画に基づき、外界検出部１０（の画像処理装置１００）のステレオ視に必要な範囲を制御することで、処理時間の削減が可能となり、車両周辺の観測対象物の検出を行う外界検出装置を低コストで提供することができる。
＜第２の実施形態＞
　図９は、本発明の第２の実施形態に係る車載システム１の構成例である。図示実施形態の車載システム１は、外界検出部１１、外界認識部２１、車両計画判断部３１、車両制御部４０で構成され、車両２に搭載される。なお、本第２の実施形態における車両制御部４０は、上記第１の実施形態で説明したものと同一であるため、以下では説明を省略する。
　図１０に、図９に示す外界検出部１１の構成例を示す。外界検出部１１は、本例では、上記第１の実施形態で説明した画像処理装置１００を含む、車両２周辺（外界）の観測対象物を検出するための複数のセンサ１００～１０２からなるセンサ群で構成されている。センサ１０１、１０２は、例えば、カメラ（単眼カメラ、ステレオカメラ）、ミリ波レーダ、ライダ等である。各センサ１００～１０２は検出可能な観測対象物、範囲、精度、コスト等が異なるため、外界検出部１１は、車両２の車種やオプションによってセンサの種類や数が異なる構成となる。
　外界検出部１１は、画像処理装置１００を含む複数のセンサ１００～１０２から得られた情報により車両２周辺の観測対象物を検出・認識し、その結果を認識情報として外界認識部２１へ出力する。また、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、上記第１の実施形態と同様に、車両計画判断部３１の出力する指示情報に基づき、距離検出部１３０のレジスタ１３１～１３４に値を設定することで、画像処理装置１００のステレオ視の範囲を変更し、処理負荷（処理時間）を制御する。
　外界認識部２１は、上記第１の実施形態で説明した外界認識部２０において、車両２周辺の地図情報に結合する情報として、画像処理装置１００の出力する認識情報に加えて、他のセンサ１０１、１０２の検出結果（検出情報）も利用する。外界認識部２１は、複数のセンサ１００～１０２から得られた情報を結合することで、車両２の周辺環境情報の精度が向上する。
　車両計画判断部３１は、外界認識部２１の出力する車両２の周辺環境情報、車両制御部４０の出力する車両２の状態情報に基づき、車両２をどのような軌道、速度で制御するかを示す軌道計画を生成する。更に、車両計画判断部３１は、その軌道計画に基づいて車両制御部４０へ目標制御情報を出力すると共に、軌道計画と外界検出部１１のセンサ構成情報に基づいて外界検出部１１へステレオ視の範囲（つまり、ステレオ視における処理負荷）を制御する指示情報を出力する。外界検出部１１のセンサ構成情報とは、例えば、センサの種類、取り付け位置、検出範囲、分解能等であり、予め記録領域に記録された情報である。
　このように、本第２の実施形態の車載システム１では、車両制御部４０で、車両計画判断部３１の出力する目標制御情報に基づいて車両２の挙動を制御するとともに、車両計画判断部３１は、生成した車両２の軌道計画及び外界検出部１１のセンサ構成情報に基づいてステレオ視において処理負荷を制御する指示情報を生成し、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、車両計画判断部３１の出力する指示情報に基づいて距離検出部１３０のレジスタ１３１～１３４に値を設定する（例えば、テーブル１３７（図４参照）に基づいてステレオ視の範囲が最も要求に合致する設定値を選択する）ことで、ステレオ視の範囲を変更し、処理負荷を制御する。
　図１１は、外界検出部１１のセンサとして画像処理装置１００と他のセンサ１０１、１０２を搭載した場合の、各センサで観測対象物を検出可能な範囲と車両計画判断部３１が生成した軌道計画の軌道７０を空間上に示した例である。画像処理装置（センサ）１００でステレオ視可能な範囲５０は、画像処理装置１００のカメラ部１１０で撮像された画像を用いて原理的にステレオ視を実行できる範囲であり、画像処理装置１００に要求される処理時間内で実行可能な範囲とは必ずしも一致するものではない。要求される処理時間内で実行可能な範囲は、画像処理装置１００の処理性能に依存するため、製品の低コスト化には、ステレオ視可能な範囲５０から必要な範囲だけを抽出してステレオ視することが有効である。本実施形態では、画像処理装置１００のステレオ視に必要な範囲を適切に決定するのに、前述したように、軌道計画の他に外界検出部１１のセンサ構成情報を用いる。
　例えば、図１１のように画像処理装置１００によるステレオ視可能な範囲５０と他のセンサ１０１、１０２で検出可能な範囲６１、６２に重なりがある場合、画像処理装置１００（の画像処理制御部１５０）は、距離検出部１３０のレジスタ１３１～１３４を設定し、図１２のようにステレオ視可能な範囲５０において範囲６１、６２との重なりを避けた車両２の進行方向を含む範囲５３（詳しくは、ステレオ視可能な範囲５０のうちの左右約中央かつ最遠までの範囲）にステレオ視の範囲を狭めることで、ステレオ視にかかる処理時間を削減できると共に、遠距離の観測対象物も検出できるようにステレオ視の処理時間を割り振ることができる。
　なお、走行中（例えば運転支援や自動運転中）に、車両２の周囲環境等に応じて車両計画判断部３１が生成した軌道計画や外界検出部１１のセンサ構成情報（検出範囲、分解能等）が変更される場合には、車両計画判断部３１は、その変更された軌道計画やセンサ構成情報に応じた指示情報を外界検出部１１へ出力し、外界検出部１１の画像処理装置１００（の画像処理制御部１５０）は、その車両計画判断部３１の出力する指示情報に基づいてステレオ視の範囲を変更・設定することができる。
　図１３は、本発明の第２の実施形態に係る車載システム１におけるステレオ視の処理負荷を制御する処理フロー例である。
　ステップＳ２００において、車両計画判断部３１は、外界認識部２１の出力する車両２の周辺環境情報、車両制御部４０の出力する車両２の状態情報、外界検出部１１のセンサ構成情報を取得する。
　ステップＳ２０１において、車両計画判断部３１は、ステップＳ２００で得られた情報から車両２の軌道計画を生成する。
　ステップＳ２０２において、車両計画判断部３１は、ステップＳ２０１で生成した軌道計画とステップＳ２００で得られたセンサ構成情報から、外界検出部１１で実行するステレオ視の範囲を制御する指示情報を決定する。
　ステップＳ２０３において、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、ステップＳ２０２で車両計画判断部３１が出力する指示情報に基づいて距離検出部１３０のレジスタ１３１～１３４を設定し、ステレオ視の範囲を変更して、ステレオ視を実行する。
　以上で説明したように、本第２の実施形態によれば、車両２に搭載される車載システム１は、車両周辺の観測対象物を検出する外界検出部１１と、その検出結果に基づいて車両周辺の状態を認識する外界認識部２１と、その認識結果に基づいて車両の軌道計画を生成する車両計画判断部３１と、その軌道計画に基づいて車両の挙動を制御する車両制御部４０とを備えており、車両計画判断部３１で生成した軌道計画と外界検出部１１のセンサ構成情報に基づき、外界検出部１１（の画像処理装置１００）のステレオ視に必要な範囲を制御することで、処理時間の削減が可能となり、多様なセンサ構成に適した外界検出装置を低コストで提供することができる。
　なお、上記実施形態では、車両計画判断部３１で生成した軌道計画と外界検出部１１のセンサ構成情報を用いて、画像処理装置１００のステレオ視に必要な範囲を決定しているが、外界検出部１１のセンサ構成情報のみを用いて、画像処理装置１００のステレオ視に必要な範囲を決定しても良い。
＜第３の実施形態＞
　本発明の第３の実施形態に係る車載システム１の構成例は、図９等に基づき説明した上記第２の実施形態と同様であるため、以下では、差分のある箇所についてのみ説明する。
　本実施形態の車載システム１における外界検出部１１は、各種センサを備えるが、これらのセンサは車両２周辺の観測対象物の検出結果や認識情報を外界認識部２１へ出力するだけでなく、センサ自体の検出結果に対する信頼度（以降、センサ信頼度ということがある）も合わせて外界認識部２１へ出力する。センサの信頼度は、例えば、定期的な自己診断によって決定されるため、恒久的な障害が発生した場合は常に低い信頼度となるが、雨滴の付着や対向車のライトの照射により検出結果が一時的に悪化するような場合では問題の発生期間のみ信頼度が低下する。また、センサの信頼度は、センサに対して一律である必要はなく、例えば、各観測対象物の検出精度に基づいて個々に信頼度を設定しても良い。
　外界認識部２１は、車両２周辺の地図情報に結合する情報として、各種センサの検出結果及び認識情報に加えて、それらが出力する信頼度を利用する。例えば、同一の観測対象物に対して高い信頼度を出力するセンサと低い信頼度を出力するセンサがある場合に、外界認識部２１は、信頼度の高いセンサの検出結果を選択することで、車両２の周辺環境情報に含まれる観測対象物の精度が向上する。また、前記したセンサの検出結果に対する信頼度として、センサから出力される信頼度に頼らず、例えば当該外界認識部２１にて検出結果の履歴を元に生成しても良い。例えば、ある観測対象物の位置や距離が時系列で異常値を取るようなセンサがある場合、そのセンサを低い信頼度として扱っても良い。
　車両計画判断部３１は、外界認識部２１の出力する車両２の周辺環境情報、車両制御部４０の出力する車両２の状態情報に基づき、車両２をどのような軌道、速度で制御するかを示す軌道計画を生成する。更に、車両計画判断部３１は、その軌道計画に基づいて車両制御部４０へ目標制御情報を出力すると共に、軌道計画と外界検出部１１のセンサ構成情報及びセンサ信頼度に基づいて外界検出部１１へステレオ視の範囲（つまり、ステレオ視における処理負荷）を制御する指示情報を出力する。前述したように、指示情報の生成に用いるセンサ信頼度は、外界検出部１１の出力するセンサ信頼度、または、センサの出力する検出結果を元に外界認識部２１で生成したセンサ信頼度である。
　このように、本第３の実施形態の車載システム１では、車両制御部４０で、車両計画判断部３１の出力する目標制御情報に基づいて車両２の挙動を制御するとともに、車両計画判断部３１は、生成した車両２の軌道計画並びに外界検出部１１のセンサ構成情報及びセンサ信頼度を総合的に判断してステレオ視において処理負荷を制御する指示情報を生成し、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、車両計画判断部３１の出力する指示情報に基づいて距離検出部１３０のレジスタ１３１～１３４に値を設定する（例えば、テーブル１３７（図４参照）に基づいてステレオ視の範囲が最も要求に合致する設定値を選択する）ことで、ステレオ視の範囲を変更し、処理負荷を制御する。
　図１４は、図１２と同一のセンサ構成、ステレオ視の範囲を範囲５３とした設定において、右側のセンサ１０１が故障した状況での各センサで観測対象物を検出可能な範囲と車両計画判断部３１が生成した軌道計画の軌道７０を空間上に示した例である。画像処理装置（センサ）１００でステレオ視可能な範囲５０は、画像処理装置１００のカメラ部１１０で撮像された画像を用いて原理的にステレオ視を実行できる範囲であり、画像処理装置１００に要求される処理時間内で実行可能な範囲とは必ずしも一致するものではない。要求される処理時間内で実行可能な範囲は、画像処理装置１００の処理性能に依存するため、製品の低コスト化には、ステレオ視可能な範囲５０から必要な範囲だけを抽出してステレオ視することが有効である。本実施形態では、画像処理装置１００のステレオ視に必要な範囲を適切に決定するのに、前述したように、軌道計画の他に外界検出部１１のセンサ構成情報及びセンサ信頼度を用いる。
　例えば、センサ１０１が故障してその信頼度が低下している図１４に示した状況では、画像処理装置１００（の画像処理制御部１５０）は、距離検出部１３０のレジスタ１３１～１３４を設定し、ステレオ視の範囲を図１５に示す車両２の進行方向を含む範囲５４（詳しくは、ステレオ視可能な範囲５０のうちの右端から中央付近の範囲）となるよう変更し、ステレオ視の処理時間を割り振ることで、信頼度の低いセンサ１０１で検出すべき範囲について信頼度の高い画像処理装置（センサ）１００で代替が可能になる。なお、このとき、処理時間を同等とする（換言すれば、増加を抑制する）もしくは低減するために、遠距離の観測対象物については検出対象外とする。また、この場合、図１４に示す範囲５３（近距離と遠距離とを含む範囲）と図１５に示す範囲５４（近距離のみを含む範囲）を時系列で（例えば数フレーム毎に）切り替えることで、画像処理装置１００にて両方の範囲をステレオ視できるように制御しても良い。
　なお、走行中（例えば運転支援や自動運転中）に、車両２の周囲環境等に応じて車両計画判断部３１が生成した軌道計画や外界検出部１１のセンサ構成情報（検出範囲、分解能等）、センサ信頼度が変更される場合には、車両計画判断部３１は、その変更された軌道計画やセンサ構成情報、センサ信頼度に応じた指示情報を外界検出部１１へ出力し、外界検出部１１の画像処理装置１００（の画像処理制御部１５０）は、その車両計画判断部３１の出力する指示情報に基づいてステレオ視の範囲を変更・設定することができる。
　図１６は、本発明の第３の実施形態に係る車載システム１におけるステレオ視の処理負荷を制御する処理フロー例である。
　ステップＳ３００において、車両計画判断部３１は、外界認識部２１の出力する車両２の周辺環境情報、車両制御部４０の出力する車両２の状態情報、外界検出部１１のセンサ構成情報、センサ信頼度を取得する。
　ステップＳ３０１において、車両計画判断部３１は、ステップＳ３００で得られた情報から車両２の軌道計画を生成する。
　ステップＳ３０２において、車両計画判断部３１は、ステップＳ３００で得られたセンサ信頼度が閾値以下のセンサの有無を判定する。センサ信頼度が閾値以下のセンサがある場合（ステップＳ３０２：Ｙｅｓ）はステップＳ３０３へ進み、センサ信頼度が閾値以下のセンサがない場合（ステップＳ３０２：Ｎｏ）はステップＳ３０５へ進む。
　ステップＳ３０３において、車両計画判断部３１は、センサ信頼度が閾値以下のセンサの検出範囲が、ステレオ視可能な範囲に入っているか否かを判定する。該当センサの検出範囲がステレオ視可能な範囲に入っていれば（ステップＳ３０３：Ｙｅｓ）ステップＳ３０４へ進み、該当センサの検出範囲がステレオ視可能な範囲に入っていない場合（ステップＳ３０３：Ｎｏ）はステップＳ３０５へ進む。
　ステップＳ３０４において、車両計画判断部３１は、ステップＳ３０１で生成した軌道計画とステップＳ３００で得られた外界検出部１１のセンサ構成情報、センサ信頼度から、外界検出部１１で実行するステレオ視の範囲を制御する指示情報を決定する。
　一方、ステップＳ３０５において、車両計画判断部３１は、上記第２の実施形態と同様、ステップＳ３０１で生成した軌道計画とステップＳ３００で得られた外界検出部１１のセンサ構成情報から、外界検出部１１で実行するステレオ視の範囲を制御する指示情報を決定する。
　ステップＳ３０６において、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、車両計画判断部３１が出力する指示情報に基づいて距離検出部１３０のレジスタ１３１～１３４を設定し、ステレオ視の範囲を変更して、ステレオ視を実行する。
　以上で説明したように、本第３の実施形態によれば、車両２に搭載される車載システム１は、車両周辺の観測対象物を検出する外界検出部１１と、その検出結果に基づいて車両周辺の状態を認識する外界認識部２１と、その認識結果に基づいて車両の軌道計画を生成する車両計画判断部３１と、その軌道計画に基づいて車両の挙動を制御する車両制御部４０とを備えており、車両計画判断部３１で生成した軌道計画と外界検出部１１のセンサ構成情報とセンサ信頼度（検出結果に対する信頼度）に基づき、外界検出部１１（の画像処理装置１００）のステレオ視に必要な範囲を制御することで、処理時間の削減または増加抑制が可能となり、多様なセンサ構成、状態に適した外界検出装置を低コストで提供することができる。
　なお、上記実施形態では、車両計画判断部３１で生成した軌道計画と外界検出部１１のセンサ構成情報とセンサ信頼度を用いて、画像処理装置１００のステレオ視に必要な範囲を決定しているが、外界検出部１１のセンサ信頼度のみを用いて、画像処理装置１００のステレオ視に必要な範囲を決定しても良い。
　上述した実施形態は、本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１：車載システム
２：車両
１０、１１：外界検出部
２０、２１：外界認識部
３０、３１：車両計画判断部
４０：車両制御部
５０：ステレオ視可能な範囲
５１～５４：変更したステレオ視の範囲
６１、６２：センサの検出可能な範囲
７０：軌道計画の軌道
１００：画像処理装置（センサ）
１０１、１０２：センサ
１１０Ａ、１１０Ｂ：カメラ部
１２０：画像補正部
１３０：距離検出部
１３１～１３４：レジスタ
１３５：画素ブロック探索部
１３６：距離計算部
１３７：テーブル
１４０：画像認識部
１５０：画像処理制御部

Claims (7)

  1. 　車両周辺の観測対象物を検出する少なくとも一つのセンサを備える外界検出部と、
    　前記外界検出部の検出結果に基づいて車両の周辺環境を認識する外界認識部と、
    　前記外界認識部の認識結果に基づいて車両の軌道計画を生成する車両計画判断部と、
    　前記車両計画判断部の軌道計画に基づいて車両の挙動を制御する車両制御部と、を有する車載システムであって、
    　前記外界検出部は、前記センサとしてステレオ視によって観測対象物を検出する画像処理装置を備え、
    　前記画像処理装置は、前記車両計画判断部の軌道計画、前記外界検出部のセンサ構成情報、又は前記外界検出部の検出結果に対するセンサ信頼度の少なくとも一つに基づいて前記ステレオ視の範囲を変更する、車載システム。
  2. 　請求項１に記載の車載システムであって、
    　前記車両計画判断部は、前記車両の軌道計画に基づいて指示情報を生成し、前記画像処理装置は、前記車両計画判断部の指示情報に基づいて前記ステレオ視の範囲を変更する車載システム。
  3. 　請求項１に記載の車載システムであって、
    　前記車両計画判断部は、前記外界検出部の検出範囲に基づいて指示情報を生成し、前記画像処理装置は、前記車両計画判断部の指示情報に基づいて前記ステレオ視の範囲を変更する車載システム。
  4. 　請求項１に記載の車載システムであって、
    　前記車両計画判断部は、前記外界検出部の検出結果に対するセンサ信頼度に基づいて指示情報を生成し、前記画像処理装置は、前記車両計画判断部の指示情報に基づいて前記ステレオ視の範囲を変更する車載システム。
  5. 　請求項４に記載の車載システムであって、
    　前記画像処理装置は、前記センサ信頼度が前記画像処理装置より低いセンサの検出範囲を代替するように前記ステレオ視の範囲を変更する車載システム。
  6. 　請求項１に記載の車載システムであって、
    　前記画像処理装置は、複数の設定値を含むテーブルから所定の設定値を選択することで、前記ステレオ視の範囲を変更する車載システム。
  7. 　車両周辺の観測対象物を検出する少なくとも一つのセンサを備える外界検出部と、
    　前記外界検出部の検出結果に基づいて車両の周辺環境を認識する外界認識部と、
    　前記外界認識部の認識結果に基づいて車両の軌道計画を生成する車両計画判断部と、
    　前記車両計画判断部の軌道計画に基づいて車両の挙動を制御する車両制御部と、を有する車載システムであって、
    　前記外界検出部は、前記センサとしてステレオ視によって観測対象物を検出する画像処理装置を備え、
    　前記車両制御部が、前記車両の挙動を制御するとともに、
    　前記車両計画判断部が、前記車両の軌道計画、前記外界検出部のセンサ構成情報、又は前記外界検出部の検出結果に対するセンサ信頼度の少なくとも一つに基づいて指示情報を生成し、
    　前記画像処理装置が、前記車両計画判断部の指示情報に基づいて前記ステレオ視の範囲を変更する、車載システム。
PCT/JP2019/036911 2018-10-11 2019-09-20 車載システム WO2020075476A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19870226.8A EP3865815A4 (en) 2018-10-11 2019-09-20 EMBEDDED SYSTEM
JP2020550295A JPWO2020075476A1 (ja) 2018-10-11 2019-09-20 車載システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-192881 2018-10-11
JP2018192881 2018-10-11

Publications (1)

Publication Number Publication Date
WO2020075476A1 true WO2020075476A1 (ja) 2020-04-16

Family

ID=70164262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036911 WO2020075476A1 (ja) 2018-10-11 2019-09-20 車載システム

Country Status (3)

Country Link
EP (1) EP3865815A4 (ja)
JP (1) JPWO2020075476A1 (ja)
WO (1) WO2020075476A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230209206A1 (en) * 2021-12-28 2023-06-29 Rivian Ip Holdings, Llc Vehicle camera dynamics

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105863A (ja) * 1996-09-26 1998-04-24 Oki Electric Ind Co Ltd 走行路情報収集装置
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2017129543A (ja) 2016-01-22 2017-07-27 京セラ株式会社 ステレオカメラ装置及び車両
WO2017145945A1 (ja) * 2016-02-25 2017-08-31 京セラ株式会社 ステレオカメラ装置、車両および視差算出方法
US20180107225A1 (en) * 2016-10-17 2018-04-19 Denso International America, Inc. Sensor System for Vehicle
WO2019073526A1 (ja) * 2017-10-10 2019-04-18 日産自動車株式会社 運転制御方法及び運転制御装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072757A (ja) * 2004-09-02 2006-03-16 Toyota Motor Corp 物体検出装置
JP5172314B2 (ja) * 2007-12-14 2013-03-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP2011013064A (ja) * 2009-07-01 2011-01-20 Nikon Corp 位置検出装置
JP5454392B2 (ja) * 2010-07-06 2014-03-26 株式会社リコー 測距装置及び撮像装置
JP6936557B2 (ja) * 2016-05-16 2021-09-15 日立Astemo株式会社 探索処理装置、及びステレオカメラ装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105863A (ja) * 1996-09-26 1998-04-24 Oki Electric Ind Co Ltd 走行路情報収集装置
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2017129543A (ja) 2016-01-22 2017-07-27 京セラ株式会社 ステレオカメラ装置及び車両
WO2017145945A1 (ja) * 2016-02-25 2017-08-31 京セラ株式会社 ステレオカメラ装置、車両および視差算出方法
US20180107225A1 (en) * 2016-10-17 2018-04-19 Denso International America, Inc. Sensor System for Vehicle
WO2019073526A1 (ja) * 2017-10-10 2019-04-18 日産自動車株式会社 運転制御方法及び運転制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3865815A4

Also Published As

Publication number Publication date
EP3865815A4 (en) 2022-07-13
EP3865815A1 (en) 2021-08-18
JPWO2020075476A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US20190337510A1 (en) Camera system for intelligent driver assistance system, and driver assistance system and method
WO2015151438A1 (ja) 車両用表示制御装置
JP6623311B2 (ja) 制御装置及び制御方法
EP3196072A1 (en) Techniques for optimizing vehicle headlights based on situational awareness
KR102673297B1 (ko) 차량 주행 제어 장치, 그를 포함한 시스템 및 그 방법
JP4877364B2 (ja) 物体検出装置
JPWO2019043847A1 (ja) 走行制御装置、車両および走行制御方法
WO2020008220A1 (ja) 走行軌道生成方法及び走行軌道生成装置
JP6574224B2 (ja) 車両制御装置、車両、車両制御方法およびプログラム
JP6522255B1 (ja) 行動選択装置、行動選択プログラム及び行動選択方法
JP2019159756A (ja) 車両制御装置およびコンピュータプログラム
JP7042185B2 (ja) 距離算出装置
JPWO2020003452A1 (ja) 運転支援方法及び運転支援装置
JP6654440B2 (ja) 車両認識装置および車両認識方法
JP6645910B2 (ja) 位置推定装置
WO2020075476A1 (ja) 車載システム
JP6721054B2 (ja) 車両はみ出し判断方法及び車両はみ出し判断装置
JP6867257B2 (ja) 車両制御装置、車両、車両制御方法およびプログラム
JP2018055322A (ja) 画像処理装置、撮像装置
JP6838769B2 (ja) 周辺環境認識装置、表示制御装置
JP2010211712A (ja) 車両制御装置及び車両制御システム
CN112606839A (zh) 车外环境识别装置
KR102670844B1 (ko) Adas를 위한 카메라 시스템과 이를 이용한 주행 보조 시스템
JP7138132B2 (ja) 制御装置及び車両
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19870226

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020550295

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019870226

Country of ref document: EP

Effective date: 20210511