WO2015182753A1 - 撮像装置および車両 - Google Patents

撮像装置および車両 Download PDF

Info

Publication number
WO2015182753A1
WO2015182753A1 PCT/JP2015/065593 JP2015065593W WO2015182753A1 WO 2015182753 A1 WO2015182753 A1 WO 2015182753A1 JP 2015065593 W JP2015065593 W JP 2015065593W WO 2015182753 A1 WO2015182753 A1 WO 2015182753A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
imaging
area
unit
region
Prior art date
Application number
PCT/JP2015/065593
Other languages
English (en)
French (fr)
Inventor
朗子 志賀
徹 宮越
悟史 山口
朗 木下
吉野　薫
ひとみ 長沼
栗山　孝司
幸一 福田
祐起 喜多
長岡　弘仁
知哉 中川
政一 関口
孝 塩野谷
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014111375A external-priority patent/JP2015226255A/ja
Priority claimed from JP2014173833A external-priority patent/JP6620395B2/ja
Priority claimed from JP2015005171A external-priority patent/JP6451332B2/ja
Priority to CN202011643281.4A priority Critical patent/CN112866566B/zh
Priority to CN201580041612.8A priority patent/CN106537892B/zh
Priority to CN202011621700.4A priority patent/CN112866563B/zh
Priority to CN202011621613.9A priority patent/CN112839169B/zh
Priority to US15/314,285 priority patent/US10279742B2/en
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2015182753A1 publication Critical patent/WO2015182753A1/ja
Priority to US16/282,775 priority patent/US10807532B2/en
Priority to US16/928,075 priority patent/US20200361377A1/en
Priority to US17/114,761 priority patent/US11220215B2/en
Priority to US17/546,550 priority patent/US11572016B2/en
Priority to US18/149,720 priority patent/US20230158952A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Definitions

  • FIG. 29 (a) is the figure at the time of high beam
  • FIG. 29 (b) is the figure at the time of low beam.
  • the camera 3 includes an imaging optical system having a plurality of lenses and an imaging device (in this embodiment, a laminated imaging device (see FIG. 3)), and is attached, for example, in front of the ceiling in the vehicle interior.
  • the camera 3 is directed to the front of the vehicle 1, and its mounting height (distance from the ground to the camera 3) is adjusted to, for example, 1.4 (m).
  • the camera 3 acquires an image in the traveling direction of the vehicle 1 and performs distance measurement (ranging) to each subject (target object) at a plurality of positions in the shooting screen based on the acquired image.
  • the distance measurement is calculated by a distance measurement calculation using an image signal from a focus detection pixel provided in the multilayer image sensor. The focus detection pixels and distance measurement will be described later.
  • Image data and distance measurement data acquired by the camera 3 are sent to the control device 4.
  • the cameras 3 may be provided outside the vehicle, the cameras 3 inside and outside the vehicle may cooperate, and the number of cameras 3 may be set as appropriate.
  • the camera 3 outside the vehicle may be used for white line detection, which will be described later, and the camera 3 inside and outside the vehicle may cooperate with each other to recognize an object or an obstacle.
  • the first traveling control unit 5 performs constant speed traveling control and follow-up traveling control based on an instruction from the control device 4.
  • the constant speed traveling control is control for causing the vehicle 1 to travel at a constant speed based on a predetermined control program.
  • the follow-up running control is constant with respect to the preceding vehicle when the speed of the preceding vehicle recognized by the control device 4 is equal to or lower than the target speed set in the vehicle 1 during the constant speed running control. It is the control which makes it drive
  • the first embodiment 1 further includes a throttle control device 7, a brake control device 8, a steering control device 9, a steering wheel 10, a turn signal switch 11, a vehicle speed sensor 12, a yaw rate sensor 13, a display device 14, A GPS device 15, a shift lever position detection device 16, and a microphone 17 are shown.
  • the beam changeover switch 18 and the rainfall sensor 19 are not indispensable configurations in the first embodiment.
  • the first traveling control unit 5 performs the traveling control in the constant speed state when the vehicle speed information of the preceding vehicle input from the control device 4 is equal to or lower than the target speed set in the vehicle 1. Then, a throttle control signal is sent to the throttle control device 7 based on the inter-vehicle distance information input from the control device 4. Specifically, the first traveling control unit 5 sets an appropriate target value of the inter-vehicle distance based on the inter-vehicle distance from the vehicle 1 to the preceding vehicle, the vehicle speed of the preceding vehicle, and the vehicle speed V of the vehicle 1.
  • the bonding between the bumps 109 is not limited to Cu bump bonding by solid phase diffusion, and micro bump bonding by solder melting may be employed. Further, for example, about one bump 109 may be provided for one block described later. Therefore, the size of the bump 109 may be larger than the pitch of the PD 104. Further, a bump larger than the bump 109 corresponding to the pixel region may be provided in a peripheral region other than the pixel region where the pixels are arranged.
  • FIG. 15 illustrates the attention area 82 in the case where the initial setting value is “3”. Since the left steering wheel is left-hand traffic, the attention area 82 is on the driver's seat side (to the left) in the left-hand traffic band. Is set so that the initial position (Xq3, Yq) is set.
  • the control device 4 sets the initial size of the attention area 82.
  • the initial size (Px (X-axis direction) ⁇ Py (Y-axis direction)) of the attention area 82 is determined based on the size (dimensions) of the object (for example, the preceding vehicle).
  • the control device 4 obtains the image height of the preceding vehicle captured by the imaging chip 113, the known focal length of the imaging optical system 31, and the distance measurement.
  • the size (dimension) of the preceding vehicle is estimated based on the distance L from the vehicle 1 to the preceding vehicle.
  • step S390 the control device 4 calculates, based on the initial position (XqN, Yq) of the region of interest 82 set in the initial setting process, the position (X coordinate) of the region of interest 82 during traveling by the following equation (4).
  • Xq XqN + X dist (4)
  • N is one of the initial setting values 1 to 4 determined in the initial setting process.
  • X dist is the amount of movement of the region of interest 82 in the X-axis direction calculated in step S380, and corresponds to the number of pixels in the X-axis direction.
  • the value (Za + Zb) of the depth Z corresponding to the vehicle speed V is stored in advance in the storage unit 4b (FIG. 2).
  • the position of the attention area 82 changes according to the change in the vehicle speed V.
  • the attention area 82 whose position has been changed in this way, at least one of the frame rate, the gain, the thinning rate, the accumulation time, and the like is made different between the imaging area 81 and the attention area 82.
  • the setting unit sets the frame rate of the attention area 82 differently from the frame rate of the imaging area 81 according to the position of the steering wheel 10, for example, the attention area 82 on the driver's seat side (right). Thus, it is possible to appropriately set the imaging conditions of the camera 3 such as increasing the frame rate.
  • control device 4 Since the control device 4 sets the imaging area 81 surrounding the attention area 82, the imaging condition of the camera 3 can be set appropriately.
  • the control device 4 expands the attention area 82 to the left side of the imaging area 81 or to the left side of the imaging area 81.
  • a new attention area 82 is set.
  • the reason why the attention area 82 is provided on the left side is to collect information outside the vehicle on the left side of the vehicle 1.
  • the attention area 82 set in this way at least one of the frame rate, the gain, the thinning rate, the accumulation time, and the like may be different between the imaging area 81 and the attention area 82.
  • the rain sensor 19 is a detector that detects raindrops by an optical method or a capacitance method, and is attached inside or outside the vehicle. A detection signal (rainfall information) from the rain sensor 19 is sent to the control device 4.
  • step S60 the control device 4 sends display information for the display device 14 (FIG. 1), and proceeds to step S70.
  • the display information is information corresponding to the state of the vehicle 1 determined in the imaging condition setting process (S30). For example, the message “entering tunnel” or “headlight turned on” is displayed on the display device 14. Display.
  • an audio signal for reproducing the message may be sent to an audio playback device (not shown).
  • a sound device of a navigation device (not shown) may be used as a sound reproducing device (not shown).
  • step S115 the control device 4 sends an instruction to the camera 3 to set the frame rate of the fourth imaging region 72a to be lower than the frame rate of the remaining region 72b. For example, the control device 4 reduces the frame rate of the fourth imaging region 72a to 30 fps. This is to obtain clear image information from the dark fourth imaging region 72 a inside the tunnel 83. And the control apparatus 4 progresses to step S40 (FIG. 24).
  • step S40 FIG. 24.
  • the control device 4 determines whether or not the tail lamp of the preceding vehicle 84 has been recognized.
  • the control device 4 recognizes the tail lamp that is lit from the image acquired by the camera 3, the control device 4 makes a positive determination in step S130 and proceeds to step S131 in FIG.
  • the controller 4 does not recognize the lit tail lamp from the image acquired by the camera 3, it makes a negative determination in step S130 and proceeds to step S140. Note that, when the determination in step S130 is affirmative during the previous determination, but the determination in step S130 is negative, the control device 4 cancels the frame rate setting based on the flowchart of FIG.
  • the control device 4 defines a trapezoidal region including a white line 87a, a white line 87b, and a region between the white line 87a and the white line 87b.
  • the first imaging area 79 is defined as an area other than the first imaging area 79 as a second imaging area 80.
  • the control device 4 sends an instruction to the camera 3 to set the newly set frame rate of the first imaging area 79A to the same frame rate as that of the first imaging area 79. Thereby, the frame rate of the attention area which is the lane change destination when the course is changed can be kept the same as the frame rate of the attention area before the lane change. And the control apparatus 4 progresses to step S40 (FIG. 24).
  • the semi-automatic driving includes a case where the control unit 19 controls a part of the steering wheel, accelerator, brake, turn signal switch, shift lever, and the like in place of the driver.
  • the control unit 19 sets the imaging condition of the image sensor 100 depending on whether a pedestrian crossing the sidewalk approaches the automobile 10 or whether a pedestrian moves away from the automobile 10. To do. That is, the control unit 19 increases the frame rate of the unit area of the image sensor 100 corresponding to the person approaching the automobile 10 and lowers the thinning rate so that the pedestrian away from the automobile 10 (especially, the automobile 10 is scheduled to pass). The frame rate of the unit area of the image sensor 100 corresponding to the person who has already crossed the pedestrian crossing) is increased and the thinning rate is increased.
  • the control unit 46 performs display control of the display unit 42 in step S11. For example, the control unit 46 performs control to switch the signal lamp display of the display unit 42 from red to blue according to the traffic signal received from the traffic signal generation device 30.
  • control unit 46 may determine whether the vehicle is an automatic driving vehicle or a manual driving vehicle based on a communication result with the communication target vehicle. Further, when an identification mark or the like is displayed on the vehicle, the control unit 46 may determine based on the imaging result by the imaging unit (the optical system 43 and the photoelectric conversion unit 44). Furthermore, the change of the course of the vehicle (right turn or left turn) may be determined by the control unit 46 based on the imaging result of the imaging unit (optical system 43, photoelectric conversion unit 44) from the operating state of the winker of the vehicle. Alternatively, the determination may be made based on whether the vehicle is on the left turn lane or the right turn lane.
  • control unit 46 can communicate with other traffic signals 40 including the traffic signal 40a for automobiles or the traffic signal 40b for pedestrians, and can acquire information on traffic conditions at intersections and the like.
  • the control unit 46 further communicates with the traffic signal generation device 30 related to the traffic signal generation of each traffic signal as necessary, and acquires information about the display state of the traffic signal.
  • FIG. 44 is a diagram showing an example of control of imaging conditions of the imaging unit 50-2 installed as a unit with the pedestrian traffic light 40b or in the vicinity thereof.
  • a pedestrian traffic light 40b, an imaging unit 50-2, and a traffic signal generation device 30-2 are shown. Other traffic lights at the intersection are not shown.
  • the control unit 46 of the traffic light 40b for the pedestrian sets the pedestrian crossing where the pedestrian 90 can enter and the vicinity thereof as the attention region 71 within the range of the imaging region 70 of the imaging unit 50-2 (shaded range). ).
  • FIG. 45 (a) is a diagram illustrating a scene imaged by the imaging unit 50-2 installed in the pedestrian traffic light 40b.
  • FIG. 45 (b) is a diagram illustrating the setting of the imaging condition based on the subject recognition result using the image data acquired by the imaging unit 50-2.
  • an imaging unit 50-2 having the above-described imaging device 100 is installed in a pedestrian traffic light 40b.
  • the image sensor 100 it is possible to measure not only the vertical and horizontal directions but also the movement in the depth direction, and therefore it is possible to measure the speed Vo at which the pedestrian 90 as the subject moves. .
  • control unit 46 may change the imaging condition for the attention area 71 based on the positional relationship between the nearby vehicle or building and the pedestrian 90. For example, when there is a vehicle operating the blinker for turning right or left at the intersection in the imaging region 70, the vehicle may enter a pedestrian crossing. The region closer to the vehicle is set as a special attention region. Then, the frame rate of the unit area of the image sensor 100 corresponding to the special attention area is made higher than that of the unit area corresponding to the attention area 71. The control unit 46 also controls the thinning rate of the unit area of the image sensor 100 corresponding to the special attention area to be lower than the thinning ratio of the unit area corresponding to the attention area 71.
  • control unit 46 when the control unit 46 recognizes an object such as another pedestrian or a bicycle within the range of the imaging region 70, the control unit 46 may add a region including each of the plurality of objects to the attention region 71. . Then, in the plurality of regions of interest 71, the imaging conditions may be different between the plurality of pixels or regions 78P indicated by oblique lines and the plurality of pixels or regions 78S not indicated by oblique lines.
  • imaging is performed almost simultaneously with the display switching timing of the display unit 42.
  • the conditions may be changed, or the imaging conditions may be changed with a certain time interval from the display switching timing.
  • the imaging condition may be changed using both the attention area set before the display switching and the attention area to be set after the display switching as the attention area.
  • the traffic light 40 is based on information related to movement of the imaging unit 50 including the imaging element 100 that can independently set imaging conditions of the plurality of areas, and the movement of the automobile 10 and the other cars 20. And a control unit 46 for setting imaging conditions. Thereby, imaging conditions can be set for the imaging device 100 in accordance with the traffic conditions of the automobile 10 and other cars 20 moving at an intersection or the like.
  • the signal for permitting movement of the automobile 10 and the other vehicle 20 includes a signal for permitting straight travel, a signal for permitting a left turn, and a signal for permitting a right turn.
  • the imaging conditions are set based on the above. Thereby, when the car 10 and the other car 20 go straight, turn left, or turn right, the imaging conditions of the image sensor 100 can be set appropriately.
  • the imaging unit 5 and the imaging unit 50 are controlled by the control performed by the control unit 19 of the automobile 10 or the control unit 46 of the traffic light 40, respectively.
  • the control of the imaging unit 5 and the imaging unit 50 is controlled. Some may be performed by a control circuit (CPU or the like) inside the imaging unit.
  • the control unit 19 of the automobile 10 or the control unit 46 of the traffic light 40 may identify a sign such as an initial driver sign or an elderly driver sign in addition to identifying whether the car is an automatic driving car or a manual driving car. . Then, different imaging conditions are set in the unit area of the image sensor 100 corresponding to the driver of the first driving and the elderly driving car. For example, the vehicle on which the initial driver sign is displayed may be imaged at a frame rate that is higher than the unit area of the image sensor 100 corresponding to the manually operated vehicle. Thereby, according to a target object, an imaging condition can be appropriately set for every unit region in the imaging surface of the image sensor 100.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　撮像装置は、車両に搭載される。撮像装置は、撮像部と、前記車両の外部の状態と、前記車両の状態との少なくとも一方により、前記撮像部の複数の画素を有する領域毎または画素毎に撮像条件を設定する設定部とを備える。

Description

撮像装置および車両
　本発明は、撮像装置および車両に関する。
　車両に搭載したカメラで取得した画像に基づいて車両の走行環境を検出し、検出した走行環境データに基づいて、先行車への追従走行などの自動走行制御や、警報、制動、操舵支援等の運転支援を行う技術が開発されている（特許文献１参照）。
日本国特開２０１０－７９４２４号公報
　従来技術では、車載カメラにＣＣＤ等の固体撮像素子が用いられている。道路などの画像を取得し続ける車載カメラは自動走行制御や運転支援などにおいて重要な役割を果たすところ、車両への搭載を前提にするカメラの提案は多くなく、カメラの使い勝手が十分とはいえなかった。
　従来技術では、カメラを用いて道路上のラインを検出するが、例えばトンネル内や降雨時などの走行環境において、ラインの検出が困難となる場合があった。
　今後、自動走行制御をしている自動車と、ドライバーによる手動運転で走行をしている自動車とが混在することが予想されるが、この点に関する提案は多くなかった。
　本発明の第１の態様によると、撮像装置は車両に搭載される。撮像装置は、撮像部と、前記車両の外部の状態と、前記車両の状態との少なくとも一方により、前記撮像部の複数の画素を有する領域毎または画素毎に撮像条件を設定する設定部とを備える。
　第２の態様によると、第１の態様の撮像装置において、前記車両の状態は、前記車両の走行状態であるのがよい。
　第３の態様によると、第２の態様の撮像装置において、前記車両の走行状態は、前記車両の進行方向、速度のうちの少なくとも１つであるとよい。
　第４の態様によると、第３の態様の撮像装置において、前記車両の進行方向、速度のうちの少なくとも１つは、前記車両の制御部により制御されることが好ましい。
　第５の態様によると、第３の態様の撮像装置において、前記車両の進行方向、速度のうちの少なくとも１つは、前記車両の操作部への操作により設定されることが好ましい。
　第６の態様によると、第５の態様の撮像装置において、前記操作部は、ハンドル、方向指示器のスイッチ、アクセルペダル、ブレーキペダルのうちの少なくとも１つであることが好ましい。
　第７の態様によると、第４～６の態様の撮像装置において、前記車両の進行方向、速度のうちの少なくとも１つは、前記車両の検出部により検出されることが好ましい。
　第８の態様によると、第２～７の態様の撮像装置において、前記設定部は、前記車両の走行状態により前記撮像部に撮像領域を設定し、前記設定された撮像領域の撮像条件を設定することが好ましい。
　第９の態様によると、第８の態様の撮像装置において、前記設定部は、前記撮像領域の撮像条件としてフレームレートを他の領域のフレームレートよりも高くすることが好ましい。
　第１０の態様によると、第８または９の態様の撮像装置において、前記設定部は、前記撮像領域の撮像条件として画素の間引き率を他の領域の間引き率よりも低くすることが好ましい。
　第１１の態様によると、第２の態様の撮像装置において、前記車両の走行状態は、前記車両から前記車両に先行する車両までの距離であってもよい。
　第１２の態様によると、第１１の態様の撮像装置において、前記設定部は、前記車両から前記車両に先行する車両までの距離により、前記撮像部に撮像領域を設定し、前記撮像領域の撮像条件を設定することが好ましい。
　第１３の態様によると、第１２の態様の撮像装置において、前記設定部は、前記撮像領域の撮像条件として画素の間引き率を他の領域の間引き率よりも低くすることが好ましい。
　第１４の態様によると、第１２または１３の態様の撮像装置において、前記設定部は、前記撮像領域の撮像条件としてフレームレートを他の領域のフレームレートよりも高くすることが好ましい。
　第１５の態様によると、第１４の態様の撮像装置において、前記設定部は、前記車両から前記車両に先行する車両までの距離が短くなったら前記撮像領域のフレームレートを増加させることが好ましい。
　第１６の態様によると、第１２～１５の態様の撮像装置において、前記設定部は、前記車両から前記車両に先行する車両までの距離が短くなったら前記撮像領域の大きさを大きくすることが好ましい。
　第１７の態様によると、第１の態様の撮像装置において、前記車両の外部の状態は、前記車両以外の車両の状態であってもよい。
　第１８の態様によると、第１７の態様の撮像装置において、前記車両以外の車両の状態は、前記車両以外の車両の運転方式であることが好ましい。
　第１９の態様によると、第１８の態様の撮像装置において、前記車両の運転方式は、車両の制御部により運転が制御される自動運転方式と、車両の操作部への操作により運転される手動運転方式とであることが好ましい。
　第２０の態様によると、第１９の態様の撮像装置において、前記設定部は、前記撮像部に前記手動運転方式の車両を撮像する領域と前記自動運転方式の車両を撮像する領域とを設定し、前記手動運転方式の車両を撮像する領域の撮像条件と、前記自動運転方式の車両を撮像する領域の撮像条件とを異ならせることが好ましい。
　第２１の態様によると、第２０の態様の撮像装置において、前記設定部は、前記手動運転方式の車両を撮像する領域の撮像条件としてフレームレートを、前記自動運転方式の車両を撮像する領域のフレームレートよりも高くすることが好ましい。
　第２２の態様によると、第２０または２１の態様の撮像装置において、前記設定部は、前記手動運転方式の車両を撮像する領域の撮像条件として画素の間引き率を、前記自動運転方式の車両を撮像する領域の画素の間引き率よりも低くすることが好ましい。
　第２３の態様によると、第１８～２２の態様の撮像装置において、前記車両の運転方式は検出部で検出されることが好ましい。
　第２４の態様によると、第１の態様の撮像装置において、前記車両の外部の状態は、道路の状態であってもよい。
　第２５の態様によると、第２４の態様の撮像装置において、前記道路の状態は、前記道路の走行車線を示す線の状態であることが好ましい。
　第２６の態様によると、第２５の態様の撮像装置において、前記撮像部で撮像した画像から前記線を検出することが好ましい。
　第２７の態様によると、第２５または２６の態様の撮像装置において、前記設定部は、前記撮像部に前記線を撮像する領域を設定し、前記線を撮像する領域の撮像条件を設定することが好ましい。
　第２８の態様によると、第２７の態様の撮像装置において、前記設定部は、前記線を撮像する領域の撮像条件としてフレームレートを、前記線を撮像する領域以外のフレームレートよりも高くすることが好ましい。
　第２９の態様によると、第２７または２８の態様の撮像装置において、前記設定部は、前記線を撮像する領域の撮像条件として画素の間引き率を、前記線を撮像する領域以外の画素の間引き率よりも低くすることが好ましい。
　本発明の第３０の態様によると、撮像装置は車両に搭載される。撮像装置は、撮像部と、前記車両の外部の状態と、前記車両の状態との少なくとも一方により、前記撮像部の撮像領域の中に前記車両の走行に関連する部分領域と、前記設定された部分領域の画素の撮像条件とを設定する設定部とを備える。
　第３１の態様によると、第３０の態様の撮像装置において、前記設定部は、前記設定された部分領域の撮像条件としてフレームレートを前記設定された部分領域以外の領域のフレームレートよりも高くすることが好ましい。
　第３２の態様によると、第３０または３１の態様の撮像装置において、前記設定部は、前記設定された部分領域の撮像条件として画素の間引き率を前記設定された部分領域以外の領域の画素の間引き率よりも低くすることが好ましい。
　第３３の態様によると、第３０～３２の態様の撮像装置において、前記車両の状態は、前記車両の走行状態であることが好ましい。
　第３４の態様によると、第３３の態様の撮像装置において、前記車両の走行状態は、前記車両の進行方向、速度のうちの少なくとも１つであることが好ましい。
　第３５の態様によると、第３３の態様の撮像装置において、前記車両の走行状態は、前記車両から前記車両に先行する車両までの距離であることが好ましい。
　第３６の態様によると、第３０の態様の撮像装置において、前記車両の外部の状態は、前記車両以外の車両の状態であることが好ましい。
　第３７の態様によると、第３６の態様の撮像装置において、前記車両以外の車両の状態は、前記車両以外の車両の運転方式であることが好ましい。
　第３８の態様によると、第３０の態様の撮像装置において、前記車両の外部の状態は、道路の状態であることが好ましい。
　第３９の態様によると、第３８の態様の撮像装置において、前記道路の状態は、前記道路の走行車線を示す線の状態であることが好ましい。
　本発明の第４０の態様によると、車両は撮像装置を搭載する。前記車両は、前記車両の外部の状態と、前記車両の状態との少なくとも一方を検出する検出部と、撮像部と、前記検出部で検出された、前記車両の外部の状態と、前記車両の状態との少なくとも一方により、前記撮像部の撮像領域の中に前記車両の走行に関連する部分領域を設定し、前記設定された部分領域の画素の撮像条件を設定する設定部とを備える。
　第４１の態様によると、第４０の態様の車両において、前記検出部は、前記車両の走行状態を検出することが好ましい。
　第４２の態様によると、第４１の態様の車両において、前記検出部は、前記車両の走行状態として前記車両の進行方向、速度のうちの少なくとも１つを検出することが好ましい。
　第４３の態様によると、第４１の態様の車両において、前記検出部は、前記車両の走行状態として前記車両から前記車両に先行する車両までの距離を検出することが好ましい。
　第４４の態様によると、第４３の態様の車両において、前記検出部は、前記撮像部で撮像した画像により、前記車両の走行状態として前記車両から前記車両に先行する車両までの距離を検出することが好ましい。
　第４５の態様によると、第４０の態様の車両において、前記検出部は、前記車両以外の車両の状態を検出することが好ましい。
　第４６の態様によると、第４５の態様の車両において、前記検出部は、前記車両以外の車両の運転方式を検出することが好ましい。
　第４７の態様によると、第４０の態様の車両において、前記検出部は、道路の状態を検出することが好ましい。
　第４８の態様によると、第４７の態様の車両において、前記検出部は、前記撮像部で撮像した画像により、前記道路の状態を検出することが好ましい。
　第４９の態様によると、第４７の態様の車両において、前記検出部は、前記道路の状態として前記道路の走行車線を示す線を検出することが好ましい。
　第５０の態様によると、第４０～４９の態様の車両において、前記設定部は、前記設定された部分領域の撮像条件としてフレームレートを前記設定された部分領域以外の領域のフレームレートよりも高くすることが好ましい。
　第５１の態様によると、第４０～５０の態様の車両において、前記設定部は、前記設定された部分領域の撮像条件として画素の間引き率を前記設定された部分領域以外の領域の画素の間引き率よりも低くすることが好ましい。
車両の運転支援装置の概略構成図である。 制御装置の構成を例示するブロック図である。 積層型撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域の回路を説明する図である。 撮像素子の機能的構成を示すブロック図である。 カメラの構成を例示するブロック図である。 焦点検出画素ラインの一部を含む領域を拡大した図である。 撮像素子を有するカメラの構成を例示するブロック図である。 撮像チップの撮像面と、撮像領域および注目領域と、休止領域とを例示する図である。 制御部が実行するカメラの制御処理の流れを説明するフローチャートである。 初期設定処理の詳細を説明するフローチャートである。 初期設定値のテーブルを例示する図である。 撮像チップの撮像面と、撮像領域および注目領域と、休止領域とを例示する図である。 撮像チップの撮像面と、撮像領域および注目領域と、休止領域とを例示する図である。 撮像チップの撮像面と、撮像領域および注目領域と、休止領域とを例示する図である。 走行アシスト設定処理の詳細を説明するフローチャートである。 フラグＥｍを説明する図である。 距離Ｚを説明する図である。 図２０(a) は一般道路の交差点を右折する場合の注目領域の位置の移動およびサイズの変化を例示する図である。図２０(b) は高速道路において加速しながら車線変更する場合の注目領域の位置の移動およびサイズの変化を例示する図である。 ターンシグナル方向と注目領域のサイズ変更を説明する図である。 変形例１によるターンシグナルスイッチの操作時の処理を説明するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図である。 制御部が実行するカメラの制御処理の全体の流れを説明するフローチャートである。 撮像条件設定処理の詳細を説明するフローチャートである。 第１の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図である。 第２の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図であり、図２９(a) はハイビーム時の図、図２９(b) はロービーム時の図である。 第３の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図である。 第４の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図である。 第５の走行環境の変化の場合の処理を例示するフローチャートである。 撮像チップの撮像面上の画像を模式的に示す図であり、図３５(a) は車線変更前の図、図３５(b) は車線変更中の図である。 第３の実施の形態に係る撮像システムの構成を示すブロック図である。 交差点における信号機の配置を例示する図である。 自動車用の信号機を例示する図である。 自動車の制御部による制御を説明するフローチャートである。 図４０(a) は、自動車の位置関係を説明する図、図４０(b) は、前方カメラの被写体像を模式的に示す図、図４０(c) は、後方カメラの被写体像を模式的に示す図である。 信号機の制御部による制御を説明するフローチャートである。 自動車用の信号機の撮像部の制御を説明する図である。 自動車用の信号機の撮像部の制御を説明する図である。 歩行者用の信号機の撮像部の制御を説明する図である。 図４５(a) は、歩行者用の信号機の撮像部による撮像場面を例示する図、図４５(b) は、撮像条件の設定を説明する図である。 自動車用の信号機の撮像部による撮像場面を例示する図である。
　以下、図面を参照して本発明を実施するための形態について説明する。
（第１の実施の形態）
＜カメラの使用場面＞は
　図１は、本発明の第１の実施の形態によるカメラ３を搭載した車両１の運転支援装置２の概略構成図である。図１において、自動車等の車両１に運転支援装置２が搭載されている。運転支援装置２は、カメラ３と、制御装置４と、第１の走行制御ユニット５と、第２の走行制御ユニット６等により構成される。
　なお、本説明では内燃機関を駆動源とする例を説明するが、モータを駆動源とするものでもよいし、内燃機関とモータを駆動源とする、いわゆるハイブリッドでもよい。
　カメラ３は、複数のレンズを有する撮像光学系、撮像素子（本実施形態では積層型撮像素子（図３参照））を備え、例えば車室内の天井前方に取り付けられている。カメラ３は車両１の前方に向けられ、その取り付け高さ（地面からカメラ３までの距離）は、例えば１．４( ｍ ) に調整されている。カメラ３は、車両１の進行方向の画像を取得し、取得した画像に基づいて撮影画面内の複数の位置における各被写体（対象物）までの距離測定（測距）を行う。距離測定は、積層型撮像素子に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する。焦点検出用画素および測距については後述する。カメラ３により取得された画像のデータおよび測距データは、制御装置４へ送出される。なお、カメラ３を車外に設けてもよく、車内・車外のカメラ３を協働してもよく、カメラ３の数も適宜設定すればよい。一例を挙げると、後述する白線検出は車外のカメラ３を用い、対象物や障害物の認識は、車内・車外のカメラ３を協働させるようにしてもよい。
　制御装置４は、図２に例示するように、ＣＰＵ４ａおよび記憶部４ｂを含む。ＣＰＵ４ａは、記憶部４ｂに記憶されている各種プログラムに基づいて、記憶部４ｂに記憶されている制御パラメータや後述する各センサによる検出信号などを用いて各種演算を行う。
　第１の走行制御ユニット５は、制御装置４からの指示に基づいて、定速走行制御および追従走行制御を行う。定速走行制御は、所定の制御プログラムに基づいて、車両１を一定速度で走行させる制御である。追従走行制御は、定速走行制御を行っている際に、制御装置４にて認識された先行車の速度が車両１に設定されている目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行させる制御である。
　第２の走行制御ユニット６は、制御装置４からの指示に基づいて、運転支援制御を行う。運転支援制御は、所定の制御プログラムに基づいて、車両１が道路に沿って走行するように操舵制御装置９にステアリング制御信号を出力したり、車両１が対象物と衝突するのを回避するようにブレーキ制御装置８にブレーキ制御信号を出力したりする制御である。
　図１にはさらに、スロットル制御装置７と、ブレーキ制御装置８と、操舵制御装置９と、ステアリングホイール１０と、ターンシグナルスイッチ１１と、車速センサ１２と、ヨーレートセンサ１３と、表示装置１４と、ＧＰＳ装置１５と、シフトレバー位置検出装置１６と、マイク１７とが図示されている。
　なお、ビーム切換えスイッチ１８と降雨センサ１９については、第１の実施の形態においては必須の構成ではない。
　スロットル制御装置７は、アクセルペダル７ａの踏み込み量に応じて不図示のスロットルバルブの開度を制御する。また、スロットル制御装置７は、第１の走行制御ユニット５から送出されるスロットル制御信号に応じて上記スロットルバルブに対する開度の制御も行う。スロットル制御装置７はさらに、アクセルペダル７ａの踏み込み量を示す信号を制御装置４へ送出する。
　ブレーキ制御ブレーキ制御装置８は、ブレーキペダル８ａの踏み込み量に応じて不図示のブレーキバルブの開度を制御する。また、ブレーキ制御装置８は、第２の走行制御ユニット６からのブレーキ制御信号に応じて上記ブレーキバルブに対する開度の制御も行う。ブレーキ制御装置８はさらに、ブレーキペダル８ａの踏み込み量を示す信号を制御装置４へ送出する。
　操舵制御装置９は、ステアリングホイール１０の回転角に応じて不図示のステアリング装置の舵角を制御する。また、操舵制御装置９は、第２の走行制御ユニット６からのステアリング制御信号に応じて上記ステアリング装置の舵角の制御も行う。操舵制御装置９はさらに、ステアリングホイール１０の回転角を示す信号を第１の走行制御ユニット５と、制御装置４とにそれぞれ送出する。
　ターンシグナルスイッチ１１は、不図示のターンシグナル（ウィンカー）装置を作動させるためのスイッチである。ターンシグナル装置は、車両１の進路変更を示す点滅発光装置である。車両１の乗員によってターンシグナルスイッチ１１が操作されると、ターンシグナルスイッチ１１からの操作信号がターンシグナル装置、第２の走行制御ユニット６および制御装置４にそれぞれ送出される。車速センサ１２は車両１の車速Ｖを検出し、検出信号を第１の走行制御ユニット５と、第２の走行制御ユニット６と、制御装置４とにそれぞれ送出する。
　ヨーレートセンサ１３は車両１のヨーレートを検出し、検出信号を第２の走行制御ユニット６と、制御装置４とにそれぞれ送出する。ヨーレートは、車両１の旋回方向への回転角の変化速度である。表示装置１４は、第１の走行制御ユニット５、および第２の走行制御ユニット６による制御状態を示す情報などを表示する。表示装置１４は、例えばフロントガラスに情報を投映するＨＵＤ(Head Up Display) によって構成される。なお、表示装置１４として、不図示のナビゲーション装置の表示部を利用するようにしてもよい。
　ＧＰＳ装置１５は、ＧＰＳ衛星からの電波を受信し、電波にのせられている情報を用いて所定の演算を行うことにより、車両１の位置（緯度、経度など）を算出する。ＧＰＳ装置１５で算出した位置情報は、不図示のナビゲーション装置や制御装置４へ送出される。シフトレバー位置検出装置１６は、車両１の乗員によって操作された不図示のシフトレバーの位置（例えば、パーキング（Ｐ）、リバース（Ｒ）、ドライブ（Ｄ）など）を検出する。シフトレバー位置検出装置１６で検出したシフトレバーの位置情報は、制御装置４へ送出される。
　マイク１７は、例えば前方マイクと、右側方マイクと、左側方マイクとによって構成される。前方マイクは、専ら車両１の前方の音を集音する指向性を有する。右側方マイクは、専ら車両１の右側方の音を集音する指向性を有する。左側方マイクは、専ら車両１の左側方の音を集音する指向性を有する。マイク１７で集音された各音情報（前方、右側方、左側方）は、それぞれ制御装置４へ送出される。
＜対象物の検出＞
　制御装置４は、車両１の走行路および対象物を検出するために、カメラ３からの画像に対し、以下のように画像処理を行う。先ず、制御装置４は、撮影画面内の複数の位置における測距データに基づいて距離画像（奥行き分布画像）を生成する。制御装置４は、距離画像のデータに基づいて、周知のグルーピング処理を行い、あらかじめ記憶部４ｂに記憶しておいた３次元的な道路形状データ、側壁データ、対象物データ等の枠（ウインドウ）と比較し、白線データ（道路に沿った白線データおよび道路を横断する白線（停止線：交差点情報）データを含む）、道路に沿って存在するガードレール、縁石等の側壁データを検出するとともに、対象物・障害物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して検出する。
　本説明では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
＜運転支援＞
　制御装置４は、上記のように検出した各情報、すなわち、白線データ、ガードレール側壁データ、および対象物データの各データに基づいて走行路や障害となる対象物・障害物を認識し、認識結果をもとに第２の走行制御ユニット６に上記運転支援制御を行わせる。すなわち、車両１を道路に沿って走行させ、車両１が対象物と衝突するのを回避させる。
＜走行制御＞
　制御装置４は、例えば、以下の４ 通りにより自車進行路の推定を行う。
（１）白線に基づく自車進行路推定
　カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が白線と並行であると推定する。
（２）ガードレール、縁石等の側壁データに基づく自車進行路推定
　カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が側壁と並行であると推定する。
（３）先行車軌跡に基づく自車進行路推定
　制御装置４は、記憶部４ｂに記憶しておいた先行車の過去の走行軌跡に基づいて、自車進行路を推定する。先行車は、車両１と同じ方向に走行する対象物のうち、車両１に最も近い車両をいう。
（４）車両１の走行軌跡に基づく自車走行路推定
　制御装置４は、車両１の運転状態に基づいて、自車進行路を推定する。例えば、ヨーレートセンサ１３による検出信号と、車速センサ１２による検出信号とに基づく旋回曲率を用いて自車進行路を推定する。旋回曲率Ｃ ua は、Ｃ ua ＝ｄψ／ｄｔ／Ｖ により算出する。ｄψ／ｄｔは上記ヨーレート（旋回方向への回転角の変化速度）であり、Ｖは車両１の車速である。
　制御装置４は、記憶部４ｂに記憶されている所定の走行制御プログラムにしたがって、上記対象物ごとに、対象物が存在する位置における車両１の走行領域を自車進行路に基づき推定し、この走行領域と対象物位置とを比較して、それぞれの対象物が走行領域内にあるか否か判定する。制御装置４はさらに、カメラ３の撮像結果に基づき上記先行車を認識する。すなわち、制御装置４は、走行領域内に存在して順方向（車両１と同じ方向）に走行する対象物の中から、車両１に最も近い車両を先行車とする。
　制御装置４は、先行車と車両１との車間距離情報、および先行車の車速情報を、車外情報として第１の走行制御ユニット５へ出力する。ここで、先行車の車速情報は、所定時間ごとに取得した車両１の車速Ｖと、車速Ｖの取得タイミングに同期して上記所定時間ごとにカメラ３で取得された画像に基づいて測距した撮影画面内の先行車までの距離（車間距離）の変化と、に基づいて算出する。
　第１の走行制御ユニット５は、車速センサ１２で検出される車速Ｖが、あらかじめセットされている所定の車速（目標速度）に収束するようにスロットル制御装置７へスロットル制御信号を送出する。これにより、スロットル制御装置７が不図示のスロットルバルブの開度をフィードバック制御し、車両１を自動で定速走行させる。
　また、第１の走行制御ユニット５は、定速状態の走行制御を行っている際に制御装置４から入力された先行車の車速情報が車両１に設定されている目標速度以下の場合には、制御装置４から入力された車間距離情報に基づいてスロットル制御装置７へスロットル制御信号を送出する。具体的には、第１の走行制御ユニット５は、車両１から先行車までの車間距離および先行車の車速と、車両１の車速Ｖと、に基づいて適切な車間距離の目標値を設定し、カメラ３で取得された画像に基づいて測距される車間距離が、上記車間距離の目標値に収束するようにスロットル制御装置７へスロットル制御信号を送出する。これにより、スロットル制御装置７が不図示のスロットルバルブの開度をフィードバック制御し、車両１を先行車に追従走行させる。
＜積層型撮像素子の説明＞
上述したカメラ３に備わる積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願して国際公開されたＷＯ１３／１６４９１５号に記載されているものである。図３は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
　なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面（撮像面）と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図３の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
　ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。
　カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
　配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
　配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
　同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
　なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
　信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。
　図４は、撮像チップ１１３の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１３を裏面（撮像面）側から観察した様子を示す。画素領域には、例えば２０００万個以上もの画素がマトリックス状に配列されている。図４の例では、隣接する４画素×４画素の１６画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
　画素領域の部分拡大図に示すように、図４の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
　本実施形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義され、各ブロックは、それぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１３のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１３のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
　図５は、単位領域１３１における回路を説明する図である。図５の例では、隣接する３画素×３画素の９画素により一つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域１３１の二次元的な位置を符号Ａ～Ｉにより示す。
　単位領域１３１に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図５において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。
　単位領域１３１に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図５において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。
　さらに、単位領域１３１に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図５において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。
　なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１３側に設けられてもよいし、信号処理チップ１１１側に設けられてもよい。
　単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｉに対して独立して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｉの画素信号を共通の出力配線３０８を介して出力することができる。
　ここで、単位領域１３１に含まれる画素Ａから画素Ｉについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図５の例では「ＡＢＣＤＥＦＧＨＩ」の順序で画素信号が出力される。
　このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる画素信号をそれぞれ出力させることができる。また、撮像チップ１１３において一部のエリアに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のエリアに含まれる単位領域１３１を休ませることにより、撮像チップ１１３の所定のエリアでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるエリア（蓄積制御の対象エリア）を切り替えて、撮像チップ１１３の異なるエリアで逐次撮像を行わせて、画素信号を出力させることもできる。
　図６は、図５に例示した回路に対応する撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位領域１３１を形成する９個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０８へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。
　マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。
　演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。
　なお、図６では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくてもよく、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
　上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は、撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０８にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
＜測距の説明＞
　図７は、撮像素子１００の撮像面における焦点検出用画素の位置を例示する図である。本実施形態では、撮像チップ１１３のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図７の例では、１５本の焦点検出画素ライン６０が所定の間隔で設けられる。焦点検出画素ライン６０を構成する焦点検出用画素は、測距用の画像信号を出力する。撮像チップ１１３において焦点検出画素ライン６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、車外の移動体や障害物を監視する車外監視用の画像信号を出力する。
　図８は、上記焦点検出画素ライン６０のうち一つのラインの一部を含む領域を拡大した図である。図８において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。
　赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系３１（図９）の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
　なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの受光領域（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。
　焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素Ｓ１は、図８において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ１の受光部に到達する。一方、焦点検出用画素Ｓ２は、図８において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ２の受光部に到達する。このように、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２は、撮像光学系３１（図９）の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。
　なお、撮像チップ１１３における焦点検出画素ラインの位置は、図７に例示した位置に限定されない。また、焦点検出画素ラインの数についても、図７の例に限定されるものではない。さらに、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂにおける四角形状受光領域（マスク開口部）を横方向に分割した長方形状としてもよい。
　また、撮像チップ１１３における焦点検出画素ラインは、撮像チップ１１３のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものでもよい。図８のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
　なお、図８の例では、焦点検出用画素Ｓ１、Ｓ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる１ＰＤ構造を説明した。この代わりに、例えば特開２００７－２８２１０７号公報に開示されるように、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる２ＰＤ構造にしてもよい。このように２ＰＤ構造にすることにより、焦点検出用画素からも画像データを読み出すことが可能となり、焦点検出画素が欠陥画素になることがない。
　本実施形態では、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２から出力される測距用の画像信号に基づいて、撮像光学系３１（図９）の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出することにより、撮像光学系３１の焦点調節状態（デフォーカス量）を演算する。
　一般に、上記一対の像は、撮像光学系３１が予定焦点面よりも前に対象物（例えば先行車）の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに対象物の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において対象物の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、対象物までの距離（奥行き情報）に対応する。
　上記位相差に基づくデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。ここで、デフォーカス量と対象物までの距離とは一対一で対応するため、対象物ごとにデフォーカス量を求めることにより、カメラ３から各対象物までの距離を求めることができる。すなわち、撮影画面の複数の位置で、それぞれ上記対象物までの距離測定（測距）が行える。デフォーカス量と対象物までの距離との関係は、あらかじめ数式またはルックアップテーブルとして用意し、不揮発性メモリ３５ｂ（図９）に格納しておく。
＜カメラの説明＞
　図９は、上述した撮像素子１００を有するカメラ３の構成を例示するブロック図である。図９において、カメラ３は、撮像光学系３１と、撮像部３２と、画像処理部３３と、ワークメモリ３４と、制御部３５と、記録部３６とを有する。
　撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、上記撮像素子１００および駆動部３２ａを含み、撮像光学系３１によって撮像チップ１１３上に結像された対象物の像を光電変換する。駆動部３２ａは、撮像素子１００（撮像チップ１１３）に上述したブロック単位で独立した蓄積制御を行わせるために必要な駆動信号を生成する。上記ブロックの位置や形状、その範囲、蓄積時間などの指示は、制御部３５から駆動部３２ａへ送信される。
　画像処理部３３は、ワークメモリ３４と協働して撮像部３２で撮像された画像データに対する画像処理を行う。画像処理部３３は、例えば輪郭強調処理やガンマ補正などの画像処理に加えて、画像に含まれる対象物の色検出も行う。
　ワークメモリ３４は、画像処理前後の画像データなどを一時的に記憶する。記録部３６は、不揮発性メモリなどで構成される記憶媒体に画像データなどを記録する。制御部３５は、例えばＣＰＵによって構成され、制御装置４からの制御信号に応じて、カメラ３による全体の動作を制御する。例えば、撮像部３２で撮像された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像チップ１１３の蓄積時間を駆動部３２ａへ指示する。
　制御部３５には、測距演算部３５ａと、不揮発性メモリ３５ｂとが含まれる。測距演算部３５ａは、上述したように撮影画面の複数の位置で、それぞれ上記対象物までの距離測定（測距）を行う。カメラ３で取得した画像データおよびカメラ３で算出した測距データは、制御装置４へ送出される（図１）。不揮発性メモリ３５ｂは、制御部３５ａが実行するプログラム、および測距に必要な情報を記憶する。
＜撮像素子のブロック制御＞
　制御装置４は、カメラ３の撮像素子１００（撮像チップ１１３）に対し、上述したブロック単位で独立した蓄積制御を行わせる。このため、制御装置４には、車両１の各部から次の信号が入力される（図２）。
（１）アクセルペダル７ａの踏み込み量
　スロットル制御装置７から制御装置４に、アクセルペダル７ａの踏み込み量を示す信号が入力される。
（２）ブレーキペダル８ａの踏み込み量
　ブレーキ制御装置８から制御装置４に、ブレーキペダル８ａの踏み込み量を示す信号が入力される。
（３）ステアリングホイール１０の回転角
　操舵制御装置９から制御装置４に、ステアリングホイール１０の回転角を示す信号が入力される。ステアリングホイール１０の回転角とステアリング装置の舵角との比は、ステアリングのギヤレシオによる。
（４）車両１の車速Ｖ
　車速センサ１２による検出信号が、制御装置４に入力される。
（５）ターンシグナルスイッチ１１の操作信号
　ターンシグナルスイッチ１１の操作信号が、制御装置４に入力される。
（６）シフトレバーの操作位置
　シフトレバー位置検出装置１６が検出したシフトレバーの操作位置を示す信号が、制御装置４に入力される。
（７）車両１の位置情報
　ＧＰＳ装置１５で測位された位置情報が、ＧＰＳ装置１５から制御装置４に入力される。
（８）車両１の周囲の音情報
マイク１７で集音された車両１の前方、右側方、および左側方からの音情報が、それぞれ制御装置４に入力される。
　図１０は、撮像チップ１１３の撮像面と、撮像チップ１１３において電荷蓄積（撮像）を行わせる領域（撮像領域８１および注目領域８２）と、行方向および列方向の電荷蓄積（撮像）を行わせない領域（休止領域８３）とを例示する図である。注目領域８２は、撮像領域８１と異なる条件で電荷蓄積（撮像）を行う領域である。撮像チップ１１３における撮像領域８１、注目領域８２のサイズや位置も、撮像条件の一つである。
　制御装置４は、撮像領域８１に含まれる単位領域１３１に対し、それぞれ第１の条件を設定して撮像するように制御するとともに、注目領域８２に含まれる単位領域１３１に対し、それぞれ第２の条件を設定して撮像するように制御する。また、制御装置４は、休止領域８３に含まれる単位領域１３１については撮像しないように休止させる。
　なお、注目領域８２を複数設けてもよいし、複数の注目領域間で撮像の条件を異ならせてもよい。また、休止領域８３を設けなくてもよい。
＜フローチャートの説明＞
　以下、フローチャート（図１１，図１２、図１７）を参照して撮像領域８１および注目領域８２の決め方について説明する。図１１は、制御装置４が実行するカメラ３の制御処理の流れを説明するフローチャートである。図１１のフローチャートによる処理を実行するためのプログラムは、制御装置４の記憶部４ｂに格納されている。制御装置４は、例えば車両１から電源供給が開始されたり、エンジンが始動されると、図１１による処理を行うプログラムを起動する。
　図１１のステップＳ１０において、制御装置４は、フラグａ＝０か否かを判定する。フラグａは、初期設定が終了している場合に１、初期設定が終了していない場合に０がセットされるフラグである。制御装置４は、フラグａ＝０の場合にステップＳ１０を肯定判定してステップＳ２０へ進み、フラグａ≠０の場合にステップＳ１０を否定判定してステップＳ３０へ進む。
　ステップＳ２０において、制御装置４は、初期設定処理を行ってステップＳ３０へ進む。初期設定処理の詳細については後述する。ステップＳ３０において、制御装置４は、走行アシスト設定処理を行ってステップＳ４０へ進む。走行アシスト設定処理では、撮像素子１００に対して撮像領域８１および注目領域８２を決定する。走行アシスト設定処理の詳細については後述する。
　ステップＳ４０において、制御装置４はカメラ３へ指示を送り、撮像素子１００における撮像領域８１および注目領域８２をそれぞれ所定の条件で駆動させて、画像の取得を行わせる。本実施形態では、例えば、制御装置４は、車速Ｖが０から増加すると撮像領域８１に比べて注目領域８２のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。これにより、カメラ３による撮像が行われるとともに、上述したように撮影画面の複数の位置で距離測定（測距）が行われる。
　なお、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの全てを異ならせる必要はなく、少なくとも一つを異ならせるだけでもよい。また、制御装置４は、注目領域８２については間引きを行わない設定としてもよい。
　ステップＳ４５において、制御装置４は、画像のデータおよび測距データをカメラ３から取得してステップＳ５０へ進む。ステップＳ５０において、制御装置４は、情報を表示する設定が行われているか否かを判定する。制御装置４は、表示設定が行われている場合にステップ５０を肯定判定してステップＳ６０へ進む。制御装置４は、表示設定が行われていない場合には、ステップ５０を否定判定してステップＳ７０へ進む。
　ステップＳ６０において、制御装置４は、表示装置１４（図１）に対する表示情報を送出してステップＳ７０へ進む。表示情報は、走行アシスト設定処理（Ｓ３０）の中で判断された車両１の状態に応じた情報で、例えば「停止中です」、「緊急停車します」、「右折します」、「左折します」というメッセージを表示装置１４に表示させる。
　なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合も不図示の音声再生装置として、不図示のナビゲーション装置の音声装置を用いてもよい。
　ステップＳ７０において、制御装置４は、オフ操作されたか否かを判定する。制御装置４は、例えば車両１からオフ信号（例えば、エンジンのオフ信号）を受けると、ステップＳ７０を肯定判定し、所定のオフ処理を行って図１１による処理を終了する。制御装置４は、例えば車両１からオフ信号を受けない場合は、ステップＳ７０を否定判定してステップＳ８０へ進む。ステップＳ８０において、制御装置４は、所定時間（例えば０．１秒）待ってステップＳ３０へ戻る。ステップＳ３０へ戻る場合は、上述した処理を繰り返す。
＜初期設定処理＞
　図１２は、図１１のフローチャートのステップＳ２０（初期設定処理）の詳細を説明するフローチャートである。図１２のステップＳ２１において、制御装置４は、ＧＰＳ装置１５（図１）から車両１の位置情報を入力してステップＳ２２へ進む。ステップＳ２２において、制御装置４は、位置情報に含まれる緯度、経度に基づいて、車両１が走行する通行帯が道路の左か右か、すなわち左側通行か右側通行かを示すフラグをセットする。具体的には、制御装置４は、緯度、経度に基づいて車両１が使用される国名を判別する。そして、不図示のデータベースを参照して当該国における道路が左側通行か右側通行かを示すフラグをセットする。国名と通行帯の左右との関係を示すデータベースは、あらかじめ記憶部４ｂに格納されている。
　ステップＳ２３において、制御装置４は、車両１におけるハンドル（ステアリングホイール１０）の取り付け位置（右または左）を示すフラグをセットしてステップＳ２４へ進む。右ハンドルか左ハンドルかを示す情報は、車両１の諸元情報としてあらかじめ記憶部４ｂに格納されている。ステップＳ２４において、制御装置４は、図１３に例示するテーブルに基づいて初期設定値を決定してステップＳ２５へ進む。なお、ステップＳ２１とステップＳ２３との順番は入れ替えてもよい。
　図１３によれば、車両１におけるステアリングホイール１０の取り付け位置（右または左）と、道路における通行帯の位置（右または左）との組み合わせに応じて「１」から「４」の４通りの初期設定値が用意される。右ハンドルで左側通行の場合、初期設定値は「４」である。
　ステップＳ２５において、制御装置４は、注目領域８２の初期位置をセットする。注目領域８２の初期位置は、初期設定値に応じた位置とする。具体的には、制御装置４は、初期設定値「１」の場合に注目領域８２の初期位置を（Ｘｑ１，Ｙｑ）とし、初期設定値「２」の場合に注目領域８２の初期位置を（Ｘｑ２，Ｙｑ）とし、初期設定値「３」の場合に注目領域８２の初期位置を（Ｘｑ３，Ｙｑ）とし、初期設定値「４」の場合に注目領域８２の初期位置を（Ｘｑ４，Ｙｑ）とする。
　本説明では、撮像領域８１を表す座標系において、注目領域８２の中央の座標（Ｘｑ，Ｙｑ）で注目領域８２の位置を表す。図１０は、初期設定値が「４」の場合の注目領域８２を例示しており、右ハンドルで左側通行であることから、左側通行帯の中で運転者席側（右寄り）に注目領域８２を設定するように初期位置（Ｘｑ４，Ｙｑ）を定めている。
　図１４は、初期設定値が「１」の場合の注目領域８２を例示しており、左ハンドルで右側通行であることから、右側通行帯の中で運転者席側（左寄り）に注目領域８２を設定するように初期位置（Ｘｑ１，Ｙｑ）を定めている。
　図１５は、初期設定値が「３」の場合の注目領域８２を例示しており、左ハンドルで左側通行であることから、左側通行帯の中で運転者席側（左寄り）に注目領域８２を設定するように初期位置（Ｘｑ３，Ｙｑ）を定めている。
　図１６は、初期設定値が「２」の場合の注目領域８２を例示しており、右ハンドルで右側通行であることから、右側通行帯の中で運転者席側（右寄り）に注目領域８２を設定するように初期位置（Ｘｑ２，Ｙｑ）を定めている。
　図１２のステップＳ２６において、制御装置４は、注目領域８２の初期サイズをセットする。本実施形態では、注目領域８２の初期サイズ（Ｐｘ（Ｘ軸方向）×Ｐｙ（Ｙ軸方向））を対象物（例えば先行車）の大きさ（寸法）に基づいて決める。制御装置４は、カメラ３で取得した画像に先行車が含まれる場合に、撮像チップ１１３で撮像された先行車の像高と、既知である撮像光学系３１の焦点距離と、測距によって得た車両１から先行車までの距離Ｌと、に基づいて先行車の大きさ（寸法）を推定する。そして、推定した大きさ（例えば幅３( ｍ )×高さ１．４( ｍ )）の先行車を１( ｍ ) 後方から撮像した場合に撮像チップ１１３上で得られる像を構成するピクセル数（Ｐｘ（Ｘ軸方向）×Ｐｙ（Ｙ軸方向））を、初期サイズとする。
　ＰｘおよびＰｙは次式（１）、（２）により算出する。
Ｐｘ ＝ ｏｘ × Ｌ 　　　　　　　　　　　　…（１）
Ｐｙ ＝ ｏｙ × Ｌ 　　　　　　　　　　　　…（２）
ただし、ｏｘはＬ( ｍ ) 離れて撮像チップ１１３で撮像された先行車の像を構成するＸ軸方向のピクセル数である。ｏｙはＬ( ｍ ) 離れて撮像チップ１１３で撮像された先行車の像を構成するＹ軸方向のピクセル数である。Ｌ は車両１から先行車までの車間距離である。
　なお、撮像領域８１を表す座標系において、初期位置を表す上記Ｙｑは、上記１( ｍ ) 離れた先行車を撮像した場合に撮像チップ１１３上で得られる像の高さ中心（本例では先行車の高さ０．７( ｍ ) の部位）に相当する。
　ステップＳ２７において、制御装置４は、表示装置１４（図１）に対する表示情報を送出し、フラグａに１をセットして図１２による処理を終了する。表示情報は、初期設定処理を終了したことを示す情報で、例えば「初期設定を終了します」というメッセージを表示装置１４に表示させる。
＜走行アシスト設定処理＞
　図１７は、走行アシスト設定処理の詳細を説明するフローチャートである。図１７のステップＳ３１０において、制御装置４は、シフトレバー位置検出装置１６（図１）から入力されたシフトレバーの位置情報が「Ｐ」（パーキング）である場合にステップＳ３１０を肯定判定してステップＳ３２０へ進む。制御装置４は、シフトレバー位置検出装置１６（図１）から入力したシフトレバーの位置情報が「Ｐ」でない場合にはステップＳ３１０を否定判定してステップＳ４２０へ進む。なお、シフトレバーが「Ｎ」（ニュートラル）である場合にもステップＳ３１０の判断を適用してもよい。
　ステップＳ３２０において、制御装置４は、車速センサ１２から車速Ｖを入力してステップＳ３３０へ進む。制御装置４は、例えば車速Ｖに応じて注目領域８２のフレームレートを変化させる。上述したように、注目領域８２のフレームレートを撮像領域８１のフレームレートに比べて高く設定する場合、制御装置４は、車速Ｖが増加するほど注目領域８２のフレームレートを高く設定し、車速Ｖが減少するほど注目領域８２のフレームレートを低く設定する。この場合、制御装置４は、注目領域８２以外の撮像領域８１のフレームレートも車速Ｖに比例するような制御を適用してもよい。ステップＳ３３０において、制御装置４は、ブレーキ制御装置８（図１）からブレーキペダル８ａの踏み込み量を入力してステップＳ３４０へ進む。
　ステップＳ３４０において、制御装置４は、車速Ｖとブレーキペダル８ａの踏み込み量（踏み込み角度）とに基づいてフラグＥｍ＝０か否かを判定する。フラグＥｍは、車速Ｖとブレーキペダル８ａの踏み込み量（踏み込み角度）の変化量とに基づき、図１８に例示するようにセットされるフラグである。本実施形態では、Ｅｍ＝１の場合を緊急ブレーキ（急ブレーキ）と判断し、Ｅｍ＝０の場合を通常ブレーキと判断する。制御装置４は、Ｅｍ＝０の場合にステップＳ３４０を肯定判定してステップＳ３５０へ進む。制御装置４は、Ｅｍ＝１の場合にステップＳ３４０を否定判定してステップＳ４３０へ進む。
　なお、ブレーキペダル８ａの踏み込み量（踏み込み角度）の変化量の代わりに、不図示のブレーキバルブの開度の変化量に基づいてＥｍ＝１を判定してもよい。また、車速Ｖの変化量に基づいてＥｍ＝１を判定してもよいし、不図示の変速機の減速比の変化量に基づいてＥｍ＝１を判定してもよい。
　ステップＳ３５０において、制御装置４は、スロットル制御装置７（図１）からアクセルペダル７ａの踏み込み量を入力してステップＳ３６０へ進む。ステップＳ３６０において、制御装置４は、操舵制御装置９からステアリングホイール１０の回転角θを入力してステップＳ３７０へ進む。ステップＳ３７０において、制御装置４は、ステアリング操作がなされたか否かを判定する。制御装置４は、回転角θが所定値より大きい場合にステップＳ３７０を肯定判定してステップＳ３８０へ進み、回転角θが所定値以下の場合にステップＳ３７０を否定判定してステップＳ４４０へ進む。
　ステップＳ３８０において、制御装置４は、Ｘ軸方向における注目領域８２の移動量Ｘ dist を、ステアリングホイール１０の回転角θと車速Ｖとに基づいて、次式（３）により算出する。
Ｘ dist ＝ θ×( Ｖ × ０．２ )　　　　　　…（３）
上式（３）によれば、ステアリング装置の舵角（すなわちステアリングホイール１０の回転角θ）が大きいほど、また、車速Ｖが大きいほど移動量Ｘ dist が大きくなる。
　ステップＳ３９０において、制御装置４は、初期設定処理においてセットした注目領域８２の初期位置（ＸｑＮ，Ｙｑ）をベースに、走行中の注目領域８２の位置（Ｘ座標）を次式（４）により算出する。
Ｘｑ ＝ＸｑＮ ＋Ｘ dist　　　　　　　　　　…（４）
ただし、Ｎは初期設定処理において決定した初期設定値１～４のいずれかの値である。
Ｘ dist はステップＳ３８０で算出したＸ軸方向における注目領域８２の移動量であり、Ｘ軸方向のピクセル数に対応する。ステップＳ３９０の処理により、ステアリング操作に応じて注目領域８２の位置が変化する。また、車速Ｖの大きさによっても注目領域８２の位置が変化する。
　ステップＳ４００において、制御装置４は、初期設定処理においてセットした注目領域８２の初期位置（ＸｑＮ，Ｙｑ）をベースに、走行中の注目領域８２の位置（Ｙ座標）を次式（５）により算出する。
Ｙｑ ＝Ｙｑ ＋Ｐ( Ｚ )　　　　　　　　　　　…（５）
ただし、Ｐ( Ｚ) はＹ軸方向における注目領域８２の移動量であり、奥行きＺ( ｍ ) に対応するＹ軸方向のピクセル数である。例えば、奥行き２０( ｍ ) の道路の像がＹ軸方向に何ピクセルに相当するかを表す。奥行きＺとピクセル数との関係Ｐ( Ｚ ) は、あらかじめ記憶部４ｂ（図２）に格納しておく。
　一般に、平坦な直線道路で進行方向を撮像する場合、撮像チップ１１３上の道路の像に対応するＹ軸方向のピクセル数は、車両１からの奥行きＺ( ｍ ) が深くなるにつれて増加する。そこで、上記１( ｍ ) 離れた先行車を撮像した場合の像の高さ中心に相当するＹｑの値を、注目すべき先行車が遠くなる（すなわち奥行きＺが深くなる）につれて増加させる。
　制御装置４は、注目すべき先行車の奥行きＺを次式（６）により決定する。
Ｚ ＝Ｚａ＋Ｚｂ 　　　　　　　　　　　　　　…（６）
ただし、Ｚａは乾燥路における制動距離( ｍ ) であり、Ｚｂは濡れた路面における制動距離( ｍ ) である。ＺａおよびＺｂは、図１９に例示した値に基づく。本実施形態では、車両１の前方の奥行きＺ（すなわち車両１からＺ( ｍ ) 離れた位置）の先行車を注目領域８２に含めるように、注目領域８２の位置を決定する。これは、緊急ブレーキをかけた場合の停車に必要な距離より遠方を注目するという考え方に基づく。車速Ｖに応じた奥行きＺの値（Ｚａ＋Ｚｂ）は、あらかじめ記憶部４ｂ（図２）に格納しておく。ステップＳ４００の処理によれば、車速Ｖの変化に応じて注目領域８２の位置が変化する。
　このように位置を変更した注目領域８２について、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる。
　ステップＳ４１０において、制御装置４は、初期設定処理においてセットした注目領域８２の初期サイズ（Ｐｘ × Ｐｙ）をベースに、走行中の注目領域８２のサイズ（Ｘ _wid, Ｙ_wid）を次式（７）および（８）により算出し、図１７による処理を終了する。
Ｘ _wid ＝Ｐｘ／Ｚ　　　　　　　　　　　　　…（７）
Ｙ _wid ＝Ｐｙ／Ｚ　　　　　　　　　　　　　…（８）
ただし、ＰｘはステップＳ２６でセットしたＸ軸方向のピクセル数であり、ＰｙはステップＳ２６でセットしたＹ軸方向のピクセル数である。上式（７）、（８）によれば、走行中の注目領域８２のサイズ（Ｘ _wid,Ｙ _wid）は、注目すべき先行車が遠く離れる（奥行きＺが深くなる）ほど、注目領域８２の初期サイズ（Ｐｘ×Ｐｙ）より小さくなる。ステップＳ４１０の処理によれば、車速Ｖの変化に応じて注目領域８２のサイズが変化する。
　このようにサイズを変更した注目領域８２について、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる。
　上述したステップＳ３１０を否定判定して進むステップＳ４２０において、制御装置４は、停止中の設定処理を行って図１７による処理を終了する。停止中の設定処理は、例えば、１( ｍ ) 離れた先行車を注目領域８２に含めるように、注目領域８２の位置を決定する。また、注目領域８２のＸ軸方向のサイズを最大にして、車両１の側部に近い位置の対象物もなるべく注目領域８２に含まれるようにする。
　上述したステップＳ３４０を否定判定して進むステップＳ４３０において、制御装置４は、急ブレーキ判定時の設定処理を行って図１７による処理を終了する。急ブレーキ判定時の設定処理は、例えば、注目領域８２における間引きを止め、フレームレートを最大に上げ、蓄積時間を短くし、ゲインを高く設定する。
　なお、制御装置４は、注目領域８２以外の撮像領域８１のフレームレートも増加するようにしてもよい。また、制御装置４は、ステップＳ３４０を否定判定した以降の所定時間（例えば５秒～１５秒）の間、カメラ３で取得される画像を記録部３６に保存するようにカメラ３に対して記録の指示を行う。
　急停車後の制御装置４はさらに、初期設定処理においてセット（図１２のステップＳ２５）した注目領域８２の初期位置へ注目領域８２を移動させるとともに、初期設定処理においてセット（図１２のステップＳ２６）した注目領域８２の初期サイズ（Ｐｘ×Ｐｙ）へ注目領域８２のサイズを変更する。これにより、走行中の車速Ｖによって変化した注目領域８２の位置、サイズが、停車時に適した位置、サイズへ戻る。
　上述したステップＳ３７０を否定判定して進むステップＳ４４０において、制御装置４は、走行中の注目領域８２の位置（Ｘ座標）を移動させない設定を行う。すなわち、ステアリングホイール１０の回転角θが所定値以下の場合にθ←０とし、Ｘ dist の値も０とする。つまり、ステアリングホイール１０の操作角が所定値に満たない場合は、注目領域８２の位置（Ｘ座標）が維持される。このため、旋回操作でない微小操作時における処理負担の軽減に役立つ。
　図２０(a) は、一般道路の交差点において右折する場合の注目領域８２の位置の移動、および注目領域８２のサイズの変化を例示する図である。上記走行アシスト設定処理によれば、車両１が先行車の後ろで右折待ちをしている場合は、注目領域８２Ａの位置は初期位置にあり、注目領域８２Ａのサイズは初期サイズ（Ｐｘ×Ｐｙ）と略同じである。車両１が前進する状態で運転者が右方向へステアリング操作を始めると、注目領域８２Ｂの位置は右斜め上へ移動する。車速Ｖが低速であるので、注目領域８２Ｂのサイズも初期サイズ（Ｐｘ×Ｐｙ）と略同じである。
　図２０(b) は、高速道路において右側の追い越し車線へ加速しながら車線変更する場合の注目領域８２の位置の移動、および注目領域８２のサイズの変化を例示する図である。上記走行アシスト設定処理によれば、車両１が高速で走行する場合は、注目領域８２Ａの位置は初期位置より上方にあり、注目領域８２Ａのサイズは初期サイズ（Ｐｘ×Ｐｙ）に比べて小さい。車両１が加速する状態で運転者が右方向へステアリング操作すると、注目領域８２Ｂの位置は右斜め上へ移動する。車速Ｖが速いので、注目領域８２Ｂのサイズはさらに小さくなる。なお、図２０は左側通行の場合の例であり、右側通行の左折や、右側通行の車線変更にも適宜用いることができる。また、不図示の視線検出装置（例えば、ステアリングホイールに視線検出装置を設ける）により運転者の視線を検出して、運転者が注視していない領域や、死角となる領域を注目領域８２と設定するようにしてもよい。
　なお、視線検出には、赤外線を運転者の角膜で反射させてユーザの視線方向を検出する角膜反射法や、角膜と強膜との光に対する反射率の差を利用するリンバストラッキング法、眼球の映像をカメラで撮像して画像処理により視線を検出する画像解析法などがあり、いずれの視線検出方法を用いてもよい。
　第１の実施の形態によれば、次の作用効果が得られる。
（１）搭載されている車両１の諸元と、車両１の操作部に対する操作と、の少なくとも一方を認識する制御装置４と、少なくとも注目領域８２と、撮像領域８１とを有し、車両１の外部を撮像する撮像部３２と、制御装置４による認識結果に基づいて、注目領域８２の撮像条件と、撮像領域８１の撮像条件と、を異ならせて設定する制御装置４を備えたので、カメラ３の撮像条件を適切に設定することができる。
（２）制御装置４は、車両１におけるハンドル（ステアリングホイール１０）の取り付け位置（右または左）を認識するので、運転者の乗車位置に応じてカメラ３の撮像条件を適切に設定することができる。
（３）設定部は、ステアリングホイール１０の位置に応じて注目領域８２のフレームレートと、撮像領域８１のフレームレートとを異ならせて設定するので、例えば運転者席側（右）の注目領域８２でフレームレートを高めるなど、カメラ３の撮像条件を適切に設定することができる。
（４）車両１の車速Ｖに関する情報を検出する制御装置４を備え、制御装置４は、車速Ｖに関する情報の検出結果に応じて、注目領域８２の撮像条件と、撮像領域８１の撮像条件とを異ならせて設定するので、車速Ｖに応じてカメラ３の撮像条件を適切に設定することができる。
（５）制御装置４は、車速Ｖに関する情報が増加するときと、減少するときで、注目領域８２の撮像条件と、撮像領域８１の撮像条件との少なくとも一つの撮像条件を変更するので、例えば車速Ｖが速いほどフレームレートを高めるなど、カメラ３の撮像条件を適切に設定することができる。
（６）制御装置４は、ハンドル（ステアリングホイール１０）の回転角θが所定値を超えたときに、注目領域８２の撮像のフレームレートと、撮像領域８１の撮像のフレームレートとの少なくとも一つのフレームレートを高く変更するので、旋回操作の場合において、カメラ３の撮像条件を変更することができる。
（７）撮像部３２による撮像結果に基づいて、車両１の表示装置１４に対する表示情報を送信する制御装置４を備えたので、車両１の乗員に対して必要な情報を提供できる。
（８）ハンドル（ステアリングホイール１０）の回転角θが所定値に達しないときには、制御装置４は、注目領域８２の撮像のフレームレートと、撮像領域８１の撮像のフレームレートとの少なくとも一つのフレームレートの設定を維持するので、旋回操作でない微小操作時における撮像条件の変更を避けることができる。これにより、例えば注目領域８２のフレームレートを必要以上に細かく変更することが防止され、処理負担の軽減に役立つ。
（９）制御装置４は、注目領域８２の撮像条件と、撮像領域８１の撮像条件と、の間で異ならせる撮像条件に、撮像のフレームレート、ゲイン、間引き、画素信号加算、蓄積、ビット長、撮像領域のサイズ、および撮像領域の位置の少なくとも１つを含めるので、カメラ３の撮像条件を適切に設定することができる。
（１０）制御装置４は、車速Ｖに関する情報の検出結果に基づいて、注目領域８２の中心位置と、撮像領域８１の中心位置との少なくとも一つの中心位置を変更するので、車速Ｖの変化に伴って注目領域８２の位置を変更するなど、カメラ３の撮像条件を適切に設定することができる。
（１１）制御装置４は、車速Ｖに関する情報の検出結果に基づいて、注目領域８２のサイズと、撮像領域８１のサイズとの少なくとも一つのサイズを変更するので、車速Ｖの変化に伴って注目領域８２のサイズを変更するなど、カメラ３の撮像条件を適切に設定することができる。
（１２）制御装置４は、注目領域８２を囲む撮像領域８１を設定するので、カメラ３の撮像条件を適切に設定することができる。
（１３）車両１の操作部としてハンドル（ステアリングホイール１０）を備えており、制御装置４は、ハンドルの操作に基づいて、注目領域８２の中心位置と、撮像領域８１の中心位置との少なくとも一つの中心位置を変更するので、車両１の進路の変化に伴って注目領域８２の位置を変更するなど、カメラ３の撮像条件を適切に設定することができる。
　なお、上述の実施の形態では、制御装置４の制御によりカメラ３を制御したが、カメラ３の制御の一部をカメラ３の制御部３５により行うようにしてもよい。
　次のような変形例の一つ、もしくは複数を上述の第１の実施の形態と組み合わせることも可能である。
（変形例１）
　走行アシスト設定処理において、制御装置４は、ターンシグナルスイッチ１１からの操作信号に応じて注目領域８２の位置および注目領域８２のサイズを変更するように構成してもよい。制御装置４は、図２１に例示するように、ステップＳ２４において決定された初期設定値と、ターンシグナルスイッチ１１の操作によるターンシグナルの方向とに基づいて注目領域８２のサイズを変更したり、注目領域８２の撮像条件を設定したりする。
　例えば、図１０を参照して説明すると、右ハンドルおよび左側通行であって初期設定値が「４」の場合、制御装置４は、ターンシグナルが左方向であれば注目領域８２に道路左端を含めるような制御を行う。具体的には、制御装置４は、図１０の注目領域８２を左側へ拡げる。注目領域８２を左側へ拡げるのは、左折時の巻き込み事故防止のためである。反対に、制御装置４は、ターンシグナルが右方向であれば注目領域８２に対向車線を含めるような制御を行う。具体的には、制御装置４は、図１０の注目領域８２を右側へ拡げる。
　図１４を参照して説明すると、左ハンドルおよび右側通行であって初期設定値が「１」の場合、制御装置４は、ターンシグナルが左方向であれば注目領域８２に対向車線を含めるような制御を行う。具体的には、制御装置４は、図１４の注目領域８２を左側へ拡げる。反対に、制御装置４は、ターンシグナルが右方向であれば注目領域８２に道路右端を含めるような制御を行う。具体的には、制御装置４は、図１４の注目領域８２を右側へ拡げる。右側へ拡げるのは、右折時の巻き込み事故防止のためである。
　図１６を参照して説明すると、右ハンドルおよび右側通行であって初期設定値が「２」の場合、制御装置４は、ターンシグナルが左方向であれば注目領域８２に対向車線を含めるような制御を行う。具体的には、制御装置４は、図１６の注目領域８２を左側へ大きく拡げる。反対に、制御装置４は、ターンシグナルが右方向であれば注目領域８２に道路右端を含めるような制御を行う。具体的には、制御装置４は、図１６の注目領域８２を右側へやや拡げる。右側へ拡げるのは、右折時の巻き込み事故防止のためである。
　図１５を参照して説明すると、左ハンドルおよび左側通行であって初期設定値が「３」の場合、制御装置４は、ターンシグナルが左方向であれば注目領域８２に道路左端を含めるような制御を行う。具体的には、制御装置４は、図１５の注目領域８２を左側へやや拡げる。左側へ拡げるのは、左折時の巻き込み事故防止のためである。反対に、制御装置４は、ターンシグナルが右方向であれば注目領域８２に対向車線を含めるような制御を行う。具体的には、制御装置４は、図１５の注目領域８２を右側へ大きく拡げる。
　図２２は、変形例１によるターンシグナルスイッチ１１の操作時の処理を説明するフローチャートである。制御装置４は、走行アシスト設定処理中にターンシグナルスイッチ１１から操作信号が入力されると、サブルーチンとして図２２による処理を起動させる。図２２のステップＳ５１０において、制御装置４は、ターンシグナル方向が左向きか否かを判定する。制御装置４は、ターンシグナル方向が左向きの場合にステップＳ５１０を肯定判定してステップＳ５２０へ進み、ターンシグナル方向が右向きの場合にステップＳ５１０を否定判定してステップＳ５３０へ進む。
　ステップＳ５２０において、制御装置４は、通行帯の位置が左か否かを判定する。制御装置４は、左側通行の場合にステップＳ５２０を肯定判定してステップＳ５５０へ進み、右側通行の場合にステップＳ５２０を否定判定してステップＳ５４０へ進む。
　ステップＳ５４０において、制御装置４は、注目領域８２に対向車線を含めるように撮像部３２を制御して図２２による処理を終了する。ステップＳ５５０において、制御装置４は、注目領域８２に道路左端を含めるように撮像部３２を制御して図２２による処理を終了する。
　ステップＳ５３０において、制御装置４は、通行帯の位置が左か否かを判定する。制御装置４は、左側通行の場合にステップＳ５３０を肯定判定してステップＳ５６０へ進み、右側通行の場合にステップＳ５３０を否定判定してステップＳ５７０へ進む。
　ステップＳ５６０において、制御装置４は、注目領域８２に対向車線を含めるように撮像部３２を制御して図２２による処理を終了する。ステップＳ５７０において、制御装置４は、注目領域８２に道路右端を含めるように撮像部３２を制御して図２２による処理を終了する。
　なお、制御装置４は、図２２による処理を実行した後にターンシグナルスイッチ１１がオフされた場合、図２２による注目領域８２のサイズ変更を解除する。また、ターンシグナルスイッチ１１がオンされた場合は、車速Ｖが０であっても撮像領域８１に比べて注目領域８２のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定してよい。ただし、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる場合は、異ならせる撮像条件のみを変更する。
　以上説明した変形例１によれば、ターンシグナルスイッチ１１の操作に応じて注目領域８２の撮像条件と、撮像領域８１の撮像条件と、を異ならせて設定するので、例えば交差点で右左折する場合において、対向車を確実に検出し得るように対向車線を注目領域８２に含めたり、巻き込み事故を防止し得るように道路端を注目領域８２に含めたりして、適切に注目領域８２を設定することができる。さらに、撮像領域８１に比べて注目領域８２のフレームレートを高く設定するなど、撮像領域８１および注目領域８２において撮像条件を適切に設定し得る。
（変形例２）
　走行アシスト設定処理において、制御装置４は、２輪車、普通車両、大型車両、歩行者などの対象物と車両１との間の距離の変化に応じて注目領域８２の位置および注目領域８２のサイズを変更するように構成してもよい。
　変形例２において、制御装置４は、例えば、車両１が先行車に近づいて先行車までの距離Ｌ（車間距離）が短くなると、先行車を注目領域８２に含めるように注目領域８２の位置を決定する。ここで、車両１から先行車までの車間距離Ｌの変化は、車速Ｖの取得タイミングに同期して所定時間ごとにカメラ３で取得する画像に基づいて、カメラ３の測距演算部３５ａが撮影画面内の先行車までの距離Ｌ（車間距離）を逐次測距することによって得る。
　制御装置４は、上式（５）において奥行きＺの代わりに車間距離Ｌを用いて走行中の注目領域８２の位置（Ｙ座標）を算出する。これにより、平坦な直線道路で先行車を撮像する場合、撮像チップ１１３上でＹ軸方向における注目領域８２の位置を示すＹｑの値は、車間距離Ｌが長くなるにつれて増加し、車間距離Ｌが短くなると減少する。
　また、制御装置４は、車間距離Ｌが変化して短くなるとカメラ３に先行車が大きく写るので、注目領域８２のサイズを大きく設定する。反対に、制御装置４は、車間距離Ｌが変化して長くなるとカメラ３に先行車が小さく写るので、注目領域８２のサイズを小さく設定する。制御装置４は、上式（７）および（８）において奥行きＺの代わりに車間距離Ｌを代入して走行中の注目領域８２のサイズを算出する。
　上述した図１７による処理によれば、車速Ｖが速くなると注目領域８２のサイズを小さく設定するところ、変形例２においては、車速Ｖが速くても先行車までの車間距離Ｌが短い場合には注目領域８２のサイズを大きく設定するので、先行車を注目領域８２に適切に含めることができる。このため、注目領域８２のサイズを小さく設定し続ける場合に比べて、カメラ３で取得した画像に基づく先行車の走行状態の変化の検出が容易になる。
　このようにサイズや位置を変更した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
（変形例３）
　制御装置４は、既設の注目領域８２以外にも、２輪車、普通車両、大型車両、歩行者などの車両１の周辺の対象物を検出した場合に、この対象物を含む注目領域８２を新たに設定してもよい。変形例３において、制御装置４は、検出した対象物が移動した場合に、この対象物を含む注目領域８２を新たに設定する。例えば、制御装置４は、検出した対象物と車両１との距離が所定距離以内に近づいた場合に、この対象物を含む注目領域８２を新たに設定する。そして、制御装置４は、検出した対象物と車両１との距離が所定距離以上に離れた場合に、この対象物を含む注目領域８２の設定を解除する。
　このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
　変形例３によれば、カメラ３からの情報に基づいて車両１の周辺の移動物を検出する制御装置４を備え、制御装置４は、移動物の検出結果に基づいて、注目領域８２の撮像条件と、撮像領域８１の撮像条件との少なくとも一つの撮像条件を変更するので、移動物の有無に応じてカメラ３の撮像条件を適切に設定することができる。
　また、カメラ３からの情報に基づいて車両１と移動物との距離が所定距離以内に近づいていると検出した際に、制御装置４は、注目領域８２の撮像のフレームレートと、撮像領域８１の撮像のフレームレートとの少なくとも一つのフレームレートを高く変更するので、カメラ３で取得した画像に基づく移動物の移動状態の変化の検出が容易になる。
（変形例４）
　カメラ３によって取得された画像の色に基づいて注目領域８２を新たに設定してもよい。制御装置４は、画像のうち赤色の対象物を含む領域を注目領域８２として設定する。赤色の対象物を含む領域を注目領域８２に加えることで、例えば赤信号、鉄道の踏切の警報機、緊急車両の赤色灯などを注目領域８２に含めることができる。
　このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
（変形例５）
　車両１のマイク１７で集音された音情報に基づいて注目領域８２を新たに設定してもよい。制御装置４は、例えば車両１の右側方の音情報のレベルが所定値を超えて入力された場合、撮像領域８１のうち右側へ注目領域８２を拡げる、または撮像領域８１のうち右側へ新たに注目領域８２を設定する。右側へ注目領域８２を設けるのは、車両１の右側の車外情報を集めるためである。
　また、制御装置４は、例えば車両１の左側方の音情報のレベルが所定値を超えて入力された場合、撮像領域８１のうち左側へ注目領域８２を拡げる、または撮像領域８１のうち左側へ新たに注目領域８２を設定する。左側へ注目領域８２を設けるのは、車両１の左側の車外情報を集めるためである。
　このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
（変形例６）
　第１の実施の形態では、先行車を含む注目領域８２を設定する場合を説明したが、車両１の対向車を含む注目領域８２を設定してもよい。変形例６において、制御装置４は、上述した走行領域内に存在して逆方向（車両１と対向）に走行する対象物の中から、車両１に最も近い車両を対向車として認識する。
　制御装置４は、カメラ３で取得された画像のうち、上記対向車の位置に相当する領域を注目領域８２として設定する。制御装置４は、とくに対向車のナンバープレートや、対向車の運転席で運転する運転者の顔を含めて注目領域８２を設定する。
　対向車のナンバープレートや対向車の運転者の顔を含む領域を注目領域８２とすることで、車両１に近づいてくる対向車を適切に注目領域８２に含めることができる。
　このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
（変形例７）
　第１の実施の形態では、撮像領域８１が注目領域８２を含む（注目領域８２を囲む）例を説明したが、撮像領域８１と注目領域８２とを左右に並べて設定してもよい。撮像領域８１と注目領域８２の境界線を左右に動かすことで、撮像領域８１と注目領域８２のサイズや位置の変更を行える。このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
　第１の実施の形態では、カメラ３で行う距離測定として、撮像素子１００に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する手法を用いたが、ステレオカメラによる２枚の画像を用いて距離測定を行う手法を用いてもよい。また、カメラ３と別にミリ波レーダを用いて距離測定を行う手法を用いてもよい。
（第２の実施の形態）
　本実施形態では、例えばトンネル走行時や降雨時など走行環境が変化した場合において道路のラインを見つけやすくするため、カメラ３（図１、図９）の撮像素子１００（撮像チップ１１３（図３））に対し、上述したブロック単位で独立した蓄積制御を行わせる。
　制御装置４は、第１の実施の形態において説明した対象物の検出に加えて、以下の検出も行う。すなわち、制御装置４は、カメラ３で取得された画像データから、画像に含まれる対象物の形状検出、色検出、明暗検出を行う。具体的には、制御装置４は、道路に沿って設けられた白線やガードレール等のラインのデータを検出（抽出）する。また、制御装置４は、撮像チップ１１３の単位領域１３１ごとの明暗状態に基づいて、先行車の点灯状態のテールランプ（尾灯）のデータを検出する。
　また、本実施の形態では、第１の実施の形態において使用しなかった図１のビーム切換えスイッチ１８および降雨センサ１９をそれぞれ使用する。ビーム切換えスイッチ１８は、灯火装置（前照灯）の上下方向の照射角度を少なくとも２段階に切換えるための操作部材である。例えば、照明光を略水平方向に照射する「ハイビーム」と、照明光を水平方向より下向きに照射する「ロービーム」とを切換える。ビーム切換えスイッチ１８からの操作信号は、不図示の照明装置および制御装置４にそれぞれ送出される。
　降雨センサ１９は、光学式や静電容量式により雨滴を検出する検出器であり、車内または車外に取り付けられる。降雨センサ１９による検出信号（降雨情報）は、制御装置４へ送出される。
　図２３は、撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。実際には倒立逆像が結像されるが、分かりやすくするために正立正像として図示している。図２３において、車両１が先行車８４の後ろを走行中である。撮像チップ１１３の撮像面（撮影領域）７０には、道路上に設けられた白線８２ａ、８２ｂ、８２ｃと、先行車８４と、対向車８５の像が含まれる。これらの対象物のうち、車両１が走行する車両通行帯（走行レーン）の境界を示す白線８２ａおよび白線８２ｂは、制御装置４が走行路を検出する上でとくに重要な対象物である。そこで、本説明では、白線８２ａ、８２ｂを含む撮像領域を注目領域７１と呼ぶ。
　なお、図２３、図２７、図２９、図３１、図３３等において、既出の図面で用いた符号と共通する符号があるが、第２の実施の形態の説明を適用する。
　制御装置４は、撮像面７０における注目領域７１と、それ以外の領域７２（非注目領域）との間に異なる条件を設定して電荷蓄積（撮像）を行わせる。ここで、撮像チップ１１３の撮像面７０における注目領域７１、非注目領域７２のサイズや位置も、撮像条件の一つである。
　制御装置４は、注目領域７１に含まれる単位領域１３１（図４）に対して第１の条件を設定して撮像を制御するとともに、非注目領域７２に含まれる単位領域１３１に対して第２の条件を設定して撮像を制御する。
　なお、注目領域７１、非注目領域７２をそれぞれ複数設けてもよいし、注目領域７１内あるいは非注目領域７２内に電荷蓄積制御（撮像条件）が異なる複数の領域を設けてもよい。さらに、撮像面７０の行方向および列方向において電荷蓄積（撮像）を行わせない休止領域を設けてもよい。
＜フローチャートの説明＞
　以下、フローチャート（図２４，図２５）を参照して、カメラ３の制御処理および撮像条件設定を主体に説明する。図２４は、制御装置４が実行するカメラ３の制御処理の全体の流れを説明するフローチャートである。図２４のフローチャートによる処理を実行するためのプログラムは、制御装置４の記憶部４ｂに格納されている。制御装置４は、例えば車両１から電源供給が開始（システムオン）されたり、エンジンが始動されたりすると、図２４による処理を行うプログラムを起動する。
　図２４のステップＳ１０において、制御装置４は、フラグａ＝０か否かを判定する。フラグａは、初期設定が終了している場合に１、初期設定が終了していない場合に０がセットされるフラグである。制御装置４は、フラグａ＝０の場合にステップＳ１０を肯定判定してステップＳ２０へ進み、フラグａ≠０の場合にステップＳ１０を否定判定してステップＳ３０へ進む。
　ステップＳ２０において、制御装置４は、カメラ３へ初期設定を行ってステップＳ３０へ進む。初期設定とは、カメラ３に所定の動作をさせるための予め定められた設定を行うものである。これにより、カメラ３が撮像素子１００の撮像面の全域に同じ撮像条件を設定し、例えば毎秒６０フレーム（６０ｆｐｓ）のフレームレートで撮像を開始する。
　ステップＳ３０において、制御装置４は、撮像条件設定処理を行ってステップＳ４０へ進む。撮像条件設定処理は、カメラ３の撮像素子１００に対して注目領域７１（図２３）およびそれ以外の非注目領域７２（図２３）を設定し、それぞれの撮像条件を決定する処理をいう。撮像条件設定処理の詳細については後述する。本実施形態では、注目領域７１について、非注目領域７２に比べてフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。カメラ３は、この設定に基づいて撮像を行い、上述した距離測定（測距）を行う。
　なお、注目領域７１と非注目領域７２との間でフレームレート、ゲイン、間引き率、蓄積時間などの全てを異ならせる必要はなく、少なくとも一つを異ならせるだけでもよい。
　図２４のステップＳ４０において、制御装置４は、撮像条件設定処理後にカメラ３で取得された画像データ、測距データ、および車両１内の各部からの情報を取得してステップＳ５０へ進む。ステップＳ５０において、制御装置４は、情報を表示する設定が行われているか否かを判定する。制御装置４は、表示設定が行われている場合にステップ５０を肯定判定してステップＳ６０へ進む。制御装置４は、表示設定が行われていない場合には、ステップ５０を否定判定してステップＳ７０へ進む。
　ステップＳ６０において、制御装置４は、表示装置１４（図１）に対する表示情報を送出してステップＳ７０へ進む。表示情報は、撮像条件設定処理（Ｓ３０）の中で判断された車両１の状態に応じた情報で、例えば「トンネルに入ります」、「ヘッドライトを点灯しました」というメッセージを表示装置１４に表示させる。
　なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合も不図示の音声再生装置として、不図示のナビゲーション装置の音声装置を用いてもよい。
　ステップＳ７０において、制御装置４は、オフ操作されたか否かを判定する。制御装置４は、例えば車両１からオフ信号（例えば、システムオフ信号またはエンジンのオフ信号）を受けると、ステップＳ７０を肯定判定し、所定のオフ処理を行って図２４による処理を終了する。制御装置４は、例えば車両１からオフ信号を受けない場合は、ステップＳ７０を否定判定してステップＳ３０へ戻る。ステップＳ３０へ戻る場合は、上述した処理を繰り返す。
＜撮像条件設定処理＞
　図２５のフローチャートを参照して、上記撮像条件設定処理（Ｓ３０）の詳細について説明する。本実施の形態では、車両１の走行環境（道路状況）の変化を５通り例示して、注目領域および非注目領域について撮像条件を決定する。
　図２５のステップＳ３１において、制御装置４は、カメラ３で取得された画像データに対して上記画像処理を行ってステップＳ３３へ進む。ステップＳ３３において、制御装置４は、画像データから上記白線データを検出してステップＳ３５へ進む。制御装置４は、上述したように撮影領域７０中の白線８２ａおよび白線８２ｂを含む領域を注目領域７１とする。図２３を参照して説明すると、白線８２ａと、白線８２ｂと、白線８２ａおよび白線８２ｂ間の領域と、の３つを含む台形状の領域（破線で示す）を注目領域７１とする。
　ステップＳ３５において、制御装置４は、上記注目領域７１を第１撮像領域７１とし、第１撮像領域７１以外の領域を第２撮像領域７２としてステップＳ３７へ進む。
　ステップＳ３７において、制御装置４はカメラ３へ指示を送り、第１撮像領域７１のフレームレートを第２撮像領域７２のフレームレートよりも高く設定させる。例えば、第１撮像領域７１のフレームレートを毎秒１２０フレーム（１２０ｆｐｓ）とし、第２撮像領域７２のフレームレートを６０ｆｐｓとする。これは、走行時に注目すべき対象物である白線についての情報を取得する頻度を高めるためである。以上説明したステップＳ３７までの処理は、通常の走行環境下（例えば、日中の晴天時の走行）における処理の例である。
　制御装置４は、走行環境が通常時と異なる場合において、上記注目領域および非注目領域についての撮像条件を変更させる。図２６は、第１の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図２７は、車両１がトンネル８３の入口にさしかかった場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。
　図２５のステップＳ１１０において、制御装置４は、トンネルの有無を判定する。制御装置４は、カメラ３で取得された画像にトンネルの出入り口が含まれている場合にステップＳ１１０を肯定判定して図２６のステップＳ１１１へ進む。制御装置４は、カメラ３で取得された画像にトンネルの出入り口が含まれていない場合には、ステップＳ１１０を否定判定してステップＳ１２０へ進む。なお、前回の判定時にステップＳ１１０を肯定判定したが、今回ステップＳ１１０の否定判定に転じる場合、制御装置４は、後述する図２６のフローチャートに基づくフレームレートの設定を解除する。
　図２６のステップＳ１１１において、制御装置４は、カメラ３で取得された画像からトンネル８３の外部の明部分とトンネル８３の内部の暗部分とを検出してステップＳ１１２へ進む。例えば、制御装置４は、図２７に例示した被写体像から明部分と暗部分（斜線）とを検出する。
　図２６のステップＳ１１２において、制御装置４は、図２７に示すように、第１撮像領域７１のうち暗部分の領域を第３撮像領域７１ａとし、第１撮像領域７１のうち第３撮像領域７１ａを除く領域を残領域７１ｂとする。すなわち、第１撮像領域７１は、第３撮像領域７１ａと残領域７１ｂとに分けられる。
　ステップＳ１１３において、制御装置４はカメラ３へ指示を送り、第３撮像領域７１ａのフレームレートを残領域７１ｂのフレームレートよりも低く設定させる。制御装置４は、例えば、第３撮像領域７１ａのフレームレートを６０ｆｐｓに低下させる。これは、トンネル８３内部の暗い第３撮像領域７１ａから明瞭な画像情報を得るためである。一方、残領域７１ｂのフレームレートは１２０ｆｐｓのままとする。
　ステップＳ１１４において、制御装置４はさらに、図２７に示すように、第２撮像領域７２のうち暗部分の領域を第４撮像領域７２ａとし、第２撮像領域７２のうち第４撮像領域７２ａを除く領域を残領域７２ｂとする。すなわち、第２撮像領域７２は、第４撮像領域７２ａと残領域７２ｂとに分けられる。
　ステップＳ１１５において、制御装置４はカメラ３へ指示を送り、第４撮像領域７２ａのフレームレートを残領域７２ｂのフレームレートよりも低く設定させる。制御装置４は、例えば、第４撮像領域７２ａのフレームレートを３０ｆｐｓに低下させる。これは、トンネル８３内部の暗い第４撮像領域７２ａから、明瞭な画像情報を得るためである。そして、制御装置４はステップＳ４０（図２４）へ進む。
　なお、上記の説明ではトンネル入口の場合について説明したが、トンネル出口の場合にも同様である。ただし、トンネル入口の場合とトンネル出口の場合とでは、画像における明部分と暗部分との関係が逆で、トンネル内から見たトンネル外部の像が明部分になる。
　図２８は、第２の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図２９は、車両１がヘッドライト（前照灯）を点灯した場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図であり、図２９(a) はハイビーム時を示し、図２９(b) はロービーム時を示す。
　図２５のステップ１２０において、制御装置４は、前照灯の点灯の有無を判定する。制御装置４は、カメラ３で取得された画像に前照灯による明部分が含まれている場合にステップＳ１２０を肯定判定して図２８のステップＳ１２１へ進む。制御装置４は、カメラ３で取得された画像に前照灯による明部分が含まれていない場合には、ステップＳ１２０を否定判定してステップＳ１３０へ進む。制御装置４は、前回の判定時にステップＳ１２０を肯定判定したが、今回ステップＳ１２０の否定判定に転じる場合、後述する図２８のフローチャートに基づくフレームレートの設定を解除する。
　なお、画像における明部分の検出に基づいて前照灯の点灯ありを判定する代わりに、運転者による点灯操作に基づいて点灯ありを判定してもよい。この場合の制御装置４は、ビーム切換えスイッチ１８がハイビーム側に切換えられている場合において、図２９(a) における照射領域８６ａの位置をカメラ３で取得された画像の明部分として扱う。また、制御装置４は、ビーム切換えスイッチ１８がロービーム側に切換えられている場合において、図２９(b) における照射領域８６ｂの位置をカメラ３で取得された画像の明部分として扱う。
　図２８のステップＳ１２１において、制御装置４は、カメラ３で取得された画像から前照灯による照射領域（上記明部分に対応）を検出してステップＳ１２２へ進む。
　ステップＳ１２２において、制御装置４は、ビーム切換えスイッチ１８がハイビーム側に切換えられている場合、図２９(a) に示すように、第１撮像領域７３と照射領域８６ａとが重なり合う領域を第５撮像領域７３ａとし、第１撮像領域７３のうち第５撮像領域７３ａを除く領域を残領域７３ｂとする。すなわち、第１撮像領域７３は、第５撮像領域７３ａと残領域７３ｂとに分けられる。
　ステップＳ１２３において、制御装置４はカメラ３へ指示を送り、第５撮像領域７３ａのフレームレートを残領域７３ｂのフレームレートよりも高く設定させる。制御装置４は、例えば、残領域７３ｂのフレームレートが６０ｆｐｓであった場合に、第５撮像領域７３ａのフレームレートを１２０ｆｐｓへ上昇させる。これは、ハイビーム時に照明されて明るくなった第５撮像領域７３ａから画像情報を取得する頻度を高めるためである。
　ステップＳ１２４において、制御装置４はさらに、図２９(a) に示すように、第２撮像領域７４と照射領域８６ａとが重なり合う領域を第６撮像領域７４ａとし、第２撮像領域７４のうち第６撮像領域７４ａを除く領域を残領域７４ｂとする。すなわち、第２撮像領域７４は、第６撮像領域７４ａと残領域７４ｂとに分けられる。
　ステップＳ１２５において、制御装置４はカメラ３へ指示を送り、第６撮像領域７４ａのフレームレートを残領域７４ｂのフレームレートよりも高く設定させる。例えば、残領域７４ｂのフレームレートが６０ｆｐｓであった場合に、第６撮像領域７４ａのフレームレートを１２０ｆｐｓに上昇させる。ハイビーム時に照明されて明るくなった第６撮像領域７４ａから画像情報を取得する頻度を高めるためである。そして、制御装置４はステップＳ４０（図２４）へ進む。
　図２９(a) を参照してハイビーム時を説明したが、ロービーム時にも同様に行うことができる。ビーム切換えスイッチ１８がロービーム側に切換えられている場合、図２９(b) において照射領域８６ｂが被写体像の明部分に対応する。そして、図２９(a) と図２９(b) との対比において、第５撮像領域７３ａが第５撮像領域７３ｃに対応し、残領域７３ｂが残領域７３ｄに対応し、第６撮像領域７４ａが第６撮像領域７４ｃに対応し、残領域７４ｂが残領域７４ｄに対応する。
　図３０は、第３の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図３１は、先行車８４がテールランプ（尾灯）を点灯している場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。
　図２５のステップ１３０において、制御装置４は、先行車８４のテールランプを認識したか否かを判定する。制御装置４は、カメラ３で取得された画像から点灯状態のテールランプを認識した場合にステップＳ１３０を肯定判定して図３０のステップＳ１３１へ進む。制御装置４は、カメラ３で取得された画像から点灯状態のテールランプを認識しない場合には、ステップＳ１３０を否定判定してステップＳ１４０へ進む。なお、前回の判定時にステップＳ１３０を肯定判定したが、今回ステップＳ１３０の否定判定に転じる場合、制御装置４は、後述する図３０のフローチャートに基づくフレームレートの設定を解除する。
　図３０のステップＳ１３１において、制御装置４は、カメラ３で取得された画像から先行車８４のテールランプを検出してステップＳ１３２へ進む。図３１において、テールランプ８４ａの像が、図３１の第１撮像領域７５ではなく第２撮像領域７６に含まれている。
　図３０のステップＳ１３２において、制御装置４は、先行車８４のテールランプ８４ａの像を含む所定の領域、例えば、両サイドのテールランプ８４ａを含む長方形の領域を第７撮像領域８７とする。ステップＳ１３３において、制御装置４は、この第７撮像領域８７を第１撮像領域７５と同一条件で電荷蓄積制御を行うため、第７撮像領域８７を第２撮像領域７６から切り離して既設の第１撮像領域７５へ組み入れる。なお、第７撮像領域８７の形状は、長方形に限らず、両サイドのテールランプ８４ａを含む楕円形や台形でもよい。
　制御装置４はさらに、カメラ３へ指示を送り、第７撮像領域８７のフレームレートを第１撮像領域７５と同一のフレームレートに設定させる。例えば、第１撮像領域７５のフレームレートが１２０ｆｐｓであった場合、第７撮像領域８７のフレームレートも１２０ｆｐｓに上昇させる。これは、先行車８４に対応する第７撮像領域８７ついて、画像情報を取得する頻度を高めるためである。そして、制御装置４はステップＳ４０（図２４）へ進む。
　図３２は、第４の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図３３は、降雨が検出された場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。
　図２５のステップＳ１４０において、制御装置４は、降雨センサ１９（図１）からの降雨情報の有無を判定する。制御装置４は、降雨情報が入力されている場合にステップＳ１４０を肯定判定して図３２のステップＳ１４１へ進む。制御装置４は、降雨情報が入力されない場合には、ステップＳ１４０を否定判定してステップＳ１５０へ進む。なお、前回の判定時にステップＳ１４０を肯定判定したが、今回ステップＳ１４０の否定判定に転じる場合、制御装置４は、後述する図３２のフローチャートに基づくフレームレートの設定を解除する。
　一般に、降雨時は道路面が濡れるため、道路上に引かれた白線が識別し難くなる。具体的には、乾燥路面に比べて白線部分と白線以外の部分との間のコントラストが低下する。
　図３２のステップＳ１４１において、制御装置４は、図２５のステップＳ３５の場合と同様に、撮像チップ１１３上に結像される被写体（対象物）の像において注目領域を第１撮像領域７７とし、第１撮像領域７７以外の領域を第２撮像領域７８として両者を分け、ステップＳ１４２へ進む。図３３を参照して説明すると、制御装置４は、白線８２ａと、白線８２ｂと、白線８２ａおよび白線８２ｂ間の領域と、を含む台形状の領域を第１撮像領域７７とし、第１撮像領域７７以外の領域を第２撮像領域７８とする。
　図３２のステップＳ１４２において、制御装置４はカメラ３へ指示を送り、第１撮像領域７７のフレームレートを、第１撮像領域７１（図２３）の場合のフレームレートよりも低く設定させる。例えば、第１撮像領域７１のフレームレートが１２０ｆｐｓである場合に、第１撮像領域７７のフレームレートを６０ｆｐｓに変更する。これは、路面が濡れて白色部分の輝度が低下した第１撮像領域７７から明瞭な画像情報を得るためである。そして、制御装置４は図２５のステップＳ１５０へ進む。
　なお、このようにフレームレートを低下させる代わりに、諧調カーブの調整により画像のコントラストを高めてもよい。
　また、同様の理由で、第２撮像領域７８のフレームレートを第２撮像領域７２（図２３）の場合のフレームレートよりも低く設定させてもよいし、階調カーブの調整により画像のコントラストを高めてもよい。
　図３４は、第５の走行環境（道路状況）の変化の場合の処理を例示するフローチャートである。図３５は、進路の変更が検出された場合に撮像チップ１１３上に結像される被写体（対象物）の像を模式的に示す図である。図３５(a) は、車線変更前の被写体像を示し、図３５(b) は、車線変更中の被写体像を示す。
　図２５のステップ１５０において、制御装置４は、車線変更に関する情報の有無を判定する。不図示のナビゲーション装置は、ＧＰＳ装置１５から入力された位置情報を地図情報と照らし合わせることにより、例えば、車両１がどの道路（どの走行レーン）をどの向きへ走行するべきかについてルート案内を行う。制御装置４には、車両１の車線変更が必要な場合に上記ナビゲーション装置から車線の変更指示が入力される。制御装置４は、車線変更指示が入力された場合にステップＳ１５０を肯定判定して図３４のステップＳ１５１へ進む。制御装置４は、車線変更指示が入力されない場合には、ステップＳ１５０を否定判定して図２４のステップＳ４０へ進む。
　なお、前回の判定時にステップＳ１５０を肯定判定したが、今回ステップＳ１５０の否定判定に転じる場合、制御装置４は、後述する図３４のフローチャートに基づくフレームレートの設定を解除する。
　図３４のステップＳ１５１において、制御装置４は、撮像チップ１１３上に結像される被写体（対象物）の像において以下のように第１撮像領域７９の変更を行う。
　図３５(a) を参照して説明すると、制御装置４は、図３３の場合と同様に、白線８７ａと、白線８７ｂと、白線８７ａおよび白線８７ｂ間の領域と、を含む台形状の領域を第１撮像領域７９とし、第１撮像領域７９以外の領域を第２撮像領域８０とする。
　ＧＰＳ装置１５から入力された位置情報が車線変更位置に該当する場合、制御装置４は、以下のように第１撮像領域７９を第１撮像領域７９Ａへ変更する。図３５(b) を参照して説明すると、新たな注目領域は、車線変更先の通行帯を規定する白線８７ｂと、白線８７ｃとなるので、第１撮像領域７９Ａは、白線８７ｂ、８７ｃを含む台形状である。制御装置４は、図３５(a) に示す第１撮像領域７９から図３５(b) に示す第１撮像領域７９Ａへと徐々に撮像領域をずらす。このように撮像領域をずらす処理は、車線変更に伴う被写界の変化に応じて連続的に行われる。
　なお、撮像領域をずらす動作の代わりに、第１撮像領域７９Ａを含むように第１撮像領域７９を拡大させてもよい。
　図３４のステップＳ１５２において、制御装置４はカメラ３へ指示を送り、新たに設定した第１撮像領域７９Ａのフレームレートを第１撮像領域７９と同一のフレームレートに設定させる。これにより、進路変更を行う場合における車線変更先である注目領域のフレームレートを、車線変更前における注目領域のフレームレートと同一に保つことができる。そして、制御装置４はステップＳ４０（図２４）へ進む。
　第２の実施の形態によれば、次の作用効果が得られる。
（１）制御装置４は、カメラ３において白線８２ａ、８２ｂを含む第１撮像領域７１と、第１撮像領域７１以外の第２撮像領域７２とを設定し、第１撮像領域７１の撮影条件を、第２撮像領域７２の撮影条件と異ならせて設定する。例えば、第１撮像領域７１のフレームレートを第２撮像領域７２のフレームレートよりも高く設定するので、カメラ３で取得された画像において白線８２ａ、８２ｂを確実に認識し得る。また、白線８２ａ、８２ｂの認識に寄与しない第２撮像領域７２のフレームレートを低くするので、カメラ３の消費電力を低減し、発熱を抑制できる。
　フレームレートが高いと蓄積時間は短くなり、フレームレートが低いと蓄積時間は長くなる。
（２）制御装置４は、車両１の走行環境が変化した時でも、第１撮像領域７１内の明暗に応じて第１撮像領域７１を２つの撮像領域に分け、それぞれの撮像領域においてフレームレートを異ならせたので、カメラ３で取得された画像において白線８２ａ、８２ｂを確実に認識し続けることができる。
　例えば、図２７に示したトンネル８３の入口の場合、第１撮像領域７１内の暗部分を第３撮像領域７１ａとし、それ以外の領域を残領域７１ｂにするとともに、第３撮像領域７１ａのフレームレートを残領域７１ｂのフレームレートよりも低く設定したので、カメラ３で取得された画像において第３撮像領域７１ａ内の白線８２ａ、８２ｂを明瞭に認識し得る。第２撮像領域７２についても第１撮像領域７１と同様の制御を行うことにより、カメラ３で取得された画像において走行に関係ある撮像領域を明瞭に認識し得る。
　また、例えば図２９(a) に示したハイビーム点灯時の場合、第１撮像領域７３と照射領域８６ａとが重なり合う領域を第５撮像領域７３ａとし、それ以外の領域を残領域７３ｂにするとともに、第５撮像領域７３ａのフレームレートを残領域７３ｂのフレームレートよりも高く設定したので、カメラ３で取得された画像において第５撮像領域７３ａ内の白線８２ａ、８２ｂを確実に認識し得る。第２撮像領域７２についても第１撮像領域７１と同様の制御を行うことにより、カメラ３で取得された画像において走行に関係ある撮像領域の情報量を増やすことができる。
（３）車両１の走行環境の変化例として、先行車８４のテールランプを認識した場合（図３１）、両サイドのテールランプ８４ａを含む領域を第７撮像領域８７とし、第７撮像領域８７のフレームレートを第１撮像領域７５のフレームレートに等しくすることにより、カメラ３で取得された画像において先行車８４のテールランプ８４ａの像を確実に認識し得る。
（４）車両１の走行環境の変化例として、降雨が検出された場合（図３３）、第１撮像領域７７のフレームレートを降雨前のフレームレートよりも低く設定するので、カメラ３で取得された画像において、濡れた路面でコントラストが低下した白線８２ａ、８２ｂを認識しやすくすることができる。
（５）車両１の走行環境の変化例として、車線変更する場合（図３５）、車線変更先の白線８７ｂ、８７ｃを含む第１撮像領域７９Ａのフレームレートを、車線変更前の第１撮像領域７９のフレームレートと同一に設定するので、車線変更前後における第１撮像領域のフレームレートを一定に保ち、カメラ３で取得された画像において車線変更前後における白線を確実に認識し得る。
　次のような変形例の一つ、もしくは複数を上述の第２の実施の形態と組み合わせることも可能である。
（変形例１）
　第２の実施の形態では、制御装置４の制御によってカメラ３を制御する例を説明したが、カメラ３の制御の一部をカメラ３の制御部３５によって行う構成にしてもよい。
　また、第２の実施の形態では、撮影条件のうち主にフレームレートについて記述したが、フレームレート以外の撮影条件について、撮影（撮像）領域毎に変更してもよい。
（変形例２）
　第２の実施の形態では、道路に沿って路面に引かれた白線を注目すべき対象物として認識する例を説明したが、白線に限らず、道路に沿って設けられたガードレールや縁石なども、注目すべき対象物としてのラインに含めてよい。
（変形例３）
　第２の実施の形態では、撮像面７０を、台形状の第１撮像領域と、第１撮像領域以外の第２撮像領域と、の２つに分けて、それぞれのフレームレートを異ならせる例を説明した。この代わりに、撮像面７０を、第１撮像領域と、第２撮像領域と、第３撮像領域と、の３つ以上の撮像領域に分けて、各撮像領域のフレームレートを異ならせてもよい。
　また、第２の実施の形態では、第１撮像領域と第２撮像領域とをさらに、それぞれ２つの撮像領域に分ける例を説明した。この代わりに、上記第１撮像領域と上記第２撮像領域とをそれぞれを３つ以上の撮像領域に分けて、３つ以上に細分化された撮像領域ごとのフレームレートを異ならせるようにしてもよい。
（変形例４）
　第２の実施の形態では、制御装置４が、不図示のナビゲーション装置からの車線変更指示を入力したことをトリガにして、図３５(a) に示す第１撮像領域７９から図３５(b) に示す第１撮像領域７９Ａへ徐々に撮像領域をずらすようにした。この代わりに、車線変更を行うタイミングを制御装置４で判断するようにしてもよい。制御装置４は、車線変更を行う地点情報の供給を車両１のカーナビゲーション装置から受けたり、地点情報を記憶部４ｂにあらかじめ記憶したりしておく。制御装置４は、ＧＰＳ装置１５から入力した位置情報が、車線変更を行う地点情報と合致する場合に、車線変更を判断する。車線変更を判断した制御装置４は、カメラ３で取得された画像に車線変更先の通行帯を検出すると、図３５(a) に示す第１撮像領域７９から図３５(b) に示す第１撮像領域７９Ａへ撮像領域をずらす。
（変形例５）
　第２の実施の形態では、カメラ３で行う距離測定として、撮像素子１００に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する手法を用いたが、ステレオカメラによる２枚の画像を用いて距離測定を行う手法を用いてもよい。また、カメラ３と別にミリ波レーダを用いて距離測定を行う手法を用いてもよい。
（第３の実施の形態）
　本実施形態では、車両１の周囲を走行する他の車の運転方式（例えば、自動運転車、手動運転車）に基づいて、撮像部５（図３６）の光電変換部１５の撮像素子１００（撮像チップ１１３（図３））に対し、上述したブロック単位で蓄積制御を行わせる。
　図３６は、第３の実施の形態に係る撮像装置を含む撮像システム１の構成を例示するブロック図である。撮像システム１は、自動車１０と、他の車２０と、交通信号生成装置３０および信号機４０とを利用する。
　なお、信号機４０に代え、または信号機４０と併用して、道路に設置された情報提供システムやＶＩＣＳ（登録商標：Vehicle Information and Communication System）を用いても構わない。
　図３６、図４０、図４２～図４５等において、既出の図面で用いた符号と共通する符号があるが、第３の実施の形態の説明を適用する。
＜自動車１０＞
　自動車１０は、車操作部１１と、ＧＰＳ機器１２と、ナビシステム（ナビゲーションシステム）１３と、光学系１４と、光電変換部１５と、通信部１６と、記憶部１７と、センサ１８および制御部１９とを備えている。
　なお、自動車１０は、説明は省略するものの自動車としての基本構成を有する。
　車操作部１１は、ハンドル（ステアリングホイール）、ターンシグナルスイッチ、シフトレバー、アクセル、ブレーキ、自動運転モードと手動運転モードとを切替え設定するスイッチなど、自動車の操作に係る各種操作部材を含む。
　ＧＰＳ機器１２は、ＧＰＳ衛星からの電波を受信して得た信号に基づき、自動車１０の位置（経度、緯度など）を算出する。ＧＰＳ機器１２で算出された位置情報は、ナビシステム１３や制御部１９に出力される。
　ナビシステム１３は、ＧＰＳ機器１２等から自動車１０の現在位置を検出して、現在位置に対応する地図データを記憶媒体やネットワークから取得して液晶モニターに表示し、入力された目的地まで走行経路を案内するシステムである。このナビシステム１３は、ユーザからの操作を受け付ける操作部と、前述の液晶モニターと、音声ガイダンスを行うスピーカと、地図データを読み取る読み取り部などを有している。
　光学系１４は、複数のレンズから構成され、光電変換部１５に被写体像を結像させる。光学系１４を自動車１０の前方に向けた場合、光電変換部１５により自動車１０の進行方向の画像が取得される。光学系１４を自動車１０の後方に向けた場合、光電変換部１５により自動車１０の進行方向と逆方向の画像が取得される。光学系１４は、複数の走行レーン（２車線または３車線等）に対応した画角となっている。
　なお、光学系１４を複数設けてステレオカメラとしてもよい。
　光電変換部１５は、光学系１４から入射した光に対応して画素信号を出力する撮像チップと、画素信号を処理する信号処理チップと、画素信号を記憶するメモリチップとが積層して構成されている撮像素子１００を備える。撮像素子１００は後に詳述するように、各画素または複数画素（例えば１６画素×１６画素）からなる単位領域ごとに個別に撮像条件（撮像をしない場合も含む）を設定することができる。
　本実施形態において、光学系１４と光電変換部１５とによってカメラの撮像部５を構成し、自動車１０の周囲の対象物（移動体や障害物等）を撮像したり、路上の白線（黄色等の他の色のラインも含む）を撮像したりする。自動車１０には、自動車１０の前方の画像を取得する前方用の撮像部５と、自動車１０の後方の画像を取得する後方用の撮像部５とが備えられている。
　本説明では、走行路に引かれた白色等のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
　なお、不図示ではあるもののレーダを設けて、このレーダと撮像部５（光学系１４、光電変換部１５）とにより周囲の対象物を検出するようにしてもよい。
　通信部１６は、他の車２０や信号機４０などの外部機器との間で、無線通信（光ビーコン、電波ビーコン、可視光通信を含む）を行う。通信方式は、どのようなものを用いても構わない。
　記憶部１７は、例えば、フラッシュメモリ等の不揮発性の半導体メモリによって構成され、自動車１０を走行させる（自動走行を含む）ための各種ブログラムや、制御パラメータを記憶する。
　センサ１８は、一または複数の車速センサ、ヨーレートセンサなどの各種センサを含む。車速センサは自動車１０の車速Ｖを検出し、検出信号を制御部１９などにそれぞれ送出する。ヨーレートセンサは自動車１０のヨーレートを検出し、検出信号を制御部１９などにそれぞれ送出する。ヨーレートは、車両等の旋回方向への回転角の変化速度である。
　制御部１９は、自動車１０全体を制御するものであり、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。本実施形態では、制御部１９は、光電変換部１５の撮像素子１００の各単位領域の撮像条件を設定・制御する。また、制御部１９は、車操作部１１により自動運転モードが設定された場合には、撮像部５（光学系１４、光電変換部１５）により路上の白線を検出するとともに、撮像部５を用いて自動車１０の周囲の移動体や障害物等を検出して、ナビシステム１３と連携してナビシステム１３に入力された目的地まで自動運転を行う。
　なお、本実施形態において、自動運転モードとは、ハンドル、アクセル、ブレーキ、ターンシグナルスイッチ、シフトレバーの操作などを制御部１９の制御により全て自動的に行うことをいう。また、手動運転とは、ハンドル、アクセル、ブレーキ、ターンシグナルスイッチ、シフトレバーの操作などをドライバーが行うことをいい、変速機がオートマチックトランスミッションの場合とマニュアルトランスミッションの場合とがある。また、自動運転モードは、全て制御部１９の制御により運転を行う完全自動運転に加え、ユーザが車操作部１１の操作を行っている場合でも制御部１９が撮像部５、ＧＰＳ１２、通信部１６、センサ１８などの出力に基づき、衝突などを回避するように自動車１０を停止したり、減速したりする準自動運転も含む。これにより、ユーザの自動車１０の運転を楽しみながら安全を確保することができる。また、準自動運転は、ハンドル、アクセル、ブレーキ、ターンシグナルスイッチ、シフトレバーの操作などの一部をドライバーに代わって制御部１９が制御する場合も含んでいる。
＜他の車２０＞
　他の車２０は、通信部２１と、車操作部２２と、記憶部２３と、撮像部２４および制御部２５等を備えており、各部の機能は自動車１０の機能と同様である。他の車２０も図３６では省略しているものの、自動車としての基本構成を有している。ただし、他の車２０には、通信部２１を備えていない車両もありうる。また、他の車２０には、自動運転車と手動運転車とが混在している。このうち、少なくとも自動運転モードを備えた車両は、通信部２１により車両同士が通信可能であり、自動運転中か手動運転中かに関する情報や、撮像部２４によって取得された画像データを送受信可能に構成されている。
＜交通信号生成装置３０＞
　交通信号生成装置３０は、信号機４０の表示部４２に表示される信号灯の制御を行う装置であり、信号情報生成部３１と、記憶部３２と、通信部３３および制御部３４とを有している。交通信号生成装置３０は、交差点等に設けられた複数の信号機４０にそれぞれ設置されうるが、複数の信号機４０の制御を一つの交通信号生成装置３０が行うようにしてもよい。
　信号情報生成部３１は、交差点等に設置された複数の信号機４０の種類や設置位置、交通に関する不図示の交通管制センターからの指示等に基づいて交通信号を生成する。
　記憶部３２は、例えば、フラッシュメモリ等の不揮発性の半導体メモリによって構成され、交通信号生成装置３０の各種プログラムや、制御パラメータ等を記憶する。
　通信部３３は、有線または無線により、一または複数の信号機４０のそれぞれに信号情報生成部３１にて生成された交通信号を送信する。また、通信部３３は、交通管制センターとの間で情報の送受信を行う。
　制御部３４は、交通信号生成装置３０全体を制御するものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。また、制御部３４は、交通量等に基づいて、交通の状況に関する解析を行い、それを基に信号情報生成部３１を制御することができる。
＜信号機４０＞
　信号機４０は、通信部４１と、表示部４２と、光学系４３と、光電変換部４４と、記憶部４５および制御部４６とを有している。信号機４０は、図３６では１基図示したのみであるが、通常は複数の信号機４０が設けられる。例えば交差点の場合、図３７に例示するように、自動車用の信号機４０ａが４基、歩行者用の信号機４０ｂが８基設けられる。信号機４０は、それぞれ設置された位置に応じた交通信号を交通信号生成装置３０より受信して表示部４２の表示灯を点灯、点滅させる。
　通信部４１は、有線または無線により、信号情報生成部３１にて生成された交通信号を受信する。また、通信部４１は、自動車１０、他の車２０および他の信号機４０との間で、車両の運転情報および交通に関する情報など、種々の情報を送受信する。
　表示部４２は、信号灯を有し、通信部４１が受信した交通信号に応じて信号灯の表示を行う。具体的には、表示部４２は、路上を走行する車両、道路を横断する歩行者に対して進行、停止等の移動を許可または制限するために、信号灯を点灯、点滅、消灯する。なお、表示部４２は、赤色灯、黄色灯、青色灯だけでなく、交差点において直進可、左折可、右折可を示す矢印灯を点灯させてもよい。
　本実施形態において、光学系４３と光電変換部４４とによってカメラの撮像部５０が構成される。光学系４３は、複数のレンズから構成され、光電変換部４４に被写体像を結像させる。撮像部５０が自動車用の信号機４０ａに設けられている場合、光学系４３は、主に車両の画像取得に用いられる。撮像部５０が歩行者用の信号機４０ｂに設けられている場合、光学系４３は、主に歩行者（自転車を含む）の画像取得に用いられる。撮像部５０は、表示部４２（信号灯）の近傍に設けられる。
　光電変換部４４は、光学系４３から入射した光に対応して画素信号を出力する撮像チップと、画素信号を処理する信号処理チップと、画素信号を記憶するメモリチップとが積層して構成されている撮像素子１００を備える。上述した自動車１０における光電変換部１５と同様の構成である。撮像素子１００は、各画素または複数画素（例えば１６画素×１６画素）からなる単位領域ごとに、交通信号に応じて撮像条件を設定することができる。
　図３８は、交差点に配置された自動車用の信号機４０ａを例示する図である。図３８において、信号機４０ａに撮像部５０が設置されている。撮像部５０は、例えば、光学系４３として広角レンズを有し、図３７に例示する交差点の複数の走行レーン（片側２車線等）の両側４車線を含む画角を有している。
　記憶部４５は、例えば、フラッシュメモリ等の不揮発性の半導体メモリによって構成され、光電変換部４４で取得された画像データ等を記憶する。
　制御部４６は、信号機４０全体を制御するものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。本実施形態において、制御部４６は、交通信号に応じて表示部４２の信号灯の表示制御を行うとともに、光電変換部４４の撮像素子１００を用いた撮像を制御する。
　なお、自動車用の信号機４０ａの撮像部５０による撮影範囲に、歩行者用の信号機４０ｂの撮像部５０による撮影範囲が含まれている場合は、歩行者用の信号機４０ｂの撮像部５０（光学系４３、光電変換部４４）を省略してもよい。
＜自動車の制御＞
　以下、自動車１０の制御部１９が実行する制御について、図３９のフローチャートを参照して説明する。なお、このフローチャートは自動車１０の起動、例えばエンジンの始動または運転システム等の始動により開始されるものとする。図３９のフローチャートによる処理を実行するためのプログラムは、制御部１９にあるＲＯＭ等の記憶媒体、または自動車１０の記憶部１７に格納されている。
　制御部１９は、ステップＳ１において、光電変換部１５の撮像素子１００による撮像を開始させる。上述したように、自動車１０の撮像部５（光学系１４、光電変換部１５）は、自動車１０の前後の画像をそれぞれ取得する。
　制御部１９は、ステップＳ２において、通信部１６を介して、他の車２０（自動車１０と同じレーンを走行する車両に加え、自動車１０と同じ進行方向で異なる走行レーンを走行する車両）と通信を行う。本実施形態においては、図４０(a) に示したように、自動車１０と同じレーンを走行する前の車両７３Ａが自動運転車であり、隣の走行レーン（進行方向同じ）を走行する前の車両７２Ａが手動運転車であるとする。また、自動車１０と同じレーンを走行する後ろの車両７３Ｂが自動運転車であり、隣の走行レーン（進行方向同じ）を走行する後ろの車両７２Ｂが手動運転車であるとする。
　自動車１０の周囲の車両が自動運転車か手動運転車かは、通信部１６による公知の車車間通信などの通信結果に基づき判別する。また、他の車２０に識別マークなどが表示される場合には、撮像部５（光学系１４、光電変換部１５）による撮像結果に基づき判別してもよい。識別マークは、所定のマークやコードを車両のボディに表示するものでもよく、車両のルーフ等に設けた不図示の表示部に識別情報を表示させるものでもよい。
　なお、通信結果（通信不能）や撮像結果に基づき自動運転車か手動運転車かを判別できない他の車２０については、制御部１９は、手動運転車であると推定するものとする。
　制御部１９は、ステップＳ３において、光電変換部１５の撮像素子１００の上記単位領域１３１（図４）ごとに個別に撮像条件を設定する。図４０(b) および図４０(c) は、それぞれ自動車１０の前方および後方を撮像する撮像素子１００に結像される被写体（対象物）の像を模式的に示す図である。実際には倒立逆像が結像されるが、分かりやすくするために正立正像として図示している。白線８０ａは、進行方向に向かって道路左側の区画線、白線８０ｂは走行レーン（車線）の境界線、白線８０ｃは道路右側の区画線を表す。
　上述したように、自動車１０の隣のレーンを走行する前後の車両７２Ａ、７２Ｂは手動運転車であるため、制御部１９は、図４０(b) において車両７２Ａを含む領域を注目領域７１Ａとする。そして、注目領域７１Ａに該当する撮像素子１００の単位領域のフレームレートを通常領域のフレームレートより高く設定し（例えば６０ｆｐｓ）、間引き率を通常領域より低い０～２０％とする。
　同様に、制御部１９は、図４０(c) において車両７２Ｂを含む領域を注目領域７１Ｂとする。そして、注目領域７１Ｂに該当する撮像素子１００の単位領域のフレームレートを通常領域のフレームレートより高く設定し（例えば６０ｆｐｓ）、間引き率を通常領域より低い０～２０％とする。制御部１９はさらに、この間引き率を自動車１０の移動速度または自動車１０と他の車２０との相対的な移動速度に応じて設定変更する。例えば、相対的な移動速度が速くなるに連れて間引き率を低く変更する。
　なお、図４０(b) は注目領域７１Ａを除く領域を全て通常領域とする例であるが、自動運転車である車両７３Ａを囲む領域を準注目領域７４Ａとし、注目領域７１Ａおよび準注目領域７４Ａを除く領域を通常領域としてもよい。また、図４０(c) は注目領域７１Ｂを除く領域を全て通常領域とする例であるが、自動運転車である車両７３Ｂを囲む領域を準注目領域７４Ｂとし、注目領域７１Ｂおよび準注目領域７４Ｂを除く領域を通常領域としてもよい。なお、制御部１９は、準注目領域７４Ａ，Ｂの撮像条件を完全自動運転と準自動運転とで異なる設定としてもよい。この場合、制御部１９は、準自動運転の場合の撮像素子１００のフレームレートを完全自動運転の場合の撮像素子１００のフレームレートよりも高く設定すればいい。また、制御部１９は、完全自動運転の場合にその撮像領域を通常領域と設定してもよい。
　制御部１９は、それぞれ自動車１０の前方および後方を撮像する撮像素子１００に対し、準注目領域７４Ａ、７４Ｂに該当する撮像素子１００の単位領域のフレームレートを、通常領域のフレームレートより低く設定し（例えば３０ｆｐｓ）、間引き率を３０～６０％程度に設定する。
　また、制御部１９は、上記注目領域７１Ａ、７１Ｂに加えて、路上の白線が含まれる領域を注目領域としてよい。そして、それぞれ自動車１０の前方および後方を撮像する撮像素子１００に対し、注目領域に該当する撮像素子１００の単位領域のフレームレートを、通常領域のフレームレートより高く設定し（例えば６０ｆｐｓ）、間引き率を０～２０％とする。
　このように、手動運転車と自動運転車とを撮像する際に撮像素子１００の単位領域ごとに撮像条件を異ならせることにより、撮像素子１００を効率的に使用することができ、消費電力や発熱を抑えることができる。
　制御部１９は、図３９のステップＳ４において、通信部１６を介して信号機４０と通信可能かどうか、すなわち信号機４０（交差点）に近づいてきたかどうか等を判断する。制御部１９は、信号機４０との通信ができない（通信可能エリア外）場合には、ステップＳ４を否定判定してステップＳ７に進む。一方、制御部１９は、信号機４０との通信が可能な（通信可能エリア内）場合は、ステップＳ４を肯定判定してステップＳ５に進む。
　制御部１９は、ステップＳ５において、信号機４０（自動車用の信号機４０ａまたは歩行者用の信号機４０ｂ）の光電変換部４４によって取得された画像に基づく情報を受信する。例えば、制御部１９は、自動車１０が左折する場合（米国などの車両が右側通行の地域では右折する場合）に、歩行者用の信号機４０ｂから人物に関する情報を受信する。この場合、信号機４０の制御部４６が光電変換部４４によって取得された画像に基づいて歩行者の有無を判断し、制御部１９が、制御部４６によって判断された歩行者に関する情報を受信する。
　なお、自動車１０の制御部１９が、信号機４０の光電変換部４４によって取得された画像データを受信し、受信した画像データに基づいて歩行者の有無を判断するようにしてもよい。
　制御部１９は、自動車１０が右折をする場合（車両が右側通行の地域では左折する場合）に、対向車線の直進車が自動運転車か手動運転車かといった情報を自動車用の信号機４０ａから受信する。さらに、制御部１９は、自動車用の信号機４０ａから交通信号の切り替わりに関する情報（例えば数秒後に青信号から赤信号に変わる等の信号切り替え情報）を受信する。
　制御部１９は、ステップＳ６において、ステップＳ５にて入手した情報に基づいて光電変換部１５の撮像素子１００の撮像条件を設定する。制御部１９は、例えば自動車１０が交差点で左折する場合に、撮影画面の左側に対応する撮像素子１００の単位領域のフレームレートを、撮影画面の右側に対応する単位領域のフレームレートより高くしたり、自動車１０の速度や歩行者の移動速度（例えば時速４ｋｍ / ｈ）に対応して上記フレームレートを変化させたりする。
　例えば、時速５０ｋｍ / ｈで移動していた自動車１０が、左折のために１０ｋｍ / ｈ程度まで減速した場合には、撮影画面の左側に対応する単位領域のフレームレートを減速前に比べて下げる。また、制御部１９は、自動車１０が左折する場合に、歩道を渡る歩行者が自動車１０に近付いてくるのか、または歩行者が自動車１０から遠ざかるのかに応じて、撮像素子１００の撮像条件を設定する。すなわち、制御部１９は、自動車１０に近づいてくる人に対応する撮像素子１００の単位領域のフレームレートを高くするとともに間引き率を低くして、自動車１０から遠ざかる歩行者（特に自動車１０が通過予定の横断歩道をすでに渡り終えた人）に対応する撮像素子１００の単位領域のフレームレートを低くするとともに間引き率を高くする。
　また、自動車１０が交差点で右折する場合に、制御部１９は、対向車線から直進して来る他の車２０が手動運転車である場合には、撮影画面の右側に対応する単位領域のフレームレートを撮影画面の左側に対応する単位領域のフレームレートより相対的に高くして、間引き率を低くする。また、右折先の横断歩道を渡る歩行者が自動車１０に近づいてきている場合には、近づいてくる歩行者に対応する撮像素子１００の単位領域のフレームレートをさらに高くして、間引き率をさらに低くする。
　制御部１９は、自動車１０が右折・左折をする場合に、ターンシグナルスイッチの操作状態や、ハンドルの操作量に応じて、注目すべき撮像領域を予測（歩行者等が写りこむ可能性がある撮像領域を予測）して、撮像条件を設定変更するようにしてもよい。
　また、制御部１９は、自動車用の信号機４０ａから交通信号の切り替わりに関する情報を受信して、その情報に基づいて撮像素子１００の撮像条件を変更する。例えば、制御部１９は、数秒後に青信号から赤信号に変わるという交通信号の切り替わりに関する情報を自動車用の信号機４０ａから受信し、自動車１０が減速する場合には、前方を撮像する撮像素子１００のフレームレートを減速前より低くしたり、間引き率を高くしたりするように制御する。一方、制御部１９は、後方を撮像する撮像素子１００の撮像条件はそのまま維持するように制御する。
　なお、自動車１０が減速すると、後続車が自動車１０に接近することが予想されるので、後方を撮像する撮像素子１００のフレームレートを、減速前より高くしたり、間引き率を低くしたりする制御を行ってもよい。
　制御部１９は、自動車１０が速度を変更する場合に、ブレーキやアクセルの操作量（ペダルの踏み込み量）に応じて速度変化を予測して、撮像条件を設定変更するようにしてもよい。
　制御部１９は、ステップＳ７において、エンジン（または運転システム）がオンかどうかを判定する。制御部１９は、エンジン（または運転システム）がオンであればステップＳ７を肯定判定してステップＳ２以降の処理を繰り返す。制御部１９は、エンジン（または運転システム）がオフであればステップＳ７を否定判定し、本フローチャートによる処理を終了する。
＜信号機の制御＞
　次に、信号機４０の制御部４６が実行する制御について、図４１のフローチャートを参照して説明する。図４１のフローチャートによる処理を実行するためのプログラムは、制御部４６にあるＲＯＭ等の記憶媒体、または記憶部４５に格納されている。
　制御部４６は、ステップＳ１０において、交通信号生成装置３０から交通信号を受信したかを判定する。制御部４６は、交通信号生成装置３０からの交通信号を受信すると、ステップＳ１０を肯定判定してステップＳ１１に進む。制御部４６は、交通信号生成装置３０からの交通信号を受信していない場合は、ステップＳ１０を否定判定して受信を待つ。
　制御部４６は、ステップＳ１１において、表示部４２の表示制御を行う。例えば、制御部４６は交通信号生成装置３０から受信した交通信号に応じて表示部４２の信号灯表示を赤から青に切り替える制御を行う。
　制御部４６は、ステップＳ１２において、一若しくは複数の車両または他の信号機４０と通信を行う。制御部４６が通信対象とする車両には、自動車１０、および通信部２１を備える他の車２０を含むことができる。
　なお、通信対象車両は、交差点または信号機４０から所定の範囲内にある車両としてもよいし、道路に設置された不図示の情報提供システム等を介して通信可能な車両としてもよい。
　制御部４６は、通信対象車両から、該車両または該車両の周辺の車両が自動運転車であるか手動運転車であるか等の移動方式についての情報を取得する。さらに、制御部４６は、通信対象車両から、該車両または該車両の周辺の車両の運転状況に関する情報を取得する。例えば、通信対象車両の制御部１９または制御部２５が、ウィンカー（方向指示器）を作動させるためのターンシグナルスイッチの状態から交差点での進路変更（右折または左折）を予測する。制御部４６は、通信対象車両によって予測された右折予測情報または左折予測情報を、上記運転状況に関する情報として通信対象車両から取得する。
　なお、車両が自動運転車であるか手動運転車であるかは、制御部４６が通信対象車両との通信結果に基づき判別してもよい。また、車両に識別マークなどが表示される場合には、制御部４６が、撮像部（光学系４３、光電変換部４４）による撮像結果に基づき判別してもよい。さらに、車両の進路変更（右折または左折）については、制御部４６が、撮像部（光学系４３、光電変換部４４）による撮像結果に基づき、該車両のウィンカーの作動状態から判別してもよく、該車両が左折レーン上にあるか、右折レーン上にあるかによって判別してもよい。
　また、制御部４６は、自動車用の信号機４０ａまたは歩行者用の信号機４０ｂを含む他の信号機４０とも通信を行い、交差点等における交通状況の情報を取得することができる。制御部４６はさらに、必要に応じて、各信号機の交通信号生成に係る交通信号生成装置３０と通信を行い、交通信号の表示状況についての情報を取得する。
　制御部４６は、ステップＳ１３において、表示部４２の信号灯の表示状況、およびステップＳ１２で取得した情報に基づいて、光電変換部４４の撮像素子１００の撮像条件を設定する。光電変換部４４の撮像素子１００における撮像条件の設定の詳細については後述する。
　制御部４６は、ステップＳ１４において、ステップＳ１３で設定された撮像条件の下に撮像部（光学系４３、光電変換部４４）による撮像を行わせる。
　制御部４６は、ステップＳ１５において、ステップＳ１４で取得した画像データを、通信部４１を介して、自動車１０、他の車２０または他の信号機４０等に送信する。また、制御部４６は、上記画像データに基づいて画像処理または画像解析を行い抽出した各情報、例えば、車両の方向、速さ等の各データと、ウィンカー等の作動状態の識別とにより推定した当該車両の走行レーンの情報も、同様に送信する。
　さらに、制御部４６は、解析した情報に基づいて通信対象車両（自動車１０や他の車２０）の推定される走行レーンや障害となる対象物（車両や歩行者を含む）を認識し、認識結果を基にメッセージを生成し、メッセージを通信部４１から通信対象車両へ送信させてもよい。メッセージは、例えば「後方から二輪車が来ます。」、「歩行者が横断します。」、「対向車両が直進します。」などである。制御部４６は、ステップＳ１０からステップＳ１５までの処理を、繰り返し実行する。
＜信号機における撮像条件の設定＞
　図４２は、自動車用の信号機４０ａが青信号を表示しているときの、自動車用の信号機４０ａと一体として設置、あるいはその近傍に設置された撮像部５０－１の撮像素子１００における撮像条件の制御の例を示す図である。
　図４２において、走行レーン（車線）Ａに対する自動車用の信号機４０ａと、撮像部５０－１と、交通信号生成装置３０－１とが示されている。当該交差点にあるその他の信号機等は、図示が省略されている。自動車用の信号機４０ａの制御部４６は、撮像部５０－１の撮像領域７０の範囲内で、青信号により車両が移動している走行レーンの範囲を、注目領域７１として設定する（網掛けの範囲）。
　制御部４６は、注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。また、図４２の注目領域７１において自動運転でない手動運転車である車両７２が存在するときは、制御部４６は、車両７２を囲む領域を特注目領域７５として設定する。そして、特注目領域７５に対応する撮像素子１００の単位領域のフレームレートを、注目領域７１に対応する単位領域よりもさらに高くする。制御部４６は、特注目領域７５に対応する撮像素子１００の単位領域の間引き率についても、注目領域７１に対応する単位領域の間引き率よりもさらに低く制御する。
　また、制御部４６は、注目領域７１の中で、右左折のために一時停止している車両７６、車両７７を含む領域についても、それぞれ、注目領域７１に対応する単位領域より間引き率を低くすることによって高解像度で撮像することができる。
　図４３は、自動車用の信号機４０ａが赤信号を表示しているときの、自動車用の信号機４０ａと一体として設置、あるいはその近傍に設置された撮像部５０－１の撮像素子１００における撮像条件の制御の例を示す図である。
　図４３において、走行レーン（車線）Ａに対する自動車用の信号機４０ａと、撮像部５０－１と、交通信号生成装置３０－１とが示されている。当該交差点にあるその他の信号機等は、図示が省略されている。制御部４６は、撮像部５０－１の撮像領域７０の範囲内で、歩行者９０が進入しうる横断歩道およびその付近を注目領域７１として設定する（網掛けの範囲）。
　制御部４６は、注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。また、制御部４６は、歩行者９０を認識したときは、歩行者９０を含む所定の範囲の領域を特注目領域７５として設定する。そして、特注目領域７５に対応する撮像素子１００の単位領域のフレームレートを、注目領域７１に対応する単位領域よりもさらに高くする。制御部４６は、特注目領域７５に対応する撮像素子１００の単位領域の間引き率についても、注目領域７１に対応する単位領域の間引き率よりもさらに低く制御する。
　図４４は、歩行者用の信号機４０ｂと一体として設置、あるいはその近傍に設置された撮像部５０－２の撮像条件の制御の例を示す図である。図４４において、歩行者用の信号機４０ｂと、撮像部５０－２と、交通信号生成装置３０－２とが示されている。当該交差点にあるその他の信号機等は、図示が省略されている。歩行者用の信号機４０ｂの制御部４６は、撮像部５０－２の撮像領域７０の範囲内で、歩行者９０が進入しうる横断歩道およびその付近を注目領域７１として設定する（網掛けの範囲）。
　制御部４６は、注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。また、制御部４６は、歩行者９０を認識したときは、歩行者９０を含む所定の範囲の領域を特注目領域７５として設定する。そして、特注目領域７５に対応する撮像素子１００の単位領域のフレームレートを、注目領域７１に対応する単位領域よりもさらに高くする。制御部４６は、特注目領域７５に対応する撮像素子１００の単位領域の間引き率についても、注目領域７１に対応する単位領域の間引き率よりもさらに低く制御する。
　図４５(a) は、歩行者用の信号機４０ｂに設置された撮像部５０－２により撮像される場面を例示する図である。図４５(b) は、撮像部５０－２により取得された画像データを用いた被写体認識結果に基づく撮像条件の設定を説明する図である。図４５(a) において、歩行者用の信号機４０ｂに、上述の撮像素子１００を有する撮像部５０－２が設置されている。本実施形態に係る撮像素子１００によれば、上下・左右方向だけでなく奥行き方向の移動も計測することができるため、被写体である歩行者９０が移動する速度Ｖｏを測定することが可能である。
　図４５(b) において、制御部４６は、撮像部５０－２の撮像領域７０の範囲内で、横断歩道を渡る歩行者９０を含む範囲を注目領域７１として設定する。そして、制御部４６は、注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域との間で撮像条件を異ならせる。このとき、制御部４６は、歩行者９０の速度Ｖｏに依存して撮像条件を異ならせる。
　制御部４６は、例えば、歩行者９０の速度Ｖｏの絶対値が大きいときは、歩行者９０を含む注目領域７１に対応する撮像素子１００の単位領域について、注目領域７１以外の単位領域よりフレームレートを高くしたり、間引き率を低くしたりして制御する。
　また、制御部４６は、付近の車両や建築物と歩行者９０との位置関係に基づいて、注目領域７１に対する撮像条件を変えてもよい。例えば、交差点を右折または左折のためにウィンカーを作動させている車両が撮像領域７０に存在する場合、その車両が横断歩道に進入する可能性があるので、制御部４６は、注目領域７１のうち、上記車両に近い側の領域を特注目領域として設定する。そして、特注目領域に対応する撮像素子１００の単位領域のフレームレートを、注目領域７１に対応する単位領域よりもさらに高くする。制御部４６は、特注目領域に対応する撮像素子１００の単位領域の間引き率についても、注目領域７１に対応する単位領域の間引き率よりもさらに低く制御する。
　さらに、制御部４６は、注目領域７１においても、斜線で示した複数の画素または領域７８Ｐと、斜線で示されていない複数の画素または領域７８Ｓとで、撮像条件を異ならせてもよい。図４５(b) の例では、市松模様状に上下左右に隣接する画素または領域同士で撮像条件を異ならせたが、この態様に限らずともよい。
　また、制御部４６は、撮像領域７０の範囲内に他の歩行者や自転車などの対象物を認識した場合には、これら複数の対象物をそれぞれ含む領域を、注目領域７１に加えてもよい。そして、複数の注目領域７１において、それぞれ斜線で示した複数の画素または領域７８Ｐと、斜線で示されていない複数の画素または領域７８Ｓとで、撮像条件を異ならせてもよい。
　図４６は、交差点において自動車用の信号機４０ａに設置された撮像部５０－１により撮像される場面を例示する図である。図４６において、自動車用の信号機４０ａは、直進可、左折可、右折可を示す表示灯を有する表示部４２ａを備える。撮像部５０－１により撮像された画像データを用いた被写体認識結果に基づく撮像条件の設定の例を説明する。
　図４６は、信号機４０ａの表示部４２ａが、直進可と左折可を示す表示灯を点灯し、右折を待機させている状態を示す。自動車用の信号機４０ａの制御部４６は、直進または左折する車両が通過する走行レーンＡ，直進する車両が通過する走行レーンＢに対応する撮像素子１００の単位領域のフレームレートを、他の走行レーンＣに対応する単位領域のフレームレートよりも高くしたり、間引き率を低くしたりして制御する。言い換えれば、制御部４６は、走行レーンＣに対応する単位領域のフレームレートを低くしたり、間引き率を高く設定したりして制御する。
　なお、フレームレートを低くすることは、その単位領域において撮像を行わない設定を行うことも含む。
　以上説明した実施形態に係る自動車１０または信号機４０（自動車用の信号機４０ａ、歩行者用の信号機４０ｂ）における撮像素子１００の撮像条件の制御においては、表示部４２の表示の切り替わりタイミングとほぼ同時に撮像条件を変更してもよいし、表示の切り替わりタイミングから一定の時間間隔を設けて撮像条件を変更してもよい。あるいは、表示の切り替わり直後の一定時間は、表示の切り替わり前において設定した注目領域と、表示の切り替わり後に設定すべき注目領域との両方を注目領域として、撮像条件を変更してもよい。
　第３の実施の形態によれば、次の作用効果が得られる。
（１）自動車１０（または信号機４０）の撮像装置は、複数の領域の撮像条件を設定可能な撮像素子１００を備えた撮像部５（または撮像部５０）と、周囲の他の車２０の運転方式に基づいて、複数の単位領域の撮像条件を設定する制御部１９（または制御部４１）とを備える。これにより、撮像素子１００に対し、周囲の車２０の運転方式に適した撮像条件を設定し得る。
（２）制御部１９（または制御部４１）は、運転方式が異なる他の車２０を撮像する領域毎に異なる撮像条件を設定するので、撮像素子１００に対して、運転方式が異なる車２０を撮像する領域間に異なる撮像条件を設定し得る。
（３）他の車２０の運転方式は、自動運転方式と手動運転方式とであり、制御部１９（または制御部４１）は、自動運転方式の車２０を撮像する領域と、手動運転方式の車２０を撮像する領域とで異なる撮像条件を設定するので、撮像素子１００に対して、自動運転方式の車２０を撮像する領域と、手動運転方式の車２０を撮像する領域との間に異なる撮像条件を設定し得る。
（４）制御部１９（または制御部４１）は、手動運転方式の車２０を撮像する領域のフレームレートを、自動運転方式の車２０を撮像する領域のフレームレートよりも高く設定する。これにより、手動運転方式の車２０を撮像する頻度が自動運転方式の車２０を撮像する頻度より高まるので、手動運転方式の車２０に対する注目度を高めることができる。すなわち、手動運転方式の車２０の予測のできない挙動について、迅速かつ正確な情報を取得することが可能になる。
（５）制御部１９（または制御部４１）は、手動運転方式の車２０を撮像する領域の画素の間引き率を、自動運転方式の車２０を撮像する領域の画素の間引き率よりも低く設定する。これにより、手動運転方式の車２０についての情報量を自動運転方式の車２０についての情報量より多くすることができる。すなわち、手動運転方式の車２０の予測のできない挙動についてより正確な情報を取得することが可能になる。
（６）周囲の他の車２０の移動方式に関する情報を取得する制御部１９（または制御部４１）を備えるようにしたので、例えば、周囲の他の車２０が入れ替わる場合でも、取得した最新の情報に基づいて、撮像素子１００に対して撮像条件を設定することができる。
（７）制御部１９（または制御部４１）は、他の車２０との通信によって情報を取得するようにしたので、通信によって得た新たな情報に基づいて、撮像素子１００の撮像条件を適切に設定することができる。
（８）制御部１９（または制御部４１）は、撮像部５（または撮像部５０）による他の車２０の撮像によって情報を取得するので、通信ができない状況においても、新たな情報に基づいて撮像素子１００の撮像条件を適切に設定することができる。
（９）制御部１９は、他の車２０とは異なる信号機４０から情報を取得する。これにより、他の車２０との通信ができない状況においても、新たな情報に基づいて撮像素子１００の撮像条件を適切に設定することができる。
（１０）制御部１９（または制御部４１）は、他の車２０が自動運転車か手動運転車かを示す情報を取得し、自動運転車を撮像する領域と、手動運転車を撮像する領域とで異なる撮像条件を設定する。これにより、例えば自動運転車に比べて手動運転車についての注目度を高めるように、撮像素子１００の撮像面における単位領域ごとに撮像条件を適切に設定することができる。特に、手動運転車に対してフレームレートを高くし、画素の間引き率を低くすることにより、手動運転車の予測のできない挙動について迅速かつ正確に情報を取得することができる。
（１１）自動車１０は、上記（１）から（１０）の撮像装置を備えるので、自動車１０の周囲の他の車２０の移動方式に合わせ、撮像装置に対する撮像条件を適切に設定できる。
（１２）自動車１０の制御部１９（または制御部４１）は、自動車１０におけるハンドル、ターンシグナルスイッチ、アクセル、またはブレーキ等の操作に応じて撮像素子１００の撮像条件を変更する。これにより、自動車１０の進路変更、速度変更等に応じて、撮像素子１００の撮像面における単位領域ごとに撮像条件を適切に設定することができる。
（１３）信号機４０は、複数の領域の撮像条件を独立して設定可能な撮像素子１００を備えた撮像部５０と、自動車１０、他の車２０の移動に関する情報に基づいて、複数の領域の撮像条件を設定する制御部４６とを備える。これにより、交差点等を移動する自動車１０、他の車２０の交通状況に応じて、撮像素子１００に撮像条件を設定することができる。
（１４）自動車１０、他の車２０の移動に関する情報は、自動車１０、他の車２０の移動を許可する信号と、自動車１０、他の車２０の移動を許可しない信号とを有し、制御部４６は、それぞれの信号に基づいて撮像条件を設定するようにした。これにより、自動車１０、他の車２０が移動する場合と、自動車１０、他の車２０が移動しない場合とで、それぞれ撮像素子１００の撮像条件を適切に設定することができる。
（１５）自動車１０、他の車２０の移動を許可する信号は、直進を許可する信号と、左折を許可する信号と、右折を許可する信号とを有し、制御部４６は、それぞれの信号に基づいて撮像条件を設定するようにした。これにより、自動車１０、他の車２０が直進する場合、左折する場合、右折する場合において、それぞれ撮像素子１００の撮像条件を適切に設定することができる。
（１６）制御部４６は、自動車１０、他の車２０の移動に関する情報の切り替わりに応じて撮像条件を変更するので、上記信号の切り替わるタイミングで、適切に撮像素子１００の撮像条件を変更することができる。
（１７）信号機４０は、周囲の自動車１０、他の車２０の移動に関する情報を取得する制御部４６を備えるので、例えば、周囲の他の車２０が入れ替わる場合でも、取得した最新の情報に基づいて、撮像素子１００に対して撮像条件を設定することができる。
（１８）制御部４６は、自動車１０、他の車２０との通信によって情報を取得するので、通信によって得た新たな情報に基づいて、撮像素子１００の撮像条件を適切に設定することができる。
（１９）制御部４６は、撮像部５０による自動車１０、他の車２０の撮像によって情報を取得するので、通信ができない状況においても、新たな情報に基づいて撮像素子１００の撮像条件を適切に設定することができる。
（２０）制御部４６は、自動車１０、他の車２０が自動運転方式の自動車か手動運転方式の自動車かを示す情報を移動に関する情報として取得し、自動運転方式の自動車を撮像する領域と、手動運転方式の自動車を撮像する領域とで異なる撮像条件を設定する。これにより、例えば自動運転方式の自動車に比べて手動運転方式の自動車についての注目度を高めるように、撮像素子１００の撮像面における単位領域ごとに撮像条件を適切に設定することができる。特に、手動運転方式の自動車に対してフレームレートを高くし、画素の間引き率を低くすることにより、手動運転方式の自動車の予測のできない挙動について迅速かつ正確に情報を取得することができる。
（２１）制御部４６は、自動車１０、他の車２０の進路変更を示す情報を取得し、自動車１０、他の車２０の進路変更に基づいて撮像条件を設定する領域を変更する。これにより、進路変更のタイミングで、適切に撮像素子１００の撮像条件を変更することができる。
（２２）自動車１０、他の車２０とは異なる他の自動車１０、他の車２０と通信を行う通信部４１を備えるので、例えば、信号機４０の周囲の他の車２０の情報を、自動車１０へ送信することができる。
（２３）自動車１０および信号機４０は、撮像する対象物が移動する速度を測定し、速度の大きさ、方向・向きに応じて撮像素子１００の撮像条件を変更する。従って、対象物の移動状況に応じ、撮像素子１００の撮像面における領域ごとに撮像条件を適切に設定することができる。
（２４）自動車１０は、何秒後に信号が切り変わるかなどの情報を取得し、自動車１０の運転状況に反映させる。従って、信号の切り替わりをあらかじめ考慮に入れた円滑な運転が実現できる。
（２５）自動車１０または信号機４０は、信号の切り替わりの直後の一定時間は、直前の信号において設定した注目領域と、切り替わり後の信号で設定すべき注目領域との両方を注目領域として含むように、撮像素子１００の撮像条件を設定する。これにより、信号の切り替わりにおける過渡的な状態に対し、撮像素子１００の撮像条件を適切に設定することができる。
（２６）自動車１０および信号機４０を含む撮像システム１により、正確かつ効率的な撮像による情報取得と、通信とに基づいた、より整理された交通システムを実現することができる。
　なお、第３の実施の形態では、自動車１０の制御部１９または信号機４０の制御部４６が行う制御によってそれぞれ撮像部５、撮像部５０を制御したが、撮像部５、撮像部５０の制御の一部を撮像部内部の制御回路（ＣＰＵ等）により行うようにしてもよい。
　また、信号機４０の制御部４６が行う処理の一部を信号情報生成装置３０の制御部３４により行うようにしてもよい。カメラ等の撮像部５０は、必ずしも信号機４０に付随するものでなくともよく、交差点等の交通信号または交通状況に応じて設置してよい。
　さらに、第３の実施の形態では、メッセージの表示にナビシステム１３の表示部・音声再生部を利用したが、別個の表示・再生装置を利用してもよい。さらに、自動車１０のフロントガラスに情報を投映するＨＵＤ (Head Up Display) と、音声情報を再生するスピーカとによって構成される表示・再生装置を利用するようにしてもよい。
　次のような変形例の一つ、もしくは複数を上述の第３の実施の形態と組み合わせることも可能である。
（変形例１）
　信号機４０の制御部４６は、撮像部５０による撮像、または通信部４１による通信により、道路上または交差点における車両の自動運転車の割合に関する情報を取得し、その割合に応じて撮像条件を変えてもよい。例えば、制御部４６は、自動運転車の割合が多い時間帯には、自動運転車の割合が少ないときに比べて間引き率を上げるように制御する。これにより、消費電力の節約等が実現でき、より効率的な撮像を行うことができる。
（変形例２）
　自動車１０の制御部１９または信号機４０の制御部４６は、自動運転車か手動運転車かを撮像により識別するのに加え、初心運転者標識や高齢運転者標識などの標識を識別してもよい。そして、初心運転車や高齢運転車に対応する撮像素子１００の単位領域において異なる撮像条件を設定する。例えば初心運転者標識の表示された車両は、手動運転車に対応する撮像素子１００の単位領域よりもフレームレートをさらに高くしたフレームレートで撮像してもよい。これにより、対象物に応じて、撮像素子１００の撮像面における単位領域ごとに撮像条件を適切に設定することができる。
（変形例３）
　第３の実施の形態では、撮像素子１００を用いた撮像により距離測定および周囲の移動体や障害物の検出を行ったが、不図示のレーダを併用してもよい。これにより、撮像素子１００とレーダの特性を生かし、より信頼性の高い交通情報の取得を行うことができる。
　種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。実施形態および変形例で示された各構成を組み合わせて用いる態様も本発明の範囲内に含まれる。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１４年第１１１３７５号（２０１４年５月２９日出願）
　日本国特許出願２０１４年第１７３８３３号（２０１４年８月２８日出願）
　日本国特許出願２０１５年第００５１７１号（２０１５年１月１４日出願）
　国際公開第１３／１６４９１５号パンフレット
　１…車両、２…運転支援装置、３…カメラ、４…制御装置、４ｂ…記憶部、５…第１の走行制御ユニット、６…第２の走行制御ユニット、７…スロットル制御装置、７ａ…アクセルペダル、８…ブレーキ制御装置、８ａ…ブレーキペダル、９…操舵制御装置、１０…ステアリングホイール、１１…ターンシグナルスイッチ、１２…車速センサ、１４…表示装置、１５…ＧＰＳ装置、１６…シフトレバー位置検出装置、１７…マイク、１８…ビーム切換えスイッチ、１９…降雨センサ、３１…撮像光学系、３２…撮像部、３２ａ…駆動部、３３…画像処理部、３４…ワークメモリ、３５…制御部、３５ａ…測距演算部、３６…記録部、６０…焦点検出画素ライン、７１、７３、７５、７７、７９、７９Ａ…第１撮像領域、７１ａ…第３撮像領域、７２、７４、７６、７８、８０…第２撮像領域、７２ａ…第４撮像領域、７３ａ、７３ｃ…第５撮像領域、７４ａ、７４ｃ…第６撮像領域、８１…撮像領域、８２、８２Ａ、８２Ｂ…注目領域、８３…休止領域、８７…第７撮像領域、１００…撮像素子、１１３…撮像チップ
　１…撮像システム、５、５０（５０－１、５０－２）…撮像部、１０…自動車、１９、４６…制御部、２０…他の車、３０…交通信号生成装置、４０…信号機、４０ａ…自動車用の信号機、４０ｂ…歩行者用の信号機、４２…表示部、７０…撮像領域、７１、７１Ａ、７１Ｂ…注目領域、７２、７２Ａ、７２Ｂ、７３Ａ、７３Ｂ、７６、７７…車両、７４Ａ、７４Ｂ…準注目領域、７５…特注目領域、９０…歩行者

Claims (51)

  1. 　車両に搭載される撮像装置であって、
    　撮像部と、
    　前記車両の外部の状態と、前記車両の状態との少なくとも一方により、前記撮像部の複数の画素を有する領域毎または画素毎に撮像条件を設定する設定部と
    を備える撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記車両の状態は、前記車両の走行状態である撮像装置。
  3. 　請求項２に記載の撮像装置において、
    　前記車両の走行状態は、前記車両の進行方向、速度のうちの少なくとも１つである撮像装置。
  4. 　請求項３に記載の撮像装置において、
    　前記車両の進行方向、速度のうちの少なくとも１つは、前記車両の制御部により制御される撮像装置。
  5. 　請求項３に記載の撮像装置において、
    　前記車両の進行方向、速度のうちの少なくとも１つは、前記車両の操作部への操作により設定される撮像装置。
  6. 　請求項５に記載の撮像装置において、
    　前記操作部は、ハンドル、方向指示器のスイッチ、アクセルペダル、ブレーキペダルのうちの少なくとも１つである撮像装置。
  7. 　請求項４から６のいずれか一項に記載の撮像装置において、
    　前記車両の進行方向、速度のうちの少なくとも１つは、前記車両の検出部により検出される撮像装置。
  8. 　請求項２から７のいずれか一項に記載の撮像装置において、
    　前記設定部は、前記車両の走行状態により前記撮像部に撮像領域を設定し、前記設定された撮像領域の撮像条件を設定する撮像装置。
  9. 　請求項８に記載の撮像装置において、
    　前記設定部は、前記撮像領域の撮像条件としてフレームレートを他の領域のフレームレートよりも高くする撮像装置。
  10. 　請求項８または９に記載の撮像装置において、
    　前記設定部は、前記撮像領域の撮像条件として画素の間引き率を他の領域の間引き率よりも低くする撮像装置。
  11. 　請求項２に記載の撮像装置において、
    　前記車両の走行状態は、前記車両から前記車両に先行する車両までの距離である撮像装置。
  12. 　請求項１１に記載の撮像装置において、
    　前記設定部は、前記車両から前記車両に先行する車両までの距離により、前記撮像部に撮像領域を設定し、前記撮像領域の撮像条件を設定する撮像装置。
  13. 　請求項１２に記載の撮像装置において、
    　前記設定部は、前記撮像領域の撮像条件として画素の間引き率を他の領域の間引き率よりも低くする撮像装置。
  14. 　請求項１２または１３に記載の撮像装置において、
    　前記設定部は、前記撮像領域の撮像条件としてフレームレートを他の領域のフレームレートよりも高くする撮像装置。
  15. 　請求項１４に記載の撮像装置において、
    　前記設定部は、前記車両から前記車両に先行する車両までの距離が短くなったら前記撮像領域のフレームレートを増加させる撮像装置。
  16. 　請求項１２から１５のいずれか一項に記載の撮像装置において、
    　前記設定部は、前記車両から前記車両に先行する車両までの距離が短くなったら前記撮像領域の大きさを大きくする撮像装置。
  17. 　請求項１に記載の撮像装置において、
    　前記車両の外部の状態は、前記車両以外の車両の状態である撮像装置。
  18. 　請求項１７に記載の撮像装置において、
    　前記車両以外の車両の状態は、前記車両以外の車両の運転方式である撮像装置。
  19. 　請求項１８に記載の撮像装置において、
    　前記車両の運転方式は、車両の制御部により運転が制御される自動運転方式と、車両の操作部への操作により運転される手動運転方式とである撮像装置。
  20. 　請求項１９に記載の撮像装置において、
    　前記設定部は、前記撮像部に前記手動運転方式の車両を撮像する領域と前記自動運転方式の車両を撮像する領域とを設定し、前記手動運転方式の車両を撮像する領域の撮像条件と、前記自動運転方式の車両を撮像する領域の撮像条件とを異ならせる撮像装置。
  21. 　請求項２０に記載の撮像装置において、
    　前記設定部は、前記手動運転方式の車両を撮像する領域の撮像条件としてフレームレートを、前記自動運転方式の車両を撮像する領域のフレームレートよりも高くする撮像装置。
  22. 　請求項２０または２１に記載の撮像装置において、
    　前記設定部は、前記手動運転方式の車両を撮像する領域の撮像条件として画素の間引き率を、前記自動運転方式の車両を撮像する領域の画素の間引き率よりも低くする撮像装置。
  23. 　請求項１８から２２のいずれか一項に記載の撮像装置において、
    　前記車両の運転方式は検出部で検出される撮像装置。
  24. 　請求項１に記載の撮像装置において、
    　前記車両の外部の状態は、道路の状態である撮像装置。
  25. 　請求項２４に記載の撮像装置において、
    　前記道路の状態は、前記道路の走行車線を示す線の状態である撮像装置。
  26. 　請求項２５に記載の撮像装置において、
    　前記撮像部で撮像した画像から前記線を検出する撮像装置。
  27. 　請求項２５または２６に記載の撮像装置において、
    　前記設定部は、前記撮像部に前記線を撮像する領域を設定し、前記線を撮像する領域の撮像条件を設定する撮像装置。
  28. 　請求項２７に記載の撮像装置において、
    　前記設定部は、前記線を撮像する領域の撮像条件としてフレームレートを、前記線を撮像する領域以外のフレームレートよりも高くする撮像装置。
  29. 　請求項２７または２８に記載の撮像装置において、
    　前記設定部は、前記線を撮像する領域の撮像条件として画素の間引き率を、前記線を撮像する領域以外の画素の間引き率よりも低くする撮像装置。
  30. 　車両に搭載される撮像装置であって、
    　撮像部と、
    　前記車両の外部の状態と、前記車両の状態との少なくとも一方により、前記撮像部の撮像領域の中に前記車両の走行に関連する部分領域と、前記設定された部分領域の画素の撮像条件とを設定する設定部と
    を備える撮像装置。
  31. 　請求項３０に記載の撮像装置において、
    　前記設定部は、前記設定された部分領域の撮像条件としてフレームレートを前記設定された部分領域以外の領域のフレームレートよりも高くする撮像装置。
  32. 　請求項３０または３１に記載の撮像装置において、
    　前記設定部は、前記設定された部分領域の撮像条件として画素の間引き率を前記設定された部分領域以外の領域の画素の間引き率よりも低くする撮像装置。
  33. 　請求項３０から３２のいずれか一項に記載の撮像装置において、
    　前記車両の状態は、前記車両の走行状態である撮像装置。
  34. 　請求項３３に記載の撮像装置において、
    　前記車両の走行状態は、前記車両の進行方向、速度のうちの少なくとも１つである撮像装置。
  35. 　請求項３３に記載の撮像装置において、
    　前記車両の走行状態は、前記車両から前記車両に先行する車両までの距離である撮像装置。
  36. 　請求項３０に記載の撮像装置において、
    　前記車両の外部の状態は、前記車両以外の車両の状態である撮像装置。
  37. 　請求項３６に記載の撮像装置において、
    　前記車両以外の車両の状態は、前記車両以外の車両の運転方式である撮像装置。
  38. 　請求項３０に記載の撮像装置において、
    　前記車両の外部の状態は、道路の状態である撮像装置。
  39. 　請求項３８に記載の撮像装置において、
    　前記道路の状態は、前記道路の走行車線を示す線の状態である撮像装置。
  40. 　撮像装置を搭載した車両であって、
    　前記車両の外部の状態と、前記車両の状態との少なくとも一方を検出する検出部と、
    　撮像部と、
    　前記検出部で検出された、前記車両の外部の状態と、前記車両の状態との少なくとも一方により、前記撮像部の撮像領域の中に前記車両の走行に関連する部分領域を設定し、前記設定された部分領域の画素の撮像条件を設定する設定部と
    を備える車両。
  41. 　請求項４０に記載の車両において、
    　前記検出部は、前記車両の走行状態を検出する車両。
  42. 　請求項４１に記載の車両において、
    　前記検出部は、前記車両の走行状態として前記車両の進行方向、速度のうちの少なくとも１つを検出する車両。
  43. 　請求項４１に記載の車両において、
    　前記検出部は、前記車両の走行状態として前記車両から前記車両に先行する車両までの距離を検出する車両。
  44. 　請求項４３に記載の車両において、
    　前記検出部は、前記撮像部で撮像した画像により、前記車両の走行状態として前記車両から前記車両に先行する車両までの距離を検出する車両。
  45. 　請求項４０に記載の車両において、
    　前記検出部は、前記車両以外の車両の状態を検出する車両。
  46. 　請求項４５に記載の車両において、
    　前記検出部は、前記車両以外の車両の運転方式を検出する車両。
  47. 　請求項４０に記載の車両において、
    　前記検出部は、道路の状態を検出する車両。
  48. 　請求項４７に記載の車両において、
    　前記検出部は、前記撮像部で撮像した画像により、前記道路の状態を検出する車両。
  49. 　請求項４７に記載の車両において、
    　前記検出部は、前記道路の状態として前記道路の走行車線を示す線を検出する車両。
  50. 　請求項４０から４９のいずれか一項に記載の車両において、
    　前記設定部は、前記設定された部分領域の撮像条件としてフレームレートを前記設定された部分領域以外の領域のフレームレートよりも高くする車両。
  51. 　請求項４０から５０のいずれか一項に記載の車両において、
    　前記設定部は、前記設定された部分領域の撮像条件として画素の間引き率を前記設定された部分領域以外の領域の画素の間引き率よりも低くする車両。
     
PCT/JP2015/065593 2014-05-29 2015-05-29 撮像装置および車両 WO2015182753A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN202011643281.4A CN112866566B (zh) 2014-05-29 2015-05-29 驾驶辅助装置及驾驶辅助装置搭载车辆
CN201580041612.8A CN106537892B (zh) 2014-05-29 2015-05-29 摄像装置及车辆
CN202011621700.4A CN112866563B (zh) 2014-05-29 2015-05-29 驾驶辅助装置及摄像装置
CN202011621613.9A CN112839169B (zh) 2014-05-29 2015-05-29 驾驶辅助装置及摄像装置
US15/314,285 US10279742B2 (en) 2014-05-29 2015-05-29 Image capture device and vehicle
US16/282,775 US10807532B2 (en) 2014-05-29 2019-02-22 Image capture device and vehicle
US16/928,075 US20200361377A1 (en) 2014-05-29 2020-07-14 Image capture device and vehicle
US17/114,761 US11220215B2 (en) 2014-05-29 2020-12-08 Image capture device and vehicle
US17/546,550 US11572016B2 (en) 2014-05-29 2021-12-09 Image capture device and vehicle
US18/149,720 US20230158952A1 (en) 2014-05-29 2023-01-04 Image capture device and vehicle

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2014-111375 2014-05-29
JP2014111375A JP2015226255A (ja) 2014-05-29 2014-05-29 撮像装置および自動車
JP2014-173833 2014-08-28
JP2014173833A JP6620395B2 (ja) 2014-08-28 2014-08-28 撮像装置
JP2015-005171 2015-01-14
JP2015005171A JP6451332B2 (ja) 2015-01-14 2015-01-14 撮像装置および自動車

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/314,285 A-371-Of-International US10279742B2 (en) 2014-05-29 2015-05-29 Image capture device and vehicle
US16/282,775 Division US10807532B2 (en) 2014-05-29 2019-02-22 Image capture device and vehicle

Publications (1)

Publication Number Publication Date
WO2015182753A1 true WO2015182753A1 (ja) 2015-12-03

Family

ID=54699073

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/065593 WO2015182753A1 (ja) 2014-05-29 2015-05-29 撮像装置および車両

Country Status (3)

Country Link
US (6) US10279742B2 (ja)
CN (4) CN112866566B (ja)
WO (1) WO2015182753A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211095A (zh) * 2016-01-06 2017-09-26 华为技术有限公司 处理图像的方法和设备
JP2018007077A (ja) * 2016-07-04 2018-01-11 株式会社ニコン 撮像装置および自動車
JP2018007038A (ja) * 2016-07-01 2018-01-11 株式会社ニコン 電子機器、自動車、撮像装置および画像記録装置
EP3324335A1 (en) * 2016-11-17 2018-05-23 Panasonic Intellectual Property Corporation of America Image data extraction apparatus and image data extraction method
WO2018110002A1 (ja) * 2016-12-12 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
JP6403175B1 (ja) * 2017-08-25 2018-10-10 三菱ロジスネクスト株式会社 無人走行可能な車両に備えられた搭乗希望者検知装置、および該装置を利用した配車システム
JP2019006164A (ja) * 2017-06-21 2019-01-17 アルパイン株式会社 表示システム
JPWO2018003502A1 (ja) * 2016-06-28 2019-04-18 ソニー株式会社 撮像装置、撮像方法、プログラム
JP2019129482A (ja) * 2018-01-26 2019-08-01 日立オートモティブシステムズ株式会社 画像処理装置
JPWO2019077999A1 (ja) * 2017-10-16 2020-11-12 ソニー株式会社 撮像装置、画像処理装置、及び、画像処理方法
US11770625B2 (en) 2019-03-27 2023-09-26 Sony Group Corporation Data processing device and data processing method

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160203655A1 (en) * 2011-01-18 2016-07-14 Control-Tec, Llc Multiple-Mode Data Acquisition System
US10279742B2 (en) 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
JP6613554B2 (ja) * 2014-09-30 2019-12-04 株式会社ニコン 画像処理装置およびプログラム
JP6520035B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
EP3266014A1 (en) * 2015-03-03 2018-01-10 Volvo Truck Corporation A vehicle assistance system
EP3187953B1 (en) * 2015-12-30 2020-03-18 Honda Research Institute Europe GmbH Autonomous working machine such as autonomous lawn mower
CN105667387B (zh) * 2016-01-13 2017-12-26 京东方科技集团股份有限公司 车载通讯装置及方法、车辆
JP6612135B2 (ja) * 2016-01-14 2019-11-27 日立オートモティブシステムズ株式会社 車両検出装置および配光制御装置
CN108475471B (zh) * 2016-01-26 2020-12-18 三菱电机株式会社 车辆判定装置、车辆判定方法和计算机可读的记录介质
US11703326B2 (en) * 2016-02-25 2023-07-18 Kyocera Corporation Stereo camera apparatus, vehicle, and parallax calculation method
JP6828266B2 (ja) * 2016-04-18 2021-02-10 ソニー株式会社 画像表示装置及び画像表示装置、並びに移動体
JP2017228975A (ja) * 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
US10319765B2 (en) * 2016-07-01 2019-06-11 Canon Kabushiki Kaisha Imaging device having an effective pixel region, an optical black region and a dummy region each with pixels including a photoelectric converter
KR20180025591A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
JP2018149941A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
DE102017205630A1 (de) * 2017-04-03 2018-10-04 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs
US11074463B2 (en) * 2017-05-02 2021-07-27 Qualcomm Incorporated Dynamic sensor operation and data processing based on motion information
US10960924B2 (en) * 2017-06-16 2021-03-30 Toyota Research Institute, Inc. Vehicle systems for adjusting resistance or sensitivity of steering wheels and/or accelerator pedals
KR102339776B1 (ko) * 2017-08-09 2021-12-15 삼성전자주식회사 차량의 주행 제어 방법 및 장치
DE102017215868A1 (de) * 2017-09-08 2019-03-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen einer Karte
JP6940361B2 (ja) * 2017-10-10 2021-09-29 マクセル株式会社 情報表示装置
CN107885204A (zh) * 2017-11-02 2018-04-06 鄂尔多斯市普渡科技有限公司 一种无人驾驶车识别周围相邻运动物体的行车应对方法
US10999539B2 (en) 2017-12-26 2021-05-04 Waymo Llc Adjustable vertical field of view
JP7106859B2 (ja) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 画像表示装置
JP7077616B2 (ja) * 2017-12-28 2022-05-31 トヨタ自動車株式会社 表示制御装置および表示制御方法
US11363212B2 (en) 2018-03-29 2022-06-14 Sony Corporation Exposure control device, exposure control method, program, imaging device, and mobile body
TWI735904B (zh) * 2018-07-10 2021-08-11 大陸商廣州印芯半導體技術有限公司 具有可見光通信功能的影像感測器以及影像感測系統
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
JP6725733B2 (ja) 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
CN110798655A (zh) * 2018-08-02 2020-02-14 中华映管股份有限公司 消除移动载具a柱盲区的行车图像系统及其图像处理方法
KR20200048145A (ko) * 2018-10-29 2020-05-08 현대모비스 주식회사 헤드램프 제어 장치 및 방법
CN111131734B (zh) * 2018-10-31 2022-07-01 中移物联网有限公司 一种视频录制方法及装置、终端、存储介质
DE102019202583A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
CN111698457B (zh) * 2019-03-15 2022-04-26 徐丞 安全监控式无线通信终端
CN111027361B (zh) * 2019-04-26 2020-08-18 台州雪华制冷设备有限公司 对象参数实时解析装置
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
CN110351491B (zh) * 2019-07-25 2021-03-02 东软睿驰汽车技术（沈阳）有限公司 一种低照环境下的补光方法、装置及系统
CN114208154A (zh) 2019-09-24 2022-03-18 索尼半导体解决方案公司 成像装置
US11144769B2 (en) * 2019-09-30 2021-10-12 Pony Ai Inc. Variable resolution sensors
CN110775027B (zh) * 2019-10-29 2021-07-27 长安大学 基于后车驾驶模式的防追尾制动系统和方法
US11281915B2 (en) * 2019-12-06 2022-03-22 Black Sesame Technologies Inc. Partial frame perception
CN111193870B (zh) * 2020-01-09 2022-05-10 华为终端有限公司 通过移动设备控制车载摄像头的方法、设备和系统
WO2021161712A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 撮像装置及び車両制御システム
TWI738215B (zh) * 2020-02-14 2021-09-01 國立中央大學 地圖式適應性可變範圍交通狀況偵測方法與裝置及其電腦程式產品
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
KR102284128B1 (ko) * 2020-03-23 2021-07-30 삼성전기주식회사 차량용 카메라
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) * 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
WO2022024333A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 記録形態変更装置、ネットワークカメラ、記録形態の変更方法及びプログラム記録媒体
JP7347464B2 (ja) * 2021-03-16 2023-09-20 トヨタ自動車株式会社 画像処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259361A (ja) * 2002-03-05 2003-09-12 Nissan Motor Co Ltd 車両用画像処理装置
JP2009004947A (ja) * 2007-06-20 2009-01-08 Panasonic Corp 撮像デバイス及び画像処理表示装置

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6772057B2 (en) * 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
JPH1153689A (ja) 1997-08-05 1999-02-26 Toyota Motor Corp 車両間通信装置
JP3824784B2 (ja) * 1998-06-30 2006-09-20 富士通株式会社 走行支援装置、車線変更可否判断装置、その方法及び記録媒体
JP4404996B2 (ja) * 1999-07-26 2010-01-27 パナソニック株式会社 ライト点灯制御装置
JP3345595B2 (ja) 1999-10-20 2002-11-18 株式会社横河ブリッジ 廃棄物の最終処分設備の改修方法
JP2002099999A (ja) 2000-09-22 2002-04-05 Equos Research Co Ltd 車両用車線検出装置
JP2003011695A (ja) 2001-07-05 2003-01-15 Fuji Heavy Ind Ltd 先行車両の速度推定装置
JP3941926B2 (ja) 2002-03-12 2007-07-11 松下電器産業株式会社 車両周辺監視装置
JP4016796B2 (ja) 2002-10-22 2007-12-05 オムロン株式会社 車載用撮像装置及びそれを用いた車両運転支援装置
JP4211620B2 (ja) 2004-01-30 2009-01-21 株式会社デンソー カーナビゲーション装置
JP4703963B2 (ja) 2004-03-10 2011-06-15 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP4390631B2 (ja) 2004-06-02 2009-12-24 トヨタ自動車株式会社 境界線検出装置
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
JP4631026B2 (ja) 2005-03-22 2011-02-16 株式会社メガチップス 車載画像記録システム
JP4400512B2 (ja) 2005-06-01 2010-01-20 株式会社デンソー 車載カメラ制御装置
JP4556777B2 (ja) 2005-06-15 2010-10-06 株式会社デンソー 夜間運転視界支援装置
JP2007001402A (ja) 2005-06-23 2007-01-11 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4726586B2 (ja) * 2005-09-20 2011-07-20 鈴木 旭 自動車用ドライブレコーダ
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP2007172035A (ja) 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
JP4792976B2 (ja) 2006-01-10 2011-10-12 セイコーエプソン株式会社 撮像装置
JP4621600B2 (ja) * 2006-01-26 2011-01-26 本田技研工業株式会社 運転支援装置
JP4668803B2 (ja) * 2006-02-13 2011-04-13 アルパイン株式会社 運転支援画像表示制御装置
JP2007288527A (ja) 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
JP2008053901A (ja) 2006-08-23 2008-03-06 Konica Minolta Holdings Inc 撮像装置および撮像方法
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
JP2008070999A (ja) 2006-09-13 2008-03-27 Hitachi Ltd 車両の障害物検出装置及びそれを搭載した自動車
JP5070809B2 (ja) * 2006-11-10 2012-11-14 アイシン精機株式会社 運転支援装置、運転支援方法、及び、プログラム
JP4371137B2 (ja) 2006-11-10 2009-11-25 トヨタ自動車株式会社 自動運転制御装置
JP4929997B2 (ja) 2006-11-15 2012-05-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP5003946B2 (ja) * 2007-05-30 2012-08-22 アイシン精機株式会社 駐車支援装置
JP2009003595A (ja) 2007-06-20 2009-01-08 Pioneer Electronic Corp ナビゲーション装置、運転支援装置、信号機状態告知方法及びプログラム、並びに、運転支援方法及びプログラム
JP2009017474A (ja) 2007-07-09 2009-01-22 Fujitsu Ten Ltd 画像処理装置および画像処理方法
JP4996402B2 (ja) 2007-09-14 2012-08-08 株式会社東芝 撮像装置
JP4950858B2 (ja) * 2007-11-29 2012-06-13 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識プログラム
JP2009177250A (ja) 2008-01-21 2009-08-06 Fujitsu Ten Ltd 車載用画像認識装置、車両状況判定装置および車載用画像認識方法
JP4858452B2 (ja) 2008-01-22 2012-01-18 住友電気工業株式会社 車両運転支援システム、運転支援装置、車両及び車両運転支援方法
JP2010009491A (ja) * 2008-06-30 2010-01-14 Aisin Aw Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム
JP2010074362A (ja) 2008-09-17 2010-04-02 Stanley Electric Co Ltd 距離画像生成装置
JP5249696B2 (ja) 2008-09-24 2013-07-31 富士重工業株式会社 車両の運転支援装置
JP4701279B2 (ja) 2008-11-06 2011-06-15 本田技研工業株式会社 視覚支援装置
WO2011064825A1 (ja) * 2009-11-27 2011-06-03 トヨタ自動車株式会社 運転支援装置および運転支援方法
JP4990421B2 (ja) * 2010-03-16 2012-08-01 三菱電機株式会社 路車協調型安全運転支援装置
JP2012023497A (ja) 2010-07-13 2012-02-02 Olympus Corp 撮像装置、撮像制御方法、およびプログラム
JP5568458B2 (ja) 2010-12-24 2014-08-06 京セラ株式会社 ステレオカメラ装置
MX2013008808A (es) * 2011-04-13 2013-10-03 Nissan Motor Dispositivo de asistencia de conduccion y metodo de deteccion de vehiculo adyacente al mismo.
JP5298155B2 (ja) 2011-04-15 2013-09-25 トヨタ自動車株式会社 接近車両検出装置及び接近車両検出方法
JP2012226635A (ja) 2011-04-21 2012-11-15 Renesas Electronics Corp 車両の衝突予防安全装置
KR20120127830A (ko) 2011-05-16 2012-11-26 삼성전자주식회사 차량용 단말을 위한 사용자 인터페이스 방법 및 장치
JP5692403B2 (ja) * 2011-11-01 2015-04-01 アイシン精機株式会社 障害物警報装置
WO2013088613A1 (ja) * 2011-12-15 2013-06-20 パナソニック株式会社 運転支援装置
JP5680573B2 (ja) 2012-01-18 2015-03-04 富士重工業株式会社 車両の走行環境認識装置
JP5786753B2 (ja) 2012-02-15 2015-09-30 株式会社デンソー 車両用装置、及び車両用システム
JP2015099406A (ja) * 2012-03-05 2015-05-28 アイシン精機株式会社 運転支援装置
CN102785645B (zh) * 2012-04-20 2017-05-31 中兴通讯股份有限公司 一种判断交通灯的方法及终端
BR112014027066A2 (pt) 2012-05-02 2017-06-27 Nikon Corp dispositivo de formação de imagem
EP2848974B1 (en) 2012-05-07 2018-11-21 Nikon Corporation Focus detection device
JP2013235047A (ja) 2012-05-07 2013-11-21 Nikon Corp 焦点検出装置
JP6005475B2 (ja) 2012-10-30 2016-10-12 株式会社 ミックウェア 車載装置、危険予測方法、およびプログラム
JP6091866B2 (ja) * 2012-11-30 2017-03-08 株式会社キーエンス 計測顕微鏡装置、画像生成方法及び計測顕微鏡装置操作プログラム並びにコンピュータで読み取り可能な記録媒体
DE102013114996A1 (de) * 2013-01-07 2014-07-10 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Bildsuperauflösung für dynamischen Rückspiegel
US9912930B2 (en) 2013-03-11 2018-03-06 Sony Corporation Processing video signals based on user focus on a particular portion of a video display
CN103568948A (zh) * 2013-10-15 2014-02-12 奇瑞商用车（安徽）有限公司 一种车辆驾驶安全控制系统
US10279742B2 (en) 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
JP6451332B2 (ja) 2015-01-14 2019-01-16 株式会社ニコン 撮像装置および自動車
WO2016151918A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259361A (ja) * 2002-03-05 2003-09-12 Nissan Motor Co Ltd 車両用画像処理装置
JP2009004947A (ja) * 2007-06-20 2009-01-08 Panasonic Corp 撮像デバイス及び画像処理表示装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3389256A4 (en) * 2016-01-06 2018-12-26 Huawei Technologies Co., Ltd. Method and device for processing image
CN107211095A (zh) * 2016-01-06 2017-09-26 华为技术有限公司 处理图像的方法和设备
US11425298B2 (en) 2016-06-28 2022-08-23 Sony Corporation Imaging device, imaging method, and program
JPWO2018003502A1 (ja) * 2016-06-28 2019-04-18 ソニー株式会社 撮像装置、撮像方法、プログラム
JP2018007038A (ja) * 2016-07-01 2018-01-11 株式会社ニコン 電子機器、自動車、撮像装置および画像記録装置
JP2018007077A (ja) * 2016-07-04 2018-01-11 株式会社ニコン 撮像装置および自動車
EP3324335A1 (en) * 2016-11-17 2018-05-23 Panasonic Intellectual Property Corporation of America Image data extraction apparatus and image data extraction method
CN110073652B (zh) * 2016-12-12 2022-01-11 索尼半导体解决方案公司 成像装置以及控制成像装置的方法
WO2018110002A1 (ja) * 2016-12-12 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
CN110073652A (zh) * 2016-12-12 2019-07-30 索尼半导体解决方案公司 成像装置以及控制成像装置的方法
JP2019006164A (ja) * 2017-06-21 2019-01-17 アルパイン株式会社 表示システム
JP2019040393A (ja) * 2017-08-25 2019-03-14 三菱ロジスネクスト株式会社 無人走行可能な車両に備えられた搭乗希望者検知装置、および該装置を利用した配車システム
JP6403175B1 (ja) * 2017-08-25 2018-10-10 三菱ロジスネクスト株式会社 無人走行可能な車両に備えられた搭乗希望者検知装置、および該装置を利用した配車システム
JPWO2019077999A1 (ja) * 2017-10-16 2020-11-12 ソニー株式会社 撮像装置、画像処理装置、及び、画像処理方法
JP7314798B2 (ja) 2017-10-16 2023-07-26 ソニーグループ株式会社 撮像装置、画像処理装置、及び、画像処理方法
WO2019146510A1 (ja) * 2018-01-26 2019-08-01 日立オートモティブシステムズ株式会社 画像処理装置
JP2019129482A (ja) * 2018-01-26 2019-08-01 日立オートモティブシステムズ株式会社 画像処理装置
US11509813B2 (en) 2018-01-26 2022-11-22 Hitachi Astemo, Ltd. Image processing device
US11770625B2 (en) 2019-03-27 2023-09-26 Sony Group Corporation Data processing device and data processing method

Also Published As

Publication number Publication date
CN112839169A (zh) 2021-05-25
CN112839169B (zh) 2023-05-09
US20220097605A1 (en) 2022-03-31
US20230158952A1 (en) 2023-05-25
CN112866566A (zh) 2021-05-28
US20170267178A1 (en) 2017-09-21
US10279742B2 (en) 2019-05-07
CN112866563B (zh) 2023-04-18
US10807532B2 (en) 2020-10-20
CN112866566B (zh) 2023-05-09
US11220215B2 (en) 2022-01-11
US11572016B2 (en) 2023-02-07
CN106537892B (zh) 2021-01-05
CN106537892A (zh) 2017-03-22
CN112866563A (zh) 2021-05-28
US20190202354A1 (en) 2019-07-04
US20200361377A1 (en) 2020-11-19
US20210086693A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
WO2015182753A1 (ja) 撮像装置および車両
JP6620395B2 (ja) 撮像装置
JP2015226255A (ja) 撮像装置および自動車
JP7380666B2 (ja) 車両、及び運転支援装置
JP6451332B2 (ja) 撮像装置および自動車
JP6451575B2 (ja) 撮像装置
JP6358214B2 (ja) 撮像装置
JP6358213B2 (ja) 撮像装置
JP6451576B2 (ja) 撮像装置
JP2018186525A (ja) 撮像装置
JP2019009783A (ja) 撮像装置
JP6369433B2 (ja) 撮像装置
JP6699687B2 (ja) 撮像装置
JP2015228707A (ja) 撮像装置
JP2016130099A (ja) 撮像装置
JP6365480B2 (ja) 撮像装置
JP2019134459A (ja) 撮像装置
JP6369432B2 (ja) 撮像装置
JP2016027740A (ja) 撮像装置
JP2016027739A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15798870

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15314285

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15798870

Country of ref document: EP

Kind code of ref document: A1