WO2020054240A1 - 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム - Google Patents

情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム Download PDF

Info

Publication number
WO2020054240A1
WO2020054240A1 PCT/JP2019/030046 JP2019030046W WO2020054240A1 WO 2020054240 A1 WO2020054240 A1 WO 2020054240A1 JP 2019030046 W JP2019030046 W JP 2019030046W WO 2020054240 A1 WO2020054240 A1 WO 2020054240A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
vehicle
image
recognition
processing
Prior art date
Application number
PCT/JP2019/030046
Other languages
English (en)
French (fr)
Inventor
齋藤　仁
慶光 高木
俊樹 小野
雅章 座間
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to KR1020217005768A priority Critical patent/KR20210056336A/ko
Priority to BR112021004210-5A priority patent/BR112021004210A2/pt
Priority to US17/274,094 priority patent/US11815799B2/en
Priority to JP2020546744A priority patent/JPWO2020054240A1/ja
Priority to EP19858980.6A priority patent/EP3852355A4/en
Priority to MX2021002613A priority patent/MX2021002613A/es
Priority to CN201980058017.3A priority patent/CN112703724A/zh
Publication of WO2020054240A1 publication Critical patent/WO2020054240A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the technology disclosed in this specification relates to an information processing device and an information processing method for performing processing for controlling exposure of a vehicle-mounted camera, an imaging device, a mobile device, and a computer program.
  • ADAS Advanced Driver Assistance System
  • the brightness of a region farther than the recognition area is measured, the brightness is detected by comparing the brightness measured with a time difference, and the timing at which the brightness change occurs in the recognition region.
  • an exposure control device that performs exposure control of an in-vehicle camera at the predicted timing (see Patent Document 1).
  • an auto-bracket is selected from a plurality of obtained image data, and image data closest to the proper exposure is selected as a new reference exposure value.
  • an exposure control method for an on-vehicle surveillance camera having a ketting photographing function see Patent Document 3.
  • a purpose of the technology disclosed in this specification is to provide an information processing device and an information processing method for performing processing for controlling exposure of a vehicle-mounted camera, an imaging device, a mobile device, and a computer program.
  • a recognition unit that recognizes an image after processing the output signal of the image sensor by the processing unit;
  • a control unit that controls at least one of an imaging operation of the image sensor or a processing operation in the processing unit based on a recognition result of the recognition unit, It is an information processing apparatus comprising:
  • the image sensor is mounted on a vehicle and used, and the recognition unit recognizes at least a surrounding vehicle or a road surface. Then, the control unit controls detection or development of the surrounding vehicle or the road surface area in the image.
  • An information processing method having the following.
  • a third aspect of the technology disclosed in the present specification is as follows.
  • An image sensor A processing unit that processes an output signal of the image sensor;
  • a recognition unit that recognizes the image after the processing by the processing unit;
  • a control unit that controls at least one of an imaging operation of the image sensor or a processing operation in the processing unit based on a recognition result of the recognition unit, It is an imaging device provided with.
  • a fourth aspect of the technology disclosed in the present specification is as follows.
  • Moving objects An image sensor mounted on the moving body, A processing unit that processes an output signal of the image sensor; A recognition unit that recognizes the image after the processing by the processing unit; A control unit that controls at least one of an imaging operation of the image sensor or a processing operation in the processing unit based on a recognition result of the recognition unit, An operation control unit that controls an operation of the moving body based on a result of recognizing a captured image of the image sensor under control by the control unit;
  • a mobile device comprising:
  • a recognition unit that recognizes an image after the output signal of the image sensor has been processed by the processing unit
  • a control unit that controls at least one of an imaging operation of the image sensor or a processing operation in the processing unit based on a recognition result of the recognition unit; Is a computer program written in a computer-readable format so as to cause a computer to function as a computer.
  • the computer program according to the fifth aspect defines a computer program described in a computer-readable format so as to realize a predetermined process on a computer.
  • a cooperative action is exerted on the computer, and the same effect as the information processing apparatus according to the first aspect can be obtained. .
  • an information processing device and an information processing method an imaging device, a mobile device, and a computer program for performing processing for controlling exposure of a vehicle-mounted camera.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of functions of the vehicle control system 100.
  • FIG. 2 is a diagram schematically illustrating a functional configuration example of the imaging device 200 according to the first embodiment.
  • FIG. 3 is a diagram schematically illustrating a general exposure control loop in the imaging apparatus.
  • FIG. 4 is a diagram schematically illustrating an exposure control loop to which the technology disclosed in this specification is applied.
  • FIG. 5 is a flowchart illustrating a basic operation procedure of the imaging apparatus 200.
  • FIG. 6 is a diagram schematically illustrating a functional configuration example of an imaging device 600 according to the second embodiment.
  • FIG. 7 is a flowchart illustrating a basic operation procedure of the imaging apparatus 600.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of functions of the vehicle control system 100.
  • FIG. 2 is a diagram schematically illustrating a functional configuration example of the imaging device 200 according to the first embodiment.
  • FIG. 3 is a diagram schematically illustrating a general exposure
  • FIG. 8 is a diagram exemplifying a landscape imaged by the imaging device 600.
  • FIG. 9 is a diagram showing a state in which the landscape shown in FIG. 8 is overlooked.
  • FIG. 10 is a diagram showing a state where a detection frame is arranged in the captured image shown in FIG.
  • FIG. 11 is a diagram for explaining a method of calculating a vanishing point and a vanishing inspection wave frame.
  • FIG. 12 is a diagram for explaining a method of calculating the degree of contrast of an image based on a detection value.
  • FIG. 13 is a diagram for explaining a method of calculating the degree of contrast of an image based on a detection value (when a multi-frame function is assumed).
  • FIG. 9 is a diagram showing a state in which the landscape shown in FIG. 8 is overlooked.
  • FIG. 10 is a diagram showing a state where a detection frame is arranged in the captured image shown in FIG.
  • FIG. 11 is a diagram for explaining a method of
  • FIG. 14 is a diagram illustrating a state where a detection frame is arranged over the entire image.
  • FIG. 15 is a diagram illustrating a histogram obtained by arranging a detection frame over the entire image illustrated in FIG. 14.
  • FIG. 16 is a diagram showing a state where the disappearance inspection wave frame at the entrance of the tunnel is arranged.
  • FIG. 17 is a diagram showing a state where a vanishing inspection wave frame at the tunnel exit is arranged.
  • FIG. 18 is a diagram showing the relationship between the disappearance inspection wave value and the convergence speed of the automatic exposure control.
  • FIG. 19 is a diagram illustrating a scene captured by the imaging device 600.
  • FIG. 20 is a diagram illustrating a distance and a relative speed of each vehicle in the captured image illustrated in FIG. 19.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of functions of a vehicle control system 100 which is an example of a moving object control system to which the present technology can be applied.
  • a vehicle provided with the vehicle control system 100 is distinguished from other vehicles, the vehicle is referred to as a host vehicle or a host vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body.
  • a system system 110, a storage unit 111, and an automatic operation control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 Interconnected.
  • the communication network 121 may be, for example, an in-vehicle communication network or a bus that conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • the description of the communication network 121 will be omitted.
  • the input unit 101 and the automatic operation control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply communicate.
  • the input unit 101 includes a device used by a passenger to input various data and instructions.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than a manual operation by voice, gesture, or the like.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device compatible with the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, instructions, and the like input by a passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, an engine speed, A sensor or the like for detecting a motor rotation speed, a wheel rotation speed, or the like is provided.
  • IMU inertial measurement device
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a Time-of-Flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the surrounding information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, a Laser Imaging and a Detection and Ranging), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle. More specifically, for example, the data acquisition unit 102 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation / Satellite / System) satellite.
  • GNSS Global Navigation / Satellite / System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that captures an image of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sounds in the vehicle compartment, and the like.
  • the biological sensor is provided on, for example, a seat surface or a steering wheel, and detects biological information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104, various devices outside the vehicle, a server, a base station, and the like, and transmits data supplied from each unit of the vehicle control system 100, and transmits received data to the vehicle control system. 100 parts.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 using a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
  • the communication unit 103 may be connected via a connection terminal (not shown) (and a cable if necessary), may be a USB (Universal Serial Bus), an HDMI (High-Definition Multimedia Interface), or an MHL (Mobile High-definition). Link) or the like to perform wired communication with the in-vehicle device 104.
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Perform communication. Also, for example, the communication unit 103 communicates with a terminal (for example, a pedestrian or store terminal, or a MTC (Machine Type Communication) terminal) using a P2P (Peer To To Peer) technology, in the vicinity of the own vehicle. Perform communication.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or a network unique to an operator
  • the communication unit 103 communicates with a terminal (for example, a pedestrian or store terminal, or a MTC (Machine Type Communication) terminal) using a P2P (Peer To To Peer) technology, in the vicinity of the own vehicle. Perform communication.
  • P2P Peer To To Peer
  • the communication unit 103 may communicate between vehicles (Vehicle to Vehicle), road to vehicle (Vehicle to Infrastructure), communication between own vehicle and home (Vehicle to Home), and between vehicles (Vehicle to Vehicle). ) Perform V2X communication such as communication.
  • the communication unit 103 includes a beacon receiving unit, receives a radio wave or an electromagnetic wave transmitted from a wireless station or the like installed on a road, and obtains information such as a current position, traffic congestion, traffic regulation, or required time. I do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device possessed by the passenger, an information device carried or attached to the own vehicle, a navigation device for searching for a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various types of information to the occupant of the vehicle or to the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image or a panoramic image, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates sound data including a warning sound or a warning message for danger such as collision, contact, entry into a dangerous zone, and the like, and outputs an output signal including the generated sound data to the output unit 106. Supply.
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the occupant of the vehicle or to the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as an eyeglass-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 can display visual information in a driver's visual field such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function in addition to a device having a normal display.
  • the display device may be used.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the driving system 108 includes a driving force generating device for generating driving force such as an internal combustion engine or a driving motor, a driving force transmitting mechanism for transmitting driving force to wheels, a steering mechanism for adjusting a steering angle,
  • the vehicle includes a braking device that generates a braking force, an ABS (Antilock Break System), an ESC (Electronic Stability Control), an electric power steering device, and the like.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body-system control unit 109 supplies a control signal to each unit other than the body-system system 110 as needed, and notifies a control state of the body-system system 110 and the like.
  • the body system 110 includes various body-system devices mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, a head lamp, a back lamp, a brake lamp, a blinker, a fog lamp, and the like). Etc. are provided.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs and data used by each unit of the vehicle control system 100.
  • the storage unit 111 stores map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that is less accurate than the high-accuracy map and covers a wide area, and a local map that includes information around the own vehicle. Is stored.
  • the automatic driving control unit 112 performs control relating to automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 may perform collision avoidance or impact mitigation of the own vehicle, follow-up running based on the following distance, vehicle speed maintaining running, own vehicle collision warning, or own vehicle lane departure warning and the like. It performs cooperative control for the purpose of realizing the function of ADAS (Advanced ⁇ Driver ⁇ Assistance ⁇ System). In addition, for example, the automatic driving control unit 112 performs cooperative control for the purpose of autonomous driving in which the vehicle runs autonomously without depending on the operation of the driver.
  • the automatic driving control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various kinds of information necessary for controlling the automatic driving.
  • the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
  • the outside-of-vehicle information detection unit 141 performs detection processing of information outside the vehicle based on data or signals from each unit of the vehicle control system 100. For example, the outside-of-vehicle information detection unit 141 performs detection processing, recognition processing, tracking processing, and detection processing of the distance to the object around the own vehicle. Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like. Further, for example, the outside-of-vehicle information detection unit 141 performs a process of detecting an environment around the own vehicle. The surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the out-of-vehicle information detection unit 141 uses the data indicating the result of the detection processing as the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. To the emergency avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs a process of detecting information in the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and a recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, gaze direction, and the like.
  • the environment in the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 performs detection processing of the state of the own vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the subject vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position and inclination, door lock state, and other in-vehicle devices. State and the like are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection processing to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimating unit 132 estimates the position and orientation of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the outside-of-vehicle information detecting unit 141 and the situation recognizing unit 153 of the situation analyzing unit 133. Perform processing. In addition, the self-position estimating unit 132 generates a local map used for estimating the self-position (hereinafter, referred to as a self-position estimation map) as necessary.
  • the self-position estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimating unit 132 supplies data indicating the result of the estimation processing to the map analyzing unit 151, the traffic rule recognizing unit 152, the status recognizing unit 153, and the like of the status analyzing unit 133. Further, the self-position estimating unit 132 causes the storage unit 111 to store the self-position estimating map.
  • the situation analysis unit 133 performs analysis processing of the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses various data or signals from the various units of the vehicle control system 100 such as the self-position estimation unit 132 and the outside-of-vehicle information detection unit 141 as necessary, and executes various types of maps stored in the storage unit 111. Performs analysis processing and builds a map containing information necessary for automatic driving processing.
  • the map analysis unit 151 converts the constructed map into a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a route planning unit 161, an action planning unit 162, and an operation planning unit 163 of the planning unit 134. To supply.
  • the traffic rule recognition unit 152 determines the traffic rules around the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the self-position estimating unit 132, the outside-of-vehicle information detecting unit 141, and the map analyzing unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of the signal around the own vehicle, the contents of traffic regulation around the own vehicle, the lanes that can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition processing to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 converts data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the outside-of-vehicle information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on this, a process for recognizing the situation regarding the own vehicle is performed. For example, the situation recognition unit 153 performs recognition processing on the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. Further, the situation recognizing unit 153 generates a local map (hereinafter, referred to as a situation recognizing map) used for recognizing a situation around the own vehicle as needed.
  • the situation recognition map is, for example, an occupancy grid map (Occupancy ⁇ Grid ⁇ Map).
  • the situation of the own vehicle to be recognized includes, for example, the position, posture, and movement (for example, speed, acceleration, moving direction, etc.) of the own vehicle, and the presence / absence and content of an abnormality.
  • the situation around the subject vehicle to be recognized includes, for example, the type and position of the surrounding stationary object, the type, position and movement (eg, speed, acceleration, moving direction, and the like) of the surrounding moving object, and the surrounding road.
  • the configuration and the state of the road surface, and the surrounding weather, temperature, humidity, brightness, and the like are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, movement of the line of sight, driving operation, and the like.
  • the situation recognizing unit 153 supplies data indicating the result of the recognition process (including a situation recognizing map as necessary) to the self-position estimating unit 132, the situation estimating unit 154, and the like.
  • the situation recognition unit 153 causes the storage unit 111 to store the situation recognition map.
  • the situation prediction unit 154 performs a situation prediction process for the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing on the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, occurrence of an abnormality, and a mileage that can be traveled.
  • the situation around the own vehicle to be predicted includes, for example, behavior of a moving object around the own vehicle, a change in a signal state, a change in an environment such as weather, and the like.
  • the situation of the driver to be predicted includes, for example, the behavior and physical condition of the driver.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, shows data indicating the result of the prediction process, along with the route planning unit 161, the behavior planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to a specified destination based on the global map. In addition, for example, the route planning unit 161 appropriately changes the route based on conditions such as traffic congestion, accidents, traffic regulations, construction, and the like, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely performs the route planned by the route planning unit 161 within the planned time based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's behavior to drive. For example, the action planning unit 162 performs planning such as start, stop, traveling direction (for example, forward, backward, left turn, right turn, direction change, etc.), traveling lane, traveling speed, and passing.
  • the behavior planning unit 162 supplies data indicating the planned behavior of the own vehicle to the behavior planning unit 163 and the like.
  • the operation planning unit 163 performs the operation of the own vehicle for realizing the action planned by the action planning unit 162 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. To plan. For example, the operation planning unit 163 plans acceleration, deceleration, a traveling trajectory, and the like. The operation planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135.
  • the operation control unit 135 controls the operation of the own vehicle.
  • the operation control unit 135 includes an emergency avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency avoidance unit 171 performs a collision, a contact, an approach to a danger zone, a driver abnormality, a vehicle abnormality, based on the detection results of the outside information detection unit 141, the inside information detection unit 142, and the vehicle state detection unit 143. An emergency situation such as an abnormality is detected. When detecting the occurrence of an emergency, the emergency avoidance unit 171 plans the operation of the own vehicle to avoid an emergency such as a sudden stop or a sudden turn. The emergency avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • Acceleration / deceleration control section 172 performs acceleration / deceleration control for realizing the operation of the vehicle planned by operation planning section 163 or emergency avoidance section 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generation device or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171. For example, the direction control unit 173 calculates a control target value of the steering mechanism for realizing the traveling trajectory or the sharp turn planned by the operation planning unit 163 or the emergency avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • the on-vehicle camera is intended to realize automatic driving of the own vehicle such as collision avoidance and lane control and ADAS. Therefore, an image captured by an in-vehicle camera does not faithfully reproduce the captured scenery so that people will not feel uncomfortable, but rather specific objects such as vehicles and pedestrians and other obstacles and road surfaces.
  • the present applicant considers that an image that can be recognized with high accuracy is preferable.
  • Patent Literature 2 discloses that a target is detected from an image captured by a vehicle-mounted camera in a state where the target is arranged in an imaging range, the luminance of the target in the detected captured image is measured, and the measured luminance is suitable for target recognition.
  • a method of determining an exposure control value of an in-vehicle camera for calculating an exposure control value for obtaining a target value is disclosed.
  • exposure control cannot be performed in accordance with an object that is out of a predetermined range.
  • FIG. 2 schematically illustrates a functional configuration example of an imaging device 200 according to the first embodiment of the technology disclosed in this specification. It is assumed that the imaging device 200 is mainly used by being mounted on a vehicle.
  • the imaging device 200 corresponds to one of the imaging devices included in the data acquisition unit 102 in the vehicle control system 100.
  • the illustrated imaging apparatus 200 includes a lens 201, an image sensor 202, a signal processing unit 203, a recognition unit 204, and a control unit 205.
  • the image sensor 202 is configured using an element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), for example, and captures an image formed on an imaging surface by the lens 201.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the signal processing unit 203 performs a process called “development” on the RAW data output from the image sensor 202. For example, demosaicing, noise reduction, white balance adjustment, gamma correction, sensor spectral correction, YC conversion, and the like correspond to the development processing.
  • the recognition unit 204 recognizes an object included in the captured image after processing by the signal processing unit 203.
  • the recognition unit 204 recognizes an object such as a nearby vehicle or a road surface, which must be recognized or detected in order to realize automatic driving and ADAS.
  • the recognition unit 204 can further incorporate other objects such as a motorcycle or a bicycle, a pedestrian, a road sign, a traffic light, a lane, a median strip, a guardrail, a street tree, or a streetlight.
  • An object to be recognized may be added, deleted, or changed according to a manual operation of a driver of the vehicle such as a driver. Further, when the imaging device 200 is used for other than an in-vehicle camera, an object to be recognized may be added, deleted, or changed according to the application.
  • the control unit 205 controls the imaging operation of the image sensor 202 and the signal processing of the signal processing unit 203 based on the state of the region of each object recognized by the recognition unit 204 in the image captured by the image sensor 202.
  • the control unit 205 controls the image sensor 202 and the signal processing unit 203 so that an object such as a vehicle or a road surface, which needs to be recognized or detected for realizing automatic driving or ADAS, can be recognized with high accuracy. Do. Therefore, an image photographed by the image sensor 202 under the control of the control unit 205 and developed by the signal processing unit 203 is used in a recognition process performed in the vehicle control system 100 at a subsequent stage in a specific object such as a vehicle or a road surface. Is an image whose image quality has been adjusted so that the image can be easily recognized. For this reason, the image output from the imaging device 200 to the vehicle control system 100 is not limited to an image that faithfully reproduces the original scenery, and may cause a feeling of strangeness when a person views or views the image.
  • the vehicle control system 100 at the subsequent stage recognizes an image captured by the image sensor 202 under the control of the control unit 205 and developed by the signal processing unit 203, thereby achieving high accuracy or a high recognition rate with respect to a surrounding vehicle or a road surface. Can be recognized.
  • the vehicle control system 100 then performs, for example, control between vehicles (ACC), lane departure warning (LDW), lane keep assist (LKA), automatic emergency braking (AEB), and blind spot detection based on such image recognition results. (BSD) to control the vehicle for automatic driving or ADAS, and further controls the driving of each drive unit such as an active cornering light (ACL), a brake actuator (BRK), and a steering device (STR). This can contribute to safe driving of the vehicle.
  • ACL active cornering light
  • BK brake actuator
  • STR steering device
  • FIG. 3 schematically shows a general exposure control loop in the imaging apparatus 200.
  • the image sensor 202 includes a shutter 301, an element unit 302, and an analog gain processing unit 303.
  • the light condensed by the lens 201 passes through the shutter 301 and reaches the imaging surface of the element unit 302.
  • the element unit 302 is formed of a two-dimensional pixel array, and each pixel outputs a pixel signal corresponding to the amount of received light.
  • Each pixel signal is subjected to an amplification process in an analog domain by an analog gain processing unit 303, then converted into a digital signal, and output to the signal processing unit 203.
  • the signal processing unit 203 includes a development processing unit 304, a detection unit 305, and a comparison unit 306.
  • the development processing unit 304 performs development processing including digital gain processing and gamma processing on the digital pixel signal output from the image sensor 202.
  • the detection unit 305 also detects the brightness (brightness) of the screen by performing OPD (Optical @ Detection) detection on the entire screen captured by the image sensor 202.
  • OPD Optical @ Detection
  • the control unit 205 controls the opening / closing timing (that is, exposure time) of the shutter 301 and adjusts the analog gain of the analog gain processing unit 303 based on the difference between the screen brightness and the reference value output from the comparison unit 306. Or, the digital gain and other development parameters in the development processing unit 304 are adjusted to control the captured image of the image sensor 202 to have an appropriate brightness.
  • the brightness of the entire screen can be adjusted.
  • a necessary subject such as a surrounding vehicle or a road surface is not necessarily of appropriate brightness (or suitable for image recognition).
  • Brightness For example, if you are driving under the sunshine and driving under a street tree, the contrast between the shaded area and the shaded area will be too strong, and you will not be able to perform high-precision image recognition of vehicles and roads in shaded areas. There is a concern that such a captured image will be obtained.
  • FIG. 4 schematically illustrates an exposure control loop to which the technology disclosed in this specification is applied in the imaging device 200.
  • the control loop illustrated in FIG. 4 is configured to perform optimal image creation for each object recognized by the recognition unit 204 from a captured image.
  • the recognition unit 204 detects a vehicle (nearest preceding vehicle) and a road surface, respectively, as objects that need to be recognized or detected in order to realize automatic driving and ADAS.
  • the image sensor 202 includes a shutter 401, an element unit 402, and an analog gain processing unit 403.
  • the light collected by the lens 201 passes through the shutter 401 and reaches the imaging surface of the element unit 402.
  • the element unit 402 includes a two-dimensional pixel array, and each pixel outputs a pixel signal corresponding to the amount of received light.
  • Each pixel signal is subjected to an amplification process in an analog domain by an analog gain processing unit 403, then converted into a digital signal, and output to the signal processing unit 203.
  • the image sensor 202 performs a single exposure (that is, has a single exposure timing within one frame period).
  • the signal processing unit 203 includes a development processing unit 404, a detection unit 405, and a comparison unit 406.
  • the detection unit 405 includes a vehicle detection unit 405-1 that detects the brightness of the vehicle portion in the captured image so that the recognition unit 204 can perform OPD detection for each object recognized from the captured image, A road surface detection unit 405-2 for detecting the brightness of the road surface portion in the captured image is provided.
  • the detection unit 405 also includes an entire screen detection unit 405-3 that performs OPD detection on the entire screen captured by the image sensor 202.
  • the recognition unit 204 may further include a detection unit that detects the brightness of the added object.
  • the development processing unit also includes a whole screen development processing unit 404-3 that performs development processing suitable for the entire screen.
  • the recognition unit 204 may further include a development processing unit for the added object.
  • the entire screen detection unit 405-3 detects the brightness of the screen by performing OPD detection on the entire screen captured by the image sensor 202.
  • the comparison unit 306 compares the brightness of the entire screen detected by the detection unit 305 with a predetermined reference value (Ref).
  • the control unit 205 controls the opening / closing timing (that is, exposure time) of the shutter 401 and adjusts the analog gain of the analog gain processing unit 403 based on the difference between the screen brightness and the reference value output from the comparison unit 406.
  • the digital gain and other development parameters in the entire screen development processing unit 404-3 are adjusted to control the captured image of the image sensor 202 to have the optimal brightness.
  • the recognition unit 204 recognizes an object included in the captured image 420 that has been processed by the signal processing unit 403.
  • the imaging device 200 is used as an in-vehicle camera (or the data acquisition unit 102 in the vehicle control system 100)
  • the recognition unit 204 performs recognition or detection for realizing automatic driving or ADAS.
  • the vehicle 421 and the road surface 422 are recognized as essential objects.
  • other objects such as motorcycles and bicycles, pedestrians, road signs, traffic lights, guardrails, street trees and street lights can be further included in the recognition target.
  • the vehicle detection unit 405-1 sets a detection frame of the vehicle 421 in the captured image 420 based on the recognition result of the vehicle 421 by the recognition unit 204, detects the brightness in the detection frame, and detects the entire screen.
  • the difference between the brightness of the entire screen detected by the detection unit 405-3 and the brightness in the detection frame of the vehicle 421 is calculated.
  • the vehicle development processing unit 404-1 the brightness in the frame of the vehicle 421 is adjusted by adjusting the digital gain and the gamma value based on the difference.
  • the vehicle development processing unit 404-1 performs development processing that is optimal for object recognition of the vehicle 421 from the captured image (if the detection frame of the vehicle 421 is too dark over the entire screen, the vehicle 421 will be more
  • the developing process is performed so that the vehicle becomes brighter, and the developing process is performed so that the vehicle 421 becomes darker if the detection frame of the vehicle 421 is too bright over the entire screen.
  • the captured image developed by the vehicle development processing unit 404-1 does not always faithfully reproduce the original scenery, and may cause a feeling of strangeness when a person views or views the vehicle. 421 is an image that can be recognized with high accuracy.
  • the road surface detection unit 405-2 sets a detection frame of the road surface 422 in the captured image 420 based on the recognition result of the road surface 422 by the recognition unit 204, and detects the brightness in the detection frame, The difference between the brightness of the entire screen detected by the entire screen detection unit 405-3 and the brightness in the detection frame of the road surface 422 is calculated. Then, in the road surface development processing section 404-2, the digital gain and the gamma value are adjusted based on the difference to adjust the brightness in the frame of the road surface 422 (the detection frame of the road surface 422 is detected for the entire screen).
  • the road surface development processing unit 404-2 performs a development process that is optimal for recognizing the road surface 422 from the captured image.
  • the captured image developed by the road surface development processing unit 404-2 does not always faithfully reproduce the original scenery, and may cause a person to feel uncomfortable when viewing or watching.
  • 422 is an image that can be recognized with high accuracy.
  • the imaging apparatus 200 illustrated in FIG. 4 includes the recognition unit 204 and includes a plurality of development processing units and a detection unit for each object recognized by the recognition unit 204, thereby stably performing normal automatic exposure control. At the same time, it is possible to perform development optimal for image recognition of each object.
  • the recognition unit 204 recognizes two types of objects, that is, a vehicle and a road surface, and includes a plurality of vehicle and road surface detection units and a development processing unit. is there.
  • the recognition unit 204 can further incorporate other objects such as a motorcycle or a bicycle, a pedestrian, a road sign, a traffic light, a lane, a median strip, a guardrail, a street tree or a streetlight into the recognition target.
  • the image sensor 202 performs a single exposure. However, it is needless to say that a plurality of simultaneous exposures (that is, a plurality of exposure timings within one frame period and a plurality of images within one frame period) are performed. Imaging) may be possible.
  • the image capturing apparatus 200 uses multiple simultaneous exposures to divide the image into different applications such as automatic exposure control for each luminance group such as low-luminance-side automatic exposure and high-luminance-side automatic exposure, and LED (Light Emitting Diode) flicker control. May be output.
  • FIG. 5 is a flowchart showing a basic operation procedure for automatic exposure control in the image pickup apparatus 200 shown in FIG. However, here, a plurality of image sensors 202 can be exposed at the same time, and three exposures are performed for the vehicle, the road surface, and the entire screen.
  • the entire screen detection unit 405-3 detects the brightness of the entire screen of the captured image by the image sensor 202 (step S501).
  • the comparison unit 406 calculates the error amount by comparing the brightness of the entire screen detected by the entire screen detection unit 405-3 with a predetermined reference value (Ref) (step S502).
  • control unit 205 performs device control such as opening / closing timing of the shutter 401 (that is, exposure time) and analog gain adjustment of the analog gain processing unit 403 (step S503).
  • each device control (steps S503-1, S503-2, and S503-3) may be performed for low luminance, high luminance, and the entire screen.
  • Each device control may have the same contents.
  • steps S501 to S503 are processes corresponding to normal automatic exposure control.
  • the recognition unit 204 performs an image recognition process on each captured image processed based on the device control in steps S503-1 and S503-2 (step S504).
  • the processing ends.
  • the recognition unit 204 can recognize the target object (vehicle, road surface) from the captured image (Yes in step S504)
  • the signal processing unit 203 sends the target object (vehicle, Image recognition information on the road surface is acquired (step S505).
  • the vehicle detection unit 405-1 sets a detection frame of the vehicle based on the image recognition information acquired from the recognition unit 204, and detects the brightness of the detection frame of the vehicle (step S506).
  • the recognition unit 204 can recognize N (where N is an integer of 2 or more) vehicles from the captured image
  • the vehicle detection unit 405-1 sets a detection frame for N vehicles.
  • the brightness of all vehicles may be detected individually, the average brightness of all detection frames may be detected, or the brightness of up to a specified number of vehicles with higher priority may be detected. You may.
  • the priority of the vehicle may be assigned based on the possibility of collision with the vehicle such as the distance from the vehicle.
  • the vehicle detector 405-1 compares the brightness of the detection frame of the vehicle with the brightness of the entire screen detected by the entire screen detector 405-3 to calculate an error amount (step S 507). Then, the vehicle development processing unit 404-1 performs development processing on the image captured for the vehicle by the multiple simultaneous exposure based on the error amount calculated in step S507 (step S508).
  • the road detector 405-2 sets a road detection frame based on the image recognition information acquired from the recognition unit 204, and detects the brightness of the vehicle detection frame (step S509).
  • the road surface detection unit 405-2 compares the brightness of the detection frame of the vehicle with the brightness of the entire screen detected by the entire screen detection unit 405-3, and calculates an error amount (step S510).
  • the road surface development processing unit 404-2 develops the image captured for the road surface by a plurality of simultaneous exposures based on the error amount calculated in step S510 (step S511).
  • the development processing unit 404-3 performs development processing for LED flicker countermeasures (step S512).
  • the imaging device 200 is equipped with a multiple simultaneous exposure function, a multiple detection function, and a multiple development function.
  • the imaging device 200 can maintain stable exposure to a sudden change in the subject while suppressing LED flicker.
  • the imaging apparatus 200 has a feature that it is possible to perform an optimal development process on a plurality of subjects without depending on each other's exposure and to immediately reflect an error amount during development.
  • the imaging device 200 is characterized in that the subject detection function can be maintained.
  • the problem scenes in which image recognition cannot be performed include, as described above, a backlight state in which the sun is strong, a tunnel entrance, and a state in which the headlights of an oncoming vehicle are bathed.
  • a problem scene can be determined based on the calculation result of the vanishing point and the degree of contrast in the captured image.
  • the adaptive control of the automatic exposure in the problem scene there is a variable control of a convergence speed of the automatic exposure and a variable control of an automatic exposure detection area. The details of the problem scene determination method and the automatic exposure adaptive control will be described later.
  • FIG. 6 schematically illustrates a functional configuration example of an imaging device 600 according to the second embodiment. It is assumed that the imaging device 600 is mainly used by being mounted on a vehicle.
  • the illustrated imaging device 600 includes a lens 601, an image sensor 602, a signal processing unit 603, a recognition unit 604, a determination unit 605, and a control unit 605.
  • the image sensor 602 is configured using, for example, an element such as a CMOS or a CCD, and captures an image formed on the imaging surface by the lens 601.
  • the signal processing unit 603 performs a development process on the RAW data output from the image sensor 602. For example, demosaicing, noise reduction, white balance adjustment, gamma correction, sensor spectral correction, YC conversion, and the like correspond to the development processing.
  • the recognition unit 604 recognizes an object included in the captured image processed by the signal processing unit 603.
  • the recognizing unit 604 basically recognizes an image of a surrounding vehicle and a diagonal line (lane) as objects to be used for determination of a problem scene by the determination unit 605 at the subsequent stage.
  • the recognizing unit 604 can further incorporate another object such as a motorcycle or a bicycle, a pedestrian, a road sign, a traffic light, a guardrail, a street tree or a streetlight as a recognition target.
  • the determination unit 605 determines a problem scene where image recognition of the surrounding vehicle cannot be performed based on the image recognition result of the recognition unit 604. Specifically, the determination unit 605 determines a backlight state with strong sunlight, a tunnel entrance, or a state where the oncoming vehicle is headlighted. The determination unit 605 calculates a vanishing point based on the image recognition result by the recognition unit 604, calculates the degree of contrast of the captured image, and performs scene determination based on the calculation results.
  • the vanishing point is a point where when a plurality of parallel lines in a three-dimensional space are projected on an image by perspective transformation, straight lines on the image corresponding to the parallel lines converge, and are theoretically at infinity. Is a point.
  • the determining unit 605 calculates the degree of contrast of the image based on the OPD detection.
  • the determination unit 605 compares a detection value of a road surface area in a captured image with a detection value of another area, and a determination method based on a shape of a histogram (luminance distribution of an image). It is assumed that the degree of contrast is calculated according to the street.
  • the control unit 606 controls the imaging operation of the image sensor 602 and the development processing of the signal processing unit 603 to adapt the automatic exposure in the problem scene where the determination unit 605 determines that the image of the surrounding vehicle cannot be recognized. Control. Specifically, the control unit 606 performs variable control of the convergence speed of automatic exposure and variable control of the automatic exposure detection area as adaptive control of automatic exposure in a problem scene.
  • the subsequent vehicle control system 100 recognizes the surrounding vehicles with high accuracy or a high recognition rate by recognizing an image captured by the image sensor 602 and developed by the signal processing unit 603 under the control of the control unit 606. can do.
  • the vehicle control system 100 then performs, for example, control between vehicles (ACC), lane departure warning (LDW), lane keep assist (LKA), automatic emergency braking (AEB), and blind spot detection based on such image recognition results. (BSD) to control the vehicle for automatic driving or ADAS, and further controls the driving of each drive unit such as an active cornering light (ACL), a brake actuator (BRK), and a steering device (STR). This can contribute to safe driving of the vehicle.
  • ACL active cornering light
  • BRK brake actuator
  • STR steering device
  • the imaging device 600 according to the second embodiment is different from the first embodiment (that is, the imaging device 200 shown in FIG. 4), and the image sensor 606 may be a single exposure and the signal processing unit 603.
  • the detection unit 604 may be a single system, and a system for each object is not required. That is, the imaging device 600 may have a device configuration as shown in FIG.
  • FIG. 7 shows, in the form of a flowchart, a basic operation procedure for performing automatic exposure control in the imaging apparatus 600 shown in FIG.
  • the determination unit 605 acquires the image recognition information from the recognition unit 604 (Step S701).
  • the recognition unit 604 can recognize an object such as a road surface, a lane or a vehicle on the road surface from the image captured by the image sensor 602. Then, based on the image recognition result by the recognition unit 604, a detection frame can be arranged on the ground (road surface), the sky, the vehicle, the vanishing point, and the like for the captured image.
  • the determination unit 605 calculates a vanishing point based on the image recognition information from the recognizing unit 604 (Step S702), and further acquires a detection value of the vanishing point area (Step S703).
  • the determining unit 605 calculates the degree of contrast of the image based on the OPD detection. Specifically, the determination unit 605 calculates the degree of contrast by comparing the detection value of the road surface area in the captured image with the detection value of the other area (step S704), and also obtains a histogram (luminance distribution of the image). The degree of contrast is calculated based on the shape (step S705).
  • the determination unit 605 the detection value of the vanishing point region acquired in step S703 it is checked whether and less than the upper threshold TH High above lower limit threshold TH low (step S706).
  • step S706 determines whether the detection value of the vanishing point area is equal to or more than the lower threshold TH low and less than the upper threshold TH High (Yes in step S706). If the detection value of the vanishing point area is equal to or more than the lower threshold TH low and less than the upper threshold TH High (Yes in step S706), the determination unit 605 determines whether the recognition unit 604 can recognize the vehicle stably. Is further checked (step S707).
  • “stable” recognition means that the likelihood of recognition is high, and that the recognition result is stable without abrupt change.
  • step S707 the control unit 606 acquires a detection value of the vehicle region in the captured image (step S708), and detects the vehicle region. Automatic exposure control of the image sensor 602 and development processing control in the signal processing unit 603 are performed using only the value (step S709).
  • step S710 determines whether it is (step S710).
  • the control unit 606 the detection result of the road area Based on this, automatic exposure control of the image sensor 602 and control of development processing in the signal processing unit 603 are performed (step S711).
  • the OPD detection may be performed by setting the weight of the road surface area larger than that of the other areas.
  • the automatic exposure control is performed with the photometry area set to only the road surface area.
  • the contrast degree of the captured image is less than a predetermined threshold value TH c (No in step S710), rather than a backlight state, since it is estimated that state only there are no vehicles ahead, the automatic exposure control This processing is ended without executing the processing.
  • the detection frame is set only in the vanishing point area (corresponding to the entrance / exit of the tunnel) to perform the OPD detection, and the control unit 606 performs the automatic exposure control of the image sensor 602 and the signal based on the detection result in the vanishing point area.
  • the control of the developing process in the processing unit 603 is performed (step S712).
  • the control unit 606 increases the convergence speed of the automatic exposure control in order to avoid a situation in which it takes too much time to reach an appropriate exposure condition and cannot follow the exposure condition (step S713).
  • FIG. 8 illustrates a state in which the front of the host vehicle is photographed by the in-vehicle imaging device 600 while the host vehicle is traveling on a three-lane road on one side.
  • preceding vehicles 801, 802, and 803 are traveling on a road surface 800 in front of the own vehicle in order of decreasing distance from the own vehicle.
  • FIG. 9 shows an overhead view of the front of the host vehicle.
  • the distances from the host vehicle to the preceding vehicles 801, 802, and 803 are d1, d2, and d3, respectively.
  • the relative speeds and directions of the preceding vehicles 801, 802, and 803 are v1, v2, and v3, respectively.
  • the distances and relative speeds of the preceding vehicles 801, 802, and 803 can be measured using, for example, a radar provided as a data acquisition unit 102 by the vehicle control system 100.
  • the recognition unit 604 recognizes an object such as a road surface (ground) 800, preceding vehicles 801 to 803, and lanes 804 and 805 by performing image recognition processing on the captured image shown in FIG. Then, based on the image recognition information from the recognizing unit 604, the determining unit 605 can arrange a detection frame on each of the road surface 800, the sky, the vanishing point, and the preceding vehicles 801 to 803, as shown in FIG. it can.
  • the recognition unit 604 can also recognize objects such as motorcycles, bicycles, pedestrians, road signs, and traffic lights as necessary.
  • the determination unit 605 can similarly arrange the detection frames for these recognized objects.
  • the control unit 606 determines the distances d1, d2, and d3 to the preceding vehicles 801, 802, and 803 and the relative speeds v1, v2, and v3 based on the entire frame including the road surface detection frame Wg and the empty detection frame Ws.
  • the weights 801, 802 and 803 are controlled. For example, the weight of a vehicle that is close to the host vehicle or a vehicle that is approaching the host vehicle at a high speed is increased.
  • the determining unit 605 calculates the vanishing point based on the image recognition information by the recognizing unit 604 in step S702 in the flowchart illustrated in FIG. 7, and calculates the disappearance inspection wave frame in the subsequent step S703.
  • FIG. 11 shows how the vanishing point is calculated. Lanes can be given as parallel lines in the target three-dimensional space. Therefore, the determination unit 605 determines the intersection of the lane 804 and the lane 805 as the center position of the disappearance inspection wave frame. Then, the vanishing inspection wave frame Wvp is calculated based on the positions and sizes of the vehicles 801 to 803.
  • Contrast degree calculation method 1 The determination unit 605 calculates the degree of contrast by comparing the detection value of the road surface area in the captured image with the detection value of the other area in step S704 in the flowchart shown in FIG. FIG. 12 shows how the degree of contrast is calculated.
  • the determination unit 605 determines the road surface detection frame Wg from the information on the preceding vehicles 801 to 803 and the lanes 804 and 805 that have been image-recognized by the recognition unit 604, and can assume the rest as the empty detection frame Ws. Then, the determination unit 605 calculates the absolute value ABS (Wg ⁇ Ws) of the difference between the detection value of the road detection frame Wg and the detection value of the empty detection frame Ws as the contrast degree. Thereafter, in step S710, if the absolute value ABS (Wg ⁇ Ws) of the difference calculated as the degree of contrast is larger than a predetermined threshold, the determination unit 605 can determine that the contrast of the captured image is strong.
  • FIG. 13 shows how the degree of contrast is calculated when the multi-frame function is assumed.
  • the determination unit 605 obtains the road detection frame Wg from the information on the preceding vehicles 801 to 803 and the lanes 804 and 805 that have been image-recognized by the recognition unit 604. In FIG. 13, the road detection music Wg is painted in light gray, and the other empty detection frames Ws are painted in dark gray. Then, the determination unit 605 calculates the absolute value ABS (Wg ⁇ Ws) of the difference between the detection value of the road detection frame Wg and the detection value of the empty detection frame Ws as the contrast degree. After that, in step S710, if the absolute value ABS (Wg ⁇ Ws) of the difference calculated as the degree of contrast is larger than a predetermined threshold, the determination unit 605 determines that the contrast of the captured image is strong.
  • Contrast degree calculation method 2 The determination unit 605 calculates the degree of contrast based on the shape of the histogram (luminance distribution of the image) in step S705 in the flowchart shown in FIG.
  • the determination unit 605 calculates the degree of separation of the histogram using a discriminant analysis method, which is one of the binarization methods, and can determine that the degree of contrast of the image is high if the degree of separation is high.
  • FIG. 14 a detection frame is arranged over the entire image to obtain a histogram.
  • FIG. 15 illustrates a histogram obtained by arranging a detection frame over the entire image shown in FIG.
  • the luminance level of the image has 256 gradations from 0 to 255, and the pixel number distribution for each luminance level is obtained.
  • the number of pixels of the entire image shown in FIG. 14 is ⁇ t
  • the average value of the luminance level is m t
  • the variance is ⁇ t .
  • the luminance level pixels are separated into two values of black class lower than the threshold TH l or more white class and the threshold TH l. Then, the number of pixels in the black class is ⁇ 1 , the average value of the luminance level is m 1 , and the variance is ⁇ 1.
  • the number of pixels in the white class is ⁇ 2
  • the average value of the luminance level is m 2
  • the variance is ⁇ 2 .
  • FIG. 16 illustrates a state in which the imaging device 600 photographs the front of the host vehicle when the host vehicle reaches the vicinity of the entrance of the tunnel. In this case, the entrance vanishing point region of the tunnel, and, a detection value of the vanishing point region is less than the lower threshold value TH low.
  • FIG. 17 shows a state in which the imaging device 600 photographs the front of the host vehicle when the host vehicle arrives near the exit of the tunnel. In this case, the exit of the tunnel becomes a vanishing point area, and the detection value of the vanishing point area exceeds the upper threshold TH High .
  • step S706 the determination unit 605 determines that the vehicle has reached the vicinity of the entrance of the tunnel. It is estimated that there is. Then, as shown in FIGS. 16 and 17, the determination unit 605 sets the detection frame only in the vanishing point area corresponding to the entrance or the exit of the tunnel (step S712). Further, in step S713, the control unit 606 increases the convergence speed of the automatic exposure control in order to avoid a situation in which it takes too long to reach an appropriate exposure condition and cannot follow.
  • FIG. 18 shows the relationship between the disappearance check wave value and the convergence speed of the automatic exposure control.
  • the determination unit 605 when the detection value of the vanishing point region is less than the lower threshold TH low, increase the convergence speed of the automatic exposure control.
  • the determination unit 605 increases the convergence speed of the automatic exposure control when the detection value of the vanishing point area exceeds the upper threshold TH High .
  • the determination unit 605 can realize continuous variable control of the convergence speed by monitoring the detection value of the vanishing point area in time series.
  • the determination unit 605 determines whether the vehicle ahead of the own vehicle based on the vehicle recognition information by the recognition unit 604 during a period in which the detection value of the vanishing point area is equal to or more than the lower threshold TH low and less than the upper threshold TH High. Monitor constantly. For example, the image recognition results of several past frames may be stored, and the convergence speed of the automatic exposure control may be increased even when the state in which the preceding vehicle cannot be recognized continues for a predetermined number of frames or more. .
  • the determining unit 605 places a detection frame for each of the sky, the vanishing point, and the preceding vehicle. At this time, the determination unit 605 controls weighting of each vehicle frame based on the distance and the relative speed of each preceding vehicle.
  • vehicle frames Wv1, Wv2, and Wv3 are arranged based on image recognition information by the recognition unit 604 from a captured image 1900 of the image sensor 602 as shown in FIG. Further, as shown in FIG. 20, it is assumed that the distances from the host vehicle to the preceding vehicles are d1, d2, and d3, respectively, and the relative speeds of the preceding vehicles are v1, v2, and v3, respectively.
  • the weight may be changed between the vehicle frame Wv of all the vehicles image-recognized by the recognition unit 604 and the other region.
  • the imaging device 600 can be configured as a single exposure, a single detection, and a single development, it can maintain a stable exposure even to a sudden subject change and can cope with a plurality of subject changes. There is a characteristic that the object detection function can be maintained.
  • various types of mobile devices such as unmanned aerial vehicles such as drones, robots that autonomously move in a predetermined working space (home, office, factory, etc.), ships, aircraft, and the like, are also described herein.
  • the disclosed technology can be applied.
  • the technology disclosed in this specification can be similarly applied to information terminals installed in mobile devices and various devices that are not mobile.
  • the technology disclosed in the present specification may have the following configurations.
  • a recognition unit that recognizes an image after an output signal of the image sensor has been processed by the processing unit;
  • a control unit that controls at least one of an imaging operation of the image sensor or a processing operation in the processing unit based on a recognition result of the recognition unit,
  • An information processing apparatus comprising: (1-1) further comprising the processing unit; The information processing device according to (1).
  • the control unit controls detection or development of an area of the object recognized by the recognition unit; The information processing device according to (1).
  • the image sensor is mounted on a vehicle and used.
  • the recognition unit image-recognizes at least a surrounding vehicle or a road surface
  • the control unit controls detection or development processing of the area of the surrounding vehicle or the road surface in the image
  • the information processing apparatus according to any one of (1) and (2).
  • the control unit determines a scene based on a recognition result by the recognition unit, and controls an imaging operation of the image sensor or a processing operation in the processing unit in accordance with the scene.
  • the information processing device according to (1).
  • the control unit calculates a vanishing point of the image based on a recognition result by the recognizing unit, and includes the vanishing point when the luminance of an area including the vanishing point deviates from a predetermined threshold range.
  • the control unit calculates the vanishing point based on an intersection of two or more lanes recognized by the recognition unit; The information processing device according to (5).
  • the control unit controls the imaging operation of the image sensor or the processing operation of the processing unit only in an area including the predetermined object. , The information processing apparatus according to any one of (1), (4) to (6).
  • the image sensor is used by being mounted on a vehicle, and the recognition unit performs image recognition of at least a surrounding vehicle, When the recognition unit is able to stably recognize the vehicle, the control unit detects the recognized vehicle region and controls the imaging operation of the image sensor or the processing operation in the processing unit only in the vehicle region. Do The information processing device according to any one of the above (1), (4) to (7).
  • the image sensor is mounted on a vehicle and used, and the recognizing unit performs image recognition on at least a road surface, The control unit calculates a degree of contrast of the image, and when the degree of contrast is equal to or more than a predetermined threshold, detects the recognized road surface area, and performs an imaging operation of the image sensor or the processing only on the road surface area.
  • the information processing apparatus Control the processing operation in the section, The information processing apparatus according to any one of (1), (4) to (8). (10) The control unit calculates a degree of contrast of the image based on a difference in luminance between the recognized road surface area and the other area, The information processing device according to (9). (11) the control unit calculates a degree of contrast of the image based on a histogram of the image; The information processing device according to (9). (12) The image sensor is mounted on a vehicle and used, and the recognition unit recognizes an image of at least a surrounding vehicle, The control unit controls the weight based on the distance and the relative speed of each peripheral vehicle, The information processing apparatus according to any one of (1) to (11). (13) The control unit controls weights of the vehicle region and the other region, The information processing device according to (12).
  • An information processing method comprising: (15) an image sensor; A processing unit that processes an output signal of the image sensor; A recognition unit that recognizes the image after the processing by the processing unit; A control unit that controls at least one of an imaging operation of the image sensor or a processing operation in the processing unit based on a recognition result of the recognition unit,
  • An imaging device comprising: (16) a moving body; An image sensor mounted on the moving body, A processing unit that processes an output signal of the image sensor; A recognition unit that recognizes the image after the processing by the processing unit; A control unit that controls at least one of an imaging operation of the image sensor or a processing operation in the processing unit based on a recognition result of the recognition unit, An operation control unit that controls an operation of the moving body based on a result of recognizing a captured image
  • REFERENCE SIGNS LIST 100 vehicle control system 101 input unit 102 data acquisition unit 103 communication unit 104 in-vehicle device 105 output control unit 106 output unit 107 drive system control unit 108 drive system system 109 body System control unit, 110: Body system, 111 storage unit 112: Automatic operation control unit, 121: Communication network 131: Detection unit, 132: Self-position estimation unit, 133: Situation analysis unit 134: Planning unit, 135: Operation control Unit 141: Out-of-vehicle information detection unit, 142: In-vehicle information detection unit 143: Vehicle state detection unit 151: Map analysis unit, 152: Traffic rule recognition unit 153: Situation recognition unit, 154: Situation prediction unit 161: Route planning unit, 162 ...
  • action planning unit 163 ... operation planning unit 171 ... emergency avoidance unit, 172 ... acceleration / deceleration control unit, 173 ... direction control unit 200 Imaging device, 201 lens, 202 image sensor 203 signal processing unit, 204 recognition unit, 205 control unit 301, shutter, 302 element unit, 303 analog gain processing unit 304 development processing unit, 305 detection Section, 306: comparison section 401: shutter, 402: element section, 403: analog gain processing section 404-1: vehicle development processing section, 404-2: road surface development processing section 404-3: entire screen development processing section, 405-1: Vehicle detection unit 405-2: Road surface detection unit, 405-3: Full screen detection unit 406 ... Comparison unit 600 ... Imaging device, 601 ... Lens, 602 ... Image sensor 603 ... Signal processing unit, 604 ... Recognition unit, 605: determination unit 606: control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供する。　情報処理装置は、イメージセンサの出力信号を処理部で処理された後の画像を認識する認識部と、前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部を具備する。前記イメージセンサは車両に搭載して用いられ、前記認識部は、少なくとも周辺車両又は路面を画像認識する。そして、前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する。

Description

情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
　本明細書で開示する技術は、車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムに関する。
　自動運転やＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天時や夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、さまざまな外界認識センサが車両に搭載され始めている。
　例えば、車載カメラによる撮像画像において認識領域よりも遠方の明るさを測定し、時間差をもって測定された明るさを比較することで明るさの変化を検出し、明るさの変化が認識領域で生じるタイミングを車両の走行速度に基づき予測し、予測したタイミングで車載カメラの露出制御を行う露出制御装置について提案がなされている（特許文献１を参照のこと）。
　また、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法について提案がなされている（特許文献２を参照のこと）。
　また、所定の基準露出値でオートブラケティング撮影を行なった後、得られた複数個の画像データから適正露出又は適正露出に最も近い画像データを選択して新たな基準露出値とする、オートブラケティング撮影の機能を有する車載監視カメラの露出制御方法について提案がなされている（特許文献３を参照のこと）。
特開２０１２－１３４８４５号公報 特開２０１２－１３８６８８号公報 特開２０１２－１３８６８８号公報
　本明細書で開示する技術の目的は、車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することにある。
　本明細書で開示する技術の第１の側面は、
　イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部と、
　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する情報処理装置である。
　前記イメージセンサは車両に搭載して用いられ、前記認識部は、少なくとも周辺車両又は路面を画像認識する。そして、前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する。
　また、本明細書で開示する技術の第２の側面は、
　イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
　前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
を有する情報処理方法である。
　また、本明細書で開示する技術の第３の側面は、
　イメージセンサと、
　前記イメージセンサの出力信号を処理する処理部と、
　前記処理部による処理後の画像を認識する認識部と、
　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する撮像装置である。
　また、本明細書で開示する技術の第４の側面は、
　移動体と、
　前記移動体に搭載されたイメージセンサと、
　前記イメージセンサの出力信号を処理する処理部と、
　前記処理部による処理後の画像を認識する認識部と、
　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
　前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備する移動体装置である。
　また、本明細書で開示する技術の第５の側面は、
　イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。
　第５の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第５の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
　本明細書で開示する技術によれば、車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、車両制御システム１００の概略的な機能の構成例を示すブロック図である。 図２は、第１の実施例に係る撮像装置２００の機能的構成例を模式的に示した図である。 図３は、撮像装置における一般的な露光制御ループを模式的に示した図である。 図４は、本明細書で開示する技術を適用した露光制御ループを模式的に示した図である。 図５は、撮像装置２００の基本的な動作手順を示したフローチャートである。 図６は、第２の実施例に係る撮像装置６００の機能的構成例を模式的に示した図である。 図７は、撮像装置６００の基本的な動作手順を示したフローチャートである。 図８は、撮像装置６００で撮像する風景を例示した図である。 図９は、図８に示した風景を俯瞰した様子を示した図である。 図１０は、図８に示した撮像画像に検波枠を配置した様子を示した図である。 図１１は、消失点及び消失点検波枠を算出する方法を説明するための図である。 図１２は、検波値に基づいて画像のコントラスト度合いを算出する方法を説明するための図である。 図１３は、検波値に基づいて画像のコントラスト度合いを算出する方法（マルチ枠機能を想定した場合）を説明するための示した図である。 図１４は、画像全体に検波枠を配置した様子を示した図である。 図１５は、図１４に示した画像全体に検波枠を配置して取得したヒストグラムを例示した図である。 図１６は、トンネル入り口の消失点検波枠を配置した様子を示した図である。 図１７は、トンネル出口の消失点検波枠を配置した様子を示した図である。 図１８は、消失点検波値と自動露光制御の収束速度の関係を示した図である。 図１９は、撮像装置６００で撮像する風景を例示した図である。 図２０は、図１９に示した撮像画像に写った各車両の距離及び相対速度を示した図である。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
　図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダー、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　自動運転やＡＤＡＳの実現に向けて、より高精度な外界認識を行うために、カメラ、ミリ波レーダー、レーザーレーダーなどさまざまな外界認識センサが車両に搭載され始めている。各センサは、検出原理にも依拠して、得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。レーダー（ミリ波レーダー）、カメラ、及びレーザーレーダー（ＬｉＤＡＲ）の得手不得手を以下の表１にまとめておく。同表中で、◎は大得意（高い認識精度を持つ）、○は得意（良好な認識精度を持つ）、△は苦手（認識精度が十分でない）を意味する。また、２以上のセンサを組み合わせるフュージョン技術を利用することによって、各センサの特徴を生かして、より高精度な外界認識を実現することができる。
Figure JPOXMLDOC01-appb-T000001
　一般的なデジタルカメラが撮影した画像のビューイング若しくは観賞を目的とするのに対し、車載カメラは衝突回避やレーン制御といった自車両の自動運転やＡＤＡＳの実現を目的とするものである。したがって、車載カメラで撮影した画像は、撮影した風景を忠実に再現して人が見て違和感がないものとするよりも、むしろ車両や歩行者を始めとする障害物や路面など特定の物体を高い精度で画像認識できる画像であることが好ましい、と本出願人は考えている。
　画像認識の精度を向上するには、認識対象となる物体を認識し易くなる露光条件で撮影を行う必要がある。例えば、特許文献２には、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法が開示されている。しかしながら、撮影画像中のターゲットが存在し得る範囲からターゲットが有するターゲットパターンを走査して、ターゲットパターンを有しない物体に合わせて露出制御を行うことができない。また、所定の範囲から外れた物体に合わせて露光制御を行うこともできない。
　そこで、本明細書では、カメラで撮影した画像の認識結果に基づいて、認識対象とする物体毎に適した自動露光制御を実施することによって、物体毎に認識精度が高い画像を得る技術について、以下で提案する。
　図２には、本明細書で開示する技術の第１の実施例に係る撮像装置２００の機能的構成例を模式的に示している。撮像装置２００は主に車両に搭載して用いられることを想定している。撮像装置２００は、車両制御システム１００内のデータ取得部１０２が備える撮像装置の１つに相当する。図示の撮像装置２００は、レンズ２０１と、イメージセンサ２０２と、信号処理部２０３と、認識部２０４と、制御部２０５を備えている。
　イメージセンサ２０２は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｙｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｏｐｌｅｄ　Ｄｅｖｉｃｅ）などの素子を用いて構成され、レンズ２０１によって撮像面に結像された画像を撮像する。
　信号処理部２０３は、イメージセンサ２０２から出力されるＲＡＷデータに対する「現像」とも呼ばれる処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、ＹＣ変換などが現像処理に該当する。
　認識部２０４は、信号処理部２０３による処理後の撮像画像に含まれる物体を認識する。認識部２０４は、周辺車両や路面といった、自動運転やＡＤＡＳを実現するためには認識若しくは検出することが必須となる物体を認識対象とする。もちろん、認識部２０４は、バイクや自転車、歩行者、道路標識、信号機、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。ドライバなど自車両の搭乗者のマニュアル操作に応じて、認識対象となる物体を追加、削除、変更できるようにしてもよい。また、撮像装置２００が車載カメラ以外に用いられる場合には、用途に応じて認識対象となる物体を追加、削除、変更できるようにしてもよい。
　制御部２０５は、イメージセンサ２０２の撮像画像のうち、認識部２０４が認識した物体毎の領域の状態に基づいて、イメージセンサ２０２における撮像動作や、信号処理部２０３における信号処理を制御する。
　制御部２０５では、車両や路面といった、自動運転やＡＤＡＳの実現のために認識若しくは検出が必須となる物体を高精度で認識できるようにするために、イメージセンサ２０２や信号処理部２０３に対する制御を行う。したがって、制御部２０５による制御下においてイメージセンサ２０２で撮影され且つ信号処理部２０３で現像処理された画像は、後段の車両制御システム１００内で行われる認識処理において、車両や路面などの特定の物体を認識し易くなるように画質調整された画像となる。このため、撮像装置２００から車両制御システム１００に出力される画像は、元の風景を忠実に再現したものとは限らず、人がビューイング若しくは観賞した際には違和感を覚えさせることもある。
　後段の車両制御システム１００では、制御部２０５による制御下においてイメージセンサ２０２で撮影され且つ信号処理部２０３で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両や路面を認識することができる。そして、車両制御システム１００は、このような画像認識結果に基づいて、例えば、自動車間制御（ＡＣＣ）、車線逸脱警報（ＬＤＷ）、レーンキープアシスト（ＬＫＡ）、自動緊急ブレーキ（ＡＥＢ）、死角検知（ＢＳＤ）といった、自動運転又はＡＤＡＳのための車両制御を実施し、さらにはアクティブコーナリングライト（ＡＣＬ）、ブレーキアクチュエータ（ＢＲＫ）、操舵装置（ＳＴＲ）など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。
　図３には、撮像装置２００における一般的な露光制御ループを模式的に示している。
　イメージセンサ２０２は、シャッター３０１と、素子部３０２と、アナログゲイン処理部３０３を含んでいる。レンズ２０１によって集光された光は、シャッター３０１を通過して素子部３０２の撮像面に到達する。素子部３０２は、２次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部３０３によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部２０３に出力される。
　信号処理部２０３は、現像処理部３０４と、検波部３０５と、比較部３０６を含んでいる。現像処理部３０４は、イメージセンサ２０２から出力されるデジタル画素信号に対し、デジタルゲイン処理やガンマ処理を含む現像処理を施す。また、検波部３０５は、イメージセンサ２０２で撮像した画面全体をＯＰＤ（Ｏｐｔｉｃａｌ　Ｄｅｔｅｃｔｉｏｎ）検波して、画面の明るさ（輝度）を検出する。そして、比較部３０６は、検波部３０５で検出した画面全体の明るさを所定の基準値（Ｒｅｆ）と比較する。
　制御部２０５は、比較部３０６から出力される画面の明るさと基準値の差分に基づいて、シャッター３０１の開閉タイミング（すなわち露光時間）を制御したり、アナログゲイン処理部３０３のアナログゲインを調整したり、現像処理部３０４におけるデジタルゲインやその他の現像パラメータを調整したりして、イメージセンサ２０２の撮像画像が適当な明るさとなるように制御する。
　図３に示すような一般的な露光制御ループによれば、画面全体として明るさを調整することができるが、周辺車両や路面といった必要な被写体が必ずしも適切な明るさ（若しくは、画像認識に適した明るさ）で撮影されているとは限らない。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、日陰の部分の車両や路面を高い精度では画像認識できないような撮像画像になってしまうことが懸念される。
　図４には、撮像装置２００において、本明細書で開示する技術を適用した露光制御ループを模式的に示している。図４に示す制御ループは、認識部２０４が撮像画像から認識した物体毎に最適な画作りを実施するように構成されている。ここでは、認識部２０４は、自動運転やＡＤＡＳの実現のために認識若しくは検出が必須となる物体として、車両（直近の先行車両）と路面をそれぞれ検出することを想定している。
　イメージセンサ２０２は、シャッター４０１と、素子部４０２と、アナログゲイン処理部４０３を含んでいる。レンズ２０１によって集光された光は、シャッター４０１を通過して素子部４０２の撮像面に到達する。素子部４０２は、２次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部４０３によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部２０３に出力される。
　なお、以下ではイメージセンサ２０２は単一露光（すなわち、１フレーム期間内に単一の露光タイミングを持つ）を行うものとして説明する。
　信号処理部２０３は、現像処理部４０４と、検波部４０５と、比較部４０６を含んでいる。但し、検波部４０５は、認識部２０４が撮像画像から認識した物体毎にＯＰＤ検波を行うことができるように、撮像画像中の車両部分の明るさを検波する車両用検波部４０５－１と、撮像画像中の路面部分の明るさを検波する路面用検波部４０５－２を備えている。また、検波部４０５は、イメージセンサ２０２で撮像した画面全体をＯＰＤ検波する画面全体検波部４０５－３も備えている。また、認識部２０４が車両及び路面以外の物体を追加して検出する場合には、追加した物体の明るさを検波する検波部をさらに備えていてもよい。
　また、現像処理部４０４は、認識部２０４が撮像画像から認識した物体毎に適した現像処理を個々に行うことができるように、車両用現像処理部４０４－１並びに路面用現像処理部４０４－２を備えている。また、現像処理部は、画面全体に適した現像処理を行う画面全体現像処理部４０４－３も備えている。また、認識部２０４が車両及び路面以外の物体を追加して検出する場合には、追加した物体用の現像処理部をさらに備えていてもよい。
　図４中、参照番号４１０で示す範囲内では、通常の自動露光制御が実施される。すなわち、画面全体検波部４０５－３は、イメージセンサ２０２で撮像した画面全体をＯＰＤ検波して、画面の明るさを検出する。そして、比較部３０６は、検波部３０５で検出した画面全体の明るさを所定の基準値（Ｒｅｆ）と比較する。制御部２０５は、比較部４０６から出力される画面の明るさと基準値の差分に基づいて、シャッター４０１の開閉タイミング（すなわち露光時間）を制御したり、アナログゲイン処理部４０３のアナログゲインを調整したり、画面全体現像処理部４０４－３におけるデジタルゲインやその他の現像パラメータを調整したりして、イメージセンサ２０２の撮像画像が最適な明るさとなるように制御する。
　一方、認識部２０４は、信号処理部４０３による処理後の撮像画像４２０に含まれる物体を認識する。ここでは、撮像装置２００が車載カメラ（若しくは、車両制御システム１００内のデータ取得部１０２）として用いられることを想定して、認識部２０４は、自動運転やＡＤＡＳの実現のために認識若しくは検出が必須となる物体として、車両４２１及び路面４２２を認識する。もちろん、バイクや自転車、歩行者、道路標識、信号機、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。
　車両用検波部４０５－１は、認識部２０４による車両４２１の認識結果に基づいて、撮像画像４２０中に車両４２１の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部４０５－３で検波した画面全体の明るさと、車両４２１の検波枠内の明るさの差分を算出する。そして、車両用現像処理部４０４－１内では、その差分に基づいてデジタルゲインやガンマ値を調整して、車両４２１の枠内の明るさを調整する。すなわち、車両用現像処理部４０４－１は、撮像画像から車両４２１を物体認識するのに最適となる現像処理を行う（画面全体に対して車両４２１の検波枠が暗過ぎれば、車両４２１がもっと明るくなるように現像処理し、画面全体に対して車両４２１の検波枠が明る過ぎれば、車両４２１が暗くなるように現像処理する）。車両用現像処理部４０４－１によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、車両４２１を高精度に認識できる画像である。
　また、路面用検波部４０５－２は、認識部２０４による路面４２２の認識結果に基づいて、撮像画像４２０中の路面４２２の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部４０５－３で検波した画面全体の明るさと、路面４２２の検波枠内の明るさの差分を算出する。そして、路面用現像処理部４０４－２内では、その差分に基づいてデジタルゲインやガンマ値を調整して、路面４２２の枠内の明るさを調整する（画面全体に対して路面４２２の検波枠が暗過ぎれば、路面４２２がもっと明るくなるように現像処理し、画面全体に対して路面４２２の検波枠が明る過ぎれば、車両４２１が暗くなるように現像処理する）。すなわち、路面用現像処理部４０４－２は、撮像画像から路面４２２を物体認識するのに最適となる現像処理を行う。路面用現像処理部４０４－２によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、路面４２２を高精度に認識できる画像である。
　図４に示した撮像装置２００は、認識部２０４を備えるとともに、この認識部２０４が認識する物体毎に複数の現像処理部及び検波部を搭載することにより、通常の自動露光制御を安定して実施すると同時に、各物体の画像認識に最適な現像を行うことが可能である。
　自動運転やＡＤＡＳの実現のためには、車両並びに路面の画像認識が最重要である。この観点から、図４に示した撮像装置２００では、認識部２０４は車両及び路面の２種類の物体を認識し、車両用及び路面用の複数の検波部及び現像処理部を搭載するという構成である。もちろん、認識部２０４は、バイクや自転車、歩行者、道路標識、信号機、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもでき、これに対応して、追加した認識物体毎の複数の検波部及び現像処理部を増設することによって、多種類の物体の画像認識に最適な現像を行うことが可能となる。
　また、上記では、イメージセンサ２０２が単一露光を行うものとして説明してきたが、もちろん、複数同時露光（すなわち、１フレーム期間内に複数の露光タイミングを持ち、１フレーム期間内に複数の画像を撮像する）を実施可能であってもよい。撮像装置２００は、複数同時露光を利用して、低輝度側自動露光並びに高輝度側自動露光といった輝度グループ毎の自動露光制御と、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）フリッカ対策用など、用途に分けて画像を出力するようにしてもよい。
　図５には、図４に示した撮像装置２００において自動露光制御するための基本的な動作手順をフローチャートの形式で示している。但し、ここではイメージセンサ２０２が複数同時露光可能であり、車両用、路面用、及び画面全体用の３回露光を行うものとする。
　画面全体検波部４０５－３は、イメージセンサ２０２による撮影画像の画面全体の明るさを検波する（ステップＳ５０１）。
　次いで、比較部４０６は、画面全体検波部４０５－３で検出した画面全体の明るさを所定の基準値（Ｒｅｆ）と比較して、エラー量を算出する（ステップＳ５０２）。
　そして、制御部２０５は、ステップＳ５０２で算出したエラー量に基づいて、シャッター４０１の開閉タイミング（すなわち露光時間）や、アナログゲイン処理部４０３のアナログゲイン調整といったデバイス制御を実施する（ステップＳ５０３）。
　ここでは、イメージセンサ２０２が複数同時露光を行うことを想定している。したがって、ステップＳ５０３では、低輝度用、高輝度用、画面全体用に、各々のデバイス制御（ステップＳ５０３－１、Ｓ５０３－２、Ｓ５０３－３）を実施するようにしてもよい。また、各デバイス制御は同様の内容であってもよい。
　なお、ステップＳ５０１～Ｓ５０３で実施される処理は、通常の自動露光制御に相当する処理である。
　認識部２０４は、ステップＳ５０３－１並びにＳ５０３－２のデバイス制御に基づいて処理された各撮像画像に対して画像認識処理を実施する（ステップＳ５０４）。
　認識部２０４が撮像画像から対象とする物体（車両、路面）を認識できなかった場合には（ステップＳ５０４のＮｏ）、本処理を終了する。
　一方、認識部２０４が撮像画像から対象とする物体（車両、路面）を認識できた場合には（ステップＳ５０４のＹｅｓ）、信号処理部２０３は、認識部２０４から、対象とする物体（車両、路面）に関する画像認識情報を取得する（ステップＳ５０５）。
　車両用検波部４０５－１は、認識部２０４から取得した画像認識情報に基づいて車両の検波枠を設定して、車両の検波枠の明るさを検波する（ステップＳ５０６）。ここで、認識部２０４が撮像画像からＮ台（但し、Ｎは２以上の整数）の車両を認識できた場合には、車両用検波部４０５－１は、Ｎ台分の検波枠を設定してすべての車両の明るさを個別に検波してもよいし、すべての検波枠の明るさの平均を検波してもよいし、優先順位が上位の所定台数までの明るさを検波するようにしてもよい。車両の優先順位は、自車両からの距離など自車両と衝突する可能性に基づいて割り振ってもよい。
　次いで、車両用検波部４０５－１は、車両の検波枠の明るさを、画面全体検波部４０５－３で検出した画面全体の明るさと比較して、エラー量を算出する（ステップＳ５０７）。そして、車両用現像処理部４０４－１は、複数同時露光によって車両用に撮像した画像に対して、ステップＳ５０７で算出したエラー量に基づいて現像処理する（ステップＳ５０８）。
　また、路面用検波部４０５－２は、認識部２０４から取得した画像認識情報に基づいて路面の検波枠を設定して、車両の検波枠の明るさを検波する（ステップＳ５０９）。次いで、路面用検波部４０５－２は、車両の検波枠の明るさを、画面全体検波部４０５－３で検出した画面全体の明るさと比較して、エラー量を算出する（ステップＳ５１０）。そして、路面用現像処理部４０４－２は、複数同時露光によって路面用に撮像した画像に対して、ステップＳ５１０で算出したエラー量に基づいて現像処理する（ステップＳ５１１）。
　他方、現像処理部４０４－３は、ＬＥＤフリッカ対策用の現像処理を実施する（ステップＳ５１２）。
　最後に、実施例１についてまとめておく。撮像装置２００は、図４にも示したように、複数同時露光機能、複数検波機能、及び複数現像機能を装備している。かかる構成により、撮像装置２００は、ＬＥＤフリッカを抑制しつつ、急激な被写体変化にも安定した露出を維持することができる。これによって、撮像装置２００は、複数の被写体に対して、お互いの露光に依存せずに最適な現像処理が可能であるとともに、現像時のエラー量を即時に反映することができるという特徴がある。また、撮像装置２００は、被写体検知機能を維持できるという特徴がある。
　画像認識の精度を向上するには、認識対象となる物体を認識し易くなる露光条件で撮影を行う必要がある。しかしながら、逆光や暗闇では、認識不能なシーンを撮影することになる。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、自動露光制御が明暗の変化に追い付かない。通常のカメラの制御では、適正な露光条件になるまでに時間がかかり過ぎて、追従できない。その結果として、露光オーバー又は露光アンダーが長く続き、この間、画像認識ができない状態が続くため、車両制御システム１００による自動運転やＡＤＡＳが十分に機能しない。画像認識ができない状態の他の例として、トンネルの出入り口や、対向車のヘッドライトを浴びている状態を挙げることができる。
　そこで、第２の実施例では、周辺車両の画像認識ができない状態となる問題シーンを画像認識結果に基づいて判定し、かかる問題シーンにおいて自動露光を適応的に制御する撮像装置について説明する。
　ここで、画像認識ができない状態となる問題シーンとして、上述したように、日差しの強い逆光状態や、トンネルの出入り口、対向車のヘッドライトを浴びている状態を挙げることができる。このような問題シーンは、撮像画像中の消失点及びコントラスト度合いの計算結果に基づいて判定することができる。また、問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を挙げることができる。問題シーンの判定方法並びに自動露光の適応制御の詳細については後述に譲る。
　図６には、第２の実施例に係る撮像装置６００の機能的構成例を模式的に示している。撮像装置６００は主に車両に搭載して用いられることを想定している。図示の撮像装置６００は、レンズ６０１と、イメージセンサ６０２と、信号処理部６０３と、認識部６０４と、判定部６０５と、制御部６０５を備えている。
　イメージセンサ６０２は、例えばＣＭＯＳやＣＣＤなどの素子を用いて構成され、レンズ６０１によって撮像面に結像された画像を撮像する。信号処理部６０３は、イメージセンサ６０２から出力されるＲＡＷデータに対する現像処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、ＹＣ変換などが現像処理に該当する。
　認識部６０４は、信号処理部６０３による処理後の撮像画像に含まれる物体を認識する。本実施例では、認識部６０４は、基本的には、後段の判定部６０５で問題シーンの判定に用いる物体として、周辺車両と斜線（レーン）を画像認識する。もちろん、認識部６０４は、バイクや自転車、歩行者、道路標識、信号機、ガードレール、街路樹や街灯など、他の物体をさらに認識対象に取り入れることもできる。
　判定部６０５は、周辺車両の画像認識ができない状態となる問題シーンを、認識部６０４における画像認識結果に基づいて判定する。具体的には、判定部６０５は、日差しの強い逆光状態や、トンネルの出入り口、対向車のヘッドライトを浴びている状態を判定する。判定部６０５は、認識部６０４による画像認識結果に基づいて消失点を算出し、また、撮像画像のコントラスト度合いを算出して、これらの計算結果に基づいてシーン判定を行う。
　消失点は、透視変換によって３次元空間中の複数の平行線を画像上に投影した場合に、それら平行線に対応する画像上の直線が収束する点のことであり、理論的には無限遠点である。消失点の計算方法はさまざまである。本実施例では、判定部６０５は、認識部６０４によるレーンの検出結果や、画像認識された所領の位置やサイズに基づいて消失点を算出するものとする。
　また、判定部６０５は、ＯＰＤ検波に基づいて、画像のコントラスト度合いを算出する。本実施例では、判定部６０５は、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較する方法と、ヒストグラム（画像の輝度分布）の形状に基づいて判定する方法の２通りによってコントラスト度合いを算出するものとする。
　制御部６０６は、判定部６０５が周辺車両の画像認識ができない状態であると判定する問題シーンにおいて、イメージセンサ６０２における撮像動作や、信号処理部６０３における現像処理を制御して、自動露光を適応的に制御する。具体的には、制御部６０６は、問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を実施する。
　後段の車両制御システム１００では、制御部６０６による制御下においてイメージセンサ６０２で撮影され且つ信号処理部６０３で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両を認識することができる。そして、車両制御システム１００は、このような画像認識結果に基づいて、例えば、自動車間制御（ＡＣＣ）、車線逸脱警報（ＬＤＷ）、レーンキープアシスト（ＬＫＡ）、自動緊急ブレーキ（ＡＥＢ）、死角検知（ＢＳＤ）といった、自動運転又はＡＤＡＳのための車両制御を実施し、さらにはアクティブコーナリングライト（ＡＣＬ）、ブレーキアクチュエータ（ＢＲＫ）、操舵装置（ＳＴＲ）など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。
　第２の実施例に係る撮像装置６００は、第１の実施例（すなわち、図４に示した撮像装置２００）とは相違し、イメージセンサ６０６は単一露光でよく、且つ、信号処理部６０３及び検波部６０４は１系統でよく、物体毎の系統は不要である。すなわち、撮像装置６００は、図３に示したような装置構成でもよい。
　図７には、図６に示した撮像装置６００において自動露光制御するための基本的な動作手順をフローチャートの形式で示している。
　判定部６０５は、認識部６０４による画像認識情報を取得する（ステップＳ７０１）。認識部６０４は、イメージセンサ６０２による撮像画像から、路面、路面上の車線や車両など物体を認識することができる。そして、認識部６０４による画像認識結果に基づいて、撮像画像に対して、地面（路面）、空、車両、消失点などに検波枠を配置することができる。
　判定部６０５は、認識部６０４による画像認識情報に基づいて、消失点を算出し（ステップＳ７０２）、さらに消失点領域の検波値を取得する（ステップＳ７０３）。
　また、判定部６０５は、ＯＰＤ検波に基づいて、画像のコントラスト度合いを算出する。具体的には、判定部６０５は、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較することによってコントラスト度合いを算出するとともに（ステップＳ７０４）、ヒストグラム（画像の輝度分布）の形状に基づいてコントラスト度合いを算出する（ステップＳ７０５）。
　次いで、判定部６０５は、ステップＳ７０３で取得した消失点領域の検波値が下限閾値ＴＨlow以上で且つ上限閾値ＴＨHigh未満であるかどうかをチェックする（ステップＳ７０６）。
　消失点領域の検波値が下限閾値ＴＨlow以上で且つ上限閾値ＴＨHigh未満である場合には（ステップＳ７０６のＹｅｓ）、判定部６０５は、認識部６０４が車両を安定して認識できているかどうかをさらにチェックする（ステップＳ７０７）。ここで、「安定」して認識することとは、認識の尤度が高いことや、認識結果が急峻に変化せず安定していることなどを意味する。
　認識部６０４が車両を安定して認識できている場合には（ステップＳ７０７のＹｅｓ）、制御部６０６は、撮像画像のうち車両領域の検波値を取得して（ステップＳ７０８）、車両領域の検波値のみを使ってイメージセンサ６０２の自動露光制御並びに信号処理部６０３における現像処理の制御を行う（ステップＳ７０９）。
　一方、認識部６０４が車両を安定して認識できていない場合には（ステップＳ７０７のＮｏ）、判定部６０５は、ステップＳ７０４及びステップＳ７０５で算出したコントラスト度合いが所定の閾値ＴＨc以上であるかどうかをさらにチェックする（ステップＳ７１０）。
　そして、撮像画像のコントラスト度合いが所定の閾値ＴＨc以上である場合には（ステップＳ７１０のＹｅｓ）、検波領域を路面領域のみにしてＯＰＤ検波を行い、制御部６０６は、路面領域の検波結果に基づいて、イメージセンサ６０２の自動露光制御並びに信号処理部６０３における現像処理の制御を行う（ステップＳ７１１）。あるいは、路面領域の重みをそれ以外の領域よりも大きくしてＯＰＤ検波を行うようにしてもよい。
　また、撮像画像のコントラスト度合いが所定の閾値ＴＨc以上である場合には（ステップＳ７１０のＹｅｓ）、日差しの強い逆光状態や、対向車のヘッドライトを浴びている状態であると推定されるので、測光領域を路面領域のみにして自動露光制御を実施する。一方、撮像画像のコントラスト度合いが所定の閾値ＴＨc未満である場合には（ステップＳ７１０のＮｏ）、逆光状態では無く、前方に車両がいないだけの状態であると推定されるので、自動露光制御を実施せずに本処理を終了する。
　また、消失点領域の検波値が下限閾値ＴＨlow未満、又は上限閾値ＴＨHighを超える場合（ステップＳ７０６のＮｏ）、自車両がトンネルの出口付近又は入り口付近のいずれかに達していると推定される。そこで、検波枠を（トンネルの出入り口に相当する）消失点領域のみに設定してＯＰＤ検波を行い、制御部６０６は、消失点領域の検波結果に基づいて、イメージセンサ６０２の自動露光制御並びに信号処理部６０３における現像処理の制御を行う（ステップＳ７１２）。また、適正な露光条件になるまでに時間がかかり過ぎて追従できなくなるという事態を回避するために、制御部６０６は、自動露光制御の収束速度を速める（ステップＳ７１３）。
　続いて、図８に示すような風景を撮像装置６００で撮影する場合を例にとって、図７に示した動作手順について具体的に説明する。
検波枠の配置について：
　図８は、自車両が片側３車線の道路を走行中に、車載の撮像装置６００で自車両の前方を撮影した様子である。図８に示す例では、自車両の前方の路面８００を、自車両から距離が近い順に、先行車両８０１、８０２、及び８０３が走行している。また、図９には、自車両の前方を俯瞰した様子を示している。自車両から先行車両８０１、８０２、及び８０３までの距離は、それぞれｄ１、ｄ２、ｄ３である。また、先行車両８０１、８０２、及び８０３の相対速度及び向きは、それぞれｖ１、ｖ２、ｖ３である。先行車両８０１、８０２、及び８０３の距離及び相対速度は、例えば、車両制御システム１００がデータ取得部１０２として装備するレーダーを用いて計測することができる。
　認識部６０４は、図８に示した撮像画像に対して画像認識処理を行うことにより、路面（地面）８００や、先行車両８０１～８０３、車線８０４、８０５などの物体を認識する。そして、判定部６０５は、認識部６０４による画像認識情報に基づいて、図１０に示すように、路面８００、空、消失点、先行車両８０１～８０３の各々に対して検波枠を配置することができる。
・路面、空（Ｗｇ、Ｗｓ）
・消失点（Ｗｖｐ）
・先行車両（Ｗｖ１、Ｗｖ２、Ｗｖ３）
　もちろん、認識部６０４は、上述した以外に、バイクや自転車、歩行者、道路標識、信号機などの物体も必要に応じて認識することができる。また、判定部６０５は、これらの認識物体に対しても検波枠を同様に配置することができる。
　制御部６０６は、路面検波枠Ｗｇ及び空検波枠Ｗｓからなる全体枠をベースに、各先行車両８０１、８０２、８０３までの距離ｄ１、ｄ２、ｄ３や相対速度ｖ１、ｖ２、ｖ３から、先行車両８０１、８０２、８０３の重み付けを制御する。例えば自車両から距離が近い車両や、速い速度で自車両に接近している車両の重みを大きくする。
消失点の算出について：
　判定部６０５は、図７に示したフローチャート中のステップＳ７０２において、認識部６０４による画像認識情報に基づいて消失点を算出し、続くステップＳ７０３において消失点検波枠を算出する。図１１には、消失点を算出する様子を示している。対象とする３次元空間中の平行線として、車線を挙げることができる。そこで、判定部６０５は、車線８０４と車線８０５の交点を、消失点検波枠の中心位置に決定する。そして、各車両８０１～８０３の位置とサイズに基づいて、消失点検波枠Ｗｖｐを算出する。
コントラスト度合いの算出方法１：
　判定部６０５は、図７に示したフローチャート中のステップＳ７０４において、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較することによって、コントラスト度合いを算出する。図１２には、コントラスト度合いを算出する様子を示している。判定部６０５は、認識部６０４が画像認識した先行車両８０１～８０３、並びに車線８０４及び８０５の情報から、路面検波枠Ｗｇを求め、それ以外を空検波枠Ｗｓと仮定することができる。そして、判定部６０５は、路面検波枠Ｗｇの検波値と空検波枠Ｗｓの検波値の差分の絶対値ＡＢＳ（Ｗｇ－Ｗｓ）をコントラスト度合いとして算出する。その後、判定部６０５は、ステップＳ７１０において、コントラスト度合いとして算出した差分の絶対値ＡＢＳ（Ｗｇ－Ｗｓ）が所定の閾値よりも大きければ、その撮像画像のコントラストが強いと判定することができる。
　図１３には、マルチ枠機能を想定した場合の、コントラスト度合いを算出する様子を示している。判定部６０５は、認識部６０４が画像認識した先行車両８０１～８０３、並びに車線８０４及び８０５の情報から、路面検波枠Ｗｇを求め、それ以外を空検波枠Ｗｓと仮定する。図１３中、路面検波楽Ｗｇを淡いグレーで塗り潰し、それ以外の空検波枠Ｗｓを濃いグレーで塗り潰している。そして、判定部６０５は、路面検波枠Ｗｇの検波値と空検波枠Ｗｓの検波値の差分の絶対値ＡＢＳ（Ｗｇ－Ｗｓ）をコントラスト度合いとして算出する。その後、判定部６０５は、ステップＳ７１０において、コントラスト度合いとして算出した差分の絶対値ＡＢＳ（Ｗｇ－Ｗｓ）が所定の閾値よりも大きければ、その撮像画像のコントラストが強いと判定する。
コントラスト度合いの算出方法２：
　判定部６０５は、図７に示したフローチャート中のステップＳ７０５において、ヒストグラム（画像の輝度分布）の形状に基づいて、コントラスト度合いを算出する。判定部６０５は、２値化手法の１つである判別分析法を用いて、ヒストグラムの分離度を算出し、分離度が高ければ画像のコントラスト度合いが強いと判定することができる。
　例えば、図１４に示すように、画像全体に検波枠を配置して、ヒストグラムを取得する。図１５には、図１４に示した画像全体に検波枠を配置して取得したヒストグラムを例示している。図１５に示した例では、画像の輝度レベルは０～２５５の２５６階調からなり、輝度レベル毎の画素数分布が取得されている。
　ここで、図１４に示した画像全体の画素数がωt、輝度レベルの平均値がｍt、分散がσtであったとする。また、図１５に示したヒストグラムにおいて、輝度レベルの閾値ＴＨlを設定して、画素を輝度レベルが閾値ＴＨl以上の白クラスと閾値ＴＨl未満の黒クラスの２値に分離する。そして、黒クラスの画素数がω1、輝度レベルの平均値がｍ1、分散がσ1であり、白クラスの画素数がω2、輝度レベルの平均値がｍ2、分散がσ2であったとする。下式（１）に従ってクラス内分散σw 2を算出するとともに、下式（２）に従ってクラス間分散σb 2を算出し、クラス内分散σw 2及びクラス間分散σb 2に基づいて下式（３）に従って全分散σt 2を算出する。そして、下式（４）に示す、クラス間分散σb 2とクラス内分散σw 2の比が最大となる閾値ＴＨlを求めることによって、分離度を算出する。そして、判定部６０５は、分離度が高ければ画像のコントラスト度合いが強いと判定することができる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
自動露光制御の収束速度の制御について：
　図１６には、自車両がトンネルの入り口付近に到達したときに、撮像装置６００で自車両前方を撮影した様子を示している。この場合、トンネルの入り口が消失点領域となり、且つ、消失点領域の検波値が下限閾値ＴＨlow未満となる。また、図１７には、自車両がトンネルの出口付近に到達したときに、撮像装置６００で自車両前方を撮影した様子を示している。この場合、トンネルの出口が消失点領域となり、且つ、消失点領域の検波値が上限閾値ＴＨHighを超える。
　判定部６０５は、図７に示したフローチャート中のステップＳ７０６において、消失点領域の検波値が下限閾値ＴＨlow未満、又は上限閾値ＴＨHighを超える場合に、自車両がトンネルの出入り口付近に達していると推定する。そして、判定部６０５は、図１６並びに図１７にそれぞれ示すように、検波枠をトンネルの入り口又は出口に相当する消失点領域のみに設定する（ステップＳ７１２）。また、制御部６０６は、適正な露光条件になるまでに時間がかかり過ぎて追従できなくなるという事態を回避するために、ステップＳ７１３において、自動露光制御の収束速度を速める。
　図１８には、消失点検波値と自動露光制御の収束速度の関係を示している。同図に示すように、判定部６０５は、消失点領域の検波値が下限閾値ＴＨlow未満となった場合に、自動露光制御の収束速度を速める。また、判定部６０５は、消失点領域の検波値が上限閾値ＴＨHighを超える場合に、自動露光制御の収束速度を速める。判定部６０５は、消失点領域の検波値を時系列で監視することで、連続的な収束速度の可変制御を実現することができる。
　また、判定部６０５は、消失点領域の検波値が下限閾値ＴＨlow以上で且つ上限閾値ＴＨHigh未満の範囲内である期間中も、認識部６０４による車両認識情報に基づいて自車両の前方を常時監視する。例えば、過去の数フレーム分の画像認識結果を蓄積しておき、先行車両を認識できなくなった状態が所定数のフレーム以上継続した場合にも、自動露光制御の収束速度を速めるようにしてもよい。
車両枠の重み付け制御について：
　判定部６０５は、図７に示したフローチャート中のステップＳ７０１で認識部６０４による画像認識情報を取得すると、空、消失点、及び先行車両の各々に対して検波枠を配置する。このとき、判定部６０５は、各先行車両の距離や相対速度に基づいて、各車両枠の重み付けを制御する。
　例えば、図１９に示すようなイメージセンサ６０２の撮像画像１９００から、認識部６０４による画像認識情報に基づいて、車両枠Ｗｖ１、Ｗｖ２、Ｗｖ３が配置されたとする。また、図２０に示すように、自車両から各先行車両までの距離がそれぞれｄ１、ｄ２、ｄ３であり、各先行車両の相対速度がそれぞれｖ１、ｖ２、ｖ３であるとする。
　先行車両との距離が短ければ、自車両と衝突する可能性が高いので、大きな重みを与えるべきである。また、先行車両の相対速度が速いほど、自車両と衝突する可能性が高いので、大きな重みを与えるべきである。そこで、下式（５）に示すように、先行車両との距離と相対速度に基づいて、各車両枠Ｗｖ１、Ｗｖ２、Ｗｖ３の重みＷeｖ１、Ｗeｖ２、Ｗeｖ３を制御するようにしてもよい。
Figure JPOXMLDOC01-appb-M000006
　また、認識部６０４により画像認識された全車両の車両枠Ｗｖと、それ以外の領域とで重みを変えるようにしてもよい。例えば、全車両の車両枠の重みＷeｖを、下式（６）のように定義することができる（但し、図１９に示す例ではｎ＝３）。
Figure JPOXMLDOC01-appb-M000007
　最後に、実施例２についてまとめておく。撮像装置６００は、単一露光、単一検波、単一現像として構成することもできるが、急激な被写体変化にも安定した露出を維持することができ、複数の被写体変化にも対応することができ、且つ、被写体検知機能を維持できるという特徴がある。
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、車載カメラに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間（家庭、オフィス、工場など）を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。
　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）イメージセンサの出力信号を処理部で処理された後の画像を認識する認識部と、
　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する情報処理装置。
（１－１）前記処理部をさらに備える、
上記（１）に記載の情報処理装置。
（２）前記制御部は、前記認識部が認識した物体の領域の検波又は現像処理を制御する、
上記（１）に記載の情報処理装置。
（３）前記イメージセンサは車両に搭載して用いられ、
　前記認識部は、少なくとも周辺車両又は路面を画像認識し、
　前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する、
上記（１）又は（２）のいずれかに記載の情報処理装置。
（４）前記制御部は、前記認識部による認識結果に基づいてシーンを判定して、シーンに対応して前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記（１）に記載の情報処理装置。
（５）前記制御部は、前記認識部による認識結果に基づいて前記画像の消失点を算出し、前記消失点を含む領域の輝度が所定の閾値範囲を逸脱する場合に、前記消失点を含む領域のみを測光領域にするとともに、前記イメージセンサの自動露光制御の収束速度を速める、
上記（１）に記載の情報処理装置。
（６）前記制御部は、前記認識部が認識した２以上の車線の交点に基づいて前記消失点を算出する、
上記（５）に記載の情報処理装置。
（７）前記認識部が所定の物体を安定して認識しているときには、前記制御部は、前記所定の物体を含む領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記（１）、（４）乃至（６）のいずれかに記載の情報処理装置。
（８）前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
　前記制御部は、前記認識部が車両を安定して認識できているときには、前記認識した車両領域を検波して、前記車両領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記（１）、（４）乃至（７）のいずれかに記載の情報処理装置。
（９）前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも路面を画像認識し、
　前記制御部は、前記画像のコントラスト度合いを算出し、前記コントラスト度合いが所定の閾値以上となるときには、前記認識した路面領域を検波して、前記路面領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記（１）、（４）乃至（８）のいずれかに記載の情報処理装置。
（１０）前記制御部は、前記認識した路面領域とそれ以外の領域との輝度の差分に基づいて前記画像のコントラスト度合いを算出する、
上記（９）に記載の情報処理装置。
（１１）前記制御部は、前記画像のヒストグラムに基づいて前記画像のコントラスト度合いを算出する、
上記（９）に記載の情報処理装置。
（１２）前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
　前記制御部は、各周辺車両の距離と相対速度に基づいて重みを制御する、
上記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）前記制御部は、車両領域とそれ以外の領域の重みを制御する、
上記（１２）に記載の情報処理装置。
（１４）イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
　前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
を有する情報処理方法。
（１５）イメージセンサと、
　前記イメージセンサの出力信号を処理する処理部と、
　前記処理部による処理後の画像を認識する認識部と、
　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する撮像装置。
（１６）移動体と、
　前記移動体に搭載されたイメージセンサと、
　前記イメージセンサの出力信号を処理する処理部と、
　前記処理部による処理後の画像を認識する認識部と、
　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
　前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備する移動体装置。
（１７）イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
　１００…車両制御システム
　１０１…入力部、１０２…データ取得部、１０３…通信部
　１０４…車内機器、１０５…出力制御部、１０６…出力部
　１０７…駆動系制御部、１０８…駆動系システム
　１０９…ボディ系制御部、１１０…ボディ系システム、１１１記憶部
　１１２…自動運転制御部、１２１…通信ネットワーク
　１３１…検出部、１３２…自己位置推定部、１３３…状況分析部
　１３４…計画部、１３５…動作制御部
　１４１…車外情報検出部、１４２…車内情報検出部
　１４３…車両状態検出部
　１５１…マップ解析部、１５２…交通ルール認識部
　１５３…状況認識部、１５４…状況予測部
　１６１…ルート計画部、１６２…行動計画部、１６３…動作計画部
　１７１…緊急事態回避部、１７２…加減速制御部、１７３…方向制御部
　２００…撮像装置、２０１…レンズ、２０２…イメージセンサ
　２０３…信号処理部、２０４…認識部、２０５…制御部
　３０１…シャッター、３０２…素子部、３０３…アナログゲイン処理部
　３０４…現像処理部、３０５…検波部、３０６…比較部
　４０１…シャッター、４０２…素子部、４０３…アナログゲイン処理部
　４０４－１…車両用現像処理部、４０４－２…路面用現像処理部
　４０４－３…画面全体現像処理部、４０５－１…車両用検波部
　４０５－２…路面用検波部、４０５－３…画面全体検波部
　４０６…比較部
　６００…撮像装置、６０１…レンズ、６０２…イメージセンサ
　６０３…信号処理部、６０４…認識部、６０５…判定部
　６０６…制御部

Claims (17)

  1. 　イメージセンサの出力信号を処理部で処理された後の画像を認識する認識部と、
    　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
    を具備する情報処理装置。
  2. 　前記制御部は、前記認識部が認識した物体の領域の検波又は現像処理を制御する、
    請求項１に記載の情報処理装置。
  3. 　前記イメージセンサは車両に搭載して用いられ、
    　前記認識部は、少なくとも周辺車両又は路面を画像認識し、
    　前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する、
    請求項１に記載の情報処理装置。
  4. 　前記制御部は、前記認識部による認識結果に基づいてシーンを判定して、シーンに対応して前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
    請求項１に記載の情報処理装置。
  5. 　前記制御部は、前記認識部による認識結果に基づいて前記画像の消失点を算出し、前記消失点を含む領域の輝度が所定の閾値範囲を逸脱する場合に、前記消失点を含む領域のみを測光領域にするとともに、前記イメージセンサの自動露光制御の収束速度を速める、
    請求項１に記載の情報処理装置。
  6. 　前記制御部は、前記認識部が認識した２以上の車線の交点に基づいて前記消失点を算出する、
    請求項５に記載の情報処理装置。
  7. 　前記認識部が所定の物体を安定して認識しているときには、前記制御部は、前記所定の物体を含む領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
    請求項１に記載の情報処理装置。
  8. 　前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
    　前記制御部は、前記認識部が車両を安定して認識できているときには、前記認識した車両領域を検波して、前記車両領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
    請求項１に記載の情報処理装置。
  9. 　前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも路面を画像認識し、
    　前記制御部は、前記画像のコントラスト度合いを算出し、前記コントラスト度合いが所定の閾値以上となるときには、前記認識した路面領域を検波して、前記路面領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
    請求項１に記載の情報処理装置。
  10. 　前記制御部は、前記認識した路面領域とそれ以外の領域との輝度の差分に基づいて前記画像のコントラスト度合いを算出する、
    請求項９に記載の情報処理装置。
  11. 　前記制御部は、前記画像のヒストグラムに基づいて前記画像のコントラスト度合いを算出する、
    請求項９に記載の情報処理装置。
  12. 　前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
    　前記制御部は、各周辺車両の距離と相対速度に基づいて重みを制御する、
    請求項１に記載の情報処理装置。
  13. 　前記制御部は、車両領域とそれ以外の領域の重みを制御する、
    請求項１２に記載の情報処理装置。
  14. 　イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
    　前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
    を有する情報処理方法。
  15. 　イメージセンサと、
    　前記イメージセンサの出力信号を処理する処理部と、
    　前記処理部による処理後の画像を認識する認識部と、
    　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
    を具備する撮像装置。
  16. 　移動体と、
    　前記移動体に搭載されたイメージセンサと、
    　前記イメージセンサの出力信号を処理する処理部と、
    　前記処理部による処理後の画像を認識する認識部と、
    　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
    　前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
    を具備する移動体装置。
  17. 　イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
    　前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
    としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
PCT/JP2019/030046 2018-09-13 2019-07-31 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム WO2020054240A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020217005768A KR20210056336A (ko) 2018-09-13 2019-07-31 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램
BR112021004210-5A BR112021004210A2 (pt) 2018-09-13 2019-07-31 aparelho e método de processamento de informações, aparelho de formação de imagem, dispositivo móvel, e, programa de computador
US17/274,094 US11815799B2 (en) 2018-09-13 2019-07-31 Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
JP2020546744A JPWO2020054240A1 (ja) 2018-09-13 2019-07-31 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
EP19858980.6A EP3852355A4 (en) 2018-09-13 2019-07-31 INFORMATION PROCESSING DEVICE AND METHOD, IMAGING DEVICE, MOBILE BODY DEVICE AND COMPUTER PROGRAM
MX2021002613A MX2021002613A (es) 2018-09-13 2019-07-31 Aparato de procesamiento de informacion y metodo de procesamiento de informacion, aparato de imagen, dispositivo movil, y programa de ordenador.
CN201980058017.3A CN112703724A (zh) 2018-09-13 2019-07-31 信息处理装置和信息处理方法、成像装置、移动设备和计算机程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018171382 2018-09-13
JP2018-171382 2018-09-13

Publications (1)

Publication Number Publication Date
WO2020054240A1 true WO2020054240A1 (ja) 2020-03-19

Family

ID=69777778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030046 WO2020054240A1 (ja) 2018-09-13 2019-07-31 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム

Country Status (8)

Country Link
US (1) US11815799B2 (ja)
EP (1) EP3852355A4 (ja)
JP (1) JPWO2020054240A1 (ja)
KR (1) KR20210056336A (ja)
CN (1) CN112703724A (ja)
BR (1) BR112021004210A2 (ja)
MX (1) MX2021002613A (ja)
WO (1) WO2020054240A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022125232A1 (en) * 2020-12-11 2022-06-16 Argo AI, LLC Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3d maps
EP4184912A4 (en) * 2020-07-15 2023-12-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
FR3127355B1 (fr) * 2021-09-20 2023-09-29 Renault Sas procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale
CN114220285A (zh) * 2021-12-14 2022-03-22 中国电信股份有限公司 超速车辆的定位与示警方法、装置、电子设备及可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010215029A (ja) * 2009-03-13 2010-09-30 Toyota Industries Corp 駐車支援装置
JP2012134845A (ja) 2010-12-22 2012-07-12 Denso Corp 露出制御装置
JP2012138688A (ja) 2010-12-24 2012-07-19 Denso Corp 車載カメラの露出制御値の決定方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167842A (ja) * 2003-12-04 2005-06-23 Denso Corp 車載監視カメラの露出制御装置
CN1886983A (zh) 2003-12-25 2006-12-27 耐力有限公司 成像系统
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
US8204278B2 (en) * 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP2011254340A (ja) * 2010-06-03 2011-12-15 Hitachi Ltd 撮像装置
CN103369289B (zh) * 2012-03-29 2016-05-04 深圳市腾讯计算机系统有限公司 一种视频模拟形象的通信方法和装置
JP5737306B2 (ja) * 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
US10044849B2 (en) 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
JP5929870B2 (ja) * 2013-10-17 2016-06-08 株式会社デンソー 物標検出装置
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
JPWO2016121406A1 (ja) * 2015-01-28 2017-09-07 京セラ株式会社 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
WO2016194296A1 (en) * 2015-06-04 2016-12-08 Sony Corporation In-vehicle camera system and image processing apparatus
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
DE102015118474A1 (de) * 2015-10-29 2017-05-04 Connaught Electronics Ltd. Verfahren zum Anpassen eines Kameraparameters und/oder eines Bilds,Computerprogrammprodukt, Kamerasystem, Fahrerassistenzsystem und Kraftfahrzeug
JP6750519B2 (ja) * 2016-05-24 2020-09-02 株式会社Ｊｖｃケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
WO2018158875A1 (ja) * 2017-03-01 2018-09-07 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置
JP6889005B2 (ja) * 2017-04-05 2021-06-18 株式会社Ｓｏｋｅｎ 道路パラメータ推定装置
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010215029A (ja) * 2009-03-13 2010-09-30 Toyota Industries Corp 駐車支援装置
JP2012134845A (ja) 2010-12-22 2012-07-12 Denso Corp 露出制御装置
JP2012138688A (ja) 2010-12-24 2012-07-19 Denso Corp 車載カメラの露出制御値の決定方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4184912A4 (en) * 2020-07-15 2023-12-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
WO2022125232A1 (en) * 2020-12-11 2022-06-16 Argo AI, LLC Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3d maps
US11562572B2 (en) 2020-12-11 2023-01-24 Argo AI, LLC Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps
US11983935B2 (en) 2020-12-11 2024-05-14 Ford Global Technologies, Llc Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps

Also Published As

Publication number Publication date
EP3852355A4 (en) 2021-11-10
JPWO2020054240A1 (ja) 2021-09-30
EP3852355A1 (en) 2021-07-21
CN112703724A (zh) 2021-04-23
BR112021004210A2 (pt) 2021-05-25
MX2021002613A (es) 2021-05-12
US11815799B2 (en) 2023-11-14
US20210218875A1 (en) 2021-07-15
KR20210056336A (ko) 2021-05-18

Similar Documents

Publication Publication Date Title
WO2020054240A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
JP7188394B2 (ja) 画像処理装置及び画像処理方法
KR102533860B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
US11501461B2 (en) Controller, control method, and program
JP7243714B2 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
JP7380674B2 (ja) 情報処理装置と情報処理方法および移動制御装置と移動制御方法
US20230045772A9 (en) Information processing apparatus, information processing method, and program
WO2022038981A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
WO2020036043A1 (ja) 情報処理装置と情報処理方法とプログラム
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
EP3863282B1 (en) Image processing device, and image processing method and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19858980

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020546744

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112021004210

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2019858980

Country of ref document: EP

Effective date: 20210413

ENP Entry into the national phase

Ref document number: 112021004210

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20210305