WO2019188390A1 - 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体 - Google Patents

露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体 Download PDF

Info

Publication number
WO2019188390A1
WO2019188390A1 PCT/JP2019/010758 JP2019010758W WO2019188390A1 WO 2019188390 A1 WO2019188390 A1 WO 2019188390A1 JP 2019010758 W JP2019010758 W JP 2019010758W WO 2019188390 A1 WO2019188390 A1 WO 2019188390A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
detection
exposure control
region
detection value
Prior art date
Application number
PCT/JP2019/010758
Other languages
English (en)
French (fr)
Inventor
駿 李
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/040,057 priority Critical patent/US11363212B2/en
Priority to CN201980021050.9A priority patent/CN111886854B/zh
Priority to KR1020207027269A priority patent/KR20200136398A/ko
Priority to JP2020510641A priority patent/JP7243714B2/ja
Priority to EP19774618.3A priority patent/EP3780578A4/en
Publication of WO2019188390A1 publication Critical patent/WO2019188390A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls

Definitions

  • the present technology relates to an exposure control apparatus, an exposure control method, a program, an imaging apparatus, and a moving body, and particularly, an exposure control apparatus, an exposure control method, a program, and an imaging suitable for use in performing automatic exposure (Auto-Exposure).
  • the present invention relates to an apparatus and a moving body.
  • Patent Document 1 does not discuss this countermeasure.
  • the present technology has been made in view of such a situation, and makes it possible to appropriately perform exposure control.
  • the exposure control apparatus calculates a detection value by reducing a weight for a region predicted to come out of the angle of view of the photographing unit within a predetermined time in a photographed image photographed by the photographing unit. And an exposure control unit that performs exposure control of the imaging unit based on the detection value.
  • the exposure control method calculates a detection value by reducing a weight for a region predicted to come out of the angle of view of the photographing unit within a predetermined time in a photographed image photographed by the photographing unit. Then, based on the detection value, exposure control of the imaging unit is performed.
  • the program according to the first aspect of the present technology calculates a detection value by reducing a weight for a region predicted to come out of the angle of view of the photographing unit within a predetermined time in a photographed image photographed by the photographing unit, Based on the detected value, the computer executes a process for performing exposure control of the imaging unit.
  • the imaging device is configured to reduce a weight for an imaging unit and a region that is predicted to come out of an angle of view of the imaging unit within a predetermined time in a captured image captured by the imaging unit.
  • a detection unit that calculates a detection value; and an exposure control unit that performs exposure control of the imaging unit based on the detection value.
  • the moving body reduces a weight for an imaging unit and an area predicted to come out of an angle of view of the imaging unit within a predetermined time in a captured image captured by the imaging unit.
  • a detection unit that calculates a detection value; an exposure control unit that performs exposure control of the imaging unit based on the detection value; and a movement control unit that performs movement control based on the captured image.
  • the detection value is obtained by reducing the weight for a region predicted to exit from the angle of view of the imaging unit within a predetermined time. Is calculated, and exposure control of the imaging unit is performed based on the detection value.
  • a detection value is calculated by reducing a weight for a region predicted to come out of the angle of view of the photographing unit within a predetermined time in a photographed image photographed by the photographing unit, Based on the detection value, exposure control of the imaging unit is performed.
  • a detection value is calculated by reducing a weight for a region predicted to come out of the angle of view of the photographing unit within a predetermined time in a photographed image photographed by the photographing unit, Based on the detection value, exposure control of the imaging unit is performed, and movement control is performed based on the captured image.
  • exposure control can be appropriately performed.
  • exposure control can be performed appropriately.
  • the movement control of the moving body can be appropriately performed.
  • FIG. 2 It is a block diagram which shows the structural example of the mobile body control system with which this technique can be applied. It is a block diagram showing a 1st embodiment of the photography system to which this art is applied.
  • 3 is a flowchart for explaining an exposure control process executed by the imaging system of FIG. 2.
  • It is a schematic diagram which shows the example of a picked-up image. It is a figure which shows the 1st example of the weight of a division area. It is a schematic diagram of the example of the picked-up image which skipped. It is a schematic diagram of the example of the picked-up image which was crushed black. It is a figure which shows the example of survival time. It is a figure which shows the 2nd example of the weight of a division area.
  • FIG. 1 is a block diagram illustrating a schematic functional configuration example of a mobile control system 100 to which the present technology is applied.
  • the moving body control system 100 is a system that is provided in the moving body 10 and performs various controls of the moving body 10.
  • the moving body 10 is composed of, for example, a moving body that captures an image of the surroundings while moving and performs processing using the captured image.
  • the mobile body 10 includes a mobile body having a passenger such as a vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a ship, a construction machine, and an agricultural machine (tractor).
  • the moving body 10 includes a moving body without a passenger such as a drone or a robot that moves by remote control or automatic control.
  • the moving body 10 may be moved by any of direct operation, remote operation, or automatic control.
  • the mobile control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, a mobile internal device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a storage unit 109, And the autonomous movement control part 110 is provided.
  • the input unit 101, data acquisition unit 102, communication unit 103, output control unit 105, drive system control unit 107, storage unit 109, and autonomous movement control unit 110 are connected to each other via a communication network 111. .
  • the communication network 111 is, for example, a communication network conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) such as IEEE 802.3, or FlexRay (registered trademark). Or a bus, or a non-standardized communication method.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • each part of the mobile body control system 100 may be directly connected without going through the communication network 111.
  • each unit of the mobile control system 100 performs communication via the communication network 111
  • the description of the communication network 111 is omitted.
  • the input unit 101 and the autonomous movement control unit 110 communicate via the communication network 111, it is simply described that the input unit 101 and the autonomous movement control unit 110 communicate.
  • the input unit 101 includes a device used by a user to input various data and instructions.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation by voice, gesture, or the like.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or a wearable device corresponding to the operation of the mobile control system 100.
  • the input unit 101 generates an input signal based on data and instructions input by the user and supplies the input signal to each unit of the mobile control system 100.
  • the data acquisition unit 102 includes various sensors that acquire data used for processing of the mobile body control system 100, and supplies the acquired data to each part of the mobile body control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the moving body 10 and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement device (IMU), an acceleration input operation amount such as an accelerator, a deceleration input operation amount, a direction instruction input operation amount,
  • IMU inertial measurement device
  • a sensor or the like is provided for detecting the rotational speed, input / output energy and fuel amount of the driving device such as the engine and motor, the torque amount of the engine and motor, or the rotational speed and torque of the wheels and joints.
  • the data acquisition unit 102 includes various sensors for detecting information outside the moving body 10.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, a polarization camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather and a surrounding information detection sensor for detecting an object around the moving body 10.
  • the environmental sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, a laser ranging sensor, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the moving body 10.
  • the data acquisition unit 102 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the communication unit 103 communicates with the mobile device 104 and various devices, servers, base stations, and the like outside the mobile device, and transmits and receives data supplied from each unit of the mobile control system 100. Data is supplied to each part of the mobile control system 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the mobile internal device 104 using a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
  • the communication unit 103 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (via a connection terminal (and a cable if necessary)). (Wireless High-definition Link) or the like to perform wired communication with the mobile internal device 104.
  • the communication unit 103 communicates with a device (for example, an application server or a control server) that exists on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or an operator-specific network
  • Communicate for example, the communication unit 103 uses a P2P (PeereTo Peer) technology and a terminal (for example, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the moving body 10. Communication.
  • P2P PeereTo Peer
  • a terminal for example, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • the communication unit 103 when the mobile body 10 is a vehicle, the communication unit 103 performs vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, and communication between the mobile body 10 and a home (Vehicle to Home). And V2X communication such as vehicle-to-pedestrian communication.
  • the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a wireless station or the like installed on the road, and acquires information such as a current position, traffic jam, traffic regulation, or required time. To do.
  • the mobile internal device 104 includes, for example, a mobile device or wearable device possessed by a user, an information device carried in or attached to the mobile 10, and a navigation device that searches for a route to an arbitrary destination.
  • the output control unit 105 controls the output of various information to the user or the outside of the moving body.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106, thereby outputting the output unit
  • the output of visual information and auditory information from 106 is controlled.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and outputs an output signal including the generated image. This is supplied to the output unit 106.
  • the output control unit 105 generates sound data including a warning sound or a warning message for a danger such as a collision, contact, or entry into a dangerous zone, and outputs an output signal including the generated sound data to the output unit 106. Supply.
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the user or the outside of the moving body.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a glasses-type display worn by the user, a projector, a lamp, and the like.
  • the display device included in the output unit 106 may display visual information in the driver's field of view, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function. It may be a display device.
  • the output control unit 105 and the output unit 106 are not essential components for the autonomous movement process, and may be omitted as necessary.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies the control state of the drive system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the moving body 10.
  • the drive system 108 includes a servo motor that can specify the angle and torque of each joint of four legs, a motion controller that decomposes and replaces the movement movement of the robot itself into four leg movements, and Provided with a feedback control device using sensors in each motor and sensors on the back of the foot.
  • the drive system 108 includes a motor having four or six propellers facing upward, and a motion controller that disassembles and replaces the movement of the robot itself into the rotation amount of each motor.
  • the drive system 108 includes a driving force generator for generating a driving force such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle.
  • a steering mechanism for adjusting, a braking device for generating braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like are provided.
  • the storage unit 109 includes, for example, a magnetic storage device such as ROM (Read Only Memory), RAM (Random Access Memory), and HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, and the like. .
  • the storage unit 109 stores various programs and data used by each unit of the mobile control system 100.
  • the storage unit 109 is a map such as a three-dimensional high-accuracy map such as a dynamic map, a global map that is less accurate than the high-accuracy map and covers a wide area, and a local map that includes information around the mobile object 10. Store the data.
  • the autonomous movement control unit 110 performs control related to autonomous movement such as automatic driving or driving support. Specifically, for example, the autonomous movement control unit 110 realizes a function of collision avoidance or impact mitigation of the moving body 10, follow-up movement based on the distance between the moving bodies, moving body speed maintaining movement, or collision warning of the moving body 10. Coordinate control for the purpose. In addition, for example, the autonomous movement control unit 110 performs cooperative control for the purpose of autonomous movement that moves autonomously without depending on the operation of the user.
  • the autonomous movement control unit 110 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detecting unit 131 detects various information necessary for controlling autonomous movement.
  • the detection unit 131 includes a mobile body external information detection unit 141, a mobile body internal information detection unit 142, and a mobile body state detection unit 143.
  • the mobile body external information detection unit 141 performs a process of detecting information outside the mobile body 10 based on data or signals from each part of the mobile body control system 100.
  • the mobile object external information detection unit 141 performs a detection process, a recognition process, a tracking process, and a distance detection process for an object around the mobile object 10.
  • objects to be detected include other moving objects, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like.
  • the mobile object external information detection unit 141 performs an environment detection process around the mobile object 10.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition, and the like.
  • the moving body external information detection unit 141 supplies data indicating the detection processing result to the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the situation recognition unit 152, the operation control unit 135, and the like. .
  • the mobile body internal information detection unit 142 performs a process of detecting information inside the mobile body based on data or signals from each part of the mobile body control system 100.
  • the mobile body internal information detection unit 142 performs driver authentication processing and recognition processing, driver state detection processing, passenger detection processing, environment detection processing inside the mobile body, and the like.
  • the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, gaze direction, and the like.
  • Examples of the environment inside the moving object to be detected include temperature, humidity, brightness, smell, and the like.
  • the mobile object internal information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 152 of the situation analysis unit 133, the operation control unit 135, and the like.
  • the moving body state detection unit 143 performs a state detection process of the moving body 10 based on data or signals from each part of the moving body control system 100.
  • the state of the moving body 10 to be detected includes, for example, speed, acceleration, angular velocity, rudder angle, presence / absence and content of abnormality, driving operation state, power seat position and tilt, door lock state, and other This includes the status of mobile devices.
  • the moving body state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 152 of the situation analysis unit 133, the operation control unit 135, and the like.
  • the self-position estimation unit 132 is based on data or signals from the mobile body control system 100 such as the mobile body external information detection unit 141 and the situation recognition unit 152 of the situation analysis unit 133, and the position and the position of the mobile body 10. Posture estimation processing is performed. In addition, the self-position estimation unit 132 generates a local map (hereinafter referred to as a self-position estimation map) used for self-position estimation as necessary.
  • the self-position estimation map is, for example, a highly accurate map using a technique such as SLAM (SimultaneousultLocalization and Mapping).
  • the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151 of the situation analysis unit 133, the situation recognition unit 152, and the like. In addition, the self-position estimating unit 132 stores the self-position estimating map in the storage unit 109.
  • the situation analysis unit 133 performs analysis processing of the mobile object 10 and the surrounding situation.
  • the situation analysis unit 133 includes a map analysis unit 151, a situation recognition unit 152, and a situation prediction unit 153.
  • the map analysis unit 151 uses various data or signals from each part of the mobile control system 100 such as the self-position estimation unit 132 and the mobile external information detection unit 141 as necessary, and stores various data stored in the storage unit 109.
  • the map is analyzed, and a map including information necessary for the autonomous movement process is constructed.
  • the map analysis unit 151 supplies the constructed map to the situation recognition unit 152, the situation prediction unit 153, the route plan unit 161, the action plan unit 162, the action plan unit 163, and the like of the plan unit 134.
  • the situation recognition unit 152 is a part of the mobile body control system 100 such as a self-position estimation unit 132, a mobile body external information detection unit 141, a mobile body internal information detection unit 142, a mobile body state detection unit 143, and a map analysis unit 151. Based on the data or signal from, the situation recognition process for the moving object 10 is performed. For example, the situation recognition unit 152 performs recognition processing such as the situation of the mobile body 10, the situation around the mobile body 10, and the situation of the driver of the mobile body 10. In addition, the situation recognition unit 152 generates a local map (hereinafter referred to as a situation recognition map) used for recognition of the situation around the mobile object 10 as necessary.
  • the situation recognition map is, for example, an occupation grid map (OccupancyccMap Map), a road map (Lane Map), or a point cloud map (Point Cloud Map).
  • the situation of the moving body 10 to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the moving body 10 and the presence / absence and contents of the abnormality.
  • the situation around the moving object 10 to be recognized includes, for example, the type and position of the surrounding stationary object, the type and position of the surrounding moving object (for example, speed, acceleration, moving direction, etc.), and the surrounding road. And the condition of the road surface, the surrounding weather, temperature, humidity, brightness, and the like.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, line of sight movement, and driving operation.
  • the situation recognition unit 152 supplies data indicating the result of recognition processing (including a situation recognition map as necessary) to the self-position estimation unit 132, the situation prediction unit 153, and the like. Further, the situation recognition unit 152 stores the situation recognition map in the storage unit 109.
  • the situation prediction unit 153 performs a situation prediction process on the mobile body 10 based on data or signals from each part of the mobile body control system 100 such as the map analysis unit 151 and the situation recognition unit 152. For example, the situation prediction unit 153 performs prediction processing such as the situation of the moving body 10, the situation around the moving body 10, and the situation of the driver.
  • the situation of the mobile object 10 to be predicted includes, for example, the behavior of the mobile object 10, the occurrence of an abnormality, and the movable distance.
  • the situation around the mobile object 10 to be predicted includes, for example, the behavior of moving objects around the mobile object 10, changes in signal states, changes in the environment such as weather, and the like.
  • the situation of the driver to be predicted includes, for example, the behavior and physical condition of the driver.
  • the situation prediction unit 153 supplies the data indicating the result of the prediction process and the data from the situation recognition unit 152 to the route planning unit 161, the action planning unit 162, the action planning unit 163, and the like of the planning unit 134.
  • the route planning unit 161 plans a route to the destination based on data or signals from each part of the mobile control system 100 such as the map analysis unit 151 and the situation prediction unit 153. For example, the route planning unit 161 sets a route from the current position to the designated destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on conditions such as traffic jams, accidents, traffic restrictions, construction, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action plan unit 162 can safely route the route planned by the route plan unit 161 within the planned time.
  • the action of the moving body 10 for moving to is planned.
  • the action planning unit 162 performs plans such as start, stop, traveling direction (for example, forward, backward, left turn, right turn, direction change, etc.), moving speed, and overtaking.
  • the behavior planning unit 162 supplies data indicating the planned behavior of the moving body 10 to the behavior planning unit 163 and the like.
  • the motion planning unit 163 is based on data or signals from each part of the mobile control system 100 such as the map analysis unit 151 and the situation prediction unit 153, and the moving body 10 for realizing the action planned by the action planning unit 162. Plan the behavior. For example, the motion planning unit 163 performs planning such as acceleration, deceleration, and movement trajectory. The motion planning unit 163 supplies data indicating the planned motion of the moving body 10 to the motion control unit 135 and the like.
  • the operation control unit 135 controls the operation of the moving body 10.
  • the operation control unit 135 detects collision, contact, or danger zone based on the detection results of the mobile body external information detection unit 141, the mobile body internal information detection unit 142, and the mobile body state detection unit 143. Emergency detection processing such as approach, driver abnormality, and moving body 10 abnormality is performed. When the occurrence of an emergency situation is detected, the operation control unit 135 plans the operation of the moving body 10 to avoid an emergency situation such as a sudden stop or a sudden turn.
  • the operation control unit 135 performs acceleration / deceleration control for realizing the operation of the moving body 10 planned by the operation planning unit 163. For example, the operation control unit 135 calculates a control target value of a driving force generator or a braking device for realizing planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. This is supplied to the system control unit 107.
  • the operation control unit 135 performs direction control for realizing the operation of the moving body 10 planned by the operation planning unit 163. For example, the operation control unit 135 calculates a control target value of the steering mechanism for realizing the moving trajectory or the sudden turn planned by the operation planning unit 163, and outputs a control command indicating the calculated control target value to the drive system control unit 107 is supplied.
  • the moving body 10 is a vehicle
  • the moving body 10 is a vehicle
  • the first embodiment is mainly related to the processing of the data acquisition unit 102 in the mobile control system 100 of FIG.
  • FIG. 2 is a block diagram illustrating a configuration example of the imaging system 201 according to the first embodiment of the present technology.
  • the photographing system 201 is a system for photographing the surroundings of the moving body 10.
  • the imaging system 201 includes an imaging unit 211 and a control unit 212.
  • the imaging system 201 may be configured by a single device (for example, an imaging device) or may be configured by a plurality of devices.
  • the photographing unit 211 and the control unit 212 are divided into different devices (for example, a photographing device and an exposure control device), or the photographing unit 211 and a part of the control unit 212 are one device (for example, photographing). Device), and a device (for example, an exposure control device) in which the rest of the control unit 212 is different.
  • the photographing unit 211 photographs the surroundings of the moving body 10.
  • the imaging unit 211 sets the weights of the detection unit 131 and the self-position estimation unit 132 of the moving body control system 100 and the detection unit 221 of the control unit 212 for an image obtained as a result of imaging (hereinafter referred to as a captured image). To the unit 231 and the like.
  • the imaging unit 211 also adjusts the exposure time (shutter speed) of the image sensor (not shown), the gain (sensitivity) of the image sensor, and the size of the aperture based on the control signal from the control signal generation unit 244. By adjusting the exposure amount, the exposure amount is adjusted.
  • the control unit 212 performs exposure control of the photographing unit 211 and the like.
  • the control unit 212 includes a detection unit 221 and an exposure control unit 222.
  • the detection unit 221 detects a detection value based on the luminance of the captured image, and supplies a detection signal indicating the detection value to the error detection unit 241 of the exposure control unit 222.
  • the detection unit 221 includes a weight setting unit 231 and a detection value calculation unit 232.
  • the weight setting unit 231 divides the captured image into a plurality of divided areas and sets a weight for each divided area, as will be described later.
  • the weight setting unit 231 supplies the captured image and data indicating the weight of each divided region to the detection value calculation unit 232.
  • the detection value calculation unit 232 calculates a detection value based on the luminance and weight of each divided region of the captured image.
  • the detection value calculation unit 232 supplies a detection signal indicating the detection value to the error detection unit 241 of the exposure control unit 222.
  • the exposure control unit 222 performs exposure control of the imaging unit 211 based on the detection signal.
  • the exposure control unit 222 includes an error detection unit 241, an exposure amount setting unit 242, a control method setting unit 243, and a control signal generation unit 244.
  • the error detection unit 241 detects an error between the detection value detected by the detection unit 221 and the target value, and supplies data indicating the detected error to the exposure amount setting unit 242.
  • the exposure amount setting unit 242 sets a target value for the exposure amount of the imaging unit 211 based on the detection value error.
  • the exposure amount setting unit 242 supplies data indicating the target value of the exposure amount to the control method setting unit 243.
  • the control method setting unit 243 sets the exposure control method of the photographing unit 211 so that the exposure amount of the photographing unit 211 reaches the target value.
  • the control method setting unit 243 supplies the target value of the exposure amount and data indicating the exposure control method to the control signal generation unit 244.
  • the control signal generation unit 244 generates a control signal for controlling the exposure of the imaging unit 211 so that the exposure amount reaches the target value in accordance with the set exposure control method, and supplies the control signal to the imaging unit 211.
  • This process is started when the photographing system 201 is turned on, for example, and is finished when the photographing system 201 is turned off.
  • step S1 the photographing unit 211 photographs the surroundings of the moving body 10.
  • the photographing unit 211 supplies a photographed image obtained by photographing to the detecting unit 131, the self-position estimating unit 132, the weight setting unit 231 and the like.
  • the moving body external information detection unit 141 (FIG. 1) of the detection unit 131 detects, for example, feature points in the captured image and positions (distances and directions) of the feature points with respect to the moving body 10. Note that any method can be used as the feature point detection method.
  • the moving body external information detection unit 141 detects, for example, the position and type of each subject in the captured image. It should be noted that any method such as semantic segmentation, human body detection, or vehicle detection can be used as the subject detection method.
  • the moving body external information detection unit 141 detects, for example, the movement (for example, speed and moving direction) of each subject in the captured image.
  • An arbitrary method can be used as a method for detecting the movement of the subject.
  • the self-position estimating unit 132 performs self-position estimation of the moving body 10 based on the captured image or the like.
  • the photographed image P1 is an image obtained by photographing the front of the moving body 10 and shows the sky, the road surface ahead, other vehicles on the road surface, buildings and trees on both sides of the road, and the like.
  • step S2 the weight setting unit 231 acquires the moving body 10 and surrounding information.
  • the weight setting unit 231 detects the feature points in the captured image, the positions (distances and directions) of the feature points with respect to the moving body 10, and the positions, types, and movements of the subjects in the captured image. Is obtained from the mobile external information detection unit 141.
  • the weight setting unit 231 acquires data indicating detection results such as the speed and angular velocity of the mobile body 10 from the mobile body state detection unit 143 (FIG. 1) of the detection unit 131.
  • the weight setting unit 231 acquires data indicating the estimation result of the self-position of the mobile body 10 from the self-position estimation unit 132.
  • step S3 the weight setting unit 231 sets a weight for each divided region of the captured image. Specifically, the weight setting unit 231 divides the captured image into a plurality of divided areas. Although details will be described later, the weight setting unit 231 sets a weight for each divided region. The weight setting unit 231 supplies the captured image and data indicating the weight of each divided region to the detection value calculation unit 232.
  • step S4 the detection value calculation unit 232 calculates a detection value based on the luminance and weight of each divided region of the captured image.
  • the detection value calculation unit 232 supplies a detection signal indicating the detection value to the error detection unit 241.
  • step S3 and step S4 the specific example of the calculation method of the detected value in step S3 and step S4 is demonstrated.
  • the numbers in each divided area i in FIG. 5 indicate the weights wi of the divided areas i.
  • the weights wi of all the divided areas i are set to 1.
  • the detection value calculation unit 232 calculates the weighted average of the luminance of each divided region i as a detection value by the following equation (1).
  • xi represents the average luminance xi of each pixel in the divided area i (hereinafter referred to as average luminance xi).
  • the detection value is equal to the average of the average luminance xi of each divided area i, in other words, the simple average of the luminance of each pixel of the captured image P1.
  • the exposure of the imaging unit 211 may not be appropriately controlled when the brightness around the moving body 10 changes abruptly. That is, since exposure control is normally performed based on a detection value based on a captured image captured before a predetermined frame or a predetermined time, when the ambient brightness changes rapidly, the exposure control is There is a risk that the brightness change cannot be followed quickly.
  • exposure control may not be in time, and the bright part in the photographed image may be blown out.
  • FIG. 6 schematically shows a photographed image P2 photographed near the exit of the forest.
  • a photographed image P2 photographed near the exit of the forest for example, a bright area near the forest exit in the area A1 and a bright area ahead of the exit are overexposed. For this reason, the situation outside the forest cannot be accurately grasped, and the accuracy of self-position estimation and obstacle recognition may be reduced.
  • FIG. 7 schematically shows a photographed image P3 photographed near the entrance of the tunnel.
  • a photographed image P3 photographed near the entrance of the tunnel.
  • a dark area in the tunnel in the area A2 is crushed black. For this reason, the situation in the tunnel cannot be accurately grasped, and there is a risk that self-position estimation and obstacle recognition will be hindered.
  • the weight setting unit 231 first predicts the survival time ti of each divided region i.
  • the survival time ti is a time during which the divided area i (subject within the subject) is shown in the captured image after a reference time that is a reference for predicting the survival time.
  • the survival time ti is a time during which the divided area i (inside subject) remains within the angle of view of the imaging unit 211 after the reference time. More specifically, for example, the survival time is from the time when the survival time is predicted (reference time) to the time when the divided region i (the subject in the area) comes out of the angle of view of the imaging unit 211 and is not captured in the captured image. Is the time.
  • the weight setting unit 231 sets a representative feature point pi for each divided region i of the captured image.
  • the weight setting unit 231 sets the feature point as the representative feature point pi.
  • the weight setting unit 231 sets one of them as the representative feature point pi. For example, the weight setting unit 231 selects the subject having the largest area in the divided region i or the most important subject in the divided region i. Here, the most important subject is a subject most necessary to be recognized, such as a person, a vehicle, or a sign. Then, the weight setting unit 231 sets, for example, the feature point having the largest feature amount among the feature points of the selected subject as the representative feature point pi.
  • the weight setting unit 231 sets the feature point having the largest feature amount in the divided region i or the feature point closest to the center of the divided region i as the representative feature point pi without considering the subject. .
  • the weight setting unit 231 predicts the survival time ti of the divided region i based on, for example, the speed and moving direction of the moving body 10 and the distance and direction of the representative feature point pi from the moving body 10. For example, the weight setting unit 231 assumes that the moving body 10 continues to move in the current moving direction at the current speed, and the time at which the representative feature point pi comes out from the captured image (the time from the angle of view of the photographing unit 211). Predict. The weight setting unit 231 sets the time from the current time to the predicted time as the survival time ti of the divided region i.
  • FIG. 8 shows an example of the survival time at each point in the captured image P1 when the moving body 10 moves in the direction of the arrow.
  • the numerical value under the black dot in the figure indicates the survival time of each point.
  • the point on the subject closer to the moving body 10 in the traveling direction of the moving body 10 has a shorter survival time.
  • the point on the subject farther from the moving body 10 in the traveling direction of the moving body 10 has a longer survival time.
  • the weight setting unit 231 may predict the survival time ti by further considering the movement of the subject in the divided region i.
  • the weight setting unit 231 includes the speed and moving direction of the moving body 10, the speed and moving direction of the feature point of the subject having the representative feature point pi (hereinafter referred to as the representative subject), and the moving body of the representative feature point pi. Based on the distance and direction from 10, the survival time ti is predicted. For example, the weight setting unit 231 assumes that the moving body 10 and the representative subject continue to move in the current moving direction at the current speed, and the time when the representative feature point pi comes out of the captured image (from the angle of view of the photographing unit 211). Time). The weight setting unit 231 sets the time from the current time to the predicted time as the survival time ti of the divided region i.
  • the weight setting unit 231 calculates the weight wi of each divided region i based on the survival time ti using, for example, the function f of the following equation (3).
  • Wi f (l, D, ti, v, ⁇ ) (3)
  • l indicates the time lag
  • D indicates the exposure depth
  • v indicates the speed of the moving body 10
  • ⁇ indicates the angular speed of the moving body 10.
  • the time lag l indicates the time required for exposure control.
  • the time lag l indicates the time (time lag) from when the captured image is acquired until the exposure control based on the captured image is completed.
  • the time lag l can be said to be the time required for the exposure to be reflected, for example.
  • the time lag l may be a fixed value or a variable value.
  • the time lag l is set based on the amount of change in the detection value, for example.
  • the amount of change in the detected value is large, that is, when the brightness around the moving body 10 changes greatly, the time required for exposure control is generally increased, so the time lag l is increased.
  • the amount of change in the detection value is small, that is, when the brightness around the moving body 10 has hardly changed, the time required for exposure control is generally shortened, so the time lag l is reduced.
  • the exposure depth D indicates the depth at which exposure is desired, that is, the distance from the moving body 10 at the position where exposure is desired.
  • the weight wi for the divided area i that is dominant in the captured image after the elapse of the time lag l (the time at which the exposure control is completed) and the divided area i having high importance is large due to the function f.
  • the weight wi for the divided area i that does not become dominant in the captured image after the elapse of the time lag l and the divided area i with low importance is set to a small value.
  • the divided region i that becomes dominant in the captured image after the elapse of the time lag l is, for example, the divided region i predicted to occupy a large area in the captured image captured after the elapse of the time lag l.
  • the area that the divided area i occupies in the captured image taken after the elapse of the time lag l is predicted based on, for example, the survival time ti of the divided area i, the velocity v and the angular velocity w of the moving body 10, and the like.
  • the importance of the divided region i is predicted based on, for example, the time lag l, the exposure depth D, the survival time ti, and the velocity v and the angular velocity w of the moving body 10. For example, the smaller the difference between the predicted distance from the moving body 10 after the elapse of the time lag l to the divided area i (inside subject) and the exposure depth D, that is, the elapse of the time lag l in the divided area i (inside subject). The closer to the position where exposure is to be adjusted later, the higher the importance.
  • FIG. 9 shows an example of the weight wi set using the function f for each divided region i of the captured image P1 by the same method as in FIG.
  • the weight wi for the divided region i near the center of the captured image P1 and having a survival time ti close to (time lag 1 + exposure depth D / speed v) is large.
  • the weight wi with respect to the divided area i in which the road surface just before the moving body 10 and the vehicle on the road surface, the building just before the moving body 10 and the like are shown is large.
  • a divided region i that is predicted not to exist in the captured image after the lapse of the time lag l (a divided region i predicted to come out of the angle of view of the photographing unit 211 within the time until the time lag l elapses), for example
  • the weight for the divided region i whose survival time ti is less than the time lag l is small.
  • the weights wi for the divided areas i near the left and right ends and the four corners of the captured image Pi are small.
  • the weight wi for the divided region i that is far from the moving body 10 is small.
  • the weight wi for the divided region i in which the sky and the vicinity of the vanishing point of the road are reflected is small.
  • the detection value calculation unit 232 calculates the detection value by calculating the weighted average of the luminance of each divided region i using the weight wi for each divided region i according to the above-described equation (1).
  • the function f may be created and tuned manually, or may be generated using machine learning.
  • one or more of the time lag l, the exposure depth D, the velocity v of the moving body 10 and the angular velocity ⁇ of the moving body 10 that are arguments of the function f can be omitted.
  • the weight setting unit 231 uses the parameter table shown in FIG. 10 to set the parameter ⁇ i based on the type of the largest subject among the subjects in each divided region i.
  • the parameter ⁇ i is larger for a subject that needs to be recognized, such as a person, a car, a road surface, or a sign.
  • an object whose necessity for recognition is low such as sky and trees, has a smaller parameter ⁇ i.
  • the weight setting unit 231 sets the parameter ⁇ i of each divided region i by the following equation (3).
  • Grad (u, v) indicates the gradient of the luminance (or pixel value) of the pixel at the coordinates (u, v) in the divided area i, and the parameter ⁇ i is the image gradient of the divided area i.
  • the parameter ⁇ i increases as the image gradient of the divided area i increases, for example, as the change in luminance (or pixel value) of the divided area i increases.
  • the smaller the image gradient of the divided region i for example, the smaller the change in luminance (or pixel value) of the divided region i, the smaller the parameter ⁇ i.
  • the divided area i having a large image gradient generally includes an object close to the moving body 10, and the object is clearly visible.
  • the region where the image gradient is small is a region where an object generally does not exist or a region which includes an object far from the moving body 10 and the object is not clearly captured.
  • the parameter ⁇ i for the divided area A11 including the building in the captured image P1 in FIG. 11 is larger than the parameter ⁇ i for the divided area A12 including the sky.
  • the detection value calculation unit 232 calculates the detection value by calculating the weighted average of the luminance of each divided region i using the weight ⁇ i * wi for each divided region i according to the following equation (4).
  • the detection value is calculated by setting a smaller weight for the divided region i having a low importance level.
  • the parameter ⁇ i may be set based on both the type of subject and the image gradient. Further, for example, the parameter ⁇ i may be set using a parameter indicating the importance of the other divided area i.
  • the captured image used for calculating the detection value is preferably a raw image before ⁇ correction.
  • step S5 the error detection unit 241 detects an error in the detection value. Specifically, the error detection unit 241 detects a difference between the detection value calculated by the detection value calculation unit 232 and the target value of the detection value as an error. The error detection unit 241 supplies data indicating the detection value error to the exposure amount setting unit 242.
  • the target value of the detection value is set to a value (for example, 18%) between 12% and 20% of the luminance at the time of saturation of the pixels of the image sensor of the imaging unit 211, for example.
  • the exposure amount setting unit 242 sets an exposure amount target value. For example, the exposure amount setting unit 242 sets the target value of the exposure amount of the imaging unit 211 so that the detection value approaches the target value based on the transition of the detection value error. At this time, the exposure amount setting unit 242 prevents, for example, the captured image from suddenly brightening, suddenly darkening, or repeating light and dark so that the brightness of the captured image does not change unnaturally. Then, a target value for the exposure amount is set. For example, the exposure amount setting unit 242 gradually changes the target value of the exposure amount, or provides a period for fixing the target value of the exposure amount in the vicinity of the target value of the detection value without changing.
  • the exposure amount setting unit 242 supplies data indicating the target value of the exposure amount to the control method setting unit 243.
  • step S7 the control method setting unit 243 sets an exposure control method.
  • the exposure amount of the photographing unit 211 is set by the exposure time (shutter speed) of the image sensor of the photographing unit 211, the gain (sensitivity) of the image sensor, and the size of the diaphragm. On the other hand, for example, if the gain is increased too much, the noise of the captured image increases, and if the exposure time is increased, the blur of the captured image increases.
  • control method setting unit 243 appropriately sets the distribution of the exposure control method (exposure time, gain, and aperture) so that the exposure amount reaches the target value while suppressing noise and blurring of the captured image. To do.
  • the control method setting unit 243 supplies the control signal generation unit 244 with data indicating the exposure amount target value and the distribution of the exposure control method.
  • step S8 the imaging system 201 performs exposure control.
  • control signal generation unit 244 calculates the control amount for the exposure time, the gain, and the aperture size based on the target value of the exposure amount and the distribution of the exposure control method.
  • the control signal generation unit 244 supplies a control signal indicating the calculated exposure time, gain, and control amount of the aperture size to the imaging unit 211.
  • the imaging unit 211 adjusts the exposure time, gain, and aperture size based on the control signal.
  • step S1 the process returns to step S1, and the processes after step S1 are executed.
  • the detection value is calculated by weighting each divided region i of the captured image, and exposure control is performed based on the calculated detection value.
  • exposure is quickly adjusted to the subject in the divided area i for which a larger weight is set. Therefore, for example, exposure is quickly performed on a subject that is dominant in a captured image that is captured when exposure is actually controlled based on a captured image that was captured a short time ago or a subject that is highly required to be recognized. And the occurrence of overexposure and blackout can be suppressed. As a result, the accuracy of the self-position estimation and obstacle recognition of the moving body 10 is improved.
  • the second embodiment is mainly related to the processing of the data acquisition unit 102 in the mobile control system 100 of FIG. 1, as in the first embodiment.
  • FIG. 12 is a block diagram illustrating a configuration example of an imaging system 301 that is the second embodiment of the present technology.
  • the same reference numerals are given to the portions corresponding to the photographing system 201 of FIG. 2, and the description thereof will be omitted as appropriate.
  • the imaging system 301 is different from the imaging system 201 in that a control unit 311 is provided instead of the control unit 212.
  • the control unit 311 is different from the control unit 212 in that a detection unit 321 is provided instead of the detection unit 221.
  • the detection unit 321 includes a region setting unit 331 and a detection value calculation unit 332.
  • the region setting unit 331 sets a region (hereinafter referred to as a detection region) that is a detection value detection target in the captured image.
  • the region setting unit 331 supplies the captured image and data indicating the detection region to the detection value calculation unit 332.
  • the detection value calculation unit 332 calculates a detection value based on the luminance of the detection area of the captured image.
  • the detection value calculation unit 332 supplies a detection signal indicating the detection value to the error detection unit 241.
  • this processing is started, for example, when the power of the photographing system 301 is turned on, and is ended when the power of the photographing system 301 is turned off.
  • step S101 the periphery of the moving body 10 is photographed in the same manner as in step S1 of FIG.
  • step S102 the mobile body 10 and surrounding information are acquired in the same manner as in step S2 of FIG.
  • step S103 the region setting unit 331 sets a detection region.
  • the region setting unit 331 predicts the survival time ti of each divided region i of the captured image by the same processing as step S3 in FIG. Then, the region setting unit 331 sets the detection region of the captured image based on the survival time ti of each divided region i.
  • the region setting unit 331 sets a region composed of the divided regions i whose survival time ti is equal to or greater than a predetermined threshold as a detection region. For example, as shown in FIG. 14, when the moving body 10 is moving in the direction of the arrow, a rectangular area A21 at the substantially center of the captured image P1 is set as the detection area.
  • the threshold used for setting the detection area may be a fixed value or a variable value.
  • the threshold value is set based on the time lag l, the exposure depth D, the speed v of the moving body 10 and the like in the above-described equation (3).
  • the time lag 1 or (time lag 1 + exposure depth D / speed v) is set as the threshold value.
  • the region setting unit 331 uses a predetermined algorithm based on the movement of the moving body 10 (for example, speed and angular velocity) and the captured image, and the like after a predetermined target time has elapsed in the current captured image. A region corresponding to the captured image is predicted. Then, the region setting unit 331 sets the predicted region as the detection region.
  • a predetermined algorithm based on the movement of the moving body 10 (for example, speed and angular velocity) and the captured image, and the like after a predetermined target time has elapsed in the current captured image. A region corresponding to the captured image is predicted. Then, the region setting unit 331 sets the predicted region as the detection region.
  • FIG. 15 schematically shows an example of a photographed image P4 photographed after the target time has elapsed since the photographed image P1 was photographed.
  • the region setting unit 331 predicts a region A31 corresponding to the captured image P4 in the captured image P1 before capturing the captured image P4. That is, the area A31 is an area predicted to appear in the captured image P4 after the target time in the captured image P1. Then, the region setting unit 331 sets the region A31 as a detection region.
  • the target time may be a fixed value or a variable value.
  • the target time is set based on the time lag l, the exposure depth D, the speed v of the moving body 10 and the like in the above-described equation (3).
  • the time lag 1 or (time lag 1 + exposure depth D / speed v) is set as the target time.
  • the detection region is not necessarily limited to a rectangle, and may be a shape other than a rectangle.
  • the detection value calculation unit 332 calculates a detection value for the detection region. For example, the detection value calculation unit 332 calculates the average luminance of each pixel in the detection area of the captured image as the detection value. For this detection value, the weight for the detection region of the captured image is set to 1, and the weight for the region other than the detection region (the region predicted to exit from the angle of view of the imaging unit 211 within a predetermined time) is set to 0. Except for the area where the weight is set to 0, the average luminance of the captured image is equal to the calculated value.
  • steps S105 to S108 processing similar to that in steps S5 to S8 in FIG. 3 is executed. Thereafter, the process returns to step S101, and the processes after step S101 are executed.
  • a detection area is set, a detection value is calculated based on the luminance of the detection area, and exposure control is performed based on the calculated detection value.
  • the exposure can be quickly adjusted for the subject in the detection region except for the subject outside the detection region. It is possible to quickly adjust exposure to subjects that are dominant in a captured image that is captured when exposure is actually controlled based on a captured image that was captured a short time ago, or subjects that have a high need for recognition. It is possible to suppress the occurrence of whiteout or blackout. As a result, the accuracy of the self-position estimation and obstacle recognition of the moving body 10 is improved.
  • the divided area i can be configured by one pixel.
  • the detection area may be divided into a plurality of divided areas, and the detection value may be calculated by weighting each divided area.
  • FIG. 17 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program. A series of processing is performed.
  • the program executed by the computer 500 can be provided by being recorded on a removable medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by installing the removable medium 511 in the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in the ROM 502 or the recording unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a detection unit that calculates a detection value by reducing a weight for an area predicted to come out of the angle of view of the imaging unit within a predetermined time in a captured image captured by the imaging unit;
  • An exposure control device comprising: an exposure control unit that performs exposure control of the imaging unit based on the detection value.
  • the exposure control apparatus according to (1) wherein the detection unit calculates the detection value based on a survival time for each of a plurality of regions in the captured image.
  • the detection unit sets a weight of the region based on the survival time, and calculates the detection value based on the luminance and the weight of each region.
  • the exposure control apparatus calculates the detection value by a weighted average of luminances of the regions using the weights.
  • the detection unit is based on at least one of the time required for exposure control, the distance to match the exposure, the speed of the moving object including the photographing unit, and the angular speed of the moving object in addition to the survival time, The exposure control apparatus according to (3) or (4), wherein the weight is set.
  • the exposure control apparatus according to any one of (3) to (5), wherein the detection unit further sets the weight based on a type of subject in the region.
  • the exposure control apparatus according to any one of (3) to (6), wherein the detection unit further sets the weight based on an image gradient in the region.
  • the detection unit sets a partial region of the captured image as a detection region based on the survival time of each region, and calculates the detection value based on the luminance of the detection region.
  • Exposure control device (9) The exposure control apparatus according to (8), wherein the detection unit sets the area where the survival time is equal to or greater than a predetermined threshold as the detection area.
  • the detection unit sets a partial region of the photographed image as a detection region based on the movement of the moving body including the photographing unit and the photographed image, and calculates the detection value based on the luminance of the detection region.
  • the exposure control apparatus according to (1).
  • (11) The exposure control apparatus according to (10), wherein the detection unit sets an area predicted to be imaged by the imaging unit after a predetermined time as the detection area.
  • the exposure control apparatus according to any one of (1) to (11), wherein the detection unit calculates the detection value except for an area predicted to come out of the angle of view of the imaging unit within the predetermined time. .
  • the detection value is calculated by reducing the weight for the region predicted to come out of the angle of view of the imaging unit within a predetermined time, An exposure control method for performing exposure control of the imaging unit based on the detection value.
  • the detection value is calculated by reducing the weight for the region predicted to come out of the angle of view of the imaging unit within a predetermined time, A program for causing a computer to execute processing for performing exposure control of the imaging unit based on the detected value.
  • a shooting section A detection unit that calculates a detection value by reducing a weight for a region predicted to come out of the angle of view of the imaging unit within a predetermined time in a captured image captured by the imaging unit;
  • An imaging apparatus comprising: an exposure control unit that performs exposure control of the imaging unit based on the detection value.
  • a shooting section A detection unit that calculates a detection value by reducing a weight for a region predicted to come out of the angle of view of the imaging unit within a predetermined time in a captured image captured by the imaging unit;
  • An exposure control unit that performs exposure control of the imaging unit based on the detection value;
  • a moving body comprising: a movement control unit that performs movement control based on the captured image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本技術は、適切に露光制御を行うことができるようにする露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体に関する。 露光制御装置は、撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部とを備える。本技術は、例えば、車両やロボット等の移動体に設けられる撮影装置や撮影システムに適用することができる。

Description

露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
　本技術は、露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体に関し、特に、自動露光（Auto Exposure）を行う場合に用いて好適な露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体に関する。
　従来、自車両の走行進行方向の遠方道路消失点を基準にして、遠方車両が走行していると期待される遠方小枠を定義し、遠方小枠内の輝度情報に基づいて車載カメラの露光制御を行うことが提案されている（例えば、特許文献１参照）。
特開２０１７－５６７８号公報
　ところで、例えば、トンネルの入口又は出口付近などで周囲の明るさが急激に変化する場合、車載カメラの露光制御が間に合わずに、撮影された画像において、明るい場所が白飛びしたり、暗い場所が黒潰れしたりする場合がある。特許文献１では、この対策については検討されていない。
　本技術は、このような状況に鑑みてなされたものであり、適切に露光制御を行うことができるようにするものである。
　本技術の第１の側面の露光制御装置は、撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部とを備える。
　本技術の第１の側面の露光制御方法は、撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出し、前記検波値に基づいて、前記撮影部の露光制御を行う。
　本技術の第１の側面のプログラムは、撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出し、前記検波値に基づいて、前記撮影部の露光制御を行う処理をコンピュータに実行させる。
　本技術の第２の側面の撮影装置は、撮影部と、前記撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部とを備える。
　本技術の第３の側面の移動体は、撮影部と、前記撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と、前記撮影画像に基づいて、移動制御を行う移動制御部とを備える。
　本技術の第１の側面又は第２の側面においては、撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みが小さくされて検波値が算出され、前記検波値に基づいて、前記撮影部の露光制御が行われる。
　本技術の第２の側面においては、撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みが小さくされて検波値が算出され、前記検波値に基づいて、前記撮影部の露光制御が行われる。
　本技術の第３の側面においては、撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みが小さくされて検波値が算出され、前記検波値に基づいて、前記撮影部の露光制御が行われ、前記撮影画像に基づいて、移動制御が行われる。
　本技術の第１の側面又は第２の側面によれば、適切に露光制御を行うことができる。
　本技術の第３の側面によれば、適切に露光制御を行うことができる。その結果、移動体の移動制御を適切に行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術が適用され得る移動体制御システムの構成例を示すブロック図である。 本技術を適用した撮影システムの第１の実施の形態を示すブロック図である。 図２の撮影システムにより実行される露光制御処理を説明するためのフローチャートである。 撮影画像の例を示す模式図である。 分割領域の重みの第１の例を示す図である。 白飛びした撮影画像の例の模式図である。 黒潰れした撮影画像の例の模式図である。 生存時間の例を示す図である。 分割領域の重みの第２の例を示す図である。 パラメータテーブルの例を示す図である。 画像勾配に基づくパラメータを説明するための図である。 本技術を適用した撮影システムの第２の実施の形態を示すブロック図である。 図１２の撮影システムにより実行される露光制御処理を説明するためのフローチャートである。 検波領域の第１の設定方法を説明するための図である。 検波領域の第２の設定方法を説明するための図である。 検波領域の第２の設定方法を説明するための図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．移動体制御システムの構成例
　２．第１の実施の形態（輝度の加重平均を用いる例）
　３．第２の実施の形態（検波領域を設定する例）
　４．変形例
　５．その他
　＜＜１．移動体制御システムの構成例＞＞
　図１は、本技術を適用した移動体制御システム１００の概略的な機能の構成例を示すブロック図である。
　移動体制御システム１００は、移動体１０に設けられ、移動体１０の各種の制御を行うシステムである。
　移動体１０は、例えば、移動しながら周囲を撮影し、撮影した画像を用いた処理を行う移動体からなる。例えば、移動体１０は、車両、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の搭乗者のいる移動体を含む。また、例えば、移動体１０は、遠隔操作又は自動制御により移動するドローン、ロボット等の搭乗者のいない移動体を含む。さらに、例えば、移動体１０は、直接操作、遠隔操作、又は、自動制御のいずれにより移動するものでもよい。
　移動体制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、移動体内部機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１０９、及び、自律移動制御部１１０を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、記憶部１０９、及び、自律移動制御部１１０は、通信ネットワーク１１１を介して、相互に接続されている。通信ネットワーク１１１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、IEEE802.3等のＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス、あるいは規格化されていない独自の通信方式等からなる。なお、移動体制御システム１００の各部は、通信ネットワーク１１１を介さずに、直接接続される場合もある。
　なお、以下、移動体制御システム１００の各部が、通信ネットワーク１１１を介して通信を行う場合、通信ネットワーク１１１の記載を省略するものとする。例えば、入力部１０１と自律移動制御部１１０が、通信ネットワーク１１１を介して通信を行う場合、単に入力部１０１と自律移動制御部１１０が通信を行うと記載する。
　入力部１０１は、ユーザが各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、ユーザにより入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム１００の各部に供給する。
　データ取得部１０２は、移動体制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、移動体１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセル等の加速入力の操作量、減速入力の操作量、方向指示入力の操作量、エンジンやモータ等の駆動装置の回転数や入出力エネルギー・燃料量、エンジンやモータ等のトルク量、若しくは、車輪や関節の回転速度やトルク等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、移動体１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、移動体１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザ測距センサ、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、移動体１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　通信部１０３は、移動体内部機器１０４、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム１００の各部から供給されるデータを送信したり、受信したデータを移動体制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、移動体内部機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、移動体内部機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、移動体１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、移動体１０が車両の場合、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、移動体１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　移動体内部機器１０４は、例えば、ユーザが有するモバイル機器若しくはウェアラブル機器、移動体１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、ユーザ又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、ユーザ又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、ユーザが装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。尚、出力制御部１０５および出力部１０６は、自律移動の処理には必須の構成ではないため、必要に応じて省略するようにしてもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、移動体１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、４本の脚の各関節に備わった角度やトルクを指定可能なサーボモータ、ロボット自体の移動の動きを４本の足の動きに分解・置換するモーションコントローラ並びに、各モータ内のセンサや足裏面のセンサによるフィードバック制御装置を備える。
　別の例では、駆動系システム１０８は、４基ないし６基の機体上向きのプロペラを持つモータ、ロボット自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。
　さらに、別の例では、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　記憶部１０９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１０９は、移動体制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１０９は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体１０の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自律移動制御部１１０は、自動運転又は運転支援等の自律移動に関する制御を行う。具体的には、例えば、自律移動制御部１１０は、移動体１０の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体１０の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自律移動制御部１１０は、ユーザの操作に拠らずに自律的に移動する自律移動等を目的とした協調制御を行う。自律移動制御部１１０は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自律移動の制御に必要な各種の情報の検出を行う。検出部１３１は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３を備える。
　移動体外部情報検出部１４１は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０の外部の情報の検出処理を行う。例えば、移動体外部情報検出部１４１は、移動体１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、他の移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部１４１は、移動体１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２、並びに、動作制御部１３５等に供給する。
　移動体内部情報検出部１４２は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
　移動体状態検出部１４３は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０の状態の検出処理を行う。検出対象となる移動体１０の状態には、例えば、速度、加速度、角速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
　自己位置推定部１３２は、移動体外部情報検出部１４１、及び、状況分析部１３３の状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１０９に記憶させる。
　状況分析部１３３は、移動体１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、状況認識部１５２、及び、状況予測部１５３を備える。
　マップ解析部１５１は、自己位置推定部１３２及び移動体外部情報検出部１４１等の移動体制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１０９に記憶されている各種のマップの解析処理を行い、自律移動の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、状況認識部１５２、状況予測部１５３、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　状況認識部１５２は、自己位置推定部１３２、移動体外部情報検出部１４１、移動体内部情報検出部１４２、移動体状態検出部１４３、及び、マップ解析部１５１等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０に関する状況の認識処理を行う。例えば、状況認識部１５２は、移動体１０の状況、移動体１０の周囲の状況、及び、移動体１０の運転者の状況等の認識処理を行う。また、状況認識部１５２は、必要に応じて、移動体１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）、道路地図（Lane Map）、または、点群地図（Point Cloud Map）とされる。
　認識対象となる移動体１０の状況には、例えば、移動体１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５２は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５３等に供給する。また、状況認識部１５２は、状況認識用マップを記憶部１０９に記憶させる。
　状況予測部１５３は、マップ解析部１５１、及び状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０に関する状況の予測処理を行う。例えば、状況予測部１５３は、移動体１０の状況、移動体１０の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる移動体１０の状況には、例えば、移動体１０の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体１０の周囲の状況には、例えば、移動体１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５３は、予測処理の結果を示すデータを、及び状況認識部１５２からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に移動するための移動体１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した移動体１０の行動を示すデータを動作計画部１６３等に供給する。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための移動体１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、移動軌道等の計画を行う。動作計画部１６３は、計画した移動体１０の動作を示すデータを、動作制御部１３５等に供給する。
　動作制御部１３５は、移動体１０の動作の制御を行う。
　より詳細には、動作制御部１３５は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体１０の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体１０の動作を計画する。
　また、動作制御部１３５は、動作計画部１６３により計画された移動体１０の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　さらに、動作制御部１３５は、動作計画部１６３により計画された移動体１０の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　なお、以下、主に移動体１０が車両である場合を例に挙げて説明する。
　＜＜２．第１の実施の形態＞＞
　次に、図２乃至図１１を参照して、本技術の第１の実施の形態について説明する。
　なお、第１の実施の形態は、図１の移動体制御システム１００のうち、主にデータ取得部１０２の処理に関連するものである。
　　＜撮影システムの構成例＞
　図２は、本技術の第１の実施の形態である撮影システム２０１の構成例を示すブロック図である。
　撮影システム２０１は、移動体１０の周囲を撮影するシステムである。撮影システム２０１は、撮影部２１１及び制御部２１２を備える。
　なお、撮影システム２０１は、１つの装置（例えば、撮影装置）により構成されてもよいし、複数の装置により構成されてもよい。後者の場合、例えば、撮影部２１１と制御部２１２がそれぞれ異なる装置（例えば、撮影装置と露光制御装置）に分かれたり、撮影部２１１と制御部２１２の一部とが１つの装置（例えば、撮影装置）を構成し、制御部２１２の残りが異なる装置（例えば、露光制御装置）を構成したりする。
　撮影部２１１は、移動体１０の周囲を撮影する。撮影部２１１は、撮影の結果得られた画像（以下、撮影画像と称する）を、移動体制御システム１００の検出部１３１及び自己位置推定部１３２、並びに、制御部２１２の検波部２２１の重み設定部２３１等に供給する。
　また、撮影部２１１は、制御信号生成部２４４からの制御信号に基づいて、撮像素子（不図示）の露光時間（シャッタ速度）、撮像素子のゲイン（感度）、及び、絞りの大きさを調整することにより、露光量を調整する。
　制御部２１２は、撮影部２１１の露光制御等を行う。制御部２１２は、検波部２２１及び露光制御部２２２を備える。
　検波部２２１は、撮影画像の輝度に基づく検波値を検出し、検波値を示す検波信号を露光制御部２２２の誤差検出部２４１に供給する。検波部２２１は、重み設定部２３１及び検波値算出部２３２を備える。
　重み設定部２３１は、後述するように、撮影画像を複数の分割領域に分割し、各分割領域に対する重みを設定する。重み設定部２３１は、撮影画像、及び、各分割領域の重みを示すデータを検波値算出部２３２に供給する。
　検波値算出部２３２は、撮影画像の各分割領域の輝度及び重みに基づいて、検波値を算出する。検波値算出部２３２は、検波値を示す検波信号を露光制御部２２２の誤差検出部２４１に供給する。
　露光制御部２２２は、検波信号に基づいて、撮影部２１１の露光制御を行う。露光制御部２２２は、誤差検出部２４１、露光量設定部２４２、制御方法設定部２４３、及び、制御信号生成部２４４を備える。
　誤差検出部２４１は、検波部２２１により検出された検波値と目標値との間の誤差を検出し、検出した誤差を示すデータを露光量設定部２４２に供給する。
　露光量設定部２４２は、検波値の誤差に基づいて、撮影部２１１の露光量の目標値を設定する。露光量設定部２４２は、露光量の目標値を示すデータを制御方法設定部２４３に供給する。
　制御方法設定部２４３は、撮影部２１１の露光量が目標値に達するように、撮影部２１１の露光の制御方法を設定する。制御方法設定部２４３は、露光量の目標値、及び、露光の制御方法を示すデータを制御信号生成部２４４に供給する。
　制御信号生成部２４４は、設定された露光の制御方法に従って、露光量が目標値に達するように撮影部２１１の露光を制御する制御信号を生成し、撮影部２１１に供給する。
　　＜露光制御処理＞
　次に、図３のフローチャートを参照して、撮影システム２０１により実行される露光制御処理について説明する。
　この処理は、例えば、撮影システム２０１の電源がオンされたとき開始され、撮影システム２０１の電源がオフされたとき終了する。
　ステップＳ１において、撮影部２１１は、移動体１０の周囲を撮影する。撮影部２１１は、撮影により得られた撮影画像を検出部１３１、自己位置推定部１３２、及び、重み設定部２３１等に供給する。
　検出部１３１の移動体外部情報検出部１４１（図１）は、例えば、撮影画像内の特徴点、及び各特徴点の移動体１０に対する位置（距離及び方向）の検出を行う。なお、特徴点の検出方法には、任意の手法を用いることが可能である。
　また、移動体外部情報検出部１４１は、例えば、撮影画像内の各被写体の位置及び種類等の検出を行う。なお、被写体の検出方法には、例えば、セマンティックセグメンテーション、人体検出、又は、車両検出等の任意の手法を用いることが可能である。
　さらに、移動体外部情報検出部１４１は、例えば、撮影画像内の各被写体の動き（例えば、速度及び移動方向等）の検出を行う。なお、被写体の動きの検出方法には、任意の手法を用いることが可能である。
　自己位置推定部１３２は、撮影画像等に基づいて、移動体１０の自己位置推定を行う。
　なお、以下、図４に模式的に示される撮影画像Ｐ１が撮影された場合を適宜具体例に挙げながら説明する。撮影画像Ｐ１は、移動体１０の前方を撮影した画像であり、空、前方の路面、路面上の他の車両、道路の両側の建物や木々等が写っている。
　ステップＳ２において、重み設定部２３１は、移動体１０及び周囲の情報を取得する。
　例えば、重み設定部２３１は、撮影画像内の特徴点、各特徴点の移動体１０に対する位置（距離及び方向）、並びに、撮影画像内の各被写体の位置、種類、及び、動き等の検出結果を示すデータを移動体外部情報検出部１４１から取得する。
　また、例えば、重み設定部２３１は、移動体１０の速度及び角速度等の検出結果を示すデータを、検出部１３１の移動体状態検出部１４３（図１）から取得する。
　さらに、例えば、重み設定部２３１は、移動体１０の自己位置の推定結果を示すデータを自己位置推定部１３２から取得する。
　ステップＳ３において、重み設定部２３１は、撮影画像の各分割領域に対する重みを設定する。具体的には、重み設定部２３１は、撮影画像を複数の分割領域に分割する。そして、詳細は後述するが、重み設定部２３１は、各分割領域に対する重みを設定する。重み設定部２３１は、撮影画像、及び、各分割領域の重みを示すデータを検波値算出部２３２に供給する。
　ステップＳ４において、検波値算出部２３２は、撮影画像の各分割領域の輝度及び重みに基づいて、検波値を算出する。検波値算出部２３２は、検波値を示す検波信号を誤差検出部２４１に供給する。
　ここで、図５乃至図１１を参照して、ステップＳ３及びステップＳ４における検波値の算出方法の具体例について説明する。
　　　＜検波値の第１の算出方法＞
　まず、図５乃至図９を参照して、検波値の第１の算出方法について説明する。
　例えば、重み設定部２３１は、図５に示されるように、同じ大きさのｎ個（この例では４８個）の矩形の分割領域ｉ（ｉ＝１～ｎ）に撮影画像Ｐ１を分割し、各分割領域ｉに対して重みｗｉを設定する。図５の各分割領域ｉ内の数字は、各分割領域ｉの重みｗｉを示しており、この例では、全ての分割領域ｉの重みｗｉが１に設定されている。
　検波値算出部２３２は、次式（１）により、各分割領域ｉの輝度の加重平均を検波値として算出する。
Figure JPOXMLDOC01-appb-M000001
　なお、ｘｉは、分割領域ｉ内の各画素の輝度の平均ｘｉ（以下、平均輝度ｘｉと称する）を示す。
　ここで、図５の例では、全ての分割領域ｉの重みｗｉが１に設定されている。そこで、式（１）の重みｗｉに１を代入すると、次式（２）となる。
Figure JPOXMLDOC01-appb-M000002
　すなわち、全ての分割領域ｉの重みｗｉを１に設定すると、検波値は、各分割領域ｉの平均輝度ｘｉの平均、換言すれば、撮影画像Ｐ１の各画素の輝度の単純平均と等しくなる。
　しかしながら、検波値を撮影画像の各画素の輝度の単純平均に設定すると、移動体１０の周囲の明るさが急激に変化した場合、適切に撮影部２１１の露光を制御できない場合がある。すなわち、通常、露光制御は、所定のフレーム前又は所定の時間前に撮影された撮影画像に基づく検波値に基づいて行われるため、周囲の明るさが急激に変化した場合、露光制御が周囲の明るさの変化に迅速に追従できないおそれがある。
　例えば、トンネルや森林の出口付近等において、暗い場所から明るい場所に移る場合、露光制御が間に合わずに、撮影画像内の明るい部分が白飛びしてしまうおそれがある。
　例えば、図６は、森林の出口付近において撮影された撮影画像Ｐ２を模式的に示している。撮影画像Ｐ２では、例えば、領域Ａ１内の森林の出口付近及び出口より前方の明るい領域が白飛びしてしまう。そのため、森林の外の状況を正確に把握できずに、自己位置推定や障害物認識等の精度が低下するおそれがある。
　また、例えば、トンネルや森林の入口付近等において、明るい場所から暗い場所に移る場合、露光制御が間に合わずに、撮影画像内の暗い部分が黒潰れしてしまうおそれがある。
　例えば、図７は、トンネルの入口付近において撮影された撮影画像Ｐ３を模式的に示している。撮影画像Ｐ３では、例えば、領域Ａ２内のトンネル内の暗い領域が黒潰れしてしまう。そのため、トンネル内の状況を正確に把握できずに、自己位置推定や障害物認識等に支障が出るおそれがある。
　これに対して、重み設定部２３１は、まず、各分割領域ｉの生存時間ｔｉを予測する。
　生存時間ｔｉは、生存時間を予測する基準となる基準時刻以降において、分割領域ｉ（内の被写体）が撮影画像に写っている時間である。換言すれば、生存時間ｔｉは、基準時刻以降において、分割領域ｉ（内の被写体）が撮影部２１１の画角内に留まっている時間である。より具体的には、例えば、生存時間は、生存時間を予測する時点（基準時刻）から、分割領域ｉ（内の被写体）が撮影部２１１の画角から出て、撮影画像に写らなくなる時点までの時間である。
　例えば、重み設定部２３１は、撮影画像の分割領域ｉ毎に代表特徴点ｐｉを設定する。
　このとき、重み設定部２３１は、分割領域ｉ内に特徴点が１つしか存在しない場合、その特徴点を代表特徴点ｐｉに設定する。
　一方、重み設定部２３１は、分割領域ｉ内に複数の特徴点が存在する場合、そのうちの１つを代表特徴点ｐｉに設定する。例えば、重み設定部２３１は、分割領域ｉ内で最も面積の大きい被写体、又は、分割領域ｉ内で最も重要な被写体を選択する。ここで、最も重要な被写体とは、例えば、人、車両、標識等、認識する必要性が最も高い被写体である。そして、重み設定部２３１は、選択した被写体の特徴点のうち、例えば最も特徴量が大きい特徴点を代表特徴点ｐｉに設定する。
　或いは、例えば、重み設定部２３１は、被写体を考慮せずに、分割領域ｉ内で最も特徴量の大きい特徴点、又は、分割領域ｉの中心に最も近い特徴点を代表特徴点ｐｉに設定する。
　そして、重み設定部２３１は、例えば、移動体１０の速度及び移動方向、並びに、代表特徴点ｐｉの移動体１０からの距離及び方向に基づいて、分割領域ｉの生存時間ｔｉを予測する。例えば、重み設定部２３１は、移動体１０が現在の移動方向に現在の速度で移動を継続する仮定して、代表特徴点ｐｉが撮影画像から出る時刻（撮影部２１１の画角から出る時刻）を予測する。重み設定部２３１は、現在の時刻から予測した時刻までの時間を分割領域ｉの生存時間ｔｉとする。
　図８は、移動体１０が矢印の方向に移動する場合の撮影画像Ｐ１内の各点における生存時間の例を示している。図内の黒点の下の数値は、各点の生存時間を示している。
　この例では、移動体１０の進行方向において移動体１０に近い被写体上の点ほど、生存時間が短くなっている。一方、移動体１０の進行方向において移動体１０から遠い被写体上の点ほど、生存時間が長くなっている。
　なお、重み設定部２３１は、分割領域ｉ内の被写体の動きをさらに考慮して、生存時間ｔｉを予測するようにしてもよい。
　例えば、重み設定部２３１は、移動体１０の速度及び移動方向、代表特徴点ｐｉを有する被写体（以下、代表被写体と称する）の特徴点の速度及び移動方向、並びに、代表特徴点ｐｉの移動体１０からの距離及び方向に基づいて、生存時間ｔｉを予測する。例えば、重み設定部２３１は、移動体１０及び代表被写体が現在の移動方向に現在の速度で移動を継続すると仮定し、代表特徴点ｐｉが撮影画像から出る時刻（撮影部２１１の画角から出る時刻）を予測する。重み設定部２３１は、現在の時刻から予測した時刻までの時間を分割領域ｉの生存時間ｔｉとする。
　次に、重み設定部２３１は、例えば、次式（３）の関数ｆを用いて、生存時間ｔｉに基づいて、各分割領域ｉの重みｗｉを算出する。
　ｗｉ＝ｆ（ｌ，Ｄ，ｔｉ，ｖ，ω）　・・・（３）
　なお、ｌはタイムラグを示し、Ｄは露光深度を示し、ｖは移動体１０の速度を示し、ωは移動体１０の角速度を示している。
　タイムラグｌは、露光の制御に要する時間を示している。例えば、タイムラグｌは、撮影画像を取得してから、その撮影画像に基づく露光制御が完了するまでの時間（タイムラグ）を示している。タイムラグｌは、例えば、露光が反映されるのに要する時間ともいえる。
　なお、タイムラグｌは、固定値でもよいし、可変値でもよい。可変値の場合、タイムラグｌは、例えば、検波値の変化量に基づいて設定される。検波値の変化量が大きい場合、すなわち、移動体１０の周囲の明るさが大きく変化した場合、一般的に露光制御に要する時間が長くなるため、タイムラグｌは大きくされる。一方、検波値の変化量が小さい場合、すなわち、移動体１０の周囲の明るさがほとんど変化していない場合、一般的に露光制御に要する時間が短くなるため、タイムラグｌは小さくされる。
　露光深度Ｄは、露光を合わせたい深度、すなわち、露光を合わせたい位置の移動体１０からの距離を示している。
　そして、例えば、関数ｆにより、タイムラグｌの経過後（露光制御が完了する時刻）に撮影画像内で支配的になる分割領域ｉであって、重要度が高い分割領域ｉに対する重みｗｉが、大きな値に設定される。一方、例えば、タイムラグｌの経過後に撮影画像内で支配的にならない分割領域ｉ、及び、重要度が低い分割領域ｉに対する重みｗｉが、小さい値に設定される。
　ここで、タイムラグｌの経過後に撮影画像内で支配的になる分割領域ｉとは、例えば、タイムラグｌの経過後に撮影される撮影画像内で大きな面積を占めると予測される分割領域ｉである。分割領域ｉがタイムラグｌの経過後に撮影される撮影画像内で占める面積は、例えば、分割領域ｉの生存時間ｔｉ、並びに、移動体１０の速度ｖ及び角速度ｗ等に基づいて予測される。
　また、分割領域ｉの重要度は、例えば、タイムラグｌ、露光深度Ｄ、生存時間ｔｉ、並びに、移動体１０の速度ｖ及び角速度ｗに基づいて予測される。例えば、タイムラグｌの経過後の移動体１０から分割領域ｉ（内の被写体）までの予測距離と露光深度Ｄとの差が小さいほど、すなわち、分割領域ｉ（内の被写体）がタイムラグｌの経過後に露光を合わせたい位置に近いほど、重要度が高いと予測される。一方、例えば、タイムラグｌの経過後の移動体１０から分割領域ｉ（内の被写体）までの予測距離と露光深度Ｄとの差が大きいほど、すなわち、分割領域ｉ（内の被写体）がタイムラグｌの経過後に露光を合わせたい位置から遠いほど、重要度が低いと予測される。
　図９は、撮影画像Ｐ１の各分割領域ｉに対して関数ｆを用いて設定した重みｗｉの例を、図５と同様の方法により示している。
　例えば、撮影画像Ｐ１の中央付近の分割領域ｉであって、生存時間ｔｉが（タイムラグｌ＋露光深度Ｄ／速度ｖ）に近い分割領域ｉに対する重みｗｉが大きくなっている。具体的には、移動体１０の少し前の路面及び路面上の車両、並びに、移動体１０の少し前の建物等が写っている分割領域ｉに対する重みｗｉが大きくなっている。
　一方、タイムラグｌの経過後に撮影画像内に存在しないと予測される分割領域ｉ（タイムラグｌが経過するまでの時間内に撮影部２１１の画角から出ると予測される分割領域ｉ）、例えば、生存時間ｔｉがタイムラグｌ未満の分割領域ｉに対する重みが小さくなっている。具体的には、例えば、撮影画像Ｐｉの左右の端部及び四隅付近の分割領域ｉに対する重みｗｉが小さくなっている。また、例えば、移動体１０からの距離が遠い分割領域ｉに対する重みｗｉが小さくなっている。具体的には、例えば、空や道路の消失点付近が写っている分割領域ｉに対する重みｗｉが小さくなっている。
　そして、検波値算出部２３２は、上述した式（１）により、各分割領域ｉに対する重みｗｉを用いて各分割領域ｉの輝度の加重平均を算出することにより、検波値を算出する。
　なお、関数ｆは、人手により作成及びチューニングするようにしてもよいし、機械学習を用いて生成するようにしてもよい。
　また、例えば、関数ｆの引数であるタイムラグｌ、露光深度Ｄ、移動体１０の速度ｖ、及び、移動体１０の角速度ωのうち１つ以上を省略することも可能である。
　　　＜検波値の第２の算出方法＞
　次に、図１０乃至図１１を参照して、検波値の第２の算出方法について説明する。
　第２の算出方法では、重みｗｉに加えて、各分割領域ｉの重要度等を示すパラメータφｉが求められ、各分割領域ｉに対する重みが、パラメータφｉ×重みｗｉに設定される。
　例えば、重み設定部２３１は、図１０に示されるパラメータテーブルを用いて、各分割領域ｉ内の被写体のうち最も大きな被写体の種類に基づいて、パラメータφｉを設定する。例えば、人、車、路面、標識等の認識する必要性が高い被写体ほど、パラメータφｉが大きくなっている。一方、例えば、空、木等の認識する必要性が低い被写体ほど、パラメータφｉは小さくなっている。
　または、例えば、重み設定部２３１は、次式（３）により、各分割領域ｉのパラメータφｉを設定する。
　φｉ＝Σｇｒａｄ（ｕ，ｖ）　・・・（３）
　ｇｒａｄ（ｕ，ｖ）は、分割領域ｉ内の座標（ｕ，ｖ）の画素の輝度（または画素値）の勾配を示しており、パラメータφｉは、分割領域ｉの画像勾配となる。
　従って、分割領域ｉの画像勾配が大きくなるほど、例えば、分割領域ｉの輝度（または画素値）の変化が大きくなるほど、パラメータφｉは大きくなる。一方、分割領域ｉの画像勾配が小さくなるほど、例えば、分割領域ｉの輝度（または画素値）の変化が小さくなるほど、パラメータφｉは小さくなる。
　画像勾配が大きい分割領域ｉは、一般的に移動体１０に近い物体を含み、その物体が鮮明に写っている領域である。一方、画像勾配が小さい領域は、一般的に物体が存在しない領域や、移動体１０から遠い物体を含み、その物体が鮮明に写っていない領域である。例えば、図１１の撮影画像Ｐ１の建物を含む分割領域Ａ１１に対するパラメータφｉは、空を含む分割領域Ａ１２に対するパラメータφｉより大きくなる。
　そして、検波値算出部２３２は、次式（４）により、各分割領域ｉに対する重みφｉ＊ｗｉを用いて各分割領域ｉの輝度の加重平均を算出することにより、検波値を算出する。
Figure JPOXMLDOC01-appb-M000003
　このように、パラメータφｉを用いることにより、認識する必要性が高い被写体が存在し、重要度が高い分割領域ｉに対してより大きな重みが設定され、認識する必要性が高い被写体が存在せず、重要度が低い分割領域ｉに対してより小さな重みが設定されて、検波値が算出される。
　なお、例えば、被写体の種類と画像勾配の両方に基づいて、パラメータφｉを設定するようにしてもよい。また、例えば、他の分割領域ｉの重要度等を示すパラメータを用いて、パラメータφｉを設定するようにしてもよい。
　なお、いずれの算出方法においても、検波値の算出に用いる撮影画像は、γ補正を施す前のＲａｗ画像が望ましい。
　図３に戻り、ステップＳ５において、誤差検出部２４１は、検波値の誤差を検出する。具体的には、誤差検出部２４１は、検波値算出部２３２により算出された検波値と、検波値の目標値との差を誤差として検出する。誤差検出部２４１は、検波値の誤差を示すデータを露光量設定部２４２に供給する。
　なお、検波値の目標値は、例えば、撮影部２１１の撮像素子の画素の飽和時の輝度の１２％から２０％の間の値（例えば、１８％）に設定される。
　ステップＳ６において、露光量設定部２４２は、露光量の目標値を設定する。例えば、露光量設定部２４２は、検波値の誤差の推移に基づいて、検波値が目標値に近づくように、撮影部２１１の露光量の目標値を設定する。このとき、露光量設定部２４２は、撮影画像の明るさが不自然に変化しないように、例えば、撮影画像が急激に明るくなったり、急激に暗くなったり、又は、明暗を繰り返したりしないように、露光量の目標値を設定する。例えば、露光量設定部２４２は、露光量の目標値を徐々に変化させたり、検波値の目標値付近で露光量の目標値を変化させずに固定する期間を設けたりする。
　露光量設定部２４２は、露光量の目標値を示すデータを制御方法設定部２４３に供給する。
　ステップＳ７において、制御方法設定部２４３は、露光の制御方法を設定する。
　撮影部２１１の露光量は、撮影部２１１の撮像素子の露光時間（シャッタ速度）、撮像素子のゲイン（感度）、及び、絞りの大きさにより設定される。一方、例えば、ゲインを上げすぎると、撮影画像のノイズが増加し、露光時間を長くすると、撮影画像のブレが大きくなる。
　そこで、制御方法設定部２４３は、撮影画像のノイズやブレを抑制しつつ、露光量が目標値に達するように、露光の制御方法（露光時間、ゲイン、及び、絞り）の配分を適切に設定する。
　制御方法設定部２４３は、露光量の目標値、及び、露光の制御方法の配分を示すデータを制御信号生成部２４４に供給する。
　ステップＳ８において、撮影システム２０１は、露光制御を行う。
　具体的には、制御信号生成部２４４は、露光量の目標値、及び、露光の制御方法の配分に基づいて、露光時間、ゲイン、及び、絞りの大きさの制御量を算出する。制御信号生成部２４４は、算出した露光時間、ゲイン、及び、絞りの大きさの制御量を示す制御信号を撮影部２１１に供給する。
　撮影部２１１は、制御信号に基づいて、露光時間、ゲイン、及び、絞りの大きさを調整する。
　その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
　以上のように、撮影画像の各分割領域ｉに重みをつけて検波値が算出され、算出された検波値に基づいて露光制御が行われる。これにより、より大きな重みが設定された分割領域ｉ内の被写体に対して迅速に露光が合わせられる。従って、例えば、少し前に撮影された撮影画像に基づいて実際に露光が制御されるときに撮影される撮影画像において支配的になる被写体や認識する必要性が高い被写体に対して、迅速に露光を合わせることができ、白飛びや黒潰れの発生を抑制することができる。その結果、移動体１０の自己位置推定や障害物認識等の精度が向上する。
　＜＜３．第２の実施の形態＞＞
　次に、図１２乃至図１６を参照して、本技術の第２の実施の形態について説明する。
　なお、第２の実施の形態は、第１の実施の形態と同様に、図１の移動体制御システム１００のうち、主にデータ取得部１０２の処理に関連するものである。
　　＜撮影システムの構成例＞
　図１２は、本技術の第２の実施の形態である撮影システム３０１の構成例を示すブロック図である。なお、図中、図２の撮影システム２０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　撮影システム３０１は、撮影システム２０１と比較して、制御部２１２の代わりに制御部３１１が設けられている点が異なる。制御部３１１は、制御部２１２と比較して、検波部２２１の代わりに検波部３２１が設けられている点が異なる。
　検波部３２１は、領域設定部３３１及び検波値算出部３３２を備える。
　領域設定部３３１は、後述するように、撮影画像において、検波値を検出する対象とする領域（以下、検波領域と称する）を設定する。領域設定部３３１は、撮影画像、及び、検波領域を示すデータを検波値算出部３３２に供給する。
　検波値算出部３３２は、撮影画像の検波領域の輝度に基づいて、検波値を算出する。検波値算出部３３２は、検波値を示す検波信号を誤差検出部２４１に供給する。
　　＜露光制御処理＞
　次に、図１３のフローチャートを参照して、撮影システム３０１により実行される露光制御処理について説明する。
　なお、この処理は、例えば、撮影システム３０１の電源がオンされたとき開始され、撮影システム３０１の電源がオフされたとき終了する。
　ステップＳ１０１において、図３のステップＳ１の処理と同様に、移動体１０の周囲が撮影される。
　ステップＳ１０２において、図３のステップＳ２の処理と同様に、移動体１０及び周囲の情報が取得される。
　ステップＳ１０３において、領域設定部３３１は、検波領域を設定する。
　例えば、領域設定部３３１は、上述した図３のステップＳ３と同様の処理により、撮影画像の各分割領域ｉの生存時間ｔｉを予測する。そして、領域設定部３３１は、各分割領域ｉの生存時間ｔｉに基づいて、撮影画像の検波領域を設定する。
　例えば、領域設定部３３１は、生存時間ｔｉが所定の閾値以上の分割領域ｉからなる領域を検波領域に設定する。例えば、図１４に示されるように、移動体１０が矢印の方向に移動している場合、撮影画像Ｐ１のほぼ中央の矩形の領域Ａ２１が検波領域に設定される。
　なお、検波領域の設定に用いる閾値は、固定値でもよいし、可変値でもよい。可変値の場合、例えば、上述した式（３）のタイムラグｌ、露光深度Ｄ、移動体１０の速度ｖ等に基づいて閾値が設定される。例えば、タイムラグｌ、又は、（タイムラグｌ＋露光深度Ｄ／速度ｖ）が閾値に設定される。
　或いは、例えば、領域設定部３３１は、移動体１０の動き（例えば、速度及び角速度等）並びに撮影画像等に基づいて、所定のアルゴリズムにより、現在の撮影画像内において、所定のターゲット時間経過後の撮影画像に対応する領域を予測する。そして、領域設定部３３１は、予測した領域を検波領域に設定する。
　例えば、図１５は、撮影画像Ｐ１が撮影されてからターゲット時間経過後に撮影された撮影画像Ｐ４の例を模式的に示している。この例では、例えば、領域設定部３３１は、撮影画像Ｐ４の撮影前に、撮影画像Ｐ１内において撮影画像Ｐ４に対応する領域Ａ３１を予測する。すなわち、領域Ａ３１は、撮影画像Ｐ１において、ターゲット時間後の撮影画像Ｐ４に写っていると予測される領域である。そして、領域設定部３３１は、領域Ａ３１を検波領域に設定する。
　なお、このアルゴリズムは、例えば、機械学習により生成される。また、ターゲット時間は、固定値でもよいし、可変値でもよい。可変値の場合、例えば、上述した式（３）のタイムラグｌ、露光深度Ｄ、移動体１０の速度ｖ等に基づいてターゲット時間が設定される。例えば、タイムラグｌ、又は、（タイムラグｌ＋露光深度Ｄ／速度ｖ）がターゲット時間に設定される。
　なお、検波領域は、必ずしも矩形に限定されるものではなく、矩形以外の形状でもよい。
　また、例えば、上述した方法により設定した検波領域以外に、認識する必要性が高い被写体が存在し、重要度が高い領域を検波領域に加えるようにしてもよい。
　ステップＳ１０４において、検波値算出部３３２は、検波領域を対象にして、検波値を算出する。例えば、検波値算出部３３２は、撮影画像の検波領域内の各画素の輝度の平均を検波値として算出する。この検波値は、撮影画像の検波領域に対する重みを１に設定し、検波領域以外の領域（所定の時間内に撮影部２１１の画角から出ると予測される領域）に対する重みを０に設定し、重みを０に設定した領域を除いて撮影画像の輝度の平均を算出した値と等しくなる。
　ステップＳ１０５乃至ステップＳ１０８において、図３のステップＳ５乃至ステップＳ８と同様の処理が実行される。その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
　以上のように、検波領域が設定され、検波領域の輝度に基づいて検波値が算出され、算出された検波値に基づいて露光制御が行われる。これにより、検波領域外の被写体を除いて、検波領域内の被写体を対象に迅速に露光が合わせられる。少し前に撮影された撮影画像に基づいて実際に露光が制御されるときに撮影される撮影画像において支配的になる被写体や認識する必要性が高い被写体に対して、迅速に露光を合わせることができ、白飛びや黒潰れの発生を抑制することができる。その結果、移動体１０の自己位置推定や障害物認識等の精度が向上する。
　＜＜４．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　例えば、以上の説明では分割領域ｉを矩形にする例を示したが、矩形以外の形状にすることも可能である。
　また、例えば、分割領域ｉを１画素により構成することも可能である。
　さらに、例えば、第１の実施の形態と第２の実施の形態を組み合わせることが可能である。例えば、検波領域を複数の分割領域に分割して、各分割領域に対して重みをつけて検波値を算出するようにしてもよい。
　＜＜５．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、
　前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と
　を備える露光制御装置。
（２）
　前記検波部は、前記撮影画像内の複数の領域毎の生存時間に基づいて、前記検波値を算出する
　前記（１）に記載の露光制御装置。
（３）
　前記検波部は、前記生存時間に基づいて前記領域の重みを設定し、各前記領域の輝度及び前記重みに基づいて、前記検波値を算出する
　前記（２）に記載の露光制御装置。
（４）
　前記検波部は、前記重みを用いた各前記領域の輝度の加重平均により前記検波値を算出する
　前記（３）に記載の露光制御装置。
（５）
　前記検波部は、前記生存時間に加えて、露光の制御に要する時間、露光を合わせる距離、前記撮影部を備える移動体の速度、及び、前記移動体の角速度のうち少なくとも１つに基づいて、前記重みを設定する
　前記（３）又は（４）に記載の露光制御装置。
（６）
　前記検波部は、さらに前記領域内の被写体の種類に基づいて、前記重みを設定する
　前記（３）乃至（５）のいずれかに記載の露光制御装置。
（７）
　前記検波部は、さらに前記領域内の画像勾配に基づいて、前記重みを設定する
　前記（３）乃至（６）のいずれかに記載の露光制御装置。
（８）
　前記検波部は、各前記領域の前記生存時間に基づいて前記撮影画像の一部の領域を検波領域に設定し、前記検波領域の輝度に基づいて前記検波値を算出する
　前記（２）に記載の露光制御装置。
（９）
　前記検波部は、前記生存時間が所定の閾値以上の前記領域を前記検波領域に設定する
　前記（８）に記載の露光制御装置。
（１０）
　前記検波部は、前記撮影部を備える移動体の動き及び前記撮影画像に基づいて、前記撮影画像の一部の領域を検波領域に設定し、前記検波領域の輝度に基づいて前記検波値を算出する
　前記（１）に記載の露光制御装置。
（１１）
　前記検波部は、所定の時間後に前記撮影部により撮影されると予測される領域を前記検波領域に設定する
　前記（１０）に記載の露光制御装置。
（１２）
　前記検波部は、前記所定の時間内に前記撮影部の画角から出ると予測される領域を除いて前記検波値を算出する
　前記（１）乃至（１１）のいずれかに記載の露光制御装置。
（１３）
　撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出し、
　前記検波値に基づいて、前記撮影部の露光制御を行う
　露光制御方法。
（１４）
　撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出し、
　前記検波値に基づいて、前記撮影部の露光制御を行う
　処理をコンピュータに実行させるためのプログラム。
（１５）
　撮影部と、
　前記撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、
　前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と
　を備える撮影装置。
（１６）
　撮影部と、
　前記撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、
　前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と、
　前記撮影画像に基づいて、移動制御を行う移動制御部と
　を備える移動体。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０　移動体，　１００　移動体制御システム，　１０２　データ取得部，　１３１　検出部，　１３２　自己位置推定部，　１４１　移動体外部情報検出部，　１４３　移動体状態検出部，　２０１　撮影システム，　２１１　撮影部，　２１２　制御部，　２２１　検波部，　２２２　露光制御部，　２３１　重み設定部，　２３２　検波値算出部，　２４１　誤差検出部，　２４２　露光量設定部，　２４３　制御方法設定部，　２４４　制御信号生成部，　３０１　撮影システム，　３１１　制御部，　３２１　検波部，　３３１　領域設定部，　３３２　検波値算出部

Claims (16)

  1. 　撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、
    　前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と
    　を備える露光制御装置。
  2. 　前記検波部は、前記撮影画像内の複数の領域毎の生存時間に基づいて、前記検波値を算出する
    　請求項１に記載の露光制御装置。
  3. 　前記検波部は、前記生存時間に基づいて前記領域の重みを設定し、各前記領域の輝度及び前記重みに基づいて、前記検波値を算出する
    　請求項２に記載の露光制御装置。
  4. 　前記検波部は、前記重みを用いた各前記領域の輝度の加重平均により前記検波値を算出する
    　請求項３に記載の露光制御装置。
  5. 　前記検波部は、前記生存時間に加えて、露光の制御に要する時間、露光を合わせる距離、前記撮影部を備える移動体の速度、及び、前記移動体の角速度のうち少なくとも１つに基づいて、前記重みを設定する
    　請求項３に記載の露光制御装置。
  6. 　前記検波部は、さらに前記領域内の被写体の種類に基づいて、前記重みを設定する
    　請求項３に記載の露光制御装置。
  7. 　前記検波部は、さらに前記領域内の画像勾配に基づいて、前記重みを設定する
    　請求項３に記載の露光制御装置。
  8. 　前記検波部は、各前記領域の前記生存時間に基づいて前記撮影画像の一部の領域を検波領域に設定し、前記検波領域の輝度に基づいて前記検波値を算出する
    　請求項２に記載の露光制御装置。
  9. 　前記検波部は、前記生存時間が所定の閾値以上の前記領域を前記検波領域に設定する
    　請求項８に記載の露光制御装置。
  10. 　前記検波部は、前記撮影部を備える移動体の動き及び前記撮影画像に基づいて、前記撮影画像の一部の領域を検波領域に設定し、前記検波領域の輝度に基づいて前記検波値を算出する
    　請求項１に記載の露光制御装置。
  11. 　前記検波部は、所定の時間後に前記撮影部により撮影されると予測される領域を前記検波領域に設定する
    　請求項１０に記載の露光制御装置。
  12. 　前記検波部は、前記所定の時間内に前記撮影部の画角から出ると予測される領域を除いて前記検波値を算出する
    　請求項１に記載の露光制御装置。
  13. 　撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出し、
    　前記検波値に基づいて、前記撮影部の露光制御を行う
    　露光制御方法。
  14. 　撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出し、
    　前記検波値に基づいて、前記撮影部の露光制御を行う
    　処理をコンピュータに実行させるためのプログラム。
  15. 　撮影部と、
    　前記撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、
    　前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と
    　を備える撮影装置。
  16. 　撮影部と、
    　前記撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、
    　前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と、
    　前記撮影画像に基づいて、移動制御を行う移動制御部と
    　を備える移動体。
PCT/JP2019/010758 2018-03-29 2019-03-15 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体 WO2019188390A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/040,057 US11363212B2 (en) 2018-03-29 2019-03-15 Exposure control device, exposure control method, program, imaging device, and mobile body
CN201980021050.9A CN111886854B (zh) 2018-03-29 2019-03-15 曝光控制装置、曝光控制方法、程序、成像装置和移动体
KR1020207027269A KR20200136398A (ko) 2018-03-29 2019-03-15 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체
JP2020510641A JP7243714B2 (ja) 2018-03-29 2019-03-15 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
EP19774618.3A EP3780578A4 (en) 2018-03-29 2019-03-15 EXPOSURE CONTROL DEVICE, EXPOSURE CONTROL METHOD, PROGRAM, IMAGING DEVICE, AND MOBILE BODY

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-064978 2018-03-29
JP2018064978 2018-03-29

Publications (1)

Publication Number Publication Date
WO2019188390A1 true WO2019188390A1 (ja) 2019-10-03

Family

ID=68059953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010758 WO2019188390A1 (ja) 2018-03-29 2019-03-15 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体

Country Status (6)

Country Link
US (1) US11363212B2 (ja)
EP (1) EP3780578A4 (ja)
JP (1) JP7243714B2 (ja)
KR (1) KR20200136398A (ja)
CN (1) CN111886854B (ja)
WO (1) WO2019188390A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021132293A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 撮影制御装置、撮像装置、撮影制御方法、及びプログラム
WO2022064970A1 (ja) * 2020-09-25 2022-03-31 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、および撮像制御方法ならびに移動体
EP4184912A4 (en) * 2020-07-15 2023-12-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697560A (zh) * 2020-12-31 2022-07-01 浙江舜宇智能光学技术有限公司 基于tof成像系统的主动曝光方法及曝光时间的计算方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014143547A (ja) * 2013-01-23 2014-08-07 Denso Corp 露出制御装置
JP2017005678A (ja) 2015-06-04 2017-01-05 ソニー株式会社 車載カメラ・システム並びに画像処理装置
WO2017203794A1 (ja) * 2016-05-24 2017-11-30 株式会社Ｊｖｃケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
JP6501091B1 (ja) * 2017-10-30 2019-04-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444004B2 (en) 2004-03-29 2008-10-28 Fujifilm Corporation Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
DE102006007092A1 (de) 2005-03-01 2006-09-07 Denso Corp., Kariya Bildgebungsvorrichtung
JP4214160B2 (ja) 2006-08-31 2009-01-28 フジノン株式会社 監視カメラシステム
JP6471528B2 (ja) 2014-02-24 2019-02-20 株式会社リコー 物体認識装置、物体認識方法
JP6648411B2 (ja) 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
CN112839169B (zh) 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
CN104320654B (zh) 2014-10-28 2017-04-05 小米科技有限责任公司 测光方法及装置
CN105323496B (zh) * 2015-02-13 2019-01-11 维沃移动通信有限公司 自动曝光方法、拍照装置及移动终端
CN105227857B (zh) 2015-10-08 2018-05-18 广东欧珀移动通信有限公司 一种自动曝光的方法和装置
CN105827990B (zh) * 2016-01-22 2018-12-04 维沃移动通信有限公司 一种自动曝光方法及移动终端
CN106791472B (zh) * 2016-12-29 2019-07-30 努比亚技术有限公司 一种曝光方法及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014143547A (ja) * 2013-01-23 2014-08-07 Denso Corp 露出制御装置
JP2017005678A (ja) 2015-06-04 2017-01-05 ソニー株式会社 車載カメラ・システム並びに画像処理装置
WO2017203794A1 (ja) * 2016-05-24 2017-11-30 株式会社Ｊｖｃケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
JP6501091B1 (ja) * 2017-10-30 2019-04-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3780578A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021132293A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 撮影制御装置、撮像装置、撮影制御方法、及びプログラム
JP7324160B2 (ja) 2020-02-19 2023-08-09 キヤノン株式会社 撮影制御装置、撮像装置、撮影制御方法、及びプログラム
EP4184912A4 (en) * 2020-07-15 2023-12-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
WO2022064970A1 (ja) * 2020-09-25 2022-03-31 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、および撮像制御方法ならびに移動体

Also Published As

Publication number Publication date
KR20200136398A (ko) 2020-12-07
CN111886854A (zh) 2020-11-03
US20210029287A1 (en) 2021-01-28
EP3780578A4 (en) 2021-04-21
CN111886854B (zh) 2022-10-04
US11363212B2 (en) 2022-06-14
JPWO2019188390A1 (ja) 2021-04-15
EP3780578A1 (en) 2021-02-17
JP7243714B2 (ja) 2023-03-22

Similar Documents

Publication Publication Date Title
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20230237799A1 (en) Information processing apparatus, information processing method, program, and moving body
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US11427218B2 (en) Control apparatus, control method, program, and moving body
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP7243714B2 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
JP7200946B2 (ja) 情報処理装置、制御システム、情報処理方法及びプログラム
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
EP3805045B1 (en) Information processing device, information processing method
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
KR20210098972A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체
US20230186651A1 (en) Control device, projection system, control method, and program
KR20210142604A (ko) 정보 처리 방법, 프로그램 및 정보 처리 장치
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2021229983A1 (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19774618

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020510641

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019774618

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019774618

Country of ref document: EP

Effective date: 20201029