WO2019116784A1 - 情報処理装置、移動体、制御システム、情報処理方法及びプログラム - Google Patents

情報処理装置、移動体、制御システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2019116784A1
WO2019116784A1 PCT/JP2018/041145 JP2018041145W WO2019116784A1 WO 2019116784 A1 WO2019116784 A1 WO 2019116784A1 JP 2018041145 W JP2018041145 W JP 2018041145W WO 2019116784 A1 WO2019116784 A1 WO 2019116784A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
control
unit
vehicle
image
Prior art date
Application number
PCT/JP2018/041145
Other languages
English (en)
French (fr)
Inventor
江島　公志
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880078729.7A priority Critical patent/CN111448529A/zh
Priority to US16/768,875 priority patent/US11698642B2/en
Priority to EP18889655.9A priority patent/EP3726329A4/en
Priority to KR1020207015750A priority patent/KR20200096518A/ko
Priority to JP2019558969A priority patent/JP7200946B2/ja
Publication of WO2019116784A1 publication Critical patent/WO2019116784A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present technology relates to an information processing apparatus, a moving body, a control system, an information processing method, and a program, and in particular, an information processing apparatus, a moving body, a system, and an information processing optimum for obtaining an appropriate image when self position estimation It relates to a method and program.
  • a plurality of feature points are extracted from an image of the surroundings of a moving body taken by a camera, for example, by self-position estimation of a moving body that acts autonomously, and three-dimensional of these feature points It is proposed to carry out by estimating the position (see, for example, Patent Document 1).
  • the accuracy of self-position estimation may decrease due to missing or misrecognized landmarks due to various disturbance elements present in the surrounding environment.
  • an information processing apparatus includes an information acquisition unit and a control prediction unit.
  • the information acquisition unit acquires position / posture information of a first mobile body including a sensing device.
  • the control prediction unit predicts control related to the sensing device based on the position / posture information and the map information acquired by the information acquisition unit.
  • control related to the sensing device suitable for the mobile at T + N after N seconds is predicted.
  • control prediction information in the mobile object, control relating to the sensing device is performed at T + N, so control without time lag becomes possible.
  • the sensing device includes an imaging device, and the information processing device predicts the position and orientation of the first mobile object based on the position and orientation information acquired by the information acquisition unit.
  • a position estimation unit for a disturbance element that predicts the position of the disturbance element on the image captured by the imaging device based on the map information and the prediction result from the moving object position / posture estimation unit;
  • the control prediction unit may predict control of the imaging device based on a prediction result of the disturbance element by the position prediction unit.
  • a disturbance element on the image predicted to be photographed by the imaging device at T + N after N seconds based on the position / attitude information of the first moving body at time T and the map information The position of is predicted. Then, based on the prediction result of the position of the disturbance element, control of the imaging device to be an image in which the influence of the disturbance element is reduced is predicted.
  • a control condition of the imaging apparatus for photographing the mobile unit at T + N is set, whereby the disturbance suitable for the condition of the mobile unit at T + N at T + N An image in which the influence of the element is reduced can be obtained without time lag.
  • the control prediction unit may predict exposure control of the imaging device.
  • the control prediction unit may predict photometric area control of the imaging device.
  • the sensing device includes an imaging device, and the first movable body estimates the position and orientation of the first movable body using feature points extracted from image information from the imaging device.
  • the information processing apparatus comprises: a mobile body position / posture prediction unit that predicts the position / posture of the first mobile body based on the position / posture information acquired by the information acquisition unit; and the map information And the disturbance element position prediction unit for predicting the position of the disturbance element on the image captured by the imaging device based on the prediction result by the moving body position / posture prediction unit, and the control prediction The unit may predict control related to the self-position estimation system based on a prediction result by the position prediction unit of the disturbance element.
  • a disturbance element on the image predicted to be photographed by the imaging device at T + N after N seconds based on the position / attitude information of the first moving body at time T and the map information The position of is predicted. Then, based on the prediction result of the position of the disturbance element, control related to the self-position estimation system is predicted so that the influence of the disturbance element is reduced.
  • the first mobile unit based on the control prediction information, by setting the control related to the self-position estimation system at T + N, the influence by the disturbance element suitable for the condition of the mobile at T + N at T + N It is possible to perform the estimation process of the self position / orientation using the image information or the like in which is reduced, and the estimation accuracy is improved.
  • the control prediction unit may predict, based on a prediction result by the position prediction unit of the disturbance element, a region in which the feature point is not extracted on the image in the self position estimation system.
  • the sensing device includes the imaging device and a movable body state detection sensor that detects the state of the first movable body, and the first movable body includes the image information and the movable body state detection sensor.
  • the position estimation system for estimating the position / attitude of the first moving body using at least one of the moving body state information is provided, and the control prediction unit is based on the prediction result by the position prediction unit of the disturbance element.
  • the weighting of each of the image information and the moving object state information used when estimating the position and orientation of the first moving object in the self position estimation system may be predicted.
  • the sensing device includes a plurality of imaging devices, and the control prediction unit estimates the position and orientation of the first moving body in the self position estimation system based on the prediction result of the disturbance element by the position prediction unit.
  • the weighting of each piece of image information from a plurality of the above-described imaging devices used sometimes may be predicted.
  • the control prediction unit may predict control of the imaging device based on a prediction result by the position prediction unit of the disturbance element.
  • the disturbance element is the sun
  • the position prediction unit of the disturbance element is an image captured by the imaging device based on the map information, the prediction result by the moving object position / posture prediction unit, and the sun position information. You may predict the sun position at
  • the disturbance element is a tunnel
  • the position prediction unit of the disturbance element is a tunnel position in the image captured by the imaging device based on the map information and the prediction result of the moving object position / posture prediction unit. It may be predicted.
  • the disturbance element is a shadow of a structure
  • the position prediction unit of the disturbance element is photographed by the imaging device based on the map information, the prediction result by the moving object position / posture prediction unit, and the sun position information.
  • the position of the shadow by the structure in the image to be captured may be predicted.
  • the information acquisition unit includes a sensing device, acquires position / posture information of a second mobile body different from the first mobile body, and the control prediction unit receives the second information acquired by the information acquisition unit.
  • the control prediction of the first mobile sensing device predicted based on the mobile object position / posture information and map information of 1 may be taken as the control prediction of the second mobile sensing device.
  • a mobile includes a sensing device and an acquisition unit.
  • the acquisition unit acquires its own position and orientation information.
  • the sensing device is controlled by control prediction information related to the sensing device which is predicted based on the position / posture information and the map information acquired by the acquisition unit.
  • a control system includes a movable body, an acquisition unit, a control prediction unit, and a control unit.
  • the mobile includes a sensing device.
  • the acquisition unit acquires position / posture information of the moving body.
  • the control prediction unit predicts control related to the sensing device based on the position / posture information and the map information acquired by the acquisition unit. .
  • the control unit performs control related to the sensing device based on control prediction information from the control prediction unit.
  • an information processing method acquires position / posture information of a mobile body including a sensing device, and controls the sensing device based on the position / posture information and map information. Predict.
  • a program according to the present technology includes the steps of acquiring position / posture information of a mobile body including a sensing device, and controlling the sensing device based on the position / posture information and map information.
  • the information processing apparatus is caused to execute the step of predicting.
  • the present technology it is possible to provide an information processing device, a mobile object, a system, an information processing method, and a program capable of reducing the influence of a disturbance element.
  • the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
  • the position of the moving object at T + N (N> 0) after N seconds is predicted based on the self position / attitude information at time T of the moving object and the map information, and the moving object at T + N Control related to the sensing device provided in is predicted.
  • a vehicle such as a car is described as a first moving body, and a camera (imaging device) and a vehicle state detection sensor are described as an example of a sensing device.
  • a motor vehicle as a moving body, it is not limited to this.
  • a motor vehicle for example, there are bicycles, motorcycles, unmanned aerial vehicles (UAVs including drone) (UAV: Unmanned Aerial Vehicle), various robots and the like as mobile objects.
  • UAVs including drone UAV: Unmanned Aerial Vehicle
  • robots and the like as mobile objects.
  • the vehicle is provided with a camera, a vehicle state detection sensor, and a self position estimation system used for automatic driving support of the vehicle.
  • the position of the vehicle at T + N hours after N seconds is predicted based on the self position / posture information at time T of the vehicle and the map information.
  • the position of the disturbance element on the image predicted to be photographed at T + N is predicted based on the position prediction information of the moving object, the map information, and the date / time / weather information.
  • control related to the camera and control related to the self-position estimation system are predicted.
  • a disturbance element the first embodiment will be described using the sun, and the third embodiment will be described using the shadow of a structure such as a building as an example.
  • the position / attitude of the vehicle at T + N hours after N seconds is predicted based on the position information of the moving object at time T and the map information.
  • the position of the tunnel as a disturbance element on the image predicted to be photographed at T + N is predicted.
  • control related to the camera and control related to the self-position estimation system are predicted.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of functions of a control system 1 of a sensing device to which the present technology can be applied.
  • FIG. 1 shows an example of a schematic configuration of functions of a control system 1 of a sensing device to which the present technology can be applied.
  • the control system 1 includes a vehicle control system 100 mounted on a vehicle 10 which is a moving body, and a server device 500 as an information processing device.
  • the vehicle control system 100 and the server device 500 are configured to be communicable via, for example, a wireless communication network.
  • server apparatus 500 as an information processing apparatus is provided outside the vehicle 10 will be described.
  • Vehicle control system 100 includes a self position estimation system 200 and a data acquisition unit 102.
  • the data acquisition unit 102 includes a camera 300 as a sensing device and a vehicle state detection sensor 400.
  • the camera 300 is for photographing the outside of the vehicle 10, and a plurality of cameras 300 are mounted on the vehicle 10.
  • the self position / posture of the vehicle 10 necessary for execution of the autonomous driving is estimated.
  • the self position / posture of the vehicle 10 is estimated using information from the sensing device such as image information captured by the camera 300 and vehicle state detection information from the vehicle state detection sensor 400.
  • the position estimation is performed based on the tracking result of feature points (land marks) on the image.
  • the server device 500 includes an information acquisition unit 502, a vehicle position / posture prediction unit 503 at T + N, a position prediction unit 504 for a disturbance element on an image, and a control prediction unit 505.
  • the camera 300 and the vehicle state detection sensor 400 acquire information on the vehicle 10 at time T of the vehicle 10. Information on the vehicle 10 at time T is transmitted to the server device 500.
  • the information acquisition unit 502 of the server device 500 acquires information on the vehicle 10 at time T, which is transmitted from the vehicle control system 100.
  • the vehicle position / posture prediction unit 503 at T + N as the mobile object position / posture prediction unit determines the self of the vehicle 10 at T + N after N seconds based on the information on the vehicle 10 at time T acquired by the information acquisition unit 502. Predict position and attitude.
  • the position prediction unit 504 of the disturbance element on the image predicts the position of the sun as the disturbance element on the image.
  • a position prediction unit (hereinafter referred to as a position prediction unit of the sun on the image) 504 of the disturbance element (sun) on the image is the predicted self-position / attitude information of the vehicle 10 at T + N, map information, The position of the sun on the image captured at T + N is predicted based on the date / time and weather information.
  • the control prediction unit 505 predicts control related to the camera 300 at T + N time and control related to the self position estimation system 200 based on the prediction result of the sun position on the image captured at T + N time.
  • the control prediction information is transmitted to the vehicle 10.
  • control related to the camera 300 and control related to the self-position estimation system 200 are performed at T + N based on the control prediction information.
  • the control related to the camera 300 includes exposure control, photometric area control, and the like.
  • Control related to the self position estimation system 200 includes control related to a sensing device when estimating the self position / posture of the vehicle 10.
  • control prediction unit 505 uses the self-position estimation system 200 to use the image information from the camera 300 and the detection information from the vehicle state detection sensor 400 with any kind of weighting to determine the position of the vehicle. Predict whether to estimate the attitude.
  • the control prediction unit 505 When the self position estimation system 200 estimates the self position / posture based on the image information captured by the camera 300, the control prediction unit 505 does not use it for feature point extraction for self position / posture estimation. It predicts how to set the mask area of the feature point extraction area.
  • the control prediction unit 505 calculates the image information from the plurality of cameras 300 at the time of self position / posture estimation. Predict what kind of weighting each should be used. Ru.
  • the operation related to the sensing device of the vehicle 10 is controlled based on the control prediction information related to the sensing device such as the camera 300 mounted on the vehicle 10 and the vehicle state detection sensor 400 transmitted from the server device 500. .
  • FIG. 2 is a block diagram showing a configuration example of a schematic function of a vehicle control system 100 which is an example of a mobile control system to which the present technology can be applied.
  • the vehicle provided with the vehicle control system 100 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a body system control unit 109, and a body.
  • the system system 110, the storage unit 111, and the automatic driving control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. Connected to each other.
  • the communication network 121 may be, for example, an on-vehicle communication network or bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • each unit of the vehicle control system 100 performs communication via the communication network 121
  • the description of the communication network 121 is omitted.
  • the input unit 101 and the automatic driving control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic driving control unit 112 merely communicate.
  • the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device and the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, an instruction, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the vehicle.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, and an engine speed.
  • IMU inertia measurement device
  • a sensor or the like for detecting a motor rotation speed or a rotation speed of a wheel is provided.
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather, weather or the like, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor is made of, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar or the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS receiver or the like which receives a GNSS signal from a Global Navigation Satellite System (GNSS) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device for imaging a driver, a biological sensor for detecting biological information of the driver, a microphone for collecting sound in a vehicle interior, and the like.
  • the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each portion of the vehicle control system 100, and receives the received data. Supply to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Also, for example, the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI (registered trademark)), or an MHL (Universal Serial Bus) via a connection terminal (and a cable, if necessary) not shown. Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Universal Serial Bus
  • the communication unit 103 may communicate with an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Communicate. Also, for example, using the P2P (Peer To Peer) technology, the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) with a terminal existing near the host vehicle. Communicate. Furthermore, for example, the communication unit 103 may perform vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • an apparatus for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or a network unique to an operator
  • the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal)
  • V2X communication such as communication is performed.
  • the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from radio stations installed on roads, and acquires information such as current position, traffic jam, traffic restriction, or required time. Do.
  • the in-vehicle device 104 includes, for example, a mobile device or wearable device owned by the passenger, an information device carried in or attached to the vehicle, and a navigation device for searching for a route to an arbitrary destination.
  • the output control unit 105 controls the output of various information to the passenger of the vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
  • the output unit 106 is supplied.
  • the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the passenger of the vehicle or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 has visual information in the driver's field of vision, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be an apparatus for displaying.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system 108 includes a driving force generating device for generating a driving force of an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering mechanism for adjusting a steering angle.
  • a braking system that generates a braking force an antilock brake system (ABS), an electronic stability control (ESC), an electric power steering apparatus, and the like are provided.
  • the body control unit 109 controls the body system 110 by generating various control signals and supplying the control signals to the body system 110.
  • the body system control unit 109 supplies a control signal to each unit other than the body system 110, as required, to notify the control state of the body system 110, and the like.
  • the body system 110 includes various devices of the body system mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, blinkers, fog lamps, etc.) Etc.
  • the storage unit 111 includes, for example, a read only memory (ROM), a random access memory (RAM), a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 is map data such as a three-dimensional high-precision map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-precision map, and information around the vehicle.
  • map data such as a three-dimensional high-precision map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-precision map, and information around the vehicle.
  • the autonomous driving control unit 112 performs control regarding autonomous driving such as autonomous traveling or driving assistance. Specifically, for example, the automatic driving control unit 112 can avoid collision or reduce impact of the vehicle, follow-up traveling based on the distance between vehicles, vehicle speed maintenance traveling, collision warning of the vehicle, lane departure warning of the vehicle, etc. Coordinated control is carried out to realize the functions of the Advanced Driver Assistance System (ADAS), including: Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like that travels autonomously without depending on the driver's operation.
  • the automatic driving control unit 112 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for control of automatic driving.
  • the detection unit 131 includes an out-of-vehicle information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
  • the external information detection unit 141 performs detection processing of external information of the vehicle based on data or signals from each unit of the vehicle control system 100. For example, the external information detection unit 141 performs detection processing of an object around the host vehicle, recognition processing, tracking processing, and detection processing of the distance to the object.
  • the objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings and the like.
  • the outside-of-vehicle information detection unit 141 performs a process of detecting the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
  • the information outside the vehicle detection unit 141 indicates data indicating the result of the detection process as the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. Supply to the emergency situation avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
  • the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, smell and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 detects the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and contents, state of driving operation, position and inclination of power seat, state of door lock, and other in-vehicle devices. Status etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self position estimation unit 132 estimates the position and orientation of the vehicle based on data or signals from each part of the vehicle control system 100 such as the external information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Do the processing. In addition, the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
  • the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. In addition, the self position estimation unit 132 stores the self position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses various data or signals stored in the storage unit 111 while using data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132 and the external information detection unit 141 as necessary. Perform analysis processing and construct a map that contains information necessary for automatic driving processing.
  • the map analysis unit 151 is configured of the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to
  • the traffic rule recognition unit 152 uses traffic rules around the vehicle based on data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of signals around the vehicle, the contents of traffic restriction around the vehicle, and the travelable lane are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 uses data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on the recognition processing of the situation regarding the vehicle. For example, the situation recognition unit 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the host vehicle, as necessary.
  • the situation recognition map is, for example, an Occupancy Grid Map.
  • the situation of the vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the vehicle, and the presence or absence and contents of abnormality.
  • the situation around the vehicle to be recognized includes, for example, the type and position of the surrounding stationary object, the type, position and movement of the surrounding moving object (eg, speed, acceleration, movement direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
  • the situation recognition unit 153 supplies data (including a situation recognition map, if necessary) indicating the result of the recognition process to the self position estimation unit 132, the situation prediction unit 154, and the like. In addition, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
  • the situation prediction unit 154 performs prediction processing of the situation regarding the own vehicle based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the vehicle, the situation around the vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, the occurrence of an abnormality, the travelable distance, and the like.
  • the situation around the vehicle to be predicted includes, for example, the behavior of the moving object around the vehicle, the change of the signal state, and the change of the environment such as the weather.
  • the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, indicates data indicating the result of the prediction process, the route planning unit 161 of the planning unit 134, the action planning unit 162, and the operation planning unit 163. Supply to etc.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on traffic jams, accidents, traffic restrictions, conditions such as construction, the physical condition of the driver, and the like. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning part 162 Based on data or signals from each part of the vehicle control system 100 such as the map analyzing part 151 and the situation predicting part 154, the action planning part 162 safely makes the route planned by the route planning part 161 within the planned time. Plan your vehicle's action to drive. For example, the action planning unit 162 performs planning of start, stop, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), travel lane, travel speed, overtaking, and the like. The action planning unit 162 supplies data indicating the planned behavior of the host vehicle to the operation planning unit 163 and the like.
  • the operation planning unit 163 is an operation of the own vehicle for realizing the action planned by the action planning unit 162 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan.
  • the operation plan unit 163 plans acceleration, deceleration, a traveling track, and the like.
  • the operation planning unit 163 supplies data indicating the planned operation of the vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like of the operation control unit 135.
  • the operation control unit 135 controls the operation of the vehicle.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 is based on the detection results of the external information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143, collision, contact, entry into a danger zone, driver's abnormality, vehicle Perform detection processing of an emergency such as an abnormality.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle for avoiding an emergency situation such as a sudden stop or a sudden turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the operation plan unit 163 or the emergency situation avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • FIG. 3 is a block diagram showing a configuration example of a self-position estimation system 200 to which the present technology is applied.
  • the self position estimation system 200 mainly performs processing of the self position estimation unit 132, the external information detection unit 141, and the situation recognition unit 153 in the vehicle control system 100, and generation processing of a map used for self position estimation processing. is connected with.
  • the self position estimation system 200 is a system that estimates the self position / posture of the vehicle 10.
  • the self position estimation system 200 includes a control unit 201, an image acquisition unit 202, a vehicle state information acquisition unit 203, a feature point extraction unit 204, a feature point tracking unit 205, a map generation unit 206, and an estimation unit 207. , And a map information storage unit 208.
  • the position of the self (vehicle 10) required to execute the control process of the vehicle control system 100 is estimated.
  • the position of the vehicle 10 is estimated using the image information captured by the camera 300, the vehicle state information from the vehicle state detection sensor 400, and the like.
  • the control unit 201 estimates the self position / attitude of the vehicle 10 using what kind of weighting each of the image information and the vehicle state detection information based on the control prediction information from the server device 500.
  • the weighting information in the above is output to the estimation unit 207.
  • control unit 201 controls which weighting is used to estimate the self-position / attitude of the vehicle 10 by using the image information acquired from the plurality of cameras 300.
  • the control unit 201 outputs weighting information of each camera to the image acquisition unit 202.
  • control unit 201 performs control of masking a feature extraction region that is not used for feature point extraction for self-position / posture estimation of the vehicle 10 based on the control prediction information.
  • the control unit 201 outputs feature point extraction area mask information to the feature point extraction unit 204.
  • the image acquisition unit 202 acquires images captured by the camera 300 as a sensing device mounted on the vehicle 10 in time series.
  • a plurality of cameras 300 are installed, and a distance image by parallax can be acquired.
  • one camera may be installed, and a distance image may be acquired from images of a plurality of frames captured in time series.
  • the camera is included in the data acquisition unit 102 described above.
  • the image acquisition unit 202 outputs the time-series image of the selected image to the feature point extraction unit 204 together with the weighting information of each camera from the control unit 201.
  • the weighting of the camera 300 includes, for example, the selection of the camera 300 not used in self position / posture estimation among the plurality of cameras 300. In this case, the weighting of the image information by the camera 300 which is not used is zero.
  • the vehicle state information acquisition unit 203 acquires vehicle state detection results of the vehicle state detection sensor 400 mounted on the vehicle 10 in time series.
  • the vehicle state detection sensor 400 includes a GNSS for detecting the current position of the vehicle 10, a gyro sensor for detecting the state of the vehicle 10, an acceleration sensor, an inertial measurement unit (IMU), an operation amount of an accelerator pedal, and a brake pedal. There is a sensor or the like for detecting an operation amount of the steering wheel, a steering angle of a steering wheel, an engine rotation number, a motor rotation number, a rotation speed of a wheel, or the like.
  • the feature point extraction unit 204 masks the feature point extraction region of the time-series image input from the image acquisition unit 202 as necessary, based on the feature point extraction region mask information from the control unit 201. For example, the area of the sun position on the image is the feature point extraction area mask area, and the feature points located in this area are not extracted.
  • the feature point extraction unit 204 extracts feature points of the stationary object from areas other than the feature point extraction area mask area of the image, and outputs the feature points to the feature point tracking unit 205. Specifically, the feature point extraction unit 204 extracts a stationary object (land mark) from the time-series image input continuously, and extracts feature points of the extracted stationary object.
  • the feature point tracking unit 205 tracks the feature points extracted by the feature point extraction unit 204 with the time-series image input in order, and passes the information to the map generation unit 206.
  • the map generation unit 206 generates map information applicable to self-position estimation, including three-dimensional coordinates (three-dimensional points) of the object in the world coordinate system of the stationary object (feature points).
  • the map generation unit 206 updates the initial map at preset intervals. That is, the map generation unit 206 initializes the map information (the coordinates of the object in the world coordinate system) of the object stored in the map information storage unit 208 at preset intervals, and updates the map information.
  • the estimation unit 207 uses the map information generated by the map generation unit 206 based on the weighting information at estimation time output from the control unit 201, and the vehicle state detection information output from the vehicle state information acquisition unit 203. Are weighted, and the self position / attitude of the vehicle 10 is estimated from these pieces of information.
  • the estimation unit 207 estimates a transformation matrix from the world coordinate system to a camera coordinate system indicating a coordinate system based on the camera based on the coordinates of the object in the world coordinate system (three-dimensional coordinates of the feature points) Based on the matrix, a rotation angle indicating the position and attitude of the vehicle 10 relative to a stationary object (feature point) is estimated.
  • the estimation unit 207 determines the position of the vehicle 10 based on only the map information generated by the map generation unit 206 based on the image information. Estimate the attitude.
  • the estimation unit 207 estimates the self position / posture of the vehicle 10 based on only the vehicle state detection information. For example, when the sun is included in an image and it is difficult for the camera 300 to acquire an image suitable for self position / posture estimation by the sunlight, the vehicle state detection information is weighted relative to the image information, An estimate is made.
  • the map information storage unit 208 stores map information including coordinates of the object in the world coordinate system.
  • FIG. 4 is a block diagram showing an example of the configuration of a camera 300 as an imaging device.
  • the camera 300 is an image sensor that captures an image of the periphery of the vehicle 10 at a predetermined frame rate and detects image information of the periphery of the vehicle 10.
  • the vehicle 10 has, for example, two front cameras provided respectively on the left and right of the front of the vehicle body for photographing the field of view in front of the vehicle 10, and rear cameras 2 for the left and right The platform is mounted.
  • an RGB camera provided with an image sensor such as a CCD or a CMOS is used.
  • the invention is not limited to this, and an image sensor or the like that detects infrared light or polarized light may be used as appropriate.
  • infrared light or polarized light for example, it is possible to generate image information and the like whose appearance does not significantly change even when the weather changes.
  • exposure control, photometric area control, and the like are performed based on control prediction information from the server device 500, and image information is generated.
  • the camera 300 includes a camera control unit 301, a lens unit drive circuit 302, a lens unit 303, and a mechanical shutter (hereinafter abbreviated as a mechanical shutter and similarly abbreviated in the drawings) a drive circuit 304 and a mechanical shutter 305.
  • the image sensor driving circuit 306, the image sensor 307, an AGC (Automatic Gain Control) circuit 308, a signal processing unit 309, and a photometry unit 310 are provided.
  • the camera control unit 301 includes an exposure control unit 3011 and a photometry area control unit 3012.
  • the exposure control unit 3011 generates a control signal for controlling the exposure amount based on the control prediction information supplied from the server device 500 and the photometry result in the photometry unit 310.
  • the exposure control unit 3011 controls the lens position and the aperture of the lens unit 303 via the lens unit drive circuit 302 based on the control prediction information supplied from the server device 500, and the mechanical control unit 304 of the mechanical shutter 305 via the mechanical shutter drive circuit 304.
  • the driving is controlled, the electrical operation of the image sensor 307 is controlled via the image sensor driving circuit 306, and the control signal for controlling the operation timing of the AGC circuit 308 is generated. Thereby, the exposure amount is controlled.
  • the photometry area control unit 3012 supplies a control signal for defining the photometry area to the photometry unit 310 based on the control prediction information supplied from the server device 500.
  • control prediction information that the area on the image predicted by the server device 500 that the sun is projected is not the target of photometry (mask processing of the photometric area) and the other area is the target of photometry.
  • Control signals are generated that define the area of unit 310.
  • the lens unit drive circuit 302 is configured by a motor or the like, and moves the lens position of the lens unit 303 to adjust the focus position or adjusts the diaphragm based on the control signal supplied by the camera control unit 301.
  • the mechanical shutter drive circuit 304 controls the shutter speed and shutter timing of the mechanical shutter 305 based on the control signal supplied by the camera control unit 301.
  • the mechanical shutter 305 is disposed on the entire surface of the image sensor 307, and opens and closes according to the control of the mechanical shutter drive circuit 304 to pass or block the light passing through the lens unit 303.
  • the mechanical shutter is used, but an electronic shutter may be used.
  • the image sensor drive circuit 306 generates a signal for driving the image sensor 307 based on the timing signal or the like supplied by the camera control unit 301, and adjusts the timing for capturing an image or the like.
  • the image sensor 307 is configured of an individual imaging element such as a complementary metal oxide semiconductor (CMOS) image sensor or a charged coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charged coupled device
  • the image sensor 307 receives light from an object incident through the lens unit 303 to perform photoelectric conversion, and outputs an analog image signal according to the amount of light received to the AGC circuit 308 and the photometry unit 310.
  • the AGC circuit 308 adjusts the gain of the image signal based on the control signal from the exposure control unit 3011, and outputs the image signal with the adjusted gain to the signal processing unit 309.
  • the signal processing unit 309 A / D (Analog / Digital) converts an analog image signal from the AGC circuit 308. Further, the signal processing unit 309 applies noise removal processing and the like to the image data represented by the digital signal obtained by A / D conversion, and the image data (image information) obtained as a result thereof is transmitted to the self position estimation system 200. Output to the image acquisition unit 202 of FIG.
  • the photometry unit 310 performs photometry based on the image signal from the image sensor 307. At the time of photometry, the photometry unit 310 performs photometry in a defined photometry area based on the control signal supplied from the camera control unit 301. The photometry unit 310 outputs the photometry result to the camera control unit 301.
  • FIG. 5 is a block diagram showing a configuration example of the server device 500.
  • the server device 500 includes a communication unit 501, an information acquisition unit 502, a vehicle position / posture prediction unit 503 at T + N, and a position prediction unit 504 of disturbance elements (sun) on the image. And a control prediction unit 505.
  • the communication unit 501 communicates with a device (for example, an application server or control server) existing on the vehicle 10 or an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. I do.
  • a device for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or a network unique to an operator
  • the communication unit 501 receives various types of information from the vehicle 10 and outputs the information to the information acquisition unit 502.
  • the communication unit 501 transmits the control prediction information received from the control prediction unit 505 to the vehicle 10.
  • the information acquisition unit 502 acquires parameter information of the camera 300, position / attitude information of the vehicle 10 at time T, and state information of the vehicle from the vehicle 10 via the communication unit 501.
  • the parameter information of the camera 300 is output to the position estimation unit 504 of the sun on the image.
  • the position / attitude information of the vehicle 10 at the time T of the vehicle 10 and the vehicle state information are output to the vehicle position / posture prediction unit 503 at T + N.
  • the position information of the vehicle 10 is, for example, information of the GNSS signal detected by the data acquisition unit 102 of the vehicle.
  • the vehicle state information includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, an engine rotation number, a motor rotation number, or a wheel It is information such as rotation speed.
  • the parameters possessed by the camera 300 include internal parameters and external parameters.
  • the internal parameters of the camera 300 are camera specific information that does not depend on the vehicle status, such as the focal length of the camera lens, lens distortion characteristics, and lens mounting position errors.
  • the external parameters of the camera 300 refer to the mounting position and orientation information of each camera 300 when the self position and orientation of the vehicle 10 is at the center of the vehicle 10, that is, the position and orientation of the camera 300 based on the center of the vehicle 10. It is information.
  • the vehicle position / attitude prediction unit 503 at T + N determines the vehicle position / attitude at T + N. Predict.
  • the vehicle position / posture prediction unit 503 at the time of T + N outputs the prediction result to the sun position prediction unit 504 on the image.
  • the position estimation unit 504 of the sun on the image is photographed by the camera 300 at T + N based on parameter information of the camera 300, vehicle position / attitude information at T + N, date / time / weather information 506, and map information 507. Predict the position of the sun on the predicted image.
  • the position prediction unit 504 of the sun on the image is predicted that the vehicle 10 at T + N exists from the date and time information, the predicted position / attitude information of the vehicle 10 at T + N, and the map information 507 Calculate the sun's altitude (elevation) and azimuth at the location.
  • the camera 300 at T + N based on the information of the altitude and azimuth of the sun at T + N, the position / attitude information of the vehicle 10, and the parameter information of the camera 300 Predict the position of the sun on the image that is predicted to be taken.
  • the date and time / weather information 506 can be acquired, for example, by the server device 500 communicating with an application server existing on the external network.
  • the map information 507 is stored in advance in the server device 500 and updated as needed at predetermined intervals.
  • the solar position prediction result on the image predicted by the sun position prediction unit 504 on the image is output to the control prediction unit 505.
  • the control prediction unit 505 predicts control related to the sensing device based on the solar position prediction result on the input image.
  • the control prediction information predicted by the control prediction unit 505 is transmitted to the vehicle 10 via the communication unit 501.
  • the control related to the sensing device includes control related to the camera 300 and control related to the sensing device in the self-position estimation system 200.
  • the control related to the camera 300 includes exposure control and photometric area control. First, exposure control which is control related to the camera 300 will be described.
  • an image sensor mounted on the camera 300 receives light from a subject, and an image signal corresponding to the amount of light received is supplied to the photometry unit.
  • the photometry unit performs photometry based on an image signal, and calculates an appropriate exposure value based on a luminance value obtained as a photometric value. Exposure control is performed based on this exposure value.
  • an image captured under appropriate exposure conditions at time T has M (M> 0) seconds elapsed from time T It will be obtained at T + M. That is, under the appropriate exposure condition at time T, an image perfect at the time T can not be obtained, and a time lag occurs.
  • the exposure condition of the camera 300 at T + N is preset and photographed based on the control prediction information of the exposure control of the camera 300 at T + N predicted by the server device 500. Since it becomes possible, there is no time lag, and it is possible to take pictures at T + N under exposure conditions appropriate for the situation at T + N.
  • the exposure control includes, for example, control such as adjustment of shutter speed and gain of an image signal. For example, when the sun appears on the image, the image is too bright due to the sun, so the control prediction unit 505 predicts exposure control such as increasing the shutter speed and decreasing the gain.
  • the control prediction information is transmitted to the vehicle 10, and the exposure control of the camera 300 is performed based on this information, and this is the exposure condition for photographing at T + N.
  • the sun may be reflected in the image when feature points are extracted, and the feature points on the image may be lost or misrecognized. Yes, there is a risk that the estimation accuracy of the self position and orientation may be degraded.
  • exposure control is predicted so as to obtain an appropriate image by predicting the sun's reflection on the image at T + N at this time in advance, under the exposure conditions based on this prediction information Images can be taken at T + N.
  • the vehicle 10 can obtain an image captured with a proper exposure that is appropriate for the situation of T + N. Therefore, when estimating the self position / posture using an image, it is possible to use an image photographed under an appropriate exposure condition in which feature points are not easily lost, and the estimation accuracy of the self position / posture is improved.
  • control prediction unit 505 predicts photometric area control in which the area on which the sun is projected is excluded from the photometric area.
  • the control prediction information predicted by the control prediction unit 505 is transmitted to the vehicle 10 via the communication unit 501.
  • self-position estimation system 200 estimates self-position / posture using such an image, feature points on the image may be lost or misrecognized.
  • the present embodiment it is possible to predict the reflection of the sun in advance, exclude the area where the sun is reflected on the image from the light measurement area and measure the light, and obtain an appropriate image without blackout. . Therefore, when estimating the self position / posture using an image, it is possible to provide an appropriate image which is hard to lose feature points, and the estimation accuracy of the self position / posture is improved.
  • the control related to the sensing device in the self position estimation system 200 includes control on weighting of image information and vehicle state detection information at the time of self position / posture estimation, control of feature point extraction mask area, and a plurality of cameras 300 There is control over the weighting of each of the image information.
  • control regarding weighting of image information and vehicle state detection information will be described. For example, when the sun is reflected on the image, the area where the sun is reflected on the image and its vicinity become excessively bright, and the other areas are darkened and blacked out.
  • the self position estimation system 200 estimates the self position / posture using such an image, feature points may be lost or misrecognized.
  • control prediction unit 505 predicts control of performing self position / posture estimation by weighting vehicle state detection information more than image information in the self position estimation system 200.
  • the control prediction unit 505 since the self position / posture estimation is performed based on the control prediction information, the estimation accuracy of the self position / posture is improved.
  • control prediction unit 505 is used when extracting a feature point in an area in which the sun is reflected in the image when the self position estimation system 200 estimates the self position / attitude using the image. Control to be a non-region (feature point extraction mask region) is predicted.
  • feature points are extracted from the beginning as a region where the region where the sun is reflected is masked from the beginning and feature points are not extracted, and self position / posture estimation is performed. The accuracy of the estimation of the self position and attitude is improved.
  • control prediction unit 505 lowers the weight of the image information from the camera 300 that captures an image captured by the sun, and the image information from other cameras 300 Predict control that gives higher weight.
  • Control prediction processing FIG. 6 is a flow of control prediction processing in the server device 500 for generating control prediction information related to a sensing device. S shows a step.
  • the information acquisition unit 502 relates to the vehicle 10 such as parameter information of the camera 300, position / posture information of the vehicle 10, state information of the vehicle 10, and the like from the vehicle 10 via the communication unit 501.
  • Information is acquired (S1).
  • the vehicle position / posture prediction unit 503 at T + N uses the vehicle 10 at T + N based on the position / posture information and the vehicle state information at the time T of the vehicle 10 output from the information acquisition unit 502.
  • the position / posture of is predicted (S2).
  • the position estimation unit 504 of the sun on the image performs the camera 300 at T + N.
  • the position of the sun on the image predicted to be taken by the camera is predicted (S3).
  • control prediction unit 505 predicts control related to the sensing device based on the predicted solar position information on the image, and generates control prediction information (control prediction signal) (S4).
  • control prediction signal control prediction signal
  • the communication unit 501 transmits the generated control prediction information to the vehicle 10 (S5).
  • the server apparatus 500 includes hardware necessary for the configuration of a computer such as a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), and a hard disk drive (HDD).
  • a computer such as a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), and a hard disk drive (HDD).
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • HDD hard disk drive
  • the server device 500 loads a program stored in the ROM into the RAM and executes the program to execute control prediction processing for generating control prediction information related to the above-described sensing device.
  • the sun on the image captured at T + N is based on the position / attitude information of the vehicle 10 at time T, the map information 507, and the date / time / weather information 506.
  • Control related to the camera 300 and the self-position estimation system 200 mounted on the vehicle 10 is predicted so that the influence of the reflection is reduced.
  • the disturbance element is suitable for the situation of the vehicle at T + N at T + N.
  • An image in which the influence of a certain sun reflection is reduced can be obtained without time lag. This results in a robust control system.
  • FIG. 1 is a block diagram showing a configuration example of a schematic function of a control system 1000 of a sensing device to which the present technology can be applied.
  • FIG. 8 is a block diagram showing a configuration example of functions of a server apparatus (information processing apparatus) in the control system 1000.
  • the same components as those of the first embodiment may be denoted by the same reference numerals and descriptions thereof may be omitted.
  • the control system 1000 includes a vehicle control system 100 mounted on a vehicle 10 which is a moving body, and a server apparatus 1500 as an information processing apparatus.
  • the vehicle control system 100 and the server device 1500 are configured to be communicable via, for example, a wireless communication network.
  • the server device 1500 includes a communication unit 501, an information acquisition unit 502, a vehicle position / attitude prediction unit 503 at T + N, and a position prediction unit of a disturbance element (tunnel) on an image (hereinafter referred to as a tunnel position prediction on an image) Section 1504 and a control prediction section 1505.
  • a communication unit 501 an information acquisition unit 502, a vehicle position / attitude prediction unit 503 at T + N, and a position prediction unit of a disturbance element (tunnel) on an image (hereinafter referred to as a tunnel position prediction on an image) Section 1504 and a control prediction section 1505.
  • the information acquisition unit 502 acquires parameter information of the camera 300, self position / posture information of the vehicle 10, and state information of the vehicle from the vehicle 10 via the communication unit 501.
  • the parameter information of the camera 300 is output to the tunnel position prediction unit 504 on the image.
  • the tunnel position prediction unit 1504 on the image predicts the position of the tunnel as a disturbance element on the image.
  • the tunnel position prediction unit 1504 on the image predicts the tunnel position on the image photographed at T + N based on the predicted self position / attitude information of the vehicle 10 at T + N and the map information 507.
  • the position prediction information of the tunnel is output to the control prediction unit 1505.
  • the map information 507 includes the location information of the tunnel.
  • the control prediction unit 1505 predicts control related to the sensing device based on the input position information of the tunnel on the image.
  • the control prediction information predicted by the control prediction unit 1505 is transmitted to the vehicle 10 via the communication unit 501.
  • the control related to the sensing device includes control related to the camera 300, control related to the sensing device in the self position estimation system 200, and control related to both the camera 300 and the self position estimation system 200.
  • the control related to the camera 300 includes exposure control and photometric area control.
  • the control prediction unit 1505 predicts the exposure control of the camera 300 at T + N based on the prediction result of the tunnel position on the image captured at T + N.
  • the control prediction information is transmitted to the vehicle 10.
  • the exposure control of the camera 300 is performed based on this information, and this becomes the exposure condition in photographing at T + N.
  • exposure control such as lowering the shutter speed or increasing the gain is predicted so that the image in the tunnel is projected as an appropriate image so as not to be darkened.
  • control prediction unit 1505 predicts control of the photometric area of the camera 300 at T + N based on the prediction result of the tunnel position on the image captured at T + N.
  • the control prediction information is transmitted to the vehicle 10, and based on this information, the photometric area control of the camera 300 is performed, and this becomes the photometric area condition in photographing at T + N.
  • the control prediction unit 1505 sets the area other than the area in the tunnel as a photometric area and the tunnel on the image Even if the area where the image is located is an image that is blacked out, the control is projected so that the image other than the area in the tunnel is displayed as an appropriate image. That is, the control which is an image based on the brightness outside the tunnel rather than in the tunnel is predicted.
  • control prediction unit 1505 measures the photometric area other than the area in the tunnel. Predict the control that will be
  • the control prediction unit 1505 controls the tunnel area as a photometric area and displays an image of the tunnel inside with an appropriate image. Predict. That is, the control which becomes an image on the basis of the brightness in the tunnel is predicted.
  • control prediction unit 1505 does not project the exit of the tunnel on the image, or even if it is projected, if there is still a distance to the exit of the tunnel, The control in which the area in the tunnel becomes the photometric area is predicted.
  • Control of whether the area outside the tunnel is a photometric area or the area inside the tunnel is a photometric area may be determined, for example, by the ratio of the area in the image where the tunnel is projected.
  • control prediction unit 1505 performs control to interpolate between the two images so that the image photographed with the area outside the tunnel as the photometric area and the image photographed with the area in the tunnel as the photometric area do not change rapidly. Predict.
  • control relating to a camera or a self-position estimation system performed based on the sun position or the shadow of a structure described in the first embodiment or the third embodiment described later. Is done.
  • the vehicle 10 can capture an image under photometric conditions and exposure conditions appropriate to the situation at T + N.
  • the control related to the sensing device in the self position estimation system 200 includes the control on the weighting of the image information and the vehicle state detection information at the time of self position / posture estimation, and the weighting of the image information acquired from each of the plurality of cameras 300 There is control over
  • the control prediction unit 1505 predicts the position of the vehicle 10 to be estimated using the image information and the vehicle state detection information in the self position estimation system 200 using what kind of weighting.
  • control prediction unit 1505 lowers the weight of the estimation result from the image information at the time of self-position / posture estimation by the self-position estimation system 200 and makes the weight of the estimation result from the vehicle state information high. Predict the control you want.
  • the estimation accuracy of the self position / posture of the vehicle 10 is improved.
  • control prediction unit 1505 controls the self position / attitude of the vehicle 10 to be estimated by using what kind of weighting each piece of image information obtained by the plurality of cameras 300 in the self position estimation system 200. Predict. As an example of control of weighting of the camera 300, there is selection of the camera 300 used at the time of self-position / posture estimation.
  • control is made to lower the weight of the image information taken by the camera 300 facing the tunnel direction without using the image information taken by the camera 300 facing the tunnel direction.
  • the control prediction unit 1505 predicts control to cause the camera 300 to switch between the first mode and the second mode for each frame and take pictures alternately. In addition to this, in the self-position estimation system 200, control is predicted as to which one of the first mode and the second mode is used to estimate the self-position at the time of T + N using an image captured in the second mode.
  • the control prediction information is transmitted to the vehicle 10.
  • the self position estimation system 200 estimates the self position / posture of the vehicle 10 based on this information.
  • the first mode is an imaging mode in which the area other than the area in the tunnel is a photometric area. In this mode, even if the area where the tunnel is located on the image is an image which is blacked out, it is set so that the image other than the area in the tunnel is displayed with the image photographed with the proper exposure.
  • the second mode is an imaging mode in which the area in the tunnel is a photometric area.
  • the inside of the tunnel is set to be projected with an image captured with the proper exposure.
  • control is performed to lower the shutter speed and increase the gain.
  • the shutter speed and gain patterns are switched between the first mode and the second mode.
  • image information obtained by alternately photographing the first mode and the second mode for each frame and information on which mode the image photographed in which mode is to be used for self-position estimation are used. Based on the contained control prediction information, estimation processing of the self position / posture of the vehicle 10 is performed.
  • the self position estimation system 200 extracts an image captured in the first mode from the acquired image information. Self position / posture estimation processing is performed based on this image.
  • the self position estimation system 200 uses the image captured in the second mode from the acquired image information. Extraction and self position / posture estimation processing is performed based on this image.
  • control prediction information includes information as to which mode the image taken in is used for the self-position / estimation process, and the image of the first mode or the second mode at the time of self-position estimation.
  • control prediction information combines the result of the self position / posture estimation processing result using the image of the first mode and the self position / posture estimation processing result using the image of the second mode with any weighting It may contain information on
  • self position / posture estimation processing is performed for each mode using image information captured in the first mode and image information captured in the second mode.
  • the self-position / posture estimation process is performed using the result of weighting and integrating the process results in each mode.
  • Control prediction processing FIG. 8 is a flow of control prediction processing for generating control prediction information related to a sensing device in the server device 1500.
  • the information acquisition unit 502 causes the communication unit 501 to transmit, from the vehicle 10, parameter information of the camera 300, position / attitude information of the vehicle 10 at time T, and state information of the vehicle. Acquire (S11).
  • the vehicle position / attitude prediction unit 503 at time T + N is based on the position / attitude information at the time T of the vehicle 10 and the vehicle state information output from the information acquisition unit 502, the vehicle position at time T + N. -Predict the posture (S12).
  • the tunnel position prediction unit 1504 on the image is predicted to be photographed by the camera 300 at T + N.
  • the position of the tunnel on the image is predicted, and it is predicted whether the tunnel is projected on the image (S13).
  • control prediction unit 1505 predicts control related to the sensing device based on the tunnel position information, and generates control prediction information (control prediction signal).
  • control prediction signal control prediction signal
  • the communication unit 501 transmits the generated control prediction information to the vehicle 10 (S15).
  • the server apparatus 1500 has hardware necessary for the configuration of a computer such as a CPU, a ROM, a RAM, and an HDD.
  • the server device 1500 loads the program stored in the ROM into the RAM and executes the program to execute control prediction processing for generating control prediction information related to the above-described sensing device.
  • control system 1000 of the present embodiment the influence of the reflection of the tunnel on the image at the time of T + N is reduced based on the position / attitude information of the vehicle 10 at the time T and the map information 507. Control based on the camera 300 and the self-position estimation system 200 mounted on the vehicle 10 is predicted.
  • the disturbance element is suitable for the situation of the vehicle at T + N at T + N.
  • An image in which the influence of reflection of a certain tunnel is reduced can be obtained without time lag. This results in a robust control system.
  • a shadow of a structure which is a stationary object such as a building is described as an example of a disturbance element.
  • a building is taken as an example of a structure.
  • FIG. 1 is a block diagram showing a configuration example of a schematic function of a control system 2000 of a sensing device to which the present technology can be applied.
  • FIG. 9 is a block diagram showing a configuration example of functions of the server apparatus 2500 as an information processing apparatus in the control system 2000.
  • the same components as those of the first embodiment may be denoted by the same reference numerals and descriptions thereof may be omitted.
  • the control system 2000 includes a vehicle control system 100 mounted on a vehicle 10 which is a moving body, and a server apparatus 2500 as an information processing apparatus.
  • the vehicle control system 100 and the server device 2500 are configured to be communicable via, for example, a wireless communication network.
  • the server device 2500 includes a communication unit 501, an information acquisition unit 502, a vehicle position / posture prediction unit 503 at T + N, and a position prediction unit (hereinafter referred to as a building on the image) of disturbance elements (shadows of buildings) on the image. Referred to as a shadow position prediction unit) 2504, and a control prediction unit 2505.
  • the information acquisition unit 502 acquires parameter information of the camera 300, self position / posture information of the vehicle 10, and state information of the vehicle from the vehicle 10 via the communication unit 501.
  • the parameter information of the camera 300 is output to the position prediction unit 2504 of the shadow of the building on the image.
  • the position prediction unit 2504 of the shadow of the building on the image predicts the position of the shadow of the building as a disturbance element on the image.
  • the position prediction unit 2504 of the shadow of the building on the image is at T + N It predicts the position of the building's shadow on the image that is predicted to be taken by the camera 300.
  • the position prediction unit 2504 of the shadow of the building on the image includes the date and time information, the self position / posture information of the vehicle 10 at the predicted T + N, the map information 507, and the altitude of the sun at T + N (elevation angle ) And the azimuth angle.
  • the map information 507 includes the location information of the building.
  • the camera at T + N based on the information of the altitude and azimuth of the sun at T + N, the self position / attitude information of the vehicle 10, the parameter information of the camera 300, and the map information 507 The position of the building shadow on the image captured by 300 is predicted.
  • the prediction result of the position of the building shadow on the image predicted by the position prediction unit 2504 of the building shadow on the image is output to the control prediction unit 2505.
  • the control prediction unit 2505 predicts control related to the sensing device based on the input position information of the shadow of the building on the image.
  • the control prediction information predicted by the control prediction unit 2505 is transmitted to the vehicle 10 via the communication unit 501.
  • the control related to the sensing device includes control related to the camera 300, control related to the sensing device in the self position estimation system 200, and control related to both the camera 300 and the self position estimation system 200.
  • the control related to the camera 300 includes exposure control and photometric area control.
  • the control prediction unit 2505 predicts control related to the exposure such as adjustment of the shutter speed and the gain of the image signal based on the position information of the shadow of the building on the image at T + N.
  • the control prediction unit 2505 predicts exposure control such as decreasing the shutter speed and increasing the gain.
  • This control prediction information is transmitted to the vehicle 10.
  • exposure control of the camera 300 is performed on the basis of the control prediction information, and this is the exposure condition in photographing at T + N.
  • the vehicle 10 can obtain an image captured with a proper exposure that is appropriate for the situation of T + N. Furthermore, in the self position estimation system 200, when estimating the self position / posture using an image, it is possible to use an image photographed with a proper exposure which is hard to lose feature points, so the estimation accuracy of the self position / posture Can be improved.
  • the control prediction unit 2505 predicts control related to the photometry area based on the position information of the shadow of the building on the image at T + N.
  • the control prediction information predicted by the control prediction unit 2505 is transmitted to the vehicle 10 via the communication unit 501.
  • control of the photometric area of the camera 300 is performed based on the control prediction information, and this is the photometric condition in photographing at T + N.
  • control prediction unit 2505 predicts photometric region control in which the region where the shadow of the building on the image appears is excluded from the photometric region as a darkened region.
  • the photometric area is combined with the area other than the building shadow area on the image, and the image of the building shadow area becomes black. , Predict the control that is projected in the appropriate image other than the shadow area of the building.
  • the photometric area is matched with the area of the building shadow to predict control for projecting the shadowed area in an appropriate image.
  • control prediction unit 2505 interpolates between the two images so that the image captured with the building shadow as the photometric area and the image captured with the area other than the building shadow as the photometric area do not change rapidly. Predict the control you want.
  • the control related to the sensing device in the self position estimation system 200 includes the control on the weighting of the image information and the vehicle state detection information at the time of self position / posture estimation, and the weighting of the image information acquired from each of the plurality of cameras 300 There is control over
  • the control prediction unit 2505 uses the image information and the vehicle state detection information in the self position estimation system 200 based on the position information of the building shadow on the image at T + N, by using any kind of weighting, to obtain the vehicle 10. Predict whether to estimate the self position / posture of
  • the estimation result from the image information is estimated at the time of self-position estimation in the self-position estimation system 200. Predict the control that reduces the weighting and increases the weighting of the estimation result from the vehicle state information.
  • the control prediction information is transmitted to the vehicle 10.
  • the vehicle 10 since the self position / posture estimation is performed based on the control prediction information, the estimation accuracy of the self position / posture is improved.
  • control prediction unit 2505 predicts control of estimation of the position / attitude of the vehicle by using what kind of weighting each image information obtained by the plurality of cameras 300 in the self-position estimation system 200. .
  • image information captured by the camera 300 facing in the shadow direction of a building is not used, or control for reducing the weight of the image information is predicted.
  • the control prediction unit 2505 predicts control of causing the camera 300 to switch between the first mode and the second mode for each frame and take pictures alternately.
  • the control prediction unit 2505 estimates the self position at the time of T + N using an image captured in either of the first mode and the second mode Alternatively, it is possible to combine the self-position estimation result at T + N time using the image captured in the first mode and the self-position estimation result at T + N time using the image captured in the second mode with any weighting. Then, the control of estimating the self position at the time of T + N is predicted.
  • the control prediction information is transmitted to the vehicle 10.
  • an image is taken by the camera 300 based on this information, and further, the self position estimation system 200 estimates the self position / posture of the vehicle 10.
  • the first mode is a shooting mode in which the area other than the shadow area of the building is a photometric area. In this mode, even if the shadowed area of the building on the image is an image that is blacked out, it is set so that the image other than the shadowed area of the building is projected with the image captured with the proper exposure.
  • the second mode is a shooting mode in which a shadow area of a building is a photometric area.
  • the shadow area of the building is set to be projected with an image captured with the proper exposure.
  • exposure control is performed to lower the shutter speed and increase the gain.
  • the shutter speed and gain patterns are switched between the first mode and the second mode.
  • image information obtained by alternately switching between the first mode and the second mode for each frame and image obtained in which mode is used in self-position estimation or in both modes Based on control prediction information including information on how to integrate the self-position / posture estimation results according to modes using images captured in the respective modes, and the self-position / posture of the vehicle 10 An estimation process is performed.
  • the self position estimation system 200 extracts an image captured in the first mode from the acquired image information.
  • the self position / posture estimation process is performed based on the extracted image.
  • the self position estimation system 200 extracts an image captured in the second mode from the acquired image information. Self position / posture estimation processing is performed based on this image.
  • control prediction information is a self position / posture estimation process using a result obtained by weighting and integrating the self position / posture estimation results for each mode
  • the self position estimation system 200 it is photographed in the first mode
  • Self-position / posture estimation processing is performed for each mode using image information and image information captured in the second mode, and the result of integration of processing results in each mode is weighted and used for self-position Posture estimation processing is performed.
  • Control prediction processing FIG. 10 is a flow of control prediction processing for generating control prediction information related to a sensing device in the server device 2500.
  • the information acquisition unit 502 acquires parameter information of the camera 300, position / attitude information of the vehicle 10, and state information of the vehicle from the vehicle 10 via the communication unit 501 (S21).
  • the vehicle position / posture prediction unit 503 at T + N uses the vehicle 10 at T + N based on the position / posture information and the vehicle state information at the time T of the vehicle 10 output from the information acquisition unit 502.
  • the position / posture of is predicted (S22).
  • the position prediction unit 2504 of the shadow of the building on the image is at T + N.
  • the position of the building shadow on the image predicted to be photographed by the camera 300 is predicted, and it is predicted whether the building shadow is projected on the image (S23).
  • control prediction unit 2505 predicts control related to the sensing device based on the position information of the shadow of the building, and generates control prediction information (control prediction signal).
  • control prediction signal control prediction signal
  • the communication unit 501 transmits the generated control prediction information to the vehicle 10 (S25).
  • the server device 2500 includes hardware necessary for the configuration of a computer such as a CPU, a ROM, a RAM, and an HDD.
  • the server device 2500 executes control prediction processing for generating control prediction information related to the above-described sensing device by loading the program stored in the ROM into the RAM and executing the program.
  • the structure on the image at T + N based on the position / attitude information of the vehicle 10 at time T, the map information 507, and the date / time / weather information 506
  • the control related to the camera 300 and the self-position estimation system 200 mounted on the vehicle 10 is predicted so that the influence of the reflection of the shadows on the vehicle 10 is reduced.
  • the disturbance element is suitable for the situation of the vehicle at T + N at T + N.
  • An image in which the influence of shadow reflection of a certain structure is reduced can be obtained without time lag. This results in a robust control system.
  • control prediction information generated by the server device 500 (1500, 2500) is transmitted to the vehicle 10 equipped with a camera for acquiring image information. May be transmitted to other vehicles other than the vehicle 10.
  • the vehicle 10 is referred to as a host vehicle 10 in order to distinguish it from other vehicles.
  • the other vehicle as the second vehicle follows the same route as the route on which the vehicle 10 as the first vehicle travels, and the time T + N '(N') in which the time has not passed from the time T + N through which the vehicle 10 passes > N) through the same position as the vehicle 10 passes at T + N.
  • Control prediction information at time T + N of the vehicle 10 predicted by the server device 500 (1500, 2500) is transmitted to the other vehicle.
  • the other vehicle when the other vehicle comes to the same position as the position where the own vehicle 10 is predicted to be present at T + N, it is performed by the own vehicle 10 described in the above embodiments based on the received control prediction information. A process related to the sensing device similar to the process is performed.
  • the server device 500 (1500, 2500) acquires only position / attitude information of the other vehicle from the other vehicle.
  • Server apparatus 500 (1500, 2500) transmits control prediction information at time T + N of own vehicle 10 to the other vehicle as control prediction information related to the sensing device of the other vehicle at time T + N ′.
  • control prediction unit 505 (1505, 2505) is a sensing device at time T + N of the vehicle 10 predicted based on the position / attitude information of the vehicle 10 at time T acquired by the information acquisition unit 502 and map information. Let the control prediction concerned be control prediction concerning a sensing device of other vehicles. In this manner, a plurality of vehicles may be configured to share similar control prediction information.
  • control prediction information includes control prediction information related to the camera, control prediction information related to the sensing device in the self position estimation system, and control prediction information related to both the camera and the self position estimation system. Although given as an example, it may be either or a combination.
  • the present technology may be used for exposure control and photometry control of a camera when shooting a moving image stored in a drive recorder, and a moving image resistant to disturbance elements can be obtained.
  • the system means a set of a plurality of components (devices, modules (parts)), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network and one device in which a plurality of modules are housed in one housing are all systems.
  • the present technology can also be configured as follows.
  • an information acquisition unit that acquires position / posture information of a first mobile body including a sensing device;
  • An information processing apparatus comprising: a control prediction unit that predicts control related to the sensing device based on the position / posture information acquired by the information acquisition unit and map information.
  • the sensing device includes an imaging device
  • the information processing apparatus is A mobile body position / posture prediction unit that predicts the position / posture of the first mobile body based on the position / posture information acquired by the information acquisition unit; And a disturbance element position prediction unit for predicting the position of the disturbance element on the image captured by the imaging device based on the map information and the prediction result of the moving object position / posture prediction unit.
  • control prediction unit predicts control of the imaging device based on a prediction result by the position prediction unit of the disturbance element.
  • the information processing apparatus according to (2) An information processing apparatus, wherein the control prediction unit predicts exposure control of the imaging device.
  • the control prediction unit predicts photometry area control of the imaging device.
  • the information processing apparatus includes an imaging device
  • the first moving body includes a self position estimation system that estimates the position and orientation of the first moving body using feature points extracted from image information from the imaging device
  • the information processing apparatus is A mobile body position / posture prediction unit that predicts the position / posture of the first mobile body based on the position / posture information acquired by the information acquisition unit; And a disturbance element position prediction unit for predicting the position of the disturbance element on the image captured by the imaging device based on the map information and the prediction result of the moving object position / posture prediction unit.
  • the control prediction unit predicts control related to the self-position estimation system based on a prediction result by the position prediction unit of the disturbance element.
  • the control prediction unit predicts an area in which the feature point is not extracted on the image in the self position estimation system, based on a prediction result by the position prediction unit of the disturbance element.
  • the sensing device includes the imaging device and a movable body state detection sensor that detects a state of the first movable body.
  • the position estimation system for estimating the position / attitude of the first mobile using the at least one of the image information and the mobile state information from the mobile state detection sensor. Equipped
  • the control prediction unit uses the image information and the mobile object state information used when estimating the position and orientation of the first mobile object in the self position estimation system based on a prediction result by the position predictor of the disturbance element.
  • the sensing device includes a plurality of imaging devices
  • the control prediction unit is configured to estimate the position and orientation of the first moving body in the self position estimation system based on the prediction result of the position estimation unit of the disturbance element.
  • An information processing apparatus for predicting information weighting (9) The information processing apparatus according to any one of (5) to (8), An information processing apparatus, wherein the control prediction unit predicts control of the imaging device based on a prediction result by the position prediction unit of the disturbance element.
  • the information processing apparatus is the sun
  • the position prediction unit of the disturbance element predicts the sun position in the image captured by the imaging device based on the map information, the prediction result by the mobile object position / posture prediction unit, and the sun position information (11 )
  • the information processing apparatus according to any one of (2) to (9), wherein
  • the disturbance element is a tunnel
  • the position estimation unit of the disturbance element predicts a tunnel position in an image captured by the imaging device based on the map information and a prediction result of the moving object position / posture estimation unit.
  • the information processing apparatus is a shadow of a structure
  • the position prediction unit of the disturbance element is a position of the shadow by the structure in the image captured by the imaging device based on the map information, the prediction result by the moving object position / posture prediction unit, and the sun position information.
  • Information processing device to predict.
  • the information processing apparatus includes a sensing device, and acquires position / posture information of a second moving body different from the first moving body.
  • the control prediction unit may perform control prediction related to a sensing device of the first mobile object predicted based on position / posture information of the first mobile object acquired by the information acquisition unit and map information.
  • An information processing apparatus that performs control prediction related to a mobile object sensing device according to (2).
  • a sensing device And an acquisition unit for acquiring self position / posture information, The sensing device is controlled by control prediction information related to the sensing device that is predicted based on the position / posture information acquired by the acquisition unit and map information.
  • a mobile including a sensing device An acquisition unit that acquires position / posture information of the moving body; A control prediction unit that predicts control related to the sensing device based on the position / posture information and the map information acquired by the acquisition unit; A control unit configured to perform control related to the sensing device based on control prediction information from the control prediction unit.
  • Control system 10 ... Vehicle (first moving body) 102 ... data acquisition unit (acquisition unit) 200 ... self-position estimation system 201 ... control part (control part) of self-position estimation system 300 ... camera (sensing device, imaging device) 301: Camera control unit (control unit) 400 ... Vehicle condition detection sensor (sensing device, mobile object condition detection sensor) 500, 1500, 2500 ... server device (information processing device) 502 ... information acquisition unit 503 ... vehicle position / attitude prediction unit at time T + N (moving object position / posture prediction unit) 504: Position prediction unit of the sun on the image (position prediction unit of disturbance element) 505, 1505, 2505 ... control prediction unit 506 ... date and time information 507 ... map information 1504 ... position prediction unit of tunnel on image (position prediction unit of disturbance element) 2504 ... Position prediction unit of building shadow on image (position prediction unit of disturbance element)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】外乱要素による影響を低減させることができる情報処理装置、移動体、制御システム、情報処理方法及びプログラムを提供すること。 【解決手段】情報処理装置は、情報取得部と、制御予測部とを具備する。上記情報取得部は、センシングデバイスを備える第１の移動体の位置・姿勢情報を取得する。上記制御予測部は、上記取得部により取得された上記位置・姿勢情報と地図情報を基に、上記センシングデバイスに係る制御を予測する。

Description

情報処理装置、移動体、制御システム、情報処理方法及びプログラム
　本技術は、情報処理装置、移動体、制御システム、情報処理方法及びプログラムに関し、特に、移動体の自己位置推定時に適切な画像を得るのに最適な情報処理装置、移動体、システム、情報処理方法及びプログラムに関する。
　従来、自律的に行動する移動体の自己位置推定を、例えば、移動体の周囲をカメラによって撮影した画像から複数の特徴点（ランドマークとも呼ばれる。）を抽出し、これらの特徴点の３次元位置を推定することによって行うことが提案されている（例えば特許文献１参照。）。
特開２００５－３１５７４６号公報
　画像を用いて自己位置推定をする場合、周囲環境に存在する様々な外乱要素のためにランドマークを見失ったり誤認識したりすることにより、自己位置の推定精度が低下するおそれがある。
　以上のような事情に鑑み、本技術の目的は、外乱要素による影響を低減させることができる情報処理装置、移動体、制御システム、情報処理方法及びプログラムを提供することにある。
　上記目的を達成するため、本技術に係る情報処理装置は、情報取得部と、制御予測部とを具備する。
　上記情報取得部は、センシングデバイスを備える第１の移動体の位置・姿勢情報を取得する。
　上記制御予測部は、上記情報取得部により取得された上記位置・姿勢情報と地図情報を基に、上記センシングデバイスに係る制御を予測する。
　このような構成によれば、時刻Ｔにおける第１の移動体の位置・姿勢情報と、地図情報を基に、Ｎ秒後のＴ＋Ｎ時の移動体に適したセンシングデバイスに係る制御が予測される。この制御予測情報を基に、移動体では、Ｔ＋Ｎ時にセンシングデバイスに係る制御が行われるので、時間のずれがない制御が可能となる。
　上記センシングデバイスは撮像装置を含み、上記情報処理装置は、上記情報取得部により取得された上記位置・姿勢情報を基に上記第１の移動体の位置・姿勢を予測する移動体位置・姿勢予測部と、上記地図情報、及び、上記移動体位置・姿勢予測部による予測結果を基に、上記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部とを更に具備し、上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記撮像装置の制御を予測してもよい。
　このような構成によれば、時刻Ｔにおける第１の移動体の位置・姿勢情報と、地図情報を基に、Ｎ秒後のＴ＋Ｎ時に撮像装置により撮影されると予測される画像上の外乱要素の位置が予測される。そして、この外乱要素の位置の予測結果を基に、外乱要素による影響が低減される画像となる撮像装置の制御が予測される。
　第１の移動体では、この制御予測情報を基に、Ｔ＋Ｎ時の移動体を撮影する撮像装置の制御条件が設定されることにより、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の移動体の状況に適した、外乱要素による影響が低減された画像を、時間のずれなく得ることができる。
　上記制御予測部は、上記撮像装置の露光制御を予測してもよい。
　上記制御予測部は、上記撮像装置の測光領域制御を予測してもよい。
　上記センシングデバイスは撮像装置を含み、上記第１の移動体は、上記撮像装置からの画像情報から抽出した特徴点を用いて、上記第１の移動体の位置・姿勢を推定する自己位置推定システムを備え、上記情報処理装置は、上記情報取得部により取得された上記位置・姿勢情報を基に上記第１の移動体の位置・姿勢を予測する移動体位置・姿勢予測部と、上記地図情報、及び、上記移動体位置・姿勢予測部による予測結果を基に、上記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部とを更に具備し、上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記自己位置推定システムに係る制御を予測してもよい。
　このような構成によれば、時刻Ｔにおける第１の移動体の位置・姿勢情報と、地図情報を基に、Ｎ秒後のＴ＋Ｎ時に撮像装置により撮影されると予測される画像上の外乱要素の位置が予測される。そして、この外乱要素の位置の予測結果を基に、外乱要素による影響が低減されるように、自己位置推定システムに係る制御が予測される。
　第１の移動体では、この制御予測情報を基に、Ｔ＋Ｎ時の自己位置推定システムに係る制御が設定されることにより、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の移動体の状況に適した、外乱要素による影響が低減された画像情報等を用いて自己位置・姿勢の推定処理を行うことが可能となり、推定精度が向上する。
　上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記自己位置推定システムでの上記画像上の上記特徴点の抽出をしない領域を予測してもよい。
　上記センシングデバイスは、上記撮像装置と、上記第１の移動体の状態を検出する移動体状態検出センサを含み、上記第１の移動体は、上記画像情報と、上記移動体状態検出センサからの移動体状態情報の少なくとも一方を用いて、上記第１の移動体の位置・姿勢を推定する上記位置推定システムを備え、上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記自己位置推定システムでの上記第１の移動体の位置・姿勢の推定時に用いる上記画像情報と上記移動体状態情報それぞれの重みづけを予測してもよい。
　上記センシングデバイスは複数の撮像装置を含み、上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記自己位置推定システムでの上記第１の移動体の位置・姿勢の推定時に用いる複数の上記撮像装置からの各画像情報の重みづけを予測してもよい。
　上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に上記撮像装置の制御を予測してもよい。
　上記外乱要素は太陽であり、上記外乱要素の位置予測部は、上記地図情報、上記移動体位置・姿勢予測部による予測結果、及び、太陽位置情報を基に、上記撮像装置により撮影される画像における太陽位置を予測してもよい。
　上記外乱要素はトンネルであり、上記外乱要素の位置予測部は、上記地図情報、及び、上記移動体位置・姿勢予測部による予測結果を基に、上記撮像装置により撮影される画像におけるトンネル位置を予測してもよい。
　上記外乱要素は構造物の影であり、上記外乱要素の位置予測部は、上記地図情報、上記移動体位置・姿勢予測部による予測結果、及び、太陽位置情報を基に、上記撮像装置により撮影される画像における構造物による影の位置を予測してもよい。
　上記情報取得部は、センシングデバイスを備え、上記第１の移動体とは異なる第２の移動体の位置・姿勢情報を取得し、上記制御予測部は、上記情報取得部により取得された上記第１の移動体の位置・姿勢情報と地図情報を基に予測した上記第１の移動体のセンシングデバイスに係る制御予測を、上記第２の移動体のセンシングデバイスに係る制御予測としてもよい。
　上記目的を達成するため、本技術に係る移動体は、センシングデバイスと、取得部とを具備する。
　上記取得部は、自己の位置・姿勢情報を取得する。
　上記センシングデバイスは、上記取得部により取得された上記位置・姿勢情報と地図情報を基に予測された上記センシングデイバスに係る制御予測情報により制御される。
　上記目的を達成するため、本技術に係る制御システムは、移動体と、取得部と、制御予測部と、制御部とを具備する。
　上記移動体は、センシングデバイスを備える。
　上記取得部は、上記移動体の位置・姿勢情報を取得する
　上記制御予測部は、上記取得部により取得された上記位置・姿勢情報と地図情報を基に、上記センシングデバイスに係る制御を予測する。
　上記制御部は、上記制御予測部による制御予測情報を基に、上記センシングデバイスに係る制御を行う。
　上記目的を達成するため、本技術に係る情報処理方法は、センシングデバイスを備える移動体の位置・姿勢情報を取得し、上記位置・姿勢情報と地図情報に基づいて、上記センシングデバイスに係る制御を予測する。
　上記目的を達成するため、本技術に係るプログラムは、センシングデバイスを備える移動体の位置・姿勢情報を取得するステップと、上記位置・姿勢情報と地図情報に基づいて、上記センシングデバイスに係る制御を予測するステップとを情報処理装置に実行させる。
　以上のように、本技術によれば、外乱要素による影響を低減させることができる情報処理装置、移動体、システム、情報処理方法及びプログラムを提供することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施形態に係るセンシングデバイス制御システムを表す概略図である。 上記センシングデバイス制御システムにおける車両制御システムの概略的な機能の構成例を示すブロック図である。 上記自己位置推定システムにおける自己位置推定部の概略的な機能の構成例を示すブロック図である。 車両に備えられるカメラの概略的な機能の構成例を示すブロック図である。 上記センシングデバイス制御システムにおけるサーバ装置の概略的な機能の構成例を示すブロック図である。 上記情報処理装置における制御信号生成処理を説明するためのフローチャートである。 本技術の第２の実施形態に係るセンシングデバイス制御システムにおけるサーバ装置の概略的な機能の構成例を示すブロック図である。 第２の実施形態の情報処理装置における制御信号生成処理を説明するためのフローチャートである。 本技術の第３の実施形態に係るセンシングデバイス制御システムにおける情報処理装置の概略的な機能の構成例を示すブロック図である。 第３の実施形態の情報処理装置における制御信号生成処理を説明するためのフローチャートである。
　以下、本技術を実施するための形態について説明する。
　本技術では、移動体の時刻Ｔでの自己位置・姿勢情報と地図情報とを基に、Ｎ秒後のＴ＋Ｎ（Ｎ＞０）時での移動体の位置が予測され、Ｔ＋Ｎ時における移動体に備えられたセンシングデバイスに係る制御が予測される。
　以下の第１～第３の各実施形態では、第１の移動体として自動車等の車両を、センシングデバイスとしてカメラ（撮像装置）、車両状態検出センサを例にあげて説明する。
　尚、ここでは、移動体として自動車を用いて説明するが、これに限定されない。例えば移動体として、自転車、自動二輪車、ドローンを含む無人航空機（UAV:Unmanned Aerial Vehicle）、種々のロボット等がある。
　車両には、カメラ、車両状態検出センサ、車両の自動運転走行支援に用いられる自己位置推定システムが備えられている。
　以下の第１、第３の実施形態では、車両の時刻Ｔでの自己位置・姿勢情報と地図情報とを基に、Ｎ秒後のＴ＋Ｎ時での車両の位置が予測される。
　次に、この移動体の位置予測情報と、地図情報と、日時・天候情報を基に、Ｔ＋Ｎ時に撮影されると予測される画像上における外乱要素の位置が予測される。
　次に、この外乱要素の位置の予測結果を基に、カメラに係る制御、自己位置推定システムに係る制御が予測される。外乱要素として、第１の実施形態では太陽を、第３の実施形態ではビル等の構造物の影を例にあげて説明する。
　また、第２の実施形態では、移動体の時刻Ｔでの自己位置情報と地図情報とを基に、Ｎ秒後のＴ＋Ｎ時での車両の位置・姿勢が予測される。
　次に、この移動体の位置予測情報と、地図情報とを基に、Ｔ＋Ｎ時に撮影されると予測される画像上における外乱要素としてのトンネルの位置が予測される。
　次に、この外乱要素の位置の予測結果を基に、カメラに係る制御、自己位置推定システムに係る制御が予測される。
　以下、各実施形態について詳細に説明する。
＜第１の実施形態＞
［制御システムの構成例］
　図１は、本技術が適用され得るセンシングデバイスの制御システム１の概略的な機能の構成例を示すブロック図である。ここでは、主要な構成についてのみ記載し、詳細な構成については図２以降の図面を用いて後述する。
　制御システム１は、移動体である車両１０に搭載される車両制御システム１００と、情報処理装置としてのサーバ装置５００と、を含む。車両制御システム１００とサーバ装置５００とは例えば無線通信ネットワークを介して通信可能に構成される。
　尚、本実施形態では、情報処理装置としてのサーバ装置５００を車両１０の外部に設ける例をあげるが、車両１０に搭載してもよい。
　車両制御システム１００は、自己位置推定システム２００とデータ取得部１０２とを含む。
　データ取得部１０２は、センシングデバイスとしてのカメラ３００と車両状態検出センサ４００を含む。カメラ３００は車両１０の外部を撮影するものであり、車両１０に複数搭載される。
　自己位置推定システム２００では、自動運転の実行に必要な車両１０の自己位置・姿勢が推定される。自己位置推定システム２００では、カメラ３００により撮影された画像情報や車両状態検出センサ４００からの車両状態検出情報といったセンシングデバイスからの情報を用いて車両１０の自己位置・姿勢が推定される。
　自己位置推定システム２００では、カメラ３００からの画像情報を基に車両１０の自己位置・姿勢が推定される場合、画像上の特徴点（ランドマーク）の追跡結果を基に位置推定が行われる。
　サーバ装置５００は、情報取得部５０２と、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３と、画像上の外乱要素の位置予測部５０４と、制御予測部５０５を含む。
　車両１０のデータ取得部１０２では、カメラ３００及び車両状態検出センサ４００で、車両１０の時刻Ｔにおける車両１０に関する情報が取得される。時刻Ｔにおける車両１０に関する情報は、サーバ装置５００に送信される。
　サーバ装置５００の情報取得部５０２は、車両制御システム１００から送信された、時刻Ｔにおける車両１０に関する情報を取得する。
　移動体位置・姿勢予測部としてのＴ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２で取得した時刻Ｔにおける車両１０に関する情報を基に、Ｎ秒後のＴ＋Ｎ時における車両１０の自己位置・姿勢を予測する。
　本実施形態では、画像上の外乱要素の位置予測部５０４は、画像上の外乱要素としての太陽の位置を予測する。
　画像上の外乱要素（太陽）の位置予測部（以下、画像上の太陽の位置予測部と称す。）５０４は、予測されたＴ＋Ｎ時の車両１０の自己位置・姿勢情報と、地図情報と、日時・天候情報とを基に、Ｔ＋Ｎ時に撮影される画像上における太陽位置を予測する。
　制御予測部５０５は、Ｔ＋Ｎ時に撮影される画像上における太陽位置の予測結果を基に、Ｔ＋Ｎ時におけるカメラ３００に係る制御、自己位置推定システム２００に係る制御を予測する。この制御予測情報は、車両１０に送信される。車両１０では、この制御予測情報を基に、Ｔ＋Ｎ時に、カメラ３００に係る制御、自己位置推定システム２００に係る制御が行われる。
　カメラ３００に係る制御としては、露光制御、測光領域制御等がある。
　自己位置推定システム２００に係る制御は、車両１０の自己位置・姿勢を推定する際のセンシングデバイスに係る制御等がある。
　具体的には、制御予測部５０５は、自己位置推定システム２００で、カメラ３００からの画像情報と車両状態検出センサ４００からの検出情報とをそれぞれどのような重みづけで用いて、車両の位置・姿勢を推定するかを予測する。
　また、制御予測部５０５は、自己位置推定システム２００で、カメラ３００により撮影された画像情報を基に自己位置・姿勢が推定される場合、自己位置・姿勢推定のための特徴点抽出に用いない特徴点抽出領域のマスク領域をどのように設定するかを予測する。
　また、制御予測部５０５は、自己位置推定システム２００で、カメラ３００により撮影された画像情報を基に自己位置が推定される場合、自己位置・姿勢推定時に、複数のカメラ３００からの画像情報をそれぞれどのような重みづけで用いるかを予測する。る。
　以上のように、サーバ装置５００から送信された、車両１０に搭載されるカメラ３００や車両状態検出センサ４００といったセンシングデバイスに係る制御予測情報を基に、車両１０のセンシングデバイスに関する動作が制御される。
　これにより、太陽という外乱要素による影響が低減された、ロバスト性の高い制御システムが得られる。
　以下、各構成について詳細に説明する。
［車両制御システムの構成例］
　図２は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
［自己位置推定システムの構成例］
　図３は、本技術を適用した自己位置推定システム２００の構成例を示すブロック図である。自己位置推定システム２００は、車両制御システム１００のうち、主に自己位置推定部１３２、車外情報検出部１４１、及び、状況認識部１５３の処理、並びに、自己位置推定処理に用いられる地図の生成処理に関連する。
　自己位置推定システム２００は、車両１０の自己位・姿勢を推定するシステムである。
　自己位置推定システム２００は、制御部２０１と、画像取得部２０２と、車両状態情報取得部２０３と、特徴点抽出部２０４と、特徴点追跡部２０５と、地図生成部２０６と、推定部２０７と、地図情報記憶部２０８と、を備える。
　自己位置推定システム２００では、車両制御システム１００の制御処理の実行に必要な自己（車両１０）の位置が推定される。自己位置推定システム２００では、カメラ３００により撮影された画像情報や車両状態検出センサ４００からの車両状態情報等が用いられて、車両１０の位置が推定される。
　制御部２０１は、サーバ装置５００からの制御予測情報に基づいて、画像情報と車両状態検出情報とをそれぞれどのような重みづけで用いて車両１０の自己位置・姿勢を推定するかの、推定時における重みづけ情報を推定部２０７に出力する。
　また、制御部２０１は、制御予測情報に基づいて、複数のカメラ３００から取得される画像情報をそれぞれどのような重みづけで用いて車両１０の自己位置・姿勢の推定をするかを制御する。制御部２０１は、各カメラの重みづけ情報を画像取得部２０２に出力する。
　また、制御部２０１は、制御予測情報に基づいて、車両１０の自己位置・姿勢推定のための特徴点抽出に用いない特徴抽出領域をマスクする制御を行う。制御部２０１は、特徴点抽出領域マスク情報を特徴点抽出部２０４に出力する。
　画像取得部２０２は、車両１０に搭載されたセンシングデバイスとしてのカメラ３００により撮影された画像を時系列に取得する。本実施形態においては、カメラ３００は、複数台設置され、視差による距離画像が取得可能である。尚、カメラを１台設置し、時系列に撮影された複数フレームの画像から距離画像を取得してもよい。カメラは、上述のデータ取得部１０２に含まれる。
　画像取得部２０２は、制御部２０１からの各カメラの重みづけ情報とともに、選択画像の時系列画像を特徴点抽出部２０４に出力する。
　カメラ３００の重みづけには、例えば、複数のカメラ３００のうち自己位置・姿勢推定時に使用しないカメラ３００の選択も含まれる。この場合、使用しないカメラ３００による画像情報の重みづけはゼロとなる。
　車両状態情報取得部２０３は、車両１０に搭載された車両状態検出センサ４００の車両状態検出結果を時系列に取得する。
　車両状態検出センサ４００には、車両１０の現在位置を検出するＧＮＳＳ、車両１０の状態等を検出する、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等がある。
　特徴点抽出部２０４は、制御部２０１からの特徴点抽出領域マスク情報を基に、画像取得部２０２から入力された時系列画像の特徴点抽出領域を必要に応じマスクする。
　例えば、画像上の太陽位置の領域が特徴点抽出領域マスク領域となり、この領域内に位置する特徴点は抽出されない。
　特徴点抽出部２０４は、画像の特徴点抽出領域マスク領域以外の領域から静止物体の特徴点を抽出して、特徴点追跡部２０５に出力する。
　特徴点抽出部２０４は、具体的には、連続して入力される時系列画像から静止物体（ランドマーク）を抽出し、抽出した静止物体の特徴点を抽出する。
　特徴点追跡部２０５は、順に入力された時系列画像で、特徴点抽出部２０４で抽出された特徴点を追跡して、その情報を地図生成部２０６に受け渡す。
　地図生成部２０６は、静止物体（特徴点）の世界座標系における物体の３次元座標（３次元点）を含んだ、自己位置推定に適用可能な地図情報を生成する。
　地図生成部２０６は、予め設定された間隔で初期の地図を更新する。つまり地図生成部２０６は、予め設定された間隔で地図情報記憶部２０８に記憶されている物体の地図情報（世界座標系における物体の座標）を初期化して地図情報を更新する。
　推定部２０７は、制御部２０１から出力された、推定時における重みづけ情報を基に、地図生成部２０６で生成された地図情報と、車両状態情報取得部２０３から出力された車両状態検出情報とをそれぞれ重みづけて、これらの情報から車両１０の自己位置・姿勢を推定する。
　推定部２０７は、世界座標系における物体の座標（特徴点の３次元座標）に基づいて、世界座標系からカメラを基準とした座標系を示すカメラ座標系への変換行列を推定し、該変換行列に基づいて車両１０の静止物体（特徴点）に対する位置及び姿勢を示す回転角を推定する。
　例えば、画像情報が１００で車両状態検出情報が０という重みづけ情報であれば、推定部２０７は、画像情報を基に地図生成部２０６で生成した地図情報のみに基づいて車両１０の自己位置・姿勢を推定する。
　一方、画像情報が０で車両状態検出情報が１００という重みづけ情報であれば、推定部２０７は、車両状態検出情報のみに基づいて車両１０の自己位置・姿勢を推定する。
　例えば、画像に太陽が映り込んで太陽光により自己位置・姿勢推定に適した画像がカメラ３００により取得しにくい場合、車両状態検出情報を画像情報より重みをつけて用い、車両１０の自己位置・推定が行われる。
　地図情報記憶部２０８は、物体の世界座標系における座標を含む地図情報を記憶する。
［カメラの構成例］
　図４は、撮像装置としてのカメラ３００の一構成例を示すブロック部である。
　カメラ３００は、車両１０の周辺の画像を所定のフレームレートで撮影し、車両１０の周辺の画像情報を検出する画像センサである。
　車両１０には、例えば、車両１０の前方の視野を撮影する車体前方の左右それぞれに設けられたフロントカメラが２台と、後方の視野を撮影する車体後方の左右それぞれに設けられたリアカメラ２台が搭載される。
　カメラ３００としては、例えばＣＣＤやＣＭＯＳ等のイメージセンサを備えたＲＧＢカメラ等が用いられる。これに限定されず、赤外光や偏光光を検出する画像センサ等が適宜用いられてもよい。赤外光や偏光光を用いることで、例えば天候が変化した場合でも見え方が大きく変わらない画像情報等を生成することが可能である。
　本実施形態におけるカメラ３００では、サーバ装置５００からの制御予測情報を基に、露光制御、測光領域制御等が行われて、画像情報が生成される。
　カメラ３００は、カメラ制御部３０１と、レンズ部駆動回路３０２と、レンズ部３０３と、メカニカルシャッタ（以下、メカシャッタと略記し、図においても同様に略記する。）駆動回路３０４と、メカシャッタ３０５と、イメージセンサ駆動回路３０６と、イメージセンサ３０７と、ＡＧＣ（Automatic Gain Control）回路３０８と、信号処理部３０９と、測光部３１０と、を具備する。
　カメラ制御部３０１は、露光制御部３０１１と、測光領域制御部３０１２とを有する。
　露光制御部３０１１は、サーバ装置５００から供給された制御予測情報、測光部３１０での測光結果を基に、露光量を制御する制御信号を生成する。
　露光制御部３０１１は、サーバ装置５００から供給された制御予測情報を基に、レンズ部駆動回路３０２を介してレンズ部３０３のレンズ位置、絞りを制御し、メカシャッタ駆動回路３０４を介してメカシャッタ３０５の駆動を制御し、イメージセンサ駆動回路３０６を介してイメージセンサ３０７の電気的動作を制御するとともに、ＡＧＣ回路３０８の動作タイミングを制御する制御信号を生成する。これにより、露光量が制御される。
　測光領域制御部３０１２は、サーバ装置５００から供給された制御予測情報を基に、測光部３１０に対し、測光領域を規定する制御信号を供給する。
　例えば、サーバ装置５００によって太陽が映り込むと予測された画像上の領域については測光の対象とせず（測光領域のマスク処理）、他の領域を測光の対象とする、という制御予測情報に従って、測光部３１０の領域を規定する制御信号を生成する。
　レンズ部駆動回路３０２は、モータ等により構成され、カメラ制御部３０１により供給された制御信号に基づいて、レンズ部３０３のレンズ位置を移動させて焦点位置を調整したり、絞りを調整する。
　メカシャッタ駆動回路３０４は、カメラ制御部３０１により供給された制御信号に基づいて、メカシャッタ３０５のシャッタスピードやシャッタタイミングを制御する。
　メカシャッタ３０５は、イメージセンサ３０７の全面に配置されており、メカシャッタ駆動回路３０４の制御に従って開閉し、レンズ部３０３を通過してきた光を通過させたり、遮断したりする。
　尚、本実施形態では、メカシャッタを用いる例をあげたが、電子シャッタを用いてもよい。
　イメージセンサ駆動回路３０６は、カメラ制御部３０１により供給されたタイミング信号等に基づいてイメージセンサ３０７を駆動させる信号を生成し、画像の取り込みタイミング等を調整する。
　イメージセンサ３０７は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charged Coupled Device）イメージセンサ等の個体撮像素子から構成される。
　イメージセンサ３０７は、レンズ部３０３を介して入射する被写体からの光を受光して光電変換を行い、光の受光量に応じたアナログの画像信号をＡＧＣ回路３０８及び測光部３１０に出力する。
　ＡＧＣ回路３０８は、露光制御部３０１１からの制御信号に基づき、画像信号のゲインを調整し、そのゲインが調整された画像信号を信号処理部３０９に出力する。
　信号処理部３０９は、ＡＧＣ回路３０８からのアナログの画像信号をＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換する。また、信号処理部３０９は、Ａ／Ｄ変換により得られるデジタル信号で示される画像データに対し、ノイズ除去処理等を適用し、その結果得られる画像データ（画像情報）を、自己位置推定システム２００の画像取得部２０２に出力する。
　測光部３１０は、イメージセンサ３０７からの画像信号に基づく測光を行う。測光に際し、測光部３１０は、カメラ制御部３０１から供給された制御信号を基に、規定された測光領域で測光を行う。測光部３１０は、測光結果をカメラ制御部３０１に出力する。
［サーバ装置の構成例］
　図５は、サーバ装置５００の構成例を示すブロック図である。
　図５に示すように、サーバ装置５００は、通信部５０１と、情報取得部５０２と、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３と、画像上の外乱要素（太陽）の位置予測部５０４と、制御予測部５０５とを含む。
　通信部５０１は、基地局又はアクセスポイントを介して、車両１０や外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。
　通信部５０１は、車両１０から各種情報を受信し、情報取得部５０２に出力する。通信部５０１は、制御予測部５０５から受信した制御予測情報を車両１０に送信する。
　情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、時刻Ｔの時点での車両１０の位置・姿勢情報、車両の状態情報を取得する。
　カメラ３００が持つパラメータ情報は、画像上の太陽の位置予測部５０４に出力される。
　車両１０の時刻Ｔの時点での車両１０の位置・姿勢情報、車両状態情報は、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３に出力される。
　車両１０の位置情報は、車両のデータ取得部１０２で検出されたＧＮＳＳ信号の情報等である。
　車両状態情報は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等の情報である。
　カメラ３００が持つパラメータには、内部パラメータと外部パラメータがある。
　カメラ３００の内部パラメータは、カメラレンズの焦点距離やレンズの歪特性、レンズ取付け位置誤差等の車両のステータスに依存しないで定まるカメラの固有情報である。
　カメラ３００の外部パラメータとは、車両１０の自己位置・姿勢を車両１０の中心としたときの各カメラ３００の取付け位置、向きの情報、すなわち車両１０の中心を基準とするカメラ３００の位置・姿勢情報である。
　Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２から出力された、車両１０の時刻Ｔの時点での位置・姿勢情報及び車両状態情報を基に、Ｔ＋Ｎ時の車両位置・姿勢を予測する。Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、予測結果を画像上の太陽の位置予測部５０４に出力する。
　画像上の太陽の位置予測部５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両位置・姿勢情報と、日時・天候情報５０６と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上の太陽の位置を予測する。
　詳細には、まず、画像上の太陽の位置予測部５０４は、日時情報、予測されたＴ＋Ｎ時の車両１０の位置・姿勢情報、地図情報５０７とからＴ＋Ｎ時の車両１０が存在すると予測される位置における太陽の高度（仰角）と方位角とを算出する。
　次に、Ｔ＋Ｎ時の車両１０が存在すると予測される位置での天候情報から、太陽がでているか否かを判定する。
　例えば、天候情報により晴天で太陽が出ていると判定すると、Ｔ＋Ｎ時における太陽の高度と方位角の情報、車両１０の位置・姿勢情報、カメラ３００のパラメータ情報を基に、Ｔ＋Ｎ時にカメラ３００により撮影されると予測される画像上での太陽の位置を予測する。
　一方、天候情報により雨で太陽が出ていないと判定すると、Ｔ＋Ｎ時にカメラ３００により撮影される画像上に太陽は映し出されないとの予測をする。
　ここで、日時・天候情報５０６は、例えば、サーバ装置５００が、外部ネットワーク上に存在するアプリケーションサーバと通信することにより、取得することができる。
　地図情報５０７は、予めサーバ装置５００に格納され、予め設定された間隔で随時更新される。
　画像上の太陽の位置予測部５０４で予測された画像上での太陽位置予測結果は、制御予測部５０５に出力される。
　制御予測部５０５は、入力された画像上での太陽位置予測結果を基に、センシングデバイスに係る制御を予測する。制御予測部５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。
　センシングデバイスに係る制御には、カメラ３００に係る制御と、自己位置推定システム２００におけるセンシングデバイスに係る制御とがある。
　カメラ３００に係る制御には、露光制御、測光領域制御がある。
　まず、カメラ３００に係る制御である露光制御について説明する。
　一般的に、カメラ３００では、カメラ３００に搭載されているイメージセンサが被写体からの光を受光し、光の受光量に応じた画像信号が測光部に供給される。測光部では、画像信号に基づく測光が行われ、測光値として得られる輝度値に基づき適正な露出値が算出される。この露出値を基に露光制御が行われる。
　時刻Ｔの時点で算出された露出値を基に露光制御が行われると、時刻Ｔの時点で適切な露光条件で撮影される画像は、時刻Ｔの時点からＭ（Ｍ＞０）秒経過したＴ＋Ｍ時に得られることになる。つまり、時刻Ｔの時点で適切な露光条件で、時刻Ｔの時点ぴったりの画像を得ることができず、時間ずれが生じてしまうことになる。
　これに対し、車両１０のカメラ３００では、サーバ装置５００により予測されたＴ＋Ｎ時のカメラ３００の露光制御の制御予測情報を基に、Ｔ＋Ｎ時のカメラ３００の露光条件が予め設定されて撮影されることが可能となるので、時間ずれがなく、Ｔ＋Ｎ時の状況に適切な露光条件でＴ＋Ｎ時に撮影することができる。
　露光制御としては、例えば、シャッタスピード、画像信号のゲインの調整等の制御がある。例えば、画像上に太陽が映り込む場合、太陽により画像が明るくなりすぎるため、制御予測部５０５は、シャッタスピードを上げる、ゲインを下げるといった露光制御を予測する。
　この制御予測情報は、車両１０に送信され、この情報を基に、カメラ３００の露光制御が行われ、これが、Ｔ＋Ｎ時の撮影における露光条件となる。
　ここで、自己位置推定システム２００において、画像を用いて自己位置・姿勢を推定する場合、特徴点抽出時に、画像に太陽が映り込んで画像上の特徴点を見失ったり誤認識したりすることがあり、自己位置・姿勢の推定精度が低下するおそれがある。
　これに対し、本実施形態では、事前に、Ｔ＋Ｎ時の画像上の太陽の映り込みを予測して、適切な画像となるように露光制御が予測され、この予測情報を基にした露光条件でＴ＋Ｎ時の画像が撮影可能となっている。
　これにより、車両１０では、Ｔ＋Ｎ時の状況に適切な、適正露出で撮影された画像を得ることできる。従って、画像を用いた自己位置・姿勢を推定する際に、特徴点が見失いにくい、適切な露光条件で撮影された画像を用いることができ、自己位置・姿勢の推定精度が向上する。
　次に、カメラ３００に係る制御である測光領域制御について説明する。
　例えば、画像上に太陽が映り込む場合、制御予測部５０５は、画像上の太陽が映り込む領域を測光領域から除外するという測光領域制御を予測する。制御予測部５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。
　ここで、画像上に太陽が映り込む場合、画像上の太陽が映り込む領域及びその近辺は過剰に明るくなり、それ以外の領域は暗くなり黒つぶれしてしまう。このような画像を用いて、自己位置推定システム２００において、自己位置・姿勢を推定する場合、画像上の特徴点を見失ったり誤認識したりすることがある。
　これに対し、本実施形態では、事前に太陽の映り込みを予測して、画像上の太陽が映り込む領域を測光領域から除外して測光し、黒つぶれのない適切な画像を得ることができる。したがって、画像を用いた自己位置・姿勢を推定する際に、特徴点を見失いにくい適正な画像を提供することができ、自己位置・姿勢の推定精度が向上する。
　自己位置推定システム２００におけるセンシングデバイスに係る制御には、自己位置・姿勢推定時における、画像情報と車両状態検出情報との重みづけに関する制御、特徴点抽出マスク領域の制御、複数のカメラ３００からの画像情報のそれぞれの重みづけに関する制御がある。
　まず、画像情報と車両状態検出情報との重みづけに関する制御について説明する。
　例えば、画像上に太陽が映り込む場合、画像上の太陽が映り込む領域及びその近辺は過剰に明るくなり、それ以外の領域は暗くなり黒つぶれしてしまう。このような画像を用いて、自己位置推定システム２００にて自己位置・姿勢を推定する場合、特徴点を見失ったり誤認識したりすることがある。
　制御予測部５０５は、このような場合、自己位置推定システム２００で、画像情報よりも車両状態検出情報に重みをおいて自己位置・姿勢推定を行う制御を予測する。車両１０では、この制御予測情報を基に自己位置・姿勢推定が行なわれるので、自己位置・姿勢の推定精度が向上する。
　次に、特徴点抽出マスク領域の制御について説明する。
　例えば、画像上に太陽が映り込む場合、画像上の太陽が映り込む領域では、太陽の明るさにより画像上の特徴点を見失ったり誤認識したりすることがある。
　制御予測部５０５は、このような場合、自己位置推定システム２００で、画像を用いて自己位置・姿勢が推定される際、画像上の太陽が映り込む領域を、特徴点を抽出する際に用いない領域（特徴点抽出マスク領域）とする制御を予測する。
　車両１０では、この制御予測情報を基に、太陽が映り込む領域を初めからマスクして特徴点を抽出しない領域として、特徴点を抽出し、自己位置・姿勢推定が行われるので、画像を用いた自己位置・姿勢の推定精度が向上する。
　次に、複数のカメラ３００からの画像情報のそれぞれの重みづけに関する制御について説明する。
　例えば、制御予測部５０５は、画像を用いた自己位置・姿勢推定時に、太陽が映り込む画像を撮影するカメラ３００からの画像情報の重みづけを低くし、それ以外のカメラ３００からの画像情報の重みづけを高くする制御を予測する。
　車両１０では、この制御予測情報を基に、太陽が映り込まない画像を撮影するカメラ３００で取得された画像を主に用いて自己位置・姿勢推定が行われるので、画像を用いた自己位置・姿勢の推定精度が向上する。
［制御予測処理］
　図６は、サーバ装置５００における、センシングデバイスに係る制御予測情報を生成する制御予測処理のフローである。Ｓはステップを示す。
　制御予測処理がスタートすると、情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の位置・姿勢情報、車両１０の状態情報等の車両１０に係る情報を取得する（Ｓ１）。
　次に、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２から出力された、車両１０の時刻Ｔの時点での位置・姿勢情報及び車両状態情報を基に、Ｔ＋Ｎ時の車両１０の位置・姿勢を予測する（Ｓ２）。
　次に、画像上の太陽の位置予測部５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両位置・姿勢情報と、日時・天候情報５０６と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上の太陽の位置を予測する（Ｓ３）。
　次に、制御予測部５０５は、予測された画像上での太陽位置情報を基に、センシングデバイスに係る制御を予測し、制御予測情報（制御予測信号）を生成する（Ｓ４）。
　次に、通信部５０１は、生成された制御予測情報を車両１０へ送信する（Ｓ５）。
　サーバ装置５００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等のコンピュータの構成に必要なハードウェアを有する。
　サーバ装置５００では、ＲＯＭに保存されたプログラムをＲＡＭにロードして実行することにより、上述のセンシングデバイスに係る制御予測情報を生成する制御予測処理が実行される。
　以上のように、本実施形態の制御システム１では、時刻Ｔの車両１０の位置・姿勢情報と、地図情報５０７と、日時・天候情報５０６とを基に、Ｔ＋Ｎ時に撮影される画像上の太陽の映り込みによる影響が低減されるように車両１０に搭載されるカメラ３００及び自己位置推定システム２００に係る制御が予測される。
　車両１０では、この制御予測情報に基づいて、車両１０に搭載されるカメラ３００や自己位置推定システム２００に係る制御が行われるので、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の車両の状況に適した、外乱要素である太陽の映り込みによる影響が低減された画像を、時間のずれなく得ることができる。これにより、ロバスト性の高い制御システムが得られる。
＜第２の実施形態＞
［制御システムの構成例］
　本実施形態では、外乱要素としてトンネルを例にあげて説明する。
　図１は、本技術が適用され得るセンシングデバイスの制御システム１０００の概略的な機能の構成例を示すブロック図である。
　図８は、制御システム１０００におけるサーバ装置（情報処理装置）の機能の構成例を示すブロック図である。
　以下、第１の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
　制御システム１０００は、移動体である車両１０に搭載される車両制御システム１００と、情報処理装置としてのサーバ装置１５００と、を具備する。車両制御システム１００とサーバ装置１５００とは例えば無線通信ネットワークを介して通信可能に構成される。
　サーバ装置１５００は、通信部５０１と、情報取得部５０２と、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３と、画像上の外乱要素（トンネル）の位置予測部（以下、画像上のトンネルの位置予測部と称す。）１５０４と、制御予測部１５０５を含む。
　情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の自己位置・姿勢情報、車両の状態情報を取得する。
　カメラ３００が持つパラメータ情報は、画像上のトンネルの位置予測部５０４に出力される。
　本実施形態では、画像上のトンネルの位置予測部１５０４は、画像上の外乱要素としてのトンネルの位置を予測する。
　画像上のトンネルの位置予測部１５０４は、予測されたＴ＋Ｎ時の車両１０の自己位置・姿勢情報と、地図情報５０７とを基に、Ｔ＋Ｎ時に撮影される画像上におけるトンネル位置を予測する。トンネルの位置予測情報は、制御予測部１５０５に出力される。地図情報５０７には、トンネルの位置情報が含まれる。
　制御予測部１５０５は、入力された画像上でのトンネルの位置情報を基に、センシングデバイスに係る制御を予測する。制御予測部１５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。
　センシングデバイスに係る制御には、カメラ３００に係る制御と、自己位置推定システム２００におけるセンシングデバイスに係る制御と、カメラ３００と自己位置推定システム２００双方に係る制御がある。
　カメラ３００に係る制御には、露光制御、測光領域制御がある。
　制御予測部１５０５は、Ｔ＋Ｎ時に撮影される画像上におけるトンネル位置の予測結果を基に、Ｔ＋Ｎ時におけるカメラ３００の露光制御を予測する。この制御予測情報は、車両１０に送信される。車両１０では、この情報を基に、カメラ３００の露光制御が行われ、これが、Ｔ＋Ｎ時の撮影における露光条件となる。
　例えば、トンネル内では暗くなるため、画像が暗くならないようにトンネル内が適切な画像で映し出されるように、シャッタスピードをさげる、ゲインを上げるといった露光制御が予測される。
　また、制御予測部１５０５は、Ｔ＋Ｎ時に撮影される画像上におけるトンネル位置の予測結果を基に、Ｔ＋Ｎ時におけるカメラ３００の測光領域の制御を予測する。この制御予測情報は、車両１０に送信され、この情報を基に、カメラ３００の測光領域制御が行われ、これが、Ｔ＋Ｎ時の撮影における測光領域条件となる。
　例えば、制御予測部１５０５は、車両１０がトンネルに入る前、トンネルの入口と車両１０との間にある程度の距離がある場合には、トンネル内の領域以外を測光領域とし、画像上のトンネルが位置する領域が黒つぶれした画像となっても、トンネル内の領域以外が適切な画像で映し出される制御を予測する。すなわち、トンネル内ではなくトンネルの外の明るさを基準とした画像となる制御を予測する。
　同様に、制御予測部１５０５は、車両がトンネル内に位置する状態で、画像上にトンネルの出口が映し出され、車両がトンネルの出口にある程度近づいた場合には、トンネル内の領域以外が測光領域となる制御を予測する。
　制御予測部１５０５は、車両１０がトンネルの入口に近づき、トンネルと車両１０との間が一定以上近づいた場合には、トンネル内領域を測光領域として、トンネル内が適切な画像で映し出される制御を予測する。すなわち、トンネル内の明るさを基準とした画像となる制御を予測する。
　同様に、制御予測部１５０５は、車両がトンネル内に位置する状態で、画像上にトンネルの出口が映し出されない、或いは、映し出されていても、トンネルの出口までまだ距離がある場合には、トンネル内領域が測光領域となる制御を予測する。
　トンネル外領域を測光領域とするかトンネル内領域を測光領域とするかの制御は、例えば画像内におけるトンネルが映し出される領域の割合により判定されてもよい。
　また、制御予測部１５０５は、トンネル外領域を測光領域として撮影される画像と、トンネル内領域を測光領域として撮影される画像とが急激に変化しないように、両者の画像間を補間する制御を予測する。
　尚、トンネル外領域を測光領域とする場合、上述の第１の実施形態や後述する第３の実施形態に示す太陽位置又は構造物の影を基に行われるカメラや自己位置推定システムにかかわる制御がなされる。
　これにより、車両１０では、Ｔ＋Ｎ時の状況に適切な測光条件、露光条件で画像を撮影することができる。
　自己位置推定システム２００におけるセンシングデバイスに係る制御には、自己位置・姿勢推定時における、画像情報と車両状態検出情報との重みづけに関する制御、複数のカメラ３００それぞれから取得される画像情報の重みづけに関する制御がある。
　制御予測部１５０５は、自己位置推定システム２００において、画像情報と車両状態検出情報とをそれぞれどのような重みづけで用いて、車両１０の位置を推定するかを予測する。
　例えば、トンネル内では暗くなるため、自己位置推定システム２００にて画像情報を用いて自己位置・姿勢を推定する場合、特徴点を見失ったり誤認識したりすることがある。このような場合、制御予測部１５０５は、自己位置推定システム２００での自己位置・姿勢推定時に、画像情報からの推定結果の重みづけを低くし、車両状態情報からの推定結果の重みづけを高くする制御を予測する。
　車両１０では、この制御予測情報を基に自己位置・姿勢推定が行なわれるので、車両１０の自己位置・姿勢の推定精度が向上する。
　また、制御予測部１５０５は、自己位置推定システム２００において、複数のカメラ３００によって得られるそれぞれの画像情報をどのような重みづけで用いて、車両１０の自己位置・姿勢を推定するかの制御を予測する。カメラ３００の重みづけの制御の例として、自己位置・姿勢推定時に用いるカメラ３００の選択がある。
　例えば、トンネル方向を向いているカメラ３００で撮影された画像情報は用いない、或いは、トンネル方向を向いているカメラ３００によって撮影された画像情報の重みづけを低くする制御が予測される。
　次に、カメラ３００と自己位置推定システム２００の双方に係る制御について説明する。
　制御予測部１５０５は、カメラ３００に第１のモードと第２のモードとをフレーム毎に切り替えて交互に撮影させるという制御を予測する。これに加えて、自己位置推定システム２００において、第１のモードと第２のモードのうちどちらのモードで撮影された画像を用いてＴ＋Ｎ時における自己位置を推定するかという制御を予測する。
　この制御予測情報は、車両１０に送信される。車両１０では、この情報を基に、自己位置推定システム２００で車両１０の自己位置・姿勢が推定される。
　第１のモードは、トンネル内の領域以外を測光領域とした撮影モードである。このモードでは、画像上のトンネルが位置する領域が黒つぶれした画像となっても、トンネル内の領域以外が適正露出で撮影された画像で映し出されるように設定される。
　第２のモードは、トンネル内領域を測光領域とした撮影モードである。このモードでは、トンネル内が適正露出で撮影された画像で映し出されるように設定される。第２のモードでは、シャッタスピードを下げ、ゲインを上げるという制御が行われる。
　第１のモードと第２のモードとでは、シャッタスピード及びゲインのパターンが切り替わる。
　車両１０では、第１のモードと第２のモードとをフレーム毎に切り替えて交互に撮影して得られる画像情報と、どちらのモードで撮影された画像を自己位置推定時に用いるかの情報とを含む制御予測情報を基に、車両１０の自己位置・姿勢の推定処理が行われる。
　制御予測情報が第１のモードにより撮影された画像を用いた自己位置・姿勢推定処理である場合、自己位置推定システム２００では、取得した画像情報から第１のモードで撮影された画像を抽出し、この画像を基に自己位置・姿勢推定処理が行われる。
　一方、制御予測情報が第２のモードにより撮影された画像を用いた自己位置・指定推定処理である場合、自己位置推定システム２００では、取得した画像情報から第２のモードで撮影された画像を抽出し、この画像を基に自己位置・姿勢推定処理が行われる。
　尚、ここでは、制御予測情報は、どちらのモードで撮影された画像を自己位置・推定処理時に用いるかの情報を含んでおり、自己位置推定時に、第１のモードの画像又は第２のモードの画像のいずれか一方の画像を用いる例をあげた。
　これに加え、制御予測情報は、第１のモードの画像を用いた自己位置・姿勢推定処理結果と第２のモードの画像を用いた自己位置・姿勢推定処理結果をどのような重みづけで統合するかの情報を含んでもよい。
　この制御予測情報の場合、自己位置推定システム２００では、第１のモードで撮影された画像情報、第２のモードで撮影された画像情報それぞれを用いてモード別に自己位置・姿勢推定処理が行われ、それぞれのモードでの処理結果を重みづけして統合した結果を用いて自己位置・姿勢推定処理が行われる。
［制御予測処理］
　図８は、サーバ装置１５００における、センシンググデバイスに係る制御予測情報を生成する制御予測処理のフローである。
　制御予測処理がスタートすると、情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の時刻Ｔの時点での位置・姿勢情報、車両の状態情報を取得する（Ｓ１１）。
　次に、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２から出力された、車両１０の時刻Ｔの時点での位置・姿勢情報及び車両状態情報を基に、Ｔ＋Ｎ時の車両位置・姿勢を予測する（Ｓ１２）。
　次に、画像上のトンネルの位置予測部１５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両位置・姿勢情報と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上のトンネルの位置を予測し、画像上にトンネルが映し出されるか否かを予測する（Ｓ１３）。
　Ｓ１３で、Ｎｏと判定されると、Ｓ１１に戻り処理が繰り返される。
　Ｓ１３で、Ｙｅｓと判定されると、Ｓ１４に進む。
　Ｓ１４で、制御予測部１５０５は、トンネル位置情報を基に、センシングデバイスに係る制御を予測し、制御予測情報（制御予測信号）を生成する。
　次に、通信部５０１は、生成された制御予測情報を車両１０へ送信する（Ｓ１５）。
　サーバ装置１５００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のコンピュータの構成に必要なハードウェアを有する。
　サーバ装置１５００では、ＲＯＭに保存されたプログラムをＲＡＭにロードして実行することにより、上述のセンシングデバイスに係る制御予測情報を生成する制御予測処理が実行される。
　以上のように、本実施形態の制御システム１０００では、時刻Ｔの車両１０の位置・姿勢情報と、地図情報５０７とを基に、Ｔ＋Ｎ時での画像上のトンネルの映り込みによる影響が低減されるように車両１０に搭載されるカメラ３００及び自己位置推定システム２００に係る制御が予測される。
　車両１０では、この制御予測情報に基づいて、車両１０に搭載されるカメラ３００や自己位置推定システム２００に係る制御が行われるので、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の車両の状況に適した、外乱要素であるトンネルの映り込みによる影響が低減された画像を、時間のずれなく得ることができる。これにより、ロバスト性の高い制御システムが得られる。
＜第３の実施形態＞
　本実施形態では、外乱要素として建築物等の静止物体である構造物の影を例にあげて説明する。以下、構造物としてビルを例にあげる。
　図１は、本技術が適用され得るセンシングデバイスの制御システム２０００の概略的な機能の構成例を示すブロック図である。
　図９は、制御システム２０００における情報処理装置としてのサーバ装置２５００の機能の構成例を示すブロック図である。
　以下、第１の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
　制御システム２０００は、移動体である車両１０に搭載される車両制御システム１００と、情報処理装置としてのサーバ装置２５００と、を具備する。車両制御システム１００とサーバ装置２５００とは例えば無線通信ネットワークを介して通信可能に構成される。
　サーバ装置２５００は、通信部５０１と、情報取得部５０２と、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３と、画像上の外乱要素（ビルの影）の位置予測部（以下、画像上のビルの影の位置予測部と称す。）２５０４と、制御予測部２５０５を含む。
　情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の自己位置・姿勢情報、車両の状態情報を取得する。
　カメラ３００が持つパラメータ情報は、画像上のビルの影の位置予測部２５０４に出力される。
　画像上のビルの影の位置予測部２５０４は、画像上の外乱要素としてのビルの影の位置を予測する。
　画像上のビルの影の位置予測部２５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両１０の自己位置・姿勢情報と、日時・天候情報５０６と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上のビルの影の位置を予測する。
　詳細には、まず、画像上のビルの影の位置予測部２５０４は、日時情報、予測されたＴ＋Ｎ時の車両１０の自己位置・姿勢情報、地図情報５０７とからＴ＋Ｎ時における太陽の高度（仰角）と方位角とを算出する。地図情報５０７には、ビルの位置情報が含まれる。
　次に、Ｔ＋Ｎ時の車両１０の位置の天候情報から、太陽がでているか否かを判定する。
　例えば、晴天で太陽が出ていると判定すると、Ｔ＋Ｎ時における太陽の高度と方位角の情報、車両１０の自己位置・姿勢情報、カメラ３００のパラメータ情報、地図情報５０７を基に、Ｔ＋Ｎ時にカメラ３００により撮影される画像上でのビルの影の位置を予測する。
　画像上のビルの影の位置予測部２５０４で予測された画像上でのビルの影の位置の予測結果は、制御予測部２５０５に出力される。
　制御予測部２５０５は、入力された画像上でのビルの影の位置情報を基に、センシングデバイスに係る制御を予測する。制御予測部２５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。
　センシングデバイスに係る制御には、カメラ３００に係る制御と、自己位置推定システム２００におけるセンシングデバイスに係る制御と、カメラ３００と自己位置推定システム２００の双方に係る制御がある。
　カメラ３００に係る制御には、露光制御、測光領域制御がある。
　制御予測部２５０５は、Ｔ＋Ｎ時の画像上でのビルの影の位置情報を基に、シャッタスピード、画像信号のゲインの調整等の露光に係る制御を予測する。
　例えば、画像上にビルの影が映り込む場合、画像が暗くなりやすくなるため、制御予測部２５０５は、シャッタスピードを下げる、ゲインを上げるといった露光制御を予測する。
この制御予測情報は車両１０に送信される。車両１０では、この制御予測情報を基に、カメラ３００の露光制御が行われ、これが、Ｔ＋Ｎ時の撮影における露光条件となる。
　これにより、車両１０では、Ｔ＋Ｎ時の状況に適切な、適正露出で撮影された画像を得ることできる。
　更に、自己位置推定システム２００において、画像を用いた自己位置・姿勢を推定する際に、特徴点が見失いにくい、適正露出で撮影された画像を用いることができるので、自己位置・姿勢の推定精度を向上させることができる。
　制御予測部２５０５は、Ｔ＋Ｎ時の画像上でのビルの影の位置情報を基に、測光領域に係る制御を予測する。制御予測部２５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。車両１０では、この制御予測情報を基に、カメラ３００の測光領域の制御が行われ、これが、Ｔ＋Ｎ時の撮影における測光条件となる。
　例えば、画像上にビルの影が映り込む場合、制御予測部２５０５は、画像上のビルの影が映り込む領域は暗くなる領域として、測光領域から除外するという測光領域制御を予測する。
　詳細には、ビルの影と車両との距離がある程度の距離になるまでは、画像上のビルの影の領域以外に測光領域をあわせ、ビルの影の領域が黒つぶれした画像となっても、ビルの影の領域以外が適切な画像で映し出される制御を予測する。
　一方、ビルの影と車両との距離が一定以上近づいた場合には、ビルの影の領域に測光領域をあわせ、影がかかった領域が適切な画像で映し出される制御を予測する。
　また、制御予測部２５０５は、ビルの影を測光領域として撮影される画像と、ビルの影以外の領域を測光領域として撮影される画像とが急激に変化しないように、両者の画像間を補間する制御を予測する。
　これにより、状況に適した画像を得ることできる。
　更に、自己位置推定システム２００において、特徴点が見失いにくい画像を用いて自己位置・姿勢を推定することが可能となるので、画像を用いた自己位置・姿勢の推定精度を向上させることができる。
　自己位置推定システム２００におけるセンシングデバイスに係る制御には、自己位置・姿勢推定時における、画像情報と車両状態検出情報との重みづけに関する制御、複数のカメラ３００それぞれから取得される画像情報の重みづけに関する制御がある。
　制御予測部２５０５は、Ｔ＋Ｎ時の画像上でのビルの影の位置情報を基に、自己位置推定システム２００において、画像情報と車両状態検出情報をそれぞれどのような重みづけで用いて、車両１０の自己位置・姿勢を推定するかを予測する。
　例えば、制御予測部２５０５は、ビルの影により画面が暗くなり、特徴点の抽出精度が低下すると予測した場合には、自己位置推定システム２００での自己位置推定時に、画像情報からの推定結果の重みづけを低減し、車両状態情報からの推定結果の重みづけを増大する制御を予測する。
　この制御予測情報は、車両１０に送信される。車両１０では、この制御予測情報を基に自己位置・姿勢推定が行なわれるので、自己位置・姿勢の推定精度が向上する。
　また、制御予測部２５０５は、自己位置推定システム２００において、複数のカメラ３００よって得られるそれぞれの画像情報をどのような重みづけで用いて、車両の位置・姿勢を推定するかの制御を予測する。
　例えば、ビルの影方向を向いているカメラ３００で撮影された画像情報は用いない、或いは、画像情報の重みを低くする制御が予測される。
　次に、カメラ３００と自己位置推定システム２００の双方に係る制御について説明する。
　制御予測部２５０５は、カメラ３００に第１のモードと第２のモードとをフレーム毎に切り替えて交互に撮影させるという制御を予測する。これに加えて、制御予測部２５０５は、自己位置推定システム２００において、第１のモードと第２のモードのうちどちらのモードで撮影された画像を用いてＴ＋Ｎ時における自己位置を推定するか、或いは、第１のモードで撮影された画像を用いたＴ＋Ｎ時における自己位置推定結果と第２のモードで撮影された画像を用いたＴ＋Ｎ時における自己位置推定結果をそれぞれどのような重みづけで統合してＴ＋Ｎ時における自己位置を推定するか、という制御を予測する。
　この制御予測情報は、車両１０に送信される。車両１０では、この情報を基に、カメラ３００により画像が撮影され、更に、自己位置推定システム２００で車両１０の自己位置・姿勢が推定される。
　第１のモードは、ビルの影の領域以外を測光領域とした撮影モードである。このモードでは、画像上のビルの影の領域が黒つぶれした画像となっても、ビルの影の領域以外が適正露出で撮影された画像で映し出されるように設定される。
　第２のモードは、ビルの影の領域を測光領域とした撮影モードである。このモードでは、ビルの影の領域が適正露出で撮影された画像で映し出されるように設定される。第２のモードでは、シャッタスピードを下げ、ゲインを上げるといった露光制御が行われる。
　第１のモードと第２のモードとでは、シャッタスピード及びゲインのパターンが切り替わる。
　車両１０では、第１のモードと第２のモードとをフレーム毎に切り替えて交互に撮影させて得られる画像情報と、どちらのモードで撮影された画像を自己位置推定時に用いるか、或いは、双方のモードそれぞれで撮影された画像を用いたモード別の自己位置・姿勢推定結果をどのような重みづけで統合するか、の情報とを含む制御予測情報を基に、車両１０の自己位置・姿勢推定処理が行われる。
　制御予測情報が第１のモードにより撮影された画像を用いた自己位置・姿勢推定処理である場合、自己位置推定システム２００では、取得した画像情報から第１のモードで撮影された画像を抽出し、この抽出した画像を基に自己位置・姿勢推定処理が行われる。
　制御予測情報が第２のモードにより撮影された画像を用いた自己位置・姿勢推定処理である場合、自己位置推定システム２００では、取得した画像情報から第２のモードで撮影された画像を抽出し、この画像を基に自己位置・姿勢推定処理が行われる。
　制御予測情報が、モード別の自己位置・姿勢推定結果をそれぞれ重みづけて統合した結果を用いた自己位置・姿勢推定処理である場合、自己位置推定システム２００では、第１のモードで撮影された画像情報、第２のモードで撮影された画像情報それぞれを用いてモード別に自己位置・姿勢推定処理が行われ、それぞれのモードでの処理結果を重みづけして統合した結果を用いて自己位置・姿勢推定処理が行われる。
［制御予測処理］
　図１０は、サーバ装置２５００における、センシンググデバイスに係る制御予測情報を生成する制御予測処理のフローである。
　制御予測処理がスタートすると、情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の位置・姿勢情報、車両の状態情報を取得する（Ｓ２１）。
　次に、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２から出力された、車両１０の時刻Ｔの時点での位置・姿勢情報及び車両状態情報を基に、Ｔ＋Ｎ時の車両１０の位置・姿勢を予測する（Ｓ２２）。
　次に、画像上のビルの影の位置予測部２５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両位置・姿勢情報と、日時・天候情報５０６と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上のビルの影の位置を予測し、画像上にビルの影が映し出されるか否かを予測する（Ｓ２３）。
　Ｓ２３で、Ｎｏと判定されると、Ｓ２１に戻り処理が繰り返される。
　Ｓ２３で、Ｙｅｓと判定されると、Ｓ２４に進む。
　Ｓ２４で、制御予測部２５０５は、ビルの影の位置情報を基に、センシングデバイスに係る制御を予測し、制御予測情報（制御予測信号）を生成する。
　次に、通信部５０１は、生成された制御予測情報を車両１０へ送信する（Ｓ２５）。
　サーバ装置２５００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のコンピュータの構成に必要なハードウェアを有する。
　サーバ装置２５００では、ＲＯＭに保存されたプログラムをＲＡＭにロードして実行することにより、上述のセンシングデバイスに係る制御予測情報を生成する制御予測処理が実行される。
　以上のように、本実施形態の制御システム２０００では、時刻Ｔの車両１０の位置・姿勢情報と、地図情報５０７と、日時・天候情報５０６とを基に、Ｔ＋Ｎ時での画像上の構造物の影の映り込みによる影響が低減されるように車両１０に搭載されるカメラ３００及び自己位置推定システム２００に係る制御が予測される。
　車両１０では、この制御予測情報に基づいて、車両１０に搭載されるカメラ３００や自己位置推定システム２００に係る制御が行われるので、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の車両の状況に適した、外乱要素である構造物の影の映り込みによる影響が低減された画像を、時間のずれなく得ることができる。これにより、ロバスト性の高い制御システムが得られる。
＜その他の実施形態＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述の実施形態においては、画像情報を取得するカメラを搭載する車両１０に、サーバ装置５００（１５００、２５００）で生成された制御予測情報が送信される例をあげたが、制御予測情報が車両１０以外の他車両に送信されてもよい。ここでは、車両１０を、他車両と区別するために自車両１０と称す。
　第２の車両としての他車両は、第１の車両としての自車両１０が走行するルートと同じルートをたどり、自車両１０が通る時刻Ｔ＋Ｎからあまり時間が経過していない時刻Ｔ＋Ｎ′（Ｎ′＞Ｎ）に、車両１０がＴ＋Ｎ時に通る位置と同じ位置を通る。
　他車両には、サーバ装置５００（１５００、２５００）にて予測された自車両１０のＴ＋Ｎ時における制御予測情報が送信される。
　他車両では、他車両が、自車両１０がＴ＋Ｎ時に存在すると予測された位置と同じ位置に来る時に、受信した制御予測情報を基に、上述の各実施形態で説明した自車両１０で行われる処理と同様のセンシングデバイスに係る処理が行われる。
　サーバ装置５００（１５００、２５００）は、他車両からは、他車両の位置・姿勢情報のみを取得する。サーバ装置５００（１５００、２５００）は、他車両に対して、時刻Ｔ＋Ｎ´時の他車両のセンシングデバイスに係る制御予測情報として、自車両１０のＴ＋Ｎ時における制御予測情報を送信する。
　すなわち、制御予測部５０５（１５０５、２５０５）は、情報取得部５０２により取得された時刻Ｔの自車両１０の位置・姿勢情報と地図情報を基に予測した自車両１０のＴ＋Ｎ時のセンシングデバイスに係る制御予測を、他車両のセンシングデバイスに係る制御予測とする。
　このように、複数の車両で、同様の制御予測情報を共用するように構成されてもよい。
　また、上述の実施形態では、制御予測情報が、カメラに係る制御予測情報と、自己位置推定システムにおけるセンシングデバイスに係る制御予測情報と、カメラ及び自己位置推定システムの双方に係る制御予測情報を含む例にあげたが、いずれかであってもよいし、組み合わせてもよい。
　また、上述の実施形態では、自己位置推定システムで用いる画像を撮影するために本技術を適用する例をあげたが、これに限定されない。例えばドライブレコーダに保存される動画を撮影する際のカメラの露光制御及び測光制御に本技術を用いても良く、外乱要素に強い動画を得ることができる。
　また、上述の各実施形態を組み合わせた制御システムとしてもよい。
　また、上述の実施形態において、システムとは、複数の構成要素（装置、モジュール（部品））の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　なお、本技術は以下のような構成もとることができる。
（１）センシングデバイスを備える第１の移動体の位置・姿勢情報を取得する情報取得部と、
　前記情報取得部により取得された前記位置・姿勢情報と地図情報を基に、前記センシングデバイスに係る制御を予測する制御予測部と
　を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
　前記センシングデバイスは撮像装置を含み、
　前記情報処理装置は、
　前記情報取得部により取得された前記位置・姿勢情報を基に前記第１の移動体の位置・姿勢を予測する移動体位置・姿勢予測部と、
　前記地図情報、及び、前記移動体位置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部と
　を更に具備し、
　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記撮像装置の制御を予測する
　情報処理装置。
（３）前記（２）に記載の情報処理装置であって、
　前記制御予測部は、前記撮像装置の露光制御を予測する
　情報処理装置。
（４）前記（２）又は（３）に記載の情報処理装置であって、
　前記制御予測部は、前記撮像装置の測光領域制御を予測する
　情報処理装置。
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
　前記センシングデバイスは撮像装置を含み、
　前記第１の移動体は、前記撮像装置からの画像情報から抽出した特徴点を用いて、前記第１の移動体の位置・姿勢を推定する自己位置推定システムを備え、
　前記情報処理装置は、
　前記情報取得部により取得された前記位置・姿勢情報を基に前記第１の移動体の位置・姿勢を予測する移動体位置・姿勢予測部と、
　前記地図情報、及び、前記移動体位置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部と
　を更に具備し、
　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムに係る制御を予測する
　情報処理装置。
（６）前記（５）に記載の情報処理装置であって、
　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記画像上の前記特徴点の抽出をしない領域を予測する
　情報処理装置。
（７）前記（５）又は（６）に記載の情報処理装置であって、
　前記センシングデバイスは、前記撮像装置と、前記第１の移動体の状態を検出する移動体状態検出センサを含み、
　前記第１の移動体は、前記画像情報と、前記移動体状態検出センサからの移動体状態情報の少なくとも一方を用いて、前記第１の移動体の位置・姿勢を推定する前記位置推定システムを備え、
　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記第１の移動体の位置・姿勢の推定時に用いる前記画像情報と前記移動体状態情報それぞれの重みづけを予測する
　情報処理装置。
（８）前記（５）から（７）のうちいずれか１つに記載の情報処理装置であって、
　前記センシングデバイスは複数の撮像装置を含み、
　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記第１の移動体の位置・姿勢の推定時に用いる複数の前記撮像装置からの各画像情報の重みづけを予測する
　情報処理装置。
（９）前記（５）から（８）のうちいずれか１つに記載の情報処理装置であって、
　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に前記撮像装置の制御を予測する
　情報処理装置。
（１０）前記（２）から（９）のうちいずれか１つに記載の情報処理装置であって、
　前記外乱要素は太陽であり、
　前記外乱要素の位置予測部は、前記地図情報、前記移動体位置・姿勢予測部による予測結果、及び、太陽位置情報を基に、前記撮像装置により撮影される画像における太陽位置を予測する
（１１）前記（２）から（９）のうちいずれか１つに記載の情報処理装置であって、
　前記外乱要素はトンネルであり、
　前記外乱要素の位置予測部は、前記地図情報、及び、前記移動体位置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像におけるトンネル位置を予測する
　情報処理装置。
（１２）前記（２）から（９）のうちいずれか１つに記載の情報処理装置であって、
　前記外乱要素は構造物の影であり、
　前記外乱要素の位置予測部は、前記地図情報、前記移動体位置・姿勢予測部による予測結果、及び、太陽位置情報を基に、前記撮像装置により撮影される画像における構造物による影の位置を予測する
　情報処理装置。
（１３）前記（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
　請求項１に記載の情報処理装置であって、
　前記情報取得部は、センシングデバイスを備え、前記第１の移動体とは異なる第２の移動体の位置・姿勢情報を取得し、
　前記制御予測部は、前記情報取得部により取得された前記第１の移動体の位置・姿勢情報と地図情報を基に予測した前記第１の移動体のセンシングデバイスに係る制御予測を、前記第２の移動体のセンシングデバイスに係る制御予測とする
　情報処理装置。
（１４）センシングデバイスと、
　自己の位置・姿勢情報を取得する取得部と
　を具備し、
　前記センシングデバイスは、前記取得部により取得された前記位置・姿勢情報と地図情報を基に予測された前記センシングデイバスに係る制御予測情報により制御される
　移動体。
（１５）センシングデバイスを備える移動体と、
　前記移動体の位置・姿勢情報を取得する取得部と、
　前記取得部により取得された前記位置・姿勢情報と地図情報を基に、前記センシングデバイスに係る制御を予測する制御予測部と、
　前記制御予測部による制御予測情報を基に、前記センシングデバイスに係る制御を行う制御部と
　を具備する制御システム。
（１６）センシングデバイスを備える移動体の位置・姿勢情報を取得し、
　前記位置・姿勢情報と地図情報に基づいて、前記センシングデバイスに係る制御を予測する
　情報処理方法。
（１７）センシングデバイスを備える移動体の位置・姿勢情報を取得するステップと、
　前記位置・姿勢情報と地図情報に基づいて、前記センシングデバイスに係る制御を予測するステップと
　を情報処理装置に実行させるプログラム。
　１、１０００、２０００…制御システム
　１０…車両（第１の移動体）
　１０２…データ取得部（取得部）
　２００…自己位置推定システム
　２０１…自己位置推定システムの制御部（制御部）
　３００…カメラ（センシングデバイス、撮像装置）
　３０１…カメラ制御部（制御部）
　４００…車両状態検出センサ（センシングデバイス、移動体状態検出センサ）
　５００、１５００、２５００…サーバ装置（情報処理装置）
　５０２…情報取得部
　５０３…Ｔ＋Ｎ時の車両位置・姿勢予測部（移動体位置・姿勢予測部）
　５０４…画像上の太陽の位置予測部（外乱要素の位置予測部）
　５０５、１５０５、２５０５…制御予測部
　５０６…日時・天候情報
　５０７…地図情報
　１５０４…画像上のトンネルの位置予測部（外乱要素の位置予測部）
　２５０４…画像上のビルの影の位置予測部（外乱要素の位置予測部）

Claims (17)

  1. 　センシングデバイスを備える第１の移動体の位置・姿勢情報を取得する情報取得部と、
    　前記情報取得部により取得された前記位置・姿勢情報と地図情報を基に、前記センシングデバイスに係る制御を予測する制御予測部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記センシングデバイスは撮像装置を含み、
    　前記情報処理装置は、
    　前記情報取得部により取得された前記位置・姿勢情報を基に前記第１の移動体の位置・姿勢を予測する移動体位置・姿勢予測部と、
    　前記地図情報、及び、前記移動体位置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部と
    　を更に具備し、
    　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記撮像装置の制御を予測する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記制御予測部は、前記撮像装置の露光制御を予測する
    　情報処理装置。
  4. 　請求項２に記載の情報処理装置であって、
    　前記制御予測部は、前記撮像装置の測光領域制御を予測する
    　情報処理装置。
  5. 　請求項１に記載の情報処理装置であって、
    　前記センシングデバイスは撮像装置を含み、
    　前記第１の移動体は、前記撮像装置からの画像情報から抽出した特徴点を用いて、前記第１の移動体の位置・姿勢を推定する自己位置推定システムを備え、
    　前記情報処理装置は、
    　前記情報取得部により取得された前記位置・姿勢情報を基に前記第１の移動体の位置・姿勢を予測する移動体位置・姿勢予測部と、
    　前記地図情報、及び、前記移動体位置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部と
    　を更に具備し、
    　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムに係る制御を予測する
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記画像上の前記特徴点の抽出をしない領域を予測する
    　情報処理装置。
  7. 　請求項５に記載の情報処理装置であって、
    　前記センシングデバイスは、前記撮像装置と、前記第１の移動体の状態を検出する移動体状態検出センサを含み、
    　前記第１の移動体は、前記画像情報と、前記移動体状態検出センサからの移動体状態情報の少なくとも一方を用いて、前記第１の移動体の位置・姿勢を推定する前記位置推定システムを備え、
    　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記第１の移動体の位置・姿勢の推定時に用いる前記画像情報と前記移動体状態情報それぞれの重みづけを予測する
    　情報処理装置。
  8. 　請求項５に記載の情報処理装置であって、
    　前記センシングデバイスは複数の撮像装置を含み、
    　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記第１の移動体の位置・姿勢の推定時に用いる複数の前記撮像装置からの各画像情報の重みづけを予測する
    　情報処理装置。
  9. 　請求項５に記載の情報処理装置であって、
    　前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に前記撮像装置の制御を予測する
    　情報処理装置。
  10. 　請求項２に記載の情報処理装置であって、
    　前記外乱要素は太陽であり、
    　前記外乱要素の位置予測部は、前記地図情報、前記移動体位置・姿勢予測部による予測結果、及び、太陽位置情報を基に、前記撮像装置により撮影される画像における太陽位置を予測する
    　情報処理装置。
  11. 　請求項２に記載の情報処理装置であって、
    　前記外乱要素はトンネルであり、
    　前記外乱要素の位置予測部は、前記地図情報、及び、前記移動体位置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像におけるトンネル位置を予測する
    　情報処理装置。
  12. 　請求項２に記載の情報処理装置であって、
    　前記外乱要素は構造物の影であり、
    　前記外乱要素の位置予測部は、前記地図情報、前記移動体位置・姿勢予測部による予測結果、及び、太陽位置情報を基に、前記撮像装置により撮影される画像における構造物による影の位置を予測する
    　情報処理装置。
  13. 　請求項１に記載の情報処理装置であって、
    　前記情報取得部は、センシングデバイスを備え、前記第１の移動体とは異なる第２の移動体の位置・姿勢情報を取得し、
    　前記制御予測部は、前記情報取得部により取得された前記第１の移動体の位置・姿勢情報と地図情報を基に予測した前記第１の移動体のセンシングデバイスに係る制御予測を、前記第２の移動体のセンシングデバイスに係る制御予測とする
    　情報処理装置。
  14. 　センシングデバイスと、
    　自己の位置・姿勢情報を取得する取得部と
    　を具備し、
    　前記センシングデバイスは、前記取得部により取得された前記位置・姿勢情報と地図情報を基に予測された前記センシングデイバスに係る制御予測情報により制御される
    　移動体。
  15. 　センシングデバイスを備える移動体と、
    　前記移動体の位置・姿勢情報を取得する情報取得部と、
    　前記情報取得部により取得された前記位置・姿勢情報と地図情報を基に、前記センシングデバイスに係る制御を予測する制御予測部と、
    　前記制御予測部による制御予測情報を基に、前記センシングデバイスに係る制御を行う制御部と
    　を具備する制御システム。
  16. 　センシングデバイスを備える移動体の位置・姿勢情報を取得し、
    　前記位置・姿勢情報と地図情報に基づいて、前記センシングデバイスに係る制御を予測する
    　情報処理方法。
  17. 　センシングデバイスを備える移動体の位置・姿勢情報を取得するステップと、
    　前記位置・姿勢情報と地図情報に基づいて、前記センシングデバイスに係る制御を予測するステップと
    　を情報処理装置に実行させるプログラム。
PCT/JP2018/041145 2017-12-12 2018-11-06 情報処理装置、移動体、制御システム、情報処理方法及びプログラム WO2019116784A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880078729.7A CN111448529A (zh) 2017-12-12 2018-11-06 信息处理装置、移动物体、控制系统、信息处理方法以及程序
US16/768,875 US11698642B2 (en) 2017-12-12 2018-11-06 Information processing apparatus, mobile object, control system, and information processing method
EP18889655.9A EP3726329A4 (en) 2017-12-12 2018-11-06 INFORMATION PROCESSING DEVICE, MOBILE BODY, CONTROL SYSTEM, INFORMATION PROCESSING PROCESS AND PROGRAM
KR1020207015750A KR20200096518A (ko) 2017-12-12 2018-11-06 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
JP2019558969A JP7200946B2 (ja) 2017-12-12 2018-11-06 情報処理装置、制御システム、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017237534 2017-12-12
JP2017-237534 2017-12-12

Publications (1)

Publication Number Publication Date
WO2019116784A1 true WO2019116784A1 (ja) 2019-06-20

Family

ID=66820184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041145 WO2019116784A1 (ja) 2017-12-12 2018-11-06 情報処理装置、移動体、制御システム、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US11698642B2 (ja)
EP (1) EP3726329A4 (ja)
JP (1) JP7200946B2 (ja)
KR (1) KR20200096518A (ja)
CN (1) CN111448529A (ja)
WO (1) WO2019116784A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210090440A1 (en) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Method for assisting a motor vehicle
CN113016175A (zh) * 2020-07-20 2021-06-22 深圳市大疆创新科技有限公司 确定主摄像装置曝光参数的方法、系统、可移动平台及存储介质
WO2021246093A1 (ja) * 2020-06-02 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2023090213A1 (ja) * 2021-11-18 2023-05-25 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7046740B2 (ja) * 2018-07-02 2022-04-04 日立Astemo株式会社 予測制御装置
US10754340B1 (en) 2019-06-26 2020-08-25 Weel Autonomy Inc. Virtual gearing in an autonomous electronic bicycle
US11654988B2 (en) 2019-06-26 2023-05-23 Weel Autonomy Inc. Balancing system in an autonomous electronic bicycle
US20200409381A1 (en) * 2019-06-26 2020-12-31 Weel Autonomy Inc. Autonomous electronic bicycle navigation
CN114520880B (zh) * 2020-11-18 2023-04-18 华为技术有限公司 一种曝光参数调节方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6446111A (en) * 1987-08-13 1989-02-20 Nissan Motor Controller for autonomously-traveling vehicle
JPH06253208A (ja) * 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2005315746A (ja) 2004-04-28 2005-11-10 Mitsubishi Heavy Ind Ltd 自己位置同定方法及び該装置
JP2006303885A (ja) * 2005-04-20 2006-11-02 Toyota Motor Corp 露光制御方法、露光制御装置
WO2011099049A1 (ja) * 2010-02-09 2011-08-18 トヨタ自動車株式会社 撮像システム
JP2015228597A (ja) * 2014-06-02 2015-12-17 株式会社 日立産業制御ソリューションズ 撮影条件設定装置および撮影条件設定方法
JP2016223846A (ja) * 2015-05-28 2016-12-28 日産自動車株式会社 自車位置判定装置及び自車位置判定方法
US20180060675A1 (en) * 2016-09-01 2018-03-01 Samsung Electronics Co., Ltd. Method and apparatus for controlling vision sensor for autonomous vehicle

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56137896A (en) 1980-03-10 1981-10-28 Cetus Corp Genetic recombination gram positive bacteria , production thereof and protein for mammal produced by said gram positive bacteria
JP3034807B2 (ja) * 1996-08-30 2000-04-17 三菱電機株式会社 人工衛星の姿勢決定装置
JP2006222844A (ja) 2005-02-14 2006-08-24 Fujitsu Ten Ltd 車載画像情報出力装置及び車載画像情報出力装置の制御方法
KR100761011B1 (ko) * 2006-05-30 2007-09-21 학교법인 인하학원 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
CN104137529B (zh) * 2012-02-13 2018-05-01 诺基亚技术有限公司 用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置
US20140300686A1 (en) * 2013-03-15 2014-10-09 Tourwrist, Inc. Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas
CN103513295B (zh) * 2013-09-25 2016-01-27 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
DE102014002150B3 (de) * 2014-02-15 2015-07-23 Audi Ag Verfahren zur Ermittlung der absoluten Position einer mobilen Einheit und mobile Einheit
WO2015156821A1 (en) * 2014-04-11 2015-10-15 Nissan North America, Inc. Vehicle localization system
JP2015225450A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 自律走行車、及び自律走行車における物体認識方法
US9875579B2 (en) * 2014-08-22 2018-01-23 Applied Research Associates, Inc. Techniques for enhanced accurate pose estimation
EP3971672A1 (en) 2014-12-17 2022-03-23 Husqvarna AB Multi-sensor, autonomous robotic vehicle with mapping capability
JP2017009555A (ja) * 2015-06-26 2017-01-12 株式会社トプコン カメラのキャリブレーション装置、カメラのキャリブレーション方法およびカメラのキャリブレーションを行うためのプログラム
WO2017017705A1 (ja) * 2015-07-24 2017-02-02 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
JP6493183B2 (ja) 2015-12-04 2019-04-03 トヨタ自動車株式会社 車両構造
KR101856321B1 (ko) * 2016-05-03 2018-05-09 성균관대학교산학협력단 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서
US10162362B2 (en) * 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
EP3828657A1 (en) * 2016-12-23 2021-06-02 Mobileye Vision Technologies Ltd. Navigational system
WO2018132608A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
US20180307245A1 (en) * 2017-05-31 2018-10-25 Muhammad Zain Khawaja Autonomous Vehicle Corridor
US11409307B2 (en) * 2017-08-08 2022-08-09 Lg Electronics Inc. Apparatus for providing map
US11210744B2 (en) * 2017-08-16 2021-12-28 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
JP7402695B2 (ja) * 2018-02-02 2023-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報送信方法及びクライアント装置
US11422267B1 (en) * 2021-02-18 2022-08-23 Innovusion, Inc. Dual shaft axial flux motor for optical scanners

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6446111A (en) * 1987-08-13 1989-02-20 Nissan Motor Controller for autonomously-traveling vehicle
JPH06253208A (ja) * 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2005315746A (ja) 2004-04-28 2005-11-10 Mitsubishi Heavy Ind Ltd 自己位置同定方法及び該装置
JP2006303885A (ja) * 2005-04-20 2006-11-02 Toyota Motor Corp 露光制御方法、露光制御装置
WO2011099049A1 (ja) * 2010-02-09 2011-08-18 トヨタ自動車株式会社 撮像システム
JP2015228597A (ja) * 2014-06-02 2015-12-17 株式会社 日立産業制御ソリューションズ 撮影条件設定装置および撮影条件設定方法
JP2016223846A (ja) * 2015-05-28 2016-12-28 日産自動車株式会社 自車位置判定装置及び自車位置判定方法
US20180060675A1 (en) * 2016-09-01 2018-03-01 Samsung Electronics Co., Ltd. Method and apparatus for controlling vision sensor for autonomous vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3726329A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210090440A1 (en) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Method for assisting a motor vehicle
US11488481B2 (en) * 2019-09-23 2022-11-01 Robert Bosch Gmbh Method for assisting a motor vehicle
WO2021246093A1 (ja) * 2020-06-02 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN113016175A (zh) * 2020-07-20 2021-06-22 深圳市大疆创新科技有限公司 确定主摄像装置曝光参数的方法、系统、可移动平台及存储介质
WO2022016340A1 (zh) * 2020-07-20 2022-01-27 深圳市大疆创新科技有限公司 确定主摄像装置曝光参数的方法、系统、可移动平台及存储介质
WO2023090213A1 (ja) * 2021-11-18 2023-05-25 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN111448529A (zh) 2020-07-24
US20210141386A1 (en) 2021-05-13
EP3726329A1 (en) 2020-10-21
JPWO2019116784A1 (ja) 2020-12-17
KR20200096518A (ko) 2020-08-12
US11698642B2 (en) 2023-07-11
EP3726329A4 (en) 2021-01-27
JP7200946B2 (ja) 2023-01-10

Similar Documents

Publication Publication Date Title
WO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20230237799A1 (en) Information processing apparatus, information processing method, program, and moving body
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
EP3700198A1 (en) Imaging device, image processing apparatus, and image processing method
JP7243714B2 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JP2019046277A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11585898B2 (en) Signal processing device, signal processing method, and program
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
WO2022038981A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
US20230186651A1 (en) Control device, projection system, control method, and program
JP6984256B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
WO2019049710A1 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2021180459A (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18889655

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019558969

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018889655

Country of ref document: EP

Effective date: 20200713