WO2019188391A1 - 制御装置、制御方法、並びにプログラム - Google Patents

制御装置、制御方法、並びにプログラム Download PDF

Info

Publication number
WO2019188391A1
WO2019188391A1 PCT/JP2019/010760 JP2019010760W WO2019188391A1 WO 2019188391 A1 WO2019188391 A1 WO 2019188391A1 JP 2019010760 W JP2019010760 W JP 2019010760W WO 2019188391 A1 WO2019188391 A1 WO 2019188391A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
unit
self
vehicle
horizontal
Prior art date
Application number
PCT/JP2019/010760
Other languages
English (en)
French (fr)
Inventor
貝野　彰彦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980028113.3A priority Critical patent/CN112106003A/zh
Priority to US17/040,059 priority patent/US11501461B2/en
Priority to JP2020510642A priority patent/JP7180670B2/ja
Priority to DE112019001659.8T priority patent/DE112019001659T5/de
Publication of WO2019188391A1 publication Critical patent/WO2019188391A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present technology relates to a control device, a control method, and a program.
  • the present technology relates to a control device, a control method, and a program that can perform self-position estimation with high accuracy and low power consumption.
  • the present technology has been made in view of such a situation, and enables the self-position to be reliably estimated with lower power consumption.
  • a control device includes: a selection unit that selects a camera used for self-position estimation among a horizontal camera mounted in a horizontal direction and a downward camera mounted in a downward direction, and the selection unit selects the camera A self-position estimating unit that performs self-position estimation using an image obtained by photographing with the horizontal camera or the downward camera.
  • the control device selects a camera used for self-position estimation based on a speed from a horizontal camera mounted in a horizontal direction and a downward camera mounted in a downward direction, and the selection unit
  • the self-position estimation process is performed using an image obtained by photographing with the horizontal camera or the downward camera selected by the above.
  • a program selects a camera to be used for self-position estimation from a horizontal camera mounted in a horizontal direction and a downward camera mounted in a downward direction on a computer, and is selected by the selection unit.
  • a process for performing self-position estimation using an image obtained by photographing with the horizontal camera or the downward camera is executed.
  • the camera used for self-position estimation is selected and selected from the horizontal camera mounted in the horizontal direction and the downward camera mounted in the downward direction.
  • Self-position estimation is performed using an image obtained by photographing with the horizontal camera or the downward camera.
  • the control device may be an independent device or may be an internal block constituting one device.
  • the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • the self-position can be reliably estimated with lower power consumption.
  • FIG. 20 is a diagram for explaining a configuration of a computer.
  • FIG. 1 is a block diagram illustrating a schematic functional configuration example of a vehicle control system 100 that is an example of a mobile control system to which the present technology can be applied.
  • the vehicle control system 100 is a system that is provided in the vehicle 10 and performs various controls of the vehicle 10.
  • the vehicle 10 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, a body A system system 110, a storage unit 111, and an automatic operation control unit 112 are provided.
  • the input unit 101, data acquisition unit 102, communication unit 103, output control unit 105, drive system control unit 107, body system control unit 109, storage unit 111, and automatic operation control unit 112 are connected via the communication network 121. Are connected to each other.
  • the communication network 121 is, for example, an in-vehicle communication network or a bus that conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without going through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • the input unit 101 includes a device used by the passenger for inputting various data and instructions.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation by voice, gesture, or the like.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or a wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data or instructions input by the passenger and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors that acquire data used for processing of the vehicle control system 100, and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the vehicle 10 and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, an engine speed, A sensor or the like for detecting the motor rotation speed or the rotation speed of the wheel is provided.
  • IMU inertial measurement device
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle 10.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather, and a surrounding information detection sensor for detecting objects around the vehicle 10.
  • the environmental sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle 10.
  • the data acquisition unit 102 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that images a driver, a biological sensor that detects biological information of the driver, and a microphone that collects sound in the passenger compartment.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of a passenger sitting on the seat or a driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, and the like, transmits data supplied from each unit of the vehicle control system 100, and transmits received data to the vehicle control system. Or supply to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
  • the communication unit 103 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (via a connection terminal (and a cable if necessary)). (Wireless High-definition Link) or the like to perform wired communication with the in-vehicle device 104.
  • the communication unit 103 communicates with a device (for example, an application server or a control server) that exists on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point. Communicate. Further, for example, the communication unit 103 uses a P2P (Peer To Peer) technology to communicate with a terminal (for example, a pedestrian or a store terminal or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle 10. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or an operator-specific network
  • the communication unit 103 uses a P2P (Peer To Peer) technology to communicate with a terminal (for example, a pedestrian or a store terminal or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle 10. Communicate.
  • P2P Peer To Peer
  • a terminal for example, a pedestrian
  • the communication unit 103 performs vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, communication between the vehicle 10 and the house (Vehicle to Home), and vehicle-to-vehicle (Vehicle to Pedestrian). ) V2X communication such as communication is performed.
  • the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a wireless station or the like installed on the road, and acquires information such as a current position, traffic jam, traffic regulation, or required time. To do.
  • the in-vehicle device 104 includes, for example, a mobile device or wearable device possessed by a passenger, an information device that is carried in or attached to the vehicle 10, and a navigation device that searches for a route to an arbitrary destination.
  • the output control unit 105 controls the output of various information to the passenger of the vehicle 10 or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106, thereby outputting the output unit
  • the output of visual information and auditory information from 106 is controlled.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and outputs an output signal including the generated image. This is supplied to the output unit 106.
  • the output control unit 105 generates sound data including a warning sound or a warning message for a danger such as a collision, contact, or entry into a dangerous zone, and outputs an output signal including the generated sound data to the output unit 106. Supply.
  • the output unit 106 includes a device capable of outputting visual information or auditory information to a passenger of the vehicle 10 or outside the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 may display visual information in the driver's field of view, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function. It may be a display device.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies the control state of the drive system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle 10.
  • the drive system 108 includes a driving force generator for generating a driving force such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, a steering mechanism for adjusting a steering angle, A braking device that generates a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like are provided.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies a control signal to each unit other than the body system 110 as necessary, and notifies the control state of the body system 110 and the like.
  • the body system 110 includes various body devices mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, a head lamp, a back lamp, a brake lamp, a blinker, a fog lamp, etc.) Etc.
  • the storage unit 111 includes, for example, a magnetic storage device such as a read only memory (ROM), a random access memory (RAM), and a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs and data used by each unit of the vehicle control system 100.
  • the storage unit 111 is a map data such as a three-dimensional high-precision map such as a dynamic map, a global map that is less accurate than the high-precision map and covers a wide area, and a local map that includes information around the vehicle 10.
  • a map data such as a three-dimensional high-precision map such as a dynamic map, a global map that is less accurate than the high-precision map and covers a wide area, and a local map that includes information around the vehicle 10.
  • the automatic driving control unit 112 performs control related to automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic operation control unit 112 performs collision avoidance or impact mitigation of the vehicle 10, follow-up travel based on the inter-vehicle distance, vehicle speed maintenance travel, vehicle 10 collision warning, vehicle 10 lane departure warning, or the like. Incorporating ADAS (Advanced Driver Assistance System) functions for coordinated control. Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like that autonomously travels without depending on the operation of the driver.
  • the automatic operation control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various information necessary for controlling the automatic driving.
  • the detection unit 131 includes an outside information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
  • the outside information detection unit 141 performs detection processing of information outside the vehicle 10 based on data or signals from each unit of the vehicle control system 100.
  • the vehicle exterior information detection unit 141 performs detection processing, recognition processing, tracking processing, and distance detection processing for objects around the vehicle 10.
  • objects to be detected include vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like.
  • the vehicle outside information detection unit 141 performs a detection process of the environment around the vehicle 10.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition, and the like.
  • the vehicle outside information detection unit 141 uses the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135 as data indicating the detection processing result. To the emergency avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the vehicle interior information detection unit 142 performs driver authentication processing and recognition processing, driver state detection processing, passenger detection processing, vehicle interior detection processing, and the like.
  • the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, gaze direction, and the like.
  • the environment in the vehicle to be detected includes, for example, temperature, humidity, brightness, smell, and the like.
  • the vehicle interior information detection unit 142 supplies data indicating the detection processing result to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 performs a state detection process of the vehicle 10 based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle 10 to be detected includes, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position and tilt, door lock state, and other in-vehicle devices. The state etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimation unit 132 estimates the position and posture of the vehicle 10 based on data or signals from each part of the vehicle control system 100 such as the outside information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Process. In addition, the self-position estimation unit 132 generates a local map (hereinafter referred to as a self-position estimation map) used for self-position estimation as necessary.
  • the self-position estimation map is, for example, a highly accurate map using a technique such as SLAM (SimultaneousultLocalization and Mapping).
  • the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133.
  • the self-position estimating unit 132 stores the self-position estimating map in the storage unit 111.
  • the situation analysis unit 133 performs an analysis process of the situation of the vehicle 10 and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses various types of maps stored in the storage unit 111 while using data or signals from the respective units of the vehicle control system 100 such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141 as necessary. Analyze and build a map that contains the information needed for automated driving.
  • the map analysis unit 151 converts the constructed map into a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, a route plan unit 161, an action plan unit 162, an action plan unit 163, and the like of the plan unit 134. To supply.
  • the traffic rule recognizing unit 152 determines traffic rules around the vehicle 10 based on data or signals from each part of the vehicle control system 100 such as the self-position estimating unit 132, the vehicle outside information detecting unit 141, and the map analyzing unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of signals around the vehicle 10, the content of traffic restrictions around the vehicle 10, and the lanes that can travel are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 receives data or signals from each part of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on this, the situation recognition process for the vehicle 10 is performed. For example, the situation recognition unit 153 performs recognition processing such as the situation of the vehicle 10, the situation around the vehicle 10, and the situation of the driver of the vehicle 10. Further, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used for recognition of the situation around the vehicle 10 as necessary.
  • the situation recognition map is, for example, an occupation grid map (Occupancy Grid Map).
  • the situation of the vehicle 10 to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the vehicle 10, presence / absence and contents of abnormality.
  • the situation around the vehicle 10 to be recognized includes, for example, the type and position of the surrounding stationary object, the type and position of the surrounding moving object (for example, speed, acceleration, moving direction, etc.), the surrounding road Configuration, road surface conditions, ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, line of sight movement, and driving operation.
  • the situation recognition unit 153 supplies data (including a situation recognition map as necessary) indicating the result of the recognition process to the self-position estimation unit 132, the situation prediction unit 154, and the like. Further, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
  • the situation prediction unit 154 performs a situation prediction process on the vehicle 10 based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing such as the situation of the vehicle 10, the situation around the vehicle 10, and the situation of the driver.
  • the situation of the vehicle 10 to be predicted includes, for example, the behavior of the vehicle 10, the occurrence of an abnormality, the travelable distance, and the like.
  • the situation around the vehicle 10 to be predicted includes, for example, behaviors of moving objects around the vehicle 10, changes in the signal state, changes in the environment such as weather, and the like.
  • the situation of the driver to be predicted includes, for example, the behavior and physical condition of the driver.
  • the situation prediction unit 154 includes the data indicating the result of the prediction process together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153, the route planning unit 161, the action planning unit 162, and the action planning unit 163 of the planning unit 134. Etc.
  • the route planning unit 161 plans a route to the destination based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the designated destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on conditions such as traffic jams, accidents, traffic restrictions, construction, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 can safely route the route planned by the route planning unit 161 within the planned time.
  • the action of the vehicle 10 for traveling is planned.
  • the behavior planning unit 162 performs planning such as start, stop, traveling direction (for example, forward, backward, left turn, right turn, direction change, etc.), traveling lane, traveling speed, and overtaking.
  • the behavior planning unit 162 supplies data indicating the planned behavior of the vehicle 10 to the motion planning unit 163 and the like.
  • the action planning unit 163 is an operation of the vehicle 10 for realizing the action planned by the action planning unit 162 based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. To plan. For example, the motion planning unit 163 performs plans such as acceleration, deceleration, and traveling track. The motion planning unit 163 supplies data indicating the planned motion of the vehicle 10 to the acceleration / deceleration control unit 172 and the direction control unit 173 of the motion control unit 135.
  • the operation control unit 135 controls the operation of the vehicle 10.
  • the operation control unit 135 includes an emergency situation avoiding unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 Based on the detection results of the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, and the vehicle state detection unit 143, the emergency situation avoidance unit 171 detects collision, contact, entry into the danger zone, driver abnormality, vehicle 10 Detects emergency situations such as abnormalities. When the occurrence of an emergency situation is detected, the emergency situation avoiding unit 171 plans the operation of the vehicle 10 to avoid an emergency situation such as a sudden stop or a sudden turn.
  • the emergency avoidance unit 171 supplies data indicating the planned operation of the vehicle 10 to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the vehicle 10 planned by the operation planning unit 163 or the emergency situation avoiding unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generation device or a braking device for realizing planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. This is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle 10 planned by the operation planning unit 163 or the emergency situation avoiding unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sudden turn planned by the motion planning unit 163 or the emergency situation avoiding unit 171, and shows the calculated control target value The command is supplied to the drive system control unit 107.
  • FIG. 2 is a diagram illustrating an internal configuration example of the self-position estimation unit 132.
  • the self-position estimation unit 132 includes a camera selection determination unit 201, a shutter control unit 202, a feature point estimation unit 203, a feature matching unit 204, a self-position estimation unit 205, a self-position holding unit 206, a motion prediction unit 207, and a feature matching unit 208. , An omnidirectional information holding unit 209, and a region weight determination unit 210.
  • Control information is supplied from the control unit 251 to the self-position estimation unit 132.
  • the self-position estimation unit 132 is also supplied with image data from a plurality of cameras.
  • an omnidirectional camera 252 and a peripheral camera 253 are mounted on the own vehicle.
  • the control unit 251 is, for example, a part that supplies information on the speed and moving direction of the own vehicle to the self-position estimation unit 132 and includes the vehicle state detection unit 143 and the situation recognition unit 153 in FIG.
  • the omnidirectional camera 252 and the peripheral camera 253 are cameras that capture the surroundings of the host vehicle, and include the data acquisition unit 102 and the outside information detection unit 141 in FIG.
  • FIG. 3 is a diagram showing an example of arrangement positions of the omnidirectional camera 252 and the peripheral camera 253 mounted on the own vehicle.
  • 3A is a diagram schematically showing a position where the camera is arranged when the host vehicle is viewed from above
  • FIG. 3B is a diagram where the camera is arranged when the host vehicle is viewed from the rear. It is the figure which showed typically the position currently made. Note that the arrangement positions shown below are examples and do not indicate limitations.
  • an omnidirectional camera 252 is mounted near the center of the vehicle.
  • the omnidirectional camera 252 only needs to be installed at a position where a 360-degree peripheral region around the host vehicle can be photographed.
  • the area of the surrounding environment photographed by the omnidirectional camera 252 is an area of 360 degrees in a plane parallel to the ground (horizontal direction), and is an area within a predetermined range from the own vehicle.
  • the area of the surrounding environment photographed by the omnidirectional camera 252 may be 360 degrees on a plane orthogonal to the ground (vertical direction), but a predetermined range in the sky direction is an angle at which no photographing is performed, for example, 270 It is possible to make the region within a range of about degrees.
  • the omnidirectional camera 252 may be configured to be able to capture a 360-degree range with a single imaging device, or may be configured to be able to capture a 360-degree range with a plurality of imaging devices.
  • peripheral cameras 253 are mounted so that the surroundings of the vehicle can be photographed.
  • FIG. 3A an example in which eight peripheral cameras 253-1 to 253-8 are mounted is shown.
  • the peripheral camera 253-1 is disposed in front of the host vehicle, the peripheral camera 252-2 is disposed in front of the host vehicle, and the peripheral camera 253-3 is disposed in front of the host vehicle. 253-4 is arranged to the right of the host vehicle.
  • the peripheral camera 253-5 is disposed in front of the host vehicle, the peripheral camera 253-6 is disposed in front of the host vehicle, and the peripheral camera 253-7 is disposed in front of the host vehicle. 253-8 is located behind the left side of the vehicle.
  • the peripheral camera 253 includes a peripheral camera 253a-8 mounted in the horizontal direction and a peripheral camera 253b-8 mounted in the downward direction.
  • FIG. 3B is a view seen from the rear of the host vehicle, so that the peripheral camera 253-8 arranged behind the host vehicle can be seen.
  • the peripheral camera 253 mounted in the horizontal direction is described as a horizontal camera 253a
  • the peripheral camera 253 mounted in a downward direction is described as a downward camera 253b.
  • the peripheral camera 253 is simply described.
  • the vehicle is equipped with eight horizontal cameras 253a-1 to 253a-8 and eight downward cameras 253b-1 to 253b-8.
  • a set of the horizontal camera 253a-1 and the downward camera 253b-1 constitutes a peripheral camera 253-1
  • a set of the horizontal camera 253a-2 and the downward camera 253b-2 constitutes a peripheral camera 253-2
  • the horizontal camera A pair of 253a-3 and the downward camera 253b-3 constitutes a peripheral camera 253-3
  • a pair of the horizontal camera 253a-4 and the downward camera 253b-4 constitutes a peripheral camera 253-4.
  • the pair of the horizontal camera 253a-5 and the downward camera 253b-5 constitutes the peripheral camera 253-5
  • the pair of the horizontal camera 253a-6 and the downward camera 253b-6 constitutes the peripheral camera 253-6
  • a set of the camera 253a-7 and the downward camera 253b-7 constitutes a peripheral camera 253-7
  • a set of the horizontal camera 253a-8 and the downward camera 253b-8 constitutes a peripheral camera 253-8.
  • the host vehicle is equipped with the omnidirectional camera 252 that acquires a 360-degree peripheral image centered on the host vehicle and the plurality of peripheral cameras 253 that capture a predetermined area around the host vehicle. .
  • peripheral cameras 253 are not limited to sixteen, It may be the number.
  • omnidirectional camera 252 may be mounted.
  • the camera selection determination unit 201 is supplied with control information from the control unit 251 and weighted region information from the omnidirectional information holding unit 209.
  • control information it is the information regarding the advancing direction, speed, etc. of the own vehicle, for example.
  • the weighted area information will be described in detail later, but when eight peripheral cameras 253 are mounted as shown in FIG. 3, information on the weights for the areas photographed by the eight peripheral cameras 253 respectively. It is.
  • the camera selection determination unit 201 selects a peripheral camera 253 to be used from among the 16 peripheral cameras 253 using the control information and the weighted area information.
  • the peripheral camera to be used 253 means that the selected peripheral camera 253 is turned on when used, and the peripheral cameras 253 other than the selected peripheral camera 253 are turned off when used.
  • the selection determination result by the camera selection determination unit 201 is supplied to the shutter control unit 202 and the feature point estimation unit 203.
  • the shutter control unit 202 controls the photographing process of the peripheral camera 253 selected by the camera selection determination unit 201.
  • the feature matching unit 204 is supplied with an image photographed by the peripheral camera 253, information on the peripheral camera 253 whose photographing processing is controlled by the shutter control unit 202, and an estimation result from the feature point estimation unit 203.
  • the feature matching unit 204 extracts a feature point from the image, searches for a feature point extracted from the image of the previous frame that matches the feature point, generates a corresponding pair of feature points, and sends it to the self-position estimation unit 205. Supply.
  • feature points are extracted, but they may be regions instead of points.
  • an edge portion may be extracted from the image, a region having the edge may be extracted as a feature region, and used for subsequent processing.
  • the process of sorting the areas according to the number of feature points in the predetermined area is executed. Even in this process, if the area is used, it is extracted as a characteristic area. Sort processing is executed according to the size of the area.
  • the description will be continued by taking as an example a case where the feature point extracted from the image one frame before and the feature point extracted from the image of the current frame are compared, but not a frame before, but a few frames before
  • the present technology can also be applied when the current frame is compared with the current frame.
  • the timing at which a frame (image) is acquired may be a general timing, for example, a timing such as 30 frames per second, but may be another timing.
  • the self-position estimation unit 205 estimates the position of the own vehicle using the corresponding pair of feature points.
  • the estimation result from the self-position estimation unit 205 includes the position of the vehicle, the posture of the vehicle, information on the surrounding environment (landmark information), and the like.
  • the information on the self position and the self posture is output to the outside of the self position estimation unit 132, for example, the map analysis unit 151 and the situation recognition unit 153 (FIG. 1).
  • Information such as the self position, self posture, and surrounding environment is also supplied to and held in the self position holding unit 206.
  • the self-position holding unit 206 holds information on self-position, self-posture, surrounding environment, etc. for at least one frame. These pieces of information are necessary for creating the environment map.
  • the environment map is registered in advance on the three-dimensional coordinates corresponding to the real space, for example, SLAM (Simultaneous Localization AndappingMapping). This information is obtained by a method of estimating the self-position from the corresponding relationship between the landmarks and the sequentially registered landmarks and the feature points detected from the photographed image.
  • a landmark is a part of a subject in real space in which a feature point is detected from a captured image or a feature point can be detected from a captured image, and information indicating the position of each landmark when self-position estimation is performed. That is, a three-dimensional map indicating the landmark position information in the three-dimensional coordinate system is used.
  • the processing in the feature matching unit 204 the correspondence between the feature points detected from the captured images with different shooting times is obtained, the correspondence between the feature points, and the feature points and landmarks
  • the self-position of the own vehicle is obtained by estimation from the correspondence relationship of the vehicle. Information regarding the estimated self-position is held in the self-position holding unit 206.
  • the information on the surrounding environment held in the self-position holding unit 206 is supplied to the feature point estimation unit 203.
  • the feature point estimation unit 203 predicts where the feature point of the previous frame was captured in the image captured by the peripheral camera 253 selected by the camera selection determination unit 201.
  • the camera selection determination unit 201 selects the peripheral camera 253-6, and the peripheral camera 253-6 performs shooting, and the image 301-1 is captured. To do. A feature point 311-1 is detected from this image 301-1.
  • the camera selection determination unit 201 selects the peripheral camera 253-7, and the peripheral camera 253-7 captures an image and the image 301-4 is captured. .
  • a feature point 311-2 is detected from this image 301-4. It is assumed that the feature point 311-1 and the feature point 311-2 are feature points extracted from the same stationary object.
  • the feature matching unit 204 extracts the feature point 311-1 extracted from the image 301-1 photographed at the time t-1 and the image 301-4 photographed at the time t0.
  • the feature matching unit 204 extracts the feature point 311-1 extracted from the image 301-1 photographed at the time t-1 and the image 301-4 photographed at the time t0.
  • the feature point 311-1 is in the center of the image 301-1, and the feature point 311-2 is in the center of the image 301-4, the feature point 311 is not moved in the image 301. Therefore, there is a possibility that self-position estimation that the vehicle is not moving is performed.
  • the peripheral camera 253-7 captures the image 301-1 ′ and the image 301-2 ′, and the feature point 311-1 ′ is extracted. Then, the feature point 311-1 ′ is matched with the feature point 311-2 extracted from the image 301-4 photographed by the peripheral camera 253-7 at time t0.
  • the feature point estimation unit 203 performs processing for estimating the position of the feature point extracted from the image one frame before in the image of the current frame. It is supplied to the matching unit 204.
  • the feature matching unit 204 performs matching in a state as shown in FIG.
  • the feature point 311-1 'estimated as the position of the feature point at the time t-1 is matched with the feature point 311-2 extracted as the feature point at the time t0.
  • the self-position estimation unit 132 is also supplied with an image captured by the omnidirectional camera 252.
  • An image captured by the omnidirectional camera 252 is supplied to the feature matching unit 208.
  • the feature matching unit 208 performs matching between feature points extracted from an image captured by the omnidirectional camera 252 and feature points supplied from the motion prediction unit 207.
  • An image obtained by the omnidirectional camera 252 is divided into eight.
  • the image 351 is divided into eight regions.
  • the number of divisions of the image 351 is the same as the number of peripheral cameras 253 (the number of sets). In other words, the number of divisions of the image 351 is the same as the number of horizontal cameras 253a.
  • the number of horizontal cameras 253a is 8, the number of divisions of the image 351 is 8, and the image is divided into 8 regions.
  • the image 351 captured by the omnidirectional camera 252 is divided into the same number of regions as the number of horizontal cameras 253a.
  • the horizontal camera 253a to be used is selected depending on the number of feature points extracted from the region. It is for doing so.
  • an area 351-1 is an area assigned to the horizontal camera 253a-1, and when there are many feature points that are extracted from the area 351-1 and satisfy a predetermined condition, The horizontal camera 253a-1 is selected as the horizontal camera 253a to be used.
  • the area 351-2 is an area allocated to the horizontal camera 253a-2
  • the area 351-3 is an area allocated to the horizontal camera 253a-3
  • the area 351-4 is the horizontal camera 253a.
  • -4 is an area allocated.
  • the area 351-5 is an area allocated to the horizontal camera 253a-5
  • the area 351-6 is an area allocated to the horizontal camera 253a-6
  • the area 351-7 is the horizontal camera.
  • the area 351-8 is an area allocated to the horizontal camera 253a-8.
  • the feature point 371-1 is extracted from the region 351-2
  • the feature point 371-2 is extracted from the region 351-6
  • the feature point 371-3 is extracted from the region 351-7
  • the feature point 371-4 is extracted.
  • Information on the feature point 371 extracted at time t ⁇ 1 is held in the omnidirectional information holding unit 209 as surrounding environment information, and is supplied to the motion prediction unit 207 at time t0.
  • Control information is also supplied from the control unit 251 to the motion prediction unit 207.
  • the control information is information related to the traveling direction of the host vehicle, and here, the description will be continued with an example in which information indicating that the vehicle is traveling straight ahead is input.
  • the motion prediction unit 207 determines from the control information that the traveling direction of the host vehicle is forward, and the feature points 371-1 to 371-4 extracted at time t-1 are Predict which position you are moving to. When the host vehicle is moving forward, the stationary object moves relatively backward, so the feature point 371 is also expected to move backward (lower side in FIG. 5).
  • the feature points 371-1 to 371-4 are estimated to be feature points 371-1 'to 371-4' moved backward. At the time of this estimation, it is possible to perform the estimation more accurately by estimating the movement speed in consideration.
  • the motion predicting unit 207 when it is estimated that the feature point 371-4 ′ is located outside the image 351 ′, the motion predicting unit 207, as shown in the lower diagram of FIG.
  • the feature points 371-1 to 371-3 are output to the feature matching unit 208. That is, in this case, feature point information excluding the feature point 371-4 that is estimated not to be extracted from the image captured at time t 0 is supplied to the feature matching unit 208.
  • the motion prediction unit 207 narrows down the number of feature points used for matching, thereby reducing the processing of the feature matching unit 208.
  • the feature matching unit 208 receives information on the feature point 371 from the motion prediction unit 207 (information obtained from the image at time t ⁇ 1 as shown in the upper left diagram of FIG. 6) and the omnidirectional camera 252. Are matched (information obtained from the image at time t0 as shown in the upper right diagram in FIG. 6).
  • the feature matching unit 208 moves the feature point 371-1 extracted from the image 351 obtained from the omnidirectional camera 252 at time t-1 to the feature point 381-1, and the feature point 371-2 It moves to the feature point 381-2, and it is determined that the feature point 371-3 has moved to the feature point 381-3.
  • the feature matching unit 204 detects the moving direction of the feature point as a result of the matching of the feature points, and detects the feature point in which the moving direction of the feature point matches the moving direction of the host vehicle.
  • the feature point 381-1 is a feature point obtained by moving the feature point 371-1 upward
  • the feature point 381-2 is the feature point 371-2.
  • the feature point 381-3 is determined to be the feature point that has been moved downward.
  • the feature point 381-4 is determined to be a feature point that has not been matched with the feature point extracted from the image 351 taken at time t-1.
  • the feature matching unit 208 outputs such a matching result to the region weight determination unit 210.
  • the area weight determination unit 210 is supplied with information on the self position and the self posture from the self position estimation unit 205, and is supplied with a matching result from the feature matching unit 208.
  • the area weight determination unit 210 detects a feature point in a direction that matches the moving direction of the host vehicle. For example, when the own vehicle is moving forward, the feature point extracted from the stationary object moves backward, so it is determined that the feature point in the direction matching the moving direction of the own vehicle has moved backward. It becomes the feature point. Also, for example, when the own vehicle is moving backward, the feature point extracted from the stationary object moves forward, so that the feature point in the direction matching the moving direction of the own vehicle has moved forward The determined feature point.
  • the area weight determination unit 210 detects a feature point that is moving in a movement direction that matches (is not inconsistent with) the movement direction of the host vehicle. For example, the matching result as shown in the lower diagram of FIG. 6 is supplied to the area weight determination unit 210, and it is determined that the moving direction of the own vehicle is the front (the characteristic point is determined to move backward).
  • the feature point 381-2 and the feature point 381-3 are detected as feature points in a direction matching the moving direction of the host vehicle.
  • the feature point 381-1 is not a feature point in a direction that matches the moving direction of the host vehicle, it is not detected as a feature point in a direction that matches the moving direction of the host vehicle.
  • a feature point that is moving in a direction that does not match the moving direction of the host vehicle, in other words, a moving direction that does not match the moving direction of the host vehicle, such as the feature point 381-1, is, for example, a feature extracted from a moving object. Is a point.
  • the area weight determination unit 210 detects feature points that match the moving direction of the host vehicle, detects the number of detected feature points for each area, and sorts the areas in descending order of the number of feature points.
  • the region where many feature points are detected is a region where information necessary for estimating the self-position, in this case, feature points extracted from a stationary object, can be easily extracted.
  • the area weight determination unit 210 sorts the areas in descending order of the number of feature points as described above. Then, the area is selected until the number of feature points in the sorted area reaches a predetermined number.
  • the region 351-7 from which the feature point 381-2 is extracted and the region 351-8 from which the feature point 381-8 is extracted are detected.
  • the number of feature points extracted from the regions 351-7 and 357-8 is one, but for example, 20 feature points are extracted from the region 351-7, It is assumed that ten feature points are extracted from 351-8.
  • the region 351-7 and the region 351-8 are sorted in this order. If the predetermined number is 15, for example, the condition is satisfied when the region 351-7 is selected, so only the region 351-7 is selected. If the predetermined number is, for example, 30, for example, when the area 351-7 is selected, the condition is not yet satisfied, so the next area 351-8 is selected in the sorted order. When the region 351-8 is selected, the total number of feature points is 30, so the condition is satisfied, so the regions 351-7 and 351-8 are selected.
  • the region weight determination unit 210 thus selects the region 351 and supplies information on the selected region 351 to the omnidirectional information holding unit 209.
  • the information output from the region weight determination unit 210 is information on the selected region 351, but this information may be, for example, the number of feature points extracted from the region 351, or may be assigned according to the sorted order. It may be a numerical value.
  • it may be information such as a flag indicating where the selected area 351 is.
  • the information is flagged in the areas 351-7 and 351-8.
  • the information on the selected area 351 is supplied to the omnidirectional information holding unit 209 and held.
  • the information of the selected area 351 is information indicating an area where feature points extracted from a stationary object can be easily extracted. Such information is supplied to the camera selection determination unit 201 as weighted area information.
  • the camera selection determination unit 201 selects the peripheral camera 253 used for shooting as described above. For details, as will be described with reference to the flowchart shown in FIG. 7, whether to use the horizontal camera 253 a or the downward camera 253 b is selected according to the speed of the vehicle, and when the horizontal camera 253 a is used, The horizontal camera 253a to be used is selected based on the weighted area information. Specifically, the selected area 351 is determined based on the weighted area information, and the horizontal camera 253a corresponding to the determined area 351 is selected.
  • the peripheral camera 253 since the peripheral camera 253 is selected, in other words, since the peripheral camera 253 used for shooting and the peripheral camera 253 not used are selected, the power consumed by the peripheral camera 253 can be suppressed, The number of images to be processed can be reduced, and the processing load for image processing (self-position estimation processing) can be reduced.
  • a case where a total of 16 peripheral cameras 253 including eight horizontal cameras 253a and eight downward cameras 253b are mounted is described as an example. .
  • the power consumption is lower.
  • the power consumption is lower when a predetermined number of horizontal cameras 253a are used.
  • the peripheral camera 253 to be used is selected depending on the speed and the number of feature points, the power consumption can be reduced and the processing load can be reduced without reducing the accuracy of self-position estimation. Can be reduced.
  • step S11 the camera selection determination unit 201 determines whether the moving speed of the host vehicle is equal to or greater than (greater than) a predetermined threshold value. If it is determined in step S11 that the moving speed of the own vehicle is equal to or higher than the predetermined threshold, the process proceeds to step S12, and if it is determined that the moving speed of the own vehicle is not equal to or higher than the predetermined threshold, step S15 is performed. The process proceeds.
  • the peripheral camera 253 used for shooting is set as the horizontal camera 253a, and the self-position estimation process is performed.
  • the peripheral camera 253 used for shooting is set as the downward camera 253b, and the self-position estimation process is performed.
  • the moving speed of the own vehicle is equal to or higher than the predetermined threshold, in other words, when the own vehicle is moving at a high speed, the horizontal camera 253a is used, and the moving speed of the own vehicle is equal to or higher than the predetermined threshold. If not, in other words, when the vehicle is moving at a low speed, the downward camera 253b is used.
  • the description will be made separately for high speed and low speed, but in other words, the description will be continued with an example in which there is one predetermined threshold value. good. For example, it is divided into high speed (above threshold A), medium speed (smaller than threshold A, over threshold B), and low speed (smaller than threshold B).
  • high speed the horizontal camera 253a is used.
  • the horizontal camera 253a and the downward camera 253b may be used, and in the case of low speed, the downward camera 253b may be used.
  • step S11 If it is determined in step S11 that the moving speed of the vehicle is faster than the threshold speed, the process proceeds to step S12. In step S12, an area selection process is executed. The area selection process executed in step S12 will be described with reference to the flowchart of FIG.
  • the region selection processing is performed by the motion prediction unit 207, the feature matching unit 208, the omnidirectional information holding unit 209, and the region weight determination unit 210, and is performed as described with reference to FIGS. The description will be omitted as appropriate.
  • step S31 an image from the omnidirectional camera 252 is acquired.
  • the image from the omnidirectional camera 252 is supplied to the feature matching unit 208.
  • step S ⁇ b> 32 the feature matching unit 208 extracts feature points from the supplied image from the omnidirectional camera 252. While such processing is performed, in step S33, the feature point extracted from the image one frame before is read from the omnidirectional information holding unit 209.
  • the motion prediction unit 207 reads the feature points (peripheral environment information) extracted from the image one frame before from the omnidirectional information holding unit 209, and from the control information, Is determined, the destination of the feature point is predicted from the traveling direction of the host vehicle, and the prediction result is supplied to the feature matching unit 208.
  • step S34 as described with reference to FIG. 6, the feature matching unit 208 matches the feature point from the image one frame before and the feature point from the image of the current frame.
  • step S35 the moving direction of each feature point is determined as a result of matching.
  • step S36 feature points where the moving direction of the vehicle and the moving direction of the feature points match are extracted.
  • feature points that are determined to have a valid moving direction (no contradiction) with respect to the traveling direction of the host vehicle are extracted.
  • step S37 the region weight determination unit 210 sorts the regions 351 in descending order of the number of feature points in each region 351.
  • step S38 the area 351 is selected in the sorted order until the cumulative number of feature points satisfies a predetermined number.
  • the selection result is supplied to the omnidirectional information holding unit 209, and the area weight information held in the omnidirectional information holding unit 209 is updated.
  • step S13 (FIG. 7).
  • step S13 the camera selection determination unit 201 selects the horizontal camera 253a to be used. If the camera selection determination unit 201 determines that the moving speed of the host vehicle is high, the camera selection determination unit 201 sets the peripheral camera 253 that captures an image used for self-position estimation to the horizontal camera 253a, and further sets the omnidirectional information storage unit 209. Of the eight horizontal cameras 253a, which horizontal camera 253a is used is set from the weighted area information held.
  • the horizontal camera 253a corresponding to the weighted area 351 is set as the horizontal camera 253a to be used (the horizontal camera 253a that turns on the power and executes the photographing process).
  • the weighted area information is information related to the area 351 selected by the area weight determination unit 210 as an area from which more feature points that can be used for self-position estimation can be extracted. Therefore, by using the horizontal camera 253a that captures the range of such a region 351, an image in which a region where feature points used for self-position estimation are easily extracted can be obtained.
  • step S14 a self-position estimation process using the horizontal camera 253a is executed.
  • the self-position estimation process executed in step S14 will be described with reference to the flowchart shown in FIG.
  • step S51 the shutter control unit 202 controls the selected horizontal camera 253a to capture an image.
  • the captured image is supplied to the feature matching unit 204.
  • power consumption for shooting can be reduced.
  • the image from the selected horizontal camera 253a is processed, for example, processing such as feature point extraction is performed, the number of images to be processed can be reduced, and the processing load can be reduced.
  • step S52 the feature matching unit 204 extracts feature points.
  • step S ⁇ b> 53 the feature point estimation unit 203 reads the surrounding environment information held in the self-position holding unit 206. This surrounding environment information includes information on feature points extracted from the image one frame before.
  • step S54 the feature point estimation unit 203 estimates in which position the feature point extracted from the image one frame before is located on the image captured by the selected horizontal camera 253a.
  • the processing executed by the feature point estimation unit 203 in step S53 and step S54 is where the feature point extracted from the image one frame before is located in the image of the current frame. This is a process of estimating (converting) whether or not
  • step S55 the feature matching unit 204 detects a corresponding pair by performing block matching between the feature point extracted from the image of the previous frame and the feature point extracted from the image of the current frame.
  • the image photographed by the horizontal camera 253a is a scenery around the own vehicle, such as a building, a tree, a guardrail, and the like. Since block matching is suitable for such a landscape image matching process, the description will be continued here assuming that the matching process is performed by block matching.
  • a matching method other than block matching can be used as a matching process using an image photographed by the horizontal camera 253a.
  • feature points are extracted and matching processing is executed, but information suitable for matching processing using an image photographed by the horizontal camera 253a is extracted.
  • the application range of the present technology is also applicable to a case where an area having a feature is extracted instead of a point.
  • step S56 the self position estimating unit 205 estimates the self position. Any method of self-positioning can be applied to the present technology.
  • DLT Direct Linear Transform
  • PNP Perspective
  • the feature matching unit 204 is configured to perform matching by a matching method suitable for the method used by the self-position estimating unit 205 and output a matching result.
  • the horizontal camera 253a captures an image, and self-position estimation is performed using the captured image. Further, matching is performed using a matching method suitable for an image photographed by the horizontal camera 253a.
  • step S11 If it is determined in step S11 that the moving speed of the host vehicle is not equal to or higher than the threshold, in other words, if it is determined that the moving speed is low, the process proceeds to step S15.
  • step S15 the downward camera 253b is selected as the camera to be used.
  • the downward camera 253b all the downward cameras 253b installed, in this case, eight downward cameras 253b are used. Since the downward camera 253b is mounted downward with respect to the own vehicle, the camera 253b mainly shoots the road surface.
  • the downward camera 253b corresponding to the region where it is determined that feature points are easily extracted using the weighted information held in the omnidirectional information holding unit 209, It is also possible to set as the downward camera 253b to be used.
  • the downward camera 253b mounted on the moving direction side can be selected according to the moving direction of the own vehicle. For example, when the host vehicle is moving forward, the downward cameras 253b-1, 253b-2, 253b-5, and 253b-6 arranged in front are used, and when moving backward, The arranged downward cameras 253b-3, 253b-4, 253b-7, and 253b-8 may be used.
  • step S16 a self-position estimation process using the downward camera 253b is executed.
  • the self-position estimation process using the downward camera 253b executed in step S16 will be described with reference to the flowchart shown in FIG.
  • the self-position estimation process using the downward camera 253b shown in FIG. 10 is the same as the self-position estimation process using the horizontal camera 253a shown in FIG.
  • step S71 the shutter control unit 202 controls the selected downward camera 253b, in this case, eight downward cameras 253b, and images are taken.
  • the captured image is supplied to the feature matching unit 204.
  • step S72 the feature matching unit 204 extracts feature points.
  • the feature point may be a pattern of light brightness on the road surface.
  • the feature point estimation unit 203 reads the surrounding environment information held in the self-position holding unit 206.
  • This surrounding environment information includes information on feature points extracted from the image one frame before.
  • the feature point estimation unit 203 estimates at which position the feature point extracted from the image one frame before is located on the image captured by the selected downward camera 253b.
  • the processing executed by the feature point estimation unit 203 in step S73 and step S74 is where the feature point extracted from the image one frame before is located in the image of the current frame. This is a process of estimating (converting) whether or not
  • the feature points can be obtained by processing the images of the eight downward cameras 253 b. Corresponding pairs may be obtained in the same manner as obtaining the moving direction of.
  • step S ⁇ b> 75 the feature matching unit 204 detects the corresponding pair by matching the feature point extracted from the image of the previous frame and the feature point extracted from the image of the current frame by the luminance gradient method. .
  • a luminance pattern is extracted from an image photographed by the downward camera 253b. Since the matching by the luminance gradient method is suitable for the matching process using the luminance pattern, here, the matching by the luminance gradient method is used. The description will be continued assuming that processing is performed.
  • a matching method other than the luminance gradient method can be used as a matching process using an image photographed by the downward camera 253b.
  • the luminance pattern (feature point) is extracted and the matching process is executed, but information suitable for the matching process using the image photographed by the downward camera 253b is extracted.
  • the application range of the present technology is also applicable to a case where an area having a feature is extracted instead of a point.
  • step S76 the self-position estimating unit 205 estimates the self-position. Any method of self-positioning can be applied to the present technology.
  • the self-position estimation algorithm (matching method in the feature matching unit 204) when the horizontal camera 253a is selected and the self-position estimation algorithm (in the feature matching unit 204) when the downward camera 253b is selected.
  • the matching method is a different algorithm, and is configured such that an algorithm suitable for a captured image is applied. Therefore, self-position estimation can be performed with higher accuracy.
  • the accuracy of self-position estimation does not decrease, and accurate self-position estimation can be performed.
  • the present invention is applied to a passenger car (automobile) has been described as an example. It can be applied to a moving body such as a robot.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 11 is a block diagram showing an example of a hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in a removable recording medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in the ROM 502 or the recording unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a selection unit that selects a camera to be used for self-position estimation among a horizontal camera mounted in a horizontal direction and a downward camera mounted in a downward direction according to speed
  • a control apparatus comprising: a self-position estimation unit that performs self-position estimation using an image obtained by photographing with the horizontal camera or the downward camera selected by the selection unit.
  • the setting unit divides an image captured by the omnidirectional camera by the number of the horizontal cameras, and the direction in which the feature points extracted from the divided images have moved over time, and self-position estimation
  • the control device according to (3), wherein the horizontal camera that captures an area having a large number of feature points to which the moving direction of the self based on the estimation result of is selected.
  • the first algorithm for self-position estimation when the horizontal camera is selected by the selection unit and the second algorithm for self-position estimation when the downward camera is selected by the selection unit are different algorithms.
  • the control device according to any one of (1) to (4).
  • the control device according to (5), wherein the first algorithm is block matching, and the second algorithm is a luminance gradient method. (7) (1) to (1) to estimate a position corresponding to the position of the feature point extracted from the image captured by the horizontal camera at a time before the current time when the current horizontal camera is selected.
  • the control device according to any one of (6).
  • vehicle control system 101 input unit, 102 data acquisition unit, 103 communication unit, 104 in-vehicle equipment, 105 output control unit, 106 output unit, 107 drive system control unit, 108 drive system system, 109 body system control unit, 110 body System, 111 storage unit, 112 automatic operation control unit, 121 communication network, 131 detection unit, 132 self-position estimation unit, 133 situation analysis unit, 134 planning unit, 135 operation control unit, 141 outside information detection unit, 142 in-vehicle information Detection unit, 143 vehicle state detection unit, 151 map analysis unit, 152 traffic rule recognition unit, 153 situation recognition unit, 154 situation prediction unit, 161 route plan unit, 162 action plan unit, 163 motion meter Part, 171 emergency situation avoidance part, 172 acceleration / deceleration control part, 173 direction control part, 201 camera selection determination part, 202 shutter control part, 203 feature point estimation part, 204 feature matching part, 205 self-position estimation part, 206 self-position Holding unit, 201

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

本技術は、より低消費電力で自己位置推定を行うことができるようにする制御装置、制御方法、並びにプログラムに関する。 水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択する選択部と、選択部により選択された水平カメラまたは下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う自己位置推定部とを備える。選択部は、速度が、所定の速度以上である場合、水平カメラを選択し、所定の速度以上ではない場合、下向きカメラを選択する。本技術は、自己位置推定システムに適用することができる。

Description

制御装置、制御方法、並びにプログラム
　本技術は制御装置、制御方法、並びにプログラムに関し、例えば、自己位置推定を精度良く、低消費電力で行えるようにした制御装置、制御方法、並びにプログラムに関する。
　従来、カメラで撮影された画像に基づいて、実空間上におけるカメラの位置を推定する自己位置推定では、画像に含まれている指標となる勾配や特徴点などが用いられて、カメラの自己位置が推定される（例えば、特許文献１参照）。また複数のカメラを用いることで、カメラにより観察されない領域、所謂死角を減らすことができるので、画像から特徴点が検出されないような状況を回避することも提案されている。
特開２００９－２３７８４８号公報
　しかしながら、常に複数のカメラで周囲の環境を撮影すると、自己位置推定に用いるカメラの数が増える分だけ、電力消費量が増加する。特に、カメラの数に対して電力消費量は正比例することから、自己位置推定での消費電力を低く抑えるのが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、より低い消費電力で確実に自己位置を推定することができるようにするものである。
　本技術の一側面の制御装置は、水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択する選択部と、前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う自己位置推定部とを備える。
　本技術の一側面の制御方法は、制御装置が、水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択処理し、前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定処理を行う。
　本技術の一側面のプログラムは、コンピュータに、水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択し、前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う処理を実行させる。
　本技術の一側面の制御装置、制御方法、並びにプログラムにおいては、水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラが速度により選択され、選択された水平カメラまたは下向きカメラによる撮影で得られた画像を用いられて自己位置推定が行われる。
　なお、制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
　本技術の一側面によれば、より低い消費電力で確実に自己位置を推定することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した移動体制御システムの一実施の形態の構成を示す図である。 自己位置推定部の構成例を示す図である。 カメラの配置について説明するための図である。 特徴点の推定について説明するための図である。 特徴点の推定について説明するための図である。 特徴点の推定について説明するための図である。 自己位置推定部の処理について説明するためのフローチャートである。 自己位置推定部の処理について説明するためのフローチャートである。 自己位置推定部の処理について説明するためのフローチャートである。 自己位置推定部の処理について説明するためのフローチャートである。 コンピュータの構成について説明するための図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　車両制御システム１００は、車両１０に設けられ、車両１０の各種の制御を行うシステムである。なお、以下、車両１０を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、車両１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、車両１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、車両１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、車両１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、車両１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、車両１０の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、車両１０の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、車両１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両１０の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、車両１０の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０の衝突警告、又は、車両１０のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、車両１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、車両１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の状態の検出処理を行う。検出対象となる車両１０の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、車両１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両１０の周囲の信号の位置及び状態、車両１０の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の認識処理を行う。例えば、状況認識部１５３は、車両１０の状況、車両１０の周囲の状況、及び、車両１０の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる車両１０の状況には、例えば、車両１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる車両１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の予測処理を行う。例えば、状況予測部１５４は、車両１０の状況、車両１０の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる車両１０の状況には、例えば、車両１０の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両１０の周囲の状況には、例えば、車両１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行中車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両１０の行動を示すデータを動作計画部１６３等に供給する。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した車両１０の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、車両１０の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両１０の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。緊急事態回避部１７１は、計画した車両１０の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　＜自己位置推定部の構成＞
　図２は、自己位置推定部１３２の内部構成例を示す図である。
　自己位置推定部１３２は、カメラ選択判定部２０１、シャッター制御部２０２、特徴点推定部２０３、特徴マッチング部２０４、自己位置推定部２０５、自己位置保持部２０６、動き予測部２０７、特徴マッチング部２０８、全方位情報保持部２０９、および領域重み判定部２１０を含む。
　自己位置推定部１３２には、制御部２５１から制御情報が供給される。また自己位置推定部１３２には、複数のカメラからの画像データも供給される。複数のカメラとして、全方位カメラ２５２と周辺カメラ２５３が自車には搭載されている。
　制御部２５１は、例えば、自車の速度や移動方向に関する情報を、自己位置推定部１３２に供給し、図１の車両状態検出部１４３や状況認識部１５３を含む部分である。
　全方位カメラ２５２と周辺カメラ２５３は、自車の周囲を撮影するカメラであり、図１のデータ取得部１０２や、車外情報検出部１４１を含む部分である。
　図３は、自車に搭載されている全方位カメラ２５２と周辺カメラ２５３の配置位置の一例を示した図である。図３のＡは、自車を上方から見たときのカメラが配置されている位置を模式的に示した図であり、図３のＢは、自車を後方から見たときのカメラが配置されている位置を模式的に示した図である。なお、以下に示す配置位置は一例であり、限定を示すものではない。
　図３のＡに示すように、自車の中央付近には、全方位カメラ２５２が搭載されている。全方位カメラ２５２は、自車を中心とした３６０度の周辺領域を撮影できる位置に設置されていれば良い。
　全方位カメラ２５２により撮影される周辺環境の領域は、地面と平行な面（水平方向）においては、３６０度の領域であり、自車からの距離が所定の範囲内の領域ある。一方、全方位カメラ２５２により撮影される周辺環境の領域は、地面と直交する面（垂直方向）においては、３６０度であっても良いが、空方向の所定の範囲は撮影しない角度、例えば２７０度程度の範囲内の領域とすることができる。
　全方位カメラ２５２は、１台の撮影装置で３６０度の範囲を撮影できるように構成されていても良いし、複数の撮影装置で３６０度の範囲を撮影できるように構成されていても良い。
　周辺カメラ２５３は、図３のＡに示したように、自車の周囲を撮影できるように、複数台搭載されている。図３のＡに示した例では、８台の周辺カメラ２５３－１乃至２５３－８が搭載されている例を示した。
　周辺カメラ２５３－１は、自車の右前に配置され、周辺カメラ２５３－２は、自車の右斜め前に配置され、周辺カメラ２５３－３は、自車の右斜め後に配置され、周辺カメラ２５３－４は、自車の右後に配置されている。周辺カメラ２５３－５は、自車の左前に配置され、周辺カメラ２５３－６は、自車の左斜め前に配置され、周辺カメラ２５３－７は、自車の左斜め後に配置され、周辺カメラ２５３－８は、自車の左後に配置されている。
　周辺カメラ２５３は、図３のＢに示すように、水平方向に搭載された周辺カメラ２５３ａ－８と、下方向に搭載された周辺カメラ２５３ｂ－８から構成されている。図３のＢは、自車の後方から見た図のため、自車の後方に配置されている周辺カメラ２５３－８が見えている。
　以下の説明においては、水平方向に搭載された周辺カメラ２５３を、水平カメラ２５３ａと記述し、下向き方向に搭載された周辺カメラ２５３を、下向きカメラ２５３ｂと記述する。また、水平カメラ２５３ａと下向きカメラ２５３ｂを個々に区別する必要が無い場合、または水平カメラ２５３aと下向きカメラ２５３bの組み合わせを示したい場合、単に周辺カメラ２５３と記述する。
　図３に示した例では、自車には、８台の水平カメラ２５３ａ－１乃至２５３ａ－８が搭載され、８台の下向きカメラ２５３ｂ－１乃至２５３ｂ－８が搭載されている。水平カメラ２５３ａ－１と下向きカメラ２５３ｂ－１の組は、周辺カメラ２５３－１を構成し、水平カメラ２５３ａ－２と下向きカメラ２５３ｂ－２の組は、周辺カメラ２５３－２を構成し、水平カメラ２５３ａ－３と下向きカメラ２５３ｂ－３の組は、周辺カメラ２５３－３を構成し、水平カメラ２５３ａ－４と下向きカメラ２５３ｂ－４の組は、周辺カメラ２５３－４を構成する。
　また水平カメラ２５３ａ－５と下向きカメラ２５３ｂ－５の組は、周辺カメラ２５３－５を構成し、水平カメラ２５３ａ－６と下向きカメラ２５３ｂ－６の組は、周辺カメラ２５３－６を構成し、水平カメラ２５３ａ－７と下向きカメラ２５３ｂ－７の組は、周辺カメラ２５３－７を構成し、水平カメラ２５３ａ－８と下向きカメラ２５３ｂ－８の組は、周辺カメラ２５３－８を構成する。
　このように、自車には、自車を中心とした３６０度の周辺画像を取得する全方位カメラ２５２と、自車の周りに所定の領域を撮影する複数の周辺カメラ２５３が搭載されている。
　なお、ここでは、８組（１６台）の周辺カメラ２５３と１台の全方位カメラ２５２の組み合わせを例に挙げて説明を続けるが、周辺カメラ２５３の台数は、１６台に限らず、他の台数であっても良い。また、全方位カメラ２５２も、１台ではなく、複数台搭載されていても良い。
　図２の自己位置推定部１３２の内部構成例の説明に戻る。カメラ選択判定部２０１は、制御部２５１から制御情報が供給され、全方位情報保持部２０９から重み付き領域情報が供給される。制御情報としては、例えば、自車の進行方向、速度などに関する情報である。重み付き領域情報は、詳細は後述するが、周辺カメラ２５３が、図３に示したように、８組搭載されている場合、それらの８組の周辺カメラ２５３がそれぞれ撮影する領域に対する重み付けに関する情報である。
　カメラ選択判定部２０１は、制御情報と重み付き領域情報を用いて、１６台の周辺カメラ２５３のうち用いる周辺カメラ２５３を選択する。なお、用いる周辺カメラ２５３とは、用いると選択された周辺カメラ２５３の電源はオンにし、用いると選択された周辺カメラ２５３以外の周辺カメラ２５３の電源は、オフにすることを意味する。
　カメラ選択判定部２０１による選択判定結果は、シャッター制御部２０２と特徴点推定部２０３に供給される。シャッター制御部２０２は、カメラ選択判定部２０１で選択された周辺カメラ２５３の撮影処理を制御する。
　特徴マッチング部２０４には、周辺カメラ２５３で撮影された画像、シャッター制御部２０２から撮影処理が制御された周辺カメラ２５３の情報、および特徴点推定部２０３からの推定結果が供給される。特徴マッチング部２０４は、画像内から特徴点を抽出し、その特徴点と一致する前フレームの画像から抽出された特徴点を探索し、特徴点の対応ペアを生成し、自己位置推定部２０５に供給する。
　なおここでは、特徴点が抽出されるとして説明を続けるが、点ではなく、領域であっても良い。例えば、画像内からエッジの部分を抽出し、そのエッジがある領域を特徴がある領域として抽出し、後段の処理に用いられるようにしても良い。また、後述する処理で、所定の領域内にある特徴点の数により領域をソートする処理が実行されるが、この処理においても、領域を用いた場合には、特徴のある領域として抽出された領域の大きさによりソートの処理が実行される。
　またここでは、１フレーム前の画像から抽出された特徴点と現フレームの画像から抽出された特徴点が比較される場合を例に挙げて説明を続けるが、１フレーム前ではなく、数フレーム前と現フレームとが比較される場合にも本技術を適用できる。また、フレーム（画像）が取得されるタイミングは、一般的なタイミング、例えば１秒間に３０フレームなどのタイミングであってももちろん良いが、他のタイミングであっても良い。
　自己位置推定部２０５は、特徴点の対応ペアを用いて、自車の位置を推定する。自己位置推定部２０５からの推定結果は、自車の位置、自車の姿勢、周辺環境の情報（ランドマークの情報）などである。自己位置や自己姿勢の情報は、自己位置推定部１３２の外部、例えば、マップ解析部１５１や状況認識部１５３（図１）に出力される。また、自己位置、自己姿勢、周辺環境などの情報は、自己位置保持部２０６にも供給され、保持される。
　自己位置保持部２０６は、少なくとも１フレーム分の自己位置、自己姿勢、周辺環境などに関する情報を保持している。これらの情報は、環境マップの作成に必要な情報であり、環境マップとは、例えば、SLAM（Simultaneous Localization And Mapping）などのように、実空間に対応する三次元座標上で、事前に登録されたランドマークおよび逐次的に登録されたランドマークと、撮影画像から検出された特徴点との対応関係から自己位置を推定する手法により得られる情報である。
　ここでランドマークとは、撮影画像から特徴点が検出された、または撮影画像から特徴点が検出され得る実空間上の被写体の部位であり、自己位置推定時には、各ランドマークの位置を示す情報、つまり三次元座標系におけるランドマークの位置情報を示す三次元マップが用いられる。
　具体的には、例えば、特徴マッチング部２０４での処理により、撮影時刻の異なる撮影画像から検出された各特徴点の対応関係が求められ、それらの特徴点の対応関係、および特徴点とランドマークの対応関係等から自車の自己位置が推定により求められる。推定された自己位置に関する情報が、自己位置保持部２０６に保持される。
　自己位置保持部２０６に保持されている周辺環境の情報は、特徴点推定部２０３に供給される。特徴点推定部２０３は、１フレーム前の特徴点が、カメラ選択判定部２０１で選択された周辺カメラ２５３で撮影された画像内では、どの位置に撮影されていたかを予測する。
　図４を参照し、特徴点推定部２０３の処理について説明を加える。図４のＡを参照するに、時刻ｔ－１のとき、カメラ選択判定部２０１により周辺カメラ２５３－６が選択され、周辺カメラ２５３－６で撮影が行われ、画像３０１－１が撮影されたとする。この画像３０１－１から、特徴点３１１－１が検出される。
　自車が前方、図４のＡ中、情報に移動しているとする。時刻ｔ－１よりも1フレーム分後の時刻ｔ０において、カメラ選択判定部２０１により周辺カメラ２５３－７が選択され、周辺カメラ２５３－７で撮影が行われ、画像３０１－４が撮影されたとする。この画像３０１－４から、特徴点３１１－２が検出される。特徴点３１１－１と特徴点３１１－２は、同一の静止物体から抽出された特徴点であるとする。
　このような場合、例えば、特徴マッチング部２０４で、時刻ｔ－１のときに撮影された画像３０１－１から抽出された特徴点３１１－１と、時刻ｔ０のときに撮影された画像３０１－４から抽出された特徴点３１１－２が用いられてマッチングが行われた場合、間違ったマッチングが行われ、間違った自己位置推定が行われてしまう。
　例えば、この場合、特徴点３１１－１が画像３０１－１の中央にあり、特徴点３１１－２が画像３０１－４の中央にある場合、画像３０１内で特徴点３１１は、動いていないことになり、自車は動いていないとの自己位置推定が行われてしまう可能性がある。
　そこで、図４のＢに示したように、例えば、時刻ｔ－１において、周辺カメラ２５３－７が、画像３０１―１’と画像３０１－２’を撮影し、特徴点３１１－１’が抽出されたとし、この特徴点３１１－１’と、時刻ｔ０において、周辺カメラ２５３－７が撮影した画像３０１－４から抽出された特徴点３１１－２がマッチングされるようにする。
　特徴点３１１－１’は、画像３０１－１から抽出された特徴点３１１－１に該当する。すなわち、時刻ｔ－１においては、周辺カメラ２５３－７は、選択されていないため撮影を行っていないが、仮に行ったとした場合に、特徴点３１１－１がある位置が推定され、特徴点３１１－１’の位置が特定される。換言すれば、時刻ｔ－１における周辺カメラ２５３－７と特徴点３１１－１との位置関係が推定され、この推定された位置に、特徴点３１１－１’があるとして、時刻ｔ０のときに撮影された画像３０１－４から抽出された特徴点３１１－２とのマッチングが行われる。
　このように、１フレーム前の画像から抽出された特徴点が、現フレームの画像内では、どの位置にあるかを推定する処理が、特徴点推定部２０３により行われ、その推定結果が、特徴マッチング部２０４に供給される。特徴マッチング部２０４では、図４のＢに示したような状態でのマッチングが行われる。
　このように、異なる時刻に異なる周辺カメラ２５３により撮影された画像から抽出された特徴点などの情報は共有され、複数のカメラを連携させた処理を実行することができる。
　この場合、時刻ｔ－１のときの特徴点の位置として推定された特徴点３１１－１’と、時刻ｔ０のときの特徴点として抽出された特徴点３１１－２とのマッチングが行われる。
　図２の自己位置推定部１３２の内部構成例の説明に戻る。自己位置推定部１３２には、全方位カメラ２５２で撮影された画像も供給される。全方位カメラ２５２で撮影された画像は、特徴マッチング部２０８に供給される。特徴マッチング部２０８は、全方位カメラ２５２で撮影された画像から抽出される特徴点と、動き予測部２０７から供給される特徴点とのマッチングを行う。
　この動き予測部２０７と特徴マッチング部２０８の処理について図５を参照して説明する。全方位カメラ２５２で得られる画像は、８分割される。例えば、図５の上部に示したように、円形を全方位カメラ２５２で得られる画像３５１とした場合、この画像３５１を、８領域に分割する。画像３５１の分割数は、周辺カメラ２５３の台数（組数）と同数、換言すれば、画像３５１の分割数は、水平カメラ２５３ａの台数と同数とされる。ここでは、水平カメラ２５３ａの台数が８台であるため、画像３５１の分割数は８とされ、８領域に分割されている。
　このように全方位カメラ２５２で撮影される画像３５１を、水平カメラ２５３ａの台数と同数の領域に分割するのは、領域内から抽出された特徴点の数により、用いる水平カメラ２５３ａが選択されるようにするためである。図５の左上部に示した図において、領域３５１－１は、水平カメラ２５３ａ－１に割り当てられた領域であり、この領域３５１－１から抽出され、所定の条件を満たす特徴点が多い場合、水平カメラ２５３ａ－１が、用いられる水平カメラ２５３ａとして選択される。
　同様に、領域３５１－２は、水平カメラ２５３ａ－２に割り当てられた領域であり、領域３５１－３は、水平カメラ２５３ａ－３に割り当てられた領域であり、領域３５１－４は、水平カメラ２５３ａ－４に割り当てられた領域である。さらに同様に、領域３５１－５は、水平カメラ２５３ａ－５に割り当てられた領域であり、領域３５１－６は、水平カメラ２５３ａ－６に割り当てられた領域であり、領域３５１－７は、水平カメラ２５３ａ－７に割り当てられた領域であり、領域３５１－８は、水平カメラ２５３ａ－８に割り当てられた領域である。
　図５の左上図に示した図を参照するに、時刻ｔ－１において、全方位カメラ２５２により撮影された画像３５１から、４つの特徴点が抽出されたとする。ここでは説明のため、特徴点の数を４個とし、また１領域から１個の特徴点が抽出されている例を挙げて説明を続ける。
　特徴点３７１－１は、領域３５１－２から抽出され、特徴点３７１－２は、領域３５１－６から抽出され、特徴点３７１－３は、領域３５１－７から抽出され、特徴点３７１－４は、領域３５１－８から抽出されたとする。時刻ｔ－１において抽出された特徴点３７１の情報は、周辺環境情報として、全方位情報保持部２０９に保持されており、時刻ｔ０において、動き予測部２０７に供給される。
　動き予測部２０７には、制御部２５１から制御情報も供給される。制御情報としては、自車の進行方向に関する情報であり、ここでは、前方に直進しているという情報が入力された場合を例に挙げて説明を続ける。
　動き予測部２０７は、制御情報から、自車の進行方向が、前方であると判定し、時刻ｔ－１のときに抽出された特徴点３７１－１乃至３７１－４は、時刻ｔ０においては、どの位置に移動しているかを予測する。自車が前方に移動しているとき、静止物体は、相対的に後方に移動するため、特徴点３７１も、後方（図５中下側）に移動すると予測される。
　図５の右上図に示したように、特徴点３７１－１乃至３７１－４は、後方に移動した特徴点３７１－１’乃至３７１－４’に推定される。この推定のときに、移動速度も考慮して推定することで、より精度良く推定を行うことができる。推定の結果、特徴点３７１－４’は、画像３５１’外に位置すると推定された場合、動き予測部２０７は、図５の下図に示したように、時刻ｔ－１の特徴点の情報として、特徴点３７１－１乃至３７１－３を、特徴マッチング部２０８に出力する。すなわち、この場合、時刻ｔ０のときに撮影される画像からは抽出されないと推測された特徴点３７１－４を除外した特徴点の情報が、特徴マッチング部２０８に供給される。
　このように、動き予測部２０７により、マッチングに用いられる特徴点の数が絞りこまれることで、特徴マッチング部２０８の処理を軽減することができる。特徴マッチング部２０８は、動き予測部２０７からの特徴点３７１の情報（図６の左上図に示したような、時刻ｔ－１のときの画像から得られた情報）と、全方位カメラ２５２からの特徴点の情報（図６の右上図に示したような、時刻ｔ０のときの画像から得られる情報）をマッチングする。
　図６の右上図は、時刻ｔ０のときに全方位カメラ２５２から得られた画像３５２から抽出された特徴点３８１－１乃至３８１－４を表している。特徴マッチング部２０８は、時刻ｔ－１のときに全方位カメラ２５２から得られた画像３５１から抽出された特徴点３７１－１は、特徴点３８１－１に移動し、特徴点３７１－２は、特徴点３８１－２に移動し、特徴点３７１－３は、特徴点３８１－３に移動したと判定する。
　このような判定時に、図５の右上図に示したように、自車の進行方向や速度から推測された特徴点の位置の情報が用いられ、その推測先の特徴点の位置付近を探索するようにし、探索範囲を制限することで、特徴点のマッチングのために掛かる処理負荷が軽減されるようにしても良い。
　特徴マッチング部２０４は、特徴点のマッチングの結果、特徴点の移動方向を検出し、その特徴点の移動方向と、自車の移動方向が一致している特徴点を検出する。図６に示した例では、下図に矢印で示すように、特徴点３８１－１は、特徴点３７１－１が上側に移動した特徴点であり、特徴点３８１－２は、特徴点３７１－２が下側に移動した特徴点であり、特徴点３８１－３は、特徴点３７１－３が下側に移動した特徴点であると判定される。また、特徴点３８１－４は、時刻ｔ－１のときに撮影された画像３５１から抽出された特徴点とのマッチングがされなかった特徴点であると判定される。
　特徴マッチング部２０８からは、このようなマッチング結果が、領域重み判定部２１０に出力される。領域重み判定部２１０は、自己位置推定部２０５から自己位置と自己姿勢の情報が供給され、特徴マッチング部２０８から、マッチング結果が供給される。
　領域重み判定部２１０は、自車の移動方向と一致する方向の特徴点を検出する。例えば、自車が前方に移動している場合、静止物体から抽出された特徴点は、後方に移動するため、自車の移動方向と一致する方向の特徴点とは、後方に移動したと判定された特徴点となる。また例えば、自車が後方に移動している場合、静止物体から抽出された特徴点は、前方に移動するため、自車の移動方向と一致する方向の特徴点とは、前方に移動したと判定された特徴点となる。
　このように、領域重み判定部２１０は、自車の移動方向に適合する（矛盾しない）移動方向に、移動している特徴点を検出する。例えば、図６の下図に示したようなマッチング結果が、領域重み判定部２１０に供給され、自車の移動方向が前方であると判定されている（特徴点としては後方に移動すると判定されている）場合、特徴点３８１－２と特徴点３８１－３が、自車の移動方向と適合する方向の特徴点として検出される。
　特徴点３８１－１は、自車の移動方向と適合する方向の特徴点ではないため、自車の移動方向と適合する方向の特徴点としては検出されない。特徴点３８１－１のように、自車の移動方向と適合しない方向、換言すれば、自車の移動方向に適合しない移動方向に移動している特徴点は、例えば、動体から抽出された特徴点である。
　自己位置を推定するとき、静止物体との位置関係の変化を検出することが必要である。また換言すれば、自己位置を推定するとき、動体の情報を除外、例えば、動体から抽出された特徴点を除外する必要がある。本技術によれば、上記したように、自車の移動方向と適合する方向の特徴点を抽出することで、動体から抽出された可能性のある特徴点を除外することができる。
　また、領域重み判定部２１０は、自車の移動方向と適合する特徴点を検出し、その検出した特徴点の数を、領域毎に検出し、特徴点の数が多い順に領域をソートする。特徴点が多く検出された領域は、自己位置を推定するときに必要とされる情報、この場合、静止物体から抽出される特徴点を、抽出しやすい領域である。
　よって、そのような特徴点を抽出しやすい領域が検出され、その検出された領域に対応する周辺カメラ２５３が用いられるようにする。そこで、領域重み判定部２１０は、上記したように、特徴点の数が多い順に領域をソートする。そして、ソートされた領域内の特徴点の数が所定の数に達するまで、領域を選択する。
　例えば、図６の下図に示したマッチング結果の場合、特徴点３８１－２が抽出された領域３５１－７と特徴点３８１－８が抽出された領域３５１－８が検出される。図６では、説明のため、領域３５１－７と領域３５７－８からそれぞれ抽出された特徴点の数を１個としてあるが、例えば、領域３５１－７から２０個の特徴点が抽出され、領域３５１－８から１０個の特徴点が抽出されたとする。
　この場合、特徴点の数により領域３５１がソートされた場合、領域３５１－７、領域３５１－８の順にソートされる。そして、所定の数が、例えば１５個である場合、領域３５１－７が選択された時点で、条件が満たされるため、領域３５１－７のみが選択される。また所定の数が、例えば、３０個である場合、領域３５１－７が選択された時点では、まだ条件が満たされないため、ソートされた順で次の領域３５１－８が選択される。領域３５１－８が選択された時点で、特徴点の数は、合計３０個になるため、条件が満たされるため、領域３５１－７と領域３５１－８が選択結果とされる。
　領域重み判定部２１０は、このように、領域３５１を選択し、選択した領域３５１の情報を、全方位情報保持部２０９に供給する。領域重み判定部２１０から出力される情報は、選択された領域３５１の情報であるが、この情報は、例えば、領域３５１から抽出された特徴点の数そのものでも良いし、ソートされた順位により割り当てられた数値であっても良い。
　また選択された領域３５１がどこであるかを示すフラグのような情報であっても良い。例えば、上記した例では、領域３５１－７と領域３５１－８にフラグが立てられた情報とされる。
　全方位情報保持部２０９には、上記したように、選択された領域３５１の情報が供給され、保持される。この選択された領域３５１の情報は、静止物体から抽出される特徴点を、抽出しやすい領域を示す情報である。このような情報は、重み付き領域情報として、カメラ選択判定部２０１に供給される。
　カメラ選択判定部２０１は、上記したように、撮影に用いる周辺カメラ２５３を選択する。詳細は、図７に示したフローチャートを参照して説明するように、自車の速度により、水平カメラ２５３ａを用いるか、下向きカメラ２５３ｂを用いるかを選択し、水平カメラ２５３ａを用いる場合には、重み付き領域情報を基づいて、用いる水平カメラ２５３ａを選択する。具体的には、重み付き領域情報で、選択された領域３５１を判定し、その判定された領域３５１に該当する水平カメラ２５３ａが選択される。
　このように、周辺カメラ２５３が選択されるため、換言すれば、撮影に用いる周辺カメラ２５３と用いない周辺カメラ２５３が、選択されるため、周辺カメラ２５３で消費される電力を抑えることができ、処理する画像を少なくすることができ、画像処理（自己位置推定処理）にかかる処理負荷を低減させることが可能となる。
　ここでは、図３を参照して説明したように、８台の水平カメラ２５３ａと８台の下向きカメラ２５３ｂの計１６台の周辺カメラ２５３が搭載されている場合を例に挙げて説明している。１６台の周辺カメラ２５３を、常に動作させている場合と比べて、例えば、８台の下向きカメラ２５３ｂを用いた場合の方が電力消費は低く、さらに、例えば、８台の水平カメラ２５３ａのうち、所定の台数の水平カメラ２５３ａを用いる場合の方が、電力消費は低くなることは明らかである。
　また、用いる周辺カメラ２５３の台数が少なければ、その少ない台数の周辺カメラ２５３から得られる画像のみを処理すれば良くなり、画像を処理する処理負荷を低減することができる。
　さらに、上記したように、また後述するように、速度や特徴点の数により、用いる周辺カメラ２５３を選択しているため、自己位置推定の精度を落とすことなく、電力消費の低減や、処理負荷の低減を実現することができる。
　＜自己位置推定部の処理＞
　図７乃至１０に示したフローチャートを参照し、自己位置推定部１３２（図２）の動作について説明する。
　ステップＳ１１において、カメラ選択判定部２０１は、自車の移動速度が所定の閾値以上（より大きい）であるか否かを判定する。ステップＳ１１において、自車の移動速度が所定の閾値以上であると判定された場合、ステップＳ１２に処理が進められ、自車の移動速度が所定の閾値以上ではないと判定された場合、ステップＳ１５に処理が進められる。
　ステップＳ１２に処理が進められた場合、撮影に用いられる周辺カメラ２５３は、水平カメラ２５３ａであると設定され、自己位置推定処理が行われる。一方で、ステップＳ１５に処理が進められた場合、撮影に用いられる周辺カメラ２５３は、下向きカメラ２５３ｂであると設定され、自己位置推定処理が行われる。
　このように、自車の移動速度が所定の閾値以上である場合、換言すれば、自車が高速で移動している場合、水平カメラ２５３ａが用いられ、自車の移動速度が所定の閾値以上ではない場合、換言すれば、自車が低速で移動している場合、下向きカメラ２５３ｂが用いられる。
　なおここでは、高速と低速に分けて説明をするが、換言すれば所定の閾値は１つである場合を例に挙げて説明を続けるが、閾値を複数設けて処理が行われる設定にしても良い。例えば、高速（閾値Ａ以上）、中速（閾値Ａより小さく、閾値Ｂ以上）、低速（閾値Ｂより小さい）に分け、高速の場合には、水平カメラ２５３ａを用い、中速の場合には、水平カメラ２５３ａと下向きカメラ２５３ｂを用い、低速の場合には、下向きカメラ２５３ｂを用いるといった設定にしても良い。
　ステップＳ１１において、自車の移動速度が、閾値とされている速度よりも速いと判定された場合、ステップＳ１２に処理が進められる。ステップＳ１２において、領域選択処理が実行される。ステップＳ１２において実行される領域選択処理について、図８のフローチャートを参照して説明する。
　領域選択処理は、動き予測部２０７、特徴マッチング部２０８、全方位情報保持部２０９、領域重み判定部２１０により行われ、図５、図６を参照して説明したように行われるため、重複する説明は適宜省略して説明する。
　ステップＳ３１において、全方位カメラ２５２からの画像が取得される。この場合、特徴マッチング部２０８に、全方位カメラ２５２からの画像が供給される。ステップＳ３２において、特徴マッチング部２０８は、供給された全方位カメラ２５２からの画像から、特徴点を抽出する。このような処理が行われている一方で、ステップＳ３３において、全方位情報保持部２０９から、１フレーム前の画像から抽出された特徴点が読み出される。
　動き予測部２０７は、図５を参照して説明したように、全方位情報保持部２０９から、１フレーム前の画像から抽出された特徴点（周辺環境情報）を読み出し、制御情報から、自車の進行方向を判定し、自車の進行方向から、特徴点の移動先を予測し、その予測結果を特徴マッチング部２０８に供給する。
　ステップＳ３４において、特徴マッチング部２０８は、図６を参照して説明したように、１フレーム前の画像からの特徴点と現フレームの画像からの特徴点のマッチングを行う。ステップＳ３５において、マッチングの結果、各特徴点の移動方向が判定される。
　ステップＳ３６において、自車の移動方向と特徴点の移動方向が合致している特徴点が抽出される。この処理は、図６を参照して説明したように、自車の進行方向に対して、移動方向が妥当である（矛盾がない）と判定される特徴点が抽出される。
　ステップＳ３７において、領域重み判定部２１０は、各領域３５１内の特徴点の数の多い順に、領域３５１をソートする。そして、ステップＳ３８において、ソートされた順に、特徴点の数の累積数が所定の数を満たすまで、領域３５１が選択される。このような選択が行われると、その選択結果は、全方位情報保持部２０９に供給され、全方位情報保持部２０９に保持されている領域重みの情報が更新される。
　このようにして領域選択処理が行われると、ステップＳ１３（図７）に処理が進められる。
　ステップＳ１３において、カメラ選択判定部２０１は、使用する水平カメラ２５３ａを選択する。カメラ選択判定部２０１は、自車の移動速度が高速であると判定した場合、自己位置推定に用いる画像を撮影する周辺カメラ２５３を、水平カメラ２５３ａに設定し、さらに全方位情報保持部２０９に保持されている重み付き領域情報から、８台の水平カメラ２５３ａのうち、どの水平カメラ２５３ａを用いるかを設定する。
　すなわち、重み付き領域情報から、重みが付けられている領域３５１に対応する水平カメラ２５３ａが、用いる水平カメラ２５３ａ（電源をオンにし、撮影処理を実行させる水平カメラ２５３ａ）として設定される。
　重み付き領域情報は、領域重み判定部２１０により、自己位置推定時に用いることができる特徴点をより多く抽出することができる領域として選択された領域３５１に関する情報である。よって、そのような領域３５１の範囲を撮影する水平カメラ２５３ａを用いることで、自己位置推定に用いる特徴点を抽出しやすい領域を撮影した画像を得ることができる。
　カメラ選択判定部２０１により、用いる水平カメラ２５３ａが選択されると、ステップＳ１４に処理が進められる。ステップＳ１４において、水平カメラ２５３ａを用いた自己位置推定処理が実行される。ステップＳ１４において実行される自己位置推定処理について、図９に示したフローチャートを参照して説明する。
　ステップＳ５１において、シャッター制御部２０２は、選択された水平カメラ２５３ａを制御し、画像を撮影する。撮影された画像は、特徴マッチング部２０４に供給される。この撮影においては、選択された水平カメラ２５３ａのみが撮影を行うため、撮影にかかる電力消費を低減させることができる。また、選択された水平カメラ２５３ａからの画像を処理、例えば特徴点の抽出といった処理を行うため、処理する画像数を減らすことができ、処理負荷を軽減することができる。
　ステップＳ５２において、特徴マッチング部２０４は、特徴点を抽出する。一方で、ステップＳ５３において、特徴点推定部２０３は、自己位置保持部２０６に保持されている周辺環境情報を読み込む。この周辺環境情報は、１フレーム前の画像から抽出された特徴点に関する情報が含まれている。特徴点推定部２０３は、ステップＳ５４において、選択された水平カメラ２５３ａで撮影された画像上では、どの位置に、１フレーム前の画像から抽出された特徴点が位置するかを推定する。
　ステップＳ５３とステップＳ５４において特徴点推定部２０３より実行される処理は、図４を参照して説明したように、１フレーム前の画像から抽出された特徴点は、現フレームの画像では、どこに位置しているかを推定（変換）する処理である。
　ステップＳ５５において、特徴マッチング部２０４は、１フレーム前の画像から抽出された特徴点と現フレームの画像から抽出された特徴点とのブロックマッチングを行うことで、対応ペアを検出する。
　水平カメラ２５３ａにより撮影される画像は、自車の周りの風景であり、例えば、建物、木、ガードレールなどである。このような風景画に対するマッチング処理は、ブロックマッチングが適しているため、ここでは、ブロックマッチングによりマッチング処理が行われるとして説明を続ける。
　なお、水平カメラ２５３ａにより撮影された画像を用いたマッチング処理として、ブロックマッチング以外のマッチング手法を用いることも可能である。
　またここでは、特徴点が抽出され、マッチング処理が実行されるとして説明しているが、水平カメラ２５３ａにより撮影された画像を用いたマッチング処理に適した情報が抽出される。例えば点ではなく、特徴がある領域が抽出されるといったような場合も、本技術の適用範囲である。
　特徴マッチング部２０４によりブロックマッチングが行われることで、特徴点の対応ペアの情報が生成され、自己位置推定部２０５に供給される。自己位置推定部２０５は、ステップＳ５６において、自己位置を推定する。自己位置の手法は、どのような手法であっても本技術に適用できる。
　例えば、マッチング結果である2D-3D対応点（画像の二次元座標と画像の三次元座標との間の対応点）から姿勢を推定するアルゴリズムとしては、DLT(Direct Linear Transform)法やPNP(Perspective-N-Points)法等が一般に知られており、これらの手法で、自己位置推定部２０５が自己位置や自己姿勢を推定することができる。
　また、特徴マッチング部２０４は、自己位置推定部２０５が用いる手法にあったマッチング手法によりマッチングを行い、マッチング結果を出力するように構成されている。
　このようにして、高速走行時には、水平カメラ２５３ａにより撮影が行われ、その撮影された画像を用いた自己位置推定が行われる。また、水平カメラ２５３ａで撮影される画像に適したマッチング方法が用いられてマッチングが行われる。
　図７のフローチャートに説明を戻す。ステップＳ１１において、自車の移動速度は、閾値以上ではないと判定された場合、換言すれば、低速であると判定された場合、ステップＳ１５に処理は進められる。
　ステップＳ１５において、用いるカメラとして下向きカメラ２５３ｂが選択される。下向きカメラ２５３ｂが選択された場合、搭載されている全ての下向きカメラ２５３ｂ、この場合、８台の下向きカメラ２５３ｂが用いると設定される。下向きカメラ２５３ｂは、自車に対して下向きに搭載されているため、主に路面を撮影する。
　路面の凹凸による光の反射具合などによるパターン、すなわち、路面の輝度パターンを検出し、その輝度パターンによるマッチングが行われるため、この精度を向上、維持するために、ここでは、搭載されている全ての下向きカメラ２５３ｂが用いられるとして説明を続ける。
　なお、水平カメラ２５３ａが選択される場合と同じく、全方位情報保持部２０９に保持されている重み付き情報を用いて、特徴点を抽出しやすいと判断される領域に対応する下向きカメラ２５３ｂが、用いる下向きカメラ２５３ｂとして設定されるようにすることも可能ではある。
　また、自車の移動方向に応じて、移動方向側に搭載されている下向きカメラ２５３ｂが選択されるようにすることも可能である。例えば、自車が前方に移動している場合、前方に配置されている下向きカメラ２５３ｂ－１，２５３ｂ－２，２５３ｂ－５，２５３ｂ－６が用いられ、後方に移動している場合、後方に配置されている下向きカメラ２５３ｂ－３，２５３ｂ－４，２５３ｂ－７，２５３ｂ－８が用いられるようにすることも可能である。
　ステップＳ１６において、下向きカメラ２５３ｂを用いた自己位置推定処理が実行される。ステップＳ１６において実行される下向きカメラ２５３ｂを用いた自己位置推定処理について、図１０に示したフローチャートを参照して説明する。
　図１０に示した下向きカメラ２５３ｂを用いた自己位置推定処理は、図９に示した水平カメラ２５３ａを用いた自己位置推定処理と、基本的な処理は同様である。
　ステップＳ７１において、シャッター制御部２０２は、選択された下向きカメラ２５３ｂ、この場合８台の下向きカメラ２５３ｂをそれぞれ制御し、画像が撮影される。撮影された画像は、特徴マッチング部２０４に供給される。ステップＳ７２において、特徴マッチング部２０４は、特徴点を抽出する。特徴点としては、路面の光の輝度のパターンとすることができる。
　ステップＳ７３において、特徴点推定部２０３は、自己位置保持部２０６に保持されている周辺環境情報を読み込む。この周辺環境情報は、１フレーム前の画像から抽出された特徴点に関する情報が含まれている。特徴点推定部２０３は、ステップＳ７４において、選択された下向きカメラ２５３ｂで撮影された画像上では、どの位置に、１フレーム前の画像から抽出された特徴点が位置するかを推定する。
　ステップＳ７３とステップＳ７４において特徴点推定部２０３より実行される処理は、図４を参照して説明したように、１フレーム前の画像から抽出された特徴点は、現フレームの画像では、どこに位置しているかを推定（変換）する処理である。
　または、下向きカメラ２５３ｂが用いられる場合、搭載されている全ての下向きカメラ２５３ｂが用いられるため、結果的に自車の周囲３６０度の画像が撮影されることになる。換言すれば、全ての下向きカメラ２５３ｂにより撮影を行うことで、全方位カメラ２５２と同様に、自車の周囲３６０度の画像が撮影することができる。
　このことを利用し、全方位カメラ２５２の画像を処理する場合と同様に、図５、図６を参照して説明したように、８台の下向きカメラ２５３ｂの画像を処理することで、特徴点の移動方向を求めるのと同等に、対応ペアが求められるようにしても良い。
　ステップＳ７５において、特徴マッチング部２０４は、１フレーム前の画像から抽出された特徴点と現フレームの画像から抽出された特徴点との輝度勾配法でのマッチングを行うことで、対応ペアを検出する。
　下向きカメラ２５３ｂにより撮影された画像から抽出されるのは、輝度パターンであり、この輝度パターンを用いたマッチング処理には、輝度勾配法によるマッチングが適しているため、ここでは、輝度勾配法によるマッチング処理が行われるとして説明を続ける。
　なお、下向きカメラ２５３ｂにより撮影された画像を用いたマッチング処理として、輝度勾配法以外のマッチング手法を用いることも可能である。
　またここでは、輝度パターン（特徴点）が抽出され、マッチング処理が実行されるとして説明しているが、下向きカメラ２５３ｂにより撮影された画像を用いたマッチング処理に適した情報が抽出される。例えば点ではなく、特徴がある領域が抽出されるといったような場合も、本技術の適用範囲である。
　特徴マッチング部２０４により輝度勾配法によるマッチングが行われることで、特徴点の対応ペアの情報が生成され、自己位置推定部２０５に供給される。自己位置推定部２０５は、ステップＳ７６において、自己位置を推定する。自己位置の手法は、どのような手法であっても本技術に適用できる。
　このように、水平カメラ２５３ａが選択されたときの自己位置推定のアルゴリズム（特徴マッチング部２０４におけるマッチングの手法）と、下向きカメラ２５３ｂが選択されたときの自己位置推定のアルゴリズム（特徴マッチング部２０４におけるマッチングの手法）は、異なるアルゴリズムとされ、撮影される画像に適したアルゴリズムが適用されるように構成されている。よって、より精度良く自己位置推定を行うことが可能となる。
　またこのようにして、速度により、搭載されているカメラのうち、どのカメラを用いるかが選択される。また、特徴を抽出しやすいと判断される画像を撮影するカメラが選択される。このようなカメラの選択が行われることで、撮影にかかる消費電力を低減させることができ、撮影された画像を処理するための処理負荷を低減させることができる。
　また、消費電力や、処理負荷を低減しても、本技術によれば、自己位置推定の精度が低下するようなことはなく、精度良い自己位置推定を行うことができる。
　上記した説明においては、乗用車（自動車）に適用される場合を例としたが、本技術は電気自動車やハイブリッド電気自動車等の自動車の他、自動二輪車、自転車、電動車椅子、パーソナルモビリティ、飛行機、船舶、ロボット等の移動体に適用可能である。
　＜コンピュータの構成例＞
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択する選択部と、
　前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う自己位置推定部と
　を備える制御装置。
（２）
　前記選択部は、前記速度が、所定の速度以上である場合、前記水平カメラを選択し、前記所定の速度以上ではない場合、前記下向きカメラを選択する
　前記（１）に記載の制御装置。
（３）
　前記選択部は、複数の前記水平カメラのうち、特徴を抽出しやすい領域を撮影すると予測される水平カメラを選択する
　前記（２）に記載の制御装置。
（４）
　前記特徴を抽出しやすい領域を設定する設定部と、
　自己の周囲の画像を撮影する全方位カメラと
　をさらに備え、
　前記設定部は、前記全方位カメラで撮影される画像を、前記水平カメラの台数で分割し、分割されたそれぞれの画像内から抽出された特徴点が時間経過により移動した方向と、自己位置推定による推定結果に基づく自己の移動方向が適合する特徴点の数が多い領域を撮影する前記水平カメラを選択する
　前記（３）に記載の制御装置。
（５）
　前記選択部により前記水平カメラが選択された場合における自己位置推定の第１のアルゴリズムと、前記選択部により前記下向きカメラが選択された場合における自己位置推定の第２のアルゴリズムは、異なるアルゴリズムである
　前記（１）乃至（４）のいずれかに記載の制御装置。
（６）
　前記第１のアルゴリズムは、ブロックマッチングであり、前記第２のアルゴリズムは、輝度勾配法である
　前記（５）に記載の制御装置。
（７）
　現時点より前の時点で、前記水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている前記水平カメラで撮影した場合の位置を推定する
　前記（１）乃至（６）のいずれかに記載の制御装置。
（８）
　制御装置が、
　水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択処理し、
　前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定処理を行う
　制御方法。
（９）
　コンピュータに、
　水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択し、
　前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う
　処理を実行させるためのプログラム。
　１００　車両制御システム，　１０１　入力部，　１０２　データ取得部，　１０３　通信部，　１０４　車内機器，　１０５　出力制御部，　１０６　出力部，　１０７　駆動系制御部，　１０８　駆動系システム，　１０９　ボディ系制御部，　１１０　ボディ系システム，　１１１　記憶部，　１１２　自動運転制御部，　１２１　通信ネットワーク，　１３１　検出部，　１３２　自己位置推定部，　１３３　状況分析部，　１３４　計画部，　１３５　動作制御部，　１４１　車外情報検出部，　１４２　車内情報検出部，　１４３　車両状態検出部，　１５１　マップ解析部，　１５２　交通ルール認識部，　１５３　状況認識部，　１５４　状況予測部，　１６１　ルート計画部，　１６２　行動計画部，　１６３　動作計画部，　１７１　緊急事態回避部，　１７２　加減速制御部，　１７３　方向制御部，　２０１　カメラ選択判定部，　２０２　シャッター制御部，　２０３　特徴点推定部，　２０４　特徴マッチング部，　２０５　自己位置推定部，　２０６　自己位置保持部，　２０７　動き予測部，　２０８　特徴マッチング部，　２０９　全方位情報保持部，　２１０　領域重み判定部，　２５１　制御部，　２５２　全方位カメラ，　２５３　周辺カメラ，　３０１　画像，　３１１　特徴点，　３５１　画像，　３５２　画像，　３７１　特徴点

Claims (9)

  1. 　水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択する選択部と、
    　前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う自己位置推定部と
    　を備える制御装置。
  2. 　前記選択部は、前記速度が、所定の速度以上である場合、前記水平カメラを選択し、前記所定の速度以上ではない場合、前記下向きカメラを選択する
    　請求項１に記載の制御装置。
  3. 　前記選択部は、複数の前記水平カメラのうち、特徴を抽出しやすい領域を撮影すると予測される水平カメラを選択する
    　請求項２に記載の制御装置。
  4. 　前記特徴を抽出しやすい領域を設定する設定部と、
    　自己の周囲の画像を撮影する全方位カメラと
    　をさらに備え、
    　前記設定部は、前記全方位カメラで撮影される画像を、前記水平カメラの台数で分割し、分割されたそれぞれの画像内から抽出された特徴点が時間経過により移動した方向と、自己位置推定による推定結果に基づく自己の移動方向が適合する特徴点の数が多い領域を撮影する前記水平カメラを選択する
    　請求項３に記載の制御装置。
  5. 　前記選択部により前記水平カメラが選択された場合における自己位置推定の第１のアルゴリズムと、前記選択部により前記下向きカメラが選択された場合における自己位置推定の第２のアルゴリズムは、異なるアルゴリズムである
    　請求項１に記載の制御装置。
  6. 　前記第１のアルゴリズムは、ブロックマッチングであり、前記第２のアルゴリズムは、輝度勾配法である
    　請求項５に記載の制御装置。
  7. 　現時点より前の時点で、前記水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている前記水平カメラで撮影した場合の位置を推定する
    　請求項１に記載の制御装置。
  8. 　制御装置が、
    　水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択処理し、
    　前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定処理を行う
    　制御方法。
  9. 　コンピュータに、
    　水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択し、
    　前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う
    　処理を実行させるためのプログラム。
PCT/JP2019/010760 2018-03-29 2019-03-15 制御装置、制御方法、並びにプログラム WO2019188391A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980028113.3A CN112106003A (zh) 2018-03-29 2019-03-15 控制器、控制方法和程序
US17/040,059 US11501461B2 (en) 2018-03-29 2019-03-15 Controller, control method, and program
JP2020510642A JP7180670B2 (ja) 2018-03-29 2019-03-15 制御装置、制御方法、並びにプログラム
DE112019001659.8T DE112019001659T5 (de) 2018-03-29 2019-03-15 Steuervorrichtung, steuerverfahren und programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-063750 2018-03-29
JP2018063750 2018-03-29

Publications (1)

Publication Number Publication Date
WO2019188391A1 true WO2019188391A1 (ja) 2019-10-03

Family

ID=68059922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010760 WO2019188391A1 (ja) 2018-03-29 2019-03-15 制御装置、制御方法、並びにプログラム

Country Status (5)

Country Link
US (1) US11501461B2 (ja)
JP (1) JP7180670B2 (ja)
CN (1) CN112106003A (ja)
DE (1) DE112019001659T5 (ja)
WO (1) WO2019188391A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022034735A1 (ja) * 2020-08-11 2022-02-17 日立Astemo株式会社 位置推定システム
WO2022176409A1 (ja) * 2021-02-19 2022-08-25 ソニーグループ株式会社 位置推定システム、移動体、位置推定方法及び記録媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7259356B2 (ja) * 2019-01-28 2023-04-18 スズキ株式会社 制御装置及び電動車両
JP2021043486A (ja) * 2019-09-06 2021-03-18 株式会社東芝 位置推定装置
KR20210080717A (ko) * 2019-12-20 2021-07-01 주식회사 만도 운전자 보조 장치 및 운전자 보조 방법
US11763569B2 (en) * 2021-03-24 2023-09-19 Denso International America, Inc. System for controlling a camera supporting human review of sensor information
JP2024060983A (ja) * 2022-10-20 2024-05-07 三菱ロジスネクスト株式会社 位置推定装置、フォークリフト、位置推定方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016197083A (ja) * 2015-04-06 2016-11-24 ソニー株式会社 制御装置および方法、並びにプログラム
WO2017057052A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430968B2 (en) * 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016197083A (ja) * 2015-04-06 2016-11-24 ソニー株式会社 制御装置および方法、並びにプログラム
WO2017057052A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022034735A1 (ja) * 2020-08-11 2022-02-17 日立Astemo株式会社 位置推定システム
JPWO2022034735A1 (ja) * 2020-08-11 2022-02-17
JP7402993B2 (ja) 2020-08-11 2023-12-21 日立Astemo株式会社 位置推定システム
WO2022176409A1 (ja) * 2021-02-19 2022-08-25 ソニーグループ株式会社 位置推定システム、移動体、位置推定方法及び記録媒体

Also Published As

Publication number Publication date
US20210027486A1 (en) 2021-01-28
JP7180670B2 (ja) 2022-11-30
US11501461B2 (en) 2022-11-15
CN112106003A (zh) 2020-12-18
JPWO2019188391A1 (ja) 2021-04-01
DE112019001659T5 (de) 2020-12-31

Similar Documents

Publication Publication Date Title
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US11531354B2 (en) Image processing apparatus and image processing method
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP2017068589A (ja) 情報処理装置、情報端末、及び、情報処理方法
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20200263994A1 (en) Information processing apparatus, information processing method, program, and moving body
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2020031812A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
JP2022034086A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2019150918A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US20220292296A1 (en) Information processing device, information processing method, and program
US20220277556A1 (en) Information processing device, information processing method, and program
US20220276655A1 (en) Information processing device, information processing method, and program
WO2020213275A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN114503177A (zh) 信息处理装置、信息处理系统和信息处理方法
JPWO2020036043A1 (ja) 情報処理装置と情報処理方法とプログラム
WO2021193103A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230260254A1 (en) Information processing device, information processing method, and program
CA3134088A1 (en) Information processing method, program, and information processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19776594

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020510642

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19776594

Country of ref document: EP

Kind code of ref document: A1