WO2022014327A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2022014327A1
WO2022014327A1 PCT/JP2021/024671 JP2021024671W WO2022014327A1 WO 2022014327 A1 WO2022014327 A1 WO 2022014327A1 JP 2021024671 W JP2021024671 W JP 2021024671W WO 2022014327 A1 WO2022014327 A1 WO 2022014327A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
feature information
information
tracking
time
Prior art date
Application number
PCT/JP2021/024671
Other languages
English (en)
French (fr)
Inventor
英明 山本
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2022536234A priority Critical patent/JPWO2022014327A1/ja
Priority to EP21843523.8A priority patent/EP4140815A4/en
Priority to CN202180048608.XA priority patent/CN115777116A/zh
Priority to US17/928,500 priority patent/US20230206596A1/en
Publication of WO2022014327A1 publication Critical patent/WO2022014327A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • This technology relates to information processing devices, information processing methods, and programs, and in particular, to information processing devices, information processing methods, and programs designed to improve tracking performance.
  • Patent Document 1 discloses a parking position recognition device that obtains a parking position of a vehicle by collating a parking position recognized in advance with a license plate using a vehicle pattern feature.
  • This technology was made in view of such a situation, and makes it possible to improve the tracking performance.
  • the information processing device of the present technology is an information processing device provided with a feature information extraction unit that extracts feature information of an object in units of frame images, and a tracking processing unit that tracks the object in the frame image using the feature information.
  • the information processing method of the present technology is an information processing method in which an information processing apparatus extracts feature information of an object in units of frame images and uses the feature information to track the object in the frame image.
  • the program of the present technology is a program for causing a computer to extract feature information of an object in units of frame images and execute a process of tracking the object in the frame image using the feature information.
  • the feature information of an object is extracted in units of frame images, and the object is tracked in the frame image using the feature information.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11 which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and a driving support unit. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • a processor 21 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and a driving support unit. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • DMS Driver Monitoring System
  • HMI Human Machine Interface
  • the communication network 41 is an in-vehicle communication network compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It is composed of buses and buses.
  • each part of the vehicle control system 11 may be directly connected by, for example, short-range wireless communication (NFC (Near Field Communication)), Bluetooth (registered trademark), or the like without going through the communication network 41.
  • NFC Near Field Communication
  • Bluetooth registered trademark
  • the description of the communication network 41 shall be omitted.
  • the processor 21 and the communication unit 22 communicate with each other via the communication network 41, it is described that the processor 21 and the communication unit 22 simply communicate with each other.
  • the processor 21 is composed of various processors such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and an ECU (Electronic Control Unit), for example.
  • the processor 21 controls the entire vehicle control system 11.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data.
  • the communication unit 22 receives from the outside a program for updating the software for controlling the operation of the vehicle control system 11, map information, traffic information, information around the vehicle 1, and the like. ..
  • the communication unit 22 transmits information about the vehicle 1 (for example, data indicating the state of the vehicle 1, recognition result by the recognition unit 73, etc.), information around the vehicle 1, and the like to the outside.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as eCall.
  • the communication method of the communication unit 22 is not particularly limited. Moreover, a plurality of communication methods may be used.
  • the communication unit 22 wirelessly communicates with the equipment in the vehicle by a communication method such as wireless LAN, Bluetooth (registered trademark), NFC, WUSB (WirelessUSB).
  • a communication method such as wireless LAN, Bluetooth (registered trademark), NFC, WUSB (WirelessUSB).
  • the communication unit 22 may use USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High) via a connection terminal (and a cable if necessary) (not shown).
  • -Wired communication with devices in the car by communication method such as (definitionLink).
  • the device in the vehicle is, for example, a device that is not connected to the communication network 41 in the vehicle.
  • mobile devices and wearable devices possessed by passengers such as drivers, information devices brought into a vehicle and temporarily installed, and the like are assumed.
  • the communication unit 22 is a base station using a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (DedicatedShortRangeCommunications), etc.
  • a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (DedicatedShortRangeCommunications), etc.
  • a server or the like existing on an external network for example, the Internet, a cloud network, or a network peculiar to a business operator
  • the communication unit 22 uses P2P (Peer To Peer) technology to communicate with a terminal existing in the vicinity of the vehicle (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal). ..
  • the communication unit 22 performs V2X communication.
  • V2X communication is, for example, vehicle-to-vehicle (Vehicle to Vehicle) communication with other vehicles, road-to-vehicle (Vehicle to Infrastructure) communication with roadside devices, and home (Vehicle to Home) communication.
  • And pedestrian-to-vehicle (Vehicle to Pedestrian) communication with terminals owned by pedestrians.
  • the communication unit 22 receives an electromagnetic wave transmitted by a vehicle information and communication system (VICS (registered trademark) (Vehicle Information and Communication System)) such as a radio wave beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS vehicle Information and Communication System
  • the map information storage unit 23 stores a map acquired from the outside and a map created by the vehicle 1.
  • the map information storage unit 23 stores a three-dimensional high-precision map, a global map that is less accurate than the high-precision map and covers a wide area, and the like.
  • the high-precision map is, for example, a dynamic map, a point cloud map, a vector map (also referred to as an ADAS (Advanced Driver Assistance System) map), or the like.
  • the dynamic map is, for example, a map composed of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided from an external server or the like.
  • the point cloud map is a map composed of point clouds (point cloud data).
  • a vector map is a map in which information such as lanes and signal positions is associated with a point cloud map.
  • the point cloud map and the vector map may be provided from, for example, an external server or the like, and the vehicle 1 is used as a map for matching with a local map described later based on the sensing result by the radar 52, LiDAR 53, or the like. It may be created and stored in the map information storage unit 23. Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, relating to the planned route on which the vehicle 1 is about to travel is acquired from the server or the like.
  • the GNSS receiving unit 24 receives the GNSS signal from the GNSS satellite and supplies it to the traveling support / automatic driving control unit 29.
  • the external recognition sensor 25 includes various sensors used for recognizing the external situation of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) 53, and an ultrasonic sensor 54.
  • the number of cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 is arbitrary, and examples of sensing areas of each sensor will be described later.
  • the camera 51 for example, a camera of any shooting method such as a ToF (Time of Flight) camera, a stereo camera, a monocular camera, an infrared camera, etc. is used as needed.
  • a ToF (Time of Flight) camera a stereo camera
  • a monocular camera a monocular camera
  • an infrared camera etc.
  • the external recognition sensor 25 includes an environment sensor for detecting weather, weather, brightness, and the like.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, an illuminance sensor, and the like.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information in the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the in-vehicle sensor 26 are arbitrary.
  • the in-vehicle sensor 26 includes a camera, a radar, a seating sensor, a steering wheel sensor, a microphone, a biological sensor, and the like.
  • the camera for example, a camera of any shooting method such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera can be used.
  • the biosensor is provided on, for example, a seat, a steering wheel, or the like, and detects various biometric information of a occupant such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the vehicle sensor 27 are arbitrary.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)).
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the operation amount of the accelerator pedal, and a brake sensor that detects the operation amount of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip ratio sensor that detects tire slip ratio, and a wheel speed that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining amount and temperature of the battery, and an impact sensor that detects an impact from the outside.
  • the recording unit 28 includes, for example, a magnetic storage device such as a ROM (ReadOnlyMemory), a RAM (RandomAccessMemory), an HDD (Hard DiscDrive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the recording unit 28 records various programs, data, and the like used by each unit of the vehicle control system 11.
  • the recording unit 28 records a rosbag file including messages sent and received by the ROS (Robot Operating System) in which an application program related to automatic driving operates.
  • the recording unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and records information on the vehicle 1 before and after an event such as an accident.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support / automatic driving control unit 29 controls the driving support and automatic driving of the vehicle 1.
  • the driving support / automatic driving control unit 29 includes an analysis unit 61, an action planning unit 62, and an motion control unit 63.
  • the analysis unit 61 analyzes the vehicle 1 and the surrounding conditions.
  • the analysis unit 61 includes a self-position estimation unit 71, a sensor fusion unit 72, and a recognition unit 73.
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimation unit 71 generates a local map based on the sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map with the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel-to-axle.
  • the local map is, for example, a three-dimensional high-precision map created by using a technology such as SLAM (Simultaneous Localization and Mapping), an occupied grid map (OccupancyGridMap), or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupied grid map is a map that divides a three-dimensional or two-dimensional space around the vehicle 1 into a grid (grid) of a predetermined size and shows the occupied state of an object in grid units.
  • the occupied state of an object is indicated by, for example, the presence or absence of an object and the probability of existence.
  • the local map is also used, for example, in the detection process and the recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the GNSS signal and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs a sensor fusion process for obtaining new information by combining a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52). .. Methods for combining different types of sensor data include integration, fusion, and association.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on the information from the external recognition sensor 25, the information from the self-position estimation unit 71, the information from the sensor fusion unit 72, and the like. ..
  • the recognition unit 73 performs detection processing, recognition processing, and the like of objects around the vehicle 1.
  • the object detection process is, for example, a process of detecting the presence / absence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing an attribute such as an object type or identifying a specific object.
  • the detection process and the recognition process are not always clearly separated and may overlap.
  • the recognition unit 73 detects an object around the vehicle 1 by performing clustering that classifies the point cloud based on sensor data such as LiDAR or radar into a point cloud. As a result, the presence / absence, size, shape, and position of an object around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of an object around the vehicle 1 by performing tracking that follows the movement of a mass of point clouds classified by clustering. As a result, the velocity and the traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 recognizes the type of an object around the vehicle 1 by performing an object recognition process such as semantic segmentation on the image data supplied from the camera 51.
  • the object to be detected or recognized is assumed to be, for example, a vehicle, a person, a bicycle, an obstacle, a structure, a road, a traffic light, a traffic sign, a road sign, or the like.
  • the recognition unit 73 recognizes the traffic rules around the vehicle 1 based on the map stored in the map information storage unit 23, the estimation result of the self-position, and the recognition result of the object around the vehicle 1. I do.
  • this processing for example, the position and state of a signal, the contents of traffic signs and road markings, the contents of traffic regulations, the lanes in which the vehicle can travel, and the like are recognized.
  • the recognition unit 73 performs recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized for example, weather, temperature, humidity, brightness, road surface condition, and the like are assumed.
  • the action planning unit 62 creates an action plan for the vehicle 1. For example, the action planning unit 62 creates an action plan by performing route planning and route tracking processing.
  • route planning is a process of planning a rough route from the start to the goal.
  • This route plan is called a track plan, and in the route planned by the route plan, the track generation (Local) that can proceed safely and smoothly in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1 is taken into consideration.
  • the processing of path planning is also included.
  • Route tracking is a process of planning an operation for safely and accurately traveling on a route planned by route planning within a planned time. For example, the target speed and the target angular velocity of the vehicle 1 are calculated.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to realize the action plan created by the action plan unit 62.
  • the motion control unit 63 controls the steering control unit 81, the brake control unit 82, and the drive control unit 83 so that the vehicle 1 travels on the track calculated by the track plan. Take control.
  • the motion control unit 63 performs coordinated control for the purpose of realizing ADAS functions such as collision avoidance or impact mitigation, follow-up running, vehicle speed maintenance running, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the motion control unit 63 performs coordinated control for the purpose of automatic driving or the like that autonomously travels without being operated by the driver.
  • the DMS 30 performs driver authentication processing, driver status recognition processing, and the like based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31.
  • As the state of the driver to be recognized for example, physical condition, arousal degree, concentration degree, fatigue degree, line-of-sight direction, drunkenness degree, driving operation, posture and the like are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and recognition processing for the status of the passenger. Further, for example, the DMS 30 may perform the recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 in the vehicle. As the situation inside the vehicle to be recognized, for example, temperature, humidity, brightness, odor, etc. are assumed.
  • the HMI 31 is used for inputting various data and instructions, generates an input signal based on the input data and instructions, and supplies the input signal to each part of the vehicle control system 11.
  • the HMI 31 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation by voice or gesture.
  • the HMI 31 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device compatible with the operation of the vehicle control system 11.
  • the HMI 31 performs output control for generating and outputting visual information, auditory information, and tactile information for the passenger or the outside of the vehicle, and for controlling output contents, output timing, output method, and the like.
  • the visual information is, for example, information shown by an image such as an operation screen, a state display of the vehicle 1, a warning display, a monitor image showing a situation around the vehicle 1, or light.
  • Auditory information is, for example, information indicated by voice such as guidance, warning sounds, and warning messages.
  • the tactile information is information given to the passenger's tactile sensation by, for example, force, vibration, movement, or the like.
  • a display device As a device for outputting visual information, for example, a display device, a projector, a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. are assumed.
  • the display device is a device that displays visual information in the occupant's field of view, such as a head-up display, a transmissive display, and a wearable device having an AR (Augmented Reality) function, in addition to a device having a normal display. You may.
  • an audio speaker for example, an audio speaker, headphones, earphones, etc. are assumed.
  • a haptics element using haptics technology or the like As a device that outputs tactile information, for example, a haptics element using haptics technology or the like is assumed.
  • the haptic element is provided on, for example, a steering wheel, a seat, or the like.
  • the vehicle control unit 32 controls each part of the vehicle 1.
  • the vehicle control unit 32 includes a steering control unit 81, a brake control unit 82, a drive control unit 83, a body system control unit 84, a light control unit 85, and a horn control unit 86.
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel, electric power steering, and the like.
  • the steering control unit 81 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal and the like, ABS (Antilock Brake System) and the like.
  • the brake control unit 82 includes, for example, a control unit such as an ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1.
  • the drive system includes, for example, a drive force generator for generating a drive force of an accelerator pedal, an internal combustion engine, a drive motor, or the like, a drive force transmission mechanism for transmitting the drive force to the wheels, and the like.
  • the drive control unit 83 includes, for example, a control unit such as an ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an airbag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a control unit such as an ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls various light states of the vehicle 1. As the light to be controlled, for example, a headlight, a backlight, a fog light, a turn signal, a brake light, a projection, a bumper display, or the like is assumed.
  • the light control unit 85 includes a control unit such as an ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a control unit such as an ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 2 is a diagram showing an example of a sensing region by a camera 51, a radar 52, a LiDAR 53, and an ultrasonic sensor 54 of the external recognition sensor 25 of FIG.
  • the sensing area 101F and the sensing area 101B show an example of the sensing area of the ultrasonic sensor 54.
  • the sensing region 101F covers the periphery of the front end of the vehicle 1.
  • the sensing region 101B covers the periphery of the rear end of the vehicle 1.
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking support of the vehicle 1.
  • the sensing area 102F to the sensing area 102B show an example of the sensing area of the radar 52 for a short distance or a medium distance.
  • the sensing area 102F covers a position farther than the sensing area 101F in front of the vehicle 1.
  • the sensing region 102B covers the rear of the vehicle 1 to a position farther than the sensing region 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1.
  • the sensing region 102R covers the rear periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 102F is used, for example, for detecting a vehicle, a pedestrian, or the like existing in front of the vehicle 1.
  • the sensing result in the sensing region 102B is used, for example, for a collision prevention function behind the vehicle 1.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, for detecting an object in a blind spot on the side of the vehicle 1.
  • the sensing area 103F to the sensing area 103B show an example of the sensing area by the camera 51.
  • the sensing area 103F covers a position farther than the sensing area 102F in front of the vehicle 1.
  • the sensing region 103B covers the rear of the vehicle 1 to a position farther than the sensing region 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1.
  • the sensing region 103R covers the periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 103F is used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support system, and the like.
  • the sensing result in the sensing area 103B is used, for example, for parking assistance, a surround view system, and the like.
  • the sensing results in the sensing area 103L and the sensing area 103R are used, for example, in a surround view system or the like.
  • the sensing area 104 shows an example of the sensing area of LiDAR53.
  • the sensing region 104 covers a position far from the sensing region 103F in front of the vehicle 1.
  • the sensing area 104 has a narrower range in the left-right direction than the sensing area 103F.
  • the sensing result in the sensing area 104 is used for, for example, emergency braking, collision avoidance, pedestrian detection, and the like.
  • the sensing area 105 shows an example of the sensing area of the radar 52 for a long distance.
  • the sensing region 105 covers a position farther than the sensing region 104 in front of the vehicle 1.
  • the sensing area 105 has a narrower range in the left-right direction than the sensing area 104.
  • the sensing result in the sensing region 105 is used, for example, for ACC (Adaptive Cruise Control) or the like.
  • each sensor may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may be made to sense the side of the vehicle 1, or the LiDAR 53 may be made to sense the rear of the vehicle 1.
  • the vehicle In tracking, it is often determined whether or not the vehicle is the same vehicle based on the estimation result of the position of the recognized vehicle in the camera coordinate system or the three-dimensional coordinate system. However, the vehicle is not always recognized correctly, and the estimated position of the vehicle contains an error, which causes ID switching.
  • FIG. 3 is a block diagram showing a configuration example of an information processing apparatus to which the present technology is applied.
  • FIG. 3 shows the camera 210 and the information processing device 230.
  • the information processing device 230 is configured as an example of a driving support device using an in-vehicle camera.
  • the information processing device 230 recognizes and tracks an object around the vehicle 1 in a camera image which is a moving image obtained by the camera 210 mounted on the vehicle 1.
  • the camera 210 corresponds to the camera 51 of FIG. 1 and is configured as a monocular camera for photographing the front and rear of the vehicle 1.
  • the camera 210 may be provided, for example, on the roof (outside the ceiling) of the vehicle 1 and may be configured as a 360-degree camera that captures the entire circumference of the vehicle 1.
  • the information processing device 230 corresponds to, for example, the analysis unit 61 of FIG. 1, a signal processing unit 231, a vehicle recognition unit 232, a distance / speed calculation unit 233, a rectangular area cutting unit 234, a feature information extraction unit 235, and a tracking processing unit. It is equipped with 236.
  • the signal processing unit 231 performs various signal processing on each frame image constituting the camera image (RAW data) obtained by the camera 210, and sequentially supplies the signal processing unit 232 to the vehicle recognition unit 232 and the rectangular area cutting unit 234.
  • the vehicle recognition unit 232 recognizes an object around the vehicle 1, specifically, a vehicle traveling around the vehicle 1 by performing an object recognition process on each frame image from the signal processing unit 231.
  • the number of vehicles recognized in one frame image is not limited to one, and may be a plurality. Coordinate information representing the position and size of the recognized rectangular frame surrounding the vehicle is supplied to the distance / speed calculation unit 233 and the rectangular area cutting unit 234.
  • the distance / speed calculation unit 233 calculates the distance between the recognized vehicle and the own vehicle (vehicle 1) and the relative speed of the recognized vehicle based on the coordinate information from the vehicle recognition unit 232. For example, the distance / speed calculation unit 233 obtains the distance to the recognized vehicle based on the sensing result of the radar 52 or LiDAR 53, and calculates the relative speed of the recognized vehicle using the distance and the coordinate information. .. The distance information and the speed information obtained by the calculation are added to the coordinate information and supplied to the tracking processing unit 236.
  • the rectangular area cutting unit 234 cuts out a rectangular area (recognized vehicle) in the rectangular frame represented by the coordinate information from the vehicle recognition unit 232 from each frame image from the signal processing unit 231.
  • the vehicle image which is an image of the cut out rectangular region, is supplied to the feature information extraction unit 235.
  • the feature information extraction unit 235 extracts the vehicle feature information in the vehicle image from the rectangular area cutout unit 234 in frame image units. Specifically, the feature information extraction unit 235 extracts the feature information of the vehicle based on the sensor data obtained by one or a plurality of sensors.
  • the sensor data includes at least one of the frame image obtained by the camera 210 and the point cloud data obtained by the radar 52 or the LiDAR 53.
  • the extracted feature information is supplied to the tracking processing unit 236.
  • the tracking processing unit 236 estimates the position of the vehicle to be tracked for each frame image based on the coordinate information from the distance / speed calculation unit 233, so that the camera image (frame image taken in time series). Track the vehicle in.
  • the tracking processing unit 236 tracks the vehicle in the camera image using the feature information from the feature information extraction unit 235. That is, the tracking processing unit 236 tracks the vehicle based on the comparison result of the feature information of the frame image of the current time (current frame) and the frame image of the time before the current frame (one before) (previous frame). do.
  • the tracking processing unit 236 tracks the vehicle by determining that the vehicle in the current frame is the same as the vehicle in the front frame.
  • the feature information of the current frame and the previous frame are compared, and when the score indicating the degree of matching is equal to or higher than a predetermined threshold value, it is determined that the feature information of the current frame and the previous frame match. More specifically, a plurality of feature information is extracted from the vehicle image of each frame image, and when the sum of the scores for the plurality of feature information is equal to or more than a predetermined threshold value, the feature information of the current frame and the previous frame is obtained. It is determined that they match.
  • FIG. 4 is a diagram showing an example of scoring feature information.
  • the number of the license plate of the vehicle, the position of the license plate, and the position of the radar detection point in the vehicle image are extracted as the feature information.
  • the numbers and positions of the license plate are extracted by recognizing the license plate as a characteristic area (characteristic area) of the vehicle in the vehicle image cut out from the camera image which is one of the sensor data.
  • the position of the radar detection point is extracted from the point cloud data reflected by the vehicle among the point cloud data obtained by the radar 52, which is one of the sensor data.
  • the score when the current frame and the previous frame match is preset.
  • the score when the numbers on the license plates match between the current frame and the previous frame is 5, and the score when the positions of the license plates match is 1. Further, regarding the position of the radar detection point, the value obtained by multiplying the ratio of the number of matching numbers in the current frame and the previous frame by 5 is taken as the score.
  • the total score of each feature information is compared with the threshold value of 5, and when the total score of the feature information is 5 or more, it is determined that the feature information of the current frame and the previous frame match. It is determined that the vehicle shown in the vehicle image of the current frame and the vehicle image of the previous frame are the same.
  • FIG. 5 is a diagram showing an example of the same determination of vehicles.
  • the vehicle recognized in the frame image at a certain time t-1 is tracked by a rectangular frame 251 (hereinafter referred to as a bounding box 251 or the like) surrounding the vehicle.
  • the bounding box 251 the license plate N251 is recognized as a characteristic area of the vehicle, and a plurality of (specifically, seven) radar detection points D251 are acquired as point cloud data.
  • the position of the license plate and the position of the radar detection point are represented as the coordinates of the pq coordinate system set with the lower left vertex of the bounding box 251 as the origin based on the camera coordinate system. ..
  • the vehicle in the bounding box 261 is a vehicle in the bounding box 251 at time t-1
  • the vehicle in the bounding box 262 is a vehicle different from the vehicle in the bounding box 251 at time t-1. It shall be.
  • the radio waves emitted by the radar are generally more easily reflected and detected by a curved object such as a spherical surface than by an object having a flat surface.
  • a curved object such as a spherical surface
  • the latter reflects more radio waves emitted by the radar. That is, when irradiating a vehicle with a radio wave by a radar, the position of reflection differs depending on the vehicle type of the vehicle, so that the position of the radar detection point can be used for the same determination of the vehicle.
  • the position of the radar detection point depends on the positional relationship (angle and distance) between the own vehicle and the vehicle to be tracked, even if there are multiple vehicles of the same vehicle type, the same determination of the vehicle is performed. It will be useful.
  • the position of the radar detection point hardly changes between the frame image at time t-1 and the frame image at time t.
  • the reflection intensity of the radio wave irradiated by the radar fluctuates in the vicinity of the detection threshold value
  • the position of the radar detection point at time t-1 changes at time t as in the above example. Or it will not be detected.
  • FIG. 6 is a diagram showing another example of the same determination of the vehicle.
  • the vehicle recognized in the frame image at a certain time t-1 is tracked by the bounding box 271 surrounding the vehicle.
  • the license plate N271 is recognized as a characteristic area of the vehicle, and a plurality of (specifically, five) radar detection points D271 are acquired as point cloud data.
  • the vehicle in the bounding box 281 is the vehicle in the bounding box 271 at time t-1
  • the vehicle in the bounding box 282 is a different vehicle from the vehicle in the bounding box 271 at time t-1. It shall be.
  • the same determination of the vehicle can be made correctly by using the feature information of the current frame and the previous frame.
  • FIG. 7 is a diagram showing an example of a characteristic region.
  • the front grill G291, the right front light R291, the left front light L291, and the emblem E291 are recognized as the characteristic areas of the vehicle.
  • p4, q4) and the position (p5, q5) of the emblem E291 are extracted as feature information.
  • the position of the feature area in the pq coordinate system is shown by the coordinates of the lower left vertex of the rectangular frame representing the feature area, but is shown by the coordinates of other points in the rectangular frame. May be good.
  • each size and shape are extracted as feature information based on the width and height of the rectangular frame representing the front grill G291, the right front light R291, the left front light L291, and the emblem E291 recognized as the feature area. May be done.
  • the parts in the front part of the vehicle are recognized as the feature area, but the parts in the rear part of the vehicle may be recognized as the feature area.
  • FIG. 8 is a diagram showing an example of point cloud data.
  • a plurality of LiDAR point cloud data D291 are acquired as point cloud data in the bounding box 291 in which the vehicle is recognized.
  • the positions of each of the LiDAR point cloud data D291 in the pq coordinate system set with respect to the bounding box 291 are extracted as feature information, and the matching ratio between the current frame and the previous frame is obtained. Be done.
  • the LiDAR point cloud data D291 since the LiDAR point cloud data D291 has position information in the three-dimensional coordinate system, the three-dimensional coordinates of the LiDAR point cloud data D291 are extracted as feature information and are between the current frame and the previous frame. The matching ratio may be obtained. In this case, since the position in the depth (distance) direction changes for each frame image, the distance obtained by multiplying the speed of the vehicle to be tracked by the time for one frame is added to the three-dimensional coordinates in the previous frame. The coordinates in the current frame predicted by this will be used for comparison.
  • the reflection intensity of each of the LiDAR point cloud data D291 may be extracted as feature information, and a matching ratio between the current frame and the previous frame may be obtained.
  • the above-mentioned feature information can be used in combination according to, for example, a sensor mounted on the vehicle 1.
  • the feature information extraction process is an arithmetic process that targets only the inside of the bounding box in which the vehicle is recognized, the amount of arithmetic can be reduced as compared with the arithmetic process that targets the entire image, and is real-time. Suitable for processing.
  • Vehicle tracking process flow Next, the flow of the vehicle tracking process by the information processing apparatus 230 will be described with reference to the flowchart of FIG. The process of FIG. 9 is repeated for each frame image constituting the camera image.
  • step S11 the signal processing unit 231 performs various signal processing on the frame image of the camera image obtained by the camera 210.
  • step S12 the vehicle recognition unit 232 recognizes the vehicle traveling around the vehicle 1 by performing object recognition processing on the frame image subjected to the signal processing, and obtains the recognized coordinate information of each vehicle. get.
  • object recognition processing for the frame image but also the object recognition process based on the sensor fusion process may be performed.
  • step S13 the distance / speed calculation unit 233 calculates the distance to the recognized vehicle and the relative speed of the recognized vehicle based on the coordinate information of the recognized vehicle. The distance information and velocity information obtained by the calculation are added to the coordinate information.
  • step S14 the rectangular area cutting unit 234 acquires a vehicle image by cutting out a rectangular area based on the recognized coordinate information of the vehicle from the frame image subjected to signal processing.
  • step S15 the feature information extraction unit 235 extracts the feature information of the vehicle from the vehicle image cut out from the frame image.
  • step S16 the tracking processing unit 236 tracks the vehicle in the camera image composed of the frame image by using the coordinate information to which the distance information and the speed information are added and the feature information extracted from the vehicle image.
  • the process P12 is a vehicle recognition process in the frame image at time t, which is executed by the vehicle recognition unit 232.
  • the coordinate information including the bounding box ID (hereinafter referred to as BBoxID) and the BBox coordinates is acquired.
  • the BBox ID is an ID unique to the bounding box of each vehicle recognized in the frame image, and is assigned to each bounding box for each frame image at each time.
  • the BBox coordinates represent the position (coordinates) of the bounding box in the uv coordinate system set with the lower left vertex of the frame image as the origin, and the width and height.
  • the position of the bounding box 311 is represented by the coordinates (u1, v1) of the lower left vertex of the bounding box 311, and the width and height of the bounding box 311 are the horizontal length w and the vertical length of the bounding box 311. It is represented by the length h.
  • the coordinate information of the bounding box 311 is expressed as "BBox ID: B1, BBox coordinates: (u1, v1, w, h)".
  • the process P13 is a process of calculating the distance and relative speed of the vehicle recognized in the frame image at time t, which is executed by the distance / speed calculation unit 233.
  • the process P13 acquires coordinate information to which distance information and velocity information are added.
  • the distance information represents the position (coordinates) of the vehicle in the xy coordinate system with the own vehicle as the origin, the left-right direction as the x-axis, and the depth direction as the y-axis, and the speed information indicates the relative speed of the vehicle with respect to the own vehicle. show.
  • the distance information of the distance: (x1, y1) and the speed information of the relative speed: v1 are added to the coordinate information of the BBox ID: B1.
  • the relative speed v of the vehicle 331 with respect to the own vehicle is estimated.
  • the relative speed of the vehicle 331 is the speed v (m) at which the vehicle 331 approaches the vehicle 1 from the position of the vehicle 331 at the time t-1 at ⁇ t seconds before the time t until the distance from the vehicle 331 becomes dm at the time t. / S).
  • the apparent size change rate S can be obtained as the change rate of the size of the bounding box set in the camera image.
  • the derivation of the above-mentioned calculation formula for the relative velocity v will be described.
  • the actual height of the vehicle 331 is H (m)
  • the distance between the camera 210 and the projection surface of the frame image is a (m)
  • the viewing angle of the bounding box at time t-1 is ⁇ 1
  • time t is ⁇ 2
  • ⁇ 2 be the viewing angle of the bounding box in.
  • the relative speed v of the vehicle 331 is estimated.
  • the relative speed is not limited to the above-mentioned calculation method, and may be obtained by another calculation method.
  • the process P14 is a process of cutting out a rectangular area (bounding box) based on the coordinate information of the vehicle recognized in the frame image at time t, which is executed by the rectangular area cutout unit 234.
  • the vehicle image for each BBox ID is acquired by the process P14.
  • the process P15 is a process of extracting vehicle feature information from each vehicle image at time t, which is executed by the feature information extraction unit 235.
  • the feature information for each BBox ID is acquired by the process P15.
  • at least the license plate number: N1 and the license plate position: (p1, q1) are extracted from the vehicle image of BBoxID: B1 as feature information.
  • the license plate numbers are the numbers recognized in the license plate, which is the feature area, extracted as the feature information as they are, but when the numbers cannot be recognized, for example, "-1". The value of "is output.
  • the processing P16 is the tracking processing of the vehicle in the frame image at time t by the tracking processing unit 236. Processing P16 outputs a tracking result including tracking ID, BBox coordinates, bird's-eye view coordinates, and feature information.
  • the tracking ID is a vehicle-specific ID that is a tracking target (tracking object) in the camera image (each frame image), and is inherited by the tracking object that is determined to be the same between the frame images at each time.
  • the bird's-eye view coordinates represent the position (coordinates) of the vehicle in the same xy coordinate system as the above-mentioned distance information.
  • FIG. 14 is a diagram showing an example of bird's-eye view coordinates.
  • FIG. 14 shows a bird's-eye view including two vehicles 351 and 352 tracked in a camera image taken behind the own vehicle (vehicle 1).
  • the vehicle 351 traveling in the same direction as the vehicle 1 is assigned an ID 1 as a tracking ID, and the position of the vehicle 351 is represented by the coordinates (x1, y1) with respect to the vehicle 1.
  • ID2 is assigned as a tracking ID to the vehicle 352 traveling in the direction facing the vehicle 1, and the position of the vehicle 352 is represented by the coordinates (x2, y2) with respect to the vehicle 1.
  • the coordinates of each vehicle in the bird's-eye view based on the own vehicle are output.
  • the process P31 is an integrated process that integrates the coordinate information to which the distance information and the speed information are added and the feature information for each vehicle recognized in the frame image at time t.
  • the coordinate information and the feature information are integrated based on the BBox ID.
  • the process P31 acquires the observed value at time t including the BBoxID, the BBox coordinates, the distance, the velocity, and the feature information (number of the license plate).
  • number. : N1 (t) is included in the observed values.
  • the process P32 is a process for determining a match between the observed value at time t and the feature information of the tracking object at time t-1.
  • the tracking object at time t-1 includes the tracking result of the vehicle tracked up to time t-1.
  • “tracking ID: ID1 (t-1), BBox coordinates: (u1, v1) (t-1), distance: (x1, y1) (t-1), speed: v1 (t-). 1) the characteristic information of the tracking object including the number: N1 (t-1) ”is compared with the characteristic information (number of the license plate) of the observed value at the time t described above.
  • the observed value at time t and the tracking object at time t-1 are sorted into one of the feature information match list, the tracking object mismatch list at time t-1, and the observed value mismatch list at time t. ..
  • the process P33 is an association analysis process that associates the observed value at time t with the tracking object at time t-1 based on the list sorted in the match determination process.
  • BBoxID: B1 (t) observation values are paired with the association confirmed.
  • the tracking object at time t-1 in the disagreement list and the observed value at time t are paired by the association analysis processing by the association based on the distance between them.
  • the tracking object of tracking ID: ID2 (t-1) and the observed value of BBox ID: B4 (t) are paired.
  • the process P34 is a process of estimating the position of the vehicle at the time t by the Kalman filter using the paired tracking object at the time t-1 and the observed value at the time t.
  • the vehicle existence probability predicted based on the tracking object at time t-1 and the existence probability of the vehicle predicted based on the observed value at time t are used to determine the vehicle at time t.
  • the position of is estimated.
  • the processing P34 outputs a tracking object at time t as a tracking result.
  • the number N1'(t) included in the tracking object at time t is updated with the observed value at time t when it is distributed to the feature information match list, and is distributed to the mismatch list. In this case, the value of the paired tracking object at time t-1 is retained.
  • the tracking process is performed by repeating the comparison between the observed value at the first time and the feature information in the tracking object at the second time before the first time.
  • the same determination of the vehicle is performed between the frame images using the recognized characteristic information of the vehicle, so that it is possible to suppress ID switching in tracking and improve the tracking performance. ..
  • the feature information extraction process is an arithmetic process that targets only the inside of the bounding box in which the vehicle is recognized, it is possible to reduce the amount of arithmetic as compared with the arithmetic process that targets the entire image.
  • Example of installing multiple in-vehicle cameras> In the above, an example of tracking a vehicle by one in-vehicle camera mounted on the vehicle 1 has been described. Not limited to this, it is also possible to mount a plurality of vehicle-mounted cameras having different angles of view and shooting directions on the vehicle 1 and track the vehicle by each vehicle-mounted camera.
  • FIG. 16 is a diagram showing an example of a shooting range of a plurality of in-vehicle cameras mounted on the vehicle 1.
  • the shooting range 401 indicates the shooting range of the wide-angle camera that shoots the front of the vehicle 1, and the shooting range 402 shows the shooting range of the narrow-angle camera that shoots the front of the vehicle 1.
  • the shooting range 401 covers a wide area in front of the vehicle 1 from the shooting range 402, while the shooting range 402 covers a range far in front of the vehicle 1 from the shooting range 401.
  • the camera images taken by the shooting ranges 401 and 402 are used for tracking the vehicle in front of the vehicle 1.
  • the shooting range 403 indicates the shooting range of the left camera that shoots the left side of the vehicle 1
  • the shooting range 404 indicates the shooting range of the right camera that shoots the right side of the vehicle 1.
  • the camera image in which the shooting range 403 is taken is used for tracking the vehicle on the left side of the vehicle 1
  • the camera image in which the shooting range 404 is taken is used for tracking the vehicle on the right side of the vehicle 1.
  • the shooting range 405 indicates the shooting range of the rear camera that shoots the rear of the vehicle 1.
  • the camera image in which the shooting range 405 is taken is used for tracking the vehicle behind the vehicle 1.
  • the vehicle to be tracked is identified and tracked from the vehicles recognized in the camera images taken in each of the shooting ranges 401 to 405.
  • FIG. 17 is a block diagram showing a configuration example of the information processing device in this example.
  • FIG. 17 shows a wide-angle camera 411, a narrow-angle camera 412, a left camera 413, a right camera 414, a rear camera 415, and an information processing device 430.
  • the wide-angle camera 411 acquires the camera image captured by the photographing range 401 of FIG. 16 by photographing the front of the vehicle 1 and supplies it to the information processing apparatus 430.
  • the narrow angle camera 412 acquires the camera image captured by the photographing range 402 in FIG. 16 by photographing the front of the vehicle 1 and supplies it to the information processing apparatus 430.
  • the left camera 413 acquires the camera image captured by the photographing range 403 of FIG. 16 by photographing the left side of the vehicle 1 and supplies it to the information processing apparatus 430.
  • the right camera 414 acquires the camera image captured by the photographing range 404 of FIG. 16 by photographing the right side of the vehicle 1 and supplies it to the information processing apparatus 430.
  • the rear camera 415 acquires the camera image captured by the photographing range 405 of FIG. 16 by photographing the rear of the vehicle 1 and supplies it to the information processing apparatus 430.
  • the information processing device 430 includes information processing units 431-1 to 431-5 and an integrated processing unit 432.
  • Each of the information processing units 431-1 to 431-5 has a configuration included in the information processing device 230 of FIG. That is, the information processing units 431-1 to 431-5 are obtained by the wide-angle camera 411, the narrow-angle camera 412, the left camera 413, the right camera 414, and the rear camera 415 (hereinafter, also referred to as a plurality of in-vehicle cameras), respectively.
  • the captured camera image the vehicles around the vehicle 1 are tracked.
  • the tracking result of the vehicle in each camera image is output to the integrated processing unit 432.
  • the integrated processing unit 432 tracks the vehicle by integrating the tracking results of the vehicle in each of the camera images taken by a plurality of in-vehicle cameras having different angles of view and shooting directions. At this time, the integrated processing unit 432 integrates the tracking results at predetermined time units.
  • the size of the bounding box may differ even if the tracking results of the same vehicle (same tracking ID).
  • the integrated processing unit 432 scales the bounding box and the like between the tracking results.
  • the process P41 is a process for grouping the tracking results of the vehicles in each of the plurality of in-vehicle cameras for each predetermined time unit. As described above, since the frame rates of the plurality of vehicle-mounted cameras are the same, the tracking results within one frame time (1 / fps) can be grouped into one time group. In the example of FIG. 18, the tracking results of the time t1_1, t1_2, t1_3, t1_4, and t1_5 obtained for each of the plurality of vehicle-mounted cameras are grouped into one time group t1.
  • Process P42 is a process of rearranging the tracking results in one time group in chronological order.
  • the tracking results for the plurality of vehicle-mounted cameras are rearranged in the order of time t1_2, t1_1, t1_4, t1_5, t1_3, and the processing P43 is input in that time order.
  • the process P43 accumulates the tracking results sorted in chronological order within one time group, and sequentially repeats the same processes as the processes P32 to P34 of FIG. 15 to output them as a tracking object of one time group. It is an integrated process. In the example of FIG. 18, the tracking object of the time group t1 is output.
  • the tracking object output by the process P43 can include the tracking ID, BBox coordinates, distance information, speed information, feature information, and the like as needed.
  • the vehicle tracking process is performed by repeating the integration of the tracking results for a plurality of in-vehicle cameras.
  • the same determination of the vehicle is performed between the frame images using the recognized vehicle feature information for each in-vehicle camera. It is possible to suppress ID switching and improve tracking performance.
  • This technology can also be applied to track objects around moving objects other than vehicles.
  • moving objects such as motorcycles, bicycles, personal mobility, airplanes, ships, construction machinery, and agricultural machinery (tractors) are assumed.
  • the mobile body to which the present technology can be applied includes, for example, a mobile body such as a drone or a robot that is remotely operated (operated) without being boarded by a user.
  • This technology can also be applied when tracking an object in a fixed place such as a monitoring system.
  • FIG. 19 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the information processing device 230 and the information processing device 430 described above are realized by the computer 600 having the configuration shown in FIG.
  • the CPU 601 and ROM 602 and RAM 603 are connected to each other by the bus 604.
  • An input / output interface 605 is further connected to the bus 604.
  • An input unit 606 including a keyboard, a mouse, and the like, and an output unit 607 including a display, a speaker, and the like are connected to the input / output interface 605.
  • a storage unit 608 composed of a hard disk, a non-volatile memory, or the like, a communication unit 609 composed of a network interface, or the like, and a drive 610 for driving the removable media 611 are connected to the input / output interface 605.
  • the CPU 601 loads the program stored in the storage unit 608 into the RAM 603 via the input / output interface 605 and the bus 604, and executes the above-mentioned series. Processing is done.
  • the program executed by the CPU 601 is recorded on the removable media 611, or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 608.
  • the program executed by the computer 600 may be a program in which processing is performed in chronological order according to the order described in the present specification, or at a necessary timing such as in parallel or when a call is made. It may be a program that is processed by.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present technology can have the following configurations.
  • a feature information extraction unit that extracts feature information of an object in frame image units, A tracking processing unit and an information processing device that track the object in the frame image using the feature information.
  • the information processing apparatus according to (1) wherein the feature information extraction unit extracts only the feature information corresponding to the rectangular frame surrounding the object recognized in the frame image.
  • the tracking processing unit tracks the object based on a comparison result of the feature information of the first time and the second time before the first time. .. (4) In the tracking processing unit, when the feature information at the first time and the feature information at the second time match, the object in the frame image at the first time is the same as the object in the frame image at the second time.
  • the information processing apparatus according to (3). (5) When the score indicating the degree of matching of the feature information between the first time and the second time is equal to or higher than a predetermined threshold value, the tracking processing unit matches the feature information at the first time and the second time.
  • the information processing apparatus according to (4). (6)
  • the feature information extraction unit extracts a plurality of the feature information and obtains them. Described in (5), the tracking processing unit determines that the feature information at the first time and the feature information at the second time match when the total of the scores for the plurality of feature information is equal to or higher than the threshold value.
  • Information processing equipment is a predetermined threshold value.
  • the information processing apparatus extracts the feature information based on sensor data obtained by one or a plurality of sensors.
  • the sensor data includes at least one of the frame image obtained by a camera, point cloud data obtained by radar or LiDAR.
  • the feature information extraction unit extracts the feature information from the feature region of the object in the frame image.
  • the feature information includes a number included in the feature area.
  • the feature information includes at least one of the position and shape of the feature region.
  • the information processing apparatus according to any one of (9) to (11), wherein the characteristic area includes at least one of a vehicle license plate, a front grill, a light, and an emblem.
  • the feature information extraction unit extracts the feature information from the point cloud data reflected on the object.
  • the feature information includes a position in a camera coordinate system of the point cloud data.
  • the feature information includes a position in a three-dimensional coordinate system of the point cloud data.
  • the feature information includes the reflection intensity of each of the point cloud data.
  • an integrated processing unit for tracking the object is further provided (1) to (16).
  • Information processing equipment Extract the feature information of the object in frame image units, An information processing method for tracking an object in a frame image using the feature information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、トラッキング性能を向上させることができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 特徴情報抽出部は、フレーム画像単位で物体の特徴情報を抽出し、トラッキング処理部は、特徴情報を用いて、前記フレーム画像において物体をトラッキングする。本技術は、例えば、車載カメラを用いた運転支援装置に適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、トラッキング性能を向上させるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　特許文献１には、車両パターン特徴を用いて、あらかじめ認識された駐車位置とナンバープレートとを照合することで、車両の駐車位置を求める駐車位置認識装置が開示されている。
　一方で、近年、車載カメラを用いた走行支援や自動運転において、周囲を走行する車両をトラッキングする技術が知られている。
特開平８－９６２９７号公報
　従来、物体をトラッキングする場合、本来のトラッキング対象とは異なる他の物体を誤ってトラッキングしてしまうことがあった。
　本技術は、このような状況に鑑みてなされたものであり、トラッキング性能を向上させることができるようにするものである。
　本技術の情報処理装置は、フレーム画像単位で物体の特徴情報を抽出する特徴情報抽出部と、前記特徴情報を用いて、前記フレーム画像において前記物体をトラッキングするトラッキング処理部と備える情報処理装置である。
　本技術の情報処理方法は、情報処理装置が、フレーム画像単位で物体の特徴情報を抽出し、前記特徴情報を用いて、前記フレーム画像において前記物体をトラッキングする情報処理方法である。
　本技術のプログラムは、コンピュータに、フレーム画像単位で物体の特徴情報を抽出し、前記特徴情報を用いて、前記フレーム画像において前記物体をトラッキングする処理を実行させるためのプログラムである。
　本技術においては、フレーム画像単位で物体の特徴情報が抽出され、前記特徴情報を用いて、前記フレーム画像において前記物体がトラッキングされる。
車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 本技術を適用した情報処理装置の構成例を示すブロック図である。 特徴情報のスコア化の例を示す図である。 車両の同一判定の例を示す図である。 車両の同一判定の例を示す図である。 特徴領域の例を示す図である。 点群データの例を示す図である。 車両追跡処理について説明するフローチャートである。 車両追跡処理におけるデータの流れについて説明する図である。 座標情報の詳細について説明する図である。 相対速度の演算の例を示す図である。 相対速度の演算の例を示す図である。 鳥瞰図座標の例を示す図である。 トラッキング処理の詳細について説明する図である。 複数の車載カメラの撮影範囲の例を示す図である。 情報処理装置の他の構成例を示すブロック図である。 統合処理の詳細について説明する図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．車両制御システムの構成例
　２．従来のトラッキングの課題
　３．情報処理装置の構成例
　４．車両追跡処理の流れ
　５．複数の車載カメラを搭載した例
　６．コンピュータの構成例
＜１．車両制御システムの構成例＞
　図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、プロセッサ２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ（Global Navigation Satellite System）受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
　プロセッサ２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等により構成される。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば、近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）等により直接接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、プロセッサ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単にプロセッサ２１と通信部２２とが通信を行うと記載する。
　プロセッサ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＥＣＵ（Electronic Control Unit）等の各種のプロセッサにより構成される。プロセッサ２１は、車両制御システム１１全体の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。車外との通信としては、例えば、通信部２２は、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラム、地図情報、交通情報、車両１の周囲の情報等を外部から受信する。例えば、通信部２２は、車両１に関する情報（例えば、車両１の状態を示すデータ、認識部７３による認識結果等）、車両１の周囲の情報等を外部に送信する。例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　なお、通信部２２の通信方式は特に限定されない。また、複数の通信方式が用いられてもよい。
　車内との通信としては、例えば、通信部２２は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、ＷＵＳＢ（Wireless USB）等の通信方式により、車内の機器と無線通信を行う。例えば、通信部２２は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等の通信方式により、車内の機器と有線通信を行う。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器である。例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　例えば、通信部２２は、４Ｇ（第４世代移動通信システム）、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク）上に存在するサーバ等と通信を行う。
　例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）と通信を行う。例えば、通信部２２は、Ｖ２Ｘ通信を行う。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等である。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（登録商標）（Vehicle Information and Communication System））により送信される電磁波を受信する。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ（ＡＤＡＳ（Advanced Driver Assistance System）マップともいう）等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、車線や信号の位置等の情報をポイントクラウドマップに対応付けた地図である。ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データがサーバ等から取得される。
　ＧＮＳＳ受信部２４は、ＧＮＳＳ衛星からＧＮＳＳ信号を受信し、走行支援・自動運転制御部２９に供給する。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は任意であり、各センサのセンシング領域の例は後述する。
　なお、カメラ５１には、例えば、ＴｏＦ（Time of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラが、必要に応じて用いられる。
　また、例えば、外部認識センサ２５は、天候、気象、明るさ等を検出するための環境センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等を備える。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備えるセンサの種類や数は任意である。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサ等を備える。カメラには、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラを用いることができる。生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備えるセンサの種類や数は任意である。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。
　記録部２８は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記録部２８は、車両制御システム１１の各部が用いる各種プログラムやデータ等を記録する。例えば、記録部２８は、自動運転に関わるアプリケーションプログラムが動作するＲＯＳ（Robot Operating System）で送受信されるメッセージを含むrosbagファイルを記録する。例えば、記録部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報を記録する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、ＧＮＳＳ信号、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出処理及び認識処理を行う。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、ＬｉＤＡＲ又はレーダ等のセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに対してセマンティックセグメンテーション等の物体認識処理を行うことにより、車両１の周囲の物体の種類を認識する。
　なお、検出又は認識対象となる物体としては、例えば、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等が想定される。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置の推定結果、及び、車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行う。この処理により、例えば、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等が認識される。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行う。認識対象となる周囲の環境としては、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）の処理も含まれる。
　経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。例えば、車両１の目標速度と目標角速度が計算される。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、ＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力に用いられ、入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。例えば、ＨＭＩ３１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。なお、ＨＭＩ３１は、例えば、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１１の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。
　また、ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成及び出力、並びに、出力内容、出力タイミング、出力方法等を制御する出力制御を行う。視覚情報は、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報である。聴覚情報は、例えば、ガイダンス、警告音、警告メッセージ等の音声により示される情報である。触覚情報は、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報である。
　視覚情報を出力するデバイスとしては、例えば、表示装置、プロジェクタ、ナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が想定される。表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイス等の搭乗者の視界内に視覚情報を表示する装置であってもよい。
　聴覚情報を出力するデバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホン等が想定される。
　触覚情報を出力するデバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子等が想定される。ハプティクス素子は、例えば、ステアリングホイール、シート等に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うＥＣＵ等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うＥＣＵ等の制御ユニット、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行うＥＣＵ等の制御ユニット、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うＥＣＵ等の制御ユニット、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うＥＣＵ等の制御ユニット、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うＥＣＵ等の制御ユニット、カーホーンの駆動を行うアクチュエータ等を備える。
　図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４によるセンシング領域の例を示す図である。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム等に用いられる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステム等に用いられる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステム等に用いられる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、緊急ブレーキ、衝突回避、歩行者検出等に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）等に用いられる。
　なお、各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。
＜２．従来のトラッキングの課題＞
　近年、車載カメラを用いた走行支援や自動運転において、周囲を走行する車両をトラッキングする技術が知られている。
　走行中の車両をトラッキングする場合、トラッキング対象となる車両を、時間軸で同一の車両として同定して追跡することが難しく、本来のトラッキング対象とは異なる他の車両を、誤ってトラッキングしてしまうことがあった。これは、トラッキングにおけるＩＤスイッチングなどとも呼ばれる。
　トラッキングにおいては、認識された車両のカメラ座標系や三次元座標系での位置の推定結果に基づいて、同一車両であるか否かを判定することが多い。しかしながら、常に車両が正しく認識されるとは限らないこと、また、推定される車両の位置に誤差が含まれることが、ＩＤスイッチングの原因となってしまう。
　そこで、以下においては、ＩＤスイッチングを抑制し、トラッキング性能を向上させる構成について説明する。
＜３．情報処理装置の構成例＞
　図３は、本技術を適用した情報処理装置の構成例を示すブロック図である。
　図３には、カメラ２１０と情報処理装置２３０が示されている。
　情報処理装置２３０は、車載カメラを用いた運転支援装置の一例として構成される。情報処理装置２３０は、車両１に搭載され、カメラ２１０により得られた動画像であるカメラ画像において、車両１の周囲の物体を認識し、トラッキングする。カメラ２１０は、図１のカメラ５１に対応し、車両１の前方や後方を撮影する単眼カメラとして構成される。これに限らず、カメラ２１０は、例えば車両１の屋根（天井外側）に設けられ、車両１の全周囲を撮影する３６０度カメラなどとして構成されてもよい。
　情報処理装置２３０は、例えば図１の分析部６１に対応し、信号処理部２３１、車両認識部２３２、距離・速度演算部２３３、矩形領域切り出し部２３４、特徴情報抽出部２３５、およびトラッキング処理部２３６を備えている。
　信号処理部２３１は、カメラ２１０により得られたカメラ画像（ＲＡＷデータ）を構成する各フレーム画像に対して各種の信号処理を施し、順次、車両認識部２３２と矩形領域切り出し部２３４に供給する。
　車両認識部２３２は、信号処理部２３１からの各フレーム画像に対して物体認識処理を行うことにより、車両１の周囲の物体、具体的には、車両１の周囲を走行する車両を認識する。１のフレーム画像において認識される車両の数は、１に限らず、複数であってもよい。認識された車両を囲う矩形枠の位置や大きさを表す座標情報が、距離・速度演算部２３３と矩形領域切り出し部２３４に供給される。
　距離・速度演算部２３３は、車両認識部２３２からの座標情報に基づいて、認識された車両と自車（車両１）との距離、および、認識された車両の相対速度を演算する。例えば、距離・速度演算部２３３は、レーダ５２やＬｉＤＡＲ５３のセンシング結果に基づいて、認識された車両との距離を求め、その距離と座標情報を用いて、認識された車両の相対速度を計算する。演算により得られた距離情報と速度情報は、座標情報に付加されて、トラッキング処理部２３６に供給される。
　矩形領域切り出し部２３４は、信号処理部２３１からの各フレーム画像から、車両認識部２３２からの座標情報で表される矩形枠内の矩形領域（認識された車両）を切り出す。切り出された矩形領域の画像である車両画像は、特徴情報抽出部２３５に供給される。
　特徴情報抽出部２３５は、フレーム画像単位で、矩形領域切り出し部２３４からの車両画像における車両の特徴情報を抽出する。具体的には、特徴情報抽出部２３５は、１または複数のセンサにより得られたセンサデータに基づいて、車両の特徴情報を抽出する。センサデータには、カメラ２１０により得られたフレーム画像、レーダ５２またはＬｉＤＡＲ５３により得られた点群データの少なくともいずれかが含まれる。抽出された特徴情報は、トラッキング処理部２３６に供給される。
　トラッキング処理部２３６は、距離・速度演算部２３３からの座標情報に基づいて、フレーム画像毎に、トラッキング対象となる車両の位置を推定することで、カメラ画像（時系列で撮影されたフレーム画像）において車両をトラッキングする。
　このとき、トラッキング処理部２３６は、特徴情報抽出部２３５からの特徴情報を用いて、カメラ画像において車両をトラッキングする。すなわち、トラッキング処理部２３６は、現在時刻のフレーム画像（現フレーム）と、現フレームより前の時刻（１つ前）のフレーム画像（前フレーム）の特徴情報の比較結果に基づいて、車両をトラッキングする。
　具体的には、トラッキング処理部２３６は、現フレームと前フレームの特徴情報が一致した場合、現フレームにおける車両が、前フレームにおける車両と同一であると判定することで、その車両をトラッキングする。
　例えば、現フレームと前フレームの特徴情報が比較され、それぞれの一致の度合いを表すスコアが所定の閾値以上の場合に、現フレームと前フレームの特徴情報が一致したと判定される。より詳細には、各フレーム画像の車両画像からは、複数の特徴情報が抽出され、複数の特徴情報についてのスコアの合計が、所定の閾値以上の場合に、現フレームと前フレームの特徴情報が一致したと判定される。
　図４は、特徴情報のスコア化の例を示す図である。
　図４の例では、特徴情報として、車両画像における車両のナンバープレートの数字、ナンバープレートの位置、および、レーダ検出点の位置が抽出される。ナンバープレートの数字と位置は、センサデータの１つであるカメラ画像から切り出された車両画像において、車両の特徴的な領域（特徴領域）としてナンバープレートが認識されることで抽出される。レーダ検出点の位置は、センサデータの１つであるレーダ５２により得られた点群データのうち、車両に反射した点群データから抽出される。
　それぞれの特徴情報には、現フレームと前フレームとで一致した場合のスコアがあらかじめ設定されている。図４の例では、現フレームと前フレームとでナンバープレートの数字が一致した場合のスコアは５、ナンバープレートの位置が一致した場合のスコアは１とされる。また、レーダ検出点の位置については、現フレームと前フレームとで一致した数の割合に５を乗じた値が、そのスコアとされる。
　そして、それぞれの特徴情報のスコアの合計と、閾値である５とが比較され、特徴情報のスコアの合計が５以上である場合に、現フレームと前フレームの特徴情報が一致したと判定され、現フレームと前フレームの車両画像に映る車両が同一であると判定される。
　図５は、車両の同一判定の例を示す図である。
　図５の例では、ある時刻ｔ－１のフレーム画像において認識された車両が、その車両を囲う矩形枠２５１（以下、バウンディングボックス２５１などという）によりトラッキングされている。バウンディングボックス２５１内では、車両の特徴領域としてナンバープレートＮ２５１が認識されるとともに、点群データとして複数（具体的には７つ）のレーダ検出点Ｄ２５１が取得されている。バウンディングボックス２５１内で、ナンバープレートの位置と、レーダ検出点の位置は、カメラ座標系に基づいて、バウンディングボックス２５１の左下の頂点を原点として設定されたｐ－ｑ座標系の座標として表される。
　次の時刻ｔのフレーム画像において、バウンディングボックス２６１，２６２により２台の車両が認識され、同一判定の対象となる入力データとして入力されたとする。ここでは、バウンディングボックス２６１内の車両は、時刻ｔ－１のバウンディングボックス２５１内の車両で、バウンディングボックス２６２内の車両は、時刻ｔ－１のバウンディングボックス２５１内の車両とは別の車両であるものとする。
　バウンディングボックス２６１とバウンディングボックス２５１の特徴情報が比較された場合、ナンバープレートの数字はいずれも「１８－６６」で一致するので、スコアとして５が付与される。ナンバープレートの位置（座標）も一致するので、スコアとして１が付与される。また、レーダ検出点の位置として、７つのうち５つ（白抜きの丸）の位置が一致しているので、スコアとして（５／７）×５＝３．５７が付与される。この場合、スコアの合計は９．５７となり、閾値５以上であることから、バウンディングボックス２６１内の車両は、時刻ｔ－１のバウンディングボックス２５１内の車両と同一であると判定される。
　一方、バウンディングボックス２６２とバウンディングボックス２５１の特徴情報が比較された場合、ナンバープレートの数字は「８４－５４」と「１８－６６」で一致しないので、スコアは付与されない。ナンバープレートの位置（座標）も一致しないので、スコアは付与されない。また、レーダ検出点の位置として、７つのうち３つ（白抜きの丸）の位置が一致しているので、スコアとして（３／７）×５＝２．１４が付与される。この場合、スコアの合計は２．１４となり、閾値５未満であることから、バウンディングボックス２６２内の車両は、時刻ｔ－１のバウンディングボックス２５１内の車両と同一でないと判定される。
　このようにして、現フレームと前フレームの特徴情報を用いることにより、車両の同一判定が正しく行われる。
　なお、レーダにより照射される電波は、一般的に、表面が平面状の物体より、球面などの曲面状の物体の方が反射しやすく、検出しやすいことが知られている。例えば、角ばったデザインの車両と、丸みを帯びたデザインの車両とでは、後者の方が、レーダにより照射される電波がより多く反射する。すなわち、レーダにより車両に対して電波を照射する場合、車両の車種によって反射する位置が異なることから、レーダ検出点の位置を、車両の同一判定に用いることができる。また、レーダ検出点の位置は、自車とトラッキング対象となる車両との位置関係（角度や距離）にも依存することから、同一車種の車両が複数存在する場合にも、車両の同一判定において有用となる。
　また、例えばカメラ画像のフレームレートが１５ｆｐｓ程度の場合では、時刻ｔ－１のフレーム画像と時刻ｔのフレーム画像とでは、レーダ検出点の位置はほぼ変化しない。しかしながら、レーダにより照射された電波の反射強度が、検出閾値の近傍で変動するような場合には、上述した例のように、時刻ｔ－１におけるレーダ検出点の位置が、時刻ｔにおいて変化したり、検出されなくなったりする。
　図６は、車両の同一判定の他の例を示す図である。
　図６の例では、ある時刻ｔ－１のフレーム画像において認識された車両が、その車両を囲うバウンディングボックス２７１によりトラッキングされている。バウンディングボックス２７１内では、車両の特徴領域としてナンバープレートＮ２７１が認識されるとともに、点群データとして複数（具体的には５つ）のレーダ検出点Ｄ２７１が取得されている。
　次の時刻ｔのフレーム画像において、バウンディングボックス２８１，２８２により２台の車両が認識され、同一判定の対象となる入力データとして入力されたとする。ここでは、バウンディングボックス２８１内の車両は、時刻ｔ－１のバウンディングボックス２７１内の車両で、バウンディングボックス２８２内の車両は、時刻ｔ－１のバウンディングボックス２７１内の車両とは別の車両であるものとする。
　なお、時刻ｔのフレーム画像は、自車と周囲の車両がトンネルなどの日の当たらない場所を通過しているため、被写体が不鮮明であるものとする。
　バウンディングボックス２８１とバウンディングボックス２７１の特徴情報が比較された場合、画像が不鮮明のため、ナンバープレートの数字は一致せず、スコアは付与されない。ナンバープレートの位置（座標）は一致するので、スコアとして１が付与される。また、レーダ検出点の位置として、５つのうち４つ（白抜きの丸）の位置が一致しているので、スコアとして（４／５）×５＝４が付与される。この場合、スコアの合計は５となり、閾値５以上であることから、バウンディングボックス２８１内の車両は、時刻ｔ－１のバウンディングボックス２７１内の車両と同一であると判定される。
　一方、バウンディングボックス２８２とバウンディングボックス２７１の特徴情報が比較された場合も、画像が不鮮明のため、ナンバープレートの数字は一致せず、スコアは付与されない。ナンバープレートの位置（座標）も一致しないので、スコアは付与されない。また、レーダ検出点の位置として、５つのうち２つ（白抜きの丸）の位置が一致しているので、スコアとして（２／５）×５＝２が付与される。これらスコアの合計は２となり、閾値である５未満であることから、バウンディングボックス２８２内の車両は、時刻ｔ－１のバウンディングボックス２７１内の車両と同一でないと判定される。
　このようにして、トンネルなどの暗い場所で撮影条件が良くない場合であっても、現フレームと前フレームの特徴情報を用いることにより、車両の同一判定が正しく行われる。
（特徴情報の他の例）
　以上においては、車両画像において、特徴情報として、ナンバープレートの数字、ナンバープレートの位置、および、レーダ検出点の位置が抽出されるものとしたが、他の特徴情報が抽出されてもよい。
　図７は、特徴領域の例を示す図である。
　図７の例においては、車両が認識されたバウンディングボックス２９１内で、車両の特徴領域として、フロントグリルＧ２９１、右フロントライトＲ２９１、左フロントライトＬ２９１、および、エンブレムＥ２９１が認識されている。
　この場合、バウンディングボックス２９１を基準に設定されたｐ－ｑ座標系での、フロントグリルＧ２９１の位置（ｐ２，ｑ２）、右フロントライトＲ２９１の位置（ｐ３，ｑ３）、左フロントライトＬ２９１の位置（ｐ４，ｑ４）、および、エンブレムＥ２９１の位置（ｐ５，ｑ５）が、特徴情報として抽出される。図７の例では、ｐ－ｑ座標系での特徴領域の位置は、特徴領域を表す矩形枠の左下の頂点の座標で示されているが、矩形枠の他の点の座標で示されてもよい。
　さらに、特徴領域として認識されたフロントグリルＧ２９１、右フロントライトＲ２９１、左フロントライトＬ２９１、および、エンブレムＥ２９１を表す矩形枠の幅や高さに基づいて、それぞれの大きさや形状が、特徴情報として抽出されてもよい。
　また、図７の例では、車両の前部におけるパーツが特徴領域として認識されるものとしたが、車両の後部におけるパーツが特徴領域として認識されてもよい。
　図８は、点群データの例を示す図である。
　図８の例においては、車両が認識されたバウンディングボックス２９１内で、点群データとして、複数のＬｉＤＡＲ点群データＤ２９１が取得されている。
　この場合、バウンディングボックス２９１を基準に設定されたｐ－ｑ座標系での、ＬｉＤＡＲ点群データＤ２９１それぞれの位置が、特徴情報として抽出され、現フレームと前フレームとの間で一致する割合が求められる。
　これに限らず、ＬｉＤＡＲ点群データＤ２９１は、三次元座標系での位置情報を有することから、ＬｉＤＡＲ点群データＤ２９１の三次元座標が、特徴情報として抽出され、現フレームと前フレームとの間で一致する割合が求められてもよい。この場合、フレーム画像毎に奥行き（距離）方向の位置が変化することから、前フレームにおける三次元座標に、トラッキング対象となる車両の速度に１フレーム分の時間を乗じて求められる距離を加算することで予測される現フレームでの座標が、比較に用いられるようにする。
　さらに、ＬｉＤＡＲ点群データＤ２９１それぞれの反射強度が、特徴情報として抽出され、現フレームと前フレームとの間で一致する割合が求められてもよい。
　上述した特徴情報は、例えば車両１に搭載されるセンサに応じて組み合わされて用いることができる。また、特徴情報の抽出処理は、車両が認識されたバウンディングボックス内のみを対象とした演算処理であるので、画像全体を対象とした演算処理と比較して演算量を抑えることができ、リアルタイムな処理に好適である。
＜４．車両追跡処理の流れ＞
　次に、図９のフローチャートを参照して、情報処理装置２３０による車両追跡処理の流れについて説明する。図９の処理は、カメラ画像を構成するフレーム画像毎に繰り返される。
　ステップＳ１１において、信号処理部２３１は、カメラ２１０により得られたカメラ画像のフレーム画像に対して、各種の信号処理を施す。
　ステップＳ１２において、車両認識部２３２は、信号処理が施されたフレーム画像に対して物体認識処理を行うことにより、車両１の周囲を走行する車両を認識し、認識された各車両の座標情報を取得する。なお、ここでは、フレーム画像に対する物体認識処理のみならず、センサフュージョン処理に基づいた物体認識処理が行われてもよい。
　ステップＳ１３において、距離・速度演算部２３３は、認識された車両の座標情報に基づいて、認識された車両との距離、および、認識された車両の相対速度を演算する。演算により得られた距離情報と速度情報は、座標情報に付加される。
　ステップＳ１４において、矩形領域切り出し部２３４は、信号処理が施されたフレーム画像から、認識された車両の座標情報に基づいた矩形領域を切り出すことで、車両画像を取得する。
　ステップＳ１５において、特徴情報抽出部２３５は、フレーム画像から切り出された車両画像から車両の特徴情報を抽出する。
　ステップＳ１６において、トラッキング処理部２３６は、距離情報と速度情報が付加された座標情報と、車両画像から抽出された特徴情報を用いて、フレーム画像により構成されるカメラ画像において車両をトラッキングする。
（車両追跡処理におけるデータの流れ）
　ここで、図１０を参照して、図９の車両追跡処理におけるデータの流れについて説明する。なお、図１０に示される処理Ｐ１２乃至Ｐ１６はそれぞれ、図９のフローチャートにおけるステップＳ１２乃至Ｓ１６に対応し、時刻ｔのフレーム画像について実行されるものとする。
　処理Ｐ１２は、車両認識部２３２により実行される、時刻ｔのフレーム画像における車両認識処理である。処理Ｐ１２により、バウンディングボックスＩＤ（以下、ＢＢｏｘ ＩＤという）、ＢＢｏｘ座標を含む座標情報が取得される。
　ＢＢｏｘ ＩＤは、フレーム画像において認識された各車両のバウンディングボックス固有のＩＤであり、各時刻のフレーム画像毎に、個々のバウンディングボックスに対して割り振られる。ＢＢｏｘ座標は、フレーム画像の左下の頂点を原点として設定されたｕ－ｖ座標系でのバウンディングボックスの位置（座標）と、幅および高さを表す。
　例えば、図１１に示されるように、ある時刻のフレーム画像において、２台の車両が認識され、対応するバウンディングボックス３１１，３１２が設定されたとする。この場合、バウンディングボックス３１１の位置は、バウンディングボックス３１１の左下の頂点の座標（ｕ１，ｖ１）で表され、バウンディングボックス３１１の幅および高さは、バウンディングボックス３１１の横の長さｗと縦の長さｈで表される。
　したがって、例えばバウンディングボックス３１１の座標情報は、「ＢＢｏｘ ＩＤ：Ｂ１，ＢＢｏｘ座標：（ｕ１，ｖ１，ｗ，ｈ）」などと表される。
　処理Ｐ１３は、距離・速度演算部２３３により実行される、時刻ｔのフレーム画像において認識された車両の距離と相対速度の演算処理である。処理Ｐ１３により、距離情報と速度情報が付加された座標情報が取得される。距離情報は、自車を原点として左右方向をｘ軸、奥行き方向をｙ軸としたｘ－ｙ座標系での車両の位置（座標）を表し、速度情報は、自車に対する車両の相対速度を表す。図１０の例では、ＢＢｏｘ ＩＤ：Ｂ１の座標情報に、距離：（ｘ１，ｙ１）の距離情報と、相対速度：ｖ１の速度情報は付加されている。
　ここで、図１２および図１３を参照して、相対速度の演算の例について説明する。
　この例では、図１２に示されるように、自車(車両１)に対する車両３３１の相対速度ｖが推定される。車両３３１の相対速度は、時刻ｔのΔｔ秒前の時刻ｔ－１における車両３３１の位置から、時刻ｔにおいて車両３３１との距離がｄｍになるまで、車両３３１が車両１に近づく速度ｖ（ｍ／ｓ）となる。
　ここで、車両３３１の、時刻ｔ－１におけるカメラ画像での見かけ上の大きさをｓ１、時刻ｔにおけるカメラ画像での見かけ上の大きさをｓ２とする。見かけ上の大きさの変化率Ｓ＝ｓ２／ｓ１とした場合、相対速度ｖの計算式は、
　　　ｖ＝ｄ×（Ｓ－１）／Δｔ（ｍ／ｓ）
で表される。
　見かけ上の大きさの変化率Ｓは、カメラ画像において設定されるバウンディングボックスの大きさの変化率として求めることができる。
　図１３を参照して、上述した相対速度ｖの計算式の導出について説明する。図１３においては、車両３３１の実際の高さをＨ（ｍ）、カメラ２１０とフレーム画像の投影面までの距離をａ（ｍ）、時刻ｔ－１におけるバウンディングボックスの視野角をθ１、時刻ｔにおけるバウンディングボックスの視野角をθ２とする。
　車両３３１の、時刻ｔ－１におけるカメラ画像（フレーム画像）での見かけ上の大きさｓ１は、
　　　ｓ１＝ａ×tanθ１
で表され、時刻ｔにおけるカメラ画像（フレーム画像）での見かけ上の大きさｓ２は、
　　　ｓ２＝ａ×tanθ２
で表される。
　これにより、見かけ上の大きさの変化率Ｓは、
　　　Ｓ＝ｓ２／ｓ１＝（ａ×tanθ２）／（ａ×tanθ１）＝tanθ２／tanθ１
で表される。
　ここで、車両３３１の実際の高さＨについては、
　　　Ｈ＝ｄ×tanθ２＝（ｄ＋ｖ×Δｔ）×tanθ１
の関係が成立することから、第２項と第３項を変形することにより、
　　　Ｓ＝tanθ２／tanθ１＝（ｄ＋ｖ×Δｔ）／ｄ
が得られる。
　上記の式を、ｖについて解くことにより、
　　　ｖ＝ｄ×（Ｓ－１）／Δｔ
が得られる。
　以上のようにして、車両３３１の相対速度ｖが推定される。なお、相対速度は、上述した演算手法に限らず、他の演算手法により求められてもよい。
　図１０の説明に戻り、処理Ｐ１４は、矩形領域切り出し部２３４により実行される、時刻ｔのフレーム画像において認識された車両の座標情報に基づいた矩形領域（バウンディングボックス）の切り出し処理である。処理Ｐ１４により、ＢＢｏｘ ＩＤ毎の車両画像が取得される。
　処理Ｐ１５は、特徴情報抽出部２３５により実行される、時刻ｔの各車両画像からの車両の特徴情報の抽出処理である。処理Ｐ１５により、ＢＢｏｘ ＩＤ毎の特徴情報が取得される。図１０の例では、ＢＢｏｘ ＩＤ：Ｂ１の車両画像から、少なくとも、ナンバープレートの数字：Ｎ１とナンバープレートの位置：（ｐ１，ｑ１）が、特徴情報として抽出されている。
　なお、処理Ｐ１５において、ナンバープレートの数字は、特徴領域であるナンバープレートにおいて認識された数字がそのまま特徴情報として抽出されたものであるが、数字が認識できなかった場合には、例えば“－１”の値が出力される。
　処理Ｐ１６は、トラッキング処理部２３６による、時刻ｔのフレーム画像における車両のトラッキング処理である。処理Ｐ１６により、トラッキングＩＤ，ＢＢｏｘ座標、鳥瞰図座標、および特徴情報を含むトラッキング結果が出力される。
　トラッキングＩＤは、カメラ画像（各フレーム画像）においてトラッキング対象（トラッキングオブジェクト）となる車両固有のＩＤであり、各時刻のフレーム画像間で同一と判定されたトラッキングオブジェクトに引き継がれる。鳥瞰図座標は、上述した距離情報と同じｘ－ｙ座標系での車両の位置（座標）を表す。
　図１４は、鳥瞰図座標の例を示す図である。
　図１４においては、自車（車両１）の後方を撮影したカメラ画像においてトラッキングされている２台の車両３５１，３５２を含む鳥瞰図が示されている。
　車両１と同じ方向に向かって走行している車両３５１は、トラッキングＩＤとしてＩＤ１が割り振られ、車両３５１の位置は、車両１を基準とした座標（ｘ１，ｙ１）で表される。一方、車両１とは対向する方向に向かって走行している車両３５２には、トラッキングＩＤとしてＩＤ２が割り振られ、車両３５２の位置は、車両１を基準とした座標（ｘ２，ｙ２）で表される。
　このように、トラッキング処理によれば、自車を基準とした鳥瞰図における各車両の座標が出力される。
（トラッキング処理の詳細）
　次に、図１５を参照して、図１０の処理Ｐ１６（トラッキング処理）の詳細について説明する。図１５に示されるように、処理Ｐ１６においては、主に４つの処理Ｐ３１乃至Ｐ３４が実行され、これらの処理もまた、時刻ｔのフレーム画像について実行されるものとする。
　図１５の例では、特徴情報として、ナンバープレートの数字のみを用いて、車両の同一判定が行われるものとするが、さらに他の特徴情報を用いた車両の同一判定も、基本的には同様にして行われる。
　処理Ｐ３１は、時刻ｔのフレーム画像において認識された各車両についての、距離情報と速度情報が付加された座標情報と、特徴情報とを統合する統合処理である。座標情報と特徴情報とは、ＢＢｏｘ ＩＤに基づいて統合される。処理Ｐ３１により、ＢＢｏｘ ＩＤ、ＢＢｏｘ座標、距離、速度、および特徴情報（ナンバープレートの数字）を含む時刻ｔの観測値が取得される。
　図１５の例では、「ＢＢｏｘ ＩＤ：Ｂ１（ｔ），ＢＢｏｘ座標：（ｕ１，ｖ１，ｗ，ｈ）（ｔ）、距離：（ｘ１，ｙ１）（ｔ）、速度：ｖ１（ｔ）、ナンバー：Ｎ１（ｔ）」を含む観測値が取得されている。
　処理Ｐ３２は、時刻ｔの観測値と、時刻ｔ－１のトラッキングオブジェクトの特徴情報の一致判定処理である。処理Ｐ３２においては、図４乃至図６を参照して説明した、スコア化された特徴情報の一致判定処理が行われる。時刻ｔ－１のトラッキングオブジェクトは、時刻ｔ－１までトラッキングされている車両のトラッキング結果を含む。図１５の例では、「トラッキングＩＤ：ＩＤ１（ｔ－１），ＢＢｏｘ座標：（ｕ１，ｖ１）（ｔ－１）、距離：（ｘ１，ｙ１）（ｔ－１）、速度：ｖ１（ｔ－１）、ナンバー：Ｎ１（ｔ－１）」を含むトラッキングオブジェクトの特徴情報が、上述した時刻ｔの観測値の特徴情報（ナンバープレートの数字）と比較される。処理Ｐ３２により、時刻ｔの観測値と、時刻ｔ－１のトラッキングオブジェクトは、特徴情報一致リスト、時刻ｔ－１のトラッキングオブジェクト不一致リスト、および、時刻ｔの観測値不一致リストのいずれかに振り分けられる。
　処理Ｐ３３は、一致判定処理において振り分けられたリストに基づいて、時刻ｔ－１のトラッキングオブジェクトに、時刻ｔの観測値を関連付けるアソシエーション分析処理である。
　例えば、特徴情報一致リストにおいて、いずれも“－１”でなく、かつ、ナンバーＮ１（ｔ－１）とナンバーＮ１（ｔ）が一致している、トラッキングＩＤ：ＩＤ１（ｔ－１）のトラッキングオブジェクトとＢＢｏｘ ＩＤ：Ｂ１（ｔ）の観測値は、関連付けが確定されてペアリングされる。
　一方、不一致リストにおける時刻ｔ－１のトラッキングオブジェクトと、時刻ｔの観測値は、アソシエーション分析処理により、それぞれの間の距離に基づいた関連付けにより、ペアリングされる。図１５の例では、トラッキングＩＤ：ＩＤ２（ｔ－１）のトラッキングオブジェクトとＢＢｏｘ ＩＤ：Ｂ４（ｔ）の観測値がペアリングされている。
　処理Ｐ３４は、ペアリングされた時刻ｔ－１のトラッキングオブジェクトと時刻ｔの観測値を用いて、カルマンフィルタにより、時刻ｔにおける車両の位置を推定する処理である。処理Ｐ３４においては、例えば、時刻ｔ－１のトラッキングオブジェクトに基づいて予測された車両の存在確率と、時刻ｔの観測値に基づいて予測された車両の存在確率とを用いて、時刻ｔにおける車両の位置が推定される。処理Ｐ３４により、トラッキング結果として、時刻ｔのトラッキングオブジェクトが出力される。
　このとき、時刻ｔのトラッキングオブジェクトに含まれるナンバーＮ１'（ｔ）は、時刻ｔの観測値が、特徴情報一致リストに振り分けられた場合には、その値で更新され、不一致リストに振り分けられた場合には、ペアリングされた時刻ｔ－１のトラッキングオブジェクトの値が保持される。
　以上のようにして、第１時刻の観測値と、第１時刻より前の第２時刻のトラッキングオブジェクトにおける特徴情報の比較が繰り返されることで、トラッキング処理が行われる。
　以上の処理によれば、認識された車両の特徴情報を用いて、フレーム画像間での車両の同一判定が行われるので、トラッキングにおけるＩＤスイッチングを抑制し、トラッキング性能を向上させることが可能となる。特に、特徴情報の抽出処理は、車両が認識されたバウンディングボックス内のみを対象とした演算処理であるので、画像全体を対象とした演算処理と比較して演算量を抑えることが可能となる。
＜５．複数の車載カメラを搭載した例＞
　以上においては、車両１に搭載された１台の車載カメラにより車両をトラッキングする例について説明した。これに限らず、車両１に画角と撮影方向が異なる複数の車載カメラを搭載し、それぞれの車載カメラにより車両をトラッキングすることもできる。
　以下においては、複数の車載カメラによる車両のトラッキング結果を統合する構成について説明する。なお、以下の説明においては、５台の車載カメラを搭載した例を示すものとするが、車載カメラの数はこれに限られない。
　図１６は、車両１に搭載された複数の車載カメラの撮影範囲の例を示す図である。
　撮影範囲４０１は、車両１の前方を撮影する広角カメラの撮影範囲を示しており、撮影範囲４０２は、車両１の前方を撮影する挟角カメラの撮影範囲を示している。撮影範囲４０１は、撮影範囲４０２より、車両１の前方の広範囲をカバーしている一方、撮影範囲４０２は、撮影範囲４０１より、車両１の前方の遠い範囲をカバーしている。撮影範囲４０１，４０２が撮影されたカメラ画像は、車両１の前方における車両のトラッキングに用いられる。
　撮影範囲４０３は、車両１の左方を撮影する左カメラの撮影範囲を示しており、撮影範囲４０４は、車両１の右方を撮影する右カメラの撮影範囲を示している。撮影範囲４０３が撮影されたカメラ画像は、車両１の左方における車両のトラッキングに用いられ、撮影範囲４０４が撮影されたカメラ画像は、車両１の右方における車両のトラッキングに用いられる。
　撮影範囲４０５は、車両１の後方を撮影するリアカメラの撮影範囲を示している。撮影範囲４０５が撮影されたカメラ画像は、車両１の後方における車両のトラッキングに用いられる。
　本例においては、撮影範囲４０１乃至４０５それぞれが撮影されたカメラ画像において認識された車両から、トラッキング対象となる車両が特定されてトラッキングされる。
　図１７は、本例における情報処理装置の構成例を示すブロック図である。
　図１７には、広角カメラ４１１、挟角カメラ４１２、左カメラ４１３、右カメラ４１４、リアカメラ４１５、および情報処理装置４３０が示されている。
　広角カメラ４１１は、車両１の前方を撮影することで、図１６の撮影範囲４０１が撮影されたカメラ画像を取得し、情報処理装置４３０に供給する。
　挟角カメラ４１２は、車両１の前方を撮影することで、図１６の撮影範囲４０２が撮影されたカメラ画像を取得し、情報処理装置４３０に供給する。
　左カメラ４１３は、車両１の左方を撮影することで、図１６の撮影範囲４０３が撮影されたカメラ画像を取得し、情報処理装置４３０に供給する。
　右カメラ４１４は、車両１の右方を撮影することで、図１６の撮影範囲４０４が撮影されたカメラ画像を取得し、情報処理装置４３０に供給する。
　リアカメラ４１５は、車両１の後方を撮影することで、図１６の撮影範囲４０５が撮影されたカメラ画像を取得し、情報処理装置４３０に供給する。
　情報処理装置４３０は、情報処理部４３１－１乃至４３１－５と、統合処理部４３２を備えている。
　情報処理部４３１－１乃至４３１－５は、それぞれ、図３の情報処理装置２３０が備える構成を有している。すなわち、情報処理部４３１－１乃至４３１－５は、それぞれ、広角カメラ４１１、挟角カメラ４１２、左カメラ４１３、右カメラ４１４、およびリアカメラ４１５（以下、複数の車載カメラともいう）それぞれにより得られたカメラ画像において、車両１の周囲の車両をトラッキングする。カメラ画像それぞれにおける車両のトラッキング結果は、統合処理部４３２に出力される。
　統合処理部４３２は、画角と撮影方向が異なる複数の車載カメラにより撮影されたカメラ画像それぞれにおける車両のトラッキング結果を統合することで、その車両をトラッキングする。このとき、統合処理部４３２は、所定の時間単位毎に、トラッキング結果を統合する。
　なお、複数の車載カメラそれぞれにおける車両のトラッキング結果においては、同一車両（同一トラッキングＩＤ）のトラッキング結果であっても、例えばバウンディングボックスの大きさなどが異なる場合がある。この場合、統合処理部４３２は、それぞれのトラッキング結果の間で、バウンディングボックスのスケーリングなどを行うようにする。
（統合処理の詳細）
　次に、図１８を参照して、統合処理部４３２によるトラッキング結果の統合処理の詳細について説明する。図１８に示されるように、統合処理部４３２によるトラッキング結果の統合処理においては、主に３つの処理が実行される。ここで、複数の車載カメラはそれぞれ非同期でカメラ画像を撮影するが、カメラ画像それぞれのフレームレート（ｆｐｓ）は同一とされる。
　処理Ｐ４１は、複数の車載カメラそれぞれにおける車両のトラッキング結果を、所定の時間単位毎にグループ化する処理である。上述したように、複数の車載カメラのフレームレートは同一であるので、１フレーム時間（１／ｆｐｓ）内のトラッキング結果を、１つの時刻グループにグループ化することができる。図１８の例では、複数の車載カメラそれぞれについて得られた、時刻ｔ１＿１，ｔ１＿２，ｔ１＿３，ｔ１＿４，ｔ１＿５のトラッキング結果が、１つの時刻グループｔ１にグループ化されている。
　処理Ｐ４２は、１つの時刻グループ内のトラッキング結果を時刻順に並び替える処理である。図１８の例では、複数の車載カメラについてのトラッキング結果が、時刻ｔ１＿２，ｔ１＿１，ｔ１＿４，ｔ１＿５，ｔ１＿３の順に並び替えられ、その時刻順に、処理Ｐ４３の入力となる。
　処理Ｐ４３は、１つの時刻グループ内で時刻順に並び替えられたトラッキング結果を蓄積し、順次、図１５の処理Ｐ３２乃至Ｐ３４と同様の処理を繰り返すことで、１つの時刻グループのトラッキングオブジェクトとして出力する統合処理である。図１８の例では、時刻グループｔ１のトラッキングオブジェクトが出力されている。処理Ｐ４３によって出力されるトラッキングオブジェクトには、トラッキングＩＤを始め、ＢＢｏｘ座標、距離情報や速度情報、特徴情報などが必要に応じて含まれるようにできる。
　以上のようにして、複数の車載カメラについてのトラッキング結果の統合が繰り返されることで、車両のトラッキング処理が行われる。
　以上の処理によれば、複数の車載カメラを備える構成においても、個々の車載カメラについて、認識された車両の特徴情報を用いて、フレーム画像間での車両の同一判定が行われるので、トラッキングにおけるＩＤスイッチングを抑制し、トラッキング性能を向上させることが可能となる。
　以上においては、車両をトラッキング対象とする例を中心に説明したが、車両以外の任意の物体をトラッキング対象とすることができる。
　また、本技術は、車両以外の移動体の周囲の対象物をトラッキングする場合にも適用することが可能である。例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の移動体が想定される。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。
　また、本技術は、例えば、監視システムなど、固定された場所で対象物をトラッキングする場合にも適用することができる。
＜６．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　上述した情報処理装置２３０や情報処理装置４３０は、図１９に示す構成を有するコンピュータ６００により実現される。
　ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３は、バス６０４により相互に接続されている。
　バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、キーボード、マウスなどよりなる入力部６０６、ディスプレイ、スピーカなどよりなる出力部６０７が接続される。また、入出力インタフェース６０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部６０８、ネットワークインタフェースなどよりなる通信部６０９、リムーバブルメディア６１１を駆動するドライブ６１０が接続される。
　以上のように構成されるコンピュータ６００では、ＣＰＵ６０１が、例えば、記憶部６０８に記憶されているプログラムを入出力インタフェース６０５およびバス６０４を介してＲＡＭ６０３にロードして実行することにより、上述した一連の処理が行われる。
　ＣＰＵ６０１が実行するプログラムは、例えばリムーバブルメディア６１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部６０８にインストールされる。
　なお、コンピュータ６００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本技術は以下のような構成をとることができる。
（１）
　フレーム画像単位で物体の特徴情報を抽出する特徴情報抽出部と、
　前記特徴情報を用いて、前記フレーム画像において前記物体をトラッキングするトラッキング処理部と
　情報処理装置。
（２）
　前記特徴情報抽出部は、前記フレーム画像において認識された前記物体を囲う矩形枠に対応する前記特徴情報のみを抽出する
　（１）に記載の情報処理装置。
（３）
　前記トラッキング処理部は、第１時刻と、前記第１時刻より前の第２時刻の前記特徴情報の比較結果に基づいて、前記物体をトラッキングする
　（１）または（２）に記載の情報処理装置。
（４）
　前記トラッキング処理部は、前記第１時刻と前記第２時刻の前記特徴情報が一致した場合、前記第１時刻の前記フレーム画像における前記物体が、前記第２時刻の前記フレーム画像における前記物体と同一であると判定する
　（３）に記載の情報処理装置。
（５）
　前記トラッキング処理部は、前記第１時刻と前記第２時刻の前記特徴情報の一致の度合いを表すスコアが所定の閾値以上の場合に、前記第１時刻と前記第２時刻の前記特徴情報が一致したと判定する
　（４）に記載の情報処理装置。
（６）
　前記特徴情報抽出部は、複数の前記特徴情報を抽出し、
　前記トラッキング処理部は、複数の前記特徴情報についての前記スコアの合計が、前記閾値以上の場合に、前記第１時刻と前記第２時刻の前記特徴情報が一致したと判定する
　（５）に記載の情報処理装置。
（７）
　前記特徴情報抽出部は、１または複数のセンサにより得られたセンサデータに基づいて、前記特徴情報を抽出する
　（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記センサデータは、カメラにより得られた前記フレーム画像、レーダまたはＬｉＤＡＲにより得られた点群データの少なくともいずれかを含む
　（７）に記載の情報処理装置。
（９）
　前記特徴情報抽出部は、前記フレーム画像における前記物体の特徴領域から、前記特徴情報を抽出する
　（８）に記載の情報処理装置。
（１０）
　前記特徴情報は、前記特徴領域に含まれる数字を含む
　（９）に記載の情報処理装置。
（１１）
　前記特徴情報は、前記特徴領域の位置および形状の少なくともいずれかを含む
　（９）に記載の情報処理装置。
（１２）
　前記特徴領域は、車両のナンバープレート、フロントグリル、ライト、およびエンブレムの少なくともいずれかを含む
　（９）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記特徴情報抽出部は、前記物体に反射した前記点群データから、前記特徴情報を抽出する
　（９）に記載の情報処理装置。
（１４）
　前記特徴情報は、前記点群データのカメラ座標系の位置を含む
　（１３）に記載の情報処理装置。
（１５）
　前記特徴情報は、前記点群データの三次元座標系の位置を含む
　（１３）に記載の情報処理装置。
（１６）
　前記特徴情報は、前記点群データそれぞれの反射強度を含む
　（１３）に記載の情報処理装置。
（１７）
　画角と撮影方向が異なる複数のカメラにより撮影された前記フレーム画像それぞれに基づいた前記物体のトラッキング結果を統合することで、前記物体をトラッキングする統合処理部をさらに備える
　（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記統合処理部は、所定の時間単位毎に、前記トラッキング結果を統合する
　（１７）に記載の情報処理装置。
（１９）
　情報処理装置が、
　フレーム画像単位で物体の特徴情報を抽出し、
　前記特徴情報を用いて、前記フレーム画像において前記物体をトラッキングする
　情報処理方法。
（２０）
　コンピュータに、
　フレーム画像単位で物体の特徴情報を抽出し、
　前記特徴情報を用いて、前記フレーム画像において前記物体をトラッキングする
　処理を実行させるためのプログラム。
　１　車両，　６１　分析部，　２１０　カメラ，　２３０　情報処理装置，　２３１　信号処理部，　２３２　車両認識部，　２３３　距離・速度演算部，　２３４　矩形領域切り出し部，　２３５　特徴情報抽出部，　２３６　トラッキング処理部，　４１１　広角カメラ，　４１２　挟角カメラ，　４１３　左カメラ，　４１４　右カメラ，　４１５　リアカメラ，　４３０　情報処理装置，　４３１－１乃至４３１－５　情報処理部，　４３２　統合処理部

Claims (20)

  1. 　フレーム画像単位で物体の特徴情報を抽出する特徴情報抽出部と、
    　前記特徴情報を用いて、前記フレーム画像において前記物体をトラッキングするトラッキング処理部と
    　情報処理装置。
  2. 　前記特徴情報抽出部は、前記フレーム画像において認識された前記物体を囲う矩形枠に対応する前記特徴情報のみを抽出する
    　請求項１に記載の情報処理装置。
  3. 　前記トラッキング処理部は、第１時刻と、前記第１時刻より前の第２時刻の前記特徴情報の比較結果に基づいて、前記物体をトラッキングする
    　請求項１に記載の情報処理装置。
  4. 　前記トラッキング処理部は、前記第１時刻と前記第２時刻の前記特徴情報が一致した場合、前記第１時刻の前記フレーム画像における前記物体が、前記第２時刻の前記フレーム画像における前記物体と同一であると判定する
    　請求項３に記載の情報処理装置。
  5. 　前記トラッキング処理部は、前記第１時刻と前記第２時刻の前記特徴情報の一致の度合いを表すスコアが所定の閾値以上の場合に、前記第１時刻と前記第２時刻の前記特徴情報が一致したと判定する
    　請求項４に記載の情報処理装置。
  6. 　前記特徴情報抽出部は、複数の前記特徴情報を抽出し、
    　前記トラッキング処理部は、複数の前記特徴情報についての前記スコアの合計が、前記閾値以上の場合に、前記第１時刻と前記第２時刻の前記特徴情報が一致したと判定する
    　請求項５に記載の情報処理装置。
  7. 　前記特徴情報抽出部は、１または複数のセンサにより得られたセンサデータに基づいて、前記特徴情報を抽出する
    　請求項１に記載の情報処理装置。
  8. 　前記センサデータは、カメラにより得られた前記フレーム画像、レーダまたはＬｉＤＡＲにより得られた点群データの少なくともいずれかを含む
    　請求項７に記載の情報処理装置。
  9. 　前記特徴情報抽出部は、前記フレーム画像における前記物体の特徴領域から、前記特徴情報を抽出する
    　請求項８に記載の情報処理装置。
  10. 　前記特徴情報は、前記特徴領域に含まれる数字を含む
    　請求項９に記載の情報処理装置。
  11. 　前記特徴情報は、前記特徴領域の位置および形状の少なくともいずれかを含む
    　請求項５に記載の情報処理装置。
  12. 　前記特徴領域は、車両のナンバープレート、フロントグリル、ライト、およびエンブレムの少なくともいずれかを含む
    　請求項９に記載の情報処理装置。
  13. 　前記特徴情報抽出部は、前記物体に反射した前記点群データから、前記特徴情報を抽出する
    　請求項８に記載の情報処理装置。
  14. 　前記特徴情報は、前記点群データのカメラ座標系の位置を含む
    　請求項１３に記載の情報処理装置。
  15. 　前記特徴情報は、前記点群データの三次元座標系の位置を含む
    　請求項１３に記載の情報処理装置。
  16. 　前記特徴情報は、前記点群データそれぞれの反射強度を含む
    　請求項１３に記載の情報処理装置。
  17. 　画角と撮影方向が異なる複数のカメラにより撮影された前記フレーム画像それぞれに基づいた前記物体のトラッキング結果を統合することで、前記物体をトラッキングする統合処理部をさらに備える
    　請求項１に記載の情報処理装置。
  18. 　前記統合処理部は、所定の時間単位毎に、前記トラッキング結果を統合する
    　請求項１７に記載の情報処理装置。
  19. 　情報処理装置が、
    　フレーム画像単位で物体の特徴情報を抽出し、
    　前記特徴情報を用いて、前記フレーム画像において前記物体をトラッキングする
    　情報処理方法。
  20. 　コンピュータに、
    　フレーム画像単位で物体の特徴情報を抽出し、
    　前記特徴情報を用いて、前記フレーム画像において前記物体をトラッキングする
    　処理を実行させるためのプログラム。
PCT/JP2021/024671 2020-07-14 2021-06-30 情報処理装置、情報処理方法、およびプログラム WO2022014327A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022536234A JPWO2022014327A1 (ja) 2020-07-14 2021-06-30
EP21843523.8A EP4140815A4 (en) 2020-07-14 2021-06-30 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN202180048608.XA CN115777116A (zh) 2020-07-14 2021-06-30 信息处理装置、信息处理方法和程序
US17/928,500 US20230206596A1 (en) 2020-07-14 2021-06-30 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020120368 2020-07-14
JP2020-120368 2020-07-14

Publications (1)

Publication Number Publication Date
WO2022014327A1 true WO2022014327A1 (ja) 2022-01-20

Family

ID=79555450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024671 WO2022014327A1 (ja) 2020-07-14 2021-06-30 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20230206596A1 (ja)
EP (1) EP4140815A4 (ja)
JP (1) JPWO2022014327A1 (ja)
CN (1) CN115777116A (ja)
WO (1) WO2022014327A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007522915A (ja) * 2003-11-25 2007-08-16 ロドリゲス、ミルトン 乗り物識別マーキング・システム
JP2009055139A (ja) * 2007-08-23 2009-03-12 Hitachi Kokusai Electric Inc 人物追跡システム、人物追跡装置および人物追跡プログラム
JP2014010765A (ja) * 2012-07-02 2014-01-20 Sumitomo Electric Ind Ltd 移動体検出装置、画像式感知器及びコンピュータプログラム
JP2015032133A (ja) * 2013-08-02 2015-02-16 株式会社日立国際電気 物体検索システム
JP2016046639A (ja) * 2014-08-21 2016-04-04 セコム株式会社 認証装置
JP2018036769A (ja) * 2016-08-30 2018-03-08 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
JP2018180810A (ja) * 2017-04-10 2018-11-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 交通違反検知装置、システム、交通違反検知方法およびプログラム
JP2020009174A (ja) * 2018-07-09 2020-01-16 トヨタ自動車株式会社 車載装置および車両捜索システム
JP6671568B1 (ja) * 2019-07-30 2020-03-25 三菱電機株式会社 センサ診断装置およびセンサ診断プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3707572B1 (en) * 2017-11-10 2023-08-23 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007522915A (ja) * 2003-11-25 2007-08-16 ロドリゲス、ミルトン 乗り物識別マーキング・システム
JP2009055139A (ja) * 2007-08-23 2009-03-12 Hitachi Kokusai Electric Inc 人物追跡システム、人物追跡装置および人物追跡プログラム
JP2014010765A (ja) * 2012-07-02 2014-01-20 Sumitomo Electric Ind Ltd 移動体検出装置、画像式感知器及びコンピュータプログラム
JP2015032133A (ja) * 2013-08-02 2015-02-16 株式会社日立国際電気 物体検索システム
JP2016046639A (ja) * 2014-08-21 2016-04-04 セコム株式会社 認証装置
JP2018036769A (ja) * 2016-08-30 2018-03-08 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
JP2018180810A (ja) * 2017-04-10 2018-11-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 交通違反検知装置、システム、交通違反検知方法およびプログラム
JP2020009174A (ja) * 2018-07-09 2020-01-16 トヨタ自動車株式会社 車載装置および車両捜索システム
JP6671568B1 (ja) * 2019-07-30 2020-03-25 三菱電機株式会社 センサ診断装置およびセンサ診断プログラム

Also Published As

Publication number Publication date
JPWO2022014327A1 (ja) 2022-01-20
EP4140815A4 (en) 2023-09-20
EP4140815A1 (en) 2023-03-01
US20230206596A1 (en) 2023-06-29
CN115777116A (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2022014327A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023145460A1 (ja) 振動検出システムおよび振動検出方法
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022107595A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023032276A1 (ja) 情報処理装置、情報処理方法、及び、移動装置
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2021145227A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21843523

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536234

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021843523

Country of ref document: EP

Effective date: 20221125

NENP Non-entry into the national phase

Ref country code: DE