WO2020202741A1 - 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 - Google Patents

情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 Download PDF

Info

Publication number
WO2020202741A1
WO2020202741A1 PCT/JP2020/002769 JP2020002769W WO2020202741A1 WO 2020202741 A1 WO2020202741 A1 WO 2020202741A1 JP 2020002769 W JP2020002769 W JP 2020002769W WO 2020202741 A1 WO2020202741 A1 WO 2020202741A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
movement
area
vehicle
Prior art date
Application number
PCT/JP2020/002769
Other languages
English (en)
French (fr)
Inventor
佑介 日永田
竜太 佐藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/593,478 priority Critical patent/US20220169245A1/en
Publication of WO2020202741A1 publication Critical patent/WO2020202741A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/45—Pedestrian sidewalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • a pedestrian detecting means for detecting a pedestrian or the like moving along the roadside in the traveling direction of the vehicle
  • a driving operation detecting means for detecting the driving operation of the driver
  • a pedestrian or the like by the pedestrian or the like detecting means includes an automatic steering control means for executing automatic steering control of the vehicle in a direction away from the pedestrian or the like based on the detection, and the automatic steering control means is an operation after the detection of the pedestrian or the like by the pedestrian or the like detection means.
  • the object is in any of the first lane area corresponding to the traveling lane in which the own vehicle is traveling, the second lane area corresponding to the traveling lane in which the own vehicle is not traveling, and the sidewalk area corresponding to the sidewalk.
  • avoidance is started as compared with the case where the object is determined to be located in the second roadway area.
  • the first aspect of the techniques disclosed herein is: Input section for inputting images and An area estimation unit that estimates the area of the object included in the image, and A movement history information acquisition unit that acquires information on the movement history of the object, A contact area determination unit that determines a contact area in contact with the object based on the estimation result of the area estimation unit, A movement range estimation unit that estimates the movement range of the object based on the movement history including the contact area of the object, It is an information processing device provided with.
  • the area estimation unit estimates the object from the image by using semantic segmentation.
  • the contact area estimation unit estimates the semantics of the area where the object touches the ground by using semantic segmentation.
  • the information processing device further includes a movement locus storage unit that stores a movement locus obtained by tracking the object. Then, the movement range estimation unit estimates the movement range of the object based on the movement history including the movement locus of the object.
  • the information processing device includes a movement locus prediction unit that predicts a future movement locus of the object based on the movement locus information of the object, and a movement history and contact area of the object.
  • a contact area prediction unit that predicts the future contact area of the object based on the time series information of the above and the prediction of the future movement trajectory may be further provided.
  • the movement range estimation unit may estimate the movement range of the object based on the predicted future movement trajectory and the contact area of the object.
  • the information processing device is a target area estimation unit that estimates a target area for which the object is to move based on the future movement locus of the object predicted by the movement trajectory prediction unit. And, based on the target area, the movement range re-estimation unit that re-estimates the movement range of the object estimated by the multi-movement range estimation unit may be further provided.
  • the information processing device may further include a three-dimensional area information estimation unit that estimates three-dimensional area information related to the object. Then, the contact area determination unit may further determine the contact area in contact with the object based on the three-dimensional area information.
  • the second aspect of the technology disclosed herein is: Input steps to input images and A region estimation step for estimating the region of the object included in the image, and A movement history information acquisition step for acquiring information on the movement history of the object, and A movement range estimation step that estimates the movement range of the object based on the movement history, It is an information processing method having.
  • the third aspect of the technology disclosed herein is: Input section for inputting images, Area estimation unit that estimates the area of the object included in the image, Movement history information acquisition unit that acquires information on the movement history of the object, A contact area determination unit that determines a contact area in contact with the object based on the estimation result of the area estimation unit, A movement range estimation unit that estimates the movement range of the object based on the movement history including the contact area of the object.
  • Area estimation unit that estimates the area of the object included in the image
  • Movement history information acquisition unit that acquires information on the movement history of the object
  • a contact area determination unit that determines a contact area in contact with the object based on the estimation result of the area estimation unit
  • a movement range estimation unit that estimates the movement range of the object based on the movement history including the contact area of the object.
  • the fourth aspect of the technology disclosed herein is: With the mobile body A camera mounted on the moving body or a camera that photographs the surroundings of the moving body, An area estimation unit that estimates the area of the object included in the image captured by the camera, and A movement history information acquisition unit that acquires information on the movement history of the object, A movement range estimation unit that estimates the movement range of the object based on the movement history, A control unit that controls the operation of the moving body based on the moving range of the object, It is a mobile device provided with.
  • the control unit determines the risk of collision between the moving body and the object based on the comparison result between the future predicted reach of the moving body and the moving range of the object. In addition, the control unit controls the operation of the moving body to avoid the collision.
  • FIG. 16 is a diagram illustrating the estimated movement range of the pedestrian A.
  • FIG. 17 is a diagram illustrating the result of estimating the image area (a map projected in the bird's-eye view direction).
  • FIG. 18 is a diagram illustrating historical information and prediction information of the ground contact surface of the pedestrian A with respect to the bird's-eye view map shown in FIG.
  • FIG. 19 is a diagram illustrating historical information and prediction information of the ground contact surface of the pedestrian A.
  • FIG. 20 is a diagram illustrating a movement range estimated based on historical information and prediction information of the ground contact surface of pedestrian A shown in FIG.
  • FIG. 21 is a diagram illustrating historical information and prediction information of the ground contact surface of the pedestrian A.
  • FIG. 22 is a diagram illustrating historical information and prediction information of the ground contact surface of the pedestrian A.
  • FIG. 23 is a diagram illustrating a movement range estimated based on historical information and prediction information of the ground contact surface of pedestrian A shown in FIG. 22.
  • FIG. 24 is a flowchart showing a processing procedure performed by the information processing system 800.
  • FIG. 25 is a diagram showing a functional configuration example of the information processing system 2500 (third embodiment).
  • FIG. 26 is a diagram illustrating the result of estimating the image area (map projected in the bird's-eye view direction) together with the predicted movement locus of the pedestrian A.
  • FIG. 27 is a diagram illustrating the result of redesigning the movement route of the pedestrian A based on the target area.
  • FIG. 28 is a diagram showing the result of re-estimating the movement range based on the redesigned movement route of the pedestrian A.
  • FIG. 29 is a diagram illustrating an input image.
  • FIG. 30 is a diagram illustrating the results of predicting the future movement locus and contact area of the bicycle A in the image shown in FIG. 29.
  • FIG. 31 is a diagram illustrating historical information and prediction information of the contact patch of the bicycle A.
  • FIG. 32 is a diagram illustrating the result of estimating the image area (map projected in the bird's-eye view direction) together with the prediction of the movement locus and the contact area of the bicycle A.
  • FIG. 33 is a diagram illustrating the result of redesigning the movement path of the bicycle A based on the target area.
  • FIG. 34 is a diagram illustrating the movement range of the bicycle A re-estimated based on the redesigned movement route.
  • FIG. 35 is a flowchart showing a processing procedure (first half) executed by the information processing system 2500.
  • FIG. 36 is a flowchart showing a processing procedure (second half) executed by the information processing system 2500.
  • FIG. 37 is a diagram showing a functional configuration example of the information processing system 3700 (fourth embodiment).
  • FIG. 38 is a flowchart showing a processing procedure performed by the information processing system 3700.
  • the communication network 121 is, for example, from an in-vehicle communication network or bus conforming to an arbitrary standard such as CAN (Control Area Network), LIN (Local Internet Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without going through the communication network 121.
  • the description of the communication network 121 shall be omitted.
  • the input unit 101 and the automatic operation control unit 112 communicate with each other via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply communicate with each other.
  • the input unit 101 includes a device used by the passenger to input various data, instructions, and the like.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device capable of inputting by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, instructions, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors and the like that acquire data used for processing of the vehicle control system 100, and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is equipped with a sensor or the like for detecting the rotation speed of the motor or the rotation speed of the wheels.
  • IMU inertial measurement unit
  • the data acquisition unit 102 includes various sensors for detecting information outside the own vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting the weather, the weather, and the like, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environmental sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ringing, a Laser Imaging Detection and Ranking), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the own vehicle.
  • the data acquisition unit 102 includes a GNSS receiver or the like that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that images the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices, servers, base stations, etc. outside the vehicle, transmits data supplied from each unit of the vehicle control system 100, and transmits the received data to the vehicle control system. It is supplied to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 may support a plurality of types of communication protocols.
  • the communication unit 103 wirelessly communicates with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Further, for example, the communication unit 103 uses a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-Definition) via a connection terminal (and a cable if necessary) (not shown). Wired communication is performed with the in-vehicle device 104 by Link) or the like.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-Definition
  • the communication unit 103 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network or a network peculiar to a business operator) via a base station or an access point. Communicate. Further, for example, the communication unit 103 uses P2P (Peer To Peer) technology with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network or a network peculiar to a business operator
  • the communication unit 103 uses P2P (Peer To Peer) technology with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate.
  • P2P Peer To Peer
  • a terminal for example, a pedestrian or store terminal, or
  • the communication unit 103 includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-home (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Perform V2X communication such as communication. Further, for example, the communication unit 103 is provided with a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic congestion, traffic regulation, or required time. To do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device owned by a passenger, an information device carried in or attached to the own vehicle, a navigation device for searching a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data) and supplies it to the output unit 106 to supply the output unit 105.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image, a panoramic image, or the like, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision, contact, and entry into a danger zone, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision,
  • the drive system control unit 107 controls the drive system system 108 by generating various control signals and supplying them to the drive system system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system system 108 as necessary, and notifies the control state of the drive system system 108.
  • the drive system system 108 includes various devices related to the drive system of the own vehicle.
  • the drive system system 108 includes a drive force generator for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle, and the like. It is equipped with a braking device that generates a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like.
  • the body system 110 includes various body devices equipped on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, winkers, fog lamps, etc.).
  • various lamps for example, headlamps, back lamps, brake lamps, winkers, fog lamps, etc.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 has map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • the detection unit 131 detects various types of information necessary for controlling automatic operation.
  • the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
  • the vehicle outside information detection unit 141 performs detection processing of information outside the own vehicle based on data or signals from each unit of the vehicle control system 100. For example, the vehicle outside information detection unit 141 performs detection processing, recognition processing, tracking processing, and distance detection processing for an object around the own vehicle. Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like. Further, for example, the vehicle outside information detection unit 141 performs detection processing of the environment around the own vehicle. The surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition, and the like.
  • the vehicle outside information detection unit 141 outputs data indicating the result of the detection process to the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. It is supplied to the emergency situation avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the vehicle interior information detection unit 142 performs driver authentication processing and recognition processing, driver status detection processing, passenger detection processing, vehicle interior environment detection processing, and the like.
  • the state of the driver to be detected includes, for example, physical condition, alertness, concentration, fatigue, gaze direction, and the like.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the vehicle interior information detection unit 142 supplies data indicating the result of the detection process to the situational awareness unit 153 of the situational analysis unit 133, the emergency situation avoidance unit 171 of the motion control unit 135, and the like.
  • the vehicle state detection unit 143 performs the state detection process of the own vehicle based on the data or signals from each part of the vehicle control system 100.
  • the states of the vehicle to be detected include, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position / tilt, door lock state, and other in-vehicle devices. The state etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimation unit 132 estimates the position and attitude of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the vehicle exterior information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Perform processing. In addition, the self-position estimation unit 132 generates a local map (hereinafter, referred to as a self-position estimation map) used for self-position estimation, if necessary.
  • the map for self-position estimation is, for example, a high-precision map using a technique such as SLAM (Simultaneus Localization and Mapping).
  • the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. Further, the self-position estimation unit 132 stores the self-position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141 as necessary, and the map analysis unit 151 of various maps stored in the storage unit 111. Perform analysis processing and build a map containing information necessary for automatic operation processing.
  • the map analysis unit 151 applies the constructed map to the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to.
  • the traffic rule recognition unit 152 determines the traffic rules around the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of the signal around the own vehicle, the content of the traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 can be used for data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle condition detection unit 143, and the map analysis unit 151. Based on this, the situation recognition process related to the own vehicle is performed. For example, the situational awareness unit 153 performs recognition processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver of the own vehicle. In addition, the situational awareness unit 153 generates a local map (hereinafter, referred to as a situational awareness map) used for recognizing the situation around the own vehicle, if necessary.
  • the situational awareness map is, for example, an occupied grid map (Occupancy Grid Map).
  • the status of the own vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the own vehicle, and the presence / absence and contents of an abnormality.
  • the surrounding conditions of the vehicle to be recognized include, for example, the type and position of the surrounding stationary object, the type, position and movement of the surrounding animal body (for example, speed, acceleration, moving direction, etc.), and the surrounding road.
  • the composition and road surface condition, as well as the surrounding weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, eye movement, driving operation, and the like.
  • the situational awareness unit 153 supplies data indicating the result of the recognition process (including a situational awareness map, if necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like. Further, the situational awareness unit 153 stores the situational awareness map in the storage unit 111.
  • the situation prediction unit 154 performs a situation prediction process related to the own vehicle based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver.
  • the situation of the own vehicle to be predicted includes, for example, the behavior of the own vehicle, the occurrence of an abnormality, the mileage, and the like.
  • the situation around the vehicle to be predicted includes, for example, the behavior of animals around the vehicle, changes in signal conditions, changes in the environment such as weather, and the like.
  • the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153, provides the data indicating the result of the prediction processing to the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
  • the route planning unit 161 plans a route to the destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. Further, for example, the route planning unit 161 appropriately changes the route based on the conditions of traffic congestion, accidents, traffic restrictions, construction, etc., and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely sets the route planned by the route planning unit 161 within the planned time based on the data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's actions to drive. For example, the action planning unit 162 plans starting, stopping, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), traveling lane, traveling speed, and overtaking. The action planning unit 162 supplies data indicating the planned behavior of the own vehicle to the motion planning unit 163 and the like.
  • the motion planning unit 163 is the operation of the own vehicle for realizing the action planned by the action planning unit 162 based on the data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan. For example, the motion planning unit 163 plans acceleration, deceleration, traveling track, and the like. The motion planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the motion control unit 135.
  • the motion control unit 135 controls the motion of the own vehicle.
  • the motion control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 may collide, contact, enter a danger zone, have a driver abnormality, or cause a vehicle. Performs emergency detection processing such as abnormalities.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle to avoid an emergency situation such as a sudden stop or a sharp turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for realizing a planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the motion planning unit 163 or the emergency situation avoidance unit 171 and controls to indicate the calculated control target value. The command is supplied to the drive system control unit 107.
  • the emergency situation avoidance unit 171 recognizes an obstacle such as a pedestrian or a bicycle based on the detection result of the outside information detection unit 141, and the pedestrian or the bicycle is in front of the own vehicle. Predict the situation where an emergency situation such as a collision of an obstacle such as jumping out to the bicycle will occur. Then, the emergency avoidance unit 171 plans the movement of the own vehicle for avoiding the predicted collision with an obstacle such as a pedestrian or a bicycle, and the acceleration / deceleration control unit outputs data indicating the planned operation of the own vehicle.
  • the damage mitigation braking function is realized.
  • the vehicle control system 100 can also make an alarm such that the output control unit 105 outputs voice data including a warning sound or a warning message from the output unit 106.
  • the movement of an object such as a pedestrian or a bicycle with respect to the own lane is used to predict jumping out or collision with the own vehicle.
  • this specification proposes a technique for determining the possibility of a pedestrian or a bicycle popping out based on the history information of an area in contact with an object such as a pedestrian or a bicycle and estimating the range of the popping out.
  • Semantic segmentation is a technique for identifying what kind of category an image belongs to on a pixel-by-pixel basis. Specifically, what category does the image belong to on a pixel-by-pixel basis based on the degree of matching between the dictionary data for object identification based on the shape of various actual objects and other features and the objects in the image? To identify.
  • Semantic segmentation has the feature that it can identify objects with a finer particle size than ordinary object recognition technology using camera images, etc., because it identifies objects on a pixel-by-pixel basis.
  • semantic segmentation is also characterized in that it is resistant to overlapping between objects, that is, it can identify an object hidden behind an object in the foreground and only partially visible with high accuracy.
  • the area of a pedestrian can be identified from an image captured in front of the vehicle by an in-vehicle camera, and the area where the pedestrian is in contact with the ground (sidewalk, roadway, etc.), and further. Can get close information on areas that are likely to touch the ground.
  • the history information of the area in contact with an object such as a pedestrian or a bicycle is closely acquired, and the behavior of the pedestrian or the bicycle is predicted based on the history information. Potential danger, pedestrians and bicycles can be detected early.
  • FIG. 2 shows a functional configuration example of the information processing system 200 according to the first embodiment.
  • the information processing system 200 has a function of estimating the moving range (that is, the range in which there is a possibility of popping out) of an object such as a pedestrian or a bicycle based on image information around the own vehicle captured by, for example, an in-vehicle camera. Have. Based on the estimation result by the information processing system 200, it is possible to provide driving support such as warning the driver and controlling auxiliary operation or automatic operation of the brake.
  • the illustrated information processing system 200 includes an image input unit 201, an image area estimation unit 202, a tracking unit 203, a contact area determination unit 204, a movement locus information storage unit 205, and a contact area time series information storage unit 206.
  • the object movement range estimation unit 207, the measurement unit 208, the risk level determination unit 209, and the driving support control unit 210 are provided.
  • At least a part of the components of the information processing system 200 is realized by using the components in the vehicle control system 100.
  • some components of the information processing system 200 can be realized by using an information terminal such as a smartphone or a tablet that the passenger brings into the passenger compartment, or other information devices.
  • at least a part of the components of the information processing system 200 can be realized in the form of program code executed on a computer. Further, it is assumed that bidirectional data communication is possible between each component of the information processing system 200 via a bus or by using interprocess communication. Hereinafter, each component in the information processing system 200 will be described.
  • the image input unit 201 inputs image information around the vehicle such as an image captured by the in-vehicle camera. However, it is not necessary to directly input the image information from the image sensor, and the 3D shape information using a distance sensor such as a stereo vision, TOF sensor, or LiDAR, or the 2D bird's-eye view information converted into a 2D bird's-eye view is the same. Map information or time-series measurement information and SLAM, or three-dimensional shape information using SfM (Structure from Motion) may be used.
  • SfM Structure from Motion
  • the image area estimation unit 202 estimates each area in the image input via the image input unit 201.
  • a semantic segmentation technique is used to identify what kind of category the image belongs to in pixel units.
  • the image area estimation unit 202 outputs information with a label that identifies the category for each pixel.
  • An object is extracted based on the estimation result of the image area estimation unit 202.
  • the object referred to here is an object such as a pedestrian or a bicycle that is a target for predicting a collision with the own vehicle.
  • the tracking unit 203 tracks each object extracted based on the estimation result of the image area estimation unit 202 by using the input image via the image input unit 201.
  • the contact area determination unit 204 determines the contact area of each object by using the estimation result of the image area estimation unit 202, that is, semantic segmentation, based on the tracking result of the object by the tracking unit 203. Specifically, the contact area determination unit 204 determines what the contact area is based on the label information given to the contact area of the object. For example, it is determined whether the contact patch of each object such as a pedestrian or a bicycle is a sidewalk, a roadway, or the like.
  • the movement locus information storage unit 205 stores the movement locus information of the object extracted by the tracking unit 203 for each object.
  • the position of each object is expressed as, for example, the position information of the xy coordinate system on the world coordinate system. Then, the information of the movement locus is expressed as the position information of the object at each predetermined interval (time interval or distance interval).
  • the contact area time-series information storage unit 206 stores the time-series information of the contact area of the object determined by the contact area determination unit 204 for each object.
  • the time-series information of the contact area of the object is expressed as the information of the category of the contact area of the object at each predetermined interval (time interval or distance interval). Further, the time-series information of the contact area of the object may include the velocity information of the object.
  • the object movement range estimation unit 207 includes information on the contact area of the object stored in the movement locus information storage unit 205 and a time series of the contact area of the object stored in the contact area time series information storage unit 206. Based on at least one of the information, the estimation result of the image area estimation unit 202, that is, the semantic segmentation is used to estimate the movement range for each object, and the estimated or predicted movement range of each object is output. .. When the time-series information of the contact area of the object includes the velocity information of the object, the object movement range estimation unit 207 may estimate the movement range in consideration of the velocity information of the object. ..
  • the object movement range estimation unit 207 estimates the movement range of the object on a rule basis, for example.
  • the rules here are: "When a pedestrian exits the sidewalk, he crosses the road and crosses the opposite sidewalk.”, "When there is a guard rail between the sidewalk and the road, cross the guard rail and go out to the road.” , "Pedestrians avoid the ground (unpaved areas) and puddle scattered on the sidewalk.”
  • the rule may be a rule written based on the semantics of the area where the object touches or touches the ground.
  • the movement locus of the object (velocity information based on the movement locus) and the time series information of the contact area are used as correction coefficients.
  • the object movement range estimation unit 207 may use machine learning to estimate the movement range of the object. Neural networks are used for machine learning. When machine learning time-series information such as a contact area, a recurrent neural network (RNN) may be used.
  • RNN recurrent neural network
  • the measuring unit 208 measures the steering angle and vehicle speed of the own vehicle.
  • the measurement unit 208 may be the data acquisition unit 102 (described above) in the vehicle control system 100.
  • the measurement unit 208 may be replaced with a function module for inputting vehicle control information such as steering angle and vehicle speed from the vehicle control system 100.
  • the risk determination unit 209 collides with the own vehicle based on the comparison result between the movement range of each object estimated by the object movement range estimation unit 207 and the vehicle control information of the own vehicle such as the steering angle and the vehicle speed. Determine the degree of risk for each object. Specifically, the risk determination unit 209 predicts the future reachable range of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and the future predicted reachable range and the estimated movement range of each object. Search for the intersection with and, and determine that there is a risk of the vehicle colliding with the object for which the intersection was found.
  • the driving support control unit 210 supports the driving of the own vehicle based on the determination result by the risk determination unit 209.
  • the driving support control unit 210 may be the emergency situation avoidance unit 171 (described above) in the vehicle control system 100.
  • the emergency avoidance unit 171 plans the operation of the own vehicle to avoid a collision with an object determined to be in danger of colliding with the own vehicle, and accelerates / decelerates the data indicating the planned operation of the own vehicle.
  • the damage mitigation braking function is realized by supplying to the unit 172 and the direction control unit 173. In addition to the damage mitigation braking function, the vehicle control system 100 can also make an alarm such that the output control unit 105 outputs voice data including a warning sound or a warning message from the output unit 106.
  • the image input by the image input unit 201 from the in-vehicle camera is subjected to semantic segmentation by the image area estimation unit 202 to obtain an image in which the area is divided for each semantics as shown in FIG. I'm assuming a case.
  • a label that identifies the category is given to each pixel, but in FIG. 3, the area of the same label is represented by the same shade.
  • the area image shown in FIG. 3 includes a pedestrian A crossing the roadway in front of the own vehicle.
  • the process of estimating the movement range of the pedestrian A by using the information processing device 200 will be described.
  • the contact area determination unit 204 determines the contact area of each object by using the estimation result of the image area estimation unit 202, that is, semantic segmentation, based on the tracking result of the object by the tracking unit 203. Specifically, the contact area determination unit 204 determines whether the ground contact surface of the pedestrian A is a sidewalk, a roadway, or the like.
  • the information on the ground plane is the information on the label given to the pixels of the contact area of the foot of the pedestrian A. Alternatively, it may be an image obtained by cutting out the contact area itself between the foot of the pedestrian A and the ground as shown in FIG. In the area image shown in FIG. 3, it is determined that the ground contact surface of the pedestrian A is a roadway.
  • the contact area time series information storage unit 206 stores the time series information of the contact area of the pedestrian A determined by the contact area determination unit 204.
  • the time-series information of the contact area of the pedestrian A includes information on the category of the ground contact surface of the pedestrian A at predetermined time intervals.
  • the movement locus information storage unit 205 stores information on the movement locus of the pedestrian A extracted from the area image as shown in FIG. 3 by the tracking unit 203.
  • the information on the movement locus consists of the position information of the pedestrian A at predetermined intervals.
  • FIG. 5 consists of a combination of the category of the ground contact surface of the pedestrian A and the position information at predetermined intervals.
  • the downward direction of the paper is the time axis direction, and the pedestrian A stores the history information of transitioning from the ground plane in the order of sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ roadway ⁇ roadway ⁇ .
  • the object movement range estimation unit 207 estimates the movement range of the pedestrian A based on the history information of the ground contact surface of the pedestrian A as shown in FIG.
  • the object movement range estimation unit 207 estimates the movement range of the object on a rule basis, for example.
  • the rule may be a rule written based on the semantics of the area where the object touches or touches the ground. Further, when estimating the movement range of the object based on the rule, the movement locus of the object (velocity information based on the movement locus) and the time series information of the contact area are used as correction coefficients. Further, the object movement range estimation unit 207 may use machine learning to estimate the movement range of the object. Neural networks are used for machine learning. When machine learning time-series information such as a contact area, RNN may be used.
  • FIG. 6 shows the movement range 601 of the pedestrian A estimated by the object movement range estimation unit 207 based on the contact area time series information of the pedestrian A (see FIG. 5). In addition, the figure also shows the movement range 602 of the pedestrian A estimated based on the speed information of the pedestrian A.
  • the movement range of pedestrian A estimated based on the speed information is estimated based on the position information in the right column (in other words, the movement trajectory information of pedestrian A) in the contact area time series information shown in FIG. It is a pedestrian's movement range derived from the walking speed vector of the pedestrian A, and its direction and area are limited.
  • the pedestrian's movement range 601 is based on not only the position information of the pedestrian A but also the category or semantics of the area where the pedestrian A touches the ground every moment. Can be estimated. For example, it is possible to estimate the pedestrian's movement range 601 based on the tendency of all pedestrians or individual pedestrian A, such as having a history of the contact patch from the sidewalk to the roadway, which tends to accelerate on the way. .. By estimating the movement range of the pedestrian A using the information processing system 200, there is an effect that the danger of the pedestrian A accelerating while crossing the roadway and jumping out can be detected at an early stage.
  • the movement range 601 is wider than the movement range 602 estimated based only on the speed information.
  • the movement range estimated based on the contact area time series information is the movement range estimated based on the speed information. It is expected that the direction and area will be smaller than that.
  • the measuring unit 208 measures the steering angle and vehicle speed of the own vehicle. Then, the risk determination unit 209 predicts the future reachable range of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and the future reachable range and the estimated movement range 601 of the pedestrian A ( The intersection with the above-mentioned) is searched, and if the intersection is found, it is determined that there is a danger that the pedestrian A and the own vehicle will collide.
  • the driving support control unit 210 When the risk determination unit 209 determines that there is a risk of collision between the pedestrian A and the own vehicle, the driving support control unit 210 operates the own vehicle to avoid the collision between the own vehicle and the pedestrian A.
  • the damage mitigation braking is carried out by supplying data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173. Further, the driving support control unit 210 may issue an alarm such as outputting voice data including a warning sound or a warning message from the output unit 106 together with the damage mitigation brake.
  • FIG. 7 shows the processing procedure performed by the information processing system 200 in the form of a flowchart.
  • the image input unit 201 inputs image information around the vehicle such as an image captured by the in-vehicle camera (step S701).
  • the image area estimation unit 202 performs semantic segmentation processing on the input image and outputs the processing result (step S702).
  • the tracking unit 203 checks whether or not an object exists in the region image that has been subjected to the semantic segmentation processing (step S703).
  • the object referred to here is an object such as a pedestrian, a bicycle, or a peripheral vehicle, which is a target for predicting a collision with the own vehicle.
  • step S703 If the object is not found (No in step S703), the process returns to step S701 and the next image is input.
  • the tracking unit 203 extracts the information of the object from the area image subjected to the semantic segmentation processing, and tracks each object using the image input in step S701. (Step S704).
  • the contact area determination unit 204 extracts information on the contact area of each object based on the estimation result of the image area estimation unit 202 and the tracking result of the object by the tracking unit 203 (step S705).
  • the contact area time series information storage unit 206 stores the contact area information of each object extracted by the contact area determination unit 204 in time series for each object (step S706).
  • the movement locus information storage unit 205 saves the movement locus information of the object extracted by the tracking unit 203 for each object (step S707).
  • step S703 the total number of objects found in step S703 is substituted into the variable N, and the initial value 1 is substituted into the variable i that counts the processed objects (step S708).
  • the movement history information and the contact area time series information of the i-th object are read from the movement history information storage unit 205 and the contact area time series information storage unit 206 (step S709), respectively, and the object movement range estimation unit 207 The moving range of the i-th object is estimated (step S710).
  • step S717 if i is less than N, that is, if an unprocessed object remains (No in step S711), i is incremented by 1 (step S717), and then the process returns to step S709 to return to the next object.
  • the moving range estimation process for is repeatedly performed.
  • the risk determination unit 209 predicts the future reach of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed (step S712).
  • the risk determination unit 209 searches for the intersection of the future predicted reach range of the own vehicle and the estimated movement range of each object (step S713).
  • the risk determination unit 209 calculates the time until the own vehicle reaches the intersection (step S714).
  • the risk determination unit 209 compares the arrival time to the intersection of the own vehicle with the predetermined threshold value (step S715).
  • the risk determination unit 209 determines that there is a risk of the own vehicle colliding with the object, and the driving support control unit The 210 supports the driving of the own vehicle based on the determination result by the risk determination unit 209 (step S716).
  • the driving support control unit 210 plans the operation of the own vehicle to avoid a collision with an object determined to be in danger of colliding with the vehicle, and the acceleration / deceleration control unit stores data indicating the planned operation of the own vehicle.
  • the damage mitigation braking function is realized.
  • the output control unit 105 may issue an alarm such as outputting voice data including a warning sound or a warning message from the output unit 106.
  • the risk determination unit 209 determines that there is no danger of the own vehicle colliding with the object, and returns to step S701. Then, the above-mentioned tracking of the object, estimation of the movement range of the object, and risk determination processing are repeatedly executed.
  • FIG. 8 shows a functional configuration example of the information processing system 800 according to the second embodiment.
  • the information processing system 800 has a function of estimating the moving range of an object such as a pedestrian or a bicycle based on image information around the own vehicle captured by, for example, an in-vehicle camera. Based on the estimation result by the information processing system 800, it is possible to provide driving support such as warning the driver and controlling auxiliary operation or automatic operation of the brake.
  • the illustrated information processing system 800 includes an image input unit 801, an image area estimation unit 802, a tracking unit 803, a contact area determination unit 804, a movement locus information storage unit 805, and a contact area time series information storage unit 806.
  • the object movement range estimation unit 807, the object movement trajectory prediction unit 808, the object contact area prediction unit 809, the measurement unit 810, the risk determination unit 811, and the driving support control unit 812 are provided.
  • At least some of the components of the information processing system 800 are realized by using the components in the vehicle control system 100.
  • some components of the information processing system 800 can be realized by using an information terminal such as a smartphone or a tablet that the passenger brings into the passenger compartment, or other information devices.
  • an information terminal such as a smartphone or a tablet that the passenger brings into the passenger compartment, or other information devices.
  • bidirectional data communication is possible between each component of the information processing system 800 via a bus or by using interprocess communication.
  • each component in the information processing system 800 will be described.
  • the image input unit 801 inputs image information around the vehicle such as an image captured by the in-vehicle camera. However, it is not necessary to directly input the image information from the image sensor, and the 3D shape information using a distance sensor such as a stereo vision, TOF sensor, or LiDAR, or the 2D bird's-eye view information converted into a 2D bird's-eye view is the same. Map information or time-series measurement information and three-dimensional shape information using SLAM or SfM may be used.
  • the image area estimation unit 802 estimates each area in the image input via the image input unit 801 by using the semantic segmentation technique, and outputs information with a label that identifies the category for each pixel. .. An object is extracted based on the estimation result of the image area estimation unit 802.
  • the tracking unit 803 tracks each object extracted based on the estimation result of the image area estimation unit 802 using the input image via the image input unit 801.
  • the contact area determination unit 804 determines the contact area of each object from the estimation result of the image area estimation unit 802 based on the tracking result of the object by the tracking unit 803. For example, it is determined whether the contact patch of each object such as a pedestrian or a bicycle is a sidewalk, a roadway, or the like.
  • the movement locus information storage unit 805 stores the movement locus information of the object extracted by the tracking unit 803 for each object. Further, the contact area time-series information storage unit 806 stores the time-series information of the contact area of the object determined by the contact area determination unit 804 for each object.
  • the object movement locus prediction unit 808 predicts the future movement locus of the object based on the movement locus information for each object stored in the movement locus information storage unit 805.
  • the object movement regulation prediction unit 808 may use machine learning to predict the movement trajectory of the object. Neural networks are used for machine learning. RNN may be used for machine learning of time-series information such as a movement locus.
  • the object contact area prediction unit 809 predicts the contact area in which the object movement locus prediction unit 808 makes contact on the future movement locus of each object, which is predicted by the object movement locus prediction unit 808. It is predicted from the future movement locus of each object and the estimation result of the image area estimation unit 802.
  • the object contact area prediction unit 809 may use machine learning to predict the contact area of the object. Neural networks are used for machine learning.
  • the object movement range estimation unit 807 includes information on the contact area of the object stored in the movement locus information storage unit 805 and a time series of the contact area of the object stored in the contact area time series information storage unit 806. From the information, and further, the estimation result of the image area estimation unit 802 based on the future movement trajectory predicted by the object movement trajectory prediction unit 808 and the future contact area predicted by the object contact area prediction unit 809. The movement range of each object is estimated, and the estimated or predicted movement range of each object is output. When the time-series information of the contact area of the object includes the velocity information of the object, the object movement range estimation unit 807 may estimate the movement range in consideration of the velocity information of the object. ..
  • the measuring unit 810 measures the steering angle and vehicle speed of the own vehicle.
  • the measurement unit 810 may be the data acquisition unit 102 (described above) in the vehicle control system 100.
  • the measurement unit 810 may be replaced with a function module for inputting vehicle control information such as steering angle and vehicle speed from the vehicle control system 100.
  • the risk determination unit 811 collides with the own vehicle based on the comparison result between the movement range of each object estimated by the object movement range estimation unit 807 and the vehicle control information of the own vehicle such as the steering angle and the vehicle speed. Judge the degree of risk for each object. Specifically, the risk determination unit 811 predicts the future reach of the vehicle from the vehicle control information of the vehicle such as the steering angle and the vehicle speed, and predicts the future reach and the estimated movement range of each object. It searches for the intersection with and determines that there is a danger that the vehicle will collide with the object for which the intersection was found.
  • the driving support control unit 812 supports the driving of the own vehicle based on the determination result by the risk determination unit 811.
  • the driving support control unit 812 may be an emergency situation avoidance unit 171 (described above) in the vehicle control system 100.
  • the emergency avoidance unit 171 plans the operation of the own vehicle to avoid a collision with an object determined to be in danger of colliding with the own vehicle, and accelerates / decelerates the data indicating the planned operation of the own vehicle.
  • the damage mitigation braking function is realized by supplying to the unit 172 and the direction control unit 173.
  • the vehicle control system 100 can also make an alarm such that the output control unit 105 outputs voice data including a warning sound or a warning message from the output unit 106.
  • the image input from the image input unit 801 is subjected to semantic segmentation by the image area estimation unit 802 to obtain the area image shown in FIG. 3, and the category is identified for each pixel. It is labeled. Then, the process of estimating the movement range of the pedestrian A by using the information processing system 800 will be described.
  • the contact area determination unit 804 determines the contact area of the pedestrian A from the estimation result of the image area estimation unit 802 based on the tracking result of the object by the tracking unit 803. Specifically, the contact area determination unit 804 determines whether the ground contact surface of the pedestrian A is a sidewalk, a roadway, or the like. The information on the ground plane is the information on the label given to the pixels of the contact area of the foot of the pedestrian A. In the area image shown in FIG. 3, it is determined that the ground contact surface of the pedestrian A is a roadway. Then, the contact area time series information storage unit 806 stores the time series information of the contact area of the pedestrian A determined by the contact area determination unit 804. The time-series information of the contact area of the pedestrian A includes information on the category of the ground contact surface of the pedestrian A at predetermined time intervals.
  • the movement locus information storage unit 805 stores information on the movement locus of the pedestrian A extracted from the area image as shown in FIG. 3 by the tracking unit 803.
  • the information on the movement locus consists of the position information of the pedestrian A at predetermined intervals.
  • the object movement locus prediction unit 808 predicts the future movement locus of the pedestrian A based on the movement locus information of the pedestrian A stored in the movement locus information storage unit 805. Further, the object contact area prediction unit 809 sequentially contacts the contact area on the future movement locus of the pedestrian A predicted by the object movement locus prediction unit 808 from the estimation result of the image area estimation unit 802. Predict.
  • FIG. 9 illustrates the result of predicting the movement locus and the contact area of the pedestrian A with respect to the area image shown in FIG.
  • the movement locus 901 in which the pedestrian A walking across the roadway will reach the sidewalk on the opposite side (walking direction) in the future is predicted, and the future of the pedestrian A is predicted.
  • the sidewalk is predicted as a contact area.
  • the upper half of FIG. 10 is shown based on the time-series information of the contact area of the pedestrian A read from the contact area time-series information storage unit 806 and the movement locus information of the pedestrian A read from the movement locus information storage unit 805. Such historical information on the ground contact surface of the pedestrian A can be created.
  • the lower part of FIG. It is possible to create prediction information of the ground contact surface of pedestrian A as shown in half.
  • the movement locus of the pedestrian A walking across the roadway to reach the sidewalk on the opposite side (walking direction) in the future is predicted, and the future of the pedestrian A is predicted.
  • the sidewalk is predicted as a contact area.
  • Both the history information and the prediction information shown in FIG. 10 consist of a combination of the category of the ground contact surface of the pedestrian A and the position information at predetermined intervals.
  • the downward direction of the paper is the time axis direction, and the history information that pedestrian A has transitioned from the sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ roadway ⁇ roadway ⁇ roadway ⁇ ... is saved, and pedestrian A will be on the roadway in the future. It is predicted that the transition will be as follows: roadway ⁇ roadway ⁇ roadway ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ ....
  • the object movement locus prediction unit 808 and the object contact area prediction unit 809 may each predict a plurality of prediction patterns.
  • the object movement range estimation unit 807 estimates the movement range of the pedestrian A based on the history information and the prediction information of the ground contact surface of the pedestrian A as shown in FIG.
  • the object movement range estimation unit 807 estimates the movement range of the object on a rule basis, for example.
  • the rule may be a rule written based on the semantics of the area where the object touches or touches the ground. Further, when estimating the movement range of the object based on the rule, the movement locus of the object (velocity information based on the movement locus) and the time series information of the contact area are used as correction coefficients.
  • the object movement range estimation unit 807 may use machine learning to estimate the movement range of the object. Neural networks are used for machine learning. When machine learning time-series information such as a contact area, RNN may be used.
  • FIG. 11 shows the movement range 1101 of the pedestrian A estimated by the object movement range estimation unit 807 based on the history information and the prediction information of the ground contact surface of the pedestrian A.
  • the figure also shows the movement range 1102 of the pedestrian A estimated based on the speed information of the pedestrian A.
  • the object movement locus prediction unit 808 predicts the movement locus of the pedestrian A walking across the roadway to reach the sidewalk on the opposite side (walking direction) in the future, and the target.
  • the object contact area prediction unit 809 predicts the sidewalk as the future contact area of the pedestrian A.
  • the object movement range estimation unit 806 may accelerate until the pedestrian A reaches the sidewalk based on the movement trajectory that the pedestrian A may contact the sidewalk in the future and the prediction result of the contact area. Based on the prediction that the pedestrian A is high, the wide movement range 1101 of the pedestrian A (extending widely toward the sidewalk) is estimated. It can also be said that the object movement range estimation unit 807 can estimate a wider movement range by adding the prediction information to the history information.
  • the movement range 1102 of the pedestrian A estimated based on the speed information is the position information in the right column of the contact area time series information shown in FIG. 10 (in other words, the movement trajectory information of the pedestrian A and its prediction thereof. Information) is the range of movement of the pedestrian, which is derived from the walking speed vector of the pedestrian A estimated based on the information), and its direction and area are limited.
  • the measuring unit 810 measures the steering angle and vehicle speed of the own vehicle.
  • the risk determination unit 811 predicts the future reach range of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and the future reach reach range and the estimated movement range 1101 of the pedestrian A (described above). If the intersection is found, it is determined that there is a danger that the pedestrian A and the own vehicle will collide with each other. Then, when the driving support control unit 812 determines that the risk level determination unit 811 is in danger of colliding with the pedestrian A and the pedestrian A, the driving support control unit 812 avoids the collision between the pedestrian A and the pedestrian A.
  • the damage mitigation braking is carried out by planning the operation of the vehicle and supplying data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173. Further, the driving support control unit 812 may issue an alarm such as outputting voice data including a warning sound or a warning message from the output unit 106 together with the damage mitigation brake.
  • FIG. 12 shows the semantic information of the result of processing the input image assumed in this operation example by the image area estimation unit 802 by projecting it in the bird's-eye view direction. Then, the pedestrian A who came out from the building to the sidewalk is targeted. Further, in the example of the bird's-eye view map shown in FIG. 12, as the contact area (ground plane) of the pedestrian A, a building, a sidewalk, a guardrail, a roadway, and the like can be mentioned.
  • the contact area determination unit 804 determines the contact area of each object from the estimation result of the image area estimation unit 802 based on the tracking result of the object by the tracking unit 803. Specifically, the contact area determination unit 804 determines which of the building, sidewalk, guardrail, and roadway the ground contact surface of the pedestrian A is.
  • the information on the ground plane is the information on the label given to the pixels of the contact area of the foot of the pedestrian A. In the area image shown in FIG. 12, the ground plane of the pedestrian A is determined in the order of the building and the sidewalk.
  • the contact area time series information storage unit 806 stores the time series information of the contact area of the pedestrian A determined by the contact area determination unit 804.
  • the time-series information of the contact area of the pedestrian A includes information on the category of the ground contact surface of the pedestrian A at predetermined time intervals.
  • the movement locus information storage unit 805 stores the movement locus information of the pedestrian A extracted from the area image by the tracking unit 803.
  • the information on the movement locus consists of the position information of the pedestrian A at predetermined intervals.
  • the object movement locus prediction unit 808 predicts the future movement locus of the pedestrian A based on the movement locus information of the pedestrian A stored in the movement locus information storage unit 805. Further, the object contact area prediction unit 809 sequentially contacts the contact area on the future movement locus of the pedestrian A predicted by the object movement locus prediction unit 808 from the estimation result of the image area estimation unit 802. Predict.
  • FIG. 13 illustrates the result of predicting the movement locus and the contact area of the pedestrian A with respect to the bird's-eye view map shown in FIG.
  • the pedestrian A who came out from the building to the sidewalk predicts the movement locus 1301 which will continue to walk across the roadway and reach the sidewalk on the opposite side in the future.
  • the movement trajectory over the guardrail is predicted, and when the ground contact area includes the guardrail between the sidewalk and the roadway and between the sidewalk on the opposite side of the roadway. The series is predicted.
  • the upper half of FIG. 14 is shown based on the time-series information of the contact area of the pedestrian A read from the contact area time-series information storage unit 806 and the movement locus information of the pedestrian A read from the movement locus information storage unit 805. Such historical information on the ground contact surface of the pedestrian A can be created.
  • the lower part of FIG. It is possible to create prediction information of the ground contact surface of pedestrian A as shown in half.
  • the movement trajectory of pedestrian A walking to the opposite sidewalk in the future is predicted, and the guardrail is overcome, the sidewalk goes out from the sidewalk, the road continues to walk for a while, and the guardrail is used again. It predicts the future contact area of pedestrian A as he gets over and enters the sidewalk on the other side. It can also be predicted based on the semantics of the contact area that it takes time to get over the guardrail (in other words, the speed of movement on the guardrail is slower than that on the sidewalk or the roadway).
  • Both the history information and the prediction information shown in FIG. 14 consist of a combination of the category of the ground contact surface of the pedestrian A and the position information at predetermined intervals.
  • the downward direction of the paper is the time axis direction, and the history information that pedestrian A has transitioned from the ground surface to the building ⁇ building ⁇ building ⁇ building ⁇ sidewalk ⁇ sidewalk ⁇ ... is saved, and pedestrian A will be on the sidewalk in the future. It is predicted that the transition will be as follows: guardrail ⁇ guardrail ⁇ guardrail ⁇ guardrail ⁇ roadway ⁇ roadway ⁇ ....
  • the object movement locus prediction unit 808 and the object contact area prediction unit 809 may each predict a plurality of prediction patterns.
  • the object movement range estimation unit 807 estimates the movement range of the pedestrian A based on the history information and the prediction information of the ground contact surface of the pedestrian A as shown in FIG.
  • the object movement range estimation unit 807 estimates the movement range of the object on a rule basis, for example.
  • the rule may be a rule written based on the semantics of the area where the object touches or touches the ground. Further, when estimating the movement range of the object based on the rule, the movement locus of the object (velocity information based on the movement locus) and the time series information of the contact area are used as correction coefficients.
  • the object movement range estimation unit 807 may use machine learning to estimate the movement range of the object. Neural networks are used for machine learning. When machine learning time-series information such as a contact area, RNN may be used.
  • the object movement range estimation unit 807 may set the ease of movement on the label of each contact area when estimating the movement range.
  • the ease of movement setting may be based on the semantics of each area, or may be based on the empirical rule of the system designer or the analysis result. Further, the setting may be made based on learning (Deep Learning: DL) using DNN (Deep Neural Network).
  • FIG. 15 shows an example of setting the ease of movement for each contact area.
  • FIG. 16 shows the movement range 1601 of the pedestrian A estimated by the object movement range estimation unit 807 based on the history information and the prediction information of the ground contact surface of the pedestrian A.
  • the figure also shows the movement range 1602 of the pedestrian A estimated based on the speed information of the pedestrian A.
  • the object movement range estimation unit 807 can estimate the movement range in which the pedestrian A turns to the left or right and walks on the sidewalk.
  • the over-detection of the speed information of the pedestrian A is suppressed, and the difficulty that the pedestrian A gets over the guardrail is avoided. It has the effect of being able to estimate a reasonable movement range that includes many easy-to-use contact areas.
  • the measuring unit 810 measures the steering angle and vehicle speed of the own vehicle.
  • the risk determination unit 811 predicts the future reach of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and the intersection of the predicted reach of the future and the estimated movement range 1601 of the pedestrian A. However, since the intersection is not detected, it is determined that there is no danger of the vehicle colliding with the pedestrian A. Therefore, in this case, the driving support control unit 812 does not apply the damage mitigation brake, and the output unit 106 does not output a warning sound or a warning message.
  • FIG. 17 shows the semantic information of the result of processing the input image assumed in this operation example by the image area estimation unit 802 in the bird's-eye view direction. Then, the pedestrian A who came out from the building to the sidewalk is targeted. Further, in the example of the bird's-eye view map shown in FIG. 17, as the contact area (contact patch) of the pedestrian A, a building, a sidewalk, a puddle, a ground (exposed ground in the sidewalk, an unpaved part, etc.), a roadway, etc. are used. Can be mentioned.
  • the contact area determination unit 804 determines the contact area of each object from the estimation result of the image area estimation unit 802 based on the tracking result of the object by the tracking unit 803. Specifically, the contact area determination unit 804 determines which of the building, sidewalk, puddle, ground, and roadway the ground contact surface of the pedestrian A is. The information on the ground plane is the information on the label given to the pixels of the contact area of the foot of the pedestrian A. Then, the contact area time series information storage unit 806 stores the time series information of the contact area of the pedestrian A determined by the contact area determination unit 804. The time-series information of the contact area of the pedestrian A includes information on the category of the ground contact surface of the pedestrian A at predetermined time intervals.
  • the movement locus information storage unit 805 stores the movement locus information of the pedestrian A extracted from the area image by the tracking unit 803.
  • the information on the movement locus consists of the position information of the pedestrian A at predetermined intervals.
  • the object movement locus prediction unit 808 predicts the future movement locus of the pedestrian A based on the movement locus information of the pedestrian A stored in the movement locus information storage unit 805. Further, the object contact area prediction unit 809 sequentially contacts the contact area on the future movement locus of the pedestrian A predicted by the object movement locus prediction unit 808 from the estimation result of the image area estimation unit 802. Predict.
  • FIG. 18 illustrates the result of predicting the movement locus and the contact area of the pedestrian A with respect to the bird's-eye view map shown in FIG.
  • the pedestrian A who has traveled straight on the sidewalk predicts a movement route 1801 which will continue to walk straight on the sidewalk in the future.
  • a time series of the ground contact area including the ground is predicted following the sidewalk.
  • the upper half of FIG. 19 is shown based on the time-series information of the contact area of the pedestrian A read from the contact area time-series information storage unit 806 and the movement locus information of the pedestrian A read from the movement locus information storage unit 805. Such historical information on the ground contact surface of the pedestrian A can be created.
  • the lower part of FIG. It is possible to create prediction information of the ground contact surface of pedestrian A as shown in half. In the example shown in FIG. 19, the future of the pedestrian A who predicts the movement locus of the pedestrian A going straight on the sidewalk and passes over the first ground existing in the current course of the pedestrian A. Predict the contact area.
  • Both the history information and the prediction information shown in FIG. 19 consist of a combination of the category of the ground contact surface of the pedestrian A and the position information at predetermined intervals.
  • the downward direction of the paper is the time axis direction, and the history information that pedestrian A transitions from the sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ ... is saved, and pedestrian A is on the sidewalk in the future. It is predicted that the transition will be as follows: ground ⁇ ground ⁇ ground ⁇ sidewalk ⁇ sidewalk ⁇ ....
  • the object movement locus prediction unit 808 and the object contact area prediction unit 809 may each predict a plurality of prediction patterns.
  • the object movement range estimation unit 807 estimates the movement range of the pedestrian A based on the history information and the prediction information of the ground contact surface of the pedestrian A as shown in FIG.
  • the object movement range estimation unit 807 estimates the movement range of the object on a rule basis, for example.
  • the rule may be a rule written based on the semantics of the area where the object touches or touches the ground. Further, when estimating the movement range of the object based on the rule, the movement locus of the object (velocity information based on the movement locus) and the time series information of the contact area are used as correction coefficients.
  • the object movement range estimation unit 807 may use machine learning to estimate the movement range of the object. Neural networks are used for machine learning. When machine learning time-series information such as a contact area, RNN may be used.
  • the object movement range estimation unit 807 may set the ease of movement on the label of each contact area when estimating the movement range.
  • the ease of movement setting may be based on the semantics of each area, or may be based on the empirical rule of the system designer or the analysis result. Further, the setting may be made based on the DL using DNN.
  • FIG. 20 shows the movement range 2001 of the pedestrian A estimated by the object movement range estimation unit 807 based on the history information and the prediction information of the ground contact surface of the pedestrian A.
  • the figure also shows the movement range 2002 of the pedestrian A estimated based on the speed information of the pedestrian A.
  • the movement range in which pedestrian A walks on the ground is estimated.
  • the object movement range estimation unit 807 can estimate the movement route in which the pedestrian A walks off the roadway in order to avoid the ground, as shown in the reference number 2001.
  • the over-detection of the speed information of the pedestrian A is suppressed, the pedestrian A avoids the ground and the puddle, and the shoes are easy to walk.
  • a realistic moving range 2001 including many contact areas that are hard to be soiled can be estimated.
  • the measuring unit 810 measures the steering angle and vehicle speed of the own vehicle.
  • the risk determination unit 811 predicts the future reach of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and the intersection of the predicted reach of the future and the estimated movement range 2001 of the pedestrian A. To explore. In this case, since the intersection with the portion of the estimated movement range 2001 that protrudes from the sidewalk is found, the risk determination unit 811 determines that there is a risk of the pedestrian A colliding with the own vehicle. Then, the driving support control unit 812 plans the operation of the own vehicle for avoiding the collision between the own vehicle and the pedestrian A protruding from the sidewalk, and the acceleration / deceleration control unit 172 provides data indicating the planned operation of the own vehicle. And by supplying to the direction control unit 173, the damage mitigation brake is implemented. Further, the driving support control unit 812 may issue an alarm such as outputting voice data including a warning sound or a warning message from the output unit 106 together with the damage mitigation brake.
  • FIG. 21 illustrates the result of predicting the movement locus and the contact area after the pedestrian A has passed the ground in front of the pedestrian A.
  • the pedestrian A who has traveled straight on the sidewalk predicts a movement route 2101 that will continue to walk straight on the sidewalk in the future.
  • a time series of the ground contact area including the ground is predicted following the sidewalk.
  • the upper half of FIG. 22 is shown based on the time-series information of the contact area of the pedestrian A read from the contact area time-series information storage unit 806 and the movement locus information of the pedestrian A read from the movement locus information storage unit 805. Such historical information on the ground contact surface of the pedestrian A can be created.
  • the lower part of FIG. 22 It is possible to create prediction information of the ground contact surface of pedestrian A as shown in half. In the example shown in FIG. 22, the future of the pedestrian A who predicts the movement locus of the pedestrian A going straight on the sidewalk and passes on the second ground existing in the current course of the pedestrian A. Predict the contact area.
  • Both the history information and the prediction information shown in FIG. 22 consist of a combination of the category and the position information of the ground contact surface of the pedestrian A at predetermined intervals.
  • the downward direction of the paper is the time axis direction, and the history information that pedestrian A has transitioned from the sidewalk to the ground to the ground to the ground to the sidewalk to the sidewalk to ... It is predicted that the transition will be as follows: ground ⁇ ground ⁇ ground ⁇ sidewalk ⁇ sidewalk ⁇ ....
  • the object movement locus prediction unit 808 and the object contact area prediction unit 809 may each predict a plurality of prediction patterns.
  • the object movement range estimation unit 807 estimates the movement range of the pedestrian A based on the history information and the prediction information of the ground contact surface of the pedestrian A as shown in FIG. 22.
  • the object movement range estimation unit 807 may set the ease of movement on the label of each contact area when estimating the movement range.
  • FIG. 23 shows the movement range 2301 of the pedestrian A estimated by the object movement range estimation unit 807 based on the history information and the prediction information of the ground contact surface of the pedestrian A.
  • the figure also shows the movement range 2302 of the pedestrian A estimated based on the speed information of the pedestrian A.
  • the ease of movement set for each contact area is set, such as easier walking on the paved part than unpaved, and dirt on the shoes when stepping on the ground (described above).
  • pedestrian A is walking on both the sidewalk and the ground, and does not show any movement to avoid the first ground. Therefore, the pedestrian A may avoid the ground when entering the second ground from the sidewalk, but the object movement range estimation unit 807 estimates that the possibility of avoiding the ground is low when referring to the history. be able to.
  • the contact area prediction based on the history of the pedestrian A makes the movement reasonable. There is an effect that the range 2301 can be estimated.
  • the measuring unit 810 measures the steering angle and vehicle speed of the own vehicle.
  • the risk determination unit 811 predicts the future reach of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and the intersection of the predicted future reach and the estimated movement range 1601 of the pedestrian A. However, since the intersection is not detected, it is determined that there is no danger of the vehicle colliding with the pedestrian A. Therefore, in this case, the driving support control unit 812 does not apply the damage mitigation brake, and the output unit 106 does not output a warning sound or a warning message.
  • FIG. 24 shows the processing procedure performed by the information processing system 800 in the form of a flowchart.
  • the image input unit 801 inputs image information around the vehicle such as an image captured by the in-vehicle camera (step S2401).
  • the image area estimation unit 802 performs semantic segmentation processing on the input image and outputs the processing result (step S2402).
  • the tracking unit 803 checks whether or not an object exists in the area image subjected to the semantic segmentation processing (step S2403).
  • the object referred to here is an object such as a pedestrian, a bicycle, or a peripheral vehicle, which is a target for predicting a collision with the own vehicle.
  • the tracking unit 803 extracts information about the object from the area image subjected to the semantic segmentation processing, and uses the image input in step S2401 to select each object. Track (step S2404).
  • the contact area determination unit 804 extracts information on the contact area of each object based on the estimation result of the image area estimation unit 802 and the tracking result of the object by the tracking unit 803 (step S2405).
  • the contact area time series information storage unit 806 stores the contact area information of each object extracted by the contact area determination unit 804 in time series for each object (step S2406).
  • the movement locus information storage unit 805 stores the movement locus information of the object extracted by the tracking unit 803 for each object (step S2407).
  • step S2403 the total number of objects found in step S2403 is substituted into the variable N, and the initial value 1 is substituted into the variable i that counts the processed objects (step S2408).
  • the object movement trajectory prediction unit 808 is i. Based on the movement locus information of the third object, the future movement locus of the object is predicted (step S2410). Further, the object contact area prediction unit 809 includes the future movement locus of the i-th object predicted by the object movement locus prediction unit 808 in the preceding step S2401 and the i-th object by the image area estimation unit 802. Based on the estimation result, the area that the object will come into contact with in the future is predicted (step S2411).
  • the movement history information and the contact area time-series information of the i-th object are read from the movement history information storage unit 805 and the contact area time-series information storage unit 806, respectively, and the future contact area of the i-th object.
  • the prediction result of the above is input from the object contact area prediction unit 809, and the movement range of the i-th object is estimated by the object movement range estimation unit 807 (step S2412).
  • step S2419 if i is less than N, that is, if an unprocessed object remains (No in step S2413), i is incremented by 1 (step S2419), and then the process returns to step S2409 to return to the next object.
  • the moving range estimation process for is repeatedly performed.
  • the risk determination unit 811 predicts the future reach of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed (step S2414).
  • the risk determination unit 811 searches for the intersection of the future predicted reach range of the own vehicle and the estimated movement range of each object (step S2415).
  • the risk determination unit 811 calculates the time until the own vehicle reaches the intersection (step S2416).
  • the risk determination unit 811 compares the arrival time to the intersection of the own vehicle with the predetermined threshold value (step S2417).
  • the risk determination unit 811 determines that there is a risk of the own vehicle colliding with the object, and the driving support control unit The 812 supports the driving of the own vehicle based on the determination result by the risk determination unit 811 (step S2418).
  • the driving support control unit 812 plans the operation of the own vehicle in order to avoid a collision with an object determined to be in danger of colliding with the vehicle, and the acceleration / deceleration control unit outputs data indicating the planned operation of the own vehicle.
  • the damage mitigation braking function is realized.
  • the output control unit 105 may issue an alarm such as outputting voice data including a warning sound or a warning message from the output unit 106.
  • the risk determination unit 811 determines that there is no danger of the own vehicle colliding with the object, and returns to step S2401. Then, the above-mentioned tracking of the object, estimation of the movement range of the object, and risk determination processing are repeatedly executed.
  • FIG. 25 shows a functional configuration example of the information processing system 2500 according to the third embodiment.
  • the information processing system 2500 has a function of estimating the moving range of an object such as a pedestrian or a bicycle based on image information around the own vehicle captured by, for example, an in-vehicle camera. Based on the estimation result by the information processing system 2500, it is possible to provide driving support such as warning the driver and controlling auxiliary operation or automatic operation of the brake.
  • the illustrated information processing system 2500 includes an image input unit 2501, an image area estimation unit 2502, a tracking unit 2503, a contact area determination unit 2504, a movement locus information storage unit 2505, and a contact area time series information storage unit 2506. , Object movement range estimation unit 2507, object movement trajectory prediction unit 2508, object contact area prediction unit 2509, target area estimation unit 2510, object movement range re-estimation unit 2511, measurement unit 2512, and so on. It includes a risk level determination unit 2513 and a driving support control unit 2514.
  • At least a part of the components of the information processing system 2500 is realized by using the components in the vehicle control system 100.
  • some components of the information processing system 2500 can be realized by using an information terminal such as a smartphone or a tablet that the passenger brings into the passenger compartment, or other information devices.
  • an information terminal such as a smartphone or a tablet that the passenger brings into the passenger compartment, or other information devices.
  • bidirectional data communication is possible between each component of the information processing system 2500 via a bus or by using interprocess communication.
  • each component in the information processing system 2500 will be described.
  • the image input unit 2501 inputs image information around the vehicle such as an image captured by the in-vehicle camera. However, it is not necessary to directly input the image information from the image sensor, and the 3D shape information using a distance sensor such as a stereo vision, TOF sensor, or LiDAR, or the 2D bird's-eye view information converted into a 2D bird's-eye view is the same. Map information or time-series measurement information and three-dimensional shape information using SLAM or SfM may be used.
  • the image area estimation unit 2502 estimates each area in the image input via the image input unit 2501 by using the semantic segmentation technique, and outputs information with a label that identifies the category for each pixel. .. An object is extracted based on the estimation result of the image area estimation unit 2502.
  • the tracking unit 2503 tracks each object extracted based on the estimation result of the image area estimation unit 2502 by using the input image via the image input unit 2501.
  • the contact area determination unit 2504 determines the contact area of each object from the estimation result of the image area estimation unit 2502 based on the tracking result of the object by the tracking unit 2503. For example, it is determined whether the contact patch of each object such as a pedestrian or a bicycle is a sidewalk, a roadway, or the like.
  • the movement locus information storage unit 2505 stores the movement locus information of the object extracted by the tracking unit 2503 for each object. Further, the contact area time-series information storage unit 2506 stores the time-series information of the contact area of the object determined by the contact area determination unit 2504 for each object.
  • the object movement locus prediction unit 2508 predicts the future movement locus of the object based on the movement locus information for each object stored in the movement locus information storage unit 2505.
  • the object movement regulation prediction unit 2508 may use machine learning to predict the movement trajectory of the object. Neural networks are used for machine learning. RNN may be used for machine learning of time-series information such as a movement locus.
  • the object contact area prediction unit 2509 predicts the contact area in which the object movement locus prediction unit 2508 predicts the contact area on the future movement locus of each object, which the object movement locus prediction unit 2508 predicts. It is predicted from the future movement locus of each object and the estimation result of the image area estimation unit 2502.
  • the object contact area prediction unit 2509 may use machine learning to predict the contact area of the object. Neural networks are used for machine learning.
  • the object movement range estimation unit 2507 includes information on the contact area of the object stored in the movement locus information storage unit 2505 and a time series of the contact area of the object stored in the contact area time series information storage unit 2506. From the estimation result of the image area estimation unit 2502 based on the information, the future movement trajectory predicted by the object movement trajectory prediction unit 2508, and the future contact area predicted by the object contact area prediction unit 2509. The movement range of each object is estimated, and the estimated or predicted movement range of each object is output. When the time-series information of the contact area of the object includes the velocity information of the object, the object movement range estimation unit 2507 may estimate the movement range in consideration of the velocity information of the object. ..
  • the object movement range estimation unit 2507 estimates the movement range of the object on a rule basis, for example.
  • the movement locus of the object (velocity information based on the movement locus) and the time series information of the contact region are used as correction coefficients for linear prediction.
  • the object movement range estimation unit 2507 may use machine learning to estimate the movement range of the object. Neural networks are used for machine learning. When machine learning time-series information such as a contact area, RNN may be used.
  • the target area estimation unit 2510 estimates the target area to which the object moves based on the future movement locus of the object predicted by the object movement trajectory prediction unit 2508. For example, the target area estimation unit 2510 may use the image area estimation unit 2502 when the predicted movement trajectory for a pedestrian who is about to jump out of the sidewalk and walk is toward the sidewalk on the opposite side. Based on the estimation result, the sidewalk on the opposite side is estimated as the target area to be moved.
  • the object movement range re-estimation unit 2511 further re-estimates the movement range of the object estimated by the object movement range estimation unit 2507 in consideration of the target area of the object estimated by the target area estimation unit 2510. For example, when the object movement range re-estimation unit 2511 detects that an obstacle exists in the movement range estimated by the object movement range estimation unit 2507 based on the estimation result of the image area estimation unit 2502, the target area The moving range is re-estimated so that the object can reach the target area estimated by the estimation unit 2510.
  • the re-estimated range of movement includes, for example, a path by which the object can avoid obstacles and reach the target area.
  • the measuring unit 2512 measures the steering angle and vehicle speed of the own vehicle.
  • the measurement unit 2512 may be the data acquisition unit 102 (described above) in the vehicle control system 100.
  • the measurement unit 2512 may be replaced with a function module for inputting vehicle control information such as steering angle and vehicle speed from the vehicle control system 100.
  • the risk determination unit 2513 and the own vehicle are based on the comparison result between the movement range of each object estimated by the object movement range re-estimation unit 2511 and the vehicle control information of the own vehicle such as the steering angle and the vehicle speed.
  • the degree of collision risk is determined for each object.
  • the risk determination unit 2513 predicts the future reachable range of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and the future predicted reachable range and the estimated movement range of each object. It searches for the intersection with and determines that there is a danger that the vehicle will collide with the object for which the intersection was found.
  • the driving support control unit 2514 supports the driving of the own vehicle based on the determination result by the risk determination unit 2513.
  • the driving support control unit 2514 may be an emergency situation avoidance unit 171 (described above) in the vehicle control system 100.
  • the emergency avoidance unit 171 plans the operation of the own vehicle to avoid a collision with an object determined to be in danger of colliding with the own vehicle, and accelerates / decelerates the data indicating the planned operation of the own vehicle.
  • the damage mitigation braking function is realized by supplying to the unit 172 and the direction control unit 173.
  • the vehicle control system 100 can also make an alarm such that the output control unit 105 outputs voice data including a warning sound or a warning message from the output unit 106.
  • the image input from the image input unit 2501 is subjected to semantic segmentation by the image area estimation unit 2502 to obtain an area image
  • the object movement range estimation unit 2507 uses the history information of the ground contact surface of the pedestrian A. It is assumed that the movement range 1101 of the pedestrian A is estimated based on the prediction information.
  • the object movement range re-estimation unit 2511 further re-estimates the object movement range in consideration of the target area of the object estimated by the target area estimation unit 2510 will be described.
  • FIG. 26 shows the semantic information of the result of processing the input image assumed in this operation example by the image area estimation unit 2502 in the bird's-eye view direction.
  • reference numeral 2601 is a future movement locus of the pedestrian A predicted by the object movement locus prediction unit 2508. Further, the reference number 2602 indicates the future movement range of the pedestrian A estimated by the object movement range estimation unit 2507.
  • the target area estimation unit 2510 estimates the image area estimation unit 2502 because the predicted movement trajectory 2601 for the pedestrian A who is about to jump out of the sidewalk and walk on the roadway faces the sidewalk on the opposite side. Based on the result, it is estimated that the target area to be moved by pedestrian A is the sidewalk on the opposite side.
  • the object movement range re-estimation unit 2511 is on the path of the pedestrian A who moves to the target area estimated by the target area estimation unit 2510 within the movement range 2602 of the pedestrian A estimated by the object movement range estimation unit 2507.
  • the existing obstacle is estimated based on the estimation result of the image area estimation unit 2502.
  • a peripheral vehicle stopped in front of the own vehicle is an obstacle on the route of the pedestrian A.
  • the object movement range re-estimation unit 2511 causes the pedestrian A to reach the sidewalk on the opposite side as the target area while avoiding the surrounding vehicles that are obstacles. Redesign the route for this by the route planning method. Then, the object movement range re-estimation unit 2511 re-estimates the movement range of the pedestrian A so as to include the route 2701 redesigned to reach the target area as shown by the reference number 2801 in FIG. 28. presume.
  • the measuring unit 2512 measures the steering angle and vehicle speed of the own vehicle.
  • the risk determination unit 2513 predicts the future reach of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and the intersection of the predicted reach of the future and the estimated movement range of pedestrian A 2801. To explore. When the intersection of the future predicted reach range of the own vehicle and the estimated movement range 2801 is found, the risk determination unit 2513 determines that there is a risk of collision between the pedestrian A and the own vehicle. In this case, the driving support control unit 2514 plans the operation of the own vehicle to avoid the collision between the own vehicle and the pedestrian A protruding from the sidewalk, and the acceleration / deceleration control unit uses data indicating the planned operation of the own vehicle. Damage mitigation braking is performed by supplying 172 and directional control unit 173. Further, the driving support control unit 2514 may issue an alarm such as outputting voice data including a warning sound or a warning message from the output unit 106 together with the damage mitigation brake.
  • the captured image of the vehicle-mounted camera as shown in FIG. 29 is input from the image input unit 2501.
  • This input image shows two people walking side by side on the sidewalk and one person straddling a bicycle, but information processing is performed on one person straddling a bicycle (hereinafter, simply referred to as "bicycle A").
  • the process of estimating and re-estimating the movement range using the system 2500 will be described.
  • the contact area determination unit 2504 determines the contact area of the bicycle A from the estimation result of the image area estimation unit 2502 based on the tracking result of the object by the tracking unit 2503. Then, the contact area time series information storage unit 2506 stores the time series information of the contact area of the bicycle A determined by the contact area determination unit 2504. The time-series information of the contact area of the bicycle A includes information on the category of the ground plane of the bicycle A at predetermined time intervals. Further, the movement locus information storage unit 2505 stores the information of the movement locus of the bicycle A extracted from the estimation result of the image area estimation unit 2502 by the tracking unit 2503. The information on the movement locus consists of the position information of the bicycle A at predetermined intervals.
  • the object movement locus prediction unit 2508 predicts the future movement locus of the bicycle A based on the movement locus information of the bicycle A stored in the movement locus information storage unit 2505. Further, the object contact area prediction unit 2509 predicts the contact area that is sequentially contacted on the future movement locus of the bicycle A predicted by the object movement locus prediction unit 2508 from the estimation result of the image area estimation unit 2502. To do.
  • FIG. 30 illustrates the result of predicting the future movement locus and contact area of the bicycle A with respect to the input image shown in FIG. 29.
  • the results of predicting three types of prediction patterns are shown.
  • the prediction pattern 1 when the bicycle A approaches the pedestrian crossing, the movement locus and the contact area where the bicycle A separates from the other two people, crosses the pedestrian crossing, and heads for the opposite sidewalk are predicted.
  • the prediction pattern 2 the movement locus and the contact area in which the bicycle A continues to travel on the sidewalk together with the other two pedestrians are predicted based on the history of the speed information.
  • the prediction pattern 3 the movement locus and the contact area in which the bicycle A pushes out the pedal and advances on the sidewalk ahead of the other two people are predicted.
  • Bicycle A ground plane history information can be created. Further, based on the future movement locus of the bicycle A predicted by the object movement locus prediction unit 2508 and the future contact area of the bicycle A predicted by the object contact area prediction unit 2509, the lower half of FIG. 31 As shown, the prediction information of the ground plane of the bicycle A can be created.
  • Both the history information and the prediction information shown in FIG. 31 consist of a combination of the category of the ground contact surface of the bicycle A and the position information at predetermined intervals.
  • the downward direction of the paper is the time axis direction, and the history information that pedestrian A transitions from the sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ ... is saved.
  • the results of predicting the above-mentioned three types of prediction patterns are shown.
  • the prediction pattern 1 it is predicted that the bicycle A will transition to the ground plane in the future in the order of roadway ⁇ roadway ⁇ roadway ⁇ sidewalk ⁇ sidewalk ⁇ ....
  • the prediction pattern 2 it is predicted that the bicycle A will transition to the ground plane in the future as sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ ....
  • the prediction pattern 3 it is predicted that the bicycle A will transition to the ground plane in the future in the order of sidewalk ⁇ sidewalk ⁇ sidewalk ⁇ roadway ⁇ roadway ⁇ roadway ⁇ ⁇ ⁇ ...
  • the target area estimation unit 2510 estimates the target area of the bicycle A for each prediction pattern from the estimation result of the image area estimation unit 2502.
  • the object movement range re-estimation unit 2511 uses the obstacle existing on the path of the bicycle A that moves to the target area estimated by the target area estimation unit 2510 for each prediction pattern as the estimation result of the image area estimation unit 2502. Estimate based on.
  • the object movement range re-estimation unit 2511 redesigns the route for the bicycle A to avoid obstacles and reach the target area for each prediction pattern by the route planning method, and redesigns all the prediction patterns. Re-estimate the range of movement of bicycle A so as to cover the designed route.
  • the process of estimating and re-estimating the movement range using the information processing system 2500 will be described.
  • the processing result of semantic segmentation by the image area estimation unit 2502 is as shown in FIG. 32
  • the bicycle A near the intersection is targeted.
  • three types of movement loci and contact areas shown by reference numbers 3201 to 3203 are predicted based on the time series information or speed information of the movement locus and contact area of the bicycle A, and based on the results.
  • the object movement range estimation unit 2507 estimates two types of movement ranges indicated by reference numbers 3211 and 3212, respectively.
  • the target area estimation unit 2510 estimates the target area for each of the three types of movement loci predicted for the bicycle A and the contact areas 3201 to 3203.
  • the object movement range re-estimation unit 2511 estimates the obstacles existing on the path of the bicycle A moving to the target area for each of the movement locus and the contact areas 3201 to 3203, and the bicycle A avoids the obstacles. Redesign the route to reach the target area by the route planning method.
  • FIG. 33 shows the redesigned routes 3301 and 3302. Then, the object movement range re-estimation unit 2511 re-estimates the movement range of the bicycle A so as to cover the redesigned routes 3301 and 3302.
  • FIG. 34 shows the final movement range 3401 of the bicycle A re-estimated by the object movement range re-estimation unit 2511.
  • the measuring unit 2512 measures the steering angle and vehicle speed of the own vehicle.
  • the risk determination unit 2513 predicts the future reach of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and determines the intersection of the predicted reach of the future and the estimated movement range of the bicycle A 2801. Explore. When the intersection of the future predicted reach range of the own vehicle and the estimated movement range 2801 is found, the risk determination unit 2513 determines that there is a risk of the bicycle A colliding with the own vehicle.
  • the driving support control unit 2514 plans the operation of the own vehicle in order to avoid the collision between the own vehicle and the bicycle A protruding from the sidewalk, and the acceleration / deceleration control unit 172 provides data indicating the planned operation of the own vehicle. And by supplying to the direction control unit 173, the damage mitigation brake is implemented. Further, the driving support control unit 2514 may issue an alarm such as outputting voice data including a warning sound or a warning message from the output unit 106 together with the damage mitigation brake.
  • FIG. 35 and 36 show the processing procedure performed by the information processing system 2500 in the form of a flowchart. However, FIG. 35 shows the first half of the processing procedure, and FIG. 36 shows the second half of the processing procedure.
  • the image input unit 2501 inputs image information around the vehicle such as an image captured by the in-vehicle camera (step S3501).
  • the image area estimation unit 2502 performs semantic segmentation processing on the input image and outputs the processing result (step S3502).
  • the tracking unit 2503 checks whether or not an object exists in the area image subjected to the semantic segmentation processing (step S3503).
  • the object referred to here is an object such as a pedestrian, a bicycle, or a peripheral vehicle, which is a target for predicting a collision with the own vehicle.
  • step S3503 If the object is not found (No in step S3503), the process returns to step S3501 and the next image is input.
  • the tracking unit 2503 extracts information on the object from the area image subjected to the semantic segmentation processing, and uses the image input in step S3501 to select each object. Track (step S3504).
  • the contact area determination unit 2504 extracts information on the contact area of each object based on the estimation result of the image area estimation unit 2502 and the tracking result of the object by the tracking unit 2503 (step S3505).
  • the contact area time series information storage unit 2506 stores the contact area information of each object extracted by the contact area determination unit 2504 in time series for each object (step S3506).
  • the movement locus information storage unit 2505 stores the movement locus information of the object extracted by the tracking unit 2503 for each object (step S3507).
  • step S3503 the total number of objects found in step S3503 is substituted into the variable N, and the initial value 1 is substituted into the variable i that counts the processed objects (step S3508).
  • the object movement trajectory prediction unit 2508 is i. Based on the movement locus information of the third object, the future movement locus of the object is predicted (step S3510). Further, the object contact area prediction unit 2509 includes the future movement locus of the i-th object predicted by the object movement locus prediction unit 2508 in the preceding step S3501 and the i-th object by the image area estimation unit 2502. Based on the estimation result, the area that the object will come into contact with in the future is predicted (step S3511).
  • the movement history information and the contact area time-series information of the i-th object are read from the movement history information storage unit 2505 and the contact area time-series information storage unit 2506, respectively, and the future contact area of the i-th object.
  • the prediction result of the above is input from the object contact area prediction unit 2509, and the movement range of the i-th object is estimated by the object movement range estimation unit 2507 (step S3512).
  • the target area estimation unit 2510 determines the i-th object based on the estimation result of the image area estimation unit 2502 and the future movement locus of the i-th object predicted by the object movement locus prediction unit 2508.
  • the target area to be moved is estimated (step S3513).
  • the object movement range re-estimation unit 2511 considers the target area of the i-th object estimated by the target area estimation unit 2510, and the object movement range estimation unit 2507 estimates the movement of the i-th object.
  • the range is further re-estimated (step S3514).
  • step S3515 if i is less than N, that is, if an unprocessed object remains (No in step S3515), i is incremented by 1 (step S2419), and then the process returns to step S3509 to return to the next object.
  • the moving range estimation process for is repeatedly performed.
  • the risk determination unit 2513 predicts the future reach of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed (step S3516).
  • the risk determination unit 2513 searches for the intersection of the future predicted reach range of the own vehicle and the estimated movement range of each object (step S3517).
  • the risk determination unit 2513 calculates the time until the own vehicle reaches the intersection (step S3518).
  • the risk determination unit 2513 compares the arrival time to the intersection of the own vehicle with the predetermined threshold value (step S3519).
  • the risk determination unit 2513 determines that there is a risk of the own vehicle colliding with the object, and the driving support control unit 2514 supports the driving of the own vehicle based on the determination result by the risk determination unit 2513 (step S3520).
  • the driving support control unit 2514 plans the operation of the own vehicle in order to avoid a collision with an object determined to be in danger of colliding with the vehicle, and the acceleration / deceleration control unit outputs data indicating the planned operation of the own vehicle.
  • the damage mitigation braking function is realized.
  • the output control unit 105 may issue an alarm such as outputting voice data including a warning sound or a warning message from the output unit 106.
  • the risk determination unit 811 determines that there is no danger of the own vehicle colliding with the object, and returns to step S3501. Then, the above-mentioned tracking of the object, estimation of the movement range of the object, and risk determination processing are repeatedly executed.
  • FIG. 37 shows a functional configuration example of the information processing system 37 according to the fourth embodiment.
  • the information processing system 3700 has a function of estimating the moving range of an object such as a pedestrian or a bicycle based on image information around the own vehicle captured by, for example, an in-vehicle camera. Based on the estimation result by the information processing system 3700, it is possible to provide driving support such as warning the driver and controlling auxiliary operation or automatic operation of the brake.
  • the illustrated information processing system 3700 includes an image input unit 3701, an image area estimation unit 3702, a tracking unit 3703, a contact area determination unit 3704, a movement locus information storage unit 3705, and a contact area time series information storage unit 3706. It includes an object movement range estimation unit 3707, a three-dimensional shape information acquisition unit 3708, a three-dimensional area information estimation unit 3709, a measurement unit 3710, a risk determination unit 3711, and a driving support control unit 3712.
  • At least some of the components of the information processing system 3700 are realized by using the components in the vehicle control system 100.
  • some components of the information processing system 3700 can be realized by using an information terminal such as a smartphone or a tablet that the passenger brings into the passenger compartment, or other information devices.
  • an information terminal such as a smartphone or a tablet that the passenger brings into the passenger compartment, or other information devices.
  • bidirectional data communication is possible between each component of the information processing system 3700 via a bus or by using interprocess communication.
  • each component in the information processing system 3700 will be described.
  • the image input unit 3701 inputs image information around the vehicle such as an image captured by the in-vehicle camera. However, it is not necessary to directly input the image information from the image sensor, and the two-dimensional bird's-eye view information converted into the two-dimensional bird's-eye view, the same map information, or the time-series measurement information and the three-dimensional shape using SLAM or SfM. Information may be used.
  • the image area estimation unit 3702 estimates each area in the image input via the image input unit 3701 by using the semantic segmentation technique, and outputs information with a label that identifies the category for each pixel. .. An object is extracted based on the estimation result of the image area estimation unit 3702.
  • the tracking unit 3703 tracks each object extracted based on the estimation result of the image area estimation unit 3702 using the input image via the image input unit 3701.
  • the 3D shape information acquisition unit 3708 acquires the 3D shape information of the environment by using a stereo vision, a TOF sensor, a distance sensor such as LiDAR, and the like.
  • the 3D area information estimation unit 3709 estimates the 3D area information based on the estimation result of the image area estimation unit 3702 and the 3D shape information acquired by the 3D shape information acquisition unit 3708.
  • the contact area determination unit 3704 is based on the two-dimensional area information estimated by the image area estimation unit 3702 and the three-dimensional area information estimated by the three-dimensional area information estimation unit 3709 based on the tracking result of the object by the tracking unit 3703. Determine the contact area of each object. For example, it is determined whether the contact patch of each object such as a pedestrian or a bicycle is a sidewalk, a roadway, or the like.
  • the movement locus information storage unit 3705 stores the movement locus information of the object extracted by the tracking unit 3703 for each object. Further, the contact area time series information storage unit 3706 stores the time series information of the contact area of the object determined by the contact area determination unit 3704 for each object.
  • the object movement range estimation unit 3707 includes information on the contact area of the object stored in the movement locus information storage unit 3705 and a time series of the contact area of the object stored in the contact area time series information storage unit 3706. Based on the information, the movement range for each object is estimated from the estimation result of the image area estimation unit 3702, and the estimated or predicted movement range of each object is output. When the time-series information of the contact area of the object includes the velocity information of the object, the object movement range estimation unit 3707 may estimate the movement range in consideration of the velocity information of the object. ..
  • the object movement range estimation unit 3707 estimates the movement range of the object on a rule basis, for example.
  • the movement locus of the object (velocity information based on the movement locus) and the time series information of the contact region are used as correction coefficients for linear prediction.
  • the object movement range estimation unit 3707 may use machine learning to estimate the movement range of the object. Neural networks are used for machine learning. When machine learning time-series information such as a contact area, RNN may be used.
  • the measuring unit 3710 measures the steering angle and vehicle speed of the own vehicle.
  • the measurement unit 3710 may be the data acquisition unit 102 (described above) in the vehicle control system 100.
  • the measurement unit 3710 may be replaced with a function module for inputting vehicle control information such as steering angle and vehicle speed from the vehicle control system 100.
  • the risk determination unit 3711 collides with the own vehicle based on the comparison result between the movement range of each object estimated by the object movement range estimation unit 3707 and the vehicle control information of the own vehicle such as the steering angle and the vehicle speed. Determine the degree of risk for each object. Specifically, the risk determination unit 3711 predicts the future reach range of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed, and the future predicted reach range and the estimated movement range of each object. It searches for the intersection with and determines that there is a danger that the vehicle will collide with the object for which the intersection was found.
  • the driving support control unit 3712 supports the driving of the own vehicle based on the determination result by the risk determination unit 3711.
  • the driving support control unit 3712 may be an emergency situation avoidance unit 171 (described above) in the vehicle control system 100.
  • the emergency avoidance unit 171 plans the operation of the own vehicle to avoid a collision with an object determined to be in danger of colliding with the own vehicle, and accelerates / decelerates the data indicating the planned operation of the own vehicle.
  • the damage mitigation braking function is realized by supplying to the unit 172 and the direction control unit 173.
  • the vehicle control system 100 can also make an alarm such that the output control unit 105 outputs voice data including a warning sound or a warning message from the output unit 106.
  • FIG. 38 shows the processing procedure performed by the information processing system 3700 in the form of a flowchart.
  • the image input unit 3701 inputs image information around the vehicle such as an image captured by the in-vehicle camera (step S3801).
  • the image area estimation unit 3702 performs semantic segmentation processing on the input image and outputs the processing result (step S3802).
  • the tracking unit 3703 checks whether or not the object exists in the area image subjected to the semantic segmentation processing (step S3803).
  • the object referred to here is an object such as a pedestrian, a bicycle, or a peripheral vehicle, which is a target for predicting a collision with the own vehicle.
  • step S3803 If the object is not found (No in step S3803), the process returns to step S3801 and the next image is input.
  • the tracking unit 3703 extracts information on the object from the area image subjected to semantic segmentation processing, and tracks each object using the image input in step S3801. (Step S3804).
  • the 3D shape information acquisition unit 3708 acquires the 3D shape information of the environment by using a stereo vision, a TOF sensor, a distance sensor such as LiDAR, or the like (step S3805).
  • the 3D area information estimation unit 3709 estimates the 3D area information based on the estimation result of the image area estimation unit 3702 and the 3D shape information acquired by the 3D shape information acquisition unit 3708 (step S3806). ..
  • the contact area determination unit 3704 extracts information on the contact area of each object based on the estimation result of the image area estimation unit 3702, the three-dimensional area information of the environment, and the tracking result of the object by the tracking unit 3703. (Step S3807).
  • the contact area time series information storage unit 3706 saves the contact area information of each object extracted by the contact area determination unit 3704 in time series for each object (step S3808).
  • the movement locus information storage unit 3705 saves the information of the movement locus of the object extracted by the tracking unit 3703 for each object (step S3809).
  • step S3803 the total number of the objects found in step S3803 is substituted into the variable N, and the initial value 1 is substituted into the variable i that counts the processed objects (step S38010).
  • the movement history information and the contact area time series information of the i-th object are read from the movement history information storage unit 3705 and the contact area time series information storage unit 3706 (step S3811), respectively, and the object movement range estimation unit 3707 reads them.
  • the moving range of the i-th object is estimated (step S3812).
  • step S3819 the process returns to step S3811 to return to the next object.
  • the moving range estimation process for is repeatedly performed.
  • the risk determination unit 3711 predicts the future reach of the own vehicle from the vehicle control information of the own vehicle such as the steering angle and the vehicle speed (step S3814).
  • the risk determination unit 3711 searches for the intersection of the future predicted reach range of the own vehicle and the estimated movement range of each object (step S3815).
  • the risk determination unit 3711 calculates the time until the own vehicle reaches the intersection (step S3816).
  • the risk determination unit 3711 compares the arrival time to the intersection of the own vehicle with the predetermined threshold value (step S3817).
  • the risk determination unit 3711 determines that there is a risk of the own vehicle colliding with the object, and the driving support control unit The 3712 supports the driving of the own vehicle based on the determination result by the risk determination unit 3711 (step S3818).
  • the driving support control unit 3712 plans the operation of the own vehicle to avoid a collision with an object determined to be in danger of colliding with the vehicle, and the acceleration / deceleration control unit uses data indicating the planned operation of the own vehicle.
  • the damage mitigation braking function is realized.
  • the output control unit 105 may issue an alarm such as outputting voice data including a warning sound or a warning message from the output unit 106.
  • the risk determination unit 3711 determines that there is no danger of the own vehicle colliding with the object, and returns to step S3801. Then, the above-mentioned tracking of the object, estimation of the movement range of the object, and risk determination processing are repeatedly executed.
  • the present specification has mainly described embodiments relating to collision prediction between a vehicle and an object such as a pedestrian
  • the scope of application of the technology disclosed in the present specification is not limited to the vehicle.
  • mobile devices other than vehicles, such as unmanned aerial vehicles such as drones, robots that autonomously move in a predetermined work space (home, office, factory, etc.), ships, aircraft, etc.
  • unmanned aerial vehicles such as drones, robots that autonomously move in a predetermined work space (home, office, factory, etc.), ships, aircraft, etc.
  • the techniques disclosed herein can be applied.
  • the technology disclosed in this specification can be similarly applied to an information terminal installed in a mobile device and various non-mobile devices.
  • the technology disclosed in this specification can also have the following configuration.
  • Input section for inputting images and An area estimation unit that estimates the area of the object included in the image, and A movement history information acquisition unit that acquires information on the movement history of the object, A contact area determination unit that determines a contact area in contact with the object based on the estimation result of the area estimation unit, A movement range estimation unit that estimates the movement range of the object based on the movement history including the contact area of the object, Information processing device equipped with.
  • the region estimation unit estimates the object from the image by using semantic segmentation.
  • the information processing device according to (1) above.
  • the movement range estimation unit estimates the target physical movement range based on the movement history including the speed information on which the object moves.
  • the information processing device according to any one of (1) and (2) above.
  • a contact area determination unit that determines a contact area in contact with the object based on the estimation result of the area estimation unit, and a movement trajectory storage unit that stores a movement locus obtained by tracking the object.
  • the movement range estimation unit estimates the movement range of the object based on the movement history including the movement locus of the object.
  • the contact area determination unit determines an area where the object touches the ground, and determines the area where the object touches the ground.
  • the movement range estimation unit estimates the movement range of the object based on the movement history including the semantics of the area where the object touches the ground.
  • the contact area estimation unit estimates the semantics of the area where the object touches the ground by using semantic segmentation.
  • the information processing device according to (5) above.
  • a contact area time-series information storage unit for storing the time-series information of the contact area determined by the contact area determination unit is further provided.
  • the movement range estimation unit estimates the movement range of the object based on the time series information of the contact region.
  • a movement locus prediction unit that predicts a future movement locus of the object based on the movement locus information of the object.
  • a contact area prediction unit that predicts the future contact area of the object based on the movement history of the object, the time series information of the contact area, and the prediction of the future movement trajectory.
  • the movement range estimation unit estimates the movement range of the object based on the predicted future movement trajectory and contact area of the object.
  • a target area estimation unit that estimates a target area to be moved by the object based on the future movement trajectory of the object predicted by the movement trajectory prediction unit.
  • a movement range re-estimation unit that re-estimates the movement range of the object estimated by the multi-movement range estimation unit based on the target area is further provided.
  • the movement range re-estimation unit redesigns the route for avoiding obstacles on the route for the object to reach the target region, and uses the redesigned route to determine the movement route for the object.
  • Re-estimate The information processing device according to (9) above.
  • the target area estimation unit estimates the target area for each prediction result, and
  • the movement route re-estimation unit redesigns the route to avoid obstacles and reach the target region for each prediction result, and re-estimates the movement route of the object.
  • the contact area determination unit further determines the contact area in contact with the object based on the three-dimensional area information.
  • the information processing device according to any one of (4) to (11) above.
  • the three-dimensional area information estimation unit estimates the three-dimensional area information based on the estimation result of the area estimation unit.
  • the information processing device according to (12) above.
  • the information processing device Further provided with a three-dimensional shape information acquisition unit for acquiring three-dimensional shape information related to the object.
  • the three-dimensional area information estimation unit further estimates the three-dimensional area information based on the three-dimensional shape information.
  • the information processing device according to any one of (12) and (13) above.
  • the input unit inputs an image of a camera mounted on the moving body or a camera that captures the surroundings of the moving body.
  • the information processing device according to any one of (1) to (14) above.
  • Input step for inputting an image and A region estimation step for estimating the region of the object included in the image, and A movement history information acquisition step for acquiring information on the movement history of the object, and A movement range estimation step that estimates the movement range of the object based on the movement history, Information processing method having.
  • Input unit for inputting images Area estimation unit that estimates the area of the object included in the image, Movement history information acquisition unit that acquires information on the movement history of the object, A contact area determination unit that determines a contact area in contact with the object based on the estimation result of the area estimation unit, A movement range estimation unit that estimates the movement range of the object based on the movement history including the contact area of the object.
  • the control unit determines the risk of collision between the moving body and the object based on the comparison result between the future predicted reach of the moving body and the moving range of the object.
  • the control unit controls the operation of the moving body to avoid the collision.
  • the mobile device according to (19) above.
  • Vehicle control system 101 ... Input unit, 102 ... Data acquisition unit, 103 ... Communication unit 104 ... In-vehicle equipment, 105 ... Output control unit, 106 ... Output unit 107 ... Drive system control unit, 108 ... Drive system system 109 ... Body System control unit, 110 ... Body system, 111 storage unit 112 ... Automatic operation control unit, 121 ... Communication network 131 ... Detection unit, 132 ... Self-position estimation unit 133 ... Situation analysis unit 134 ... Planning unit, 135 ... Operation control Department 141 ... External information detection unit, 142 ... In-vehicle information detection unit 143 ... Vehicle condition detection unit 151 ... Map analysis unit, 152 ...
  • Traffic rule recognition unit 153 ... Situation recognition unit 154 ... Situation prediction unit 161 ... Route planning department, 162 ... Action planning unit, 163 ... Operation planning unit 171 ... Emergency avoidance unit, 172 ... Acceleration / deceleration control unit, 173 ... Direction control unit 200 ... Information processing system, 201 ... Image input unit 202 ... Image area estimation unit, 203 ... Tracking Unit 204 ... Contact area determination unit, 205 ... Movement trajectory information storage unit 206 ... Contact area time series information storage unit, 207 ... Object movement range estimation unit 208 ... Measurement unit, 209 ... Danger level determination unit, 210 ... Driving support control Unit 800 ... Information processing system, 801 ... Image input unit 802 ...
  • Object contact area prediction unit 2510 ... Target area estimation unit 2511 ... Object movement range re-estimation unit, 2512 ... Measurement unit 2513 ... Risk level determination unit, 2514 ...
  • Driving support control unit 3700 ... Information processing system, 3701 ... Image input unit 3702 ... Image area estimation unit, 3703 ... Tracking unit 3704 ... Contact area determination unit, 3705 ... Movement locus information storage unit 3706 ... Contact area time series information storage unit 3707 ... Object movement range estimation unit 3708 ... 3D shape information acquisition unit 3709 ... 3D area information estimation unit, 3710 ... Measurement unit 3711 ... Risk level determination unit, 3712 ... Driving support control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

画像情報に基づいて対象物の移動範囲を推定する。　情報処理装置は、画像を入力する入力部と、前記画像に含まれる対象物の領域を推定する領域推定部と、前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部と、前記領域推定部の推定結果に基づいて前記対象物が接触している接触領域を判定する接触領域判定部と、前記対象物の接触領域を含む前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部を具備し、前記移動範囲推定部は、前記対象物の接触領域と前記対象物の移動軌跡を含む前記移動履歴に基づいて、前記対象物の移動範囲を推定する。

Description

情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
　本明細書で開示する技術は、主に車載センサからのセンサ情報を処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置に関する。
　自動運転やＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の実現のために、自動車が障害物を感知して衝突に備える被害軽減ブレーキ機能が必須である。具体的には、レーダーやカメラなどの車載センサからの情報をコンピュータによって解析して、運転者への警告や、ブレーキの補助操作若しくは自動操作を実施する。検出対象となる障害物として、歩道から車道に飛び出す歩行者を挙げることができる。さらには自転車の飛び出しも検出する必要がある。
　例えば、取得手段が、過去において移動体が移動した移動経路の位置を示す移動経路位置と、移動経路位置に移動体が存在した時間とが対応付けられた時空間軌道を示す時空間軌道データ、および移動体の属性を示す移動体属性データが、複数の移動体毎に記憶された移動体データベースを用いて学習した学習結果を取得し、予測手段が、時間と位置とを示す時空間が指定された場合に、指定された時空間を指定時空間とし、取得手段により取得された学習結果に基づいて、指定時空間において移動体が出現する可能性を予測する予測システムについて提案がなされている（特許文献１を参照のこと）。
　また、車両の進行方向の道路脇を移動する歩行者等を検出する歩行者等検出手段と、運転者の運転操作を検出する運転操作検出手段と、前記歩行者等検出手段による歩行者等の検出に基づいて歩行者等から離れる方向に車両の自動的な操舵制御を実行する自動操舵制御手段とを含み、前記自動操舵制御手段は前記歩行者等検出手段による歩行者等の検出後の運転者の運転操作を参照して自動的な操舵制御を開始することにより、車両の走行中に道路脇に発見された歩行者等が道路を横断するかもしれない潜在リスクを予測して車両の操舵を実行する運転支援制御装置について提案がなされている（特許文献２を参照のこと）。
　また、物体が、自車両が走行している走行車線に相当する第１車道領域、自車両が走行していない走行車線に相当する第２車道領域、及び、歩道に相当する歩道領域のいずれに位置しているかを判定し、物体が第１車道領域に位置していると判定された場合には、物体が第２車道領域に位置していると判定された場合と比較して、回避開始条件が満たされると予測され易くなり、且つ、物体が第２車道領域に位置していると判定された場合には、物体が歩道領域に位置していると判定された場合と比較して、回避開始条件が満たされると予測され易くなるように、回避開始条件及び物体の将来の位置を予測する際に想定する物体の移動範囲の少なくとも一方を設定する走行支援装置について提案がなされている（特許文献３を参照のこと）。
特開２０１３－１９６６０１号公報 特開２０１７－２０６０４０号公報 特開２０１８－１２３６０号公報
　本明細書で開示する技術の目的は、車載カメラなどからの画像情報に基づいて移動体と物体との衝突を予測する情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置を提供することにある。
　本明細書で開示する技術の第１の側面は、
　画像を入力する入力部と、
　前記画像に含まれる対象物の領域を推定する領域推定部と、
　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部と、
　前記領域推定部の推定結果に基づいて前記対象物が接触している接触領域を判定する接触領域判定部と、
　前記対象物の接触領域を含む前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部と、
を具備する情報処理装置である。
　前記領域推定部は、セマンティックセグメンテーションを利用して、前記画像から前記対象物を推定する。また、前記接触領域推定部は、セマンティックセグメンテーションを利用して、前記前記対象物が接地する領域のセマンティクスを推定する。
　第１の側面に係る情報処理装置は、前記対象物を追跡して得られる移動軌跡を保存する移動軌跡保存部をさらに備えている。そして、前記移動範囲推定部は、前記対象物の移動軌跡をさらに含む前記移動履歴に基づいて、前記対象物の移動範囲を推定する。
　また、第１の側面に係る情報処理装置は、前記対象物の移動軌跡情報に基づいて前記対象物の将来的な移動軌跡を予測する移動軌跡予測部と、前記対象物の移動履歴と接触領域の時系列情報と将来的な移動軌跡の予測に基づいて、前記対象物の将来的な接触領域を予測する接触領域予測部をさらに備えていてもよい。そして、前記移動範囲推定部は、予測された前記対象物の将来的な移動軌跡及び接触領域にさらに基づいて前記対象物の移動範囲を推定するようにしてもよい。
　また、第１の側面に係る情報処理装置は、移動軌跡予測部が予測した前記対象物の将来的な移動軌跡に基づいて前記対象物が移動の対象としている目的領域を推定する目的領域推定部と、前記目的領域に基づいて、前記多移動範囲推定部が推定した前記対象物の移動範囲を再推定する移動範囲再推定部をさらに備えていてもよい。
　また、第１の側面に係る情報処理装置は、前記対象物に関連する３次元領域情報を推定する３次元領域情報推定部をさらに備えていてもよい。そして、前記接触領域判定部は、さらに前記３次元領域情報に基づいて前記対象物が接触している接触領域を判定するようにしてもよい。
　また、本明細書で開示する技術の第２の側面は、
　画像を入力する入力ステップと、
　前記画像に含まれる対象物の領域を推定する領域推定ステップと、
　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得ステップと、
　前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定ステップと、
を有する情報処理方法である。
　また、本明細書で開示する技術の第３の側面は、
　画像を入力する入力部、
　前記画像に含まれる対象物の領域を推定する領域推定部、
　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部、
　前記領域推定部の推定結果に基づいて前記対象物が接触している接触領域を判定する接触領域判定部、
　前記対象物の接触領域を含む前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。
　第３の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第３の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
　また、本明細書で開示する技術の第４の側面は、
　移動体本体と、
　前記移動体に搭載されたカメラ又は移動体の周囲を撮影するカメラと、
　前記カメラが撮影した画像に含まれる対象物の領域を推定する領域推定部と、
　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部と、
　前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部と、
　前記対象物の移動範囲に基づいて、前記移動体本体の運転を制御する制御部と、
を具備する移動体装置である。
　前記制御部は、前記移動体本体の将来予測到達範囲と前記対象物の移動範囲の比較結果に基づいて、前記移動体本体と前記対象物が衝突する危険度を判定する。また、前記制御部は、前記衝突を回避するための前記移動体の運転を制御する。
　本明細書で開示する技術によれば、セマンティックセグメンテーションによる領域情報に基づいて移動体と物体との衝突を予測する情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置を提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本明細書で開示する技術によりもたらされる効果はこれに限定されるものではない。また、本明細書で開示する技術が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、車両制御システム１００の概略的な機能の構成例を示すブロック図である。 図２は、情報処理システム２００（第１の実施例）の機能的構成例を示した図である。 図３は、画像領域を推定した結果を例示した図である。 図４は、図３に示した領域画像から歩行者Ａの接触領域を切り出した画像を示した図である。 図５は、歩行者Ａの接地面の履歴情報を例示した図である。 図６は、歩行者Ａの推定移動範囲を例示した図である。 図７は、情報処理システム２００が実施する処理手順を示したフローチャートである。 図８は、情報処理システム８００（第２の実施例）の機能的構成例を示した図である。 図９は、領域画像上に歩行者Ａに予測される移動軌跡及び接触領域を示した図である。 図１０は、歩行者Ａの接地面の履歴情報及び予測情報を例示した図である。 図１１は、歩行者Ａの推定移動範囲を例示した図である。 図１２は、画像領域を推定した結果（俯瞰方向に投影したマップ）を例示した図である。 図１３は、図１２に示した俯瞰マップに対して歩行者Ａの接地面の履歴情報及び予測情報を例示した図である。 図１４は、歩行者Ａの接地面の履歴情報及び予測情報を例示した図である。 図１５は、接触領域毎に設定した移動し易さを示した図である。 図１６は、歩行者Ａの推定移動範囲を例示した図である。 図１７は、画像領域を推定した結果（俯瞰方向に投影したマップ）を例示した図である。 図１８は、図１７に示した俯瞰マップに対して歩行者Ａの接地面の履歴情報及び予測情報を例示した図である。 図１９は、歩行者Ａの接地面の履歴情報及び予測情報を例示した図である。 図２０は、図１９に示した歩行者Ａの接地面の履歴情報及び予測情報に基づいて推定される移動範囲を例示した図である。 図２１は、歩行者Ａの接地面の履歴情報及び予測情報を例示した図である。 図２２は、歩行者Ａの接地面の履歴情報及び予測情報を例示した図である。 図２３は、図２２に示した歩行者Ａの接地面の履歴情報及び予測情報に基づいて推定される移動範囲を例示した図である。 図２４は、情報処理システム８００が実施する処理手順を示したフローチャートである。 図２５は、情報処理システム２５００（第３の実施例）の機能的構成例を示した図である。 図２６は、画像領域を推定した結果（俯瞰方向に投影したマップ）を歩行者Ａの予測される移動軌跡とともに例示した図である。 図２７は、歩行者Ａの移動経路を目的領域に基づいて再設計した結果を例示した図である。 図２８は、歩行者Ａの再設計した移動経路に基づいて移動範囲を再推定した結果を示した図である。 図２９は、入力画像を例示した図である。 図３０は、図２９に示した画像中の自転車Ａの将来的な移動軌跡及び接触領域を予測した結果を例示した図である。 図３１は、自転車Ａの接地面の履歴情報及び予測情報を例示した図である。 図３２は、画像領域を推定した結果（俯瞰方向に投影したマップ）を自転車Ａの移動軌跡及び接触領域の予測とともに例示した図である。 図３３は、自転車Ａの移動経路を目的領域に基づいて再設計した結果を例示した図である。 図３４は、再設計した移動経路に基づいて再推定した自転車Ａの移動範囲を例示した図である。 図３５は、情報処理システム２５００が実施する処理手順（前半）を示したフローチャートである。 図３６は、情報処理システム２５００が実施する処理手順（後半）を示したフローチャートである。 図３７は、情報処理システム３７００（第４の実施例）の機能的構成例を示した図である。 図３８は、情報処理システム３７００が実施する処理手順を示したフローチャートである。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
　図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダー、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　自動運転やＡＤＡＳの実現のために、自動車が障害物を感知して衝突に備える被害軽減ブレーキ機能が必須である。図１に示した車両制御システム１００では、緊急事態回避部１７１が、車外情報検出部１４１の検出結果に基づいて、歩行者や自転車といった障害物を認識し、歩行者や自転車が自車の前に飛び出してくるといった障害物の衝突などの緊急事態が発生する状況を予測する。そして、緊急事態回避部１７１は、予測された歩行者や自転車などの障害物との衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキ機能は実現する。また、車両制御システム１００は、被害軽減ブレーキ機能と併せて、出力制御部１０５が出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにすることもできる。
　一般には、歩行者や自転車などの物体の自車線に対する動きから、自車への飛び出しや衝突の予測を行う。このような場合、自車若しくは自車線の前方を向いている歩行者や自転車の飛び出しを予測し易い。例えば、自車が走行中のレーンに対して直交方向に近づいてくる歩行者や自転車の飛び出しを容易に予測することができる。他方、自車線の方向を向いていない歩行者や自転車の飛び出しの予測が困難である。例えば、止まっている歩行者や自転車、自車の方向に進んではいないが飛び出す雰囲気のある歩行者や自転車の飛び出しを予測することは困難である。
　そこで、本明細書では、歩行者や自転車などの物体が接する領域の履歴情報に基づいて、歩行者や自転車が飛び出してくる可能性を判定し、飛び出しの範囲を推定する技術について提案する。
　また、本明細書で提案する技術では、領域毎の情報を好適に処理するために、セマンティックセグメンテーションを利用する。セマンティックセグメンテーションは、画像の画素単位で、どのようなカテゴリに属するのかを識別する技術である。具体的には、さまざまな実際のオブジェクトの形状やその他の特徴に基づくオブジェクト識別用の辞書データと、画像内のオブジェクトとの一致度に基づいて、画像の画素単位でどのようなカテゴリに属するかを識別する。
　セマンティックセグメンテーションは、画素単位でオブジェクトを識別することから、カメラ画像などを用いた通常の物体認識技術よりも細かい粒度で識別できるという特徴がある。また、セマンティックセグメンテーションは、物体間の重なりに強い、すなわち、手前の物体の背後に隠れて部分的にしか見えない物体も高い精度で識別できるという特徴もある。
　セマンティックセグメンテーション技術を利用することで、例えば、車載カメラで自車の前方を捕捉した画像から、歩行者の領域を識別し、さらにその歩行者が接地している領域（歩道や車道など）、さらには接地しそうな領域の情報を密に取得することができる。
　本明細書で開示する技術によれば、歩行者や自転車などの物体が接する領域の履歴情報を密に取得し、その履歴情報に基づいて、歩行者や自転車などの行動予測を行うことによって、潜在的に危険や歩行者や自転車を早期に発見することができる。
　図２には、第１の実施例に係る情報処理システム２００の機能的構成例を示している。この情報処理システム２００は、例えば車載カメラにより捕捉される自車周辺の画像情報に基づいて、歩行者や自転車などの対象物の移動範囲（すなわち、飛び出す可能性のある範囲）を推定する機能を有する。情報処理システム２００による推定結果に基づいて、運転者への警告や、ブレーキの補助操作若しくは自動操作を制御するなどの運転支援を実施することができる。
　図示の情報処理システム２００は、画像入力部２０１と、画像領域推定部２０２と、追跡部２０３と、接触領域判定部２０４と、移動軌跡情報保存部２０５と、接触領域時系列情報保存部２０６と、対象物移動範囲推定部２０７と、計測部２０８と、危険度判定部２０９と、運転支援制御部２１０を備えている。
　情報処理システム２００の少なくとも一部の構成要素は、車両制御システム１００内の構成要素を利用して実現される。また、搭乗者が車室に持ち込むスマートフォンやタブレットなどの情報端末、あるいはその他の情報機器を用いて、情報処理システム２００の一部の構成要素を実現することもできる。また、情報処理システム２００の少なくとも一部の構成要素は、コンピュータ上で実行されるプログラムコードという形態で実現することもできる。また、情報処理システム２００の各構成要素間は、バス経由で、又はプロセス間通信を利用して、双方向にデータ通信が可能であるものとする。以下、情報処理システム２００内の各構成要素について説明する。
　画像入力部２０１は、車載カメラが捕捉した画像など、自車周辺の画像情報を入力する。但し、画像センサから画像情報を直接入力する必要はなく、ステレオ視やＴＯＦセンサ、ＬｉＤＡＲなどの距離センサを用いた３次元形状情報、あるいは２次元俯瞰図に変換した２次元俯瞰情報、同等同一の地図情報、あるいは時系列の計測情報とＳＬＡＭ、若しくはＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）を用いた３次元形状情報を用いるようにしてもよい。
　画像領域推定部２０２は、画像入力部２０１を介して入力した画像内の各領域を推定する。画像領域の推定には、基本的には、セマンティックセグメンテーション技術を利用して、画像の画素単位で、どのようなカテゴリに属するのかを識別する。画像領域推定部２０２からは、画素毎にカテゴリを識別するラベルが付与された情報が出力される。画像領域推定部２０２の推定結果に基づいて、対象物が抽出される。ここで言う対象物は、歩行者や自転車など、自車との衝突を予測する対象となる物体のことである。
　追跡部２０３は、画像領域推定部２０２の推定結果に基づいて抽出された各対象物を、画像入力部２０１を介した入力画像を用いて追跡する。
　接触領域判定部２０４は、追跡部２０３による対象物の追跡結果に基づいて、画像領域推定部２０２の推定結果すなわちセマンティックセグメンテーションを利用して、各対象物の接触領域を判定する。具体的には、接触領域判定部２０４は、対象物の接触領域に付与されたラベル情報に基づいて、その接触領域が何であるかを判定する。例えば、歩行者や自転車などの各対象物の接地面が、歩道、車道のなどのいずれであるかを判定する。
　移動軌跡情報保存部２０５は、追跡部２０３によって抽出した対象物の移動軌跡の情報を、対象物毎に保存する。各対象物の位置は、例えば世界座標系上のｘｙ座標系の位置情報として表現される。そして、移動軌跡の情報は、所定の間隔（時間間隔、又は距離間隔）毎の対象物の位置情報として表現される。
　接触領域時系列情報保存部２０６は、接触領域判定部２０４によって判定された対象物の接触領域の時系列の情報を、対象物毎に保存する。対象物の接触領域の時系列の情報は、所定の間隔（時間間隔、又は距離間隔）毎の対象物の接触領域のカテゴリの情報として表現される。また、対象物の接触領域の時系列の情報は、対象物の速度情報を含んでいてもよい。
　対象物移動範囲推定部２０７は、移動軌跡情報保存部２０５に保存されている対象物の接触領域の情報と、接触領域時系列情報保存部２０６に保存されている対象物の接触領域の時系列情報のうち少なくとも一方に基づいて、画像領域推定部２０２の推定結果すなわちセマンティックセグメンテーションを利用して、対象物毎の移動範囲の推定を行い、推定若しくは予測される各対象物の移動範囲を出力する。対象物の接触領域の時系列の情報が対象物の速度情報を含む場合には、対象物移動範囲推定部２０７は、対象物の速度情報も考慮して移動範囲を推定するようにしてもよい。
　対象物移動範囲推定部２０７は、例えばルールベースで対象物の移動範囲の推定を行う。ここで言うルールとして、「歩行者は、歩道から車道に出ると、車道を横切って反対側の歩道に渡る。」、「歩道と車道の間にガードレールがあるときには、ガードレールを跨いで車道に出る」、「歩行者は、歩道に散在する地面（未舗装部分）や水たまりを避けて通る」などである。ルールは、対象物が接触又は接地する領域のセマンティクスに基づいて記述されたルールであってもよい。また、ルールベースで対象物の移動範囲の推定を行なう際に、対象物の移動軌跡（移動軌跡に基づく速度情報）や、接触領域の時系列情報を補正係数として利用する。また、対象物移動範囲推定部２０７は、機械学習を用いて、対象物の移動範囲の推定を行うようにしてもよい。機械学習には、ニューラルネットワークが利用される。接触領域などの時系列情報を機械学習する場合には、リカレント（再帰型）ニューラルネットワーク（ＲＮＮ）を利用してもよい。
　計測部２０８は、自車のステアリング角や車両速度を計測する。計測部２０８は、車両制御システム１００内のデータ取得部１０２（前述）であってもよい。あるいは、計測部２０８を、車両制御システム１００からステアリング角や車両速度などの車両制御情報を入力する機能モジュールに置き換えてもよい。
　危険度判定部２０９は、対象物移動範囲推定部２０７が推定した各対象物の移動範囲と、ステアリング角や車両速度などの自車の車両制御情報との比較結果に基づいて、自車と衝突する危険度を対象物毎に判定する。具体的には、危険度判定部２０９は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と各対象物の推定移動範囲との交点を探索して、交点が見つかった対象物と自車が衝突する危険があると判定する。
　運転支援制御部２１０は、危険度判定部２０９による判定結果に基づいて、自車の運転を支援する。運転支援制御部２１０は、車両制御システム１００内の緊急事態回避部１７１（前述）であってもよい。緊急事態回避部１７１は、自車と衝突する危険があると判定された対象物との衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキ機能は実現する。また、車両制御システム１００は、被害軽減ブレーキ機能と併せて、出力制御部１０５が出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにすることもできる。
　続いて、第１の実施例に係る情報処理システム２００の具体的な動作例について説明する。ここでは、画像入力部２０１が車載カメラから入力した画像を、画像領域推定部２０２でセマンティックセグメンテーションを実施して、図３に示したような、セマンティックス毎に領域が分割された画像が得られた場合を想定している。画素毎にカテゴリを識別するラベルが付与されているが、図３では同じラベルの領域を同じ濃淡で表現している。また、図３に示す領域画像は、自車の前方に車道を渡っている歩行者Ａを含んでいる。以下では、情報処理装置２００を用いて、歩行者Ａの移動範囲を推定する処理について説明する。
　接触領域判定部２０４は、追跡部２０３による対象物の追跡結果に基づいて、画像領域推定部２０２の推定結果すなわちセマンティックセグメンテーションを利用して、各対象物の接触領域を判定する。具体的には、接触領域判定部２０４は、歩行者Ａの接地面が、歩道、車道のなどのいずれであるかを判定する。接地面の情報は、歩行者Ａの足の接触領域の画素に付与されたラベルの情報である。あるいは、図４に示すような、歩行者Ａの足と地面との接触領域自体を切り出した画像であってもよい。図３に示す領域画像では、歩行者Ａの接地面は車道であると判定される。
　そして、接触領域時系列情報保存部２０６は、接触領域判定部２０４によって判定された歩行者Ａの接触領域の時系列情報を保存する。歩行者Ａの接触領域の時系列情報は、所定時間毎の歩行者Ａの接地面のカテゴリの情報からなる。
　また、移動軌跡情報保存部２０５は、追跡部２０３が図３に示したような領域画像から抽出した歩行者Ａの移動軌跡の情報を保存している。移動軌跡の情報は、所定の間隔毎の歩行者Ａの位置情報からなる。
　接触領域時系列情報保存部２０６から読み出した歩行者Ａの接触領域の時系列情報と、移動軌跡情報保存部２０５から読み出した歩行者Ａの移動軌跡情報に基づいて、図５に示すような、歩行者Ａの接地面の履歴情報を作成することができる。図５は、所定の間隔毎の、歩行者Ａの接地面のカテゴリと位置情報の組み合わせからなる。紙面の下方向が時間軸方向であり、歩行者Ａは、歩道→歩道→歩道→車道→車道→車道→…と接地面を遷移した履歴情報が保存されている。
　対象物移動範囲推定部２０７は、図５に示すような歩行者Ａの接地面の履歴情報に基づいて、歩行者Ａの移動範囲を推定する。対象物移動範囲推定部２０７は、例えばルールベースで対象物の移動範囲の推定を行う。ルールは、対象物が接触又は接地する領域のセマンティクスに基づいて記述されたルールであってもよい。また、ルールベースで対象物の移動範囲の推定を行なう際に、対象物の移動軌跡（移動軌跡に基づく速度情報）や、接触領域の時系列情報を補正係数として利用する。また、対象物移動範囲推定部２０７は、機械学習を用いて、対象物の移動範囲の推定を行うようにしてもよい。機械学習にはニューラルネットワークが利用される。接触領域などの時系列情報を機械学習する場合には、ＲＮＮを利用してもよい。
　図６には、対象物移動範囲推定部２０７が、歩行者Ａの接触領域時系列情報（図５を参照のこと）に基づいて推定した、歩行者Ａの移動範囲６０１を示している。また、同図では、歩行者Ａの速度情報に基づいて推定される歩行者Ａの移動範囲６０２も併せて示している。
　速度情報に基づいて推定される歩行者Ａの移動範囲は、図５に示した接触領域時系列情報のうち右欄の位置情報（言い換えれば、歩行者Ａの移動軌跡情報）に基づいて推定される歩行者Ａの歩行速度ベクトルから導き出される、歩行者の移動範囲であり、その方向や面積が限定的となる。
　これに対し、接触領域時系列情報に基づく場合、単純に歩行者Ａの位置情報だけでなく、歩行者Ａが時々刻々と接地する領域のカテゴリ若しくはセマンティクスを考慮して、歩行者の移動範囲６０１を推定することができる。例えば、歩道から車道への接地面の履歴を持つと、途中で加速する傾向がある、といった歩行者全般若しくは歩行者Ａ個人の傾向に基づいて、歩行者の移動範囲６０１を推定することができる。情報処理システム２００を用いて歩行者Ａの移動範囲を推定することで、歩行者Ａが車道を渡る途中で加速し、飛び出す危険性を早期に検知することができるという効果がある。
　なお、図６に示す例では、歩行者Ａが途中で加速する傾向があることから、移動範囲６０１は、速度情報のみに基づいて推定される移動範囲６０２と比べて広くなっている。但し、歩行者Ａの行動が限定的となるような接地面の履歴の場合には、接触領域時系列情報に基づいて推定される移動範囲の方が、速度情報に基づいて推定される移動範囲よりも方向や面積が狭くなることも想定される。
　計測部２０８は、自車のステアリング角や車両速度を計測する。そして、危険度判定部２０９は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と、歩行者Ａの推定移動範囲６０１（前述）との交点を探索し、交点が見つかった場合には歩行者Ａと自車が衝突する危険があると判定する。
　運転支援制御部２１０は、危険度判定部２０９が歩行者Ａと自車が衝突する危険があると判定した場合には、自車と歩行者Ａとの衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキを実施する。また、運転支援制御部２１０は、被害軽減ブレーキと併せて、出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにしてもよい。
　図７には、情報処理システム２００が実施する処理手順をフローチャートの形式で示している。
　まず、画像入力部２０１が、車載カメラが捕捉した画像など、自車周辺の画像情報を入力する（ステップＳ７０１）。
　次いで、画像領域推定部２０２が、入力画像に対してセマンティックセグメンテーション処理を実施して、その処理結果を出力する（ステップＳ７０２）。
　そして、追跡部２０３は、セマンティックセグメンテーション処理された領域画像内に対象物が存在するか否かをチェックする（ステップＳ７０３）。ここで言う対象物とは、歩行者や自転車、周辺車両など、自車との衝突を予測する対象となる物体のことである。
　対象物が見つからなかった場合には（ステップＳ７０３のＮｏ）、ステップＳ７０１に戻り、次の画像を入力する。
　また、対象物が見つかった場合には（ステップＳ７０３Ｙｅｓ）、追跡部２０３は、セマンティックセグメンテーション処理された領域画像から対象物の情報を抽出し、ステップＳ７０１で入力した画像を用いて各対象物を追跡する（ステップＳ７０４）。
　接触領域判定部２０４は、画像領域推定部２０２の推定結果と、追跡部２０３による対象物の追跡結果に基づいて、各対象物の接触領域の情報を抽出する（ステップＳ７０５）。
　そして、接触領域時系列情報保存部２０６は、接触領域判定部２０４が抽出する各対象物の接触領域の情報を、対象物毎に時系列で保存する（ステップＳ７０６）。
　また、移動軌跡情報保存部２０５は、追跡部２０３によって抽出した対象物の移動軌跡の情報を、対象物毎に保存する（ステップＳ７０７）。
　次いで、変数ＮにステップＳ７０３で見つかった対象物の総数を代入するとともに、処理した対象物をカウントする変数ｉに初期値１を代入する（ステップＳ７０８）。
　そして、ｉ番目の対象物の移動履歴情報と接触領域時系列情報をそれぞれ移動履歴情報保存部２０５と接触領域時系列情報保存部２０６から読み込んで（ステップＳ７０９）、対象物移動範囲推定部２０７によりｉ番目の対象物の移動範囲を推定する（ステップＳ７１０）。
　ここで、ｉがＮ未満、すなわち未処理の対象物が残っている場合には（ステップＳ７１１のＮｏ）、ｉを１だけインクリメントしてから（ステップＳ７１７）、ステップＳ７０９に戻り、次の対象物についての移動範囲の推定処理を繰り返し実施する。
　また、ｉがＮに到達したとき、すなわちすべての対象物について移動範囲の推定処理が完了した場合には（ステップＳ７１１のＹｅｓ）、引き続いて、各対象物の危険度判定処理を実施する。
　まず、危険度判定部２０９は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測する（ステップＳ７１２）。
　次いで、危険度判定部２０９は、自車の将来予測到達範囲と各対象物の推定移動範囲との交点を探索する（ステップＳ７１３）。
　次いで、危険度判定部２０９は、交点が見つかった場合には、自車がその交点に到達するまでの時間を計算する（ステップＳ７１４）。
　そして、危険度判定部２０９は、自車の交点までの到達時間と所定の閾値とを大小比較する（ステップＳ７１５）。
　自車の交点までの到達時間が閾値以下となる場合には（ステップＳ７１５のＹｅｓ）、危険度判定部２０９は、自車が対象物と衝突する危険があると判定して、運転支援制御部２１０は、危険度判定部２０９による判定結果に基づいて、自車の運転を支援する（ステップＳ７１６）。
　運転支援制御部２１０は、車と衝突する危険があると判定された対象物との衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキ機能は実現する。また、被害軽減ブレーキ機能と併せて、出力制御部１０５が出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにすることもできる。
　また、自車の交点までの到達時間が閾値よりも長ければ（ステップＳ７１５のＮｏ）、危険度判定部２０９は、自車が対象物と衝突する危険がないと判定して、ステップＳ７０１に戻って、上述した対象物の追跡、対象物の移動範囲推定、危険度判定処理を繰り返し実行する。
　図８には、第２の実施例に係る情報処理システム８００の機能的構成例を示している。この情報処理システム８００は、例えば車載カメラにより捕捉される自車周辺の画像情報に基づいて、歩行者や自転車などの対象物の移動範囲を推定する機能を有する。情報処理システム８００による推定結果に基づいて、運転者への警告や、ブレーキの補助操作若しくは自動操作を制御するなどの運転支援を実施することができる。
　図示の情報処理システム８００は、画像入力部８０１と、画像領域推定部８０２と、追跡部８０３と、接触領域判定部８０４と、移動軌跡情報保存部８０５と、接触領域時系列情報保存部８０６と、対象物移動範囲推定部８０７と、対象物移動軌跡予測部８０８と、対象物接触領域予測部８０９と、計測部８１０と、危険度判定部８１１と、運転支援制御部８１２を備えている。
　情報処理システム８００の少なくとも一部の構成要素は、車両制御システム１００内の構成要素を利用して実現される。また、搭乗者が車室に持ち込むスマートフォンやタブレットなどの情報端末、あるいはその他の情報機器を用いて、情報処理システム８００の一部の構成要素を実現することもできる。また、情報処理システム８００の各構成要素間は、バス経由で、又はプロセス間通信を利用して、双方向にデータ通信が可能であるものとする。以下、情報処理システム８００内の各構成要素について説明する。
　画像入力部８０１は、車載カメラが捕捉した画像など、自車周辺の画像情報を入力する。但し、画像センサから画像情報を直接入力する必要はなく、ステレオ視やＴＯＦセンサ、ＬｉＤＡＲなどの距離センサを用いた３次元形状情報、あるいは２次元俯瞰図に変換した２次元俯瞰情報、同等同一の地図情報、あるいは時系列の計測情報とＳＬＡＭ、若しくはＳｆＭを用いた３次元形状情報を用いるようにしてもよい。
　画像領域推定部８０２は、セマンティックセグメンテーション技術を利用して、画像入力部８０１を介して入力した画像内の各領域を推定して、画素毎にカテゴリを識別するラベルが付与された情報を出力する。画像領域推定部８０２の推定結果に基づいて、対象物が抽出される。
　追跡部８０３は、画像領域推定部８０２の推定結果に基づいて抽出された各対象物を、画像入力部８０１を介した入力画像を用いて追跡する。
　接触領域判定部８０４は、追跡部８０３による対象物の追跡結果に基づいて、画像領域推定部８０２の推定結果から各対象物の接触領域を判定する。例えば、歩行者や自転車などの各対象物の接地面が、歩道、車道のなどのいずれであるかを判定する。
　移動軌跡情報保存部８０５は、追跡部８０３によって抽出した対象物の移動軌跡の情報を、対象物毎に保存する。また、接触領域時系列情報保存部８０６は、接触領域判定部８０４によって判定された対象物の接触領域の時系列の情報を、対象物毎に保存する。
　対象物移動軌跡予測部８０８は、移動軌跡情報保存部８０５に保存されている対象物毎の移動軌跡情報に基づいて、対象物の将来的な移動軌跡を予測する。対象物移動規制予測部８０８は、機械学習を用いて、対象物の移動軌跡の予測を行うようにしてもよい。機械学習には、ニューラルネットワークが利用される。移動軌跡などの時系列情報を機械学習するには、ＲＮＮを利用してもよい。
　対象物接触領域予測部８０９は、対象物移動軌跡予測部８０８が予測した各対象物の将来的な移動軌跡上で順次接触していく接触領域を、対象物移動軌跡予測部８０８が予測した対象物毎の将来的な移動軌跡と、画像領域推定部８０２の推定結果から予測する。対象物接触領域予測部８０９は、機械学習を用いて、対象物の接触領域の予測を行うようにしてもよい。機械学習には、ニューラルネットワークが利用される。
　対象物移動範囲推定部８０７は、移動軌跡情報保存部８０５に保存されている対象物の接触領域の情報と、接触領域時系列情報保存部８０６に保存されている対象物の接触領域の時系列情報と、さらには、対象物移動軌跡予測部８０８が予測する将来的な移動軌跡及び対象物接触領域予測部８０９が予測する将来的な接触領域に基づいて、画像領域推定部８０２の推定結果から対象物毎の移動範囲の推定を行い、推定若しくは予測される各対象物の移動範囲を出力する。対象物の接触領域の時系列の情報が対象物の速度情報を含む場合には、対象物移動範囲推定部８０７は、対象物の速度情報も考慮して移動範囲を推定するようにしてもよい。
　対象物移動範囲推定部８０７は、例えばルールベースで対象物の移動範囲の推定を行う。また、ルールベースで対象物の移動範囲の推定を行なう際に、対象物の移動軌跡（移動軌跡に基づく速度情報）や、接触領域の時系列情報を線形予測の補正係数として利用する。また、対象物移動範囲推定部８０７は、機械学習を用いて、対象物の移動範囲の推定を行うようにしてもよい。機械学習にはニューラルネットワークが利用される。接触領域などの時系列情報を機械学習する場合には、ＲＮＮを利用してもよい。
　計測部８１０は、自車のステアリング角や車両速度を計測する。計測部８１０は、車両制御システム１００内のデータ取得部１０２（前述）であってもよい。あるいは、計測部８１０を、車両制御システム１００からステアリング角や車両速度などの車両制御情報を入力する機能モジュールに置き換えてもよい。
　危険度判定部８１１は、対象物移動範囲推定部８０７が推定した各対象物の移動範囲と、ステアリング角や車両速度などの自車の車両制御情報との比較結果に基づいて、自車と衝突する危険度を対象物毎に判定する。具体的には、危険度判定部８１１は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と各対象物の推定移動範囲との交点を探索して、交点が見つかった対象物と自車が衝突する危険があると判定する。
　運転支援制御部８１２は、危険度判定部８１１による判定結果に基づいて、自車の運転を支援する。運転支援制御部８１２は、車両制御システム１００内の緊急事態回避部１７１（前述）であってもよい。緊急事態回避部１７１は、自車と衝突する危険があると判定された対象物との衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキ機能は実現する。また、車両制御システム１００は、被害軽減ブレーキ機能と併せて、出力制御部１０５が出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにすることもできる。
　続いて、第２の実施例に係る情報処理システム８００の具体的な動作例について説明する。ここでも、画像入力部８０１から入力した画像を画像領域推定部８０２でセマンティックセグメンテーションを実施して、図３に示した領域画像が得られた場合を想定しており、画素毎にカテゴリを識別するラベルが付与されている。そして、情報処理システム８００を用いて、歩行者Ａの移動範囲を推定する処理について説明する。
　接触領域判定部８０４は、追跡部８０３による対象物の追跡結果に基づいて、画像領域推定部８０２の推定結果から歩行者Ａの接触領域を判定する。具体的には、接触領域判定部８０４は、歩行者Ａの接地面が、歩道、車道のなどのいずれであるかを判定する。接地面の情報は、歩行者Ａの足の接触領域の画素に付与されたラベルの情報である。図３に示す領域画像では、歩行者Ａの接地面は車道であると判定される。そして、接触領域時系列情報保存部８０６は、接触領域判定部８０４によって判定された歩行者Ａの接触領域の時系列情報を保存する。歩行者Ａの接触領域の時系列情報は、所定時間毎の歩行者Ａの接地面のカテゴリの情報からなる。
　また、移動軌跡情報保存部８０５は、追跡部８０３が図３に示したような領域画像から抽出した歩行者Ａの移動軌跡の情報を保存している。移動軌跡の情報は、所定の間隔毎の歩行者Ａの位置情報からなる。
　一方、対象物移動軌跡予測部８０８は、移動軌跡情報保存部８０５に保存されている歩行者Ａの移動軌跡情報に基づいて、歩行者Ａの将来的な移動軌跡を予測する。また、対象物接触領域予測部８０９は、対象物移動軌跡予測部８０８が予測した歩行者Ａの将来的な移動軌跡上で順次接触していく接触領域を、画像領域推定部８０２の推定結果から予測する。
　図９には、図３に示した領域画像に対して、歩行者Ａの移動軌跡及び接触領域を予測した結果を例示している。図９に示す例では、車道を横切るように歩いている歩行者Ａが将来的に反対側（歩いている方向）の歩道に到達する移動軌跡９０１を予測し、且つ、歩行者Ａの将来的な接触領域として歩道を予測している。
　接触領域時系列情報保存部８０６から読み出した歩行者Ａの接触領域の時系列情報と、移動軌跡情報保存部８０５から読み出した歩行者Ａの移動軌跡情報に基づいて、図１０の上半分に示すような、歩行者Ａの接地面の履歴情報を作成することができる。
　また、対象物移動軌跡予測部８０８が予測する歩行者Ａの将来的な移動軌跡と、対象物接触領域予測部８０９が予測する歩行者Ａの将来的な接触領域に基づいて、図１０の下半分に示すような、歩行者Ａの接地面の予測情報を作成することができる。図１０に示す例では、車道を横切るように歩いている歩行者Ａが将来的に反対側（歩いている方向）の歩道に到達する移動軌跡を予測し、且つ、歩行者Ａの将来的な接触領域として歩道を予測している。
　図１０に示す履歴情報及び予測情報はいずれも、所定の間隔毎の、歩行者Ａの接地面のカテゴリと位置情報の組み合わせからなる。紙面の下方向が時間軸方向であり、歩行者Ａが歩道→歩道→歩道→車道→車道→車道→…と接地面を遷移した履歴情報が保存されるとともに、歩行者Ａが将来的に車道→車道→車道→車道→歩道→歩道→…と接地面を遷移することを予測している。なお、図１０には１つの予測パターンしか記載していないが、対象物移動軌跡予測部８０８並びに対象物接触領域予測部８０９はそれぞれ複数の予測パターンを予測するようにしてもよい。
　対象物移動範囲推定部８０７は、図１０に示すような歩行者Ａの接地面の履歴情報及び予測情報に基づいて、歩行者Ａの移動範囲を推定する。対象物移動範囲推定部８０７は、例えばルールベースで対象物の移動範囲の推定を行う。ルールは、対象物が接触又は接地する領域のセマンティクスに基づいて記述されたルールであってもよい。また、ルールベースで対象物の移動範囲の推定を行なう際に、対象物の移動軌跡（移動軌跡に基づく速度情報）や、接触領域の時系列情報を補正係数として利用する。また、対象物移動範囲推定部８０７は、機械学習を用いて、対象物の移動範囲の推定を行うようにしてもよい。機械学習にはニューラルネットワークが利用される。接触領域などの時系列情報を機械学習する場合には、ＲＮＮを利用してもよい。
　図１１には、対象物移動範囲推定部８０７が、歩行者Ａの接地面の履歴情報及び予測情報に基づいて推定した、歩行者Ａの移動範囲１１０１を示している。また、同図では、歩行者Ａの速度情報に基づいて推定される歩行者Ａの移動範囲１１０２も併せて示している。
　上述したように、対象物移動軌跡予測部８０８が車道を横切るように歩いている歩行者Ａが将来的に反対側（歩いている方向）の歩道に到達する移動軌跡を予測し、且つ、対象物接触領域予測部８０９が歩行者Ａの将来的な接触領域として歩道を予測している。対象物移動範囲推定部８０６は、歩行者Ａが将来的に歩道に接触する可能性があるという移動軌跡並びに接触領域の予測結果に基づいて、歩行者Ａが歩道に到達するまで加速する可能性が高いという予測に基づいて、歩行者Ａの広い（歩道に向かって広く伸びる）移動範囲１１０１を推定している。履歴情報に予測情報を加えることによって、対象物移動範囲推定部８０７はより広い移動範囲を推定できる、ということもできる。他方、速度情報に基づいて推定される歩行者Ａの移動範囲１１０２は、図１０に示した接触領域時系列情報のうち右欄の位置情報（言い換えれば、歩行者Ａの移動軌跡情報及びその予測情報）に基づいて推定される歩行者Ａの歩行速度ベクトルから導き出される、歩行者の移動範囲であり、その方向や面積が限定的となる。
　したがって、情報処理システム８００を用いて歩行者Ａの移動範囲を推定することで、歩行者Ａが車道を渡る途中で加速し、飛び出す危険性を早期に検知することができるという効果がある。
　計測部８１０は、自車のステアリング角や車両速度を計測する。危険度判定部８１１は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と、歩行者Ａの推定移動範囲１１０１（前述）との交点を探索し、交点が見つかった場合には歩行者Ａと自車が衝突する危険があると判定する。そして、運転支援制御部８１２は、危険度判定部８１１が歩行者Ａと自車が衝突する危険があると判定した場合には、自車と歩行者Ａとの衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキを実施する。また、運転支援制御部８１２は、被害軽減ブレーキと併せて、出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにしてもよい。
　続いて、画像入力部８０１に別の画像が入力された場合の、情報処理システム８００の他の動作例について説明する。図１２には、この動作例で想定している入力画像を画像領域推定部８０２で処理した結果の意味情報を俯瞰方向に投影して示している。そして、建物から歩道に出てきた歩行者Ａを対象物とする。また、図１２に示す俯瞰マップの例では、歩行者Ａの接触領域（接地面）として、建物、歩道、ガードレール、及び車道などが挙げられる。
　接触領域判定部８０４は、追跡部８０３による対象物の追跡結果に基づいて、画像領域推定部８０２の推定結果から各対象物の接触領域を判定する。具体的には、接触領域判定部８０４は、歩行者Ａの接地面が、建物、歩道、ガードレール、及び車道などのうちいずれであるかを判定する。接地面の情報は、歩行者Ａの足の接触領域の画素に付与されたラベルの情報である。図１２に示す領域画像では、歩行者Ａの接地面は、建物、歩道の順に判定される。そして、接触領域時系列情報保存部８０６は、接触領域判定部８０４によって判定された歩行者Ａの接触領域の時系列情報を保存する。歩行者Ａの接触領域の時系列情報は、所定時間毎の歩行者Ａの接地面のカテゴリの情報からなる。
　また、移動軌跡情報保存部８０５は、追跡部８０３が領域画像から抽出した歩行者Ａの移動軌跡の情報を保存している。移動軌跡の情報は、所定の間隔毎の歩行者Ａの位置情報からなる。
　一方、対象物移動軌跡予測部８０８は、移動軌跡情報保存部８０５に保存されている歩行者Ａの移動軌跡情報に基づいて、歩行者Ａの将来的な移動軌跡を予測する。また、対象物接触領域予測部８０９は、対象物移動軌跡予測部８０８が予測した歩行者Ａの将来的な移動軌跡上で順次接触していく接触領域を、画像領域推定部８０２の推定結果から予測する。
　図１３には、図１２に示した俯瞰マップに対して、歩行者Ａの移動軌跡及び接触領域を予測した結果を例示している。図１３に示す例では、建物から歩道に出てきた歩行者Ａは、将来的にそのまま車道を横切って歩いていき、反対側の歩道に到達する移動軌跡１３０１を予測している。また、歩道と車道がガードレールによって仕切られていることから、ガードレールを乗り越える移動軌跡が予測されるとともに、歩道と車道の間並びに車道と反対側の歩道の間の各々にガードレールを含む接地領域の時系列が予測される。
　接触領域時系列情報保存部８０６から読み出した歩行者Ａの接触領域の時系列情報と、移動軌跡情報保存部８０５から読み出した歩行者Ａの移動軌跡情報に基づいて、図１４の上半分に示すような、歩行者Ａの接地面の履歴情報を作成することができる。
　また、対象物移動軌跡予測部８０８が予測する歩行者Ａの将来的な移動軌跡と、対象物接触領域予測部８０９が予測する歩行者Ａの将来的な接触領域に基づいて、図１４の下半分に示すような、歩行者Ａの接地面の予測情報を作成することができる。図１４に示す例では、歩行者Ａが将来的に反対側の歩道まで歩いていく移動軌跡を予測し、且つ、ガードレールを乗り越えて歩道から車道に出て、しばらく車道を歩き続け、再びガードレールを乗り越えて反対側の歩道に入る際の歩行者Ａの将来的な接触領域を予測している。ガードレールを乗り越えるには時間がかかる（言い換えれば、歩道や車道よりもガードレールでの移動速度が遅くなる）ということも、接触領域のセマンティクスに基づいて予測することができる。
　図１４に示す履歴情報及び予測情報はいずれも、所定の間隔毎の、歩行者Ａの接地面のカテゴリと位置情報の組み合わせからなる。紙面の下方向が時間軸方向であり、歩行者Ａが建物→建物→建物→建物→歩道→歩道→…と接地面を遷移した履歴情報が保存されるとともに、歩行者Ａが将来的に歩道→ガードレール→ガードレール→ガードレール→車道→車道→…と接地面を遷移することを予測している。なお、図１４には１つの予測パターンしか記載していないが、対象物移動軌跡予測部８０８並びに対象物接触領域予測部８０９はそれぞれ複数の予測パターンを予測するようにしてもよい。
　対象物移動範囲推定部８０７は、図１４に示すような歩行者Ａの接地面の履歴情報及び予測情報に基づいて、歩行者Ａの移動範囲を推定する。対象物移動範囲推定部８０７は、例えばルールベースで対象物の移動範囲の推定を行う。ルールは、対象物が接触又は接地する領域のセマンティクスに基づいて記述されたルールであってもよい。また、ルールベースで対象物の移動範囲の推定を行なう際に、対象物の移動軌跡（移動軌跡に基づく速度情報）や、接触領域の時系列情報を補正係数として利用する。また、対象物移動範囲推定部８０７は、機械学習を用いて、対象物の移動範囲の推定を行うようにしてもよい。機械学習にはニューラルネットワークが利用される。接触領域などの時系列情報を機械学習する場合には、ＲＮＮを利用してもよい。
　対象物移動範囲推定部８０７は、移動範囲の推定の際に、各接触領域のラベルに移動し易さを設定するようにしてもよい。移動し易さの設定は、各領域のセマンティクスに基づくものであってもよいし、システムの設計者の経験則あるいは解析結果に基づくものでもよい。また、ＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を使った学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ：ＤＬ）に基づいて設定するようにしてもよい。図１５には、接触領域毎の移動し易さの設定例を示している。
　図１６には、対象物移動範囲推定部８０７が、歩行者Ａの接地面の履歴情報及び予測情報に基づいて推定した、歩行者Ａの移動範囲１６０１を示している。また、同図では、歩行者Ａの速度情報に基づいて推定される歩行者Ａの移動範囲１６０２も併せて示している。
　建物から歩道に出てきた歩行者Ａの速度情報に基づけば、参照番号１６０２に示すように、歩行者Ａがガードレールを乗り越えて車道に出るという移動範囲が推定される。これに対し、図１５に示したような接触領域毎に設定された移動し易さを考慮すると、建物から歩道に出た歩行者Ａの目の前には乗り越えにくいガードレールが見えることから、参照番号１６０１に示すように、歩行者Ａは左右のいずれかに方向転換して歩道を歩くという移動範囲を、対象物移動範囲推定部８０７は推定することができる。
　したがって、情報処理システム８００を用いて歩行者Ａの移動範囲を推定することで、歩行者Ａの速度情報の過検知を抑制して、歩行者Ａがガードレールを乗り越えるといった困難を回避して、移動し易い接触領域を多く含むリーズナブルな移動範囲を推定できるという効果がある。
　計測部８１０は、自車のステアリング角や車両速度を計測する。危険度判定部８１１は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と、歩行者Ａの推定移動範囲１６０１との交点を探索するが、交点は検出されないので、自車が歩行者Ａと衝突する危険がないと判定する。したがって、この場合は、運転支援制御部８１２が被害軽減ブレーキを実施したり、出力部１０６から警告音又は警告メッセージが出力したりすることはない。
　続いて、画像入力部８０１に別の画像が入力された場合の、情報処理システム８００のさらに他の動作例について説明する。図１７には、この動作例で想定している入力画像を画像領域推定部８０２で処理した結果の意味情報を俯瞰方向に投影して示している。そして、建物から歩道に出てきた歩行者Ａを対象物とする。また、図１７に示す俯瞰マップの例では、歩行者Ａの接触領域（接地面）として、建物、歩道、水たまり、地面（歩道中で地面が露出した、未舗装部分など）、及び車道などが挙げられる。
　接触領域判定部８０４は、追跡部８０３による対象物の追跡結果に基づいて、画像領域推定部８０２の推定結果から各対象物の接触領域を判定する。具体的には、接触領域判定部８０４は、歩行者Ａの接地面が、建物、歩道、水たまり、地面、及び車道などのうちいずれであるかを判定する。接地面の情報は、歩行者Ａの足の接触領域の画素に付与されたラベルの情報である。そして、接触領域時系列情報保存部８０６は、接触領域判定部８０４によって判定された歩行者Ａの接触領域の時系列情報を保存する。歩行者Ａの接触領域の時系列情報は、所定時間毎の歩行者Ａの接地面のカテゴリの情報からなる。
　また、移動軌跡情報保存部８０５は、追跡部８０３が領域画像から抽出した歩行者Ａの移動軌跡の情報を保存している。移動軌跡の情報は、所定の間隔毎の歩行者Ａの位置情報からなる。
　一方、対象物移動軌跡予測部８０８は、移動軌跡情報保存部８０５に保存されている歩行者Ａの移動軌跡情報に基づいて、歩行者Ａの将来的な移動軌跡を予測する。また、対象物接触領域予測部８０９は、対象物移動軌跡予測部８０８が予測した歩行者Ａの将来的な移動軌跡上で順次接触していく接触領域を、画像領域推定部８０２の推定結果から予測する。
　図１８には、図１７に示した俯瞰マップに対して、歩行者Ａの移動軌跡及び接触領域を予測した結果を例示している。図１８に示す例では、歩道を直進してきた歩行者Ａは、将来的にはそのまま歩道をまっすぐ歩いていく移動経路１８０１を予測している。また、歩道を直進する歩行者Ａの進路上には地面があることから、歩道に続いて地面を含む接地領域の時系列が予測される。
　接触領域時系列情報保存部８０６から読み出した歩行者Ａの接触領域の時系列情報と、移動軌跡情報保存部８０５から読み出した歩行者Ａの移動軌跡情報に基づいて、図１９の上半分に示すような、歩行者Ａの接地面の履歴情報を作成することができる。
　また、対象物移動軌跡予測部８０８が予測する歩行者Ａの将来的な移動軌跡と、対象物接触領域予測部８０９が予測する歩行者Ａの将来的な接触領域に基づいて、図１９の下半分に示すような、歩行者Ａの接地面の予測情報を作成することができる。図１９に示す例では、歩行者Ａが歩道をそのまま直進する移動軌跡を予測し、且つ、歩行者Ａの現在の進路上に存在する１つ目の地面上を通過する歩行者Ａの将来的な接触領域を予測している。
　図１９に示す履歴情報及び予測情報はいずれも、所定の間隔毎の、歩行者Ａの接地面のカテゴリと位置情報の組み合わせからなる。紙面の下方向が時間軸方向であり、歩行者Ａが歩道→歩道→歩道→歩道→歩道→歩道→…と接地面を遷移した履歴情報が保存されるとともに、歩行者Ａが将来的に歩道→地面→地面→地面→歩道→歩道→…と接地面を遷移することを予測している。なお、図１９には１つの予測パターンしか記載していないが、対象物移動軌跡予測部８０８並びに対象物接触領域予測部８０９はそれぞれ複数の予測パターンを予測するようにしてもよい。
　対象物移動範囲推定部８０７は、図１９に示すような歩行者Ａの接地面の履歴情報及び予測情報に基づいて、歩行者Ａの移動範囲を推定する。対象物移動範囲推定部８０７は、例えばルールベースで対象物の移動範囲の推定を行う。ルールは、対象物が接触又は接地する領域のセマンティクスに基づいて記述されたルールであってもよい。また、ルールベースで対象物の移動範囲の推定を行なう際に、対象物の移動軌跡（移動軌跡に基づく速度情報）や、接触領域の時系列情報を補正係数として利用する。また、対象物移動範囲推定部８０７は、機械学習を用いて、対象物の移動範囲の推定を行うようにしてもよい。機械学習にはニューラルネットワークが利用される。接触領域などの時系列情報を機械学習する場合には、ＲＮＮを利用してもよい。
　対象物移動範囲推定部８０７は、移動範囲の推定の際に、各接触領域のラベルに移動し易さを設定するようにしてもよい。移動し易さの設定は、各領域のセマンティクスに基づくものであってもよいし、システムの設計者の経験則あるいは解析結果に基づくものでもよい。また、ＤＮＮを使ったＤＬに基づいて設定するようにしてもよい。
　図２０には、対象物移動範囲推定部８０７が、歩行者Ａの接地面の履歴情報及び予測情報に基づいて推定した、歩行者Ａの移動範囲２００１を示している。また、同図では、歩行者Ａの速度情報に基づいて推定される歩行者Ａの移動範囲２００２も併せて示している。
　歩道を直進している歩行者Ａの速度情報に基づけば、参照番号２００２に示すように、歩行者Ａが地面の上を歩いていくという移動範囲が推定される。これに対し、未舗装より舗装部分の方が歩き易い、地面を踏むと靴が汚れるといった、接触領域毎に設定された移動し易さを考慮すると、歩道をまっすぐ歩いてきた歩行者Ａの目の前に地面が現れると、参照番号２００１に示すように、歩行者Ａは地面を避けるため車道にはみ出して歩くという移動経路を、対象物移動範囲推定部８０７は推定することができる。
　したがって、情報処理システム８００を用いて歩行者Ａの移動範囲を推定することで、歩行者Ａの速度情報の過検知を抑制して、歩行者Ａが地面や水たまりを避けて、歩き易く靴が汚れ難い接触領域を多く含む現実的な移動範囲２００１を推定できるという効果がある。
　計測部８１０は、自車のステアリング角や車両速度を計測する。危険度判定部８１１は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と、歩行者Ａの推定移動範囲２００１との交点を探索する。この場合、推定移動範囲２００１のうち歩道からはみ出た部分との交点が見つかるので、危険度判定部８１１は歩行者Ａと自車が衝突する危険があると判定する。そして、運転支援制御部８１２は、自車と歩道からはみ出した歩行者Ａとの衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキを実施する。また、運転支援制御部８１２は、被害軽減ブレーキと併せて、出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにしてもよい。
　また、図１７で俯瞰マップにより示した状況において、歩行者Ａが歩道をさらに進んだときの、情報処理システム８００の動作例について、引き続き説明する。
　図２１には、歩行者Ａが、手前の地面を通過した以降の移動軌跡及び接触領域を予測した結果を例示している。図２１に示す例では、歩道を直進してきた歩行者Ａは、将来的にはそのまま歩道をまっすぐ歩いていく移動経路２１０１を予測している。また、歩道を直進する歩行者Ａの進路上には地面があることから、歩道に続いて地面を含む接地領域の時系列が予測される。
　接触領域時系列情報保存部８０６から読み出した歩行者Ａの接触領域の時系列情報と、移動軌跡情報保存部８０５から読み出した歩行者Ａの移動軌跡情報に基づいて、図２２の上半分に示すような、歩行者Ａの接地面の履歴情報を作成することができる。
　また、対象物移動軌跡予測部８０８が予測する歩行者Ａの将来的な移動軌跡と、対象物接触領域予測部８０９が予測する歩行者Ａの将来的な接触領域に基づいて、図２２の下半分に示すような、歩行者Ａの接地面の予測情報を作成することができる。図２２に示す例では、歩行者Ａが歩道をそのまま直進する移動軌跡を予測し、且つ、歩行者Ａの現在の進路上に存在する２つ目の地面上を通過する歩行者Ａの将来的な接触領域を予測している。
　図２２に示す履歴情報及び予測情報はいずれも、所定の間隔毎の、歩行者Ａの接地面のカテゴリと位置情報の組み合わせからなる。紙面の下方向が時間軸方向であり、歩行者Ａが歩道→地面→地面→地面→歩道→歩道→…と接地面を遷移した履歴情報が保存されるとともに、歩行者Ａが将来的に歩道→地面→地面→地面→歩道→歩道→…と接地面を遷移することを予測している。なお、図２２には１つの予測パターンしか記載していないが、対象物移動軌跡予測部８０８並びに対象物接触領域予測部８０９はそれぞれ複数の予測パターンを予測するようにしてもよい。
　対象物移動範囲推定部８０７は、図２２に示すような歩行者Ａの接地面の履歴情報及び予測情報に基づいて、歩行者Ａの移動範囲を推定する。対象物移動範囲推定部８０７は、移動範囲の推定の際に、各接触領域のラベルに移動し易さを設定するようにしてもよい。
　図２３には、対象物移動範囲推定部８０７が、歩行者Ａの接地面の履歴情報及び予測情報に基づいて推定した、歩行者Ａの移動範囲２３０１を示している。また、同図では、歩行者Ａの速度情報に基づいて推定される歩行者Ａの移動範囲２３０２も併せて示している。例えば、未舗装より舗装部分の方が歩き易い、地面を踏むと靴が汚れるといった、接触領域毎に設定された移動し易さが設定される（前述）。しかしながら、歩行者Ａ自身の接触領域の時系列情報（図２２上）を参照すると、歩行者Ａは歩道も地面も歩いており、且つ１つ目の地面を避ける動きを見せていない。そこで、歩行者Ａは、歩道から２つ目の地面に入る際に、地面を避ける可能性があるが、履歴を参照すると、避ける可能性は低いと、対象物移動範囲推定部８０７は推定することができる。
　したがって、情報処理システム８００を用いて歩行者Ａの移動範囲を推定することで、歩行者Ａの速度情報の過検知を抑制しつつ、歩行者Ａの履歴に基づく接触領域予測によって、リーズナブルな移動範囲２３０１を推定できるという効果がある。
　計測部８１０は、自車のステアリング角や車両速度を計測する。危険度判定部８１１は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と、歩行者Ａの推定移動範囲１６０１との交点を探索するが、交点は検出されないので、自車が歩行者Ａと衝突する危険がないと判定する。したがって、この場合は、運転支援制御部８１２が被害軽減ブレーキを実施したり、出力部１０６から警告音又は警告メッセージが出力したりすることはない。
　図２４には、情報処理システム８００が実施する処理手順をフローチャートの形式で示している。
　まず、画像入力部８０１が、車載カメラが捕捉した画像など、自車周辺の画像情報を入力する（ステップＳ２４０１）。
　次いで、画像領域推定部８０２が、入力画像に対してセマンティックセグメンテーション処理を実施して、その処理結果を出力する（ステップＳ２４０２）。
　そして、追跡部８０３は、セマンティックセグメンテーション処理された領域画像内に対象物が存在するか否かをチェックする（ステップＳ２４０３）。ここで言う対象物とは、歩行者や自転車、周辺車両など、自車との衝突を予測する対象となる物体のことである。
　対象物が見つからなかった場合には（ステップＳ２４０３のＮｏ）、ステップＳ２４０１に戻り、次の画像を入力する。
　また、対象物が見つかった場合には（ステップＳ２４０３Ｙｅｓ）、追跡部８０３は、セマンティックセグメンテーション処理された領域画像から対象物の情報を抽出し、ステップＳ２４０１で入力した画像などを用いて各対象物を追跡する（ステップＳ２４０４）。
　接触領域判定部８０４は、画像領域推定部８０２の推定結果と、追跡部８０３による対象物の追跡結果に基づいて、各対象物の接触領域の情報を抽出する（ステップＳ２４０５）。
　そして、接触領域時系列情報保存部８０６は、接触領域判定部８０４が抽出する各対象物の接触領域の情報を、対象物毎に時系列で保存する（ステップＳ２４０６）。
　また、移動軌跡情報保存部８０５は、追跡部８０３によって抽出した対象物の移動軌跡の情報を、対象物毎に保存する（ステップＳ２４０７）。
　次いで、変数ＮにステップＳ２４０３で見つかった対象物の総数を代入するとともに、処理した対象物をカウントする変数ｉに初期値１を代入する（ステップＳ２４０８）。
　ｉ番目の対象物の移動履歴情報と接触領域時系列情報をそれぞれ移動履歴情報保存部８０５と接触領域時系列情報保存部８０６から読み込むと（ステップＳ２４０９）、対象物移動軌跡予測部８０８は、ｉ番目の対象物の移動軌跡情報に基づいて、その対象物の将来的な移動軌跡を予測する（ステップＳ２４１０）。また、対象物接触領域予測部８０９は、対象物移動軌跡予測部８０８が先行ステップＳ２４０１で予測したｉ番目の対象物の将来的な移動軌跡と、画像領域推定部８０２によるｉ番目の対象物の推定結果に基づいて、その対象物が将来的に接触する領域を予測する（ステップＳ２４１１）。
　そして、ｉ番目の対象物の移動履歴情報と接触領域時系列情報をそれぞれ移動履歴情報保存部８０５と接触領域時系列情報保存部８０６から読み込み込むとともに、ｉ番目の対象物の将来的な接触領域の予測結果を対象物接触領域予測部８０９から入力して、対象物移動範囲推定部８０７によりｉ番目の対象物の移動範囲を推定する（ステップＳ２４１２）。
　ここで、ｉがＮ未満、すなわち未処理の対象物が残っている場合には（ステップＳ２４１３のＮｏ）、ｉを１だけインクリメントしてから（ステップＳ２４１９）、ステップＳ２４０９に戻り、次の対象物についての移動範囲の推定処理を繰り返し実施する。
　また、ｉがＮに到達したとき、すなわちすべての対象物について移動範囲の推定処理が完了した場合には（ステップＳ２４１３のＹｅｓ）、引き続いて、各対象物の危険度判定処理を実施する。
　まず、危険度判定部８１１は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測する（ステップＳ２４１４）。
　次いで、危険度判定部８１１は、自車の将来予測到達範囲と各対象物の推定移動範囲との交点を探索する（ステップＳ２４１５）。
　次いで、危険度判定部８１１は、交点が見つかった場合には、自車がその交点に到達するまでの時間を計算する（ステップＳ２４１６）。
　そして、危険度判定部８１１は、自車の交点までの到達時間と所定の閾値とを大小比較する（ステップＳ２４１７）。
　自車の交点までの到達時間が閾値以下となる場合には（ステップＳ２４１７のＹｅｓ）、危険度判定部８１１は、自車が対象物と衝突する危険があると判定して、運転支援制御部８１２は、危険度判定部８１１による判定結果に基づいて、自車の運転を支援する（ステップＳ２４１８）。
　運転支援制御部８１２は、車と衝突する危険があると判定された対象物との衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキ機能は実現する。また、被害軽減ブレーキ機能と併せて、出力制御部１０５が出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにすることもできる。
　また、自車の交点までの到達時間が閾値よりも長ければ（ステップＳ２４１７のＮｏ）、危険度判定部８１１は、自車が対象物と衝突する危険がないと判定して、ステップＳ２４０１に戻って、上述した対象物の追跡、対象物の移動範囲推定、危険度判定処理を繰り返し実行する。
　図２５には、第３の実施例に係る情報処理システム２５００の機能的構成例を示している。この情報処理システム２５００は、例えば車載カメラにより捕捉される自車周辺の画像情報に基づいて、歩行者や自転車などの対象物の移動範囲を推定する機能を有する。情報処理システム２５００による推定結果に基づいて、運転者への警告や、ブレーキの補助操作若しくは自動操作を制御するなどの運転支援を実施することができる。
　図示の情報処理システム２５００は、画像入力部２５０１と、画像領域推定部２５０２と、追跡部２５０３と、接触領域判定部２５０４と、移動軌跡情報保存部２５０５と、接触領域時系列情報保存部２５０６と、対象物移動範囲推定部２５０７と、対象物移動軌跡予測部２５０８と、対象物接触領域予測部２５０９と、目的領域推定部２５１０と、対象物移動範囲再推定部２５１１と、計測部２５１２と、危険度判定部２５１３と、運転支援制御部２５１４を備えている。
　情報処理システム２５００の少なくとも一部の構成要素は、車両制御システム１００内の構成要素を利用して実現される。また、搭乗者が車室に持ち込むスマートフォンやタブレットなどの情報端末、あるいはその他の情報機器を用いて、情報処理システム２５００の一部の構成要素を実現することもできる。また、情報処理システム２５００の各構成要素間は、バス経由で、又はプロセス間通信を利用して、双方向にデータ通信が可能であるものとする。以下、情報処理システム２５００内の各構成要素について説明する。
　画像入力部２５０１は、車載カメラが捕捉した画像など、自車周辺の画像情報を入力する。但し、画像センサから画像情報を直接入力する必要はなく、ステレオ視やＴＯＦセンサ、ＬｉＤＡＲなどの距離センサを用いた３次元形状情報、あるいは２次元俯瞰図に変換した２次元俯瞰情報、同等同一の地図情報、あるいは時系列の計測情報とＳＬＡＭ、若しくはＳｆＭを用いた３次元形状情報を用いるようにしてもよい。
　画像領域推定部２５０２は、セマンティックセグメンテーション技術を利用して、画像入力部２５０１を介して入力した画像内の各領域を推定して、画素毎にカテゴリを識別するラベルが付与された情報を出力する。画像領域推定部２５０２の推定結果に基づいて、対象物が抽出される。
　追跡部２５０３は、画像領域推定部２５０２の推定結果に基づいて抽出された各対象物を、画像入力部２５０１を介した入力画像を用いて追跡する。
　接触領域判定部２５０４は、追跡部２５０３による対象物の追跡結果に基づいて、画像領域推定部２５０２の推定結果から各対象物の接触領域を判定する。例えば、歩行者や自転車などの各対象物の接地面が、歩道、車道のなどのいずれであるかを判定する。
　移動軌跡情報保存部２５０５は、追跡部２５０３によって抽出した対象物の移動軌跡の情報を、対象物毎に保存する。また、接触領域時系列情報保存部２５０６は、接触領域判定部２５０４によって判定された対象物の接触領域の時系列の情報を、対象物毎に保存する。
　対象物移動軌跡予測部２５０８は、移動軌跡情報保存部２５０５に保存されている対象物毎の移動軌跡情報に基づいて、対象物の将来的な移動軌跡を予測する。対象物移動規制予測部２５０８は、機械学習を用いて、対象物の移動軌跡の予測を行うようにしてもよい。機械学習には、ニューラルネットワークが利用される。移動軌跡などの時系列情報を機械学習するには、ＲＮＮを利用してもよい。
　対象物接触領域予測部２５０９は、対象物移動軌跡予測部２５０８が予測した各対象物の将来的な移動軌跡上で順次接触していく接触領域を、対象物移動軌跡予測部２５０８が予測した対象物毎の将来的な移動軌跡と、画像領域推定部２５０２の推定結果から予測する。対象物接触領域予測部２５０９は、機械学習を用いて、対象物の接触領域の予測を行うようにしてもよい。機械学習には、ニューラルネットワークが利用される。
　対象物移動範囲推定部２５０７は、移動軌跡情報保存部２５０５に保存されている対象物の接触領域の情報と、接触領域時系列情報保存部２５０６に保存されている対象物の接触領域の時系列情報と、さらには、対象物移動軌跡予測部２５０８が予測する将来的な移動軌跡及び対象物接触領域予測部２５０９が予測する将来的な接触領域に基づいて、画像領域推定部２５０２の推定結果から対象物毎の移動範囲の推定を行い、推定若しくは予測される各対象物の移動範囲を出力する。対象物の接触領域の時系列の情報が対象物の速度情報を含む場合には、対象物移動範囲推定部２５０７は、対象物の速度情報も考慮して移動範囲を推定するようにしてもよい。
　対象物移動範囲推定部２５０７は、例えばルールベースで対象物の移動範囲の推定を行う。また、ルールベースで対象物の移動範囲の推定を行なう際に、対象物の移動軌跡（移動軌跡に基づく速度情報）や、接触領域の時系列情報を線形予測の補正係数として利用する。また、対象物移動範囲推定部２５０７は、機械学習を用いて、対象物の移動範囲の推定を行うようにしてもよい。機械学習にはニューラルネットワークが利用される。接触領域などの時系列情報を機械学習する場合には、ＲＮＮを利用してもよい。
　目的領域推定部２５１０は、対象物移動軌跡予測部２５０８が予測した対象物の将来的な移動軌跡に基づいて、その対象物が移動の対象としている目的領域を推定する。例えば、目的領域推定部２５１０は、歩道から車道に飛び出して歩こうとしている歩行者に対して予測された移動軌跡が反対側の歩道の方を向いている場合には、画像領域推定部２５０２の推定結果に基づいて、移動の対象としている目的領域として反対側の歩道を推定する。
　対象物移動範囲再推定部２５１１は、目的領域推定部２５１０が推定したその対象物の目的領域を考慮して、対象物移動範囲推定部２５０７が推定した対象物の移動範囲をさらに再推定する。例えば、対象物移動範囲再推定部２５１１は、対象物移動範囲推定部２５０７が推定した移動範囲内に障害物が存在することを、画像領域推定部２５０２の推定結果に基づいて検知すると、目的領域推定部２５１０が推定した目的領域まで対象物がたどり着けるような移動範囲を再推定する。再推定された移動範囲は、例えば対象物が障害物を回避して目的領域までたどり着くことができる経路を含む。
　計測部２５１２は、自車のステアリング角や車両速度を計測する。計測部２５１２は、車両制御システム１００内のデータ取得部１０２（前述）であってもよい。あるいは、計測部２５１２を、車両制御システム１００からステアリング角や車両速度などの車両制御情報を入力する機能モジュールに置き換えてもよい。
　危険度判定部２５１３は、対象物移動範囲再推定部２５１１が推定した各対象物の移動範囲と、ステアリング角や車両速度などの自車の車両制御情報との比較結果に基づいて、自車と衝突する危険度を対象物毎に判定する。具体的には、危険度判定部２５１３は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と各対象物の推定移動範囲との交点を探索して、交点が見つかった対象物と自車が衝突する危険があると判定する。
　運転支援制御部２５１４は、危険度判定部２５１３による判定結果に基づいて、自車の運転を支援する。運転支援制御部２５１４は、車両制御システム１００内の緊急事態回避部１７１（前述）であってもよい。緊急事態回避部１７１は、自車と衝突する危険があると判定された対象物との衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキ機能は実現する。また、車両制御システム１００は、被害軽減ブレーキ機能と併せて、出力制御部１０５が出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにすることもできる。
　続いて、第３の実施例に係る情報処理システム２５００の具体的な動作例について説明する。ここでは、画像入力部２５０１から入力した画像を画像領域推定部２５０２でセマンティックセグメンテーションを実施して領域画像が得られ、且つ、対象物移動範囲推定部２５０７が、歩行者Ａの接地面の履歴情報及び予測情報に基づいて歩行者Ａの移動範囲１１０１を推定したことを想定している。以下では、対象物移動範囲再推定部２５１１が、目的領域推定部２５１０によって推定されたたその対象物の目的領域を考慮して対象物の移動範囲をさらに再推定する処理について説明する。
　図２６には、この動作例で想定している入力画像を画像領域推定部２５０２で処理した結果の意味情報を俯瞰方向に投影して示している。同図中、参照番号２６０１は、対象物移動軌跡予測部２５０８が予測する歩行者Ａの将来的な移動軌跡である。また、参照番号２６０２は、対象物移動範囲推定部２５０７が推定した歩行者Ａの将来的な移動範囲を示している。
　目的領域推定部２５１０は、歩道から車道に飛び出して歩こうとしている歩行者Ａに対して予測された移動軌跡２６０１が反対側の歩道の方を向いていることから、画像領域推定部２５０２の推定結果に基づいて、歩行者Ａが移動の対象としている目的領域が反対側の歩道であることを推定する。
　対象物移動範囲再推定部２５１１は、対象物移動範囲推定部２５０７が推定した歩行者Ａの移動範囲２６０２内で、目的領域推定部２５１０が推定した目的領域まで移動する歩行者Ａの経路上に存在する障害物を、画像領域推定部２５０２の推定結果に基づいて推定する。図２６に示す例では、移動範囲内２６０２内の歩行者Ａの移動経路上には、自車の前方で停止中の周辺車両が歩行者Ａの経路上の障害物となっている。
　そこで、対象物移動範囲再推定部２５１１は、図２７中の参照番号２７０１で示すように、歩行者Ａが目的領域としての反対側の歩道に、障害物である周辺車両を回避して到達するための経路を、経路計画手法により再設計する。そして、対象物移動範囲再推定部２５１１は、図２８中の参照番号２８０１で示すような、目的領域に到達するために再設計された経路２７０１を含むような、歩行者Ａの移動範囲を再推定する。
　計測部２５１２は、自車のステアリング角や車両速度を計測する。危険度判定部２５１３は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と、歩行者Ａの推定移動範囲２８０１との交点を探索する。自車の将来予測到達範囲と推定移動範囲２８０１との交点が見つかった場合には、危険度判定部２５１３は歩行者Ａと自車が衝突する危険があると判定する。この場合、運転支援制御部２５１４は、自車と歩道からはみ出した歩行者Ａとの衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキを実施する。また、運転支援制御部２５１４は、被害軽減ブレーキと併せて、出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにしてもよい。
　続いて、第３の実施例に係る情報処理システム２５００の他の具体的な動作例について説明する。ここでは、画像入力部２５０１から図２９に示すような車載カメラの撮影画像が入力されたことを想定している。この入力画像には歩道を並んで歩く２人と、自転車にまたがった１人が映っているが、自転車にまたがった１人（以下、単に「自転車Ａ」とする）を対象物として、情報処理システム２５００を用いて移動範囲の推定並びに再推定する処理について説明する。
　接触領域判定部２５０４は、追跡部２５０３による対象物の追跡結果に基づいて、画像領域推定部２５０２の推定結果から自転車Ａの接触領域を判定する。そして、接触領域時系列情報保存部２５０６は、接触領域判定部２５０４によって判定された自転車Ａの接触領域の時系列情報を保存する。自転車Ａの接触領域の時系列情報は、所定時間毎の自転車Ａの接地面のカテゴリの情報からなる。また、移動軌跡情報保存部２５０５は、追跡部２５０３が画像領域推定部２５０２の推定結果から抽出した自転車Ａの移動軌跡の情報を保存している。移動軌跡の情報は、所定の間隔毎の自転車Ａの位置情報からなる。
　一方、対象物移動軌跡予測部２５０８は、移動軌跡情報保存部２５０５に保存されている自転車Ａの移動軌跡情報に基づいて、自転車Ａの将来的な移動軌跡を予測する。また、対象物接触領域予測部２５０９は、対象物移動軌跡予測部２５０８が予測した自転車Ａの将来的な移動軌跡上で順次接触していく接触領域を、画像領域推定部２５０２の推定結果から予測する。
　図３０には、図２９に示した入力画像に対して、自転車Ａの将来的な移動軌跡及び接触領域を予測した結果を例示している。図３０に示す例では、３通りの予測パターンを予測した結果を示している。予測パターン１では、横断歩道に差し掛かったときに、自転車Ａが他の２人とは別れて、横断歩道を渡って、反対側の歩道に向かう移動軌跡及び接触領域が予測されている。また、予測パターン２では、速度情報の履歴に基づいて、自転車Ａが他の２人の歩行者とともに歩道を進み続ける移動軌跡及び接触領域が予測されている。また、予測パターン３では、自転車Ａがペダルをこぎ出し、他の２人よりも先に歩道を進んでいく移動軌跡及び接触領域が予測されている。
　接触領域時系列情報保存部２５０６から読み出した自転車Ａの接触領域の時系列情報と、移動軌跡情報保存部２５０５から読み出した自転車Ａの移動軌跡情報に基づいて、図３１の上半分に示すような、自転車Ａの接地面の履歴情報を作成することができる。また、対象物移動軌跡予測部２５０８が予測する自転車Ａの将来的な移動軌跡と、対象物接触領域予測部２５０９が予測する自転車Ａの将来的な接触領域に基づいて、図３１の下半分に示すような、自転車Ａの接地面の予測情報を作成することができる。
　図３１に示す履歴情報及び予測情報はいずれも、所定の間隔毎の、自転車Ａの接地面のカテゴリと位置情報の組み合わせからなる。紙面の下方向が時間軸方向であり、歩行者Ａが歩道→歩道→歩道→歩道→歩道→歩道→…と接地面を遷移した履歴情報が保存される
　また、図３１に示す例では、上述した３通りの予測パターンを予測した結果を示している。予測パターン１では、自転車Ａが将来的に車道→車道→車道→車道→歩道→歩道→…と接地面を遷移することを予測している。また、予測パターン２では、自転車Ａが将来的に歩道→歩道→歩道→歩道→歩道→歩道→…と接地面を遷移することを予測している。また、予測パターン３では、自転車Ａが将来的に歩道→歩道→歩道→車道→車道→車道→車道→…と接地面を遷移することを予測している。
　目的領域推定部２５１０は、予測パターン毎に、自転車Ａの目的領域を、画像領域推定部２５０２の推定結果から推定する。
　また、対象物移動範囲再推定部２５１１は、目的領域推定部２５１０が予測パターン毎に推定した目的領域まで移動する自転車Ａの経路上に存在する障害物を、画像領域推定部２５０２の推定結果に基づいて推定する。
　そして、対象物移動範囲再推定部２５１１は、予測パターン毎に、自転車Ａが障害物を回避して目的領域に到達するための経路を経路計画手法により再設計して、すべての予測パターンについて再設計された経路をカバーするような、自転車Ａの移動範囲を再推定する。
　さらに別の具体例を用いて、情報処理システム２５００を用いて移動範囲の推定並びに再推定する処理について説明する。ここでは、画像領域推定部２５０２によるセマンティックセグメンテーションの処理結果が図３２に示す通りとなる場合を想定し、交差点付近にいる自転車Ａを対象物とする。図３２では、自転車Ａの移動軌跡及び接触領域の時系列情報、又は速度情報に基づいて、参照番号３２０１～３２０３でそれぞれ示す３通りの移動軌跡及び接触領域の予測がなされ、その結果に基づいて対象物移動範囲推定部２５０７が参照番号３２１１及び３２１２でそれぞれ示す２通りの移動範囲を推定したものとする。
　目的領域推定部２５１０は、自転車Ａについて予測される３通りの移動軌跡及び接触領域３２０１～３２０３の各々について、目的領域を推定する。対象物移動範囲再推定部２５１１は、移動軌跡及び接触領域３２０１～３２０３の各々について、目的領域まで移動する自転車Ａの経路上に存在する障害物を推定し、自転車Ａが障害物を回避して目的領域に到達するための経路を経路計画手法により再設計する。図３３には、再設計した経路３３０１並びに３３０２を示している。そして、対象物移動範囲再推定部２５１１は、再設計した経路３３０１並びに３３０２をカバーするような、自転車Ａの移動範囲を再推定する。図３４には、対象物移動範囲再推定部２５１１が再推定した、自転車Ａの最終的な移動範囲３４０１を示している。
　計測部２５１２は、自車のステアリング角や車両速度を計測する。危険度判定部２５１３は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と、自転車Ａの推定移動範囲２８０１との交点を探索する。自車の将来予測到達範囲と推定移動範囲２８０１との交点が見つかった場合には、危険度判定部２５１３は自転車Ａと自車が衝突する危険があると判定する。この場合、運転支援制御部２５１４は、自車と歩道からはみ出した自転車Ａとの衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキを実施する。また、運転支援制御部２５１４は、被害軽減ブレーキと併せて、出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにしてもよい。
　図３５及び図３６には、情報処理システム２５００が実施する処理手順をフローチャートの形式で示している。但し、図３５は処理手順の前半を示し、図３６は処理手順の後半を示している。
　まず、画像入力部２５０１が、車載カメラが捕捉した画像など、自車周辺の画像情報を入力する（ステップＳ３５０１）。
　次いで、画像領域推定部２５０２が、入力画像に対してセマンティックセグメンテーション処理を実施して、その処理結果を出力する（ステップＳ３５０２）。
　そして、追跡部２５０３は、セマンティックセグメンテーション処理された領域画像内に対象物が存在するか否かをチェックする（ステップＳ３５０３）。ここで言う対象物とは、歩行者や自転車、周辺車両など、自車との衝突を予測する対象となる物体のことである。
　対象物が見つからなかった場合には（ステップＳ３５０３のＮｏ）、ステップＳ３５０１に戻り、次の画像を入力する。
　また、対象物が見つかった場合には（ステップＳ３５０３Ｙｅｓ）、追跡部２５０３は、セマンティックセグメンテーション処理された領域画像から対象物の情報を抽出し、ステップＳ３５０１で入力した画像などを用いて各対象物を追跡する（ステップＳ３５０４）。
　接触領域判定部２５０４は、画像領域推定部２５０２の推定結果と、追跡部２５０３による対象物の追跡結果に基づいて、各対象物の接触領域の情報を抽出する（ステップＳ３５０５）。
　そして、接触領域時系列情報保存部２５０６は、接触領域判定部２５０４が抽出する各対象物の接触領域の情報を、対象物毎に時系列で保存する（ステップＳ３５０６）。
　また、移動軌跡情報保存部２５０５は、追跡部２５０３によって抽出した対象物の移動軌跡の情報を、対象物毎に保存する（ステップＳ３５０７）。
　次いで、変数ＮにステップＳ３５０３で見つかった対象物の総数を代入するとともに、処理した対象物をカウントする変数ｉに初期値１を代入する（ステップＳ３５０８）。
　ｉ番目の対象物の移動履歴情報と接触領域時系列情報をそれぞれ移動履歴情報保存部２５０５と接触領域時系列情報保存部２５０６から読み込むと（ステップＳ３５０９）、対象物移動軌跡予測部２５０８は、ｉ番目の対象物の移動軌跡情報に基づいて、その対象物の将来的な移動軌跡を予測する（ステップＳ３５１０）。また、対象物接触領域予測部２５０９は、対象物移動軌跡予測部２５０８が先行ステップＳ３５０１で予測したｉ番目の対象物の将来的な移動軌跡と、画像領域推定部２５０２によるｉ番目の対象物の推定結果に基づいて、その対象物が将来的に接触する領域を予測する（ステップＳ３５１１）。
　そして、ｉ番目の対象物の移動履歴情報と接触領域時系列情報をそれぞれ移動履歴情報保存部２５０５と接触領域時系列情報保存部２５０６から読み込み込むとともに、ｉ番目の対象物の将来的な接触領域の予測結果を対象物接触領域予測部２５０９から入力して、対象物移動範囲推定部２５０７によりｉ番目の対象物の移動範囲を推定する（ステップＳ３５１２）。
　次いで、目的領域推定部２５１０は、画像領域推定部２５０２の推定結果と、対象物移動軌跡予測部２５０８が予測したｉ番目の対象物の将来的な移動軌跡に基づいて、ｉ番目の対象物が移動の対象としている目的領域を推定する（ステップＳ３５１３）。
　次いで、対象物移動範囲再推定部２５１１は、目的領域推定部２５１０が推定したｉ番目の対象物の目的領域を考慮して、対象物移動範囲推定部２５０７が推定したｉ番目の対象物の移動範囲をさらに再推定する（ステップＳ３５１４）。
　ここで、ｉがＮ未満、すなわち未処理の対象物が残っている場合には（ステップＳ３５１５のＮｏ）、ｉを１だけインクリメントしてから（ステップＳ２４１９）、ステップＳ３５０９に戻り、次の対象物についての移動範囲の推定処理を繰り返し実施する。
　また、ｉがＮに到達したとき、すなわちすべての対象物について移動範囲の推定処理が完了した場合には（ステップＳ３５１５のＹｅｓ）、引き続いて、各対象物の危険度判定処理を実施する。
　まず、危険度判定部２５１３は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測する（ステップＳ３５１６）。
　次いで、危険度判定部２５１３は、自車の将来予測到達範囲と各対象物の推定移動範囲との交点を探索する（ステップＳ３５１７）。
　次いで、危険度判定部２５１３は、交点が見つかった場合には、自車がその交点に到達するまでの時間を計算する（ステップＳ３５１８）。
　そして、危険度判定部２５１３は、自車の交点までの到達時間と所定の閾値とを大小比較する（ステップＳ３５１９）。
　自車の交点までの到達時間が閾値以下となる場合には（ステップＳ３５１９のＹｅｓ）、危険度判定部２５１３は、自車が対象物と衝突する危険があると判定して、運転支援制御部２５１４は、危険度判定部２５１３による判定結果に基づいて、自車の運転を支援する（ステップＳ３５２０）。
　運転支援制御部２５１４は、車と衝突する危険があると判定された対象物との衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキ機能は実現する。また、被害軽減ブレーキ機能と併せて、出力制御部１０５が出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにすることもできる。
　また、自車の交点までの到達時間が閾値よりも長ければ（ステップＳ３５１９のＮｏ）、危険度判定部８１１は、自車が対象物と衝突する危険がないと判定して、ステップＳ３５０１に戻って、上述した対象物の追跡、対象物の移動範囲推定、危険度判定処理を繰り返し実行する。
　図３７には、第４の実施例に係る情報処理システム３７の機能的構成例を示している。この情報処理システム３７００は、例えば車載カメラにより捕捉される自車周辺の画像情報に基づいて、歩行者や自転車などの対象物の移動範囲を推定する機能を有する。情報処理システム３７００による推定結果に基づいて、運転者への警告や、ブレーキの補助操作若しくは自動操作を制御するなどの運転支援を実施することができる。
　図示の情報処理システム３７００は、画像入力部３７０１と、画像領域推定部３７０２と、追跡部３７０３と、接触領域判定部３７０４と、移動軌跡情報保存部３７０５と、接触領域時系列情報保存部３７０６と、対象物移動範囲推定部３７０７と、３次元形状情報取得部３７０８と、３次元領域情報推定部３７０９と、計測部３７１０と、危険度判定部３７１１と、運転支援制御部３７１２を備えている。
　情報処理システム３７００の少なくとも一部の構成要素は、車両制御システム１００内の構成要素を利用して実現される。また、搭乗者が車室に持ち込むスマートフォンやタブレットなどの情報端末、あるいはその他の情報機器を用いて、情報処理システム３７００の一部の構成要素を実現することもできる。また、情報処理システム３７００の各構成要素間は、バス経由で、又はプロセス間通信を利用して、双方向にデータ通信が可能であるものとする。以下、情報処理システム３７００内の各構成要素について説明する。
　画像入力部３７０１は、車載カメラが捕捉した画像など、自車周辺の画像情報を入力する。但し、画像センサから画像情報を直接入力する必要はなく、２次元俯瞰図に変換した２次元俯瞰情報、同等同一の地図情報、あるいは時系列の計測情報とＳＬＡＭ、若しくはＳｆＭを用いた３次元形状情報を用いるようにしてもよい。
　画像領域推定部３７０２は、セマンティックセグメンテーション技術を利用して、画像入力部３７０１を介して入力した画像内の各領域を推定して、画素毎にカテゴリを識別するラベルが付与された情報を出力する。画像領域推定部３７０２の推定結果に基づいて、対象物が抽出される。
　追跡部３７０３は、画像領域推定部３７０２の推定結果に基づいて抽出された各対象物を、画像入力部３７０１を介した入力画像を用いて追跡する。
　３次元形状情報取得部３７０８は、ステレオ視やＴＯＦセンサ、ＬｉＤＡＲなどの距離センサを用いて、環境の３次元形状情報を取得する。
　３次元領域情報推定部３７０９は、画像領域推定部３７０２の推定結果と、３次元形状情報取得部３７０８が取得した３次元形状情報に基づいて、３次元領域情報を推定する。
　接触領域判定部３７０４は、追跡部３７０３による対象物の追跡結果に基づいて、画像領域推定部３７０２が推定した２次元領域情報や、３次元領域情報推定部３７０９が推定した３次元領域情報から、各対象物の接触領域を判定する。例えば、歩行者や自転車などの各対象物の接地面が、歩道、車道のなどのいずれであるかを判定する。
　移動軌跡情報保存部３７０５は、追跡部３７０３によって抽出した対象物の移動軌跡の情報を、対象物毎に保存する。また、接触領域時系列情報保存部３７０６は、接触領域判定部３７０４によって判定された対象物の接触領域の時系列の情報を、対象物毎に保存する。
　対象物移動範囲推定部３７０７は、移動軌跡情報保存部３７０５に保存されている対象物の接触領域の情報と、接触領域時系列情報保存部３７０６に保存されている対象物の接触領域の時系列情報に基づいて、画像領域推定部３７０２の推定結果から対象物毎の移動範囲の推定を行い、推定若しくは予測される各対象物の移動範囲を出力する。対象物の接触領域の時系列の情報が対象物の速度情報を含む場合には、対象物移動範囲推定部３７０７は、対象物の速度情報も考慮して移動範囲を推定するようにしてもよい。
　対象物移動範囲推定部３７０７は、例えばルールベースで対象物の移動範囲の推定を行う。また、ルールベースで対象物の移動範囲の推定を行なう際に、対象物の移動軌跡（移動軌跡に基づく速度情報）や、接触領域の時系列情報を線形予測の補正係数として利用する。また、対象物移動範囲推定部３７０７は、機械学習を用いて、対象物の移動範囲の推定を行うようにしてもよい。機械学習にはニューラルネットワークが利用される。接触領域などの時系列情報を機械学習する場合には、ＲＮＮを利用してもよい。
　計測部３７１０は、自車のステアリング角や車両速度を計測する。計測部３７１０は、車両制御システム１００内のデータ取得部１０２（前述）であってもよい。あるいは、計測部３７１０を、車両制御システム１００からステアリング角や車両速度などの車両制御情報を入力する機能モジュールに置き換えてもよい。
　危険度判定部３７１１は、対象物移動範囲推定部３７０７が推定した各対象物の移動範囲と、ステアリング角や車両速度などの自車の車両制御情報との比較結果に基づいて、自車と衝突する危険度を対象物毎に判定する。具体的には、危険度判定部３７１１は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測し、その将来予測到達範囲と各対象物の推定移動範囲との交点を探索して、交点が見つかった対象物と自車が衝突する危険があると判定する。
　運転支援制御部３７１２は、危険度判定部３７１１による判定結果に基づいて、自車の運転を支援する。運転支援制御部３７１２は、車両制御システム１００内の緊急事態回避部１７１（前述）であってもよい。緊急事態回避部１７１は、自車と衝突する危険があると判定された対象物との衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキ機能は実現する。また、車両制御システム１００は、被害軽減ブレーキ機能と併せて、出力制御部１０５が出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにすることもできる。
　図３８には、情報処理システム３７００が実施する処理手順をフローチャートの形式で示している。
　まず、画像入力部３７０１が、車載カメラが捕捉した画像など、自車周辺の画像情報を入力する（ステップＳ３８０１）。
　次いで、画像領域推定部３７０２が、入力画像に対してセマンティックセグメンテーション処理を実施して、その処理結果を出力する（ステップＳ３８０２）。
　そして、追跡部３７０３は、セマンティックセグメンテーション処理された領域画像内に対象物が存在するか否かをチェックする（ステップＳ３８０３）。ここで言う対象物とは、歩行者や自転車、周辺車両など、自車との衝突を予測する対象となる物体のことである。
　対象物が見つからなかった場合には（ステップＳ３８０３のＮｏ）、ステップＳ３８０１に戻り、次の画像を入力する。
　また、対象物が見つかった場合には（ステップＳ３８０３Ｙｅｓ）、追跡部３７０３は、セマンティックセグメンテーション処理された領域画像から対象物の情報を抽出し、ステップＳ３８０１で入力した画像を用いて各対象物を追跡する（ステップＳ３８０４）。
　次いで、３次元形状情報取得部３７０８は、ステレオ視やＴＯＦセンサ、ＬｉＤＡＲなどの距離センサを用いて、環境の３次元形状情報を取得する（ステップＳ３８０５）。
　次いで、３次元領域情報推定部３７０９は、画像領域推定部３７０２の推定結果と、３次元形状情報取得部３７０８が取得した３次元形状情報に基づいて、３次元領域情報を推定する（ステップＳ３８０６）。
　次いで、接触領域判定部３７０４は、画像領域推定部３７０２の推定結果と、環境の３次元領域情報と、追跡部３７０３による対象物の追跡結果に基づいて、各対象物の接触領域の情報を抽出する（ステップＳ３８０７）。
　そして、接触領域時系列情報保存部３７０６は、接触領域判定部３７０４が抽出する各対象物の接触領域の情報を、対象物毎に時系列で保存する（ステップＳ３８０８）。
　また、移動軌跡情報保存部３７０５は、追跡部３７０３によって抽出した対象物の移動軌跡の情報を、対象物毎に保存する（ステップＳ３８０９）。
　次いで、変数ＮにステップＳ３８０３で見つかった対象物の総数を代入するとともに、処理した対象物をカウントする変数ｉに初期値１を代入する（ステップＳ３８１０）。
　そして、ｉ番目の対象物の移動履歴情報と接触領域時系列情報をそれぞれ移動履歴情報保存部３７０５と接触領域時系列情報保存部３７０６から読み込んで（ステップＳ３８１１）、対象物移動範囲推定部３７０７によりｉ番目の対象物の移動範囲を推定する（ステップＳ３８１２）。
　ここで、ｉがＮ未満、すなわち未処理の対象物が残っている場合には（ステップＳ３８１３のＮｏ）、ｉを１だけインクリメントしてから（ステップＳ３８１９）、ステップＳ３８１１に戻り、次の対象物についての移動範囲の推定処理を繰り返し実施する。
　また、ｉがＮに到達したとき、すなわちすべての対象物について移動範囲の推定処理が完了した場合には（ステップＳ３８１３のＹｅｓ）、引き続いて、各対象物の危険度判定処理を実施する。
　まず、危険度判定部３７１１は、ステアリング角や車両速度などの自車の車両制御情報から自車の将来の到達範囲を予測する（ステップＳ３８１４）。
　次いで、危険度判定部３７１１は、自車の将来予測到達範囲と各対象物の推定移動範囲との交点を探索する（ステップＳ３８１５）。
　次いで、危険度判定部３７１１は、交点が見つかった場合には、自車がその交点に到達するまでの時間を計算する（ステップＳ３８１６）。
　そして、危険度判定部３７１１は、自車の交点までの到達時間と所定の閾値とを大小比較する（ステップＳ３８１７）。
　自車の交点までの到達時間が閾値以下となる場合には（ステップＳ３８１７のＹｅｓ）、危険度判定部３７１１は、自車が対象物と衝突する危険があると判定して、運転支援制御部３７１２は、危険度判定部３７１１による判定結果に基づいて、自車の運転を支援する（ステップＳ３８１８）。
　運転支援制御部３７１２は、車と衝突する危険があると判定された対象物との衝突を回避するための自車の動作を計画し、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３に供給することによって、被害軽減ブレーキ機能は実現する。また、被害軽減ブレーキ機能と併せて、出力制御部１０５が出力部１０６から警告音又は警告メッセージなどを含む音声データを出力するといった警報を行うようにすることもできる。
　また、自車の交点までの到達時間が閾値よりも長ければ（ステップＳ３８１７のＮｏ）、危険度判定部３７１１は、自車が対象物と衝突する危険がないと判定して、ステップＳ３８０１に戻って、上述した対象物の追跡、対象物の移動範囲推定、危険度判定処理を繰り返し実行する。
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、車両と歩行者などの物体との衝突予測に関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間（家庭、オフィス、工場など）を自律的に移動するロボット、船舶、航空機など、車両以外のさまざまなタイプの移動体装置の運転支援に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。
　要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）画像を入力する入力部と、
　前記画像に含まれる対象物の領域を推定する領域推定部と、
　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部と、
　前記領域推定部の推定結果に基づいて前記対象物が接触している接触領域を判定する接触領域判定部と、
　前記対象物の接触領域を含む前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部と、
を具備する情報処理装置。
（２）前記領域推定部は、セマンティックセグメンテーションを利用して、前記画像から前記対象物を推定する、
上記（１）に記載の情報処理装置。
（３）前記移動範囲推定部は、前記対象物が移動する速度情報を含む前記移動履歴に基づいて、前記対象物理移動範囲を推定する、
上記（１）又は（２）のいずれかに記載の情報処理装置。
（４）前記領域推定部の推定結果に基づいて前記対象物が接触している接触領域を判定する接触領域判定部と、前記対象物を追跡して得られる移動軌跡を保存する移動軌跡保存部をさらに備え、
　前記移動範囲推定部は、前記対象物の移動軌跡をさらに含む前記移動履歴に基づいて、前記対象物の移動範囲を推定する、
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）前記接触領域判定部は、前記対象物が接地する領域を判定し、
　前記移動範囲推定部は、前記対象物が接地する領域のセマンティクスを含む前記移動履歴に基づいて、前記対象物の移動範囲を推定する、
上記（４）に記載の情報処理装置。
（６）前記接触領域推定部は、セマンティックセグメンテーションを利用して、前記前記対象物が接地する領域のセマンティクスを推定する、
上記（５）に記載の情報処理装置。
（７）前記接触領域判定部が判定した前記接触領域の時系列情報を保存する接触領域時系列情報保存部をさらに備え、
　前記移動範囲推定部は、前記接触領域の時系列情報に基づいて、前記対象物の移動範囲を推定する、
上記（５）又は（６）のいずれかに記載の情報処理装置。
（８）前記対象物の移動軌跡情報に基づいて前記対象物の将来的な移動軌跡を予測する移動軌跡予測部と、
　前記対象物の移動履歴と接触領域の時系列情報と将来的な移動軌跡の予測に基づいて、前記対象物の将来的な接触領域を予測する接触領域予測部と、
をさらに備え、
　前記移動範囲推定部は、予測された前記対象物の将来的な移動軌跡及び接触領域にさらに基づいて前記対象物の移動範囲を推定する、
上記（７）に記載の情報処理装置。
（９）移動軌跡予測部が予測した前記対象物の将来的な移動軌跡に基づいて前記対象物が移動の対象としている目的領域を推定する目的領域推定部と、
　前記目的領域に基づいて、前記多移動範囲推定部が推定した前記対象物の移動範囲を再推定する移動範囲再推定部をさらに備える、
上記（８）に記載の情報処理装置。
（１０）前記移動範囲再推定部は、前記対象物が前記目的領域に到達する経路上の障害物を回避する経路を再設計して、再設計した経路に基づいて前記対象物の移動経路を再推定する、
上記（９）に記載の情報処理装置。
（１１）前記対象物の複数の将来的な移動軌跡及び接触領域が予測された場合に、
　前記目的領域推定部は予測結果毎の目的領域を推定し、
　前記移動経路再推定部は、予測結果毎に障害物を回避して目的領域に到達する経路を再設計して、前記対象物の移動経路を再推定する、
上記（１０）に記載の情報処理装置。
（１２）前記対象物に関連する３次元領域情報を推定する３次元領域情報推定部をさらに備え、
　前記接触領域判定部は、さらに前記３次元領域情報に基づいて前記対象物が接触している接触領域を判定する、
上記（４）乃至（１１）のいずれかに記載の情報処理装置。
（１３）前記３次元領域情報推定部は、前記領域推定部の推定結果に基づいて前記３次元領域情報を推定する、
上記（１２）に記載の情報処理装置。
（１４）前記対象物に関連する３次元形状情報を取得する３次元形状情報取得部をさらに備え、
　前記３次元領域情報推定部は、さらに前記３次元形状情報に基づいて前記３次元領域情報を推定する、
上記（１２）又は（１３）のいずれかに記載の情報処理装置。
（１５）前記入力部は、移動体に搭載されたカメラ又は移動体の周囲を撮影するカメラの画像を入力する、
上記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）画像を入力する入力ステップと、
　前記画像に含まれる対象物の領域を推定する領域推定ステップと、
　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得ステップと、
　前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定ステップと、
を有する情報処理方法。
（１７）画像を入力する入力部、
　前記画像に含まれる対象物の領域を推定する領域推定部、
　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部、
　前記領域推定部の推定結果に基づいて前記対象物が接触している接触領域を判定する接触領域判定部、
　前記対象物の接触領域を含む前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
（１８）移動体本体と、
　前記移動体に搭載されたカメラ又は移動体の周囲を撮影するカメラと、
　前記カメラが撮影した画像に含まれる対象物の領域を推定する領域推定部と、
　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部と、
　前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部と、
　前記対象物の移動範囲に基づいて、前記移動体本体の運転を制御する制御部と、
を具備する移動体装置。
（１９）前記制御部は、前記移動体本体の将来予測到達範囲と前記対象物の移動範囲の比較結果に基づいて、前記移動体本体と前記対象物が衝突する危険度を判定する、
上記（１８）に記載の移動体装置。
（２０）前記制御部は、前記衝突を回避するための前記移動体の運転を制御する、
上記（１９）に記載の移動体装置。
　１００…車両制御システム
　１０１…入力部、１０２…データ取得部、１０３…通信部
　１０４…車内機器、１０５…出力制御部、１０６…出力部
　１０７…駆動系制御部、１０８…駆動系システム
　１０９…ボディ系制御部、１１０…ボディ系システム、１１１記憶部
　１１２…自動運転制御部、１２１…通信ネットワーク
　１３１…検出部、１３２…自己位置推定部、１３３…状況分析部
　１３４…計画部、１３５…動作制御部
　１４１…車外情報検出部、１４２…車内情報検出部
　１４３…車両状態検出部
　１５１…マップ解析部、１５２…交通ルール認識部
　１５３…状況認識部、１５４…状況予測部
　１６１…ルート計画部、１６２…行動計画部、１６３…動作計画部
　１７１…緊急事態回避部、１７２…加減速制御部、１７３…方向制御部
　２００…情報処理システム、２０１…画像入力部
　２０２…画像領域推定部、２０３…追跡部
　２０４…接触領域判定部、２０５…移動軌跡情報保存部
　２０６…接触領域時系列情報保存部、２０７…対象物移動範囲推定部
　２０８…計測部、２０９…危険度判定部、２１０…運転支援制御部
　８００…情報処理システム、８０１…画像入力部
　８０２…画像領域推定部、８０３…追跡部
　８０４…接触領域判定部、８０５…移動軌跡情報保存部
　８０６…接触領域時系列情報保存部、８０７…対象物移動範囲推定部
　８０８…対象物移動軌跡予測部、８０９…対象物接触領域予測部
　８１０…計測部、８１１…危険度判定部、８１２…運転支援制御部
　２５００…情報処理システム、２５０１…画像入力部
　２５０２…画像領域推定部、２５０３…追跡部
　２５０４…接触領域判定部、２５０５…移動軌跡情報保存部
　２５０６…接触領域時系列情報保存部
　２５０７…対象物移動範囲推定部、２５０８…対象物移動軌跡予測部
　２５０９…対象物接触領域予測部、２５１０…目的領域推定部
　２５１１…対象物移動範囲再推定部、２５１２…計測部
　２５１３…危険度判定部、２５１４…運転支援制御部
　３７００…情報処理システム、３７０１…画像入力部
　３７０２…画像領域推定部、３７０３…追跡部
　３７０４…接触領域判定部、３７０５…移動軌跡情報保存部
　３７０６…接触領域時系列情報保存部
　３７０７…対象物移動範囲推定部、３７０８…３次元形状情報取得部
　３７０９…３次元領域情報推定部、３７１０…計測部
　３７１１…危険度判定部、３７１２…運転支援制御部

Claims (20)

  1. 　画像を入力する入力部と、
    　前記画像に含まれる対象物の領域を推定する領域推定部と、
    　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部と、
    　前記領域推定部の推定結果に基づいて前記対象物が接触している接触領域を判定する接触領域判定部と、
    　前記対象物の接触領域を含む前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部と、
    を具備する情報処理装置。
  2. 　前記領域推定部は、セマンティックセグメンテーションを利用して、前記画像から前記対象物を推定する、
    請求項１に記載の情報処理装置。
  3. 　前記移動範囲推定部は、前記対象物が移動する速度情報を含む前記移動履歴に基づいて、前記対象物理移動範囲を推定する、
    請求項１に記載の情報処理装置。
  4. 　前記対象物を追跡して得られる移動軌跡を保存する移動軌跡保存部をさらに備え、
    　前記移動範囲推定部は、前記対象物の移動軌跡をさらに含む前記移動履歴に基づいて、前記対象物の移動範囲を推定する、
    請求項１に記載の情報処理装置。
  5. 　前記接触領域判定部は、前記対象物が接地する領域を判定し、
    　前記移動範囲推定部は、前記対象物が接地する領域のセマンティクスを含む前記移動履歴に基づいて、前記対象物の移動範囲を推定する、
    請求項４に記載の情報処理装置。
  6. 　前記接触領域推定部は、セマンティックセグメンテーションを利用して、前記前記対象物が接地する領域のセマンティクスを推定する、
    請求項５に記載の情報処理装置。
  7. 　前記接触領域判定部が判定した前記接触領域の時系列情報を保存する接触領域時系列情報保存部をさらに備え、
    　前記移動範囲推定部は、前記接触領域の時系列情報に基づいて、前記対象物の移動範囲を推定する、
    請求項５に記載の情報処理装置。
  8. 　前記対象物の移動軌跡情報に基づいて前記対象物の将来的な移動軌跡を予測する移動軌跡予測部と、
    　前記対象物の移動履歴と接触領域の時系列情報と将来的な移動軌跡の予測に基づいて、前記対象物の将来的な接触領域を予測する接触領域予測部と、
    をさらに備え、
    　前記移動範囲推定部は、予測された前記対象物の将来的な移動軌跡及び接触領域にさらに基づいて前記対象物の移動範囲を推定する、
    請求項７に記載の情報処理装置。
  9. 　移動軌跡予測部が予測した前記対象物の将来的な移動軌跡に基づいて前記対象物が移動の対象としている目的領域を推定する目的領域推定部と、
    　前記目的領域に基づいて、前記多移動範囲推定部が推定した前記対象物の移動範囲を再推定する移動範囲再推定部をさらに備える、
    請求項８に記載の情報処理装置。
  10. 　前記移動範囲再推定部は、前記対象物が前記目的領域に到達する経路上の障害物を回避する経路を再設計して、再設計した経路に基づいて前記対象物の移動経路を再推定する、
    請求項９に記載の情報処理装置。
  11. 　前記対象物の複数の将来的な移動軌跡及び接触領域が予測された場合に、
    　前記目的領域推定部は予測結果毎の目的領域を推定し、
    　前記移動経路再推定部は、予測結果毎に障害物を回避して目的領域に到達する経路を再設計して、前記対象物の移動経路を再推定する、
    請求項１０に記載の情報処理装置。
  12. 　前記対象物に関連する３次元領域情報を推定する３次元領域情報推定部をさらに備え、
    　前記接触領域判定部は、さらに前記３次元領域情報に基づいて前記対象物が接触している接触領域を判定する、
    請求項４に記載の情報処理装置。
  13. 　前記３次元領域情報推定部は、前記領域推定部の推定結果に基づいて前記３次元領域情報を推定する、
    請求項１２に記載の情報処理装置。
  14. 　前記対象物に関連する３次元形状情報を取得する３次元形状情報取得部をさらに備え、
    　前記３次元領域情報推定部は、さらに前記３次元形状情報に基づいて前記３次元領域情報を推定する、
    請求項１２に記載の情報処理装置。
  15. 　前記入力部は、移動体に搭載されたカメラ又は移動体の周囲を撮影するカメラの画像を入力する、
    請求項１に記載の情報処理装置。
  16. 　画像を入力する入力ステップと、
    　前記画像に含まれる対象物の領域を推定する領域推定ステップと、
    　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得ステップと、
    　前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定ステップと、
    を有する情報処理方法。
  17. 　画像を入力する入力部、
    　前記画像に含まれる対象物の領域を推定する領域推定部、
    　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部、
    　前記領域推定部の推定結果に基づいて前記対象物が接触している接触領域を判定する接触領域判定部、
    　前記対象物の接触領域を含む前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部、
    としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
  18. 　移動体本体と、
    　前記移動体に搭載されたカメラ又は移動体の周囲を撮影するカメラと、
    　前記カメラが撮影した画像に含まれる対象物の領域を推定する領域推定部と、
    　前記対象物の移動履歴に関する情報を取得する移動履歴情報取得部と、
    　前記移動履歴に基づいて前記対象物の移動範囲を推定する移動範囲推定部と、
    　前記対象物の移動範囲に基づいて、前記移動体本体の運転を制御する制御部と、
    を具備する移動体装置。
  19. 　前記制御部は、前記移動体本体の将来予測到達範囲と前記対象物の移動範囲の比較結果に基づいて、前記移動体本体と前記対象物が衝突する危険度を判定する、
    請求項１８に記載の移動体装置。
  20. 　前記制御部は、前記衝突を回避するための前記移動体の運転を制御する、
    請求項１９に記載の移動体装置。
PCT/JP2020/002769 2019-03-29 2020-01-27 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 WO2020202741A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/593,478 US20220169245A1 (en) 2019-03-29 2020-01-27 Information processing apparatus, information processing method, computer program, and mobile body device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-068382 2019-03-29
JP2019068382 2019-03-29

Publications (1)

Publication Number Publication Date
WO2020202741A1 true WO2020202741A1 (ja) 2020-10-08

Family

ID=72668912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002769 WO2020202741A1 (ja) 2019-03-29 2020-01-27 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置

Country Status (2)

Country Link
US (1) US20220169245A1 (ja)
WO (1) WO2020202741A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022118476A1 (ja) * 2020-12-04 2022-06-09 三菱電機株式会社 自動運転システム、サーバ、および、ダイナミックマップの生成方法
US20230022820A1 (en) * 2021-07-20 2023-01-26 Subaru Corporation Driving assistance device for vehicle
WO2023176854A1 (ja) * 2022-03-15 2023-09-21 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
US20240005263A1 (en) * 2022-06-29 2024-01-04 United Parcel Service Of America, Inc. Machine vision system for advancement of trailer loading/unloading visibility
JP7438515B2 (ja) 2022-03-15 2024-02-27 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
WO2024142224A1 (ja) * 2022-12-27 2024-07-04 株式会社クボタ 無人航空機、無人航空機の制御システム、および無人航空機の制御方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10745009B2 (en) * 2016-12-21 2020-08-18 Samsung Electronics Co., Ltd. Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
JP7473370B2 (ja) * 2020-03-18 2024-04-23 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7414612B2 (ja) * 2020-03-26 2024-01-16 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2022136757A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 自律走行体
US20230273039A1 (en) * 2022-02-28 2023-08-31 Zf Friedrichshafen Ag Cloud based navigation for vision impaired pedestrians
DE102022207574B3 (de) * 2022-07-25 2024-01-25 Volkswagen Aktiengesellschaft Verfahren zum Steuern eines zumindest teilautonomen Kraftfahrzeugs in einem geparkten Zustand

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003343A (ja) * 2017-06-13 2019-01-10 パナソニックＩｐマネジメント株式会社 運転支援装置および運転支援方法
JP2019028840A (ja) * 2017-08-01 2019-02-21 株式会社デンソー 車両用安全判定装置、方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048927B2 (en) * 2017-10-24 2021-06-29 Waymo Llc Pedestrian behavior predictions for autonomous vehicles
KR20200017917A (ko) * 2018-08-10 2020-02-19 현대자동차주식회사 차량 및 그 제어 방법
US11556126B2 (en) * 2019-02-20 2023-01-17 Toyota Research Institute, Inc. Online agent predictions using semantic maps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003343A (ja) * 2017-06-13 2019-01-10 パナソニックＩｐマネジメント株式会社 運転支援装置および運転支援方法
JP2019028840A (ja) * 2017-08-01 2019-02-21 株式会社デンソー 車両用安全判定装置、方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022118476A1 (ja) * 2020-12-04 2022-06-09 三菱電機株式会社 自動運転システム、サーバ、および、ダイナミックマップの生成方法
JPWO2022118476A1 (ja) * 2020-12-04 2022-06-09
JP7345684B2 (ja) 2020-12-04 2023-09-15 三菱電機株式会社 自動運転システム、サーバ、および、ダイナミックマップの生成方法
US20230022820A1 (en) * 2021-07-20 2023-01-26 Subaru Corporation Driving assistance device for vehicle
WO2023176854A1 (ja) * 2022-03-15 2023-09-21 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
JP7438515B2 (ja) 2022-03-15 2024-02-27 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
US20240005263A1 (en) * 2022-06-29 2024-01-04 United Parcel Service Of America, Inc. Machine vision system for advancement of trailer loading/unloading visibility
WO2024142224A1 (ja) * 2022-12-27 2024-07-04 株式会社クボタ 無人航空機、無人航空機の制御システム、および無人航空機の制御方法

Also Published As

Publication number Publication date
US20220169245A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
WO2020202741A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
CN109890677B (zh) 规划自动驾驶车辆的停止位置
JP7405072B2 (ja) 移動制御システム、移動制御方法、及びプログラム
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
WO2020226085A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11501461B2 (en) Controller, control method, and program
JP7374098B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
JP7548225B2 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
WO2020129687A1 (ja) 車両制御装置、車両制御方法、プログラム、及び、車両
CN110281934B (zh) 车辆控制装置、车辆控制方法及存储介质
CN113496189B (zh) 基于静态障碍物地图的感知方法及系统
JPWO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019098081A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2020183892A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
JPWO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
WO2022024803A1 (ja) 学習モデルの生成方法、情報処理装置、情報処理システム
WO2019150918A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
CN114764022B (zh) 用于自主驾驶车辆的声源检测和定位的系统和方法
JPWO2019073795A1 (ja) 情報処理装置、自己位置推定方法、プログラム、及び、移動体
WO2021070768A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
US12017681B2 (en) Obstacle prediction system for autonomous driving vehicles
CN113815640A (zh) 用于具有不同速度限制的车道的车道变更系统
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
CN115871712A (zh) 操作自主驾驶车辆的方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20783953

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20783953

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP