WO2020067070A1 - 情報処理システム及び情報処理方法 - Google Patents

情報処理システム及び情報処理方法 Download PDF

Info

Publication number
WO2020067070A1
WO2020067070A1 PCT/JP2019/037394 JP2019037394W WO2020067070A1 WO 2020067070 A1 WO2020067070 A1 WO 2020067070A1 JP 2019037394 W JP2019037394 W JP 2019037394W WO 2020067070 A1 WO2020067070 A1 WO 2020067070A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
information
moving
information processing
obstacles
Prior art date
Application number
PCT/JP2019/037394
Other languages
English (en)
French (fr)
Inventor
圭介 長田
孝彦 上辻
松永 繁樹
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to DE112019000969.9T priority Critical patent/DE112019000969T5/de
Publication of WO2020067070A1 publication Critical patent/WO2020067070A1/ja
Priority to US16/894,122 priority patent/US11710407B2/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4043Lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00Output or target parameters relating to data
    • B60W2756/10Involving external transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention

Definitions

  • the present disclosure relates to an information processing system and an information processing method.
  • driving of a vehicle includes a photographing unit arranged to photograph a danger area on a traveling road on which the vehicle travels and capable of generating image data of the danger area, and a notification unit that issues a warning based on a warning signal.
  • a support system is disclosed.
  • an object of the present disclosure is to provide an information processing system and an information processing method in which a moving object can appropriately move even when a blind spot formed in an obstacle exists in the traveling direction of the moving object. I do.
  • An information processing system includes a detection unit configured to detect a plurality of obstacles existing around a moving body, first information regarding the plurality of obstacles detected by the detection unit, A first determining unit that determines whether there is an unrecognized obstacle that is an obstacle among the plurality of obstacles that cannot be visually recognized from the moving body, based on the moving body information indicating An output unit that outputs information indicating the unrecognized obstacle to the moving body when the first determination unit determines that a non-recognized obstacle exists.
  • the information processing method includes detecting a plurality of obstacles existing around a moving body, first information regarding the detected plurality of obstacles, and moving the moving body indicating the moving body. Based on the body information, it is determined whether there is an unrecognized obstacle that is an obstacle among the plurality of obstacles that cannot be visually recognized from the moving body, and Then, when the determination is made, outputting information indicating the non-recognized obstacle to the moving object is included.
  • the moving body can appropriately move even if there is a blind spot formed in the obstacle in the traveling direction of the moving body.
  • FIG. 1 is a schematic diagram illustrating an information processing system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an information processing system according to the first embodiment.
  • FIG. 3 is a schematic explanatory diagram illustrating a relationship between a specific vehicle and an unrecognized obstacle in the information processing system according to the first embodiment.
  • FIG. 4 is a sequence diagram illustrating an operation of the information processing system according to the first embodiment.
  • FIG. 5 is a block diagram illustrating an information processing system according to the second embodiment.
  • FIG. 6 is a sequence diagram illustrating an operation of the information processing system according to the second embodiment.
  • FIG. 7 is a block diagram illustrating an information processing system according to the third embodiment.
  • FIG. 8 is a sequence diagram illustrating an operation of the information processing system according to the third embodiment.
  • FIG. 1 is a schematic diagram illustrating an information processing system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an information processing system according to the first embodiment.
  • FIG. 3 is
  • FIG. 9 is a flowchart illustrating an operation of determining the risk of a non-recognized obstacle according to the third embodiment.
  • FIG. 10 is a block diagram illustrating an information processing system according to the fourth embodiment.
  • FIG. 11 is a sequence diagram illustrating an operation of the information processing system according to the fourth embodiment.
  • FIG. 12 is a block diagram illustrating an information processing system according to the fifth embodiment.
  • FIG. 13 is a sequence diagram illustrating an operation of the information processing system according to the fifth embodiment.
  • FIG. 14 is a schematic diagram illustrating an information processing system according to a modification.
  • An information processing system includes a detection unit configured to detect a plurality of obstacles existing around a moving body, first information regarding the plurality of obstacles detected by the detection unit, A first determining unit that determines whether there is an unrecognized obstacle that is an obstacle among the plurality of obstacles that cannot be visually recognized from the moving body, based on the moving body information indicating An output unit that outputs information indicating the unrecognized obstacle to the moving body when the first determination unit determines that a non-recognized obstacle exists.
  • the moving object can obtain information indicating an unrecognized obstacle that cannot be visually recognized from the moving object among the obstacles hidden by the obstacle as viewed from the moving object. Therefore, the moving body can perform an operation based on the information indicating the non-recognized obstacle.
  • the moving body can move properly.
  • the information processing system can improve safety when the moving body moves.
  • the first determination unit determines an unrecognized obstacle and transmits information indicating the unrecognized obstacle to the moving object. Communication amount can be reduced as compared with the case of transmitting to
  • the information processing method includes detecting a plurality of obstacles existing around a moving body, first information regarding the detected plurality of obstacles, and moving the moving body indicating the moving body. Based on the body information, it is determined whether there is an unrecognized obstacle that is an obstacle among the plurality of obstacles that cannot be visually recognized from the moving body, and Then, when the determination is made, outputting information indicating the non-recognized obstacle to the moving object is included.
  • the first determination unit indicates the first information based on the moving body information, the first information, and map information around the moving body. Between the one or more first obstacles of the plurality of obstacles and the moving object, the obstacles other than the one or more first obstacles in the first information or the map information. If there is an obstacle to be recognized, the one or more first obstacles are determined to be the non-recognized obstacle.
  • the first determination unit can easily determine the presence of the unrecognized obstacle from the first information detected by the detection unit and the map information.
  • the information processing system further includes a classification unit that classifies the first obstacle according to a type of a first obstacle among the plurality of obstacles
  • the first determination unit is configured to determine between the one or more first obstacles of the plurality of obstacles indicated in the first information and the moving body, the one or more first obstacles of the first information.
  • the one or more first obstacles are classified based on the type of the first obstacle classified by the classification unit. Is determined as the non-recognized obstacle.
  • the first determination unit determines whether there is an unrecognized obstacle according to the type classified by the classification unit. Therefore, it is possible to easily determine the presence of the non-recognized obstacle.
  • the moving object detects one or more second obstacles that can be visually recognized from the moving object, and performs a second operation on the detected one or more second obstacles.
  • 2 information is transmitted to the information processing system, and the first determination unit further includes the second obstacle shown in the received second information among the plurality of obstacles shown in the first information. If it is determined that the first obstacle is the same as the one or more first obstacles, the first obstacle determined to be the same is not determined as the non-recognized obstacle.
  • the moving body can acquire information indicating the unrecognized obstacle determined more accurately. Therefore, the moving body can move more smoothly based on the information indicating the non-recognized obstacle.
  • the information processing system further includes a moving body control unit that controls movement of the moving body based on information indicating the non-recognized obstacle.
  • the moving object is controlled by the moving object control unit based on the information indicating the non-recognized obstacle, and thus can perform operations such as slowing down or stopping, or avoiding the non-recognized obstacle.
  • the first information includes a moving speed, a moving direction, and a position of some of the plurality of obstacles detected by the detecting unit. At least one of them is included.
  • the first determination unit can more easily determine whether or not an unrecognized obstacle exists based on the first information.
  • the information processing system further includes a path estimating unit that estimates a moving path of the non-recognized obstacle based on the first information,
  • the control unit controls the movement of the moving body based on the movement route.
  • the information processing system can accurately estimate the movement path of the non-recognized obstacle. As a result, it is possible to further improve the safety when the moving body moves.
  • the information processing system further determines the degree of risk of the non-recognized obstacle based on the movement path of the non-recognized obstacle estimated by the route estimation unit or the first information.
  • the mobile object control unit includes a second determination unit, and controls the movement of the mobile object based on information indicating the degree of risk determined by the second determination unit.
  • the information processing system can accurately estimate the risk of a non-recognized obstacle.
  • the moving body information includes at least one of a moving speed, a position, and a route to be moved of the moving body
  • the second determination unit Based on the first information and the moving body information, the degree of risk is determined from a determination result indicating whether the moving body contacts the non-recognized obstacle.
  • the moving body since the moving body acquires the risk as a result of determining whether the moving body comes into contact with the non-recognizable obstacle, the moving body can safely travel based on the risk.
  • the second determination unit may be configured such that a distance from the moving object to the unrecognized obstacle is greater than or equal to a first specified distance, and the moving object and the non- When the recognition obstacle does not contact, it is determined as the first risk, the distance from the moving body to the non-recognition obstacle is less than the first specified distance, and the moving body and the non-recognition obstacle If no contact occurs, it is determined that the second risk is higher than the first risk, the distance from the moving object to the unrecognized obstacle is greater than or equal to a first specified distance, and the moving object and the non- If there is a possibility of contact with the recognition obstacle, it is determined as a third risk higher than the second risk, the distance from the moving body to the non-recognition obstacle is less than a first specified distance, Also, the moving body and the non-recognizable obstacle may come into contact with each other. If there is, it is determined that the fourth risk higher than said third risk.
  • the degree of danger of a non-recognized obstacle can be determined stepwise based on the states of the moving object and the non-recognized obstacle. Therefore, by accurately estimating the risk of the non-recognized obstacle, the moving body can travel according to the risk. For this reason, the mobile body can ensure safety.
  • the information processing system further classifies the first obstacle of the plurality of obstacles into a moving obstacle that moves or a stopped obstacle that remains at a predetermined position.
  • a route estimating unit for estimating a moving route of the classified non-recognized obstacle based on the first information as the classified non-recognized obstacle based on the first information.
  • the information processing system it is possible to classify whether the first obstacle shown in the first information is a moving obstacle or a stopped obstacle.
  • the moving path of the classified non-recognized obstacle can be accurately estimated.
  • the risk of a non-recognized obstacle after classification can be more accurately determined based on the movement route. For this reason, the moving body can perform safety according to the degree of danger, thereby ensuring safety and smoothly moving.
  • the information processing system further notifies the non-recognition obstacle that the moving object is approaching, and notifies that the non-recognition obstacle is approaching.
  • a danger notification unit that performs at least one of notifying the mobile body of the fact.
  • the non-recognizable obstacle and the moving vehicle can avoid collision, the safety of the non-recognized obstacle and the moving vehicle is improved.
  • the information processing system 1 transmits information indicating the state of the moving object such as the moving speed, the moving direction, the position, and the size of another obstacle existing in the blind spot formed in the obstacle on the moving path of the moving object.
  • This is a system that transmits to the moving body and makes the moving body recognize the state of another obstacle.
  • the moving object is a vehicle, a robot cleaner, an unmanned flying object, or the like. In this embodiment, a vehicle will be described as an example of a moving object.
  • FIG. 1 is a schematic diagram illustrating the information processing system 1 according to the first embodiment.
  • FIG. 2 is a block diagram illustrating the information processing system 1 according to the first embodiment.
  • the information processing system 1 includes a plurality of monitoring cameras 30, a specific vehicle 20, and an information processing device 40.
  • the respective monitoring cameras 30 are arranged in a dispersed manner so that, for example, the entire parking facility, public roads and the like can be imaged.
  • Each surveillance camera 30 captures (wide-angle photography) all moving objects including vehicles in parking facilities and other obstacles, and tracks or monitors them.
  • the obstacle is a fixed obstacle such as a moving obstacle such as a person or a vehicle (hereinafter, may be referred to as a moving obstacle), a ground such as a structure or a tree, or a predetermined position. (Hereinafter, may be referred to as a stopped obstacle).
  • the surveillance camera 30 (infrastructure camera) is used as an example of the detection unit in the present embodiment
  • the detection unit may be a satellite camera, an aerial camera, or a vehicle-mounted camera 21 mounted on another vehicle. Good.
  • the monitoring camera 30 may be a TOF (Time of Flight) camera, a human sensor, or the like.
  • the monitoring camera 30 captures (detects) the vehicle and a plurality of first obstacles existing around the vehicle.
  • the monitoring camera 30 generates, based on the captured image, a first obstacle included in the image and first information indicating a moving speed, a moving direction, a position, a size, and the like of the first obstacle.
  • the first obstacle is an obstacle captured by the surveillance camera 30, for example, a person, a vehicle, a flying object, a structure, and the like, and is the same as the above-described obstacle.
  • the first information may include at least one of the moving speed, the moving direction, and the position of the obstacle.
  • the first information is information indicating one or more first obstacles.
  • the monitoring camera 30 captures an image of a vehicle to be monitored (sometimes referred to as a specific vehicle 20) other than the plurality of first obstacles included in the captured image. Although one specific vehicle 20 is illustrated in the present embodiment, one monitoring camera 30 may generate vehicle information (described later) indicating each of the plurality of specific vehicles 20.
  • the monitoring camera 30 is communicably connected to the information processing device 40.
  • the monitoring camera 30 transmits the first information to the information processing device 40.
  • the specific vehicle 20 is a vehicle to be monitored by the monitoring camera 30.
  • the specific vehicle 20 is a vehicle that can perform manual driving or automatic driving.
  • the specific vehicle 20 is communicably connected to the information processing device 40.
  • the specific vehicle 20 includes a vehicle-mounted camera 21, a second communication unit 22, a moving body control unit 23, and a presentation unit 24.
  • the vehicle-mounted camera 21 detects (images) a second obstacle existing around the specific vehicle 20.
  • the second obstacle is an obstacle captured by the in-vehicle camera 21, for example, a person, a vehicle, a structure, and the like, and is similar to the above-described obstacle.
  • the vehicle-mounted camera 21 captures an image of the traveling direction of the specific vehicle 20.
  • the in-vehicle camera 21 generates, based on the captured image, a second obstacle included in the image and second information indicating a moving speed, a moving direction, a position, a size, and the like of the second obstacle. I do.
  • the in-vehicle camera 21 transmits the second information to the information processing device 40 via the second communication unit 22.
  • the second information is information indicating one or more second obstacles.
  • the in-vehicle camera 21 is an example of a detection unit.
  • the second communication unit 22 is a wireless module such as an antenna, and can communicate with the information processing device 40.
  • the second communication unit 22 transmits information indicating an image captured by the in-vehicle camera 21 and vehicle information, and receives information indicated by an unrecognized obstacle described later from the information processing device 40.
  • the vehicle information is information for specifying a vehicle to be monitored among one or more vehicles imaged by the monitoring camera 30, and includes a moving speed and a position of the specific vehicle 20 and a route on which the specific vehicle 20 is to travel. Hereinafter, it may be referred to as a planned traveling route.).
  • the specific vehicle 20 to be monitored is, for example, a running vehicle and a vehicle to be driven.
  • Vehicle information is an example of mobile object information.
  • the moving body control unit 23 When acquiring the information indicated by the non-recognized obstacle via the second communication unit 22, the moving body control unit 23 performs processing based on the information indicating the image captured by the vehicle-mounted camera 21, the information indicated by the non-recognized obstacle, and the like.
  • the running of the specific vehicle 20 is controlled.
  • the moving body control unit 23 causes the specific vehicle 20 to travel along the planned traveling route of the specific vehicle 20 generated by a route setting unit (not shown). For example, the moving body control unit 23 transmits a command that causes the ECU (Engine Control Unit), a steering actuator, and the like to control the traveling of the specific vehicle 20.
  • ECU Engine Control Unit
  • the moving body control unit 23 transmits a command for controlling the headlights, horn, and the like of the specific vehicle 20 and transmits the unrecognized object. Notify obstacles by light and sound.
  • the scheduled travel route is a route from the current location where the specific vehicle 20 is scheduled to travel to the destination, for example, a route determined by the destination input by the user.
  • information indicating the planned traveling route may be acquired from an external device.
  • the route setting unit may be provided in the specific vehicle 20, may be provided in the information processing device 40, or may be a device different from the specific vehicle 20 and the information processing device 40.
  • the presentation unit 24 is a car navigation system, a speaker, or the like, and outputs information indicating an unrecognized obstacle.
  • the presentation unit 24 may present the moving speed, the moving direction, the position, the size, and the like of the non-recognized obstacle, that is, notify the occupant of the specific vehicle 20 of the information. You may.
  • the information processing device 40 is a device that transmits information indicating an unrecognized obstacle that cannot be visually recognized from the specific vehicle 20 to the specific vehicle 20.
  • the information processing device 40 is, for example, a server device such as a personal computer.
  • the non-recognized obstacle is an obstacle that cannot be visually recognized from the specific vehicle 20, and the remaining obstacles are the same as the obstacle captured by the monitoring camera 30 and the vehicle-mounted camera 21. Obstacles.
  • the non-recognized obstacle is, for example, a moving obstacle such as a person or a vehicle.
  • the information processing device 40 includes a first determination unit 41 and a first communication unit 42.
  • the first determination unit 41 looks at the specific vehicle 20 based on the acquired first information, the vehicle information, and the map information around the specific vehicle 20 and visually recognizes the obstacles hidden by the obstacle from the specific vehicle 20. It is determined whether there is an unrecognized obstacle that is an obstacle among a plurality of obstacles that cannot be performed.
  • FIG. 3 is a schematic explanatory diagram illustrating the relationship between the specific vehicle 20 and the unrecognized obstacle in the information processing system 1 according to the first embodiment. Note that the non-recognized obstacle not only cannot be visually recognized from the specific vehicle 20 but also includes a case where it is difficult to visually recognize, that is, a case where it cannot be visually recognized.
  • the first determination unit 41 extracts a first obstacle from obstacles near the specific vehicle 20 based on the first information and the vehicle information.
  • the first determination unit 41 is configured to provide, between the first obstacle and the specific vehicle 20, an obstacle other than the one or more first obstacles in the first information or an obstacle (hereinafter, a first obstacle) indicated in the map information. Information or other obstacles shown in the map information). If another obstacle indicated by the first information or the map information exists between the first obstacle and the specific vehicle 20, the other obstacle may be a candidate for a non-recognized obstacle.
  • the first obstacle is roughly classified into, for example, a moving obstacle and a stopped obstacle.
  • the map information indicates a map around the specific vehicle 20, and includes, for example, a structure (floor map) of a premises such as a parking facility.
  • the first determination unit 41 determines that the second obstacle indicated in the second information received from the specific vehicle 20 is the same as the first obstacle. identifies the second obstacle as a non-recognition obstacle. Does not judge. Since the first obstacle may be visible from the specific vehicle 20, the obstacle (second obstacle) visible from the specific vehicle 20 is excluded from the first obstacle, and after the exclusion. The remaining first obstacle should be determined as a non-recognized obstacle. For this reason, the first determination unit 41 determines a plurality of obstacles indicated in the first information that are the same obstacle (for example, the same position or an obstacle regarded as the same position) as the second obstacle indicated in the second information. One or more first obstacles among the obstacles are not determined to be unrecognized obstacles. Thus, the first determination unit 41 determines an obstacle hidden by the obstacle as a non-recognized obstacle.
  • the non-recognized obstacle is a moving obstacle or a stopped obstacle, but may be limited to a moving obstacle.
  • the determination that the second obstacle is the same as the first obstacle is not only when the second obstacle and the first obstacle are completely the same, but also when the second obstacle is considered to be substantially the same. Including.
  • the first determination unit 41 further visually recognizes from the specific vehicle 20 in consideration of the size and height of the obstacle indicated in the first information or the map information, the undulating state of the ground indicated in the map information, and the like. It may be determined whether there is a non-recognizable obstacle that cannot be performed.
  • the map information may be stored in a recording medium of the information processing device 40 in advance, or may be obtained from another server device or the like via a network.
  • the first determination unit 41 determines that an unrecognized obstacle exists, the first determination unit 41 transmits information indicating the unrecognized obstacle to the specific vehicle 20 via the first communication unit 42.
  • the information indicated as the non-recognized obstacle includes a moving speed, a moving direction, a position, a size, and the like of the non-recognized obstacle.
  • the first communication unit 42 is a communication module such as an antenna, and can communicate with the monitoring camera 30 and the specific vehicle 20.
  • the first communication unit 42 receives the first information from the monitoring camera 30 and outputs the first information to the first determination unit 41. Further, the first communication unit 42 transmits information indicated by the non-recognized obstacle to the specific vehicle 20.
  • the first communication unit 42 is an example of an output unit.
  • the output unit may be a communication interface or a communication module such as an antenna.
  • FIG. 4 is a sequence diagram illustrating an operation of the information processing system 1 according to the first embodiment.
  • the surveillance camera 30 images the specific vehicle 20 and a plurality of obstacles existing around the specific vehicle 20.
  • the monitoring camera 30 detects a first obstacle included in the image and detects a moving speed, a moving direction, a position, a size, and the like of the first obstacle based on the captured image.
  • First information is generated (S11).
  • the monitoring camera 30 transmits the first information to the information processing device 40.
  • the vehicle-mounted camera 21 of the specific vehicle 20 captures an image around the specific vehicle 20, mainly the traveling direction of the specific vehicle 20 (S12).
  • the in-vehicle camera 21 extracts a second obstacle included in the image based on the captured image and second information indicating a moving speed, a moving direction, a position, a size, and the like of the second obstacle.
  • Generate The specific vehicle 20 transmits the second information and the vehicle information to the information processing device 40 via the second communication unit 22.
  • the information processing device 40 detects, based on the first information, the vehicle information, and the map information, an unrecognized obstacle that cannot be visually recognized from the specific vehicle 20 among obstacles hidden by the specific vehicle 20 when viewed from the specific vehicle 20. It is determined whether it exists (S13). Specifically, based on the first information and the vehicle information, the first determination unit 41 of the information processing device 40 determines, based on the first information and the vehicle information, the moving obstacle (the first obstacle) Example) is specified. The first determination unit 41 determines whether or not another obstacle indicated by the first information or the map information exists between the one or more moving obstacles and the specific vehicle 20.
  • the first determination unit 41 further includes the second It is determined whether the second obstacle shown in the information is the same as the moving obstacle. When determining that the second obstacle indicated by the second information is the same as the moving obstacle, the first determination unit 41 does not determine the second obstacle as a non-recognized obstacle. In other words, the first determination unit 41 does not determine one or more moving obstacles indicated by the first information, which are the same obstacles as the second obstacle indicated by the second information, as non-recognized obstacles.
  • the first determination unit 41 sets the remaining first obstacle (moving obstacle) after the elimination of the second obstacle from the first obstacle as the non-recognition obstacle, and It is determined that an object exists (Yes in S13). If Yes in step S13, the first determination unit 41 transmits information indicating the non-recognized obstacle to the specific vehicle 20.
  • the first determination unit 41 returns to step S13 and waits until another first information and vehicle information are received.
  • the moving body control unit 23 of the specific vehicle 20 controls the traveling of the specific vehicle 20 based on the information indicated by the non-recognized obstacle (S14). Specifically, the moving body control unit 23 controls the steering actuator, brake, accelerator, headlight, horn, and the like of the specific vehicle 20 based on the moving speed, moving direction, position, and size of the non-recognized obstacle. Control.
  • the moving body control unit 23 controls the brake and the accelerator of the specific vehicle 20 to stop or slow down the specific vehicle 20. Whether or not the specific vehicle 20 contacts the non-recognized obstacle is derived from the moving direction and the moving speed of the non-recognized obstacle and the vehicle information of the specific vehicle 20.
  • the moving body control unit 23 controls headlights, horns, and the like of the specific vehicle 20, and notifies the non-recognized obstacle by light and sound. Further, the moving body control unit 23 may change the planned traveling route of the specific vehicle 20 and control the steering actuator, the brake, and the accelerator along the planned traveling route.
  • the first determination unit 41 performs the identification based on the first information regarding the plurality of obstacles detected by the monitoring camera 30 and the map information around the specific vehicle 20. It is determined whether there is an unrecognized obstacle that cannot be visually recognized from the specific vehicle 20 among obstacles hidden by the obstacle among the plurality of obstacles when viewed from the vehicle 20.
  • the first communication unit 42 outputs information indicating the non-recognized obstacle to the specific vehicle 20. For this reason, the specific vehicle 20 can acquire information indicating an unrecognized obstacle that cannot be visually recognized from the specific vehicle 20 among the obstacles hidden by the obstacle when viewed from the specific vehicle 20. Therefore, the specific vehicle 20 can perform an operation based on the information indicating the unrecognized obstacle.
  • the specific vehicle 20 can appropriately move.
  • the information processing system 1 can improve safety when the specific vehicle 20 moves.
  • the communication amount between the monitoring camera 30 and the specific vehicle 20 increases.
  • the first determination unit 41 determines the non-recognized obstacle and transmits the information indicating the non-recognized obstacle to the specific vehicle 20
  • all of the obstacles detected by the monitoring camera 30 are detected.
  • the communication traffic can be reduced as compared with the case where the information is transmitted to the specific vehicle 20.
  • FIG. 5 is a block diagram illustrating an information processing system 200 according to the second embodiment.
  • the information processing device 240 further includes a route estimation unit 43.
  • the path estimation unit 43 estimates the movement path of the non-recognized obstacle based on the first information. Specifically, the route estimating unit 43 acquires the first information from the monitoring camera 30 via the first communication unit 42. The path estimating unit 43 estimates the moving path of the unrecognized obstacle from the moving speed, moving direction, position, size, and the like of the first obstacle indicated in the first information.
  • the route estimation unit 43 may predict that the unrecognized obstacle will make a right turn.
  • the route estimation unit 43 has a low possibility that the non-recognizable obstacle approaches the specific vehicle 20 beyond the guardrail. Based on the prediction, the moving path of the unrecognized obstacle may be estimated.
  • the route estimation unit 43 transmits information indicating the estimated movement route of the non-recognized obstacle to the specific vehicle 20 via the first communication unit 42.
  • the presentation unit 24 outputs information indicating the movement path of the unrecognized obstacle and information indicating the unrecognized obstacle.
  • the moving body control unit 23 of the specific vehicle 20 acquires the information indicating the moving path of the unrecognized obstacle
  • the moving body control unit 23 controls the running of the specific vehicle 20. Specifically, when it is determined from the information indicating the moving path of the unrecognized obstacle and the vehicle information of the specific vehicle 20 that there is a possibility that the specific vehicle 20 and the non-recognized obstacle may come into contact with each other, The unit 23 controls the brake and the accelerator of the specific vehicle 20 and determines whether the specific vehicle 20 and the non-recognizable obstacle have a possibility of approaching or contacting with each other (determining that the specific vehicle 20 is dangerous). Stop or slow down 20.
  • FIG. 6 is a sequence diagram illustrating an operation of the information processing system 200 according to the second embodiment.
  • the monitoring camera 30 takes an image of the specific vehicle 20 and a plurality of obstacles existing around the specific vehicle 20, and generates first information (S11).
  • the monitoring camera 30 transmits the first information to the information processing device 240.
  • the in-vehicle camera 21 of the specific vehicle 20 captures an image around the specific vehicle 20 (S12).
  • the specific vehicle 20 transmits the second information and the vehicle information to the information processing device 240.
  • the information processing device 240 determines, based on the first information, the vehicle information, and the map information, an unrecognized obstacle that cannot be visually recognized from the specific vehicle 20 among obstacles hidden by the specific vehicle 20 when viewed from the specific vehicle 20. It is determined whether it exists (S13). In the case of Yes in step S13, the first determination unit 41 transmits information indicating the non-recognized obstacle to the specific vehicle 20, and proceeds to step S213. If No in step S13, the first determination unit 41 returns to step S13 and waits until another first information and vehicle information are received.
  • the route estimation unit 43 of the information processing device 240 estimates the movement route of the unrecognized obstacle based on the first information. Specifically, the path estimating unit 43 estimates the moving path of the unrecognized obstacle from the moving speed, moving direction, position, size, and the like of the obstacle detected by the monitoring camera 30 indicated in the first information. (S213). In addition, the moving path of the non-recognized obstacle may be simply the traveling direction of the non-recognized obstacle. The route estimating unit 43 transmits information indicating the estimated moving route of the non-recognized obstacle to the specific vehicle 20 via the first communication unit 42.
  • the moving body control unit 23 of the specific vehicle 20 acquires the information indicating the unrecognized obstacle and the information indicating the moving route, and controls the traveling of the specific vehicle 20 based on the information (S214). Specifically, the moving body control unit 23 controls the steering actuator, brake, accelerator, headlight, horn, and the like of the specific vehicle 20 based on the moving speed, moving direction, position, and size of the non-recognized obstacle. Control.
  • the route estimating unit 43 performs Estimate the movement route of the object. Therefore, the information processing system 200 can accurately estimate the movement path of the non-recognized obstacle. As a result, safety when the specific vehicle 20 moves can be further improved.
  • FIG. 7 is a block diagram illustrating an information processing system 300 according to the third embodiment.
  • the information processing device 340 further includes a second determination unit 44.
  • the second determination unit 44 determines the risk of the non-recognized obstacle based on the movement path of the non-recognized obstacle estimated by the route estimation unit 43 or the first information. Specifically, based on the first information and the vehicle information, the second determination unit 44 determines the degree of danger from the determination result indicating whether the moving object contacts the unrecognized obstacle.
  • the path estimating unit 43 estimates the moving path of the first obstacle from the moving speed, moving direction, position, size, and the like of the first obstacle indicated in the first information.
  • the second determination unit 44 determines whether the moving object contacts the non-recognized obstacle based on the travel route estimated by the route estimation unit 43 and the travel speed, the position, the planned travel route, and the like of the specific vehicle 20 indicated in the vehicle information. Determine whether The second determination unit 44 determines the degree of risk stepwise based on whether or not the moving object contacts the non-recognized obstacle.
  • the second determination unit 44 Judgment is 1 danger.
  • the first risk indicates a case where the risk is low. For example, even if there is another obstacle near the specific vehicle 20, the danger is low if the obstacle can be visually recognized from the specific vehicle 20. Also, the risk is low when an unrecognized obstacle exists far from the specific vehicle 20.
  • the second determination unit 44 is higher than the first risk when the distance from the specific vehicle 20 to the non-recognized obstacle is less than the first specified distance and the specific vehicle 20 does not contact the non-recognized obstacle. It is determined to be the second risk.
  • the second risk indicates a case where the risk is low. For example, even when a non-recognized obstacle exists near the specific vehicle 20, the risk is low when there is no possibility that the specific vehicle 20 and the non-recognized obstacle will contact.
  • the second determination unit 44 When the distance from the specific vehicle 20 to the non-recognizable obstacle is greater than or equal to the first specified distance and there is a possibility that the specific vehicle 20 and the non-recognizable obstacle may come into contact with each other, the second determination unit 44 performs the second danger. It is determined that the third risk level is higher than the third risk level.
  • the third risk indicates a case where the risk is medium. For example, even when a non-recognizable obstacle exists far from the specific vehicle 20, when the specific vehicle 20 and the non-recognizable obstacle may come into contact with each other, the degree of danger is medium.
  • the second determination unit 44 performs the third danger. It is determined that the fourth risk level is higher than the fourth risk level.
  • the fourth risk indicates a case where the risk is high. For example, when there is a non-recognized obstacle near the specific vehicle 20 and there is a possibility that the specific vehicle 20 and the non-recognized obstacle may come into contact with each other, the risk is high.
  • the first communication unit 42 outputs to the mobile control unit 23 information indicating any one of the risk levels determined by the second determination unit 44.
  • the presentation unit 24 outputs information indicating an unrecognized obstacle, information indicating a moving route, and information indicating a degree of danger.
  • FIG. 8 is a sequence diagram illustrating an operation of the information processing system 300 according to the third embodiment.
  • the monitoring camera 30 captures an image of the specific vehicle 20 and a plurality of obstacles existing around the specific vehicle 20, and generates first information (S11).
  • the monitoring camera 30 transmits the first information to the information processing device 340.
  • the in-vehicle camera 21 of the specific vehicle 20 captures an image around the specific vehicle 20 (S12).
  • the specific vehicle 20 transmits the second information and the vehicle information to the information processing device 340.
  • the information processing device 340 determines, based on the first information, the vehicle information, and the map information, an unrecognized obstacle that cannot be visually recognized from the specific vehicle 20 among the obstacles hidden by the specific vehicle 20 based on the specific vehicle 20. It is determined whether it exists (S13). In the case of Yes in step S13, the first determination unit 41 transmits information indicating the non-recognized obstacle to the specific vehicle 20, and proceeds to step S213. If No in step S13, the first determination unit 41 returns to step S13 and waits until another first information and vehicle information are received.
  • the route estimating unit 43 of the information processing device 340 estimates a moving route of the non-recognized obstacle based on the first information (S213).
  • the route estimating unit 43 transmits information indicating the estimated moving route of the non-recognized obstacle to the specific vehicle 20.
  • the second determination unit 44 of the information processing device 340 determines the risk of the non-recognized obstacle based on the movement path of the non-recognized obstacle estimated by the route estimation unit 43 (S313). In the present embodiment, the second determination unit 44 determines whether the danger of the non-recognized obstacle is any of the first danger to the fourth danger. The second determination unit 44 outputs information indicating the determined degree of risk of the non-recognized obstacle to the moving object control unit 23. The determination of the risk of the non-recognized obstacle will be described later.
  • the moving body control unit 23 of the specific vehicle 20 acquires the information indicating the unrecognized obstacle, the information indicating the moving route, and the information indicating the degree of danger, and controls the running of the specific vehicle 20 based on these information (S314). ). Specifically, the moving body control unit 23 controls the steering actuator, the brake, the accelerator, and the like of the specific vehicle 20 based on the information indicating the moving speed, the moving direction, the position, the size, and the degree of danger of the non-recognized obstacle. Controls headlights, horns, etc.
  • the moving body control unit 23 controls the headlights, the horn, and the like of the specific vehicle 20 to detect the non-recognized obstacle. Report your presence. Further, when the non-recognized obstacle has the third degree of risk, the moving body control unit 23 controls the brake, the accelerator, and the like of the specific vehicle 20 to slow down the specific vehicle 20 and controls the headlights, horn, and the like. To inform non-recognized obstacles.
  • the moving body control unit 23 controls the brake, the accelerator, and the like of the specific vehicle 20 to slow down or stop the specific vehicle 20, and further, the headlight, the horn Or the like to notify a non-recognized obstacle.
  • the moving body control unit 23 can cause the specific vehicle 20 to travel along the changed planned traveling route in order to bypass the specific vehicle 20 so as to avoid the unrecognized obstacle. .
  • FIG. 9 is a flowchart illustrating an operation of determining the risk of a non-recognized obstacle according to the third embodiment.
  • the second determination unit 44 determines whether the distance from the specific vehicle 20 to the non-recognized obstacle is equal to or longer than a first specified distance (S351).
  • the second determination unit 44 It is determined whether or not a recognition obstacle comes into contact (S352).
  • the second determination unit 44 moves the specific vehicle 20 along the planned traveling route. However, when it is estimated that it is unlikely to come into contact with the non-recognized obstacle, the risk of the non-recognized obstacle is determined to be the second risk (S353). Then, the second determination unit 44 ends the processing.
  • the specific vehicle 20 When the unrecognized obstacle has the second risk, the specific vehicle 20 notifies the non-recognized obstacle of its existence by controlling headlights, horn, and the like.
  • the danger notification unit described later may notify the specific vehicle 20 and the non-recognized obstacle that the specific vehicle 20 and the non-recognized obstacle are approaching each other.
  • the second determination unit 44 determines It is determined whether there is a possibility that the object 20 and the non-recognized obstacle may come into contact with each other (S354).
  • the second determination unit 44 determines that the specific vehicle 20 is far from the non-recognized obstacle and the specific vehicle 20 is on the planned traveling route. If it is not likely to come into contact with the non-recognized obstacle even after proceeding to, the risk of the non-recognized obstacle is determined to be the first risk (S357). Then, the second determination unit 44 ends the processing.
  • the specific vehicle 20 notifies the non-recognized obstacle of its own presence by controlling headlights, horn, and the like.
  • the second determination unit 44 determines that the specific vehicle 20 may be in contact with the non-recognized obstacle (Yes in S354), that is, the specific vehicle 20 is close to the non-recognized obstacle and the specific vehicle 20 is scheduled to travel.
  • the risk of the non-recognized obstacle is determined to be the third risk (S355). Then, the second determination unit 44 ends the processing.
  • the moving body control unit 23 controls the brake, the accelerator, and the like of the specific vehicle 20 to make the specific vehicle 20 slow down, and controls the headlights, the horn, and the like. Or the presence of a non-recognized obstacle.
  • the second determination unit 44 determines that the specific vehicle 20 is close to the non-recognizable obstacle and the specific vehicle 20 is If it is estimated that there is a possibility of contact with the non-recognized obstacle when proceeding along the street, the risk of the non-recognized obstacle is determined to be the fourth risk (S356). Then, the second determination unit 44 ends the processing.
  • the moving body control unit 23 controls the brake, the accelerator, and the like of the specific vehicle 20 to slow down or stop the specific vehicle 20 and, in addition, controls headlights, horns, and the like. By controlling, it informs its existence to a non-recognized obstacle.
  • the second determination unit 44 determines the risk of the non-recognized obstacle based on the movement path of the non-recognized obstacle estimated by the route estimation unit 43.
  • the first communication unit 42 outputs information indicating the degree of risk determined by the second determination unit 44 to the mobile control unit 23.
  • the information processing system 300 can accurately estimate the risk of the non-recognized obstacle. Further, in the information processing system 300, the degree of danger of the non-recognized obstacle can be determined stepwise based on the state of the specific vehicle 20 and the non-recognized obstacle. For this reason, the specific vehicle 20 can travel according to the degree of risk by accurately estimating the degree of risk of the non-recognized obstacle. For this reason, the specific vehicle 20 can ensure safety.
  • FIG. 10 is a block diagram illustrating an information processing system 400 according to the fourth embodiment.
  • the information processing device 440 further includes a classification unit 45.
  • the classifying unit 45 classifies the first obstacle shown in the first information as a moving obstacle or a stopped obstacle. Specifically, the classification unit 45 classifies the first obstacle as a moving obstacle such as a person, a vehicle, or a flying object, or a stopped obstacle such as a stopped vehicle. The classification unit 45 classifies information based on information indicating images captured by the monitoring camera 30, the on-vehicle camera 21, and the like, map information, and the like. In addition, the classification unit 45 may classify the moving obstacle in more detail for each type, such as a person and a vehicle.
  • the route estimating unit 43 uses the classified moving obstacle as a classified non-recognized obstacle and, based on the first information, the classified non-recognized obstacle (hereinafter, in the present embodiment, the classified non-recognized obstacle).
  • the obstacle means a classified moving obstacle.).
  • the moving obstacle is more likely to come into contact with the specific vehicle 20 than the stopped obstacle, that is, the specific vehicle 20 may come into contact with the classified non-recognized obstacle. Estimate the moving path of the non-recognized obstacle.
  • FIG. 11 is a sequence diagram illustrating an operation of the information processing system 400 according to the fourth embodiment.
  • the monitoring camera 30 captures an image of the specific vehicle 20 and a plurality of obstacles existing around the specific vehicle 20, and generates first information (S11).
  • the monitoring camera 30 transmits the first information to the information processing device 440.
  • the in-vehicle camera 21 of the specific vehicle 20 captures an image around the specific vehicle 20 (S12).
  • the specific vehicle 20 transmits the second information and the vehicle information to the information processing device 440.
  • the information processing device 440 based on the first information, the vehicle information, and the map information, sees the non-recognized obstacle that is hidden by the specific vehicle 20 and cannot be visually recognized from the specific vehicle 20. It is determined whether an obstacle exists (S13). In the case of Yes in step S13, the classification unit 45 determines whether the classified non-recognized obstacle is a moving obstacle such as a person, an animal, a vehicle, a flying object, or a stop based on the first information, the map information, and the like. It is classified as a stopped obstacle such as a running vehicle (S413a). If No in step S13, the first determination unit 41 returns to step S13 and waits until another first information and vehicle information are received.
  • a moving obstacle such as a person, an animal, a vehicle, a flying object, or a stop based on the first information, the map information, and the like. It is classified as a stopped obstacle such as a running vehicle (S413a). If No in step S13, the first
  • the first determining unit 41 transmits information indicating the classified non-recognized obstacle classified by the classifying unit 45 to the specific vehicle 20, and the process proceeds to step S413b.
  • the route estimation unit 43 estimates the classified moving obstacle as a classified non-recognized obstacle based on the first information, and estimates a moving path of the classified non-recognized obstacle (S413b).
  • the route estimating unit 43 transmits, to the specific vehicle 20, information indicating a moving route of the classified non-recognized obstacle.
  • the second determination unit 44 of the information processing device 440 determines the risk of the classified non-recognized obstacle based on the movement path of the classified non-recognized obstacle estimated by the route estimation unit 43 (S313). In the present embodiment, the second determination unit 44 determines whether the risk of the non-recognized obstacle after classification is any of the first to fourth risks. The second determination unit 44 outputs information indicating the determined degree of risk of the classified non-recognized obstacle to the moving object control unit 23.
  • the moving body control unit 23 of the specific vehicle 20 acquires information indicating the unrecognized obstacle after classification, information indicating the moving route, and information indicating the degree of danger, and controls the traveling of the specific vehicle 20 based on the information. (S314).
  • the presentation unit 24 of the specific vehicle 20 outputs information indicating the classified non-recognized obstacle, information indicating the moving route, and information indicating the degree of danger.
  • the classification unit 45 classifies the first obstacle shown in the first information as a moving obstacle that moves or a stationary obstacle that remains at a predetermined position.
  • the path estimating unit 43 estimates the moving path of the classified non-recognized obstacle based on the first information, with the moving obstacle as the classified non-recognized obstacle.
  • the information processing system 400 can classify whether the first obstacle shown in the first information is a moving obstacle or a stopped obstacle.
  • the moving path of the classified non-recognized obstacle can be accurately estimated.
  • the risk of a non-recognized obstacle after classification can be more accurately determined based on the movement route. For this reason, the specific vehicle 20 can ensure safety and move smoothly by running according to the degree of danger.
  • FIG. 12 is a block diagram illustrating an information processing system 500 according to the fifth embodiment.
  • the information processing device 540 further includes a classification unit 545.
  • the classification unit 545 specifies the type of the first obstacle shown in the first information, and classifies the first obstacle according to the type. Specifically, the classification unit 545 classifies the first obstacle into a person, a car, a bicycle, a flying object, or the like, which is a type to which the moving obstacle belongs. Further, the classification unit 545 includes a fixed obstacle such as a ground such as a building or a tree, and an obstacle such as a stopped vehicle, which is the type to which the stopped obstacle among the first obstacles belongs. Classify into.
  • the first determination unit 41 determines, based on the type of the first obstacle classified by the classification unit 545, one or more first obstacles among the plurality of obstacles indicated in the first information and the specific vehicle 20 If there is an obstacle other than the one or more first obstacles in the first information or the obstacle shown in the map information, the one or more first obstacles are determined to be non-recognized obstacles.
  • the first determination unit 41 determines whether the first obstacle is a non-recognized obstacle based on the type of the classified first obstacle.
  • classification unit 545 of the present embodiment may be included in the information processing systems of Embodiments 2 to 4 described above.
  • FIG. 13 is a sequence diagram illustrating an operation of the information processing system 500 according to the fifth embodiment.
  • the monitoring camera 30 captures an image of the specific vehicle 20 and a plurality of obstacles existing around the specific vehicle 20, and generates first information (S11).
  • the monitoring camera 30 transmits the first information to the information processing device 540.
  • the in-vehicle camera 21 of the specific vehicle 20 captures an image around the specific vehicle 20 (S12).
  • the specific vehicle 20 transmits the second information and the vehicle information to the information processing device 540.
  • the classifying unit 545 specifies the types of the first obstacles indicated in the first information based on the first information, the map information, and the like, and classifies the first obstacle into each type (S513a).
  • the first determination unit 41 determines that a non-recognized obstacle exists (Yes in S13).
  • the first determination unit 41 determines that there is no unrecognized obstacle (No in S13).
  • the first determination unit 41 determines whether the obstacle between the specific vehicle 20 and the first obstacle is a non-recognized obstacle. Can be determined.
  • the first determination unit 41 returns the process to step S513a.
  • the first determination unit 41 transmits information indicating a non-recognized obstacle to the specific vehicle 20 in the case of Yes in step S13.
  • the moving body control unit 23 of the specific vehicle 20 controls the traveling of the specific vehicle 20 based on the information indicated by the non-recognized obstacle (S514).
  • the information processing system 500 further includes a classification unit 545 that classifies the first obstacle according to the type of the first obstacle among the plurality of obstacles.
  • the first determination unit 41 is located between one or more first obstacles of the plurality of obstacles indicated in the first information and the specific vehicle 20 except for the one or more first obstacles of the first information. In the case where there is an obstacle or an obstacle indicated by the map information, one or more first obstacles are determined to be non-recognized obstacles based on the type of the first obstacle classified by the classification unit 545.
  • the first determination unit 41 determines whether there is an unrecognized obstacle according to the type classified by the classification unit 545. Therefore, it is possible to easily determine the presence of the non-recognized obstacle.
  • the first determination unit and the second determination unit are provided in the information processing device, but at least one of the first determination unit and the second determination unit is provided in the specific vehicle. It may be provided.
  • the first determination unit is provided in the information processing device and the second determination unit is provided in the specific vehicle, it is not necessary to manage the planned traveling route of the specific vehicle by the information processing device, and the processing load of the information processing device is reduced.
  • the increase can be suppressed.
  • the first determination unit and the second determination unit are provided in the specific vehicle, it is not necessary for the information processing device to determine whether an unrecognized obstacle is present, and the processing load on the information processing device is further suppressed. can do. This eliminates the need for the specific vehicle to transmit the second information to the information processing device, so that it is possible to further suppress an increase in the amount of communication between the specific vehicle and the information processing device.
  • the moving body control unit is provided in the specific vehicle, it may be provided in the information processing device. This allows the information processing device to control the specific vehicle, which is useful when there are a plurality of specific vehicles.
  • the specific vehicle and a plurality of first obstacles around the specific vehicle may be imaged using an in-vehicle camera of a vehicle other than the specific vehicle instead of the monitoring camera 30.
  • the first determination unit, the second determination unit, and the vehicle control unit may be provided in the specific vehicle.
  • the information processing device is mounted on the specific vehicle, and there is no need to perform wireless communication between the specific vehicle and the information processing device.
  • the first determination unit, the second determination unit, and the vehicle control unit may be selectively provided in the specific vehicle or the information processing device.
  • the actual movement route of the unrecognized obstacle may be stored as a history in a storage device or the like.
  • a storage device for example, an information processing device or an information processing system may include such a storage device.
  • the path estimating unit determines the movement path of the unrecognized obstacle from the history of the actual movement path of the unrecognized obstacle, and the moving speed, moving direction, position, and size of the unrecognized obstacle. It may be estimated.
  • the route estimation unit may estimate a pedestrian's travel route. In this way, the specific vehicle can travel smoothly by the route estimation unit performing the estimation.
  • the information processing system 600 according to each of Embodiments 1 to 5 further includes a danger notification unit 660 as shown in FIG.
  • FIG. 14 is a schematic diagram illustrating an information processing system 600 according to a modification.
  • the danger notification unit 660 notifies at least one of notifying the non-recognized obstacle that the specific vehicle 20 is approaching and notifying the specific vehicle 20 that the non-recognizable obstacle is approaching. I do.
  • the danger notification unit 660 is a non-recognized obstacle or a speaker or a lighting device installed around the specific vehicle 20.
  • the information processing device 40 may transmit a command to the danger notification unit 660 to notify that the specific vehicle 20 is approaching the unrecognized obstacle.
  • the information processing device 40 may transmit a command to the danger notification unit 660, and the danger notification unit 660 may notify the specific vehicle 20 that an unrecognized obstacle is approaching.
  • a program using a computer may be used.
  • the program that implements the information processing system and the information processing method according to each of the first to fifth embodiments is typically implemented as an LSI that is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include some or all of them.
  • the integration into a circuit is not limited to an LSI, but may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the division of functional blocks in the block diagram is merely an example, and a plurality of functional blocks can be implemented as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. You may. Also, the functions of a plurality of functional blocks having similar functions may be processed by a single piece of hardware or software in parallel or time division.
  • the present disclosure can be used for a system or the like that improves the safety of a system that supports driving of a moving body.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報処理システム(1)は、特定車両(20)の周囲に存在する複数の障害物を検知する監視カメラ(30)と、監視カメラ(30)が検知した複数の障害物に関する第1情報と、特定車両(20)を示す車両情報とに基づいて、特定車両(20)から視て、特定車両(20)から視認することができない非認識障害物が存在するかどうかを判定する第1判定部(41)と、非認識障害物が存在する場合、非認識障害物を示す情報を特定車両(20)に出力する第1通信部(42)とを備える。

Description

情報処理システム及び情報処理方法
 本開示は、情報処理システム及び情報処理方法に関する。
 特許文献1では、車両が走行する走行路中の危険エリアを撮影し、危険エリアの画像データを生成可能に配置された撮影手段と、警告信号に基づく警告を発する通知手段とを備える車両の運転支援システムが開示されている。
特開2006-298041号公報
 ところで、移動体の移動経路中の危険エリアを撮影する従来の運転支援システムでは、障害物に隠れた、人、車両等の他の障害物を、移動体から認識することは困難である。このため、移動体から視て障害物に作られた死角が存在する場合、安全性の観点から移動体が障害物の傍を徐行する又は停止するといった動作を行わなければならず、移動体の正常な走行に支障が生じる。
 そこで、本開示は、移動体の進行方向に障害物に作られた死角が存在していても、移動体が適切に移動することができる情報処理システム及び情報処理方法を提供することを目的とする。
 本開示の一態様に係る情報処理システムは、移動体の周囲に存在する複数の障害物を検知する検知部と、前記検知部が検知した前記複数の障害物に関する第1情報と、前記移動体を示す移動体情報とに基づいて、前記移動体から視認することができない前記複数の障害物のうちの障害物である非認識障害物が存在するかどうかを判定する第1判定部と、前記非認識障害物が存在すると前記第1判定部が判定した場合、前記非認識障害物を示す情報を前記移動体に出力する出力部とを備える。
 また、本開示の一態様に係る情報処理方法は、移動体の周囲に存在する複数の障害物を検知することと、検知した前記複数の障害物に関する第1情報と、前記移動体を示す移動体情報とに基づいて、前記移動体から視認することができない前記複数の障害物のうちの障害物である非認識障害物が存在するかどうかを判定することと、前記非認識障害物が存在すると当該判定した場合、前記非認識障害物を示す情報を前記移動体に出力することとを含む。
 本開示の情報処理システム及び情報処理方法では、移動体の進行方向に障害物に作られた死角が存在していても、移動体が適切に移動することができる。
図1は、実施の形態1に係り、情報処理システムを例示した模式図である。 図2は、実施の形態1に係り、情報処理システムを例示したブロック図である。 図3は、実施の形態1に係り、情報処理システムにおける特定車両と非認識障害物との関係を例示した概略説明図である。 図4は、実施の形態1に係り、情報処理システムの動作を例示したシーケンス図である。 図5は、実施の形態2に係り、情報処理システムを例示したブロック図である。 図6は、実施の形態2に係り、情報処理システムの動作を例示したシーケンス図である。 図7は、実施の形態3に係り、情報処理システムを例示したブロック図である。 図8は、実施の形態3に係り、情報処理システムの動作を例示したシーケンス図である。 図9は、実施の形態3に係り、非認識障害物の危険度を判定する動作を例示したフロー図である。 図10は、実施の形態4に係り、情報処理システムを例示したブロック図である。 図11は、実施の形態4に係り、情報処理システムの動作を例示したシーケンス図である。 図12は、実施の形態5に係り、情報処理システムを例示したブロック図である。 図13は、実施の形態5に係り、情報処理システムの動作を例示したシーケンス図である。 図14は、変形例に係り、情報処理システムを例示した模式図である。
 本開示の一態様に係る情報処理システムは、移動体の周囲に存在する複数の障害物を検知する検知部と、前記検知部が検知した前記複数の障害物に関する第1情報と、前記移動体を示す移動体情報とに基づいて、前記移動体から視認することができない前記複数の障害物のうちの障害物である非認識障害物が存在するかどうかを判定する第1判定部と、前記非認識障害物が存在すると前記第1判定部が判定した場合、前記非認識障害物を示す情報を前記移動体に出力する出力部とを備える。
 このように、移動体は、当該移動体から視て、障害物に隠れた障害物のうち当該移動体から視認することができない非認識障害物を示す情報を取得することができる。このため、移動体は、非認識障害物を示す情報に基づいた動作を行うことができる。
 したがって、移動体の進行方向に障害物に作られた死角が存在していても、移動体が適切に移動することができる。その結果、情報処理システムは、移動体が移動する際の安全性を向上させることができる。
 例えば、検知部が検知した障害物の全ての情報が移動体に送信される場合では、検知部と移動体との間での通信量が増大する。しかしながら、この情報処理システムでは、第1判定部が非認識障害物を判定し、非認識障害物を示す情報を移動体に送信するため、検知部が検知した障害物の全ての情報を移動体に送信する場合に比べて、通信量を低減することができる。
 また、本開示の一態様に係る情報処理方法は、移動体の周囲に存在する複数の障害物を検知することと、検知した前記複数の障害物に関する第1情報と、前記移動体を示す移動体情報とに基づいて、前記移動体から視認することができない前記複数の障害物のうちの障害物である非認識障害物が存在するかどうかを判定することと、前記非認識障害物が存在すると当該判定した場合、前記非認識障害物を示す情報を前記移動体に出力することとを含む。
 この方法においても、上述の作用効果と同一の作用効果を奏する。
 また、本開示の一態様に係る情報処理システムにおいて、前記第1判定部は、前記移動体情報と前記第1情報と前記移動体の周囲の地図情報とに基づいて、前記第1情報に示される前記複数の障害物のうちの1以上の第1の障害物と前記移動体との間に、前記第1情報の前記1以上の第1の障害物以外の障害物又は前記地図情報に示される障害物が存在する場合、前記1以上の第1の障害物を前記非認識障害物と判定する。
 このように、第1判定部は、検知部が検知した第1情報と地図情報とから、非認識障害物の存在を容易に判定することができる。
 また、本開示の一態様に係る情報処理システムは、さらに、前記複数の障害物のうちの第1の障害物の種類に応じて、前記第1の障害物を分類する分類部を備え、前記第1判定部は、前記第1情報に示される前記複数の障害物のうちの前記1以上の第1の障害物と前記移動体との間に、前記第1情報の前記1以上の第1の障害物以外の障害物又は前記移動体の周囲の地図情報に示される障害物が存在する場合、前記分類部が分類した前記第1の障害物の種類に基づいて、前記1以上の第1の障害物を前記非認識障害物と判定する。
 このように、第1判定部は、分類部が分類した種類に応じて非認識障害物が存在するかどうかを判定する。このため、非認識障害物の存在を容易に判定することができる。
 また、本開示の一態様に係る情報処理システムにおいて、前記移動体は、当該移動体から視認できる1以上の第2の障害物を検知し、検知した前記1以上の第2の障害物に関する第2情報を当該情報処理システムに送信し、前記第1判定部は、さらに、受信した前記第2情報に示される前記第2の障害物が前記第1情報に示される前記複数の障害物のうちの1以上の第1の障害物と同一と判定した場合に、同一と判定した当該第1の障害物を前記非認識障害物と判定しない。
 このように、当該移動体から視認することができる第2の障害物を非認識障害物としないため、第2の障害物から第1の障害物が除外された、除外後の残りの第2の障害物を示す情報が非認識障害物を示す情報となる。このため、移動体は、より精度よく判定された非認識障害物を示す情報を取得することができる。このため、移動体は、非認識障害物を示す情報に基づいてよりスムーズな移動を行うことができる。
 また、非認識障害物を示す情報は第2の障害物を非認識障害物としないため、検知部と移動体との間での通信量をより低減することができる。
 また、本開示の一態様に係る情報処理システムは、さらに、前記非認識障害物を示す情報に基づいて前記移動体の移動を制御する移動体制御部を備える。
 このように、移動体は、非認識障害物を示す情報に基づいて移動体制御部に制御されるため、徐行又は停止、若しくは、非認識障害物の回避行動といった動作を行うことができる。
 また、本開示の一態様に係る情報処理システムにおいて、前記第1情報は、前記検知部が検知した前記複数の障害物のうちの一部の障害物の移動速度、移動方向、及び、位置の少なくともいずれか1つを含む。
 このように、第1判定部は、第1情報により非認識障害物が存在するかどうかをより精度よく判定し易くなる。
 また、本開示の一態様に係る情報処理システムにおいて、当該情報処理システムは、さらに、前記第1情報に基づいて、前記非認識障害物の移動経路を推定する経路推定部を備え、前記移動体制御部は、前記移動経路に基づいて前記移動体の移動を制御する。
 このように、情報処理システムでは、非認識障害物の移動経路を精度よく推定することができる。その結果、移動体が移動する際の安全性をより向上させることができる。
 また、本開示の一態様に係る情報処理システムは、さらに、前記経路推定部が推定した前記非認識障害物の移動経路又は前記第1情報に基づいて前記非認識障害物の危険度を判定する第2判定部を備え、前記移動体制御部は、前記第2判定部が判定した危険度を示す情報に基づいて前記移動体の移動を制御する。
 このように、情報処理システムでは、非認識障害物の危険度を精度よく推定することができる。
 また、本開示の一態様に係る情報処理システムにおいて、前記移動体情報は、前記移動体の移動速度、位置、及び、移動予定の経路の少なくともいずれか1つを含み、前記第2判定部は、前記第1情報と前記移動体情報とに基づいて、前記移動体と前記非認識障害物とが接触するかどうかを示す判定結果から危険度を判定する。
 このように、移動体は、移動体と非認識障害物とが接触するかどうかの判定結果である危険度を取得するため、危険度に基づいて安全に走行することができる。
 また、本開示の一態様に係る情報処理システムにおいて、前記第2判定部は、前記移動体から前記非認識障害物までの距離が第1規定距離以上であり、かつ、前記移動体と前記非認識障害物とが接触しない場合、第1危険度と判定し、前記移動体から前記非認識障害物までの距離が第1規定距離未満であり、かつ、前記移動体と前記非認識障害物とが接触しない場合、前記第1危険度よりも高い第2危険度と判定し、前記移動体から前記非認識障害物までの距離が第1規定距離以上であり、かつ、前記移動体と前記非認識障害物とが接触する可能性がある場合、前記第2危険度よりも高い第3危険度と判定し、前記移動体から前記非認識障害物までの距離が第1規定距離未満であり、かつ、前記移動体と前記非認識障害物とが接触する可能性がある場合、前記第3危険度よりも高い第4危険度と判定する。
 このように、情報処理システムでは、移動体と非認識障害物との状態によって、非認識障害物の危険度を段階的に判定することができる。このため、非認識障害物の危険度を精度よく推定することで、移動体は、危険度に応じた走行を行える。このため、移動体は、安全性を確保することができる。
 また、本開示の一態様に係る情報処理システムは、さらに、前記複数の障害物のうちの第1の障害物を、移動する移動障害物か、所定位置に留まっている停止障害物かに分類する分類部を備え、前記経路推定部は、前記第1情報に基づいて、前記移動障害物を分類後の非認識障害物として、前記分類後の非認識障害物の移動経路を推定する。
 このように、情報処理システムでは、第1情報に示す第1の障害物が移動障害物か停止障害物かを分類することができる。分類後の非認識障害物の移動経路を精度よく推定することができる。また、移動経路によって、分類後の非認識障害物の危険度をより正確に判定することもできる。このため、移動体は、危険度に応じた走行を行うことで、安全性の確保と、スムーズな移動とを行うことができる。
 また、本開示の一態様に係る情報処理システムは、さらに、前記移動体が近づいていることを前記非認識障害物に対して通知、及び、前記非認識障害物が近づいていることを通知することを前記移動体に対して通知することの少なくともいずれか一方を行う危険通知部を備える。
 このように、非認識障害物及び移動車両は衝突を回避したりすることができるため、非認識障害物及び移動車両の安全性が向上する。
 以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
 以下、本開示の実施の形態に係る情報処理システム及び情報処理方法について説明する。
 (実施の形態1)
 [構成]
 [情報処理システム]
 情報処理システム1は、移動体の移動経路において、障害物に作られた死角に存在する他の障害物の移動速度、移動方向、位置、及び、大きさ等といった移動体の状態を示す情報を移動体に送信し、他の障害物の状態を移動体に認識させるシステムである。移動体は、車両、ロボット掃除機、無人飛行体等である。本実施の形態では、移動体の一例として車両を用いて説明する。
 図1は、実施の形態1に係り、情報処理システム1を例示した模式図である。図2は、実施の形態1に係り、情報処理システム1を例示したブロック図である。
 図1及び図2に示すように、情報処理システム1は、複数の監視カメラ30と、特定車両20と、情報処理装置40とを備える。
 [監視カメラ]
 本実施の形態では、各々の監視カメラ30は、例えば駐車施設全域、公道等を撮像することができるように分散して配置されている。各々の監視カメラ30は、駐車施設内の車両を含む移動体、その他の障害物を全て撮影(広角撮影)し、追跡乃至監視する。ここで、障害物は、人、車両等の移動している障害物(以下、移動障害物と呼ぶことがある。)、構造物、樹木等の地面等の定着している障害物又は所定位置に留まる障害物(以下、停止障害物と呼ぶことがある。)を含む。
 本実施の形態では検知部の一例として、監視カメラ30(インフラカメラ)を用いているが、検知部は、衛星カメラ、空撮カメラ、他の車両に搭載される車載カメラ21等であってもよい。また、監視カメラ30は、TOF(Time of Flight)カメラ、人感センサ等であってもよい。
 監視カメラ30は、車両及び車両の周囲に存在する複数の第1の障害物を撮像(検知)する。監視カメラ30は、撮像した画像に基づいて、画像に含まれる第1の障害物、並びに、第1の障害物の移動速度、移動方向、位置、及び、大きさ等を示す第1情報を生成する。ここで、第1の障害物は、監視カメラ30が撮像した障害物であり、例えば、人、車両、飛行物体、構造物等であり、上述の障害物と同様である。ここで、第1情報は、障害物の移動速度、移動方向、及び、位置の少なくともいずれか1つを含んでいてもよい。また、第1情報は、1以上の第1の障害物を示す情報である。
 また、監視カメラ30は、撮像した画像に含まれる複数の第1の障害物以外の、監視対象とする車両(特定車両20と呼ぶことがある。)を撮像する。なお、本実施の形態では、1台の特定車両20を例示しているが、1つの監視カメラ30が複数台の特定車両20の各々を示す車両情報(後述する)を生成してもよい。
 監視カメラ30は、情報処理装置40と通信可能に接続されている。監視カメラ30は、第1情報を情報処理装置40に送信する。
 [特定車両]
 特定車両20は、監視カメラ30が監視対象とする車両である。特定車両20は、手動運転又は自動運転を行うことができる車両である。特定車両20は、情報処理装置40と通信可能に接続される。
 図2に示すように、特定車両20は、車載カメラ21と、第2通信部22と、移動体制御部23と、提示部24とを有する。
 車載カメラ21は、特定車両20の周囲に存在する第2の障害物を検知(撮像)する。ここで、第2の障害物は、車載カメラ21が撮像した障害物であり、例えば、人、車両、構造物等であり、上述の障害物と同様である。本実施の形態では、車載カメラ21は、特定車両20の進行方向を撮像する。車載カメラ21は、撮像した画像に基づいて、画像に含まれる第2の障害物、並びに、第2の障害物の移動速度、移動方向、位置、及び、大きさ等を示す第2情報を生成する。車載カメラ21は、第2通信部22を介して第2情報を情報処理装置40に送信する。ここで、第2情報は、1以上の第2の障害物を示す情報である。車載カメラ21は、検知部の一例である。
 第2通信部22は、アンテナ等の無線モジュールであり、情報処理装置40と通信することができる。第2通信部22は、車載カメラ21が撮像した画像を示す情報及び車両情報を送信したり、後述する非認識障害物に示される情報を情報処理装置40から受信したりする。
 ここで車両情報は、監視カメラ30が撮像する1以上の車両のうち、監視対象とする車両を特定する情報であり、特定車両20の移動速度、位置、特定車両20が走行する予定の経路(以下、予定走行経路と呼ぶことがある。)等を含む。監視対象とする特定車両20は、例えば、走行中の車両、及び、走行しようとする車両である。車両情報は、移動体情報の一例である。
 移動体制御部23は、第2通信部22を介して非認識障害物に示される情報を取得すると、車載カメラ21が撮像した画像を示す情報、非認識障害物に示される情報等に基づいて特定車両20の走行を制御する。移動体制御部23は、図示しない経路設定部で生成された特定車両20の予定走行経路に沿って特定車両20を走行させる。例えば、移動体制御部23は、ECU(Engine Control Unit)、ステアリングアクチュエータ等に特定車両20の走行を制御させるコマンドを送信する。また、非認識障害物に示される情報に基づいて特定車両20が危険と判定された場合、移動体制御部23は、特定車両20のヘッドライト、クラクション等を制御させるコマンドを送信し、非認識障害物に対して光及び音によって知らせる。
 ここで予定走行経路は、特定車両20が走行を予定している現在地から目的地までの経路であり、例えばユーザーが入力した目的地によって決定される経路である。なお、外部装置から予定走行経路を示す情報を取得してもよい。なお、経路設定部は、特定車両20に備えられてもよく、情報処理装置40に備えられていてもよく、特定車両20及び情報処理装置40とは別の装置であってもよい。
 提示部24は、カーナビゲーション、スピーカー等であり、非認識障害物を示す情報を出力する。例えば、提示部24は、非認識障害物の移動速度、移動方向、位置、及び、大きさ等を提示してもよい、つまり、特定車両20に乗車している搭乗者にこれらの情報を知らせてもよい。
 [情報処理装置]
 図2及び図3に示すように、情報処理装置40は、特定車両20に対して特定車両20から視認することができない非認識障害物を示す情報を送信する装置である。情報処理装置40は、例えば、パーソナルコンピュータ等のサーバ装置である。ここで非認識障害物は、特定車両20から視認することができない障害物であり、監視カメラ30が撮像した障害物と車載カメラ21が撮像した障害物とが同一の障害物が除外された残りの障害物である。非認識障害物は、例えば、人、車両等といった移動障害物である。
 情報処理装置40は、第1判定部41と、第1通信部42とを有する。
 第1判定部41は、取得した第1情報と車両情報と特定車両20の周囲の地図情報とに基づいて、特定車両20から視て、障害物に隠れた障害物のうち特定車両20から視認することができない複数の障害物のうちの障害物である非認識障害物が存在するかどうかを判定する。図3は、実施の形態1に係り、情報処理システム1における特定車両20と非認識障害物との関係を例示した概略説明図である。なお、非認識障害物は、特定車両20から視認することができないだけでなく、視認し難い、つまり視認できない場合をも含む。
 一例を挙げて説明すると、第1判定部41は、第1情報と車両情報とに基づいて、特定車両20の近くに存在する障害物のうち、第1の障害物を抽出する。第1判定部41は、第1の障害物と特定車両20との間に、第1情報の1以上の第1の障害物以外の障害物又は地図情報に示される障害物(以下、第1情報又は地図情報に示される他の障害物という。)が存在するかどうかを判定する。第1の障害物と特定車両20との間に、第1情報又は地図情報に示される他の障害物が存在する場合、他の障害物は、非認識障害物の候補となり得る。第1の障害物は、例えば、移動障害物と、停止障害物とに大別される。
 ここで、地図情報は、特定車両20の周囲の地図を示し、例えば、駐車施設等の構内の構造(フロアマップ)なども含む。
 次に、第1判定部41は、特定車両20から受信した第2情報に示される第2の障害物が第1の障害物と同一と判定した場合に、第2の障害物を非認識障害物と判定しない。第1の障害物は特定車両20から視認することができる可能性があるため、特定車両20から視認可能な障害物(第2の障害物)は第1の障害物から除外し、除外後の残りの第1の障害物を非認識障害物と判定すべきである。このため、第1判定部41は、第2情報に示される第2の障害物と同一の障害物(例えば、同一位置又は同一位置と見なせる障害物)となる第1情報に示される複数の障害物のうちの1以上の第1の障害物を、非認識障害物と判定しない。こうして、第1判定部41は、障害物に隠れた障害物を非認識障害物と判定する。なお、非認識障害物は、移動障害物又は停止障害物であるが、移動障害物に限ってもよい。
 ここで第2の障害物が第1の障害物と同一と判定とは、第2の障害物と第1の障害物とが完全に同一である場合だけでなく、実質的に同一と見なせるものも含む。
 なお、第1判定部41は、さらに、第1情報又は地図情報に示される障害物の大きさ及び高さ、地図情報に示される地面の起伏状態等を考慮し、特定車両20から視認することができない非認識障害物が存在するかどうかを判定してもよい。
 ここで地図情報は、情報処理装置40が有する記録媒体に予め格納されていてもよく、ネットワークを介して他のサーバ装置等から取得してもよい。
 図1及び図2に示すように、第1判定部41は、非認識障害物が存在することを判定した場合、第1通信部42を介して、非認識障害物を示す情報を特定車両20に送信する。ここで非認識障害物に示される情報には、非認識障害物の移動速度、移動方向、位置、及び、大きさ等が含まれる。
 第1通信部42は、アンテナ等の通信モジュールであり、監視カメラ30及び特定車両20と通信することができる。第1通信部42は、監視カメラ30から、第1情報を受信し、第1判定部41に出力する。また、第1通信部42は、非認識障害物に示される情報を特定車両20に送信する。第1通信部42は、出力部の一例である。なお、出力部は、通信インターフェイスでもよく、アンテナ等の通信モジュールであってもよい。
 [動作]
 次に、情報処理システム1及び情報処理方法の動作について説明する。
 図4は、実施の形態1に係り、情報処理システム1の動作を例示したシーケンス図である。
 図4に示すように、まず、監視カメラ30は、特定車両20及び特定車両20の周囲に存在する複数の障害物を撮像する。また、監視カメラ30は、撮像した画像に基づいて、画像に含まれる第1の障害物の抽出、並びに、第1の障害物の移動速度、移動方向、位置、及び、大きさ等を検知した第1情報を生成する(S11)。監視カメラ30は、第1情報を情報処理装置40に送信する。
 また、特定車両20の車載カメラ21は、特定車両20の周囲、主に特定車両20の進行方向を撮像する(S12)。車載カメラ21は、撮像した画像に基づいて、画像に含まれる第2の障害物の抽出、並びに、第2の障害物の移動速度、移動方向、位置、及び、大きさ等を示す第2情報を生成する。特定車両20は、第2通信部22を介して第2情報及び車両情報を情報処理装置40に送信する。
 情報処理装置40は、第1情報と車両情報と地図情報とに基づいて、特定車両20から視て、障害物に隠れた障害物のうち特定車両20から視認することができない非認識障害物が存在するかどうかを判定する(S13)。具体的には、情報処理装置40の第1判定部41は、第1情報及び車両情報に基づいて、特定車両20の近くに存在する障害物のうち、移動障害物(第1の障害物の一例)を特定する。第1判定部41は、1以上の移動障害物と特定車両20との間に、第1情報又は地図情報に示される他の障害物が存在するかどうかを判定する。1以上の移動障害物と特定車両20との間に、第1情報又は地図情報に示される他の障害物が存在する場合、第1判定部41は、さらに、特定車両20から受信した第2情報に示される第2の障害物が移動障害物と同一かどうかを判定する。第1判定部41は、第2情報に示される第2の障害物が移動障害物と同一と判定した場合に、当該第2の障害物を非認識障害物と判定しない。言い換えれば、第1判定部41は、第2情報に示される第2の障害物と同一の障害物となる第1情報に示される1以上の移動障害物を、非認識障害物と判定しない。こうして、第1判定部41は、第1の障害物から第2の障害物が除外された、除外後の残りの第1の障害物(移動障害物)を非認識障害物とし、非認識障害物が存在すると判定する(S13でYes)。第1判定部41は、ステップS13でYesの場合、非認識障害物を示す情報を特定車両20に送信する。
 一方、移動障害物と特定車両20との間に、第1情報及び地図情報に示される他の障害物が存在しない場合(S13でNo)、特定車両20から移動障害物を視認することができる状態、すなわち非認識障害物が存在しない状態である。このため、ステップS13でNoの場合、第1判定部41は、ステップS13に戻り、別の第1情報及び車両情報を受信するまで待機する。
 特定車両20の移動体制御部23は、非認識障害物を示す情報を取得すると、非認識障害物に示される情報に基づいて特定車両20の走行を制御する(S14)。具体的には、移動体制御部23は、非認識障害物の移動速度、移動方向、位置、及び、大きさに基づいて、特定車両20のステアリングアクチュエータ、ブレーキ、アクセル、ヘッドライト、クラクション等を制御する。
 例えば、特定車両20と非認識障害物とが接触する可能性があると判定(特定車両20が危険と判定)された場合、つまり非認識障害物の移動方向及び移動速度と特定車両20の車両情報とから、特定車両20と非認識障害物とが接触すると判定された場合、移動体制御部23は、特定車両20のブレーキ及びアクセルを制御し、特定車両20を停止又は徐行させる。なお、特定車両20と非認識障害物とが接触するかどうかは、非認識障害物の移動方向及び移動速度と特定車両20の車両情報によって導き出される。
 また、非認識障害物に示される情報に基づいて特定車両20と非認識障害物とが近接又は接触する可能性があると判定(特定車両20が危険と判定)された場合、移動体制御部23は、特定車両20のヘッドライト、クラクション等を制御し、非認識障害物に対して光及び音によって知らせる。また、移動体制御部23は、特定車両20の予定走行経路を変更させて、予定走行経路に沿ってステアリングアクチュエータ、ブレーキ及びアクセルを制御してもよい。
 [作用効果]
 次に、本実施の形態における情報処理システム1及び情報処理方法の作用効果について説明する。
 このように、情報処理システム1及び情報処理方法では、第1判定部41は、監視カメラ30が検知した複数の障害物に関する第1情報と特定車両20の周囲の地図情報とに基づいて、特定車両20から視て、複数の障害物のうち障害物に隠れた障害物のうち特定車両20から視認することができない非認識障害物が存在するかどうかを判定する。第1通信部42は、非認識障害物が存在すると第1判定部41が判定した場合、非認識障害物を示す情報を特定車両20に出力する。このため、特定車両20は、当該特定車両20から視て、障害物に隠れた障害物のうち当該特定車両20から視認することができない非認識障害物を示す情報を取得することができる。このため、特定車両20は、非認識障害物を示す情報に基づいた動作を行うことができる。
 したがって、特定車両20の進行方向に障害物に作られた死角が存在していても、特定車両20が適切に移動することができる。その結果、情報処理システム1は、特定車両20が移動する際の安全性を向上させることができる。
 例えば、監視カメラ30が検知した複数の障害物の全ての情報が特定車両20に送信される場合では、監視カメラ30と特定車両20との間での通信量が増大する。しかしながら、この情報処理システム1では、第1判定部41が非認識障害物を判定し、非認識障害物を示す情報を特定車両20に送信するため、監視カメラ30が検知した障害物の全ての情報を特定車両20に送信する場合に比べて、通信量を低減することができる。
 (実施の形態2)
 [構成]
 本実施の形態における他の構成は、特に明記しない場合は、実施の形態1と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
 図5は、実施の形態2に係り、情報処理システム200を例示したブロック図である。
 図5に示すように、情報処理装置240は、さらに経路推定部43を備える。
 経路推定部43は、第1情報に基づいて、非認識障害物の移動経路を推定する。具体的には、経路推定部43は、第1通信部42を介して、第1情報を監視カメラ30から取得する。第1情報に示される第1の障害物の移動速度、移動方向、位置、及び、大きさ等から、経路推定部43は、非認識障害物の移動経路を推定する。
 例えば、道路を走行する非認識障害物が存在する場合において、この非認識障害物が右折車線を走行しているとき、経路推定部43は、非認識障害物が右折すると予測してもよい。別の例を挙げると、経路推定部43は、特定車両20と非認識障害物との間にガードレールが存在する場合、非認識障害物がガードレールを超えて特定車両20に接近する可能性が低いという予測の元に非認識障害物の移動経路を推定してもよい。
 経路推定部43は、推定した非認識障害物の移動経路を示す情報を、第1通信部42を介して特定車両20に送信する。提示部24は、非認識障害物の移動経路を示す情報、非認識障害物を示す情報を出力する。
 特定車両20の移動体制御部23は、非認識障害物の移動経路を示す情報を取得すると、特定車両20の走行を制御する。具体的には、非認識障害物の移動経路を示す情報と特定車両20の車両情報とから、特定車両20と非認識障害物とが接触する可能性があると判定された場合、移動体制御部23は、すなわち特定車両20と非認識障害物とが近接又は接触する可能性があると判定(特定車両20が危険と判定)した場合、特定車両20のブレーキ及びアクセルを制御し、特定車両20を停止又は徐行させる。
 [動作]
 次に、情報処理システム200及び情報処理方法の動作について説明する。
 図6は、実施の形態2に係り、情報処理システム200の動作を例示したシーケンス図である。
 本実施の形態における情報処理システム200及び情報処理方法の動作について、図4と同一の動作については、適宜説明を省略する。
 図6に示すように、まず、監視カメラ30は、特定車両20及び特定車両20の周囲に存在する複数の障害物を撮像し、第1情報を生成する(S11)。監視カメラ30は、第1情報を情報処理装置240に送信する。
 また、特定車両20の車載カメラ21は、特定車両20の周囲を撮像する(S12)。特定車両20は、第2情報及び車両情報を情報処理装置240に送信する。
 情報処理装置240は、第1情報と車両情報と地図情報とに基づいて、特定車両20から視て、障害物に隠れた障害物のうち特定車両20から視認することができない非認識障害物が存在するかどうかを判定する(S13)。ステップS13でYesの場合、第1判定部41は、非認識障害物を示す情報を特定車両20に送信しステップS213に進む。ステップS13でNoの場合、第1判定部41は、ステップS13に戻り、別の第1情報及び車両情報を受信するまで待機する。
 情報処理装置240の経路推定部43は、第1情報に基づいて、非認識障害物の移動経路を推定する。具体的には、経路推定部43は、第1情報に示される監視カメラ30が検知した障害物の移動速度、移動方向、位置、及び、大きさ等から、非認識障害物の移動経路を推定する(S213)。なお、非認識障害物の移動経路は、単に非認識障害物の進行方向であってもよい。経路推定部43は、推定した非認識障害物の移動経路を示す情報を、第1通信部42を介して特定車両20に送信する。
 特定車両20の移動体制御部23は、非認識障害物を示す情報及び移動経路を示す情報を取得し、これらの情報に基づいて特定車両20の走行を制御する(S214)。具体的には、移動体制御部23は、非認識障害物の移動速度、移動方向、位置、及び、大きさに基づいて、特定車両20のステアリングアクチュエータ、ブレーキ、アクセル、ヘッドライト、クラクション等を制御する。
 [作用効果]
 次に、本実施の形態における情報処理システム200及び情報処理方法の作用効果について説明する。
 このように、監視カメラ30が撮像した画像に含まれる第1の障害物の移動速度、移動方向、位置、及び、大きさを含む第1情報に基づいて、経路推定部43は、非認識障害物の移動経路を推定する。このため、情報処理システム200では、非認識障害物の移動経路を精度よく推定することができる。その結果、特定車両20が移動する際の安全性をより向上させることができる。
 本実施の形態における他の作用効果は実施の形態1、2の作用効果と同一の作用効果を奏する。
 (実施の形態3)
 [構成]
 本実施の形態における他の構成は、特に明記しない場合は、実施の形態1、2と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
 図7は、実施の形態3に係り、情報処理システム300を例示したブロック図である。
 図7に示すように、情報処理装置340は、さらに第2判定部44を備える。
 第2判定部44は、経路推定部43が推定した非認識障害物の移動経路又は第1情報に基づいて非認識障害物の危険度を判定する。具体的には、第2判定部44は、第1情報と車両情報とに基づいて、移動体と非認識障害物とが接触するかどうかを示す判定結果から危険度を判定する。経路推定部43は、第1情報に示される第1の障害物の移動速度、移動方向、位置、及び、大きさ等から第1の障害物の移動経路を推定する。第2判定部44は、経路推定部43が推定した移動経路と、車両情報に示される特定車両20の移動速度、位置、予定走行経路等から、移動体と非認識障害物とが接触するかどうかを判定する。第2判定部44は、移動体と非認識障害物とが接触するかどうかによって、危険度を段階的に判定する。
 より具体的には、第2判定部44は、特定車両20から非認識障害物までの距離が第1規定距離以上であり、かつ、特定車両20と非認識障害物とが接触しない場合、第1危険度と判定する。第1危険度は、危険度が低い場合を示している。例えば、特定車両20の近くに他の障害物が存在していても、この障害物を特定車両20から視認することができれば危険性は低い。また、特定車両20の遠くに非認識障害物が存在している場合も、危険度は低い。
 第2判定部44は、特定車両20から非認識障害物までの距離が第1規定距離未満であり、かつ、特定車両20と非認識障害物とが接触しない場合、第1危険度よりも高い第2危険度と判定する。第2危険度は、危険度が低い場合を示している。例えば、特定車両20の近くに非認識障害物が存在している場合であっても、特定車両20と非認識障害物とが接触する可能性が無いとき、危険度は低い。
 第2判定部44は、特定車両20から非認識障害物までの距離が第1規定距離以上であり、かつ、特定車両20と非認識障害物とが接触する可能性がある場合、第2危険度よりも高い第3危険度と判定する。第3危険度は、危険度が中程度の場合を示している。例えば、特定車両20の遠くに非認識障害物が存在している場合であっても、特定車両20と非認識障害物とが接触する可能性があるとき、危険度は中程度である。
 第2判定部44は、特定車両20から非認識障害物までの距離が第1規定距離未満であり、かつ、特定車両20と非認識障害物とが接触する可能性がある場合、第3危険度よりも高い第4危険度と判定する。第4危険度は、危険度が高い場合を示している。例えば、特定車両20の近くに非認識障害物が存在している場合であり、特定車両20と非認識障害物とが接触する可能性があるとき、危険度は高い。
 第1通信部42は、第2判定部44が判定した上記いずれかの危険度を示す情報を移動体制御部23に出力する。
 また、提示部24は、非認識障害物を示す情報、移動経路を示す情報及び危険度を示す情報を出力する。
 [動作]
 次に、情報処理システム300及び情報処理方法の動作について説明する。
 図8は、実施の形態3に係り、情報処理システム300の動作を例示したシーケンス図である。
 本実施の形態における情報処理システム300及び情報処理方法の動作について、図4と同一の動作については、適宜説明を省略する。
 図8に示すように、まず、監視カメラ30は、特定車両20及び特定車両20の周囲に存在する複数の障害物を撮像し、第1情報を生成する(S11)。監視カメラ30は、第1情報を情報処理装置340に送信する。
 また、特定車両20の車載カメラ21は、特定車両20の周囲を撮像する(S12)。特定車両20は、第2情報及び車両情報を情報処理装置340に送信する。
 情報処理装置340は、第1情報と車両情報と地図情報とに基づいて、特定車両20から視て、障害物に隠れた障害物のうち特定車両20から視認することができない非認識障害物が存在するかどうかを判定する(S13)。ステップS13でYesの場合、第1判定部41は、非認識障害物を示す情報を特定車両20に送信しステップS213に進む。ステップS13でNoの場合、第1判定部41は、ステップS13に戻り、別の第1情報及び車両情報を受信するまで待機する。
 情報処理装置340の経路推定部43は、第1情報に基づいて、非認識障害物の移動経路を推定する(S213)。経路推定部43は、推定した非認識障害物の移動経路を示す情報を特定車両20に送信する。
 情報処理装置340の第2判定部44は、経路推定部43が推定した非認識障害物の移動経路に基づいて非認識障害物の危険度を判定する(S313)。本実施の形態では、第2判定部44は、非認識障害物の危険度が、第1危険度から第4危険度のいずれであるかを判定する。第2判定部44は、判定した非認識障害物の危険度を示す情報を移動体制御部23に出力する。非認識障害物の危険度の判定については後述する。
 特定車両20の移動体制御部23は、非認識障害物を示す情報、移動経路を示す情報及び危険度を示す情報を取得し、これらの情報に基づいて特定車両20の走行を制御する(S314)。具体的には、移動体制御部23は、非認識障害物の移動速度、移動方向、位置、及び、大きさ、危険度を示す情報に基づいて、特定車両20のステアリングアクチュエータ、ブレーキ、アクセル、ヘッドライト、クラクション等を制御する。
 より具体的には、非認識障害物が第1危険度又は第2危険度のとき、移動体制御部23は、特定車両20のヘッドライト、クラクション等を制御することによって、非認識障害物に自身の存在を報知する。また、非認識障害物が第3危険度のとき、移動体制御部23は、特定車両20のブレーキ、アクセル等を制御して特定車両20を徐行させたり、ヘッドライト、クラクション等を制御することによって非認識障害物に報知したりする。また、非認識障害物が第4危険度のとき、移動体制御部23は、特定車両20のブレーキ、アクセル等を制御して特定車両20を徐行又は停止させたり、合わせて、ヘッドライト、クラクション等を制御することによって非認識障害物に報知したりする。
 また、いずれの危険度においても、移動体制御部23は、非認識障害物を避けるように特定車両20を迂回させるため、変更された予定走行経路に沿って特定車両20を走行させることもできる。
 次に、情報処理システム300及び情報処理方法の動作における非認識障害物の危険度の判定について説明する。
 図9は、実施の形態3に係り、非認識障害物の危険度を判定する動作を例示したフロー図である。
 図9に示すように、まず、第2判定部44は、特定車両20から非認識障害物までの距離が第1規定距離以上であるかどうかを判定する(S351)。
 第2判定部44は、特定車両20から非認識障害物までの距離が第1規定距離以上でない場合(S351でNo)、つまり特定車両20が非認識障害物に近い場合、特定車両20と非認識障害物とが接触するかどうかを判定する(S352)。
 第2判定部44は、特定車両20と非認識障害物とが接触しない場合(S352でNo)、つまり特定車両20が非認識障害物に近くても、特定車両20が予定走行経路通りに進んでも非認識障害物と接触しそうにないと推定される場合、非認識障害物の危険度を第2危険度と判定する(S353)。そして、第2判定部44は処理を終了する。
 非認識障害物が第2危険度の場合、特定車両20は、ヘッドライト、クラクション等を制御することによって自身の存在を非認識障害物に報知する。また、後述する危険通知部によって、特定車両20及び非認識障害物が互いに近づいていることを、特定車両20及び非認識障害物に通知してもよい。
 また、第2判定部44は、特定車両20から非認識障害物までの距離が第1規定距離以上である場合(S351でYes)、つまり特定車両20が非認識障害物から遠い場合、特定車両20と非認識障害物とが接触する可能性があるかどうかを判定する(S354)。
 第2判定部44は、特定車両20と非認識障害物とが接触しない場合(S354でNo)の場合、つまり特定車両20が非認識障害物から遠く、かつ、特定車両20が予定走行経路通りに進んでも非認識障害物と接触しそうにない場合、非認識障害物の危険度を第1危険度と判定する(S357)。そして、第2判定部44は、処理を終了する。
 非認識障害物が第1危険度の場合、特定車両20は、ヘッドライト、クラクション等を制御することによって自身の存在を非認識障害物に報知する。
 第2判定部44は、特定車両20と非認識障害物とが接触する可能性がある場合(S354でYes)の場合、つまり特定車両20が非認識障害物に近く、特定車両20が予定走行経路通りに進むと非認識障害物と接触する可能性があると推定される場合、非認識障害物の危険度を第3危険度と判定する(S355)。そして、第2判定部44は処理を終了する。
 非認識障害物が第3危険度の場合、移動体制御部23は、特定車両20のブレーキ、アクセル等を制御して特定車両20を徐行させたり、ヘッドライト、クラクション等を制御することによって自身の存在を非認識障害物に報知したりする。
 第2判定部44は、特定車両20と非認識障害物とが接触する可能性がある場合(S352でYes)、つまり特定車両20が非認識障害物から近く、かつ特定車両20が予定走行経路通りに進むと非認識障害物と接触する可能性があると推定される場合、非認識障害物の危険度を第4危険度と判定する(S356)。そして、第2判定部44は処理を終了する。
 非認識障害物が第4危険度の場合、移動体制御部23は、特定車両20のブレーキ、アクセル等を制御して特定車両20を徐行又は停止させたり、合わせて、ヘッドライト、クラクション等を制御することによって自身の存在を非認識障害物に報知したりする。
 [作用効果]
 次に、本実施の形態における情報処理システム300及び情報処理方法の作用効果について説明する。
 このように、第2判定部44は、経路推定部43が推定した非認識障害物の移動経路に基づいて非認識障害物の危険度を判定する。第1通信部42は、第2判定部44が判定した危険度を示す情報を移動体制御部23に出力する。
 これにより、情報処理システム300では、非認識障害物の危険度を精度よく推定することができる。また、情報処理システム300では、特定車両20と非認識障害物との状態によって、非認識障害物の危険度を段階的に判定することができる。このため、非認識障害物の危険度を精度よく推定することで、特定車両20は、危険度に応じた走行を行える。このため、特定車両20は、安全性を確保することができる。
 本実施の形態における他の作用効果は実施の形態1~3の作用効果と同一の作用効果を奏する。
 (実施の形態4)
 [構成]
 本実施の形態における他の構成は、特に明記しない場合は、実施の形態1~3と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
 図10は、実施の形態4に係り、情報処理システム400を例示したブロック図である。
 図10に示すように、情報処理装置440は、さらに分類部45を備える。
 分類部45は、第1情報に示す第1の障害物を、移動障害物か、停止障害物かに分類する。具体的には、分類部45は、第1の障害物が、人、車両、飛行物体等の移動障害物か、又は、停車している車両等の停止障害物かに分類する。分類部45は、監視カメラ30、車載カメラ21等が撮像した画像を示す情報、地図情報等から分類する。なお、分類部45は、移動障害物について、人、車両等のように、種類ごとにさらに詳細に分類してもよい。
 経路推定部43は、分類された移動障害物を分類後の非認識障害物として、第1情報に基づいて、分類後の非認識障害物(以下、本実施の形態では、分類後の非認識障害物は、分類された移動障害物を意味する。)の移動経路を推定する。移動障害物は、停止障害物に比べて、特定車両20と接触する可能性が高いため、すなわち、特定車両20と分類後の非認識障害物とが接触する可能性があるため、分類後の非認識障害物の移動経路を推定する。
 [動作]
 次に、情報処理システム400及び情報処理方法の動作について説明する。
 図11は、実施の形態4に係り、情報処理システム400の動作を例示したシーケンス図である。
 本実施の形態における情報処理システム400及び情報処理方法の動作について、図4と同一の動作については、適宜説明を省略する。
 図11に示すように、まず、監視カメラ30は、特定車両20及び特定車両20の周囲に存在する複数の障害物を撮像し、第1情報を生成する(S11)。監視カメラ30は、第1情報を情報処理装置440に送信する。
 また、特定車両20の車載カメラ21は、特定車両20の周囲を撮像する(S12)。特定車両20は、第2情報及び車両情報を情報処理装置440に送信する。
 情報処理装置440は、第1情報と車両情報と地図情報とに基づいて、特定車両20から視て、障害物に隠れた障害物のうち特定車両20から視認することができない分類後の非認識障害物が存在するかどうかを判定する(S13)。ステップS13でYesの場合、分類部45は、第1情報、地図情報等に基づいて、分類後の非認識障害物が、人、動物、車両、飛行物体等の移動障害物か、又は、停車している車両等の停止障害物かに分類する(S413a)。ステップS13でNoの場合、第1判定部41は、ステップS13に戻り、別の第1情報及び車両情報を受信するまで待機する。
 第1判定部41は、分類部45で分類された分類後の非認識障害物を示す情報を特定車両20に送信し、ステップS413bに進む。
 経路推定部43は、第1情報に基づいて、分類された移動障害物を分類後の非認識障害物として、分類後の非認識障害物の移動経路を推定する(S413b)。経路推定部43は、分類後の非認識障害物の移動経路を示す情報を特定車両20に送信する。
 情報処理装置440の第2判定部44は、経路推定部43が推定した分類後の非認識障害物の移動経路に基づいて分類後の非認識障害物の危険度を判定する(S313)。本実施の形態では、第2判定部44は、分類後の非認識障害物の危険度が、第1危険度から第4危険度のいずれであるかを判定する。第2判定部44は、判定した分類後の非認識障害物の危険度を示す情報を移動体制御部23に出力する。
 特定車両20の移動体制御部23は、分類後の非認識障害物を示す情報、移動経路を示す情報及び危険度を示す情報を取得し、これらの情報に基づいて特定車両20の走行を制御する(S314)。また、特定車両20の提示部24は、分類後の非認識障害物を示す情報、移動経路を示す情報及び危険度を示す情報を出力する。
 [作用効果]
 次に、本実施の形態における情報処理システム400及び情報処理方法の作用効果について説明する。
 情報処理システム400及び情報処理方法では、分類部45は、第1情報に示す第1の障害物を、移動する移動障害物か、所定位置に留まっている停止障害物かに分類する。経路推定部43は、移動障害物を分類後の非認識障害物として、第1情報に基づいて、分類後の非認識障害物の移動経路を推定する。
 このように、情報処理システム400では、第1情報に示す第1の障害物が移動障害物か停止障害物かを分類することができる。分類後の非認識障害物の移動経路を精度よく推定することができる。また、移動経路によって、分類後の非認識障害物の危険度をより正確に判定することもできる。このため、特定車両20は、危険度に応じた走行を行うことで、安全性の確保と、スムーズな移動とを行うことができる。
 本実施の形態における他の作用効果は実施の形態1の作用効果と同一の作用効果を奏する。
 (実施の形態5)
 [構成]
 本実施の形態における他の構成は、特に明記しない場合は、実施の形態1と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
 図12は、実施の形態5に係り、情報処理システム500を例示したブロック図である。
 図12に示すように、情報処理装置540は、さらに分類部545を備える。
 分類部545は、第1情報に示す第1の障害物の種類を特定し、種類に応じて第1の障害物を分類する。具体的には、分類部545は、第1の障害物のうちの移動障害物が属する種類である、人、自動車、自転車、飛行物体等に分類する。また、分類部545は、第1の障害物のうちの停止障害物が属する種類である、建築物、樹木等の地面等の定着している障害物、及び停車している車両等の障害物に分類する。
 第1判定部41は、分類部545が分類した第1の障害物の種類に基づいて、第1情報に示される複数の障害物のうちの1以上の第1の障害物と特定車両20との間に、第1情報の1以上の第1の障害物以外の障害物又は地図情報に示される障害物が存在する場合、1以上の第1の障害物を非認識障害物と判定する。
 つまり、第1判定部41は、分類された第1の障害物の種類に基づいて、第1の障害物が非認識障害物と成るかどうかを判定する。
 なお、本実施の形態の分類部545は、上述の実施の形態2~4の情報処理システムに含まれていてもよい。
 [動作]
 次に、情報処理システム500及び情報処理方法の動作について説明する。
 図13は、実施の形態5に係り、情報処理システム500の動作を例示したシーケンス図である。
 図13に示すように、まず、監視カメラ30は、特定車両20及び特定車両20の周囲に存在する複数の障害物を撮像し、第1情報を生成する(S11)。監視カメラ30は、第1情報を情報処理装置540に送信する。
 また、特定車両20の車載カメラ21は、特定車両20の周囲を撮像する(S12)。特定車両20は、第2情報及び車両情報を情報処理装置540に送信する。
 分類部545は、第1情報、地図情報等に基づいて、第1情報に示す第1の障害物の種類を特定し、それぞれの種類に分類する(S513a)。
 例えば、移動障害物の種類が自動車及び歩行者である場合、特定車両20と歩行者との間に自動車が存在していれば、特定車両20からは自動車に隠れて歩行者を視認することができない。このため、第1判定部41は、非認識障害物が存在すると判定する(S13でYes)。
 一方、移動障害物の種類が自動車及び歩行者である場合、特定車両20と自動車との間に歩行者が存在していれば、特定車両20からは歩行者の後ろに存在する自動車を視認することができる。このため、第1判定部41は、非認識障害物が存在しないと判定する(S13でNo)。
 つまり、第1の障害物が歩行者等の小さいものであれば、特定車両20と第1の障害物との間の障害物である自動車によって歩行者(第1の障害物)を視認できず、第1の障害物が自動車等の大きいものであれば、特定車両20と第1の障害物との間の障害物である歩行者が存在していたとしても自動車(第1の障害物)を視認できる。この様に、分類部545は第1の障害物を種類ごとに分類するため、第1判定部41は、特定車両20と第1の障害物との間の障害物が非認識障害物かどうかを判定できる。
 第1判定部41は、ステップS513aに処理を戻す。
 第1判定部41は、ステップS13でYesの場合、非認識障害物を示す情報を特定車両20に送信する。
 特定車両20の移動体制御部23は、非認識障害物を示す情報を取得すると、非認識障害物に示される情報に基づいて特定車両20の走行を制御する(S514)。
 [作用効果]
 次に、本実施の形態における情報処理システム400及び情報処理方法の作用効果について説明する。
 情報処理システム500は、さらに、複数の障害物のうちの第1の障害物の種類に応じて、第1の障害物を分類する分類部545を備える。第1判定部41は、第1情報に示される複数の障害物のうちの1以上の第1の障害物と特定車両20との間に、第1情報の1以上の第1の障害物以外の障害物又は地図情報に示される障害物が存在する場合、分類部545が分類した第1の障害物の種類に基づいて、1以上の第1の障害物を非認識障害物と判定する。
 このため、第1判定部41は、分類部545が分類した種類に応じて非認識障害物が存在するかどうかを判定する。このため、非認識障害物の存在を容易に判定することができる。
 本実施の形態における他の作用効果は実施の形態1の作用効果と同一の作用効果を奏する。
 (その他)
 以上、本開示について、実施の形態1~5に基づいて説明したが、本開示は、上記情報処理システム及び情報処理方法に限定されるものではない。
 例えば、上記各実施の形態1~5に係る情報処理システム及び情報処理方法において、第1判定部及び第2判定部は、情報処理装置に備えられているが、少なくとも何れか一方が特定車両に備えられていてもよい。
 例えば、第1判定部が情報処理装置に備えられ、第2判定部が特定車両に備えられる場合、情報処理装置による特定車両の予定走行経路を管理する必要がなくなり、情報処理装置の処理負担の増大を抑制することができる。これにより、特定車両と情報処理装置との間での通信量の増大を抑制することができる。
 また、第1判定部及び第2判定部が特定車両に備えられる場合、情報処理装置によって非認識障害物が存在するかどうかを判定する必要がなくなり、情報処理装置の処理負担の増大をさらに抑制することができる。これにより、特定車両が第2情報を情報処理装置に送信する必要がなくなるため、特定車両と情報処理装置との間での通信量の増大をさらに抑制することができる。
 また、移動体制御部は、特定車両に備えられているが、情報処理装置に備えられていてもよい。これにより、情報処理装置が特定車両を制御することができるため、特定車両が複数存在する場合に有用である。
 また、監視カメラ30の代わりに特定車両以外の他の車両の車載カメラを用いて特定車両及び特定車両の周囲に存在する複数の第1の障害物を撮像してもよい。この場合、第1判定部、第2判定部及び車両制御部も特定車両に備えられていてもよい。この場合、情報処理装置は特定車両に搭載されることとなり、特定車両と情報処理装置との間での無線通信を行わなくてもよい。
 このように、第1判定部、第2判定部及び車両制御部は、選択的に特定車両又は情報処理装置に備えられていてもよい。
 また、上記各実施の形態1~5に係る情報処理システム及び情報処理方法では、非認識障害物の実際の移動経路を履歴として記憶装置等に格納していてもよい。例えば、情報処理装置又は情報処理システムは、この様な記憶装置を備えていてもよい。この場合、経路推定部は、非認識障害物の実際の移動経路の履歴、並びに、非認識障害物の移動速度、移動方向、位置、及び、大きさ等から、非認識障害物の移動経路を推定してもよい。例えば、地図情報に基づいて所定の地点では過去に歩行者が車道を頻繁に横断したため、この所定の地点では歩行者(つまり非認識障害物と成り得る障害物)が存在する可能性があるとし、経路推定部は、歩行者の移動経路を推定してもよい。このように経路推定部が推定することで、特定車両がスムーズに走行することができるようになる。
 また、上記各実施の形態1~5に係る情報処理システム600は、さらに、図14に示すように危険通知部660を備える。図14は、変形例に係り、情報処理システム600を例示した模式図である。危険通知部660は、特定車両20が近づいていることを非認識障害物に対して通知、及び、非認識障害物が近づいていることを特定車両20に対して通知することの少なくともいずれか一方を行う。例えば、危険通知部660は非認識障害物又は特定車両20の周囲に設置されたスピーカー、照明装置等である。情報処理装置40は、危険通知部660に対してコマンドを送信し、非認識障害物に対して特定車両20が迫っていることを通知させてもよい。例えば、情報処理装置40が危険通知部660に対してコマンドを送信し、危険通知部660は、特定車両20に対して非認識障害物が迫っていることを通知してもよい。
 また、上記各実施の形態1~5に係る情報処理方法において、コンピュータを用いたプログラムであってもよい。
 また、上記各実施の形態1~5に係る情報処理システム及び情報処理方法を実現するプログラムは、典型的に集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
 また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
 なお、上記各実施の形態1~5において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。
 また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
 また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
 その他、実施の形態1~5に対して当業者が思いつく各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態1~5における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
 本開示は、移動体の運転を支援するシステムの安全性を向上させるシステム等に利用可能である。
1、200、300、400、500、600 情報処理システム
20 特定車両(移動体)
23 移動体制御部
30 監視カメラ(検知部)
41 第1判定部
42 第1通信部(出力部)
43 経路推定部
44 第2判定部
45、545 分類部
660 危険通知部

Claims (13)

  1.  移動体の周囲に存在する複数の障害物を検知する検知部と、
     前記検知部が検知した前記複数の障害物に関する第1情報と、前記移動体を示す移動体情報とに基づいて、前記移動体から視認することができない前記複数の障害物のうちの障害物である非認識障害物が存在するかどうかを判定する第1判定部と、
     前記非認識障害物が存在すると前記第1判定部が判定した場合、前記非認識障害物を示す情報を前記移動体に出力する出力部とを備える
     情報処理システム。
  2.  前記第1判定部は、前記移動体情報と前記第1情報と前記移動体の周囲の地図情報とに基づいて、前記第1情報に示される前記複数の障害物のうちの1以上の第1の障害物と前記移動体との間に、前記第1情報の前記1以上の第1の障害物以外の障害物又は前記地図情報に示される障害物が存在する場合、前記1以上の第1の障害物を前記非認識障害物と判定する
     請求項1に記載の情報処理システム。
  3.  さらに、前記複数の障害物のうちの第1の障害物の種類に応じて、前記第1の障害物を分類する分類部を備え、
     前記第1判定部は、前記第1情報に示される前記複数の障害物のうちの前記1以上の第1の障害物と前記移動体との間に、前記第1情報の前記1以上の第1の障害物以外の障害物又は前記移動体の周囲の地図情報に示される障害物が存在する場合、前記分類部が分類した前記第1の障害物の種類に基づいて、前記1以上の第1の障害物を前記非認識障害物と判定する
     請求項1に記載の情報処理システム。
  4.  前記移動体は、当該移動体から視認できる1以上の第2の障害物を検知し、検知した前記1以上の第2の障害物に関する第2情報を当該情報処理システムに送信し、
     前記第1判定部は、さらに、受信した前記第2情報に示される前記第2の障害物が前記第1情報に示される前記複数の障害物のうちの1以上の第1の障害物と同一と判定した場合に、同一と判定した当該第1の障害物を前記非認識障害物と判定しない
     請求項1~3のいずれか1項に記載の情報処理システム。
  5.  さらに、前記非認識障害物を示す情報に基づいて前記移動体の移動を制御する移動体制御部を備える
     請求項1~4のいずれか1項に記載の情報処理システム。
  6.  前記第1情報は、前記検知部が検知した前記複数の障害物のうちの一部の障害物の移動速度、移動方向、及び、位置の少なくともいずれか1つを含む
     請求項1~5のいずれか1項に記載の情報処理システム。
  7.  当該情報処理システムは、さらに、前記第1情報に基づいて、前記非認識障害物の移動経路を推定する経路推定部を備え、
     前記移動体制御部は、前記移動経路に基づいて前記移動体の移動を制御する
     請求項5に記載の情報処理システム。
  8.  さらに、前記経路推定部が推定した前記非認識障害物の移動経路又は前記第1情報に基づいて前記非認識障害物の危険度を判定する第2判定部を備え、
     前記移動体制御部は、前記第2判定部が判定した危険度を示す情報に基づいて前記移動体の移動を制御する
     請求項7に記載の情報処理システム。
  9.  前記移動体情報は、前記移動体の移動速度、位置、及び、移動予定の経路の少なくともいずれか1つを含み、
     前記第2判定部は、前記第1情報と前記移動体情報とに基づいて、前記移動体と前記非認識障害物とが接触するかどうかを示す判定結果から危険度を判定する
     請求項8に記載の情報処理システム。
  10.  前記第2判定部は、
      前記移動体から前記非認識障害物までの距離が第1規定距離以上であり、かつ、前記移動体と前記非認識障害物とが接触しない場合、第1危険度と判定し、
      前記移動体から前記非認識障害物までの距離が第1規定距離未満であり、かつ、前記移動体と前記非認識障害物とが接触しない場合、前記第1危険度よりも高い第2危険度と判定し、
      前記移動体から前記非認識障害物までの距離が第1規定距離以上であり、かつ、前記移動体と前記非認識障害物とが接触する可能性がある場合、前記第2危険度よりも高い第3危険度と判定し、
      前記移動体から前記非認識障害物までの距離が第1規定距離未満であり、かつ、前記移動体と前記非認識障害物とが接触する可能性がある場合、前記第3危険度よりも高い第4危険度と判定する
     請求項9に記載の情報処理システム。
  11.  さらに、前記複数の障害物のうちの第1の障害物を、移動する移動障害物か、所定位置に留まっている停止障害物かに分類する分類部を備え、
     前記経路推定部は、前記第1情報に基づいて、前記移動障害物を分類後の非認識障害物として、前記分類後の非認識障害物の移動経路を推定する
     請求項7~10のいずれか1項に記載の情報処理システム。
  12.  さらに、前記移動体が近づいていることを前記非認識障害物に対して通知、及び、前記非認識障害物が近づいていることを通知することを前記移動体に対して通知することの少なくともいずれか一方を行う危険通知部を備える
     請求項1~11のいずれか1項に記載の情報処理システム。
  13.  移動体の周囲に存在する複数の障害物を検知することと、
     検知した前記複数の障害物に関する第1情報と、前記移動体を示す移動体情報とに基づいて、前記移動体から視認することができない前記複数の障害物のうちの障害物である非認識障害物が存在するかどうかを判定することと、
     前記非認識障害物が存在すると当該判定した場合、前記非認識障害物を示す情報を前記移動体に出力することとを含む
     情報処理方法。
PCT/JP2019/037394 2018-09-28 2019-09-24 情報処理システム及び情報処理方法 WO2020067070A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112019000969.9T DE112019000969T5 (de) 2018-09-28 2019-09-24 Informationsverarbeitungssystem und Informationsverarbeitungsverfahren
US16/894,122 US11710407B2 (en) 2018-09-28 2020-06-05 Information processing system and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-184123 2018-09-28
JP2018184123A JP6945167B2 (ja) 2018-09-28 2018-09-28 情報処理システム及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/894,122 Continuation US11710407B2 (en) 2018-09-28 2020-06-05 Information processing system and information processing method

Publications (1)

Publication Number Publication Date
WO2020067070A1 true WO2020067070A1 (ja) 2020-04-02

Family

ID=69951381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037394 WO2020067070A1 (ja) 2018-09-28 2019-09-24 情報処理システム及び情報処理方法

Country Status (4)

Country Link
US (1) US11710407B2 (ja)
JP (1) JP6945167B2 (ja)
DE (1) DE112019000969T5 (ja)
WO (1) WO2020067070A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230121146A1 (en) * 2020-03-17 2023-04-20 Sony Group Corporation Information processing apparatus, information processing method, and computer program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11346685B2 (en) * 2018-11-09 2022-05-31 Toyota Motor North America, Inc. Parking exit coordination systems and methods

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350613A (ja) * 2005-06-15 2006-12-28 Honda Motor Co Ltd 車両の走行支援装置
JP2007233864A (ja) * 2006-03-02 2007-09-13 Denso Corp 死角支援情報報知装置及びプログラム
JP2007323556A (ja) * 2006-06-05 2007-12-13 Mazda Motor Corp 車両周辺情報報知装置
JP2010030513A (ja) * 2008-07-30 2010-02-12 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2011044085A (ja) * 2009-08-24 2011-03-03 Isuzu Motors Ltd 運転支援装置
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2012208574A (ja) * 2011-03-29 2012-10-25 Panasonic Corp 死角判定装置およびその方法
JP2014203349A (ja) * 2013-04-08 2014-10-27 スズキ株式会社 車両運転支援装置
JP2016224785A (ja) * 2015-06-02 2016-12-28 トヨタ自動車株式会社 周辺監視装置及び運転支援装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4706315B2 (ja) 2005-04-18 2011-06-22 株式会社ニコン 車両の運転支援システム
US20080288162A1 (en) * 2007-05-17 2008-11-20 Nokia Corporation Combined short range and long range communication for traffic analysis and collision avoidance
US20100100324A1 (en) * 2008-10-22 2010-04-22 Toyota Motor Engineering & Manufacturing North America, Inc. Communication based vehicle-pedestrian collision warning system
JP5613398B2 (ja) * 2009-10-29 2014-10-22 富士重工業株式会社 交差点運転支援装置
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US20190096249A1 (en) * 2017-09-22 2019-03-28 Continental Automotive Systems, Inc. Infrastructure based backup and exit aid
US10994748B2 (en) * 2018-02-28 2021-05-04 Nissan North America, Inc. Transportation network infrastructure for autonomous vehicle decision making
DE102018213230A1 (de) * 2018-08-07 2020-02-13 Volkswagen Aktiengesellschaft Verfahren und Steuervorrichtung zum Warnen eines Fahrers eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer derartigen Steuervorrichtung

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350613A (ja) * 2005-06-15 2006-12-28 Honda Motor Co Ltd 車両の走行支援装置
JP2007233864A (ja) * 2006-03-02 2007-09-13 Denso Corp 死角支援情報報知装置及びプログラム
JP2007323556A (ja) * 2006-06-05 2007-12-13 Mazda Motor Corp 車両周辺情報報知装置
JP2010030513A (ja) * 2008-07-30 2010-02-12 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2011044085A (ja) * 2009-08-24 2011-03-03 Isuzu Motors Ltd 運転支援装置
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2012208574A (ja) * 2011-03-29 2012-10-25 Panasonic Corp 死角判定装置およびその方法
JP2014203349A (ja) * 2013-04-08 2014-10-27 スズキ株式会社 車両運転支援装置
JP2016224785A (ja) * 2015-06-02 2016-12-28 トヨタ自動車株式会社 周辺監視装置及び運転支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230121146A1 (en) * 2020-03-17 2023-04-20 Sony Group Corporation Information processing apparatus, information processing method, and computer program

Also Published As

Publication number Publication date
US11710407B2 (en) 2023-07-25
US20200302193A1 (en) 2020-09-24
DE112019000969T5 (de) 2020-11-05
JP6945167B2 (ja) 2021-10-06
JP2020052920A (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
CN110667598B (zh) 用于处理自动驾驶车辆中的传感器故障的方法
CN110239562B (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
CN108859938B (zh) 用于自动驾驶车辆的自动车辆应急灯控制的方法和系统
US10077007B2 (en) Sidepod stereo camera system for an autonomous vehicle
CN108622003B (zh) 用于自动驾驶车辆的碰撞预测以及安全气囊预先展开系统
US10852736B2 (en) Method to track and to alert autonomous driving vehicles (ADVS) of emergency vehicles
JP7180436B2 (ja) 行動制御方法、及び行動制御装置
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
KR20190035159A (ko) 차량 움직임 예측 방법 및 장치
JP7205204B2 (ja) 車両の制御装置及び自動運転システム
CN112540592A (zh) 用于确保安全的具有双自主驾驶系统的自主驾驶车辆
JP2009294934A (ja) 自律移動装置及び自律移動装置の制御方法
CN111857118A (zh) 对停车轨迹分段以控制自动驾驶车辆停车
JP7000202B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
CN112180911A (zh) 用于监控自动驾驶车辆的控制系统的方法
CN113646221A (zh) 移动体的行为预测方法、行为预测装置以及车辆
WO2020067070A1 (ja) 情報処理システム及び情報処理方法
CN111615477A (zh) 自动驾驶车辆中的非避开规划系统的障碍物过滤的方法
JP2018090063A (ja) 車両制御システム
US20220203985A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2020019301A (ja) 挙動決定装置
CN113370972B (zh) 行驶控制装置、行驶控制方法以及存储程序的计算机可读取存储介质
JP7404925B2 (ja) 走行支援装置、走行支援方法、および走行支援プログラム
JP7223588B2 (ja) 運転特性推定方法及び運転特性推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19865222

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19865222

Country of ref document: EP

Kind code of ref document: A1