WO2018088224A1 - 情報処理装置、情報処理方法、プログラム、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、及び、移動体 Download PDF

Info

Publication number
WO2018088224A1
WO2018088224A1 PCT/JP2017/038706 JP2017038706W WO2018088224A1 WO 2018088224 A1 WO2018088224 A1 WO 2018088224A1 JP 2017038706 W JP2017038706 W JP 2017038706W WO 2018088224 A1 WO2018088224 A1 WO 2018088224A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving
image
moving body
information processing
moving object
Prior art date
Application number
PCT/JP2017/038706
Other languages
English (en)
French (fr)
Inventor
弘和 橋本
圭祐 齊藤
Original Assignee
ソニー株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニー株式会社
Priority to US16/339,937 priority Critical patent/US20200051435A1/en
Priority to JP2018550134A priority patent/JPWO2018088224A1/ja
Priority to CN201780067614.3A priority patent/CN109891475A/zh
Priority to EP17869421.2A priority patent/EP3540712A4/en
Publication of WO2018088224A1 publication Critical patent/WO2018088224A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles

Definitions

  • the present technology relates to an information processing device, an information processing method, a program, and a moving object, and in particular, an information processing device, an information processing method, and an information processing device that are suitable for notifying a danger of collision or contact with a surrounding moving object,
  • the present invention relates to a program and a moving object.
  • This technology has been made in view of such a situation, and makes it possible to easily notify the danger of collision with or contact with surrounding moving objects.
  • the information processing apparatus has a moving body detection unit that detects a moving body around a moving body based on information input from a sensor, and a shape that changes according to a moving direction and a moving speed of the moving body. And an image processing unit that generates a first image displayed in association with the moving object.
  • the first image may include a bar extending from the moving object in the moving direction and having a length in the moving direction that varies depending on the moving speed of the moving object.
  • the width of the bar can be changed according to the width of the moving body.
  • the first image may include a fan-shaped figure that extends from the moving body in the moving direction of the moving body and whose length in the moving direction changes depending on the moving speed of the moving body.
  • the angle of the fan-shaped figure can be changed according to the prediction accuracy of the moving direction of the moving object.
  • the image processing unit can change the display effect of the first image based on the degree of risk that the moving object collides with or comes into contact with the moving object.
  • the image processing unit can change at least one of the color and the transparency of the first image based on the degree of risk.
  • the image processing unit can control whether or not the first image is displayed on the moving body based on a risk of the moving body colliding with or contacting the moving body.
  • the image processing unit can generate a second image indicating the position of the moving object.
  • the second image can include a frame surrounding the moving object.
  • the image processing unit can change the second image based on the type of the moving object.
  • the types of moving objects can be classified into at least four types: vehicles, motorbikes, bicycles, and pedestrians.
  • the image processing unit can superimpose the first image on a peripheral image, which is an image around the moving body, or on the field of view of a passenger of the moving body.
  • the image processing unit can superimpose the first image on a road surface in the peripheral image or in the field of view of the passenger.
  • a grid can be superimposed on the road surface in the peripheral image or in the field of view of the passenger.
  • the image processing unit can further control display of a signal indicating a risk that the moving body collides with or contacts any of the surrounding moving bodies.
  • a motion prediction unit that predicts the motion of the detected moving object may be further provided.
  • the information processing method includes a moving object detection step for detecting a moving object around the moving object, a shape that changes depending on a moving direction and a moving speed of the moving object around the moving object, and the moving object And an image processing step of generating an image displayed in association with each other.
  • the program according to the second aspect of the present technology includes a moving body detection step for detecting a moving body around the moving body, a shape that changes depending on a moving direction and a moving speed of the moving body around the moving body, and a correlation with the moving body. And causing a computer to execute a process including an image processing step of generating an image to be displayed.
  • the moving body includes a sensor that is disposed on the main body and is used to detect a surrounding situation, a moving body detection unit that detects a surrounding moving body based on a detection result of the sensor, and the detected body.
  • a motion predicting unit that predicts the motion of the moving object, and a display unit that displays an image whose shape changes depending on the moving direction and moving speed of the detected moving object.
  • a moving object around the moving object is detected, and the shape changes according to the moving direction and moving speed of the moving object, and is displayed in association with the moving object.
  • An image is generated.
  • a surrounding moving object is detected, a motion of the detected moving object is predicted, and an image whose shape changes depending on a moving direction and a moving speed of the detected moving object is displayed.
  • the moving direction and moving speed of the moving body around the moving body are shown.
  • the danger of collision or contact with surrounding moving objects can be notified in an easy-to-understand manner.
  • FIG. 1 It is a block diagram showing one embodiment of an in-vehicle system to which this art is applied. It is a figure which shows the example of the installation position of a camera. It is a figure which shows the example of the installation position of a display part. It is a flowchart for demonstrating a periphery monitoring process. It is a figure which shows the example of arrangement
  • FIG. 1 is a block diagram illustrating an embodiment of an in-vehicle system to which the present technology is applied.
  • the in-vehicle system 10 is a system that is mounted on a vehicle and performs driving support.
  • the in-vehicle system 10 monitors the periphery of the vehicle and performs a process for preventing a collision or contact with a surrounding vehicle, bicycle, person or the like. More specifically, the in-vehicle system 10 performs notification of the danger of collision or contact, and control of a braking device such as a brake system for avoiding the collision or contact.
  • the vehicle on which the in-vehicle system 10 is mounted is not particularly limited, and includes, for example, a three-wheel truck, a small truck, a small passenger car, a large passenger car, a large bus, a large truck, a large special vehicle, a small special vehicle, and the like.
  • a vehicle in which the in-vehicle system 10 is mounted is also referred to as a host vehicle, and vehicles other than the host vehicle are also referred to as other vehicles.
  • the in-vehicle system 10 includes a peripheral sensor 11, a vehicle information sensor 12, an information processing unit 13, a display unit 14, a braking control unit 15, and a braking device 16.
  • the surrounding sensor 11 includes various sensors used to detect the situation around the host vehicle.
  • the peripheral sensor 11 includes a camera (image sensor) that captures the periphery of the host vehicle, a short-range sensor used for detecting an object close to the host vehicle, a long-range sensor used for detecting an object far from the host vehicle, and the like.
  • Examples of the short distance sensor include an ultrasonic sensor.
  • Examples of the long distance sensor include a radar, a lidar, and a TOF (Time (of Flight) sensor.
  • peripheral sensor data data indicating information including a detection result (hereinafter referred to as peripheral sensor data) to the peripheral state detection unit 31.
  • peripheral image data an image taken by each camera of the peripheral sensor 11 is referred to as a peripheral image, and data indicating the peripheral image is referred to as peripheral image data.
  • peripheral image data is a kind of peripheral sensor data.
  • the vehicle information sensor 12 includes various sensors used for detecting the movement of the host vehicle.
  • the vehicle information sensor 12 includes a speed sensor, a steering angle sensor, a GPS (global positioning system) receiver, and the like.
  • the vehicle information sensor 12 supplies data indicating the detection result (hereinafter referred to as vehicle sensor data) to the motion prediction unit 32.
  • the information processing unit 13 is configured by, for example, an ECU (Electronic Control Unit).
  • the information processing unit 13 includes a surrounding situation detection unit 31, a motion prediction unit 32, a collision prediction unit 33, and an HMI (Human (Machine Interface) control unit 34.
  • ECU Electronic Control Unit
  • HMI Human (Machine Interface) control unit 34.
  • the surrounding situation detection unit 31 detects the surrounding situation of the host vehicle based on the surrounding sensor data.
  • the surrounding situation detection unit 31 includes a space generation unit 41 and a moving object detection unit 42.
  • the space generation unit 41 generates a three-dimensional space map indicating the shape and position of an object around the host vehicle based on the surrounding sensor data.
  • the space generation unit 41 supplies the three-dimensional space map to the motion prediction unit 32 and the HMI control unit 34.
  • the space generation unit 41 supplies the peripheral image data of the peripheral sensor data to the HMI control unit 34.
  • the moving object detection unit 42 detects a moving object around the host vehicle based on the surrounding sensor data and the three-dimensional space map.
  • the moving object detection unit 42 supplies the detection result of the moving object to the motion prediction unit 32 and the HMI control unit 34.
  • the motion prediction unit 32 performs motion prediction of the host vehicle based on the vehicle sensor data. In addition, the motion prediction unit 32 performs motion prediction of a moving object around the host vehicle based on the three-dimensional space map and the detection result of the moving object. The motion prediction unit 32 supplies the prediction result of the motion of the host vehicle and the moving objects around the host vehicle to the collision prediction unit 33 and the HMI control unit 34.
  • the collision prediction unit 33 performs collision prediction of the moving body around the host vehicle based on the prediction result of the movement of the host vehicle and the moving body around the host vehicle.
  • the collision prediction unit 33 supplies the result of the collision prediction to the HMI control unit 34 and the braking control unit 15.
  • the HMI control unit 34 controls the HMI of the host vehicle. For example, the HMI control unit 34 determines the situation around the own vehicle based on the three-dimensional space map, the detection result of the moving object around the own vehicle, and the motion prediction and the collision prediction result around the own vehicle. Peripheral monitoring image data for displaying the peripheral monitoring image shown is generated. The HMI control unit 34 supplies the periphery monitoring image data to the display unit 14 to display the periphery monitoring image. In this case, the HMI control unit 34 functions as an image processing unit.
  • the display unit 14 includes, for example, various displays.
  • the display unit 14 displays various images such as a peripheral monitoring image under the control of the HMI control unit 34.
  • the braking control unit 15 is configured by, for example, an ECU (Electronic Control Unit).
  • the braking control unit 15 controls the braking device 16 based on the collision prediction result by the collision prediction unit 33, and performs an emergency stop or the like of the host vehicle.
  • the braking device 16 is constituted by, for example, a brake system of the own vehicle.
  • FIG. 2 shows an arrangement example of cameras provided in the peripheral sensor 11.
  • the camera 101 is disposed near the left end of the front bumper of the vehicle 100, for example.
  • the camera 101 shoots the left direction of the vehicle 100 including an area that is a driver's blind spot, and supplies image data indicating an image obtained as a result of the shooting (hereinafter referred to as a left image) to the surrounding state detection unit 31. .
  • the camera 102 is disposed near the right end of the front bumper of the vehicle 100, for example.
  • the camera 102 captures the right direction of the vehicle 100 including the area that is a blind spot of the driver, and supplies image data indicating an image obtained as a result of the capturing (hereinafter referred to as a right image) to the surrounding state detection unit 31. .
  • the camera 103 is disposed near the front grill of the vehicle 100, for example.
  • the camera 102 captures an image of the front of the vehicle 100 including an area that is a driver's blind spot, and supplies image data indicating an image obtained as a result of the imaging (hereinafter referred to as a forward image A) to the surrounding state detection unit 31. .
  • the camera 104 is disposed in the vicinity of a room mirror inside the vehicle 100, for example.
  • the camera 104 images the front of the vehicle 100 and supplies image data indicating an image obtained as a result of the imaging (hereinafter referred to as a front image B) to the surrounding state detection unit 31.
  • FIG. 3 shows an arrangement example of the display unit 14.
  • the display unit 14 equipment provided in advance in the host vehicle may be used, or a dedicated display or the like may be provided.
  • the display 131 of the car navigation system of the own vehicle or the instrument panel 132 can be used as the display unit 14.
  • the display unit 14 can be configured by a transmissive display that is provided so as to overlap the area P1 in front of the driver's seat of the windshield 133 of the host vehicle.
  • step S1 the information processing unit 13 acquires sensor information. Specifically, the surrounding state detection unit 31 acquires surrounding sensor data from each sensor of the surrounding sensor 11. The motion prediction unit 32 acquires vehicle sensor data from each sensor of the vehicle information sensor 12.
  • step S2 the space generation unit 41 performs a space generation process. That is, the space generation unit 41 generates (or updates) a three-dimensional space map indicating the shape, position, and the like of objects around the host vehicle based on the surrounding sensor data. Note that the objects in the vicinity of the host vehicle include not only moving objects but also stationary objects (for example, buildings, road surfaces, etc.). The space generation unit 41 supplies the generated three-dimensional space map to the motion prediction unit 32 and the HMI control unit 34.
  • any method can be used as a method of generating the three-dimensional space map.
  • a technique such as SLAM (Simultaneous Localization and Mapping) is used.
  • the moving object detection unit 42 performs moving object detection. Specifically, the moving object detection unit 42 detects moving objects around the host vehicle based on the surrounding sensor data and the three-dimensional space map. For example, the moving object detection unit 42 detects the presence or absence of a moving object around the host vehicle, the type, size, shape, position, and the like of the moving object. The moving object detection unit 42 supplies the detection result of the moving object to the motion prediction unit 32 and the HMI control unit 34.
  • the moving object to be detected includes not only a moving object that is actually moving, but also a moving object that is temporarily stationary such as a stopped vehicle, a bicycle, or a stopped pedestrian.
  • the moving object detection unit 42 can also detect a moving object around the host vehicle based only on the surrounding sensor data without using a three-dimensional space map, for example. In this case, the processes of step S2 and step S3 can be interchanged.
  • step S4 the moving object detection unit 42 determines whether there is a moving object in the vicinity based on the result of the process in step S3. If it is determined that there are no moving objects in the vicinity, the process returns to step S1.
  • step S1 to step S4 is repeatedly executed until it is determined in step S4 that a moving object exists in the vicinity.
  • step S4 if it is determined in step S4 that a moving object is present in the vicinity, the process proceeds to step S5.
  • step S5 the motion prediction unit 32 performs motion prediction. Specifically, the motion prediction unit 32 predicts the moving speed and the moving direction of the host vehicle based on the vehicle sensor data. In addition, the motion prediction unit 32 predicts the moving speed and moving direction of moving objects around the host vehicle based on the three-dimensional space map and the detection results of moving objects around the host vehicle. The motion prediction unit 32 supplies the prediction result to the collision prediction unit 33 and the HMI control unit 34.
  • the collision prediction unit 33 performs collision prediction. Specifically, the collision prediction unit 33 determines whether or not there is a possibility that the moving body around the own vehicle collides with or comes into contact with the own vehicle based on the prediction result of the movement of the own vehicle and the surrounding moving body. In addition, the time required for collision or contact of a moving object that may possibly collide or come into contact (hereinafter referred to as a collision prediction time) is predicted.
  • the collision prediction unit 33 predicts the risk of each moving object colliding with or coming into contact with the host vehicle, and sets the rank based on a predetermined definition. For example, a moving object that is stationary and a moving object that is moving in a direction away from the host vehicle is set to a risk level 1. Among moving objects that are moving in the direction approaching the host vehicle, moving objects that have a predicted collision time exceeding T1 seconds (for example, 5 seconds) are set to a risk level 2. Of the moving objects that are moving in the direction approaching the host vehicle, the moving object that has a predicted collision time within T1 seconds and exceeds T2 seconds (for example, 1 second) is set to a degree of risk 3. Of the moving objects that are moving in the direction approaching the host vehicle, a moving object that has a predicted collision time of T2 seconds or less is set to a degree of risk 4.
  • T1 seconds for example, 5 seconds
  • T2 seconds for example, 1 second
  • a stationary moving body and a moving body moving away from the host vehicle may also be set to any one of the risk levels 2 to 4 based on the collision prediction time.
  • the collision prediction unit 33 supplies the result of the collision prediction to the HMI control unit 34 and the braking control unit 15.
  • step S7 the collision prediction unit 33 determines whether there is a risk of collision or contact. For example, the collision prediction unit 33 determines that there is no risk of collision and contact when there is no moving object having a risk level of 3 or more in the vicinity of the host vehicle, and the process returns to step S1.
  • steps S1 to S7 are repeatedly executed until it is determined in step S7 that there is a risk of collision or contact.
  • step S7 for example, the collision prediction unit 33 determines that there is a risk of collision or contact when there is a moving body having a risk level of 3 or more around the host vehicle, and the process proceeds to step S8.
  • step S8 the HMI control unit 34 sets the moving object type.
  • the HMI control unit 34 classifies the moving objects detected by the moving object detection unit 42 into a vehicle, a motorbike, a bicycle, a pedestrian, and other five types.
  • a motorbike is also a kind of vehicle, but here, a motorbike is distinguished from other vehicles.
  • the HMI control unit 34 calculates the display position of the superimposed image.
  • the superimposed image includes, for example, a frame indicating the position of each moving object (hereinafter referred to as a moving object frame) and a bar indicating a predicted motion of each moving object (hereinafter referred to as a motion prediction bar).
  • a moving object frame a frame indicating the position of each moving object
  • a motion prediction bar a bar indicating a predicted motion of each moving object
  • the HMI control unit 34 determines the three-dimensional of the moving object frame corresponding to each moving object based on the position of each moving object in the three-dimensional space map and the height and width of each moving object as viewed from the traveling direction of each moving object.
  • the display position in the space map is calculated.
  • the HMI control unit 34 calculates the position of each moving object after x seconds (for example, after one second) in the three-dimensional space map based on the result of motion prediction of each moving object. Next, the HMI control unit 34 calculates the display position of the motion prediction bar corresponding to each moving object on the three-dimensional space map based on the current position of each moving object on the three-dimensional space map and the position after x seconds. To do. For example, the HMI control unit 34 calculates the length and direction of the motion prediction bar by using the current moving object's leading end in the moving direction as the starting point and the moving object's moving direction's leading end x seconds later as the ending point. .
  • step S10 the in-vehicle system 10 presents the surrounding situation.
  • the HMI control unit 34 converts the display position of the superimposed image (moving object frame, motion prediction bar, etc.) in the three-dimensional space map into the display position in the peripheral image presented to the driver. Further, the HMI control unit 34 converts the position of the road surface in the three-dimensional space map into the display position in the peripheral image, and calculates the display position of the grid indicating the position of the road surface in the peripheral image. Then, the HMI control unit 34 generates surrounding monitoring image data indicating the surrounding monitoring image, supplies it to the display unit 14, and displays the surrounding monitoring image.
  • FIG. 5 shows an arrangement example of peripheral images in the peripheral monitoring image.
  • the left image and the right image are arranged apart from each other.
  • the left and right images may be displayed on one display unit, or may be displayed separately on two display units arranged at separate positions.
  • the left image and the right image are arranged side by side.
  • the left image, the front image (either the front image A or the front image B), and the right image are arranged side by side.
  • At least one of the left image, the front image A and the front image B, and a panoramic image generated based on the right image are arranged.
  • FIG. 6 shows a specific example of the periphery monitoring image.
  • FIG. 6 shows an example of a portion of the periphery monitoring image where the right image of A in FIG. 5 to C in FIG. 5 is displayed.
  • an example in the case where there is no moving object around the host vehicle is shown.
  • a signal 201 and a periphery image 202 are arranged one above the other.
  • the signal 201 is displayed separately from the real world signal in the surrounding image, and indicates the overall risk around the host vehicle. For example, when there is no moving object having a danger level of 3 or more in the peripheral image 202, the blue lamp of the signal 201 indicating safety is turned on. For example, when a moving object with a risk level 3 exists in the peripheral image 202 and a moving object with a risk level 4 does not exist, a yellow lamp of a signal 201 indicating that attention is necessary is turned on. For example, when a moving object having a risk level of 4 exists in the peripheral image 202, a red lamp of a signal 201 indicating that it is dangerous lights up.
  • the signal 201 may be displayed for each peripheral image in the peripheral monitoring image, or only one signal 201 may be displayed for all the peripheral images.
  • the lamps of the signal 201 corresponding to each peripheral image are individually switched.
  • the lamp to which the signal 201 is lit is switched based on the risk of moving objects in all peripheral images.
  • a grid is superimposed on the road surface in the peripheral image 202 and displayed.
  • the driver can easily grasp the position of the road surface, the position of the moving body on the road surface, and the moving direction.
  • the grid is displayed in accordance with the position of the intersection.
  • FIG. 8 shows an example in which a moving object exists in the peripheral image 202 of the peripheral monitoring image of FIG.
  • a vehicle 221, a bicycle 222, and a pedestrian 223 are present in the peripheral image 202.
  • the vehicle 221 is approaching the host vehicle from the right direction.
  • a moving body frame F1 and a motion prediction bar M1 are displayed in association with the vehicle 221.
  • the moving body frame F1 surrounds the front of the vehicle 221. Accordingly, the size of the moving body frame F1 is set in accordance with the height and width of the front of the vehicle 221 in the peripheral image 202. A mark indicating that the type of the moving body in the moving body frame F1 is a vehicle is displayed on the upper side of the moving body frame F1.
  • the motion prediction bar M1 is a figure displayed superimposed on the road surface on which the vehicle 221 is traveling, and its shape changes depending on the moving direction and moving speed of the vehicle 221. Specifically, the motion prediction bar M1 extends in the moving direction of the vehicle 221 along the road surface from the lower side of the moving body frame F1. The tip of the motion prediction bar M1 is set to the predicted position of the tip of the vehicle 221 after x seconds. Therefore, the length of the motion prediction bar M1 in the moving direction of the vehicle 221 expands and contracts according to the speed of the vehicle 221. The acceleration of the vehicle 221 is indicated by the expansion and contraction of the motion prediction bar M1. For example, when the vehicle 221 is traveling at a constant speed, the length of the motion prediction bar M1 is kept substantially constant.
  • the motion prediction bar M1 When the vehicle 221 is accelerating, the motion prediction bar M1 becomes gradually longer. When the vehicle 221 is decelerating, the motion prediction bar M1 is gradually shortened. Further, the direction of the motion prediction bar M1 changes in accordance with the moving direction of the vehicle 221.
  • the width of the motion prediction bar M1 is matched with the width of the moving body frame F1 (the width in front of the vehicle 221).
  • the driver can easily grasp the presence and current position of the vehicle 221 by the moving body frame F1. In addition, the driver can easily grasp the predicted movement of the vehicle 221 by the movement prediction bar M1.
  • the bicycle 222 is approaching the host vehicle from the right direction. In association with the bicycle 222, a moving object frame F2 and a motion prediction bar M2 are displayed.
  • the moving body frame F2 surrounds the front of the bicycle 222. Accordingly, the size of the moving body frame F2 is set in accordance with the height and width of the bicycle 222 and the driver in front of the surrounding image 202. A mark indicating that the type of the moving body in the moving body frame F2 is a bicycle is displayed on the upper side of the moving body frame F2.
  • the motion prediction bar M2 is displayed superimposed on the road surface on which the bicycle 222 is traveling, and the shape changes depending on the moving direction and moving speed of the bicycle 222. Specifically, the motion prediction bar M2 extends in the moving direction of the bicycle 222 along the road surface from the lower side of the moving body frame F2.
  • the tip of the motion prediction bar M2 is set to the predicted position of the tip of the bicycle 222 after x seconds. Accordingly, the length of the motion prediction bar M2 in the moving direction of the bicycle 222 expands and contracts in accordance with the speed of the bicycle 222, similarly to the motion prediction bar M1. Further, the direction of the motion prediction bar M2 changes in accordance with the moving direction of the bicycle 222.
  • the width of the motion prediction bar M2 is matched to the width of the moving body frame F2 (the width in front of the bicycle 222 and its driver).
  • the driver can easily grasp the existence and current position of the bicycle 222 by the moving body frame F2. In addition, the driver can easily grasp the predicted movement of the bicycle 222 by the movement prediction bar M2.
  • the pedestrian 223 is stationary in the right direction of the host vehicle. Therefore, only the moving body frame F3 is displayed in association with the pedestrian 223, and the motion prediction bar is not displayed.
  • the moving body frame F3 surrounds the front of the pedestrian 223. Therefore, the size of the moving body frame F3 is set according to the height and width of the front of the pedestrian 223 in the peripheral image 202. A mark indicating that the type of the moving body in the moving body frame F3 is a pedestrian is displayed on the upper side of the moving body frame F3.
  • the driver can easily grasp the presence and current position of the pedestrian 223 by the moving body frame F3.
  • the color of the superimposed image changes based on the danger level of the corresponding moving object.
  • the color of the moving object frame and the motion prediction bar corresponding to the moving object of the risk level 1 is set to white.
  • the color of the moving object frame and the motion prediction bar corresponding to the moving object of the risk level 2 is set to green.
  • the color of the moving object frame and the motion prediction bar corresponding to the moving object of the risk level 3 is set to yellow.
  • the color of the moving object frame and the motion prediction bar corresponding to the moving object of the risk level 4 is set to red.
  • each motion prediction bar cannot be color-coded, and thus is shown with a different pattern.
  • FIG. 9 shows an example of the periphery monitoring image when the vehicle 221 has a risk level of 4.
  • the red lamp of the signal 201 is turned on.
  • the moving body frame F11 and the motion prediction bar M11 are displayed in association with the vehicle 221.
  • the colors of the moving object frame F11 and the motion prediction bar M11 are set to red indicating that the vehicle 221 has a risk level 4.
  • a mark that prompts the driver to pay attention is displayed in the moving body frame F11.
  • the moving object frame shown in FIG. 9 may be displayed for all of them, or the moving object having the highest risk level (for example, the most collision)
  • the moving object frame shown in FIG. 9 may be displayed only for moving objects with a short prediction time.
  • step S ⁇ b> 11 the braking control unit 15 determines whether or not an emergency stop is necessary. For example, the brake control unit 15 determines that there is no need for an emergency stop when there is no moving object of the risk level 4 in moving objects around the host vehicle, and the process returns to step S1.
  • step S11 Thereafter, the processing from step S1 to step S11 is repeatedly executed until it is determined in step S11 that an emergency stop is necessary.
  • step S11 for example, the braking control unit 15 determines that an emergency stop is necessary when there is a moving body of risk 4 in the moving body around the host vehicle, and the process proceeds to step S12.
  • step S12 the braking control unit 15 controls the braking device 16 to urgently stop the host vehicle. Thereby, the collision or contact with the moving body around the host vehicle is prevented.
  • the danger of collision or contact with moving objects around the host vehicle can be notified in an easy-to-understand manner, and the driver can reliably recognize the danger of collision or contact.
  • an emergency stop is performed, so that an accident is prevented.
  • the predicted movement of the vehicle 221 may be indicated by the fan-shaped figure M21 of FIG.
  • the figure M21 is displayed on the road surface and spreads in the moving direction of the vehicle 221.
  • the angle (spread) is set based on, for example, the prediction accuracy of the moving direction of the vehicle. For example, when the prediction accuracy is high, that is, when the variation in the prediction result of the moving direction of the vehicle 221 is small, the fan-shaped angle is small. On the other hand, when the prediction accuracy is low, that is, when the variation in the prediction result of the moving direction of the vehicle 221 is large, the sector angle increases.
  • the length of the figure M21 in the moving direction of the vehicle 221 changes depending on the moving speed of the vehicle 221, and the direction of the figure M21 changes depending on the moving direction of the vehicle 221.
  • the predicted movement of the vehicle 221 may be indicated by an elliptical figure M31 in FIG.
  • the figure M31 surrounds the periphery of the vehicle 221 on the road surface. Similar to the motion prediction bar described above, the length of the figure M31 in the moving direction of the vehicle 221 changes depending on the moving speed of the vehicle 221, and the direction of the figure M31 changes depending on the moving direction of the vehicle 221.
  • the moving body frame may have a shape in which the edge of the moving body is trimmed. This makes it easier for the driver to grasp the shape of the moving body around the host vehicle.
  • the display effect (color, shape, etc.) of the moving object frame may be changed depending on the type of moving object.
  • moving objects may be classified into types other than five types, such as vehicles, motorbikes, bicycles, pedestrians, and the like, and the display effect of moving object frames may be changed depending on the types of moving objects.
  • the number of moving objects that display a superimposed image may be limited by controlling whether or not to display a superimposed image based on the risk level of each moving object.
  • a superimposed image may be displayed only for n moving objects with a higher degree of risk (for example, n moving objects with a higher priority in the order of shorter collision prediction time). Further, for example, when the number of moving objects in the surrounding image exceeds a predetermined threshold, the superimposed image may be displayed only for moving objects having a risk level equal to or higher than a predetermined threshold (for example, a risk level of 3 or higher). Good.
  • the color of the superimposed image is changed according to the risk level of the corresponding moving object
  • other display effects may be changed.
  • the transparency and pattern of the moving object bar may be changed.
  • a plurality of display effects may be changed like the color and transparency of the superimposed image.
  • a superimposed image for a moving object with a risk level 4 may be blinked.
  • the display unit 14 when the display unit 14 is configured by a transmissive display provided to overlap the windshield portion of the host vehicle, AR (augmented reality) with respect to the field of view of a passenger such as a driver of the host vehicle. It is possible to superimpose a superimposed image by, for example.
  • AR augmented reality
  • the information processing unit 13 can be divided into a plurality of parts, a part of the information processing unit 13 and the braking control unit 15 can be combined, or the braking control unit 15 can be included in the information processing unit 13.
  • the present technology can also be applied to a moving body other than a vehicle.
  • the superimposed image is mainly displayed to the driver.
  • the superimposed image may be displayed to a passenger other than the driver.
  • the driver is not substantially present in the vehicle, but a superimposed image is displayed for the passenger boarding the vehicle. Also good.
  • FIG. 12 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 405 is connected to the bus 404.
  • An input unit 406, an output unit 407, a recording unit 408, a communication unit 409, and a drive 410 are connected to the input / output interface 405.
  • the input unit 406 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 407 includes a display, a speaker, and the like.
  • the recording unit 408 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 409 includes a network interface.
  • the drive 410 drives a removable recording medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads, for example, the program recorded in the recording unit 408 to the RAM 403 via the input / output interface 405 and the bus 404 and executes the program. Is performed.
  • the program executed by the computer (CPU 401) can be provided by being recorded in, for example, a removable recording medium 411 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 408 via the input / output interface 405 by attaching the removable recording medium 411 to the drive 410. Further, the program can be received by the communication unit 409 via a wired or wireless transmission medium and installed in the recording unit 408. In addition, the program can be installed in the ROM 402 or the recording unit 408 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a moving object detection unit that detects a moving object around the moving object based on information input from the sensor;
  • An information processing apparatus comprising: an image processing unit configured to generate a first image displayed in association with the moving body, the shape of which changes according to a moving direction and a moving speed of the moving body.
  • the first image includes a bar that extends from the moving body in a moving direction and whose length in the moving direction changes according to a moving speed of the moving body.
  • a width of the bar varies depending on a width of the moving body.
  • the first image includes a fan-shaped figure that spreads from the moving object in a moving direction of the moving object and whose length in the moving direction changes according to a moving speed of the moving object.
  • an angle of the fan-shaped figure changes depending on a prediction accuracy of a moving direction of the moving body.
  • the image processing unit changes a display effect of the first image based on a risk that the moving body collides with or comes into contact with the moving body. apparatus.
  • the image processing unit changes at least one of a color and a transparency of the first image based on the degree of risk.
  • the image processing unit controls whether or not the first image is displayed on the moving body based on a risk of the moving body colliding with or contacting the moving body. Any one of (1) to (7) The information processing apparatus described. (9) The information processing apparatus according to any one of (1) to (8), wherein the image processing unit generates a second image indicating a position of the moving object. (10) The information processing apparatus according to (9), wherein the second image includes a frame surrounding the moving object. (11) The information processing apparatus according to (9) or (10), wherein the image processing unit changes the second image based on a type of the moving object. (12) The type of the moving object is classified into at least four types of vehicle, motorbike, bicycle, and pedestrian. The information processing apparatus according to (11).
  • the information processing apparatus according to any one of (1) to (15), wherein the image processing unit further controls display of a signal indicating a degree of risk that the moving body collides with or contacts any of the surrounding moving bodies.
  • the information processing apparatus according to any one of (1) to (16), further including a motion prediction unit that predicts the motion of the detected moving object.
  • a moving object detection step for detecting moving objects around the moving object A program for executing processing including: an image processing step of generating an image to be displayed in association with the moving body, the shape of which changes depending on the moving direction and moving speed of the moving body around the moving body.
  • a sensor that is placed on the body and used to detect surrounding conditions; Based on the detection result of the sensor, a moving object detection unit that detects surrounding moving objects; A motion prediction unit that predicts the motion of the detected moving object;
  • a moving body comprising: a display unit that displays an image whose shape changes depending on the moving direction and moving speed of the detected moving body.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)

Abstract

本技術は、周辺の動体との衝突又は接触の危険性を分かりやすく通知することができるようにする情報処理装置、情報処理方法、プログラム、及び、移動体に関する。 情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部とを備える。本技術は、例えば、動体への衝突又は接触を防止するための運転支援を行う装置、システム又は車両に適用できる。

Description

情報処理装置、情報処理方法、プログラム、及び、移動体
　本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、周辺の動体との衝突又は接触の危険性を通知する場合に用いて好適な情報処理装置、情報処理方法、プログラム、及び、移動体に関する。
　従来、車両、自転車、歩行者等との衝突又は接触の危険性を運転者に通知する技術が開発されている。例えば、車両の周辺を撮像した画像において、ゼブラパターン等の動的パターンを車両に接近する接近対象物に付与して表示することが提案されている（例えば、特許文献１参照）。
特開２０１４－２３９３２６号公報
　一方、今後、自動運転の普及に伴い、運転操作の少なくとも一部の自動化が進むことにより、運転技量の低い運転者が運転する機会が増えることが予想される。これに対して、より確実に事故を防止するために、衝突又は接触の危険性をより確実に運転者に認識させることが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、周辺の動体との衝突又は接触の危険性を分かりやすく通知することができるようにするものである。
　本技術の第１の側面の情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部とを備える。
　前記第１の画像には、前記動体から移動方向に伸び、前記動体の移動速度により移動方向の長さが変化するバーを含ませることができる。
　前記バーの幅を、前記動体の幅により変化させることができる。
　前記第１の画像には、前記動体から前記動体の移動方向に広がり、前記動体の移動速度により移動方向の長さが変化する扇形の図形を含ませることができる。
　前記扇形の図形の角度を、前記動体の移動方向の予測精度により変化させることができる。
　前記画像処理部には、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記第１の画像の表示効果を変化させることができる。
　前記画像処理部には、前記危険度に基づいて、前記第１の画像の色及び透過度のうち少なくとも１つを変化させることができる。
　前記画像処理部には、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記動体に対する前記第１の画像の表示の有無を制御させることができる。
　前記画像処理部には、前記動体の位置を示す第２の画像を生成させることができる。
　前記第２の画像には、前記動体を囲むフレームを含ませることができる。
　前記画像処理部には、前記動体の種類に基づいて、前記第２の画像を変化させることができる。
　前記動体の種類を、車両、モータバイク、自転車、及び、歩行者の少なくとも４種類に分類することができる。
　前記画像処理部には、前記移動体の周辺の画像である周辺画像、又は、前記移動体の搭乗者の視界に前記第１の画像を重畳させることができる。
　前記画像処理部には、前記周辺画像内又は前記搭乗者の視界内の路面上に前記第１の画像を重畳させることができる。
　前記画像処理部には、前記周辺画像内又は前記搭乗者の視界内の路面上にグリッドを重畳させることができる。
　前記画像処理部には、前記移動体が周辺の動体のいずれかに衝突又は接触する危険度を示す信号の表示をさらに制御させることができる。
　前記検出された動体の動きを予測する動き予測部をさらに設けることができる。
　本技術の第２の側面の情報処理方法は、移動体の周辺の動体の検出を行う動体検出ステップと、移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップとを含む。
　本技術の第２の側面のプログラムは、移動体の周辺の動体の検出を行う動体検出ステップと、移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップとを含む処理をコンピュータに実行させる。
　本技術の第３の側面の移動体は、本体に配置され周辺の状況の検出に用いるセンサと、前記センサの検出結果に基づいて、周辺の動体の検出を行う動体検出部と、前記検出された動体の動きを予測する動き予測部と、前記検出された動体の移動方向及び移動速度により形状が変化する画像を表示する表示部とを備える。
　本技術の第１の側面又は第２の側面においては、移動体周辺の動体の検出が行われ、前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される画像が生成される。
　本技術の第３の側面においては、周辺の動体が検出され、前記検出された動体の動きが予測され、前記検出された動体の移動方向及び移動速度により形状が変化する画像が表示される。
　本技術の第１の側面乃至第３の側面によれば、移動体の周辺の動体の移動方向及び移動速度が示される。特に、本技術の第１の側面乃至第３の側面によれば、周辺の動体との衝突又は接触の危険性を分かりやすく通知することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した車載システムの一実施の形態を示すブロック図である。 カメラの設置位置の例を示す図である。 表示部の設置位置の例を示す図である。 周辺監視処理を説明するためのフローチャートである。 周辺監視画像における周辺画像の配置例を示す図である。 周辺監視画像の第１の例を示す図である。 グリッドの表示位置を説明するための図である。 周辺監視画像の第２の例を示す図である。 周辺監視画像の第３の例を示す図である。 周辺監視画像の第４の例を示す図である。 周辺監視画像の第５の例を示す図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　＜＜１．実施の形態＞＞
　＜１－１．車載システムの構成例＞
　図１は、本技術を適用した車載システムの一実施の形態を示すブロック図である。
　車載システム１０は、車両に搭載され、運転支援を行うシステムである。例えば、車載システム１０は、車両の周辺を監視し、周辺の車両、自転車、人等との衝突又は接触を防止するための処理を行う。より具体的には、車載システム１０は、衝突又は接触の危険性の通知、及び、衝突又は接触を回避するためのブレーキシステム等の制動装置の制御等を行う。
　なお、車載システム１０が搭載される車両は、特に限定されるものではなく、例えば、三輪トラック、小型トラック、小型乗用車、大型乗用車、大型バス、大型トラック、大型特殊車、小型特殊車等を含む。また、以下、車載システム１０が搭載されている車両を自車両とも称し、自車両以外の車両を他車両とも称する。
　車載システム１０は、周辺センサ１１、車両情報センサ１２、情報処理部１３、表示部１４、制動制御部１５、及び、制動装置１６を備える。
　周辺センサ１１は、自車両の周辺の状況の検出に用いる各種のセンサを備える。例えば、周辺センサ１１は、自車両の周辺を撮影するカメラ（画像センサ）、自車両に近い物体の検出に用いる近距離センサ、並びに、自車両から遠い物体の検出に用いる遠距離センサ等を備える。近距離センサとしては、例えば、超音波センサ等が挙げられる。遠距離センサとしては、例えば、レーダ、ライダ、ＴＯＦ（Time of Flight）センサ等が挙げられる。周辺センサ１１の各センサは、それぞれ検出結果を含む情報を示すデータ（以下、周辺センサデータと称する）を周辺状況検出部３１に供給する。
　なお、以下、周辺センサ１１の各カメラにより撮影された画像を周辺画像と称し、周辺画像を示すデータを周辺画像データと称する。周辺画像データは、周辺センサデータの一種である。
　車両情報センサ１２は、自車両の動きの検出に用いる各種のセンサを備える。例えば、車両情報センサ１２は、速度センサ、操舵角センサ、ＧＰＳ（global positioning system）受信機等を備える。車両情報センサ１２は、それぞれ検出結果を示すデータ（以下、車両センサデータと称する）を動き予測部３２に供給する。
　なお、自車両に予め備えられているセンサを、周辺センサ１１及び車両情報センサ１２の一部又は全部に用いるようにしてもよい。
　情報処理部１３は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。情報処理部１３は、周辺状況検出部３１、動き予測部３２、衝突予測部３３、及び、ＨＭＩ（Human Machine Interface）制御部３４を備える。
　周辺状況検出部３１は、周辺センサデータに基づいて、自車両の周辺の状況の検出を行う。周辺状況検出部３１は、空間生成部４１及び動体検出部４２を備える。
　空間生成部４１は、周辺センサデータに基づいて、自車両の周辺の物体の形状や位置等を示す３次元空間マップを生成する。空間生成部４１は、３次元空間マップを動き予測部３２及びＨＭＩ制御部３４に供給する。また、空間生成部４１は、周辺センサデータのうち周辺画像データをＨＭＩ制御部３４に供給する。
　動体検出部４２は、周辺センサデータ及び３次元空間マップに基づいて、自車両の周辺の動体の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３４に供給する。
　動き予測部３２は、車両センサデータに基づいて、自車両の動き予測を行う。また、動き予測部３２は、３次元空間マップ及び動体の検出結果に基づいて、自車両の周辺の動体の動き予測を行う。動き予測部３２は、自車両及び自車両の周辺の動体の動きの予測結果を衝突予測部３３及びＨＭＩ制御部３４に供給する。
　衝突予測部３３は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体の衝突予測を行う。衝突予測部３３は、衝突予測の結果をＨＭＩ制御部３４及び制動制御部１５に供給する。
　ＨＭＩ制御部３４は、自車両のＨＭＩの制御を行う。例えば、ＨＭＩ制御部３４は、３次元空間マップ、自車両の周辺の動体の検出結果、並びに、自車両の周辺の動体の動き予測及び衝突予測の結果に基づいて、自車両の周辺の状況を示す周辺監視画像を表示するための周辺監視画像データを生成する。ＨＭＩ制御部３４は、周辺監視画像データを表示部１４に供給し、周辺監視画像を表示させる。この場合、ＨＭＩ制御部３４は、画像処理部として機能する。
　表示部１４は、例えば、各種のディスプレイ等により構成される。表示部１４は、ＨＭＩ制御部３４の制御の下に、周辺監視画像等の各種の画像を表示する。
　制動制御部１５は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。制動制御部１５は、衝突予測部３３による衝突予測結果に基づいて、制動装置１６を制御して、自車両の緊急停止等を行う。
　制動装置１６は、例えば、自車両のブレーキシステム等により構成される。
　＜１－２．カメラの配置例＞
　図２は、周辺センサ１１が備えるカメラの配置例を示している。
　カメラ１０１は、例えば車両１００のフロントバンパーの左端付近に配置される。カメラ１０１は、運転者の死角となる領域を含む車両１００の左方向を撮影し、撮影の結果得られた画像（以下、左画像と称する）を示す画像データを周辺状況検出部３１に供給する。
　カメラ１０２は、例えば車両１００のフロントバンパーの右端付近に配置される。カメラ１０２は、運転者の死角となる領域を含む車両１００の右方向を撮影し、撮影の結果得られた画像（以下、右画像と称する）を示す画像データを周辺状況検出部３１に供給する。
　カメラ１０３は、例えば車両１００のフロントグリル近傍に配置される。カメラ１０２は、運転者の死角となる領域を含む車両１００の前方を撮影し、撮影の結果得られた画像（以下、前方画像Ａと称する）を示す画像データを周辺状況検出部３１に供給する。
　カメラ１０４は、例えば車両１００の室内のルームミラー近傍に配置される。カメラ１０４は、車両１００の前方を撮影し、撮影の結果得られた画像（以下、前方画像Ｂと称する）を示す画像データを周辺状況検出部３１に供給する。
　＜１－３．表示部１４の配置例＞
　図３は、表示部１４の配置例を示している。
　表示部１４については、自車両に予め備えられている装備を利用してもよいし、専用のディスプレイ等を設けてもよい。例えば、自車両のカーナビゲーションシステムのディスプレイ１３１や、インストルメントパネル１３２を表示部１４として用いることが可能である。また、例えば、表示部１４を自車両のウインドシールド１３３の運転席の前方の領域Ｐ１に重畳して設けられる透過型ディスプレイにより構成することが可能である。
　＜１－４．周辺監視処理＞
　次に、図４のフローチャートを参照して、車載システム１０により実行される周辺監視処理について説明する。この処理は、例えば、自車両を起動し、運転を開始するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
　ステップＳ１において、情報処理部１３は、センサ情報を取得する。具体的には、周辺状況検出部３１は、周辺センサ１１の各センサから周辺センサデータを取得する。動き予測部３２は、車両情報センサ１２の各センサから車両センサデータを取得する。
　ステップＳ２において、空間生成部４１は、空間生成処理を行う。すなわち、空間生成部４１は、周辺センサデータに基づいて、自車両の周辺の物体の形状や位置等を示す３次元空間マップを生成する（或いは、更新する）。なお、自車両の周辺の物体には、動体だけでなく、静止物（例えば、建物、路面等）も含まれる。空間生成部４１は、生成した３次元空間マップを動き予測部３２及びＨＭＩ制御部３４に供給する。
　なお、３次元空間マップの生成方法には、任意の方法を用いることが可能である。例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術が用いられる。
　ステップＳ３において、動体検出部４２は、動体検出を行う。具体的には、動体検出部４２は、周辺センサデータ及び３次元空間マップに基づいて、自車両の周辺の動体の検出を行う。例えば、動体検出部４２は、自車両の周辺の動体の有無、動体の種類、大きさ、形状、位置等の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３４に供給する。
　なお、動体の検出方法には、任意の方法を用いることが可能である。また、検出対象となる動体には、実際に動いている動体だけでなく、停車中の車両や自転車、停止中の歩行者等の一時的に静止している動体も含まれる。
　さらに、動体検出部４２は、例えば、３次元空間マップを用いずに、周辺センサデータのみに基づいて、自車両の周辺の動体の検出を行うことも可能である。この場合、ステップＳ２とステップＳ３の処理を入れ替えることが可能である。
　ステップＳ４において、動体検出部４２は、ステップＳ３の処理の結果に基づいて、周辺に動体が存在するか否かを判定する。周辺に動体が存在しないと判定された場合、処理はステップＳ１に戻る。
　その後、ステップＳ４において、周辺に動体が存在すると判定されるまで、ステップＳ１乃至ステップＳ４の処理が繰り返し実行される。
　一方、ステップＳ４において、周辺に動体が存在すると判定された場合、処理はステップＳ５に進む。
　ステップＳ５において、動き予測部３２は、動き予測を行う。具体的には、動き予測部３２は、車両センサデータに基づいて、自車両の移動速度及び移動方向等の予測を行う。また、動き予測部３２は、３次元空間マップ、及び、自車両の周辺の動体の検出結果に基づいて、自車両の周辺の動体の移動速度及び移動方向等の予測を行う。動き予測部３２は、予測結果を衝突予測部３３及びＨＭＩ制御部３４に供給する。
　なお、動き予測の方法には、任意の方法を用いることが可能である。
　ステップＳ６において、衝突予測部３３は、衝突予測を行う。具体的には、衝突予測部３３は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体が自車両に衝突又は接触する可能性があるか否か、並びに、衝突又は接触する可能性のある動体の衝突又は接触するまでの所要時間（以下、衝突予測時間と称する）を予測する。
　また、衝突予測部３３は、各動体が自車両に衝突又は接触する危険度を予測し、あらかじめ決められた定義に基づきランクを設定する。例えば、静止中の動体、及び、自車両から離れる方向に移動中の動体は、危険度１に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ１秒（例えば、５秒）を超える動体は、危険度２に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ１秒以内、かつ、Ｔ２秒（例えば１秒）を超える動体は、危険度３に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ２秒以内である動体は、危険度４に設定される。
　なお、静止中の動体、及び、自車両から離れる方向に移動中の動体についても、衝突予測時間に基づいて、危険度２乃至４のいずれかに設定するようにしてもよい。
　衝突予測部３３は、衝突予測の結果をＨＭＩ制御部３４及び制動制御部１５に供給する。
　ステップＳ７において、衝突予測部３３は、衝突又は接触の危険性があるか否かを判定する。例えば、衝突予測部３３は、自車両の周辺に危険度３以上の動体が存在しない場合、衝突及び接触の危険性がないと判定し、処理はステップＳ１に戻る。
　その後、ステップＳ７において、衝突又は接触の危険性があると判定されるまで、ステップＳ１乃至ステップＳ７の処理が繰り返し実行される。
　一方、ステップＳ７において、例えば、衝突予測部３３は、自車両の周辺に危険度３以上の動体が存在する場合、衝突又は接触の危険性があると判定し、処理はステップＳ８に進む。
　ステップＳ８において、ＨＭＩ制御部３４は、動体種別を設定する。例えば、ＨＭＩ制御部３４は、動体検出部４２により検出された動体を、車両、モータバイク、自転車、歩行者、及び、その他の５種類に分類する。なお、モータバイクも車両の一種であるが、ここでは、モータバイクと、それ以外の車両とが区別されている。
　ステップＳ９において、ＨＭＩ制御部３４は、重畳画像の表示位置を算出する。重畳画像は、例えば、各動体の位置を示すフレーム（以下、動体フレームと称する）、及び、各動体の予測される動きを示すバー（以下、動き予測バーと称する）を含む。図８を参照して後述するように、運転者に提示される周辺監視画像において、動体フレーム及び動き予測バーが、動体毎に周辺画像に重畳して表示される。
　そこで、ＨＭＩ制御部３４は、３次元空間マップにおける各動体の位置、並びに、各動体の進行方向から見た各動体の高さ及び幅等に基づいて、各動体に対応する動体フレームの３次元空間マップにおける表示位置を算出する。
　また、ＨＭＩ制御部３４は、各動体の動き予測の結果に基づいて、３次元空間マップにおける各動体のｘ秒後（例えば、１秒後）の位置を算出する。次に、ＨＭＩ制御部３４は、３次元空間マップ上の各動体の現在位置とｘ秒後の位置とに基づいて、各動体に対応する動き予測バーの３次元空間マップ上の表示位置を算出する。例えば、ＨＭＩ制御部３４は、現在の各動体の進行方向の先端を始点とし、ｘ秒後の各動体の進行方向の先端を終点とすることにより、動き予測バーの長さ及び方向を算出する。
　ステップＳ１０において、車載システム１０は、周辺の状況を提示する。具体的には、ＨＭＩ制御部３４は、３次元空間マップにおける重畳画像（動体フレーム及び動き予測バー等）の表示位置を、運転者に提示する周辺画像における表示位置に変換する。また、ＨＭＩ制御部３４は、３次元空間マップにおける路面の位置を周辺画像における表示位置に変換し、周辺画像における路面の位置を示すグリッドの表示位置を算出する。そして、ＨＭＩ制御部３４は、周辺監視画像を示す周辺監視画像データを生成し、表示部１４に供給し、周辺監視画像を表示させる。
　ここで、図５乃至図９を参照して、周辺監視画像の具体例について説明する。
　図５は、周辺監視画像における周辺画像の配置例を示している。
　図５のＡの例では、左画像及び右画像が離れて配置されている。左右それぞれの画像は１つの表示部に表示されてもよいし、離れた位置に配置される２つの表示部に分けて表示されてもよい。
　図５のＢの例では、左画像及び右画像が左右に並べて配置されている。
　図５のＣの例では、左画像、前方画像（前方画像Ａ又は前方画像Ｂのいずれか）、及び、右画像が左右に並べて配置されている。
　図５のＤの例では、左画像、前方画像Ａ及び前方画像Ｂの少なくとも一方、並びに、右画像に基づいて生成されたパノラマ画像が配置されている。
　図６は、周辺監視画像の具体例を示している。なお、図６には、周辺監視画像のうち、図５のＡ乃至図５のＣの右画像が表示される部分の例が示されている。また、自車両の周辺に動体が存在しない場合の例が示されている。
　周辺監視画像には、信号２０１及び周辺画像２０２（この例では、右画像）が上下に並べて配置されている。
　信号２０１は、周辺画像内の実世界の信号とは別に独自に表示されるものであり、自車両の周辺の全体的な危険度を示す。例えば、周辺画像２０２内に危険度が３以上の動体が存在しない場合、安全であることを示す信号２０１の青色のランプが点灯する。例えば、周辺画像２０２内に危険度３の動体が存在し、危険度４の動体が存在しない場合、注意が必要であることを示す信号２０１の黄色のランプが点灯する。例えば、周辺画像２０２内に危険度４の動体が存在する場合、危険であることを示す信号２０１の赤色のランプが点灯する。
　なお、信号２０１は、周辺監視画像内の周辺画像毎に表示するようにしてもよいし、全ての周辺画像に対して１つのみ表示するようにしてもよい。前者の場合、各周辺画像内の動体の危険度に基づいて、各周辺画像に対応する信号２０１の点灯するランプが個別に切り替わる。後者の場合、全ての周辺画像内の動体の危険度に基づいて、信号２０１の点灯するランプが切り替わる。
　また、周辺画像２０２内の路面には、グリッドが重畳して表示されている。これにより、運転者が、路面の位置、及び、路面上の動体等の位置や移動方向を把握しやすくなる。このグリッドは、例えば、図７に示されるように、交差点の位置に合わせて表示される。
　図８は、図６の周辺監視画像の周辺画像２０２内に動体が存在する場合の例を示している。この例では、車両２２１、自転車２２２、及び、歩行者２２３が、周辺画像２０２内に存在する。
　車両２２１は、右方向から自車両に接近している。そして、車両２２１に関連づけて、動体フレームＦ１及び動き予測バーＭ１が表示されている。
　動体フレームＦ１は、車両２２１の前方を囲んでいる。従って、動体フレームＦ１のサイズは、周辺画像２０２内の車両２２１の前方の高さ及び幅に合わせて設定される。動体フレームＦ１の上辺には、動体フレームＦ１内の動体の種類が車両であることを示すマークが表示されている。
　動き予測バーＭ１は、車両２２１が走行中の路面に重畳して表示される図形で、車両２２１の移動方向及び移動速度によりその形状が変化する。具体的には、動き予測バーＭ１は、動体フレームＦ１の下辺から路面に沿って車両２２１の移動方向に伸びている。動き予測バーＭ１の先端は、ｘ秒後の車両２２１の先端の予測位置に設定される。従って、動き予測バーＭ１の車両２２１の移動方向の長さは、車両２２１の速度に応じて伸縮する。この動き予測バーＭ１の伸縮により、車両２２１の加速度が示される。例えば、車両２２１が定速走行をしている場合、動き予測バーＭ１の長さはほぼ一定に保たれる。車両２２１が加速している場合、動き予測バーＭ１は次第に長くなる。車両２２１が減速している場合、動き予測バーＭ１は次第に短くなる。また、車両２２１の移動方向に合わせて、動き予測バーＭ１の向きが変化する。動き予測バーＭ１の幅は、動体フレームＦ１の幅（車両２２１の前方の幅）に合わせられる。
　運転者は、動体フレームＦ１により、車両２２１の存在及び現在位置を容易に把握することができる。また、運転者は、動き予測バーＭ１により、車両２２１の予測される動きを容易に把握することができる。
　自転車２２２は、右方向から自車両に接近している。そして、自転車２２２に関連づけて、動体フレームＦ２及び動き予測バーＭ２が表示されている。
　動体フレームＦ２は、自転車２２２の前方を囲んでいる。従って、動体フレームＦ２のサイズは、周辺画像２０２内の自転車２２２及びその運転者の前方の高さ及び幅に合わせて設定される。動体フレームＦ２の上辺には、動体フレームＦ２内の動体の種類が自転車であることを示すマークが表示されている。
　動き予測バーＭ２は、自転車２２２が走行中の路面に重畳して表示され、自転車２２２の移動方向及び移動速度により形状が変化する。具体的には、動き予測バーＭ２は、動体フレームＦ２の下辺から路面に沿って自転車２２２の移動方向に伸びている。動き予測バーＭ２の先端は、ｘ秒後の自転車２２２の先端の予測位置に設定される。従って、動き予測バーＭ２の自転車２２２の移動方向の長さは、動き予測バーＭ１と同様に、自転車２２２の速度に応じて伸縮する。また、自転車２２２の移動方向に合わせて、動き予測バーＭ２の向きが変化する。動き予測バーＭ２の幅は、動体フレームＦ２の幅（自転車２２２及びその運転者の前方の幅）に合わせられる。
　運転者は、動体フレームＦ２により、自転車２２２の存在及び現在位置を容易に把握することができる。また、運転者は、動き予測バーＭ２により、自転車２２２の予測される動きを容易に把握することができる。
　歩行者２２３は、自車両の右方向において静止している。従って、歩行者２２３に関連づけて、動体フレームＦ３のみが表示され、動き予測バーは表示されていない。
　動体フレームＦ３は、歩行者２２３の前方を囲んでいる。従って、動体フレームＦ３のサイズは、周辺画像２０２内の歩行者２２３の前方の高さ及び幅に合わせて設定される。動体フレームＦ３の上辺には、動体フレームＦ３内の動体の種類が歩行者であることを示すマークが表示されている。
　運転者は、動体フレームＦ３により、歩行者２２３の存在及び現在位置を容易に把握することができる。
　また、例えば、重畳画像（動体フレーム及び動き予測バー）の色は、対応する動体の危険度に基づいて変化する。例えば、危険度１の動体に対応する動体フレーム及び動き予測バーの色は、白に設定される。危険度２の動体に対応する動体フレーム及び動き予測バーの色は、緑に設定される。危険度３の動体に対応する動体フレーム及び動き予測バーの色は、黄に設定される。危険度４の動体に対応する動体フレーム及び動き予測バーの色は、赤に設定される。これにより、運転者は、各動体の危険度を容易に把握することができる。
　なお、図８の例では、各動き予測バーを色分けできないため、異なるパターンで示している。
　図９は、車両２２１が危険度４の場合の周辺監視画像の例を示している。この場合、信号２０１の赤のランプが点灯する。また、図８の例と同様に、車両２２１に関連づけて、動体フレームＦ１１及び動き予測バーＭ１１が表示される。ただし、動体フレームＦ１１及び動き予測バーＭ１１の色は、車両２２１が危険度４であることを示す赤に設定される。また、動体フレームＦ１１内に、運転者に注意を促すマークが表示される。
　これにより、運転者は、周辺の動体との衝突又は接触の危険性を迅速に把握し、事故を回避するための対処を行うことができる。
　なお、危険度４の動体が複数存在する場合、それらの全てに対して、図９に示される動体フレームを表示するようにしてもよいし、或いは、最も危険度が高い動体（例えば、最も衝突予測時間が短い動体）に対してのみ、図９に示される動体フレームを表示するようにしてもよい。
　図４に戻り、ステップＳ１１において、制動制御部１５は、緊急停止が必要であるか否かを判定する。例えば、制動制御部１５は、自車両の周辺の動体の中に危険度４の動体が存在しない場合、緊急停止の必要がないと判定し、処理はステップＳ１に戻る。
　その後、ステップＳ１１において、緊急停止が必要であると判定されるまで、ステップＳ１乃至ステップＳ１１の処理が繰り返し実行される。
　一方、ステップＳ１１において、例えば、制動制御部１５は、自車両の周辺の動体の中に危険度４の動体が存在する場合、緊急停止の必要があると判定し、処理はステップＳ１２に進む。
　ステップＳ１２において、制動制御部１５は、制動装置１６を制御して、自車両を緊急停止させる。これにより、自車両の周辺の動体との衝突又は接触が防止される。
　その後、周辺監視処理は終了する。
　以上のようにして、自車両の周辺の動体との衝突又は接触の危険性を分かりやすく通知することができ、運転者が衝突又は接触の危険性を確実に認識することができる。また、危険度４の動体が存在する場合、緊急停止が行われるため、事故の発生が防止される。
　＜＜２．変形例＞＞
　以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
　＜２－１．重畳画像に関する変形例＞
　例えば、上述した動き予測バー以外の画像を用いて、動体の予測される動きを示すようにしてもよい。
　例えば、図１０の扇形の図形Ｍ２１により、車両２２１の予測される動きを示すようにしてもよい。図形Ｍ２１は、路面上に表示され、車両２２１の移動方向に広がっている。その角度（広がり）は、例えば、車両の移動方向の予測精度に基づいて設定される。例えば、予測精度が高い場合、すなわち車両２２１の移動方向の予測結果のバラツキが小さい場合、扇形の角度は小さくなる。一方、予測精度が低い場合、すなわち車両２２１の移動方向の予測結果のバラツキが大きい場合、扇形の角度は大きくなる。また、上述した動き予測バーと同様に、図形Ｍ２１の車両２２１の移動方向の長さは、車両２２１の移動速度により変化し、図形Ｍ２１の向きは、車両２２１の移動方向により変化する。
　また、例えば、図１１の楕円形の図形Ｍ３１により、車両２２１の予測される動きを示すようにしてもよい。図形Ｍ３１は、路面上において、車両２２１の周囲を囲んでいる。上述した動き予測バーと同様に、図形Ｍ３１の車両２２１の移動方向の長さは、車両２２１の移動速度により変化し、図形Ｍ３１の向きは、車両２２１の移動方向により変化する。
　さらに、例えば、動体フレームを、動体のエッジを縁取った形状にしてもよい。これにより、運転者は、自車両の周辺の動体の形状をより把握しやすくなる。
　また、例えば、動体の種類により、動体フレームの表示効果（色、形状等）を変化させるようにしてもよい。さらに、例えば、車両、モータバイク、自転車、歩行者、及び、その他の５種類以外の種類に動体を分類し、動体の種類により、動体フレームの表示効果を変化させるようにしてもよい。
　また、周辺画像内に動体が多く存在する場合、全ての動体に対して重畳画像を表示すると、かえって画像が見づらくなる場合がある。そこで、例えば、各動体の危険度に基づいて、重畳画像の表示の有無を制御することにより、重畳画像を表示する動体の数を制限するようにしてもよい。
　例えば、危険度が上位のｎ個の動体（例えば、衝突予測時間が短い順に上位のｎ個の動体）に対してのみ重畳画像を表示するようにしてもよい。また、例えば、周辺画像内の動体の数が所定の閾値を超える場合、危険度が所定の閾値以上（例えば、危険度３以上）の動体に対してのみ、重畳画像を表示するようにしてもよい。
　また、以上の説明では、対応する動体の危険度に応じて重畳画像の色を変化させる例を示したが、他の表示効果を変化させるようしてもよい。例えば、動体バーの透過度や模様を変化させるようにしてもよい。また、例えば、重畳画像の色と透過度のように複数の表示効果を変化させるようにしてもよい。さらに、例えば、危険度４の動体に対する重畳画像を点滅させてもよい。
　また、例えば、表示部１４が自車両のウインドシールド部分に重畳して設けられた透過型ディスプレイにより構成される場合、自車両の運転者等の搭乗者の視界に対して、ＡＲ（拡張現実）等により重畳画像を重畳させることが可能である。
　＜２－２．システムの構成に関する変形例＞
　図１の車載システム１０の構成例は、その一例であり、必要に応じて変更することが可能である。
　例えば、情報処理部１３を複数に分割したり、情報処理部１３の一部と制動制御部１５とを組み合わせたり、制動制御部１５を情報処理部１３に含めたりすることが可能である。
　また、例えば、周辺センサデータの一部を、自車両の外部（例えば、車道沿い）に設けられたセンサから取得するようにすることが可能である。
　＜２－３．適用例＞
　本技術は、車両以外の移動体にも適用することが可能である。例えば、モータバイクを運転する運転者のヘルメットのシールドに重畳して設けられた透過型ディスプレイにより、運転者の視界に対して、ＡＲ等により重畳画像を重畳させることが可能である。
　また、以上の説明では、主に運転者に対して重畳画像を表示する例を示したが、運転者以外の搭乗者に対して、重畳画像を表示するようにしてもよい。さらに、例えば、車両が全自動運転される場合、実質的に車両内に運転者が存在しない可能性があるが、その車両に搭乗している搭乗者に対して重畳画像を表示するようにしてもよい。
　＜＜３．その他＞＞
　＜３－１．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
　バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９、及びドライブ４１０が接続されている。
　入力部４０６は、入力スイッチ、ボタン、マイクロホン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
　以上のように構成されるコンピュータでは、CPU４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜３－２．構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
　前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部と
　を備える情報処理装置。
（２）
　前記第１の画像は、前記動体から移動方向に伸び、前記動体の移動速度により移動方向の長さが変化するバーを含む
　前記（１）に記載の情報処理装置。
（３）
　前記バーの幅は、前記動体の幅により変化する
　前記（２）に記載の情報処理装置。
（４）
　前記第１の画像は、前記動体から前記動体の移動方向に広がり、前記動体の移動速度により移動方向の長さが変化する扇形の図形を含む
　前記（１）に記載の情報処理装置。
（５）
　前記扇形の図形の角度は、前記動体の移動方向の予測精度により変化する
　前記（４）に記載の情報処理装置。
（６）
　前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記第１の画像の表示効果を変化させる
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記画像処理部は、前記危険度に基づいて、前記第１の画像の色及び透過度のうち少なくとも１つを変化させる
　前記（６）に記載の情報処理装置。
（８）
　前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記動体に対する前記第１の画像の表示の有無を制御する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記画像処理部は、前記動体の位置を示す第２の画像を生成する
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記第２の画像は、前記動体を囲むフレームを含む
　前記（９）に記載の情報処理装置。
（１１）
　前記画像処理部は、前記動体の種類に基づいて、前記第２の画像を変化させる
　前記（９）又は（１０）に記載の情報処理装置。
（１２）
　前記動体の種類は、車両、モータバイク、自転車、及び、歩行者の少なくとも４種類に分類される
　前記（１１）に記載の情報処理装置。
（１３）
　前記画像処理部は、前記移動体の周辺の画像である周辺画像、又は、前記移動体の搭乗者の視界に前記第１の画像を重畳させる
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上に前記第１の画像を重畳させる
　前記（１３）に記載の情報処理装置。
（１５）
　前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上にグリッドを重畳させる
　前記（１３）又は（１４）に記載の情報処理装置。
（１６）
　前記画像処理部は、前記移動体が周辺の動体のいずれかに衝突又は接触する危険度を示す信号の表示をさらに制御する
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記検出された動体の動きを予測する動き予測部を
　さらに備える前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　移動体の周辺の動体の検出を行う動体検出ステップと、
　移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
　を含む情報処理方法。
（１９）
　移動体の周辺の動体の検出を行う動体検出ステップと、
　移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
　を含む処理を実行させるためのプログラム。
（２０）
　本体に配置され周辺の状況の検出に用いるセンサと、
　前記センサの検出結果に基づいて、周辺の動体の検出を行う動体検出部と、
　前記検出された動体の動きを予測する動き予測部と、
　前記検出された動体の移動方向及び移動速度により形状が変化する画像を表示する表示部と
　を備える移動体。
　１０　車載システム，　１１　周辺センサ，　１２　車両情報センサ，　１３　情報処理部，　１４　表示部，　１５　制動制御部，　１６　制動装置，　３１　周辺状況検出部，　３２　動き予測部，　３３　衝突予測部，　３４　ＨＭＩ制御部，　１００　車両，　１０１乃至１０４　カメラ，　２０１　信号，　２０２　周辺画像，　Ｆ１乃至Ｆ３　動体フレーム,　Ｍ１乃至Ｍ１１　動体バー，　Ｍ２１，Ｍ３１　図形

Claims (20)

  1. 　センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
    　前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部と
    　を備える情報処理装置。
  2. 　前記第１の画像は、前記動体から移動方向に伸び、前記動体の移動速度により移動方向の長さが変化するバーを含む
    　請求項１に記載の情報処理装置。
  3. 　前記バーの幅は、前記動体の幅により変化する
    　請求項２に記載の情報処理装置。
  4. 　前記第１の画像は、前記動体から前記動体の移動方向に広がり、前記動体の移動速度により移動方向の長さが変化する扇形の図形を含む
    　請求項１に記載の情報処理装置。
  5. 　前記扇形の図形の角度は、前記動体の移動方向の予測精度により変化する
    　請求項４に記載の情報処理装置。
  6. 　前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記第１の画像の表示効果を変化させる
    　請求項１に記載の情報処理装置。
  7. 　前記画像処理部は、前記危険度に基づいて、前記第１の画像の色及び透過度のうち少なくとも１つを変化させる
    　請求項６に記載の情報処理装置。
  8. 　前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記動体に対する前記第１の画像の表示の有無を制御する
    　請求項１に記載の情報処理装置。
  9. 　前記画像処理部は、前記動体の位置を示す第２の画像を生成する
    　請求項１に記載の情報処理装置。
  10. 　前記第２の画像は、前記動体を囲むフレームを含む
    　請求項９に記載の情報処理装置。
  11. 　前記画像処理部は、前記動体の種類に基づいて、前記第２の画像を変化させる
    　請求項９に記載の情報処理装置。
  12. 　前記動体の種類は、車両、モータバイク、自転車、及び、歩行者の少なくとも４種類に分類される
    　請求項１１に記載の情報処理装置。
  13. 　前記画像処理部は、前記移動体の周辺の画像である周辺画像、又は、前記移動体の搭乗者の視界に前記第１の画像を重畳させる
    　請求項１に記載の情報処理装置。
  14. 　前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上に前記第１の画像を重畳させる
    　請求項１３に記載の情報処理装置。
  15. 　前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上にグリッドを重畳させる
    　請求項１３に記載の情報処理装置。
  16. 　前記画像処理部は、前記移動体が周辺の動体のいずれかに衝突又は接触する危険度を示す信号の表示をさらに制御する
    　請求項１に記載の情報処理装置。
  17. 　前記検出された動体の動きを予測する動き予測部を
    　さらに備える請求項１に記載の情報処理装置。
  18. 　移動体の周辺の動体の検出を行う動体検出ステップと、
    　移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
    　を含む情報処理方法。
  19. 　移動体の周辺の動体の検出を行う動体検出ステップと、
    　移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
    　を含む処理をコンピュータに実行させるためのプログラム。
  20. 　本体に配置され周辺の状況の検出に用いるセンサと、
    　前記センサの検出結果に基づいて、周辺の動体の検出を行う動体検出部と、
    　前記検出された動体の動きを予測する動き予測部と、
    　前記検出された動体の移動方向及び移動速度により形状が変化する画像を表示する表示部と
    　を備える移動体。
PCT/JP2017/038706 2016-11-09 2017-10-26 情報処理装置、情報処理方法、プログラム、及び、移動体 WO2018088224A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/339,937 US20200051435A1 (en) 2016-11-09 2017-10-26 Information processing apparatus, information processing method, program, and movable object
JP2018550134A JPWO2018088224A1 (ja) 2016-11-09 2017-10-26 情報処理装置、情報処理方法、プログラム、及び、移動体
CN201780067614.3A CN109891475A (zh) 2016-11-09 2017-10-26 信息处理设备、信息处理方法、程序和移动体
EP17869421.2A EP3540712A4 (en) 2016-11-09 2017-10-26 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND MOBILE BODY

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016218521 2016-11-09
JP2016-218521 2016-11-09

Publications (1)

Publication Number Publication Date
WO2018088224A1 true WO2018088224A1 (ja) 2018-05-17

Family

ID=62109239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038706 WO2018088224A1 (ja) 2016-11-09 2017-10-26 情報処理装置、情報処理方法、プログラム、及び、移動体

Country Status (5)

Country Link
US (1) US20200051435A1 (ja)
EP (1) EP3540712A4 (ja)
JP (1) JPWO2018088224A1 (ja)
CN (1) CN109891475A (ja)
WO (1) WO2018088224A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132306A1 (ja) * 2019-12-24 2021-07-01 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
DE102016220651A1 (de) * 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
US11155260B1 (en) * 2016-12-09 2021-10-26 United Services Automobile Association (Usaa) Autonomous vehicle entity vector-based situational awareness scoring matrix
KR20190033159A (ko) * 2017-09-21 2019-03-29 주식회사 만도 충돌 방지 제어 장치 및 방법
US11282493B2 (en) * 2018-10-05 2022-03-22 Westinghouse Air Brake Technologies Corporation Adaptive noise filtering system
WO2020235401A1 (ja) * 2019-05-21 2020-11-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN110349425B (zh) * 2019-08-13 2020-11-13 浙江吉利汽车研究院有限公司 一种用于车路协同自动驾驶系统的重要目标生成方法
DE102020115149A1 (de) * 2020-06-08 2021-12-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Anpassen eines Fahrverhaltens eines Kraftfahrzeugs
JP2023028536A (ja) * 2021-08-19 2023-03-03 トヨタ自動車株式会社 自動車
US11697435B1 (en) * 2022-12-09 2023-07-11 Plusai, Inc. Hierarchical vehicle action prediction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042300A (ja) * 2000-07-28 2002-02-08 Aisin Seiki Co Ltd 車両用接近危険度検出装置
JP2011199501A (ja) * 2010-03-18 2011-10-06 Aisin Seiki Co Ltd 画像表示装置
WO2011125135A1 (ja) * 2010-04-09 2011-10-13 株式会社 東芝 衝突回避支援装置
JP2013156794A (ja) * 2012-01-30 2013-08-15 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置
JP2015138441A (ja) * 2014-01-23 2015-07-30 株式会社デンソー 運転支援装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10359413A1 (de) * 2003-12-18 2005-07-14 Robert Bosch Gmbh Display-Einrichtung für Kraftfahrzeuge und Verfahren zur Kollisionswarnung
DE102006011481A1 (de) * 2006-03-13 2007-09-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Führens eines Fahrzeugs
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP4990421B2 (ja) * 2010-03-16 2012-08-01 三菱電機株式会社 路車協調型安全運転支援装置
CN102170558B (zh) * 2010-12-30 2012-12-19 财团法人车辆研究测试中心 障碍物侦测警示系统及方法
CN102910130B (zh) * 2012-10-24 2015-08-05 浙江工业大学 一种现实增强型的驾驶辅助预警系统
DE102013210826A1 (de) * 2013-06-11 2014-12-11 Robert Bosch Gmbh Verfahren zum Betreiben einer Anzeigevorrichtung, Computer-Programmprodukt, Anzeigevorrichtung
JP6346614B2 (ja) * 2013-09-13 2018-06-20 マクセル株式会社 情報表示システム
JP2015176324A (ja) * 2014-03-14 2015-10-05 株式会社デンソー 車両用警告装置
JP6447011B2 (ja) * 2014-10-29 2019-01-09 株式会社デンソー 運転情報表示装置および運転情報表示方法
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042300A (ja) * 2000-07-28 2002-02-08 Aisin Seiki Co Ltd 車両用接近危険度検出装置
JP2011199501A (ja) * 2010-03-18 2011-10-06 Aisin Seiki Co Ltd 画像表示装置
WO2011125135A1 (ja) * 2010-04-09 2011-10-13 株式会社 東芝 衝突回避支援装置
JP2013156794A (ja) * 2012-01-30 2013-08-15 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置
JP2015138441A (ja) * 2014-01-23 2015-07-30 株式会社デンソー 運転支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3540712A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132306A1 (ja) * 2019-12-24 2021-07-01 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム
JP7472491B2 (ja) 2019-12-24 2024-04-23 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
CN109891475A (zh) 2019-06-14
US20200051435A1 (en) 2020-02-13
JPWO2018088224A1 (ja) 2019-09-26
EP3540712A1 (en) 2019-09-18
EP3540712A4 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
WO2018088224A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP6084598B2 (ja) 標識情報表示システム及び標識情報表示方法
JP6447468B2 (ja) 運転支援装置
JP6372402B2 (ja) 画像生成装置
US9469298B2 (en) Driving support apparatus and driving support method
JP6639194B2 (ja) 情報表示装置
WO2016186039A1 (ja) 自動車周辺情報表示システム
JP4517393B2 (ja) 運転支援装置
US9196163B2 (en) Driving support apparatus and driving support method
JP5169884B2 (ja) ヘッドアップディスプレイ装置
JP7047763B2 (ja) 運転支援装置および方法、移動体、並びにプログラム
US11873007B2 (en) Information processing apparatus, information processing method, and program
JP2008293099A (ja) 車両の運転支援装置
US10759334B2 (en) System for exchanging information between vehicles and control method thereof
CN109562757B (zh) 驾驶辅助装置、驾驶辅助方法、移动体和程序
CN109720343B (zh) 车辆控制设备
WO2018180523A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP6599387B2 (ja) 情報報知装置、移動体及び情報報知システム
WO2018173454A1 (ja) 情報表示装置、情報表示方法及びプログラム
JP2019011055A (ja) 運転支援装置
CN116935695A (zh) 用于具有增强现实抬头显示器的机动车辆的碰撞警告系统
KR20170069645A (ko) 보행자 추돌 방지 시스템 및 이의 실행 방법
JP2012156903A (ja) 車両周辺監視装置
WO2023157721A1 (ja) 車両制御装置、車両制御方法
JP7213279B2 (ja) 運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17869421

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018550134

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017869421

Country of ref document: EP

Effective date: 20190611