WO2022154018A1 - 運転支援システム、車両、撮影装置 - Google Patents

運転支援システム、車両、撮影装置 Download PDF

Info

Publication number
WO2022154018A1
WO2022154018A1 PCT/JP2022/000771 JP2022000771W WO2022154018A1 WO 2022154018 A1 WO2022154018 A1 WO 2022154018A1 JP 2022000771 W JP2022000771 W JP 2022000771W WO 2022154018 A1 WO2022154018 A1 WO 2022154018A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
blind spot
unit
area
information
Prior art date
Application number
PCT/JP2022/000771
Other languages
English (en)
French (fr)
Inventor
勇人 福家
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP22739423.6A priority Critical patent/EP4280195A1/en
Publication of WO2022154018A1 publication Critical patent/WO2022154018A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • This disclosure relates to driver assistance systems, vehicles, and imaging devices.
  • the peripheral monitoring device described in Patent Document 1 discloses a technique for displaying the positions of obstacles detected by a plurality of radars on a bird's-eye view showing the surroundings of a vehicle in which images taken by a plurality of photographing devices are combined. Has been done.
  • the driving support system includes a first photographing unit that photographs the surroundings of the vehicle, and a photographing area of the first photographing unit by an object around the vehicle based on the position information indicating the position of the vehicle.
  • a photographing device including a vehicle controller including an area acquisition unit that acquires an area that becomes a blind spot in the vehicle as a blind spot area, an information acquisition unit that acquires information about the blind spot area, and a second photographing unit that photographs the surroundings of the vehicle.
  • the vehicle controller further includes a receiving unit that receives an image of the blind spot region photographed by the second photographing unit.
  • the vehicle according to the embodiment of the present disclosure has a blind spot in a region that becomes a blind spot of the first photographing portion due to a surrounding object based on the first photographing portion for photographing the surroundings and the position information indicating the current position. It includes an area acquisition unit that acquires an area as an area, and a receiving unit that acquires an image of the blind spot area captured based on information about the blind spot area from a photographing device.
  • the imaging device sets an area that becomes a blind spot of a first imaging unit that photographs an imaging area around the vehicle by an object around the vehicle based on position information indicating the position of the vehicle.
  • An information acquisition unit that acquires information about the blind spot area from the vehicle controller that acquires the blind spot area, a second photographing unit that photographs the surroundings of the vehicle, and an image of the blind spot area photographed by the second photographing unit of the vehicle or the vehicle. It includes a transmitter for transmitting to the controller.
  • the driving support system 10 of the present embodiment includes a vehicle 110, a controller 120 which is a vehicle controller, a flying object 130, a display device 140, and the like.
  • the driving support system 10 supports remote control of the vehicle 110 by an operator of a driving support center in a remote location.
  • the controller 120 may be mounted on the vehicle 110.
  • the projectile 130 may be mounted on the vehicle 110 and may be configured to be able to take off and land in response to an instruction from the controller 120.
  • the display device 140 is installed in the driving support center and provides an operator who remotely controls the vehicle 110 with an image of the surroundings of the vehicle 110.
  • the flying object 130 and the display device 140 are connected to the controller 120 via a communication cable, a wireless network, or the like, respectively, to transmit and receive information.
  • the vehicle 110, the flying object 130, and the display device 140 are wirelessly communicated with each other.
  • the line connecting each functional block shows the flow of control signals or information to be communicated. Communication between functional blocks may be wired communication or wireless communication.
  • the vehicle 110 includes a vehicle communication unit 111, a vehicle camera 112 as a first photographing unit, a range finder 113 as a range finder, a position sensor 114, and the like.
  • the vehicle 110 may include, for example, an automobile, an industrial vehicle, a railroad vehicle, a living vehicle, a fixed-wing aircraft traveling on a runway, and the like.
  • Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses and the like.
  • Industrial vehicles may include, for example, industrial vehicles for agriculture and construction.
  • Industrial vehicles may include, for example, forklifts, golf carts, and the like.
  • Industrial vehicles for agriculture may include, for example, tractors, tillers, transplanters, binders, combines, lawnmowers and the like.
  • Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, mobile cranes, dump trucks, road rollers and the like.
  • the vehicle may include a vehicle that travels manually.
  • the vehicle communication unit 111 transmits the video captured by the vehicle camera 112 to the controller communication unit 121.
  • the vehicle communication unit 111 transmits the range finder information measured by the range finder 113, the position information measured by the position sensor 114, and the traveling direction of the vehicle 110 to the controller communication unit 121.
  • the vehicle camera 112 is installed inside or outside the vehicle 110, and images the surroundings of the vehicle 110 to acquire an image.
  • the vehicle camera 112 is installed so as to photograph the front of the vehicle 110.
  • the image acquired by the vehicle camera 112 may approximate the scenery that can be visually recognized from the driver's seat of the vehicle 110.
  • the vehicle camera 112 may be installed so as to photograph the rear or side of the vehicle 110.
  • the range finder 113 measures the distance from the vehicle 110 to surrounding objects and outputs it as range finder information.
  • the rangefinder 113 may include, for example, a laser radar, a millimeter wave radar, an ultrasonic sensor, and the like.
  • the measured distance measurement information is transmitted by the vehicle communication unit 111 to the controller communication unit 121.
  • the position sensor 114 measures the current position of the vehicle 110.
  • the position sensor 114 may include a GPS (Global Positioning System), a magnetic azimuth meter, and the like. GPS acquires the absolute position of the vehicle 110 in the horizontal coordinate system by latitude and longitude.
  • the magnetic azimuth meter measures the absolute azimuth angle of the vehicle 110 and acquires the traveling direction of the vehicle 110.
  • the measured current position and traveling direction of the vehicle 110 are transmitted to the controller communication unit 121 by the vehicle communication unit 111 as position information.
  • the controller 120 includes a controller communication unit 121, a calculation unit 122, a three-dimensional map database 123, and the like, which are receiving units.
  • the arithmetic unit 122 includes at least one processor in order to provide control and processing power for performing various functions, as described in more detail below.
  • at least one processor is executed as a single integrated circuit (IC (Integrated Circuit)) or as a plurality of communicably connected integrated circuit ICs and / or discrete circuits (discrete circuits).
  • IC integrated Circuit
  • At least one processor can be run according to a variety of known techniques.
  • the processor comprises, for example, one or more circuits or units configured to perform one or more data calculation procedures or processes by executing instructions stored in the associated memory.
  • the processor may be firmware (eg, a discrete logic component) configured to perform one or more data computation procedures or processes.
  • the processor is one or more processors, controllers, microprocessors, microprocessors, application specific integrated circuits (ASICs), digital signal processing units, programmable logic devices, field programmable. The functions described below may be performed, including gate arrays, or any combination of these devices or configurations, or other known device and configuration combinations.
  • the calculation unit 122 controls the controller communication unit 121, the calculation unit 122, the three-dimensional map database 123, and the like.
  • the controller 120 may be arranged in the vehicle 110, or may be arranged in a place other than the vehicle 110. In the first embodiment, the controller 120 is mounted on the vehicle.
  • the controller communication unit 121 receives the image taken by the vehicle camera 112, the range finder information measured by the range finder 113, and the position information measured by the position sensor 114 from the vehicle communication unit 111.
  • the controller communication unit 121 transmits the flight position information calculated based on the blind spot region estimated by the calculation unit 122 to the flying object communication unit 131.
  • the blind spot area is an area that cannot be observed because the field of view is obstructed by an object in the area that can be observed by the vehicle camera 112.
  • the controller communication unit 121 receives the image captured by the flying object camera 132 from the flying object communication unit 131.
  • the controller communication unit 121 transmits video information to the display device communication unit 141.
  • the calculation unit 122 includes a blind spot estimation unit 122a, a flight calculation unit 122b, and an image processing unit 122c, which are software.
  • the calculation unit 122 functions as an area acquisition unit together with the blind spot estimation unit 122a.
  • the calculation unit 122 uses these software to estimate the blind spot area, calculate the flight position of the flying object 130, and perform image processing on the image obtained by capturing the blind spot area.
  • the blind spot estimation unit 122a, the flight calculation unit 122b, and the image processing unit 122c may be stored in a storage device (not shown).
  • the blind spot estimation unit 122a estimates the area where the blind spot occurs within the range of the field of view from the vehicle 110 from the position information of the vehicle 110 measured by the position sensor 114 and the map information acquired from the three-dimensional map database 123.
  • the blind spot estimation unit 122a generates a blind spot for the vehicle 110 from the distance information to the object around the vehicle 110 measured by the distance measuring sensor 113, the position information of the vehicle 110, and the map information acquired from the three-dimensional map database 123. Estimate the area to be used.
  • the map information is three-dimensional map information around the vehicle 110, and is acquired from the three-dimensional map database 123 based on the position information of the vehicle 110. The method of estimating the blind spot region will be described later.
  • the flight calculation unit 122b calculates the flight position of the flying object 130.
  • the flight position is a position where the blind spot region estimated by the blind spot estimation unit 122a can be photographed by the flying object camera 132.
  • the flight position of the projectile 130 is output as flight position information.
  • the flight position information may include coordinate information and the like. The method of calculating the flight position will be described later.
  • the image processing unit 122c performs image processing on the image captured by the flying object camera 132. Specifically, for example, the image processing unit 122c recognizes a predetermined object in the image and classifies the type of the object.
  • the types of predetermined objects may include, for example, buildings, vehicles, bicycles, people.
  • the image processing unit 122c may determine from the type of the object whether it is a dangerous object for the vehicle 110.
  • the image processing unit 122c may determine the degree of danger of the object based on the moving speed and direction of the object and the traveling direction of the vehicle 110.
  • the image processing unit 122c acquires an image taken by the vehicle camera 112 arranged in the vehicle 110 from the controller communication unit 121.
  • the image processing unit 122c superimposes an icon according to the type of the classified object and the degree of danger of the object on the image captured by the vehicle camera 112. How to find the position where the icons are superimposed will be described later.
  • the video on which the icon is superimposed is transmitted by the controller communication unit 121 to the display device communication unit 141.
  • the three-dimensional map database 123 is composed of a storage medium that stores and manages three-dimensional map information of the traveling area of the vehicle 110.
  • the three-dimensional map information includes road information and object information which is information on an object other than the road.
  • the road information may include, for example, three-dimensional coordinates such as roads, lanes, white lines, and signs, shapes, sizes, colors, and types.
  • the object information may include three-dimensional coordinates, shape, size, color, type, etc. of buildings, facilities, tunnels, and the like.
  • the shape and size are represented by, for example, the three-dimensional coordinates of a plurality of endpoints forming the contour of the object.
  • a GIS (Geographic Information System) database may be used as the three-dimensional map database.
  • the flying object 130 which is a photographing device, includes a flying object communication unit 131, which is an information acquisition unit, a flying object camera 132, which is a second photographing unit, a flying object control unit 133, and the like.
  • the projectile 130 may include an unmanned aerial vehicle called a UAV (Unmanned Aerial Vehicle) or a drone.
  • UAV Unmanned Aerial Vehicle
  • the projectile 130 is mounted on the vehicle 110, and may take off from the vehicle 110 and fly, for example, when the vehicle 110 is remotely controlled from the driving support center.
  • the projectile 130 may be able to hover at a predetermined position during flight and may be capable of cruising at high speed.
  • the flying object communication unit 131 receives the flight position information of the flying object 130 from the controller communication unit 121.
  • the flying object communication unit 131 transmits the image captured by the flying object camera 132 to the controller communication unit 121.
  • the flying object camera 132 is installed on the flying object 130 and captures the surroundings of the flying object 130 to acquire an image.
  • the flying object camera 132 may be configured so that the shooting direction can be changed by a driving device.
  • the projectile camera 132 may be installed so as to photograph the front, bottom, rear, and sides of the projectile 130. In the first embodiment, when the flying object camera 132 photographs the blind spot region, it shall photograph the lower part of the flying object 130.
  • the flying object control unit 133 controls a flight mechanism (not shown) to move the flying object 130 to the position indicated by the flight position information.
  • the display device 140 includes a display device communication unit 141, a display unit 142, and the like.
  • the display device 140 is a device that displays an image created by the image processing unit 122c.
  • the display device 140 may be arranged at the driving support center or may be arranged at another place.
  • the display device communication unit 141 receives the video created by the image processing unit 122c from the controller communication unit 121.
  • the display unit 142 displays the image received by the display device communication unit 141 on the display device 140.
  • the displayed image is used when the operator of the driving support center remotely controls the vehicle 110.
  • the vehicle communication unit 111 transmits the range finder information measured by the range finder 113 and the position information measured by the position sensor 114 to the controller communication unit 121 (step S100).
  • the blind spot estimation unit 122a estimates the area where the blind spot occurs.
  • the flight calculation unit 122b calculates the position where the flying object camera 132 can capture the blind spot region estimated by the blind spot estimation unit 122a as the flight position.
  • the blind spot area is an area on the road that cannot be observed because the field of view is obstructed by an object in the area that can be observed by the vehicle camera 112.
  • the controller communication unit 121 transmits the flight position information calculated by the flight calculation unit 122b to the flying object communication unit 131 (step S200).
  • the flying object control unit 133 controls a flight mechanism (not shown) to move the flying object 130.
  • the flying object camera 132 moves to a position in the sky indicated by the flight position information
  • the flying object camera 132 captures the blind spot region estimated by the blind spot estimation unit 122a.
  • the captured video is transmitted to the controller communication unit 121 (step S300).
  • the image processing unit 122c When the controller 120 acquires the image captured by the flying object camera 132, the image processing unit 122c performs image processing on the image captured by the vehicle camera 112. Specifically, the image processing unit 122c superimposes the icon on the image captured by the vehicle camera 112 acquired from the vehicle communication unit 111. The icon may correspond to the type of the object classified by the image processing unit 122c, which is reflected in the image captured by the flying object camera 132.
  • the controller communication unit 121 transmits the video on which the icon is superimposed to the display device communication unit 141 (step S400).
  • the display device 140 displays the acquired image on the display unit 142 (step S500).
  • the video is used by the operator of the driving support center to remotely control the vehicle 110.
  • the operator of the driving support center By superimposing the icon on the image, the operator of the driving support center in a remote place can grasp the object existing in the blind spot area.
  • the type and display form of the icon may depend on the degree of danger of the object recognized by the image processing unit 122c. The operator can determine whether or not the object is dangerous from the type of icon and the display form.
  • the controller communication unit 121 acquires the range finder information measured by the range finder 113 and the position information measured by the position sensor 114 (step S211).
  • the distance measurement information may include information on the distance from the vehicle 110 to surrounding objects and the like.
  • the position information may include information on the current position of the vehicle 110 and the like.
  • the calculation unit 122 acquires map information, which is three-dimensional map information around the vehicle 110, from the three-dimensional map database 123 based on the position information acquired in step S211 (step S212).
  • the calculation unit 122 determines from the rangefinder information, the position information, and the map information whether or not there is a blind spot whose field of view is blocked by an object in the area that can be observed from the vehicle 110 (step S213).
  • the object may include an object registered in the map information and an object not registered in the map information.
  • Objects registered in the map information may include, for example, buildings, signs, facilities, tunnels, mountains, and the like.
  • Objects that are not registered in the map information may include, for example, large vehicles that are stopped, pedestrians, newly constructed buildings that are not registered in the map information, and other obstacles that exist on the road.
  • step S213 If it is determined in step S213 that there is no blind spot, the process ends.
  • the blind spot estimation unit 122a estimates the blind spot region to be photographed by the flying object 130 (step S214). The method of estimating the blind spot region will be described later.
  • the flight calculation unit 122b calculates the flight position of the flying object 130 (step S215).
  • the flight position is a position where the blind spot region estimated in step S214 can be photographed by the flying object camera 132. The method of calculating the flight position will be described later.
  • the controller communication unit 121 transmits the flight position calculated in step S215 to the flying object communication unit 131 (step S216), and ends the process.
  • the objects 60a, 60b, 60c, and 60d may be, for example, a building constructed facing a road.
  • the vehicle 110 is observing the intersection formed by the objects 60a, 60b, 60c, 60d from the road facing the objects 60b and 60d.
  • the blind spot estimation unit 122a determines whether or not there is a blind spot area that becomes a blind spot from the position information and the map information. Specifically, the range of the field of view from the vehicle 110 (for example, the range of the field of view from the vehicle camera 112, hereinafter referred to as a shooting area) is superposed on the position of the object registered in the map information. At that time, the area where the vehicle 110 cannot see ahead due to the presence of the object (that is, the area where the field of view is obstructed) is determined as the blind spot area.
  • the shooting area is defined by a fan shape with a radius R (visibility distance of the vehicle camera 112) and a central angle ⁇ (angle of view of the vehicle camera 112).
  • a blind spot area is formed by blocking the field of view of the vehicle camera with the object.
  • the shooting area coincides with the predetermined distance range.
  • the blind spot region is shown by a broken line, a part of the outline of the object, and the line-of-sight direction from the vehicle-mounted camera 112.
  • the blind spot estimation unit 122a obtains the point A (first position), which is the point closest to the vehicle 110, among the areas on the road where the blind spot occurs from the photographed area and the map information. Point A is the point closest to the vehicle 110 among the contours of the object adjacent to the blind spot area.
  • the blind spot estimation unit 122a obtains the point B (second position), which is the point farthest from the point A in the blind spot area to which the point A belongs.
  • the blind spot area is included in the range of the circle whose diameter is the point A and the point B in the same blind spot area.
  • the blind spot estimation unit 122a determines whether or not there is a blind spot region to be a blind spot from the distance measurement information, the position information, and the map information.
  • the blind spot estimation unit 122a determines that the area where the field of view from the vehicle 110 is obstructed by an object not registered in the map information is the blind spot area.
  • a blind spot area exists in the photographing area due to the object 60e.
  • a predetermined distance range which is a shooting area, is defined by a fan shape having a radius R (viewing distance of the vehicle camera 112) and a central angle ⁇ (angle of view of the vehicle camera 112) as described above.
  • the blind spot region is shown by a broken line, a part of the outline of the object, and the line-of-sight direction from the vehicle-mounted camera 112.
  • the blind spot estimation unit 122a obtains a point A which is the closest point to the vehicle 110 among the areas where the blind spot is generated from the photographing area and the distance measurement information. Since the size and shape of the object not registered in the map information is unknown, the point closest to the vehicle 110 in the area where the object exists is the point A.
  • the distance r from the vehicle 110 to the object 60e is measured by the range finder 113.
  • the blind spot estimation unit 122a obtains the point B, which is the point farthest from the point A in the blind spot area to which the point A belongs.
  • the blind spot area is included in the range of a circle whose diameter is a straight line connecting the points A and B in the same blind spot area.
  • step S215 A method of calculating the flight position based on the blind spot region estimated by the blind spot estimation unit 122a in step S215 will be described with reference to FIG.
  • the flight position is a position where the flying object 130 can photograph this circle from the flying object camera 130 mounted on the flying object 130.
  • the flying object camera 132 faces directly below the flying object 130 when photographing the blind spot area. Therefore, the flight position can be calculated based on the angle of view ⁇ of the flying object camera 132 mounted on the flying object 130 and the distance from the point A to the point B.
  • the field of view of the flying object camera 130 can be defined by a cone having the angle of view ⁇ of the flying object camera 132 as the apex angle. Therefore, the flight position can be the position of the apex of the cone whose bottom surface is a circle whose diameter is from point A to point B and whose apex angle is ⁇ . That is, the altitude of the flight position corresponds to the height of the cone.
  • the flight position of the flying object 130 is limited to the example of the present embodiment as long as the flying object camera 132 can capture a circular region having a diameter of a straight line connecting the points A and B. is not.
  • the controller communication unit 121 acquires the image captured by the flying object camera 132 (step S401).
  • the image processing unit 122c recognizes the object in the image acquired in step S401 and classifies the type of the object (step S402).
  • Types of objects may include, for example, buildings, vehicles, bicycles, people, and the like.
  • the image processing unit 122c determines whether or not the object is dangerous to the vehicle 110 from the positions of the objects classified in step S402 (step S403).
  • the dangerous object is, for example, an object that may collide with the vehicle 110, and may be, for example, a vehicle, a bicycle, a person, or the like.
  • step S403 If it is determined in step S403 that the recognized object is not a dangerous object for the vehicle 110, the process ends.
  • the image processing unit 122c estimates the degree of danger of the object based on the moving speed / direction of the object and the traveling direction of the vehicle 110 (step S404).
  • the risk level may be divided into multiple levels.
  • the controller communication unit 121 acquires the image captured by the vehicle camera 112 (step S405).
  • the image processing unit 122c calculates which position on the image captured by the vehicle camera 112 corresponds to the position of the object for which the degree of danger has been determined in step S404.
  • the image processing unit 122c superimposes an icon corresponding to the type classified in step S402 on the position where an object dangerous to the vehicle 110 exists on the image acquired in step S405 (step S406).
  • the display form of the icon may be changed according to the degree of danger of the object.
  • the change in the display form may be, for example, a change in color, transmittance, saturation, lightness, size, or the like, or a change in a dynamic display method such as blinking or moving.
  • the controller communication unit 121 transmits the video on which the icon created in step S406 is superimposed to the display device communication unit 141 (step S407).
  • FIG. 8 is a diagram showing an image in which an icon is superimposed on an image taken by the vehicle camera 112.
  • the image processing unit 122c superimposes the icons 70a, 70b, and 70c corresponding to the type of the object recognized by the image processing unit 122c on the image captured by the vehicle camera 112 to generate the image. ..
  • the objects 60a, 60b, 60c, and 60d are buildings registered in the map information acquired from the three-dimensional map database 123.
  • the icons 70a and 70b correspond to objects that are determined to be dangerous among the objects existing at positions on the road whose field of view is blocked by the objects 60b and 60d that are buildings.
  • the display positions of the icons 70a and 70b correspond to the positions of objects in the image captured by the flying object camera 132.
  • the image processing unit 122c may change the display form of the icons 70a, 70b, 70c according to the degree of danger.
  • the change in the display form may be, for example, a change in color, transmittance, saturation, lightness, size, or the like, or a change in a dynamic display method such as blinking or moving.
  • the image processing unit 122c may display the icons 70a, 70b, and 70c in different colors depending on the degree of danger.
  • the icon 70a which is close to the vehicle 110 and has a high risk of approaching the vehicle 110, may be displayed in red.
  • the icon 70c which is farther from the vehicle 110 than the icon 70a but has a high risk of approaching the vehicle 110, may be displayed in yellow.
  • the icon 70b which is close to the vehicle 110 but has a low risk of approaching the vehicle 110, may be displayed in blue.
  • the driving support system 20 of the present embodiment includes a vehicle 210, a controller 220, a roadside unit 230, a display device 240, and the like.
  • the driving support system 20 is different from the driving support system 10 according to the first embodiment in that it includes a roadside machine database 224 and a roadside machine 230 which is a photographing device.
  • the configuration and operation of the vehicle 210 and the display device 240 are the same as those of the vehicle 110 and the display device 140 according to the first embodiment, and thus the description thereof will be omitted.
  • the roadside unit 230 is connected to the controller 220 via a communication cable, wireless network, etc. to transmit and receive information.
  • the controller 220 includes a controller communication unit 221, a calculation unit 222, a three-dimensional map database 223, a roadside machine database 224, and the like.
  • the controller 220 controls the controller communication unit 221 and the calculation unit 222, the three-dimensional map database 223, the roadside machine database 224, and the like.
  • the controller communication unit 221 transmits a shooting instruction to the roadside unit 230 capable of shooting the blind spot area.
  • the controller communication unit 221 receives the image captured by the roadside camera 232 from the roadside unit communication unit 231.
  • the calculation unit 222 includes software such as a blind spot estimation unit 222a, a roadside machine selection unit 222d, and an image processing unit 222c.
  • the roadside machine selection unit 222d selects the roadside machine 230 for photographing the blind spot area.
  • the roadside machine selection unit 222d may be stored in a storage device (not shown).
  • the roadside machine selection unit 222d acquires information on the roadside machine 230 capable of photographing the blind spot area from the roadside machine database 224.
  • the image processing unit 222c performs image processing of the image taken by the roadside camera 232. Since the configuration and operation of the image processing unit 222c are the same as those of the image processing unit 122c according to the first embodiment, the description thereof will be omitted.
  • the roadside machine database 224 is composed of a storage medium that stores and manages roadside machine information, which is information about roadside machines installed in the traveling area of the vehicle 210.
  • the roadside machine information may include coordinate information of the position where the roadside machine is installed, information on an area where the roadside machine can be photographed, and the like.
  • the roadside machine 230 includes a roadside machine communication unit 231 which is an information acquisition unit, a roadside machine camera 232 which is a second photographing unit, and the like.
  • the roadside machine 230 is positioned as V2I (Vehicle to Infrastructure) and is a device that performs coordinated control of a person and a vehicle through collection and distribution of signal information and surrounding information at an intersection.
  • V2I Vehicle to Infrastructure
  • the roadside unit 230 may send and receive information via a communication network or the like with a vehicle equipped with a system capable of communicating with the roadside unit 230.
  • the signal information may include coordinate information of the position of a traffic light installed at an intersection, color information displayed on the traffic light, and the like.
  • the surrounding information may include information about the surroundings of the roadside aircraft.
  • the roadside unit communication unit 231 receives a shooting instruction from the controller communication unit 221.
  • the roadside unit communication unit 231 transmits the video captured by the roadside unit camera 232 to the controller communication unit 221.
  • the roadside machine camera 232 is installed in the roadside machine 230 and captures the surroundings of the roadside machine 230 to acquire an image.
  • the roadside camera 232 is installed so as to capture a predetermined area on the road.
  • the second embodiment is different from the driving support system 10 according to the first embodiment in that the roadside camera 232 captures the blind spot area.
  • the driving support processing procedure of the driving support system 20 only the part different from the driving support processing procedure of the driving support system 10 according to the first embodiment will be described.
  • steps S221 to S223 is the same as the processing of steps S211 to S213, and thus the description thereof will be omitted.
  • the blind spot estimation unit 222a estimates the blind spot area to be photographed by the roadside machine 230 (step S224).
  • the roadside machine selection unit 222d selects the roadside machine 230 capable of photographing the blind spot region estimated in step S224 from the roadside machine database 224 (step S225).
  • the roadside machine database 224 stores the roadside machine information including the coordinate information of the position where the roadside machine is installed and the information of the area where the roadside machine can be photographed.
  • the roadside machine selection unit 222d selects the roadside machine 230 capable of photographing the blind spot area from the blind spot area and the roadside machine information estimated in step S224, and ends the process.
  • the second embodiment is different from the driving support system 10 according to the first embodiment in that the image is acquired by the roadside camera 232, but the image processing unit 222c for the image captured by the roadside camera 232 is used. Since the image processing and the method of creating the image to be displayed by the display device 240 are the same as those of the driving support system 10 according to the first embodiment, the description thereof will be omitted.
  • the driving support system 30 of the present embodiment includes a vehicle 310, a controller 320, a roadside unit 330, a display device 340, a selection vehicle 350 which is a photographing device, and the like.
  • the roadside unit 330 and the selected vehicle 350 are connected to the controller 320 via a communication cable, a wireless network, or the like to transmit and receive information.
  • the driving support system 30 is different from the driving support system 10 according to the first embodiment in that it includes a roadside machine database 324, a roadside machine 330, and a selected vehicle 350.
  • the configuration and operation of the vehicle 310 are the same as those of the vehicle 110 according to the first embodiment, and thus the description thereof will be omitted. Since the configuration and operation of the display device 340 and the display device 340 are the same as those of the display device 140 and the display device 140 according to the first embodiment, the description thereof will be omitted.
  • the controller 320 includes a controller communication unit 321, a calculation unit 322, a three-dimensional map database 323, a roadside machine database 324, and the like.
  • the controller 320 controls the controller communication unit 321, the calculation unit 322, the three-dimensional map database 323, the roadside machine database 324, and the like.
  • the controller communication unit 321 selects the roadside unit 330 located around the blind spot area.
  • the controller communication unit 321 transmits an instruction to select the selected roadside unit 330 to select the selected vehicle 350 capable of photographing the blind spot area.
  • the controller communication unit 321 transmits an instruction to photograph the surroundings of the vehicle with the selected vehicle camera 352 to the roadside unit 330.
  • the controller communication unit 321 receives the image captured by the selected vehicle camera 352 from the selected vehicle communication unit 351 via the roadside unit communication unit 331.
  • the calculation unit 322 includes software such as a blind spot estimation unit 322a, a roadside machine selection unit 322d, and an image processing unit 322c.
  • the roadside machine selection unit 322d selects the roadside machine 330 around the blind spot area.
  • the roadside machine selection unit 322d acquires the roadside machine 330 around the blind spot area from the roadside machine database 324.
  • the image processing unit 322c performs image processing on the image captured by the selected vehicle camera 352. Since the configuration and operation of the image processing unit 322c are the same as those of the image processing unit 122c according to the first embodiment, the description thereof will be omitted.
  • the roadside machine database 324 is composed of a storage medium that stores and manages roadside machine information, which is information about roadside machines installed in the traveling area of the vehicle 310.
  • the roadside machine information may include coordinate information of the position where the roadside machine is installed.
  • the roadside unit 330 includes a roadside unit communication unit 331, a vehicle selection unit 334, and the like.
  • the roadside unit communication unit 331 receives an instruction to select the selected vehicle 350 from the controller communication unit 321.
  • the roadside unit communication unit 331 transmits a shooting instruction to the selected vehicle communication unit 351.
  • the roadside unit communication unit 331 receives the image captured by the selected vehicle camera 352 from the selected vehicle communication unit 351.
  • the roadside unit communication unit 331 transmits the image captured by the selected vehicle camera 352 to the controller communication unit 321.
  • the vehicle selection unit 334 selects a selection vehicle 350 capable of photographing a blind spot area.
  • the roadside unit 330 communicates with a vehicle located at a point where it can communicate with the roadside unit 330, and selects a selected vehicle 350 equipped with a camera capable of photographing a blind spot area.
  • the selected vehicle 350 includes a selected vehicle communication unit 351 which is an information acquisition unit, a selected vehicle camera 352 which is a second photographing unit, and the like.
  • the selected vehicle 350 may include a vehicle having the same configuration as the vehicle 310 in the present embodiment.
  • the selected vehicle communication unit 351 receives a shooting instruction from the roadside unit communication unit 331.
  • the selected vehicle communication unit 351 transmits the image captured by the selected vehicle camera 352 to the roadside unit communication unit 331.
  • the selected vehicle camera 352 is installed inside or outside the selected vehicle 350, and images the surroundings of the selected vehicle 350 to acquire an image.
  • the selected vehicle camera 352 is installed so as to photograph the front of the selected vehicle 350.
  • the selected vehicle camera 352 may be installed so as to photograph the rear or side of the selected vehicle 350.
  • the third embodiment is different from the driving support system 10 according to the first embodiment in that the selected vehicle camera 352 captures the blind spot area.
  • the driving support processing procedure of the driving support system 30 only the part different from the driving support processing procedure of the driving support system 10 according to the first embodiment will be described.
  • steps S231 to S233 is the same as the processing of steps S211 to S213, and thus the description thereof will be omitted.
  • step S233 If it is determined in step S233 that there is no blind spot, the process ends.
  • the blind spot estimation unit 322a estimates the blind spot region to be photographed (step S234).
  • the roadside machine selection unit 322d selects the roadside machine 330 around the blind spot region estimated in step S234 from the roadside machine database 324 and ends the process (step S235).
  • the roadside machine selection unit 322d selects the roadside machine 330 installed around the blind spot area from the roadside machine database 324 based on the blind spot area estimated in step S234.
  • the roadside unit communication unit 331 communicates with a vehicle capable of communicating with the roadside unit 330.
  • the vehicle selection unit 334 transmits information regarding the blind spot area to a vehicle capable of communicating with the roadside unit 330.
  • the vehicle that has received the information on the blind spot area transmits the information on whether or not the blind spot area can be photographed by the mounted camera to the roadside machine 330.
  • the roadside machine 330 selects a vehicle capable of photographing the blind spot area with the mounted camera as the selected vehicle 350.
  • the roadside unit communication unit 331 transmits a shooting instruction to the selected vehicle communication unit 351.
  • the selected vehicle communication unit 351 receives a shooting instruction from the roadside unit 330, and shoots a blind spot region with the selected vehicle camera 352.
  • the captured image is transmitted to the controller communication unit 321 via the roadside unit 330.
  • the third embodiment is different from the driving support system 10 according to the first embodiment in that an image is acquired by the selected vehicle camera 352.
  • the image processing method of the image processing unit 322c of the image captured by the selected vehicle camera 352 and the method of creating the image to be displayed by the display device 340 are the same as those of the driving support system 10 according to the first embodiment, and thus the description thereof will be omitted.
  • the driving support system estimates the area where the blind spot occurs and provides the driver of the vehicle with the surrounding information of the vehicle including the information of the area where the blind spot occurs. be able to.
  • the display device 140 is not limited to being installed in a remote driving support center, for example.
  • the vehicle 110 does not have to be remotely controlled, and the display device 140 may be mounted on the vehicle 110 to assist the driver in driving.
  • the descriptions such as “first” and “second” are identifiers for distinguishing the configuration.
  • the configurations distinguished by the descriptions of “first”, “second”, etc. in the present disclosure can exchange numbers in the configurations.
  • the first photographing unit can exchange the identifiers “first” and “second” with the second photographing unit.
  • the exchange of identifiers takes place at the same time.
  • the configuration is distinguished.
  • the identifier may be deleted.
  • the configuration with the identifier removed is distinguished by a code. Based only on the description of identifiers such as “first” and “second” in the present disclosure, it shall not be used as a basis for interpreting the order of the configurations and for the existence of identifiers with small numbers.

Abstract

運転支援システム１０は、車両１１０、コントローラ１２０、飛翔体１３０、表示装置１４０を備える。車両１１０は、車両１１０の周囲の情報を取得する。コントローラ１２０は、３次元地図データベース１２３を用いて、車両１１０の周囲に発生する死角を推定し、飛翔体１３０が撮影した映像から画像処理を行い、操縦者に提供する映像を作成する。飛翔体１３０は、コントローラ１２０で推定した死角が発生する領域を撮影する。表示装置１４０は、コントローラ１２０が作成した映像を操縦者に提供する。

Description

運転支援システム、車両、撮影装置 関連出願の相互参照
　本出願は、２０２１年１月１８日に日本国に特許出願された特願２０２１－００５８６２の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、運転支援システム、車両、および撮影装置に関する。
　従来、車両に搭載された撮影装置およびセンサを用いて、車両の周囲の障害物を検知する装置が知られている。
　例えば、特許文献１に記載の周辺監視装置には、複数の撮影装置により撮影した映像を合成した車両の周囲を示す俯瞰図に、複数のレーダで検知した障害物の位置を表示させる技術が開示されている。
国際公開２０１２／１６９３６１号
　本開示の一実施形態にかかる運転支援システムは、車両の周囲を撮影する第１の撮影部と、前記車両の位置を示す位置情報に基づき車両の周囲の物体によって第１の撮影部の撮影領域内において死角となる領域を死角領域として取得する領域取得部を備える車両コントローラと、死角領域に関する情報を取得する情報取得部と、車両の周囲を撮影する第２の撮影部と、を備える撮影装置と、を有し、車両コントローラはさらに第２の撮影部で撮影した死角領域の画像を受信する受信部を備える。
　また、本開示の一実施形態にかかる車両は、周囲を撮影する第１の撮影部と、現在の位置を示す位置情報に基づき、周囲の物体によって第１の撮影部の死角となる領域を死角領域として取得する領域取得部と、死角領域に関する情報に基づき撮影した死角領域の映像を撮影装置から取得する受信部と、を備える。
　また、本開示の一実施形態にかかる撮影装置は、車両の位置を示す位置情報に基づき、車両の周囲の物体によって車両の周囲の撮影領域を撮影する第１の撮影部の死角となる領域を死角領域として取得する車両コントローラから、死角領域に関する情報を取得する情報取得部と、車両の周囲を撮影する第２の撮影部と、第２の撮影部で撮影した死角領域の画像を車両又は車両コントローラに送信する送信部と、を備える。
第１の実施形態における、運転支援システムの概略構成例を示す図である。 第１の実施形態における、運転支援システムの運転支援の処理手順の例を示すフローチャートである。 第１の実施形態における、死角領域の推定方法の例、および飛翔体の飛行位置算出方法の例を説明するフローチャートである。 地図情報に登録されている物体により発生する死角領域の推定方法の例を説明する図である。 地図情報に登録されていない物体により発生する死角領域の推定方法の例を説明する図である。 死角領域に基づき飛行位置の算出方法の例を説明する図である。 第１の実施形態における、表示装置で表示する映像の作成方法の例を説明するフローチャートである。 車両カメラ１１２で撮影した映像にアイコンを重畳させた映像の例を説明する図である。 第２の実施形態における、運転支援システムの概略構成例を示す図である。 第２の実施形態における、死角領域の推定方法の例および路側機の選択方法の例のフローチャートである。 第３の実施形態における、運転支援システムの概略構成例を示す図である。 第３の実施形態における、死角領域の推定方法の例および路側機の選択方法の例を説明するフローチャートである。
　以下、図面を参照して本発明を適用した運転支援システムの実施形態について説明するが、本開示はこれらに限定されるものではない。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。
　本発明を備えた運転支援システムの第１の実施形態について、図１を参照して説明する。本実施形態の運転支援システム１０は、車両１１０、車両コントローラであるコントローラ１２０、飛翔体１３０、表示装置１４０等を含んで構成される。運転支援システム１０は、遠隔地にある運転支援センターのオペレータによる車両１１０の遠隔操作を支援するものである。コントローラ１２０は車両１１０に搭載されてよい。飛翔体１３０は車両１１０に搭載され、コントローラ１２０からの指示に応じて離発着可能に構成されてよい。表示装置１４０は運転支援センターに設置され、車両１１０を遠隔操作するオペレータに車両１１０の周辺の映像を提供する。飛翔体１３０、表示装置１４０は、それぞれ通信ケーブル、無線ネットワーク等を介してコントローラ１２０と接続されて情報を送受信する。本実施形態では、車両１１０と飛翔体１３０、表示装置１４０とは、無線で通信されるものとする。
　図１において、各機能ブロックを結ぶ線は、制御信号又は通信される情報の流れを示す。機能ブロック間の通信は有線通信であってもよく、無線通信であってもよい。
　車両１１０は、車両通信部１１１、第１の撮影部である車両カメラ１１２、測距部である測距センサ１１３、位置センサ１１４等を含んで構成される。
　車両１１０は例えば、自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。
　車両通信部１１１は、車両カメラ１１２で撮影した映像をコントローラ通信部１２１へ送信する。車両通信部１１１は、測距センサ１１３により測定された測距情報と位置センサ１１４により測定された位置情報、および車両１１０の進行方向をコントローラ通信部１２１へ送信する。
　車両カメラ１１２は、車両１１０の内部又は外部に設置され、車両１１０の周囲を撮像して映像を取得する。本実施形態において、車両カメラ１１２は、車両１１０の前方を撮影するように設置される。車両カメラ１１２が取得する映像は、車両１１０の運転席から視認できる風景と近似してよい。車両カメラ１１２は、車両１１０の後方又は側方を撮影するように設置されてもよい。
　測距センサ１１３は、車両１１０から周囲の物体までの距離を測定し、測距情報として出力する。測距センサ１１３は、例えば、レーザレーダ、ミリ波レーダおよび超音波センサ等を含んでよい。測定された測距情報は、車両通信部１１１によってコントローラ通信部１２１へ送信される。
　位置センサ１１４は、車両１１０の現在位置を測定する。位置センサ１１４は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、磁気方位計等を含んでよい。ＧＰＳは、車両１１０の地上座標系における絶対位置を緯度および経度により取得する。磁気方位計は、車両１１０の絶対方位角を測定し、車両１１０の進行方向を取得する。測定された車両１１０の現在位置と進行方向は、位置情報として車両通信部１１１によってコントローラ通信部１２１へ送信される。
　コントローラ１２０は、受信部であるコントローラ通信部１２１、演算部１２２、３次元地図データベース１２３等を含んで構成される。
　演算部１２２は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも１つのプロセッサを含む。種々の実施形態によれば、少なくとも１つのプロセッサは、単一の集積回路（ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）として、又は複数の通信可能に接続された集積回路ＩＣ及び／又はディスクリート回路（ｄｉｓｃｒｅｔｅ　ｃｉｒｃｕｉｔｓ）として実行されてもよい。少なくとも１つのプロセッサは、種々の既知の技術に従って実行されることが可能である。
　１つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続又は処理を実行するように構成された１以上の回路又はユニットを含む。他の実施形態において、プロセッサは、1以上のデータ計算手続き又は処理を実行するように構成されたファームウェア（例えば、ディスクリートロジックコンポーネント）であってもよい。種々の実施形態によれば、プロセッサは、１以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ））、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、又はこれらのデバイス若しくは構成の任意の組み合わせ、又は他の既知のデバイスおよび構成の組み合わせを含み、以下に説明される機能を実行してもよい。
　演算部１２２は、コントローラ通信部１２１、演算部１２２、および３次元地図データベース１２３等を制御する。コントローラ１２０は車両１１０に配置されてもよいし、車両１１０以外の場所に配置されてもよい。第１の実施形態において、コントローラ１２０は車両に搭載される。
　コントローラ通信部１２１は、車両カメラ１１２が撮影した映像、測距センサ１１３で測定した測距情報および位置センサ１１４で測定した位置情報を、車両通信部１１１から受信する。コントローラ通信部１２１は、演算部１２２が推定した死角領域をもとに算出した飛行位置情報を飛翔体通信部１３１へ送信する。死角領域は、車両カメラ１１２が観察できる領域の中で、物体によって視界が遮られることで観察できない領域である。コントローラ通信部１２１は、飛翔体カメラ１３２が撮影した映像を、飛翔体通信部１３１から受信する。コントローラ通信部１２１は、映像情報を表示装置通信部１４１に送信する。
　演算部１２２は、ソフトウェアである死角推定部１２２ａ、飛行演算部１２２ｂ、画像処理部１２２ｃを含んで構成される。演算部１２２は死角推定部１２２ａとともに領域取得部として機能する。演算部１２２は、これらのソフトウェアによって死角領域の推定、飛翔体１３０の飛行位置の演算、および死角領域を撮影した映像に対する画像処理を行う。死角推定部１２２ａ、飛行演算部１２２ｂ、画像処理部１２２ｃは図示しない記憶装置に記憶されていてよい。
　死角推定部１２２ａは、位置センサ１１４で測定した車両１１０の位置情報と、３次元地図データベース１２３から取得した地図情報から、車両１１０からの視野の範囲内において死角が発生する領域を推定する。死角推定部１２２ａは、測距センサ１１３で測定した車両１１０の周囲の物体までの距離情報、車両１１０の位置情報、および３次元地図データベース１２３から取得した地図情報から、車両１１０にとっての死角が発生する領域を推定する。地図情報は、車両１１０の周囲の３次元地図情報であり、車両１１０の位置情報に基づいて３次元地図データベース１２３から取得される。死角領域の推定方法は後述する。
　飛行演算部１２２ｂは、飛翔体１３０の飛行位置を算出する。飛行位置は、死角推定部１２２ａで推定した死角領域を飛翔体カメラ１３２で撮影できる位置とする。飛翔体１３０の飛行位置は、飛行位置情報として出力する。飛行位置情報は、座標情報等を含んでよい。飛行位置の算出方法は後述する。
　画像処理部１２２ｃは、飛翔体カメラ１３２が撮影した映像に対する画像処理を行う。具体的には、例えば、画像処理部１２２ｃは、映像内の所定の物体を認識して物体の種類を分類する。所定の物体の種類には、例えば建物、車両、自転車、人を含んでよい。画像処理部１２２ｃは、物体の種類から車両１１０にとって危険な物体であるかを判断してよい。画像処理部１２２ｃは、物体の移動速度、方向と車両１１０の進行方向により、物体の危険度を判断してよい。画像処理部１２２ｃは、車両１１０に配置されている車両カメラ１１２で撮影した映像を、コントローラ通信部１２１から取得する。画像処理部１２２ｃは、分類した物体の種類、およびその物体の危険度に応じたアイコンを、車両カメラ１１２で撮影した映像に重畳する。アイコンを重畳する位置の求め方は後述する。アイコンが重畳された映像は、コントローラ通信部１２１によって、表示装置通信部１４１に送信される。
　３次元地図データベース１２３は、車両１１０の走行地域の３次元地図情報を記憶管理する記憶媒体で構成される。３次元地図情報は、道路の情報、および道路以外の物体の情報である物体情報を含む。道路の情報とは、例えば道路、車線、白線、標識等の３次元座標、形状、大きさ、色、種別などを含んでよい。物体情報とは、建物、施設、トンネル等の３次元座標、形状、大きさ、色、種別などを含んでよい。形状や大きさは、例えば、物体の輪郭を形成する複数の端点の３次元座標で表される。３次元地図データベースとしてＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）のデータベースを用いてよい。
　撮影装置である飛翔体１３０は、情報取得部である飛翔体通信部１３１、第２の撮影部である飛翔体カメラ１３２、飛翔体制御部１３３等を含んで構成される。飛翔体１３０は、ＵＡＶ（Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）やドローンと呼ばれる無人飛行機を含んでよい。飛翔体１３０は、車両１１０に搭載され、例えば、運転支援センターから車両１１０の遠隔操作を行う場合に、車両１１０から離陸して飛行してよい。飛翔体１３０は、飛行中には、所定の位置においてホバリングが可能であってよく、高速での巡航が可能であってよい。
　飛翔体通信部１３１は、コントローラ通信部１２１から飛翔体１３０の飛行位置情報を受信する。飛翔体通信部１３１は、飛翔体カメラ１３２が撮影した映像をコントローラ通信部１２１へ送信する。
　飛翔体カメラ１３２は、飛翔体１３０に設置され、飛翔体１３０の周囲を撮像して映像を取得する。飛翔体カメラ１３２は、駆動装置によって撮影方向を変更可能に構成されてよい。飛翔体カメラ１３２は、飛翔体１３０の前方、下方、後方、側方を撮影するように設置されてもよい。第１の実施形態において、飛翔体カメラ１３２が死角領域を撮影する場合には、飛翔体１３０の下方を撮影するものとする。
　飛翔体制御部１３３は、図示しない飛行機構を制御して、飛翔体１３０を飛行位置情報が示す位置に移動させる。
　表示装置１４０は、表示装置通信部１４１、表示部１４２等を含んで構成される。表示装置１４０は、画像処理部１２２ｃで作成した映像を表示する装置である。表示装置１４０は運転支援センターに配置されてもよいし、それ以外の場所に配置されてもよい。
　表示装置通信部１４１は、コントローラ通信部１２１から画像処理部１２２ｃで作成した映像を受信する。
　表示部１４２は、表示装置通信部１４１が受信した映像を表示装置１４０に表示する。表示した映像は、運転支援センターのオペレータが車両１１０を遠隔操作する際に用いられる。
　第１の実施形態の運転支援システム１０における運転支援の処理手順について、図２を参照して説明する。
　まず、車両通信部１１１は、測距センサ１１３により測定された測距情報と、位置センサ１１４により測定された位置情報を、コントローラ通信部１２１へ送信する（ステップＳ１００）。
　コントローラ１２０は、測距情報と位置情報を取得すると、死角推定部１２２ａによって死角が発生する領域を推定する。飛行演算部１２２ｂは、飛翔体カメラ１３２が死角推定部１２２ａで推定した死角領域を撮影できる位置を飛行位置として算出する。死角領域とは、車両カメラ１１２が観察できる領域において、物体によって視界が遮られることで観察できない道路上の領域である。コントローラ通信部１２１は、飛行演算部１２２ｂで算出した飛行位置の情報を飛翔体通信部１３１へ送信する（ステップＳ２００）。
　飛翔体１３０が飛行位置情報を取得すると、飛翔体制御部１３３は、図示しない飛行機構を制御し、飛翔体１３０を移動させる。飛翔体カメラ１３２は、飛行位置情報で示される上空の位置まで移動すると、死角推定部１２２ａで推定した死角領域を撮影する。撮影された映像は、コントローラ通信部１２１へ送信される（ステップＳ３００）。
　コントローラ１２０が飛翔体カメラ１３２で撮影した映像を取得すると、画像処理部１２２ｃは車両カメラ１１２で撮影した映像に対して画像処理を行う。具体的には、画像処理部１２２ｃは、車両通信部１１１から取得した、車両カメラ１１２で撮影した映像に、アイコンを重畳させる。アイコンは飛翔体カメラ１３２が撮影した映像に映る、画像処理部１２２ｃが分類した物体の種類に応じてよい。コントローラ通信部１２１は、アイコンが重畳された映像を、表示装置通信部１４１へ送信する（ステップＳ４００）。
　表示装置１４０は、取得した映像を表示部１４２に表示させる（ステップＳ５００）。映像は運転支援センターのオペレータが車両１１０を遠隔操作するために用いられる。映像にアイコンを重畳されていることで、遠隔地にある運転支援センターのオペレータは、死角領域に存在する物体を把握できる。アイコンの種類や表示形態は、画像処理部１２２ｃが認識した物体の危険度に応じてよい。オペレータは、アイコンの種類や表示形態から、物体が危険か否かを判断できる。
　本実施形態における、死角領域の推定方法、および飛翔体の飛行位置算出方法について、図３を参照して説明する。
　まず、コントローラ通信部１２１は、測距センサ１１３により測定された測距情報と位置センサ１１４により測定された位置情報を取得する（ステップＳ２１１）。測距情報は、車両１１０から周囲の物体までの距離の情報等を含んでよい。位置情報は、車両１１０の現在位置の情報等を含んでよい。
　演算部１２２は、ステップＳ２１１で取得した位置情報に基づいて、車両１１０の周囲の３次元地図情報である地図情報を、３次元地図データベース１２３から取得する（ステップＳ２１２）。
　演算部１２２は、測距情報と位置情報と地図情報から、車両１１０からの観察できる領域の中で、物体によって視界が遮られた死角が存在するか否かを判定する（ステップＳ２１３）。物体には、地図情報に登録されている物体と地図情報に登録されていない物体を含んでよい。地図情報に登録されている物体としては、例えば建物、標識、施設、トンネル、山等を含んでよい。地図情報に登録されていない物体は、例えば停止している大型車両、歩行者、地図情報に登録されていない新しく建造された建物、その他道路上に存在する障害物等を含んでよい。
　ステップＳ２１３で死角は存在しないと判断された場合、処理を終了する。ステップＳ２１３で死角が存在すると判断された場合、死角推定部１２２ａは、飛翔体１３０が撮影すべき死角領域を推定する（ステップＳ２１４）。死角領域を推定する方法は後述する。
　飛行演算部１２２ｂは、飛翔体１３０の飛行位置を算出する（ステップＳ２１５）。飛行位置は、ステップＳ２１４で推定した死角領域を飛翔体カメラ１３２で撮影できる位置とする。飛行位置を算出する方法は後述する。
　コントローラ通信部１２１は、ステップＳ２１５で算出した飛行位置を飛翔体通信部１３１へ送信し（ステップＳ２１６）処理を終了する。
　ステップＳ２１４で実行される、地図情報に登録されている物体により発生する死角領域の推定方法を、図４を参照して説明する。
　図４に示す例では、道路上に地図情報に登録されている物体６０ａ、６０ｂ、６０ｃ、６０ｄが存在する。物体６０ａ、６０ｂ、６０ｃ、６０ｄは、例えば、道路に面して建造されている建物であってよい。車両１１０は物体６０ｂと６０ｄが面している道路から、物体６０ａ、６０ｂ、６０ｃ、６０ｄによって形成されている交差点を観察している。
　死角推定部１２２ａは、位置情報と地図情報から、死角となる死角領域が存在するか判断する。具体的には、車両１１０からの視野の範囲（一例として、車両カメラ１１２からの視野の範囲であって、以下、撮影領域と称する）と、地図情報に登録されている物体の位置を重ね合わせたときに、物体が存在することによって車両１１０から先が見通せない領域（すなわち視野が遮られる領域）を死角領域と判断する。
　撮影領域は、半径Ｒ（車両カメラ１１２の視程距離）、中心角θ（車両カメラ１１２の画角)の扇形で定義される。
　撮影領域に物体が存在する場合、車両カメラの視野が物体で遮られることによって、死角領域が形成される。
　所定の距離範囲に死角を形成する物体が存在しない場合、撮影領域は所定の距離範囲と一致する。図４において、死角領域は破線と物体の輪郭の一部、および車載カメラ１１２からの視線方向で示されている。
　図４に示す例では、物体６０ｂと物体６０ｄによって、撮影領域内で死角領域が２つ存在すると判断する。
　死角推定部１２２ａは、撮影領域と地図情報から死角が発生する道路上の領域のうち、最も車両１１０に近い地点である地点Ａ（第１位置）を求める。地点Ａは死角領域と隣接する物体の輪郭のうち、最も車両１１０と近い地点である。
　死角推定部１２２ａは、地点Ａが属する死角領域内の、最も地点Ａから離れた地点である地点Ｂ（第２位置）を求める。
　同一の死角領域内の地点Ａと地点Ｂを直径とする円の範囲に死角領域が含まれる。
　ステップＳ２１４で実行される、地図情報に登録されていない物体により発生する死角領域の推定方法を、図５を用いて説明する。
　図５に示す例では、地図情報に登録されていない物体６０ｅが道路上に存在する。死角推定部１２２ａは、測距情報と位置情報と地図情報から、死角となる死角領域が存在するか判断する。
　例えば、車両１１０から地図情報に登録されている物体の距離と、測距センサが測定した物体との距離を比較したときに、距離が一致しない物体が存在する場合、地図情報に登録されていない物体が存在すると判断する。
　死角推定部１２２ａは、地図情報に登録されていない物体によって車両１１０からの視野が遮られる領域を死角領域と判断する。
　図５に示す例では、物体６０ｅによって、撮影領域内に死角領域が存在する。撮影領域である所定の距離範囲は、前述した通り半径Ｒ（車両カメラ１１２の視程距離）、中心角θ（車両カメラ１１２の画角)の扇形で定義される。図５において、死角領域は破線と物体の輪郭の一部、および車載カメラ１１２からの視線方向で示されている。
　死角推定部１２２ａは、撮影領域と測距情報から死角が発生する領域のうち、最も車両１１０に近い地点である地点Ａを求める。地図情報に登録されていない物体は、その大きさ、形状が不明なので、物体が存在する領域のうち最も車両１１０に近い地点が地点Ａとなる。
　車両１１０から物体６０ｅまでの距離ｒは、測距センサ１１３によって測定される。
　死角推定部１２２ａは、地点Ａが属する死角領域内で、最も地点Ａから離れた地点である地点Ｂを求める。同一の死角となる領域内の地点Ａと地点Ｂとを結ぶ直線を直径とする円の範囲に、死角領域が含まれる。
　ステップＳ２１５で死角推定部１２２ａが推定した死角領域に基づき、飛行位置の算出方法を、図６を用いて説明する。
　図６に示す例では、図４および図５で説明したように、地点Ａと地点Ｂとを結ぶ直線を直径とする円の中に死角領域が存在する。したがって、飛行位置は、飛翔体１３０は搭載する飛翔体カメラ１３０からこの円を撮影できる位置となる。
　本実施例においては、死角領域を撮影する際に、飛翔体カメラ１３２は飛翔体１３０の真下を向くものとする。したがって、飛行位置は、飛翔体１３０に搭載する飛翔体カメラ１３２の画角φと地点Ａから地点Ｂの距離に基づき、算出することができる。
　具体的には、飛翔体カメラ１３０の視野範囲は、飛翔体カメラ１３２の画角φを頂角とする円錐で定義できる。したがって飛行位置は、直径を地点Ａから地点Ｂとする円を底面とし、画角φを頂角とする円錐の頂点の位置とすることができる。すなわち、飛行位置の高度は円錐の高さに対応する。なお、飛翔体１３０の飛行位置は、飛翔体カメラ１３２が地点Ａと地点Ｂとを結ぶ直線を直径とする円の領域を撮影できる位置であればよく、本実施形態の例に限定されるものではない。
　第１の実施形態の運転支援システム１０の表示装置で表示する映像の作成方法について、図７を用いて説明する。
　まず、コントローラ通信部１２１は、飛翔体カメラ１３２で撮影された映像を取得する（ステップＳ４０１）。
　画像処理部１２２ｃは、ステップＳ４０１で取得した映像内の物体を認識して物体の種類を分類する（ステップＳ４０２）。物体の種類には、例えば建物、車両、自転車、人等を含んでよい。
　画像処理部１２２ｃは、ステップＳ４０２で分類した物体の位置から、車両１１０にとって危険な物体か否かを判定する（ステップＳ４０３）。危険な物体とは、例えば、車両１１０と衝突の可能性がある物体であり、例えば車両、自転車、人等としてよい。
　認識された物体が、ステップＳ４０３で車両１１０にとって危険な物体ではないと判定された場合、処理を終了する。ステップＳ４０３で車両１１０にとって危険な物体であると判定された場合、画像処理部１２２ｃは、物体の移動速度・方向と車両１１０の進行方向により物体の危険度を推定する（ステップＳ４０４）。危険度は複数段階にレベル分けされてもよい。
　コントローラ通信部１２１は、車両カメラ１１２で撮影された映像を取得する（ステップＳ４０５）。
　画像処理部１２２ｃは、ステップＳ４０４で危険度を求めた物体の位置が、車両カメラ１１２で撮影された映像上のどの位置に対応するか算出する。画像処理部１２２ｃは、ステップＳ４０５で取得した映像上の、車両１１０にとって危険な物体が存在する位置に、ステップＳ４０２で分類した種類に応じたアイコンを重畳させる（ステップＳ４０６）。アイコンは、物体の危険度に応じて表示形態を変化させてよい。表示形態の変化は、例えば、色、透過率、彩度、明度、大きさ等の変化、および、点滅、移動などの動的な表示方法の変化としてよい。
　コントローラ通信部１２１は、ステップＳ４０６で作成したアイコンを重畳させた映像を表示装置通信部１４１へ送信する（ステップＳ４０７）。
　図８は、車両カメラ１１２で撮影した映像にアイコンを重畳させた映像を示す図である。
　画像処理部１２２ｃは、例えば、図８に示すように、車両カメラ１１２で撮影した映像に画像処理部１２２ｃが認識した物体の種類に対応したアイコン７０ａ、７０ｂ、７０ｃを重畳させて映像を生成する。
　図８において、物体６０ａ、６０ｂ、６０ｃ、６０ｄは、３次元地図データベース１２３から取得した地図情報に登録されている建物である。アイコン７０ａ、７０ｂは、建物である物体６０ｂ、６０ｄによって視界が遮られた道路上の位置に存在している物体のうち、危険であると判断された物体に対応する。アイコン７０ａ、７０ｂの表示位置は、飛翔体カメラ１３２によって撮影された映像中における物体の位置に対応する。
　画像処理部１２２ｃは、アイコン７０ａ、７０ｂ、７０ｃの表示形態を、危険度に応じて変化させてよい。表示形態の変化は、例えば、色、透過率、彩度、明度、大きさ等の変化、および、点滅、移動などの動的な表示方法の変化としてよい。画像処理部１２２ｃは、アイコン７０ａ、７０ｂ、７０ｃを、危険度に応じて異なる色で表示させてよい。
　図８において、例えば、車両１１０との距離が近く、車両１１０に近づく危険度の高いアイコン７０ａは赤色で表示してよい。アイコン７０ａより車両１１０から離れているが、車両１１０に近づく危険度の高いアイコン７０ｃは黄色で表示してよい。車両１１０との距離は近いが、車両１１０に近づく危険度の低いアイコン７０ｂは青色で表示してよい。
　本発明の第２の実施形態について、図９を参照して説明する。
　本実施形態の運転支援システム２０は、車両２１０、コントローラ２２０、路側機２３０、表示装置２４０等を含んで構成される。運転支援システム２０は、路側機データベース２２４と撮影装置である路側機２３０を備える点で第１の実施形態に係る運転支援システム１０と異なる。
　第２の実施形態においては、車両２１０および表示装置２４０の構成、作用は第１の実施形態に係る車両１１０および表示装置１４０と同様なので説明を省略する。
　以下、特別に明記したものを除き、第１の実施形態にかかる構成と同一名称を付した構成は、同一の構成、機能を有するものとして説明を省略する。
　路側機２３０は、通信ケーブル、無線ネットワーク等を介してコントローラ２２０と接続されて情報を送受信する。コントローラ２２０は、コントローラ通信部２２１、演算部２２２、３次元地図データベース２２３、路側機データベース２２４等を含んで構成される。
　コントローラ２２０はコントローラ通信部２２１、演算部２２２、３次元地図データベース２２３、路側機データベース２２４等を制御する。
　コントローラ通信部２２１は、死角領域を撮影可能な路側機２３０に撮影指示を送信する。コントローラ通信部２２１は、路側機通信部２３１から路側機カメラ２３２が撮影した映像を受信する。
　演算部２２２は、ソフトウェアである死角推定部２２２ａ、路側機選択部２２２ｄ、画像処理部２２２ｃ等を含んで構成される。
　路側機選択部２２２ｄは、死角領域を撮影する路側機２３０の選択を行う。路側機選択部２２２ｄは図示しない記憶装置に記憶されていてよい。
　路側機選択部２２２ｄは、死角領域を撮影することができる路側機２３０の情報を路側機データベース２２４から取得する。
　画像処理部２２２ｃは、路側機カメラ２３２が撮影した映像の画像処理を行う。画像処理部２２２ｃの構成、作用は第１の実施形態に係る画像処理部１２２ｃと同様なので説明を省略する。
　路側機データベース２２４は、車両２１０の走行地域に設置されている路側機に関する情報である路側機情報を記憶管理する記憶媒体で構成される。路側機情報は、路側機が設置されている位置の座標情報および路側機が撮影可能な領域の情報等を含んでよい。
　路側機２３０は、情報取得部である路側機通信部２３１、第２の撮影部である路側機カメラ２３２等を含んで構成される。
　路側機２３０は、Ｖ２Ｉ（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ)に位置づけられ、交差点の信号情報や周囲情報の収集および配信等を通じて人と車両の協調制御を行う装置である。
　路側機２３０は、路側機２３０と通信可能なシステムが搭載された車両と通信ネットワーク等を介して情報の送受信を行ってよい。信号情報は、交差点に設置されている信号機の位置の座標情報および信号機で表示されている色の情報等を含んでよい。周囲情報は、路側機の周囲に関する情報を含んでよい。
　路側機通信部２３１は、コントローラ通信部２２１から撮影指示を受信する。路側機通信部２３１は、路側機カメラ２３２で撮影した映像をコントローラ通信部２２１へ送信する。
　路側機カメラ２３２は、路側機２３０に設置され、路側機２３０の周囲を撮像して映像を取得する。第2の実施形態において、路側機カメラ２３２は、道路上の所定の領域を撮影するように設置される。
　第２の実施形態においては、路側機カメラ２３２が死角領域を撮影するという点で第１の実施形態に係る運転支援システム１０と異なる。運転支援システム２０の運転支援の処理手順のうち、第１の実施形態に係る運転支援システム１０の運転支援の処理手順と異なる部分のみ説明する。
　第２の実施形態の運転支援システム２０の死角領域の算出方法および路側機の選択方法について、図１０を参照して説明する。
　第２の実施形態においては、ステップＳ２２１～Ｓ２２３の処理は、ステップＳ２１１～Ｓ２１３の処理と同じであるため説明を省略する。
　ステップＳ２２３で死角が存在すると判断された場合、死角推定部２２２ａは、路側機２３０が撮影すべき死角領域を推定する（ステップＳ２２４）。
　路側機選択部２２２ｄは、ステップＳ２２４で推定した死角領域を撮影可能な路側機２３０を路側機データベース２２４から選択する（ステップＳ２２５）。路側機データベース２２４は、路側機が設置されている位置の座標情報および路側機が撮影可能な領域の情報等を含む路側機情報を記憶している。路側機選択部２２２ｄは、ステップＳ２２４で推定した死角領域と路側機情報とから、死角領域を撮影可能な路側機２３０を選択し、処理を終了する。
　第２の実施形態においては、路側機カメラ２３２で映像を取得するという点で第１の実施形態に係る運転支援システム１０と異なるが、路側機カメラ２３２が撮影した映像への画像処理部２２２ｃによる画像処理、および表示装置２４０で表示する映像の作成方法は、第１の実施形態に係る運転支援システム１０と同様なので説明を省略する。
　本発明の第３の実施形態について、図１１を参照して説明する。本実施形態の運転支援システム３０は、車両３１０、コントローラ３２０、路側機３３０、表示装置３４０、撮影装置である選択車両３５０等を含んで構成される。路側機３３０、選択車両３５０は、通信ケーブル、無線ネットワーク等を介してコントローラ３２０と接続され、情報を送受信する。運転支援システム３０は、路側機データベース３２４と路側機３３０、選択車両３５０を備える点で第１の実施形態に係る運転支援システム１０と異なる。
　第３の実施形態においては、車両３１０の構成、作用は第１の実施形態に係る車両１１０と同様なので説明を省略する。表示装置３４０および表示装置３４０の構成、作用は第１の実施形態に係る表示装置１４０および表示装置１４０と同様なので説明を省略する。
　以下、特別に明記したものを除き、第１の実施形態にかかる構成と同一名称を付した構成は、同一の構成、機能を有するものとして説明を省略する。
　コントローラ３２０は、コントローラ通信部３２１、演算部３２２、３次元地図データベース３２３、路側機データベース３２４等を含んで構成される。
　コントローラ３２０は、コントローラ通信部３２１、演算部３２２、３次元地図データベース３２３、路側機データベース３２４等を制御する。
　コントローラ通信部３２１は、死角領域周囲に位置する路側機３３０を選択する。コントローラ通信部３２１は、選択した路側機３３０に、死角領域を撮影することが可能な選択車両３５０を選択させる指示を送信する。コントローラ通信部３２１は、選択車両カメラ３５２で車両周囲を撮影させる指示を、路側機３３０に送信する。コントローラ通信部３２１は、選択車両カメラ３５２が撮影した映像を、路側機通信部３３１を介して選択車両通信部３５１から受信する。
　演算部３２２は、ソフトウェアである死角推定部３２２ａ、路側機選択部３２２ｄ、画像処理部３２２ｃ等を含んで構成される。路側機選択部３２２ｄは、死角領域周囲の路側機３３０の選択を行う。
　路側機選択部３２２ｄは、死角領域周囲の路側機３３０を路側機データベース３２４から取得する。
　画像処理部３２２ｃは、選択車両カメラ３５２が撮影した映像に対する画像処理を行う。画像処理部３２２ｃの構成、作用は第１の実施形態に係る画像処理部１２２ｃと同様なので説明を省略する。
　路側機データベース３２４は、車両３１０の走行地域に設置されている路側機に関する情報である路側機情報を記憶管理する記憶媒体で構成される。路側機情報は、路側機が設置されている位置の座標情報等を含んでよい。
　路側機３３０は、路側機通信部３３１、車両選択部３３４等を含んで構成される。
　路側機通信部３３１は、コントローラ通信部３２１から選択車両３５０を選択する指示を受信する。路側機通信部３３１は、選択車両通信部３５１に撮影指示を送信する。路側機通信部３３１は、選択車両通信部３５１から選択車両カメラ３５２が撮影した映像を受信する。路側機通信部３３１は、選択車両カメラ３５２が撮影した映像をコントローラ通信部３２１へ送信する。
　車両選択部３３４は、死角領域を撮影することが可能な選択車両３５０を選択する。路側機３３０は、路側機３３０と通信可能な地点に位置する車両と通信を行い、死角領域を撮影することが可能なカメラが搭載された選択車両３５０を選択する。
　選択車両３５０は、情報取得部である選択車両通信部３５１、第２の撮影部である選択車両カメラ３５２等を含んで構成される。選択車両３５０には、本実施形態における車両３１０と同じ構成の車両を含んでよい。
　選択車両通信部３５１は、路側機通信部３３１から撮影指示を受信する。選択車両通信部３５１は、選択車両カメラ３５２で撮影した映像を路側機通信部３３１へ送信する。
　選択車両カメラ３５２は、選択車両３５０の内部又は外部に設置され、選択車両３５０の周囲を撮像して映像を取得する。本実施形態において、選択車両カメラ３５２は、選択車両３５０の前方を撮影するように設置される。選択車両カメラ３５２は、選択車両３５０の後方又は側方を撮影するように設置されてもよい。
　第３の実施形態においては、選択車両カメラ３５２が死角領域を撮影するという点で第１の実施形態に係る運転支援システム１０と異なる。運転支援システム３０の運転支援の処理手順のうち、第１の実施形態に係る運転支援システム１０の運転支援の処理手順と異なる部分のみ説明する。
　第３の実施形態の運転支援システム３０の死角領域の算出方法および選択車両の選択方法について、図１２を参照して説明する。
　第３の実施形態においては、ステップＳ２３１～Ｓ２３３の処理は、ステップＳ２１１～Ｓ２１３の処理と同じであるため説明を省略する。
　ステップＳ２３３で死角は存在しないと判断された場合、処理を終了する。ステップＳ２３３で死角が存在すると判断された場合、死角推定部３２２ａは、撮影すべき死角領域を推定する（ステップＳ２３４）。
　路側機選択部３２２ｄは、ステップＳ２３４で推定した死角領域周囲の路側機３３０を路側機データベース３２４から選択して処理を終了する（ステップＳ２３５）。路側機選択部３２２ｄは、ステップＳ２３４で推定した死角領域に基づき、路側機データベース３２４から死角領域周囲に設置されている路側機３３０を選択する。
　選択された路側機３３０の動作について説明する。路側機通信部３３１は、路側機３３０と通信可能な車両と通信を行う。車両選択部３３４は、路側機３３０と通信可能な車両へ、死角領域に関する情報を送信する。
　死角領域に関する情報を受信した車両は、登載されたカメラによる死角領域の撮影の可否に関する情報を、路側機３３０に送信する。
　路側機３３０は、搭載されるカメラで死角領域を撮影することが可能な車両を選択車両３５０として選択する。
　路側機通信部３３１は、選択車両通信部３５１に撮影指示を送信する。
　選択車両３５０の動作について説明する。選択車両通信部３５１は、路側機３３０からの撮影指示を受け、選択車両カメラ３５２で死角領域を撮影する。撮影された映像は、路側機３３０を経由して、コントローラ通信部３２１へ送信される。
　第３の実施形態においては、選択車両カメラ３５２で映像を取得するという点で第１の実施形態に係る運転支援システム１０と異なる。
　選択車両カメラ３５２が撮影した映像の画像処理部３２２ｃの画像処理方法、および表示装置３４０で表示する映像の作成方法は、第１の実施形態に係る運転支援システム１０と同様なので説明を省略する。
　以上のように、本開示にかかる運転支援システムは、上記の構成によって、死角が発生する領域を推定し、死角が発生する領域の情報を含んだ車両の周囲情報を車両の操縦者に提供することができる。
　本開示を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　表示装置１４０は、例えば、遠隔地にある運転支援センターに設置されるに限られない。車両１１０は遠隔操作されるものではなくてよく、表示装置１４０は車両１１０に搭載され、ドライバーの運転を支援するものであってもよい。
　本開示において「第１」、「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」、「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の撮影部は、第２の撮影部と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」、「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
１０，２０，３０　運転支援システム
６０ａ，６０ｂ，６０ｃ，６０ｄ，６０ｅ　物体
７０ａ，７０ｂ，７０ｃ　アイコン
１１０，２１０，３１０　車両
１１１，２１１，３１１　車両通信部
１１２，２１２，３１２　車両カメラ
１１３，２１３，３１３　測距センサ
１１４，２１４，３１４　位置センサ
１２０，２２０，３２０　コントローラ
１２１，２２１，３２１　コントローラ通信部
１２２，２２２，３２２　演算部
１２２ａ，２２２ａ，３２２ａ　死角推定部
１２２ｂ　飛行演算部
１２２ｃ，２２２ｃ，３２２ｃ　画像処理部
１２３，２２３，３２３　３次元地図データベース
１３０　飛翔体
１３１　飛翔体通信部
１３２　飛翔体カメラ
１３３　飛翔体制御部
１４０，２４０，３４０　表示装置
１４１，２４１，３４１　表示装置通信部
１４２，２４２，３４２　表示部
２２２ｄ，３２２ｄ　路側機選択部
２２４，３２４　路側機データベース
２３０，３３０　路側機
２３１，３３１　路側機通信部
２３２　路側機カメラ
３３４　車両選択部
３５０　選択車両
３５１　選択車両通信部
３５２　選択車両カメラ

Claims (8)

  1. 　車両の周囲を撮影する第１の撮影部と、
    　前記車両の位置を示す位置情報に基づき前記車両の周囲の物体によって前記第１の撮影部の撮影領域内において死角となる領域を死角領域として取得する領域取得部を備える車両コントローラと、
    　前記死角領域に関する情報を取得する情報取得部と、前記車両の周囲を撮影する第２の撮影部と、を備える撮影装置と、
    を有し、前記車両コントローラはさらに前記第２の撮影部で撮影した前記死角領域の画像を受信する受信部を備える運転支援システム。
  2. 　前記領域取得部は、前記車両の周囲の物体の位置を示す物体情報を含む地図情報と前記位置情報に基づき、前記死角領域を取得する、
    請求項１に記載の運転支援システム。
  3. 　前記領域取得部は、測距部で測定した前記車両から物体までの距離と前記位置情報に基づき、前記死角領域を取得する、
    請求項１又は２に記載の運転支援システム。
  4. 　前記第１の撮影部の撮影領域として、前記第１の撮影部から所定の距離範囲が規定されており、
    　前記撮影装置は、前記死角領域で前記車両から最も近い位置である第１位置と、前記第１位置から最も離れた位置である第２位置とを結ぶ線を直径とする円によって規定される領域を撮影する、
    請求項１から３に記載の運転支援システム。
  5. 　前記撮影装置は、前記死角領域を撮影できる位置に移動する、
    請求項４に記載の運転支援システム。
  6. 　前記撮影装置は飛翔体であり、
    　前記死角領域の大きさと前記第２の撮影部の画角と、に基づいて前記飛翔体は高度を変更する、
    請求項５に記載の運転支援システム。
  7. 　周囲を撮影する第１の撮影部と、
    　現在の位置を示す位置情報に基づき、周囲の物体によって前記第１の撮影部の死角となる領域を死角領域として取得する領域取得部と、
    　前記死角領域に関する情報に基づき撮影した前記死角領域の映像を撮影装置から取得する受信部と、を備える、
    車両。
  8. 　車両の位置を示す位置情報に基づき、前記車両の周囲の物体によって前記車両の周囲の撮影領域を撮影する第１の撮影部の死角となる領域を死角領域として取得する車両コントローラから、前記死角領域に関する情報を取得する情報取得部と、
    　前記車両の周囲を撮影する第２の撮影部と、
    　前記第２の撮影部で撮影した前記死角領域の画像を前記車両又は前記車両コントローラに送信する送信部と、
    を備える撮影装置。
    　
PCT/JP2022/000771 2021-01-18 2022-01-12 運転支援システム、車両、撮影装置 WO2022154018A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22739423.6A EP4280195A1 (en) 2021-01-18 2022-01-12 Driving support system, vehicle, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021005862A JP2022110448A (ja) 2021-01-18 2021-01-18 運転支援システム、車両、撮影装置
JP2021-005862 2021-01-18

Publications (1)

Publication Number Publication Date
WO2022154018A1 true WO2022154018A1 (ja) 2022-07-21

Family

ID=82448403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000771 WO2022154018A1 (ja) 2021-01-18 2022-01-12 運転支援システム、車両、撮影装置

Country Status (3)

Country Link
EP (1) EP4280195A1 (ja)
JP (1) JP2022110448A (ja)
WO (1) WO2022154018A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257338A (ja) * 2006-03-23 2007-10-04 Toyota Central Res & Dev Lab Inc 潜在危険度推定装置
WO2012169361A1 (ja) 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
JP2016197980A (ja) * 2015-04-06 2016-11-24 株式会社Ｎｔｔファシリティーズ 診断システム、診断方法、及びプログラム
WO2017057157A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 飛行装置、移動装置、サーバおよびプログラム
US20200020231A1 (en) * 2018-07-11 2020-01-16 Samsung Electronics Co., Ltd. In-vehicle infotainment system communicating with unmanned aerial vehicle and method of operating the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257338A (ja) * 2006-03-23 2007-10-04 Toyota Central Res & Dev Lab Inc 潜在危険度推定装置
WO2012169361A1 (ja) 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
JP2016197980A (ja) * 2015-04-06 2016-11-24 株式会社Ｎｔｔファシリティーズ 診断システム、診断方法、及びプログラム
WO2017057157A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 飛行装置、移動装置、サーバおよびプログラム
US20200020231A1 (en) * 2018-07-11 2020-01-16 Samsung Electronics Co., Ltd. In-vehicle infotainment system communicating with unmanned aerial vehicle and method of operating the same

Also Published As

Publication number Publication date
JP2022110448A (ja) 2022-07-29
EP4280195A1 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
US10748426B2 (en) Systems and methods for detection and presentation of occluded objects
TWI633524B (zh) 交通監控系統
US9507345B2 (en) Vehicle control system and method
KR101622028B1 (ko) 차량 통신을 이용한 차량 제어 장치 및 제어 방법
US20130083061A1 (en) Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers
JP2018203084A (ja) 車両の走行制御装置
JP6429892B2 (ja) 車載表示手段上にオブジェクトを表示するための方法、並びに、装置
US11527012B2 (en) Vehicle pose determination
CN110962744A (zh) 车辆盲区检测方法和车辆盲区检测系统
US11774981B2 (en) Driver aid and autonomous tractor-trailer parking and loading dock alignment system
US20220035368A1 (en) Method for assisting a user in the remote control of a motor vehicle, computer program product, remote-control device and driver assistance system for a motor vehicle
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
JP7324020B2 (ja) 交通制御システム
CN112835346A (zh) 用于控制车辆的方法和系统、及车载自动驾驶系统
WO2022154018A1 (ja) 運転支援システム、車両、撮影装置
CN107731005A (zh) 一种基于云计算的利用幻影成像的车载警示系统
CN208452986U (zh) 一种用于检测车辆外部环境信息的检测系统
CN112284410A (zh) 一种基于高精度地图的车联网显示系统
KR102482613B1 (ko) 차량을 위한 동적으로 로컬화된 센서
JP7468075B2 (ja) 管制制御システム
JP6729958B1 (ja) 表示制御システム、表示制御方法及びプログラム
US20230296780A1 (en) Methods and systems for sensor operation
US20230236432A1 (en) Correcting multi-zone motion blur
US20230169780A1 (en) Automatically detecting traffic signals using sensor data
KR20220115696A (ko) 자율주행 차량의 보행자 광고 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22739423

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022739423

Country of ref document: EP

Effective date: 20230818