WO2016186039A1 - 自動車周辺情報表示システム - Google Patents

自動車周辺情報表示システム Download PDF

Info

Publication number
WO2016186039A1
WO2016186039A1 PCT/JP2016/064331 JP2016064331W WO2016186039A1 WO 2016186039 A1 WO2016186039 A1 WO 2016186039A1 JP 2016064331 W JP2016064331 W JP 2016064331W WO 2016186039 A1 WO2016186039 A1 WO 2016186039A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
image
display system
map
Prior art date
Application number
PCT/JP2016/064331
Other languages
English (en)
French (fr)
Inventor
修一 田山
Original Assignee
修一 田山
株式会社イマージュ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 修一 田山, 株式会社イマージュ filed Critical 修一 田山
Priority to US15/574,715 priority Critical patent/US10302448B2/en
Priority to CN201680028947.0A priority patent/CN107615353A/zh
Priority to EP16796432.9A priority patent/EP3300054A4/en
Publication of WO2016186039A1 publication Critical patent/WO2016186039A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G01C21/3694—Output thereof on a road map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Definitions

  • the present invention relates to a vehicle periphery information display system that displays a situation around a host vehicle to an occupant particularly in a vehicle such as a vehicle.
  • a navigation device 2 that is mounted on a vehicle such as an automobile, displays map information to a driver, and guides to a destination is known.
  • the navigation device 2 stores map information in a map database, specifies the current position of the vehicle using GPS information received from GPS satellites, reads a map to the destination, and accompanies the traveling of the host vehicle. It is displayed every moment.
  • the map information is mainly road information, and if there are many parts with very little information on the screen, the screen becomes inefficient. Therefore, a navigation device is known that displays additional information on a map display screen in addition to road information (see, for example, Patent Document 1 and Patent Document 2).
  • the prior art according to the above patent document displays a map display screen by displaying information such as an animation or a general moving image, a still image, text data, or the like in an area with little information when displaying a map.
  • information such as an animation or a general moving image, a still image, text data, or the like in an area with little information when displaying a map.
  • the information displayed by such a navigation device is additional information that is displayed if there is a displayable area, when the user drives the vehicle or in an automatic driving vehicle, It is not always necessary information for the user to check the automatic driving situation.
  • Level 1 is called a safe driving support system, where the vehicle performs acceleration, steering, or braking.
  • Level 2 is called a semi-automatic driving system (semi-automatic driving), in which a vehicle performs a plurality of operations of acceleration, steering, and braking simultaneously.
  • Level 3 is a state in which acceleration, steering, and braking are all performed by the vehicle, and the driver responds only in an emergency.
  • Level 4 is called a fully automatic driving system in which acceleration, steering and braking are all performed by a person other than the driver and the driver is not involved at all.
  • Levels 2 to 4 are also called automated driving systems ("Step SIP (Strategic Innovation Creation Program) Automated Driving System Research and Development Plan", November 13, 2014, Cabinet Office, Policy Director (Science Technology and innovation)).
  • automated driving basically refers to automatic driving at a fully automated level from level 1 to level 4 described above.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide an automobile periphery information display system capable of displaying a realistic situation around the host vehicle on a map.
  • the vehicle periphery information display system includes a sensor device that detects an external situation from the host vehicle, and specifies a current position and a traveling direction of the host vehicle and maps map data of a surrounding area including the current position from a map database.
  • An image generation that generates a map image in which an icon corresponding to the detection target is superimposed on a position on the map data indicated by the position information related to the detection target detected by the target determination unit and a position detection unit that obtains information
  • a display device for displaying the map image.
  • the target determination unit detects the presence of the detection target object by pattern matching processing from the captured image of the camera. To do. Furthermore, if the camera is configured by a stereo camera, the position detection unit may calculate the position information of the detection object from the image of the stereo camera.
  • the object determination unit may detect a lane line by a white line or a yellow line based on the luminance information of the image.
  • the image generating unit The lane line can be schematically displayed on the road on which the vehicle travels, and the map image can be generated to display the icons of the preceding other vehicle and the opposite other vehicle by distinguishing the lane.
  • the position detection unit can obtain only the position information of the detection target in a short time.
  • the position detection unit includes: Based on distance information between the own vehicle and the detection target detected by the radar sensor, position information of the detection target can be obtained.
  • the image generation unit can generate a map image in which an icon corresponding to the vehicle attribute information is superimposed on a location corresponding to the position information on the map data.
  • This inter-vehicle communication can be considered in any case that is performed directly between the own vehicle and another vehicle, directly or through a communication line, and indirectly via a relay center.
  • the vehicle periphery information display system of the present invention by displaying the surrounding conditions recognized by the sensor device of the host vehicle on the map data around the current position of the host vehicle output by the navigation device, the vehicle is displayed.
  • the crew of can judge the surrounding situation from a bird's-eye view.
  • FIG. 1 is a block diagram showing the overall configuration of an automobile periphery information display system according to a preferred embodiment of the present invention.
  • the top view explaining an example of the arrangement configuration of a sensor apparatus is shown.
  • movement of the motor vehicle periphery information display system which concerns on this invention is shown.
  • (A) shows a schematic explanatory diagram of an image based on map data shown by the navigation device, and (b) shows an explanatory diagram of an image in which surrounding conditions are displayed on this image with icons. The surrounding situation ahead of the own vehicle is illustrated.
  • movement of inter-vehicle communication is shown.
  • the typical explanatory view shows the composition of the data frame of the message transmitted by communication between vehicles.
  • movement which displays the condition of the other vehicle acquired by inter-vehicle communication on map data is shown.
  • FIG. 1 conceptually shows a block diagram of the entire configuration of the vehicle periphery information display system 1.
  • the vehicle image display system 1 includes a navigation device 2, a sensor device 3, a communication device 4, a display device 5, and a control unit 6.
  • Navigation device 2 identifies the position and traveling direction of the host vehicle on the basis of GPS information received from GPS (global positioning system) 11. And the navigation apparatus 2 is provided with the map database 2A, and reads the map data of the area
  • GPS global positioning system
  • the sensor device 3 detects the situation around the host vehicle.
  • the sensor device 3 is disposed on the front windshield 15 in order to capture the field of view ahead of the traveling direction of the automobile 14.
  • a stereo camera 13 including a pair of front cameras 16 and 17 and a millimeter wave radar sensor 18 disposed on a rear windshield 19 for detecting a vehicle following the automobile 14 are provided.
  • the object to be detected in front of the automobile 14 can be recognized in three dimensions, and the angle of view of the cameras 16, 17 can be widened to jump out from the front side.
  • the detection object is also reliably detected.
  • a rear camera may be arranged instead of or in addition to the radar sensor 18.
  • the communication device 4 receives the position, route, and traveling state information of the other vehicle by communicating with the other vehicle that is traveling or parked around the host vehicle.
  • the communication device 4 is also configured to be able to receive infrastructure data such as traffic signal information, regulation information, pedestrian information, and accident vehicle information from traffic lights and communication devices (roadside devices) installed on the road.
  • infrastructure data such as traffic signal information, regulation information, pedestrian information, and accident vehicle information from traffic lights and communication devices (roadside devices) installed on the road.
  • Such information from the infrastructure can also be obtained by wireless communication with the traffic information center through the Internet or public broadcasting, although not shown.
  • the control unit 6 is composed of a computer including a CPU, a ROM, and a RAM.
  • the CPU executes a control program stored in the ROM, thereby controlling each of the above devices, and determining an object.
  • the object discriminating unit 7 analyzes images sent from the respective cameras 16 and 17 of the stereo camera 13 and then vehicles (various automobiles, motorcycles, bicycles, etc.), people, etc. (hereinafter referred to as detection objects). ) And lanes are detected.
  • the target determination unit 7 performs the pattern matching process to detect the outline of the detection target object from the image and determine its presence. Therefore, in the ROM, a pattern data file in which image features of detection objects such as various vehicles and people are registered in advance is set, and by determining whether the image features are included in the image, The presence and type of the detection target are determined from the captured images of the cameras 16 and 17. Further, the target determination unit 7 performs a process of removing objects other than the detected target object.
  • determination part 7 detects a lane by detecting the lane line 24 by a white line or a yellow line based on the luminance information of each image imaged with each camera 16 and 17 about the detection of a lane. To do.
  • the position detection unit 8 calculates the position of the detection target from the images of the cameras 16 and 17 from which unnecessary objects are removed by the target determination unit 7. In addition, the position detection unit 8 determines the position of the subsequent vehicle from the distance information with respect to the subsequent vehicle measured by the radar sensor 18.
  • the image generation unit 9 generates an image that displays the surrounding situation of the host vehicle based on the map data from the navigation device 2 and the position information of the detection target from the position detection unit 8. At this time, the image generation unit 9 superimposes an icon, which is a symbolized image of the person or vehicle identified by the object determination unit 7, on the map data image from the navigation device 2. Create an image showing the situation. Therefore, a plurality of icons corresponding to the types of detection objects are set in the image generation unit 9 in advance.
  • the display device 5 is mounted on the dashboard of the automobile 14 so as to be easily viewed by the passenger, and displays the image generated by the image generation unit 8.
  • the navigation device 2 receives the GPS information from the GPS 11, calculates the current position of the host vehicle, and stores the history of the received GPS information, thereby specifying the traveling direction of the host vehicle (step S01). And the navigation apparatus 2 reads the map data containing the present position of the own vehicle from the map database 2A, and outputs map data to the object discrimination
  • FIG. 4A illustrates a map image represented by the map data at this time, and the position and traveling direction of the host vehicle are indicated by arrows. This map image is a general image displayed by the navigation device.
  • each camera 16 and 17 has image
  • FIG. 5 illustrates an image of a scene in front of the host vehicle, and the object determination unit 7 performs pattern matching processing on each image captured by the cameras 16 and 17 to determine the presence of the detection target.
  • the lane line 24 is detected (step S03).
  • the preceding vehicle 20 traveling in the same lane L1 as the host vehicle, the oncoming vehicle 21 traveling in the right adjacent lane L2, the vehicle 22 from the left side, and the bicycle 23 from the right side are detected. .
  • determination part 7 performs the process which removes objects, such as buildings 25 and 26 and traffic lights 27 and 28 other than the motor vehicles 20, 21, and 22 and the bicycle 23 which are detection objects (step S04).
  • the position detection unit 8 determines the position on the XY coordinate axis from the own vehicle to each of the automobiles 20, 21, 22 and the bicycle 23 based on the images of the stereo cameras 16 and 17 that have been subjected to the removal process by the object determination unit 7. Information is obtained by calculation (step S05).
  • the position detection unit 8 obtains distance information from the sensor device 3 with the following vehicle measured by the radar sensor 18. Accordingly, the position detection unit 8 calculates position information on the XY coordinate axes of the relative position of the succeeding vehicle, which is a rear detection target, to the detection target with reference to the own vehicle (step S06).
  • the object to be detected by the radar sensor 18 is a succeeding vehicle.
  • a rear camera is arranged together with the radar sensor 18 and a rear captured image is sent to the object determination unit 7, the type of the object to be detected behind Can be detected for each.
  • the image generation unit 9 selects an icon corresponding to the type, and selects the selected icons 20i, 21i, 22i, and 23i from the position detection unit 8.
  • a map image superimposed on the map data shown from the navigation device 2 is generated and displayed along the position information of each detection object shown (step S07).
  • the lanes L1 and L2 are divided, and the icons of the preceding vehicle 20i and the oncoming vehicle 21i are distinguished and displayed.
  • the radar sensor 18 detects the following vehicle, and the image generation unit 9 displays the icon 24i superimposed on the map data along with the position information of the following vehicle.
  • the map data output from the navigation device 2 may be displayed as a three-dimensional image including surrounding buildings. In this case, an actual image captured by the cameras 16 and 17 is displayed on the map. It can also be displayed over the data.
  • the passenger of the automobile 14 can check on the screen of the display device 5 the situation around the host vehicle that the sensor device 3 grasps. Therefore, in particular, when the automobile 14 is an autonomous driving vehicle, it is possible to compare the surrounding situation visually observed by the passenger with the surrounding situation grasped by the sensor device 3. It functions as an auxiliary system that can confirm sex.
  • the vehicle image display system 1 can display not only information from the sensor device 3 but also surrounding information obtained through inter-vehicle communication by the communication device 4 on the display device 5.
  • message data indicating the position and vehicle state of the host vehicle is exchanged between the communication devices 4 of the vehicles 31 and 32 by one-way broadcast communication.
  • the vehicles 31 and 32 may communicate directly, or via the relay center 34 through the communication line 36 such as the Internet from the antenna 33 or communication chip (not shown) installed on the road. May be communicated indirectly.
  • the vehicles 31 and 32 traveling toward the same intersection cannot be visually confirmed because the building 35 blocks each other's field of view, but both the vehicles 31 and 32 communicate with each other by their communication. By communicating such information, it becomes safe driving support to prevent collision accidents.
  • FIG. 7 schematically shows a configuration example of a data frame DF of a message exchanged by inter-vehicle communication, and a time information data frame DF1 in which an hour / minute / second data element is written, and a latitude acquired by GPS or the like.
  • a position information data frame DF2 in which each data element of longitude is written
  • a vehicle state information data frame DF3 in which each data element of vehicle speed information, vehicle azimuth information, automatic driving information, shift position information, and steering angle information is written
  • the vehicle It consists of a vehicle attribute information data frame DF4 in which data elements of size (large, normal, motorcycle, etc.) information, vehicle width information, and vehicle length information are written.
  • the communication device 4 inputs the position and vehicle speed of the host vehicle acquired by the navigation device 2 (step S11), and acquires the position and vehicle speed of another vehicle through the communication device 4 (step S12).
  • the vehicle status information such as the position information of the other vehicle, vehicle attribute information, the type of speed and azimuth angle, etc. Is included in the data frame.
  • the image generation unit 8 collates with the map data shown from the navigation device 2 (step S13), and determines whether there is another vehicle around the host vehicle from the collation result (step S14). And when the other vehicle which can communicate exists in the circumference
  • the image generation unit 8 By performing such vehicle-to-vehicle communication, even if the vehicle 22 shown in FIG. 5 is not visible behind the building, if the vehicle-to-vehicle communication is possible, the image generation unit 8 The presence can be detected and an icon can be displayed on the map data.
  • the communication device 4 obtains the accident vehicle and construction information by wireless communication with the traffic information center through the Internet or public broadcasting, and displays icons representing these situations as map data. It can also be displayed above.
  • a pair of cameras (stereo cameras) and radar sensors may be arranged on both sides of the rear windshield 19 in order to expand the detection field behind the automobile.
  • left and right cameras and radar sensors may be disposed on each of the pair of door mirrors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Atmospheric Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

自車両の周辺のリアルな状況を地図上に重ねて表示することができる自動車周辺情報表示システムを提供する。自動車周辺情報表示システム（１）は、センサー装置（３）によって自車両の周囲の状況を検出する。ナビゲーション装置（２）は自車両の現在位置及び進行方向を特定すると、現在位置を含む周辺地域の地図データを地図データベース（２Ａ）から読み出す。対象判別部（７）は、センサー装置（３）が検出するセンサー情報から検知対象物の存在を検出すると共にその種別を判別する。一方、位置検出部（８）は、このセンサー情報から自車両を基準とする前記検知対象物の位置情報を求める。そして、画像生成部（９）は、対象判別部（７）が検出した検知対象物に関する位置情報が示す前記地図データ上の位置に、当該検知対象物に対応するアイコンを重ねた地図画像を生成し、表示装置（５）はこの地図画像を表示する。

Description

自動車周辺情報表示システム
　本発明は、特に自動車等の車輌において乗員に自車両の周囲の状況を表示する自動車周辺情報表示システムに関する。
　従来、自動車周辺情報表示システムとしては、自動車等の車両に搭載されて、運転者に地図情報を表示して目的地までの案内するナビゲーション装置２が知られている。ナビゲーション装置２は、地図データベースに地図情報を格納しており、ＧＰＳ衛星から受信したＧＰＳ情報を用いて車両の現在位置を特定し、目的地に至るまでの地図を読み出して自車両の走行に伴って刻々と表示している。
　しかし、地図情報は道路を主体とした情報であり、画面においては情報量が極めて少ない部分が多々存在していると不効率な画面となる。そのため、道路情報に加えて、地図の表示画面上に追加の情報を画面に重ねて表示するナビゲーション装置が知られている（例えば、特許文献１及び特許文献２を参照）。
特開２００１－９９６６６号公報 特開２００１－４２０２６号公報
　しかし、上記の特許文献による従来技術は、地図を表示する上で情報の少ない領域に、アニメーション若しくは一般的な動画像、又は静止画やテキストデータ等の情報を表示することで、地図の表示画面に変化を持たせて、ユーザーが倦厭感を抱き難い車載用ナビゲーション装置を提供するものである。
　したがって、このようなナビゲーション装置が表示する情報は、表示可能な領域があれば表示するという付加的な情報であるために、ユーザーが車両を運転する上で、又は自動運転の車両にあってはユーザーが自動運転状況を確認する上で必ずしも必要な情報とは限らない。
　また、近年、道路交通の安全をより一層向上させるための自動運転システムの研究開発が進められているが、このシステムは、自動車が周囲の環境を認識して自動走行するものである。我が国では、自動車等の車輌の自動走行システムについて、その自動化レベルがレベル１からレベル４まで４段階に分けて定義されている。レベル１は、加速・操舵・制動のいずれかを自動車が行い、安全運転支援システムと呼ばれる。レベル２は、加速・操舵・制動の内複数の操作を同時に自動車が行い、準自動走行システム（半自動運転）と呼ばれる。レベル３は、加速・操舵・制動を全て自動車が行い、緊急時のみドライバーが対応する状態で、これも準自動走行システムと呼ばれる。レベル４は、加速・操舵・制動を全てドライバー以外が行い、ドライバーが全く関与しない状態で完全自動走行システムと呼ばれる。また、レベル２からレベル４までを自動走行システムとも呼んでいる（「ステップＳＩＰ（戦略的イノベーション創造プログラム）自動走行システム研究開発計画」、２０１４年１１月１３日、内閣府、政策統括官（科学技術・イノベーション担当））。尚、本明細書においての「自動運転」とは、基本的に上記レベル１からレベル４までの全自動化レベルの自動走行を言うものとする。
　このような自動走行システムでは、自動車の搭乗者は、自車両が認識している周囲の状況を把握しておくことで、自動運転状態の信頼性を確認したい要望がある。
　本発明は、上記点に鑑み為されたもので、その目的は、自車両の周辺のリアルな状況を地図上に重ねて表示することができる自動車周辺情報表示システムを提供することにある。
　本発明の自動車周辺情報表示システムは、自車両から外部の状況を検出するセンサー装置と、前記自車両の現在位置及び進行方向を特定して前記現在位置を含む周辺地域の地図データを地図データベースから読み出すナビゲーション装置と、前記センサー装置が検出するセンサー情報から検知対象物の存在を検出すると共にその種別を判別する対象判別部と、前記センサー情報から前記自車両を基準とする前記検知対象物の位置情報を求める位置検出部と、前記対象判別部が検出した検知対象物に関する前記位置情報が示す前記地図データ上の位置に、当該検知対象物に対応するアイコンを重ねた地図画像を生成する画像生成部と、前記地図画像を表示する表示装置と、を備えることを特徴としている。
　そして、前記センサー装置は、前記自車両の外部の画像を撮像するカメラを含む構成の場合には、前記対象判別部は、前記カメラの撮像画像からパターンマッチング処理により前記検知対象物の存在を検出する。さらに、前記カメラをステレオカメラによって構成すれば、前記位置検出部は、前記ステレオカメラの画像から前記検知対象物の位置情報を算出するとよい。
　また、前記対象判別部は、前記画像の輝度情報を基にして、白線又は黄線による車線ラインを検出するとよい。そうすることで、前記対象判別部が、前記検知対象物として前記自車両に先行する先行他車両と対向してくる対向他車両とを検出したとき、前記画像生成部は、前記地図データにおける自車両が走行する道路に模式的に前記車線ラインを表示し、車線を区別して前記先行他車両と前記対向他車両との各前記アイコンを表示する前記地図画像を生成することができる。
　前記対象判別部は、前記画像から検出した前記検知対象部以外のオブジェクトを除去すれば、前記位置検出部は、前記検知対象物の位置情報だけを短時間で求めることができる。
　一方、前記センサー装置は、ミリ波レーダー、マイクロ波レーダー、レーザーレーダー、赤外線センサー、超音波センサーの何れか一つ又はその組み合わせで成るレーダーセンサーを含む構成の場合には、前記位置検出部は、前記レーダーセンサーが検知する前記自車両と前記検知対象物との間の距離情報に基づいて、当該検知対象物の位置情報を求めることができる。
　さらに、他車両との間で車両間通信を行って、当該他車両に関する位置情報と車両属性情報とを入手する通信装置を備えるとよい。そうすることで、前記画像生成部は、前記地図データ上の前記位置情報に対応する箇所に前記車両属性情報に対応するアイコンを重ねた地図画像を生成することができる。この車両間通信は、自車両と他車両との間で直接又は通信回線を通して、中継センターを経由して間接的に行ういずれの場合も考えられる。
　本発明の自動車周辺情報表示システムによれば、ナビゲーション装置が出力する自車両の現在位置周辺の地図データ上に自車両のセンサー装置が認識している周囲の状況を重ねて表示することで、自動車の搭乗員は周囲の状況を鳥瞰的に判断することができる。
本発明の好適な実施形態による自動車周辺情報表示システムの構成全体のブロック図を示す。 センサー装置の配置構成の一例を説明する平面図を示す。 本発明に係る自動車周辺情報表示システムの動作を説明するフローチャートを示す。 （ａ）はナビゲーション装置が示す地図データによる画像の模式的な説明図を示し、（ｂ）はこの画像に周囲の状況をアイコンで重ねて表示する画像の説明図を示す。 自車両の前方の周囲状況を例示的に示す。 車両間通信の動作を説明するシステム構成図を示す。 車両間通信で伝達するメッセージのデータフレームの構成を模式的な説明図を示す。 車両間通信で入手した他車両の状況を地図データ上に表示する動作を説明するフローチャートを示す。
　以下、本発明の自動車周辺情報表示システムの実施の形態を図面に基づき説明する。
　図１は、自動車周辺情報表示システム１の構成全体を概念的にブロック図で示している。車輌用画像表示システム１は、ナビゲーション装置２、センサー装置３、通信装置４、表示装置５、コントロールユニット６を備えている。
　ナビゲーション装置２は、ＧＰＳ（グローバル・ポジショニング・システム）１１から受け取るＧＰＳ情報に基づいて、搭載される自車両の位置及び進行方向を特定する。そして、ナビゲーション装置２は、地図データベース２Ａを備えており、地図データベース２Ａから特定した自車両の位置を含む地域の地図データを読み出す。
　センサー装置３は、自車両の周囲の状況を検知するもので、本例では図２に示すように、自動車１４の進行方向の前方の視界を捉えるために、フロントウインドシールド１５に配置されている一対のフロントカメラ１６，１７から成るステレオカメラ１３と、自動車１４の後続車を検知するためにリアウインドシールド１９に配置されているミリ波によるレーダーセンサー１８とを備えている。
　センサー装置３にステレオカメラ１３を用いることで、自動車１４の前方の検知対象物を立体的に認識でき、そしてカメラ１６，１７の画角を広角化することで、前方の側方から飛び出してくる検知対象物も確実に検知できるようにしている。また、レーダーセンサー１８に代えて又は追加してリアカメラを配置してもよい。
　通信装置４は、自車輌の周囲を走行又は駐停車している他車両との通信により、当該他車両の位置や進路、走行状態情報を受信する。また、通信装置４は、信号機や道路際に設置された通信機器（路側機）から信号機情報、規制情報、歩行者情報、事故車情報などのインフラのデータも受信可能に構成している。このような、インフラからの情報は、図示しないが、インターネットや公共放送を通じた交通情報センターとの間の無線通信によっても入手することができる。
　コントロールユニット６は、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータで構成されており、ＣＰＵは、ＲＯＭに格納されている制御プログラムを実行することで、上記の各装置を制御するのに加えて、対象判別部７、位置検出部８、画像生成部９としてそれぞれ機能する。
　対象判別部７は、ステレオカメラ１３の各カメラ１６，１７からそれぞれ送られてくる画像を解析して、車両（各種の自動車・自動二輪・自転車等）や人等（以下、検知対象物と称す）の存在及び車線を検知する。
　この場合、対象判別部７は、検知対象物の検知については、パターンマッチング処理を行うことで、画像の中から検知対象物の輪郭を検出してその存在を判断する。よって、前記ＲＯＭには、各種車両や人等の検知対象物の画像特徴が予め登録されているパターンデータファイルが設定されており、画像にこの画像特徴が含まれているかを判別することで、各カメラ１６，１７のそれぞれの撮像画像から検知対象物の存在とその種別を判別する。さらに、対象判別部７は、検知した対象物以外のオブジェクトを除去する処理を行う。
　また、対象判別部７は、車線の検知については、各カメラ１６，１７によって撮像されたそれぞれの画像の輝度情報を基にして、白線又は黄線による車線ライン２４を検出することで車線を検出する。
　位置検出部８は、対象判別部７によって不要なオブジェクトが除かれたカメラ１６，１７のそれぞれの画像から検知対象物の位置を算出する。加えて、位置検出部８は、レーダーセンサー１８により測定した後続車との間の距離情報から後続車両の位置を判別する。
　画像生成部９は、ナビゲーション装置２からの地図データ、位置検出部８からの検知対象物の位置情報に基づいて、自車両の周辺状況を表示する画像を生成する。このとき画像生成部９は、ナビゲーション装置２からの地図データの画像の上に、対象判別部７が識別した人や車両をシンボル化した絵柄であるアイコンを重畳して自車両を中心とする周辺状況を示す画像を作成する。したがって、画像生成部９には、予め検知対象物の種類に応じた複数のアイコンが設定されている。
　表示装置５は、搭乗者による目視が容易なように自動車１４のダッシュボードに搭載されて、画像生成部８が生成した画像を表示する。
　上記構成による自動車周辺情報表示システム１の動作について、図３に示すフローチャートにより説明する。
　ナビゲーション装置２は、ＧＰＳ１１からのＧＰＳ情報を受け取り、自車両の現在の位置を算出すると共に、受け取ったＧＰＳ情報の履歴を格納することで、自車両の進行方向を特定する（ステップＳ０１）。そして、ナビゲーション装置２が自車両の現在位置を含む地図データを地図データベース２Ａから読み出して、地図データを対象判別部７に出力する（ステップＳ０２）。図４（ａ）は、このときの地図データが表す地図画像を例示しており、自車両の位置と進行方向とが矢印で示されている。この地図画像は、ナビゲーション装置により表示される一般的な画像である。
　そして、各カメラ１６，１７は自車両の前方及び後方の外部の状況を撮像しており、対象判別部７は、画像認識処理により自車両の周囲に人や車両等の検知対象物が存在しているかを判別する。
　図５は、自車両の前方の光景の画像を例示するもので、対象判別部７は、カメラ１６，１７が捉えたそれぞれの画像にパターンマッチング処理を行って検知対象物の存在を判別すると共に車線ライン２４を検出する（ステップＳ０３）。これにより、自車両と同一の車線Ｌ１を走行する先行自動車２０と、右隣の車線Ｌ２を走行する対向自動車２１と、左側方からの自動車２２と、右側方からの自転車２３がそれぞれ検知される。
　そして、対象判別部７は、検知対象物である自動車２０，２１，２２及び自転車２３以外の建物２５，２６や信号機２７，２８等のオブジェクトを除去する処理を行う（ステップＳ０４）。そして、位置検出部８は、対象判別部７が除去処理を行ったステレオカメラ１６，１７の画像に基づき、自車両から各自動車２０，２１，２２及び自転車２３までのＸ－Ｙ座標軸での位置情報を計算によって求める（ステップＳ０５）。
　一方、位置検出部８は、センサー装置３からはレーダーセンサー１８により測定した後続車との間の距離情報を入手している。よって、位置検出部８は、後方の検知対象物である後続車両の自車両を基準とする検知対象物までの相対位置をＸ－Ｙ座標軸での位置情報を算出する（ステップＳ０６）。この場合、レーダーセンサー１８による検知対象物は後続車両としているが、レーダーセンサー１８と共にリアカメラを配置して後方の撮影画像を対象判別部７に送るようにすれば、後方の検知対象物の種別ごとに検出することができる。
　画像生成部９は、対象判別部７からの各検知対象物の種別情報が示されると、その種別に応じたアイコンを選択し、選択したアイコン２０ｉ，２１ｉ，２２ｉ，２３ｉを位置検出部８から示される各検知対象物の位置情報に沿って、ナビゲーション装置２から示される地図データ上に重ねた地図画像を生成して表示する（ステップＳ０７）。このとき、画像生成部９が生成する画像は、対象判別部７からの車線ライン２４が検出されていることから、図４（ｂ）に示すように、自車両が走行する道路には車線ライン２４を表示して車線Ｌ１，Ｌ２を区分けし、先行車両２０ｉと対向車両２１ｉのアイコンを区別して表示している。また、この場合、レーダーセンサー１８は後続車両を検知しており、画像生成部９は、後続車両の位置情報に沿ってアイコン２４ｉを地図データ上に重ねて表示している。
　自動車を表示するアイコンは、対象判別部７のパターンマッチング処理によりバスやトラックが認識されたときには、乗用車と区別してこれらのアイコンが表示される。或いは、全ての種類の自動車を代表する共通のアイコンでもよい。また、歩行者が認識されたときには、人をシンボル化したアイコンを表示することになる。
　そして、ナビゲーション装置２から出力される地図データには周囲の建物等を含めた三次元画像で表示するタイプのものもあるが、この場合には、カメラ１６，１７が捉えた実際の画像を地図データに重ねて表示することもできる。
　上記構成の車輌用画像表示システム１によれば、自動車１４の搭乗者は、センサー装置３が把握している自車両の周囲の状況を表示装置５の画面上で確認することができる。したがって、特に、自動車１４が自動運転車である場合には、搭乗者が目視した周囲の状況とセンサー装置３が把握している周囲の状況とを見比べることができるため、自動運転システムへの信頼性を確認可能な補助システムとして機能する。
　車輌用画像表示システム１は、センサー装置３からの情報に限らず、通信装置４による車両間通信で入手した周囲の情報も表示装置５に表示させることもできる。
　ここで車両間通信について説明すると、図６に示すように、車両３１，３２のそれぞれの通信装置４の間で、自車両の位置や車両状態を示すメッセージデータを単向同報通信により授受するものである。この場合、車両３１，３２は直接通信が行われてもよいし、又は道路際に設置されたアンテナ３３や通信チップ（図示せず）からインターネットなどによる通信回線３６を通して、中継センター３４を経由して間接的に通信されてもよい。図６で示すケースでは、同じ交差点に向かって進行する車両３１、３２は建物３５が互いの視界を遮るために目視では確認できないが、両方の車両３１、３２が通信によって、自らの位置と車速等を伝達し合うことで衝突事故を未然に防ぐ安全運転支援となる。
　図７は、車両間通信で授受するメッセージのデータフレームＤＦの構成例を模式的に示しており、時・分・秒のデータエレメントが書き込まれる時刻情報データフレームＤＦ１と、ＧＰＳ等により取得した緯度・経度の各データエレメントが書き込まれる位置情報データフレームＤＦ２と、車速情報・車両方位角情報・自動運転情報・シフトポジション情報・ステアリング角度情報の各データエレメントが書き込まれる車両状態情報データフレームＤＦ３及び車両サイズ別（大型，普通，自動二輪車等）情報・車幅情報・車長情報の各データエレメントが書き込まれる車両属性情報データフレームＤＦ４で構成されている。
　車両間通信で入手した情報を表示する動作を図８のフローチャートを用いて説明する。まず、通信装置４は、ナビゲーション装置２が取得した自車両の位置及び車速を入力し（ステップＳ１１）、通信装置４を通じて他車両の位置及び車速を取得する（ステップＳ１２）。この場合、通信装置４と同一又は互換性のある通信装置を搭載する他車両からは、前述したように、当該他車両の位置情報、車両属性情報、速度や方位角の種別等の車両状態情報をデータフレームに含むメッセージが出力されている。
　よって、画像生成部８は、ナビゲーション装置２から示されている地図データと照合し（ステップＳ１３）、照合結果から自車両の周囲に他車両が存在しているかを判別する（ステップＳ１４）。そして、画像生成部８は、通信が可能な他車両が周囲に存在している場合（ステップＳ１４の「ＹＥＳ」）、車両属性情報によるその他車両の種別に応じたアイコンを選択して、選択したアイコンを受信したメッセージの位置情報に沿って、地図データ上に重ねた地図画像を生成して表示する（ステップＳ１５）。一方、通信装置４は、自車両に関する時刻情報・位置情報・車両状態情報・車両属性情報を含むメッセージを送信する（ステップＳ１６）。
　このような車両間通信を行なうことで、図５に示されている自動車２２が建物の陰で目視できない状況であっても、車両間通信が可能であると、画像生成部８は自動車２２の存在を検知して地図データ上にアイコンを表示することができる。また、通信装置４は、車両間通信以外にも、インターネットや公共放送を通じた交通情報センターとの間の無線通信によって事故車や工事情報等を入手して、これらの状況を表すアイコンを地図データ上に表示することもできる。
　以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記実施形態に限定されるものでなく、その技術的範囲内において、様々な変形又は変更を加えて実施することができる。例えば、自動車の後方の検出視野を拡げるために、リアウインドシールド１９の両側に一対のカメラ（ステレオカメラ）やレーダーセンサーを配置してもよい。また、リアウインドシールド１９に限らず、一対のドアミラーのそれぞれに左右のカメラやレーダーセンサーを配置してもよい。
１　　自動車周辺情報表示システム
２　　ナビゲーション装置
３　　センサー装置
４　　通信装置
５　　表示装置
７　　対象判別部
８　　位置検出部
９　　画像生成部
１３　ステレオカメラ
１８　レーダーセンサー
２０ｉ，２１ｉ，２２ｉ，２３ｉ，２４ｉ　アイコン
２４　車線ライン
３４　中継センター
３６　通信回線

Claims (9)

  1. 　自車両の周囲の状況を検出するセンサー装置と、
    　前記自車両の現在位置及び進行方向を特定して前記現在位置を含む周辺地域の地図データを地図データベースから読み出すナビゲーション装置と、
    　前記センサー装置が検出するセンサー情報から検知対象物の存在を検出すると共にその種別を判別する対象判別部と、
    　前記センサー情報から前記自車両を基準とする前記検知対象物の位置情報を求める位置検出部と、
    　前記対象判別部が検出した検知対象物に関する前記位置情報が示す前記地図データ上の位置に、当該検知対象物に対応するアイコンを重ねた地図画像を生成する画像生成部と、
    　前記地図画像を表示する表示装置と、
    を備えることを特徴とする自動車周辺情報表示システム。
  2. 　前記センサー装置は、前記自車両の外部の画像を撮像するカメラを含み、前記対象判別部は、前記カメラの撮像画像からパターンマッチング処理により前記検知対象物の存在を検出することを特徴とする請求項１に記載の自動車周辺情報表示システム。
  3. 　前記カメラはステレオカメラであって、前記位置検出部は、前記ステレオカメラの画像から前記検知対象物の位置情報を算出することを特徴とする請求項２に記載の自動車周辺情報表示システム。
  4. 　前記対象判別部は、前記画像の輝度情報を基にして、車線ラインを検出することを特徴とする請求項２又は３に記載の自動車周辺情報表示システム。
  5. 　前記対象判別部は、前記検知対象物として前記自車両に先行する先行他車両と対向してくる対向他車両とを検出し、前記画像生成部は、前記地図データにおける自車両が走行する道路に模式的に前記車線ラインを表示し、車線を区別して前記先行他車両と前記対向他車両との各前記アイコンを表示する前記地図画像を生成することを特徴とする請求項４に記載の自動車周辺情報表示システム。
  6. 　前記対象判別部は、前記画像から検出した前記検知対象部以外のオブジェクトを除去し、前記位置検出部は、前記位置検出部は、当該除去した画像から前記検知対象物の位置情報を求めることを特徴とする請求項２又は３に記載の自動車周辺情報表示システム。
  7. 　前記センサー装置は、ミリ波レーダー、マイクロ波レーダー、レーザーレーダー、赤外線センサー、超音波センサーの何れか一つ又はその組み合わせで成るレーダーセンサーを含み、前記位置検出部は、前記レーダーセンサーが検知する前記自車両と前記検知対象物との間の距離情報に基づいて、当該検知対象物の位置情報を求めることを特徴とする請求項１に記載の自動車周辺情報表示システム。
  8. 　他車両との間で車両間通信を行って、当該他車両に関する位置情報と車両属性情報とを入手する通信装置をさらに備えて、
    　前記画像生成部は、前記地図データ上の前記位置情報に対応する箇所に前記車両属性情報に対応するアイコンを重ねた地図画像を生成することを特徴とする請求項１に記載の自動車周辺情報表示システム。
  9. 　前記車両間通信は、自車両と他車両との間で直接又は通信回線を通して、中継センターを経由して間接的に行うことを特徴とする請求項８に記載の自動車周辺情報表示システム。
PCT/JP2016/064331 2015-05-20 2016-05-13 自動車周辺情報表示システム WO2016186039A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/574,715 US10302448B2 (en) 2015-05-20 2016-05-13 Automobile periphery information display system
CN201680028947.0A CN107615353A (zh) 2015-05-20 2016-05-13 汽车周边信息显示系统
EP16796432.9A EP3300054A4 (en) 2015-05-20 2016-05-13 DISPLAY SYSTEM FOR PERIPHERAL AUTOMOTIVE INFORMATION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015102831A JP6635428B2 (ja) 2015-05-20 2015-05-20 自動車周辺情報表示システム
JP2015-102831 2015-05-20

Publications (1)

Publication Number Publication Date
WO2016186039A1 true WO2016186039A1 (ja) 2016-11-24

Family

ID=57320102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064331 WO2016186039A1 (ja) 2015-05-20 2016-05-13 自動車周辺情報表示システム

Country Status (5)

Country Link
US (1) US10302448B2 (ja)
EP (1) EP3300054A4 (ja)
JP (1) JP6635428B2 (ja)
CN (1) CN107615353A (ja)
WO (1) WO2016186039A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009385A1 (en) * 2017-07-05 2019-01-10 Panasonic Intellectual Property Management Co., Ltd. SYNCHRONIZATION SYSTEM AND SYNCHRONIZATION METHOD BETWEEN AUTONOMOUS VEHICLE AND DRIVE-IN
CN110100461A (zh) * 2016-12-21 2019-08-06 奥迪股份公司 与在机动车周围环境中的他人车辆建立直接通信连接的方法
CN110197587A (zh) * 2019-05-31 2019-09-03 京东方科技集团股份有限公司 一种行车处理方法，以及车辆、服务器和行车系统

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567973B1 (ko) * 2017-12-14 2023-08-17 삼성전자주식회사 자율주행 차량의 주행정보 제공 방법
CN108363985B (zh) * 2018-03-06 2023-06-06 深圳市易成自动驾驶技术有限公司 目标对象感知系统测试方法、装置及计算机可读存储介质
JP2019159380A (ja) * 2018-03-07 2019-09-19 株式会社デンソー 物体検知装置、物体検知方法およびプログラム
US11244175B2 (en) * 2018-06-01 2022-02-08 Qualcomm Incorporated Techniques for sharing of sensor information
US11011922B2 (en) 2018-06-09 2021-05-18 Nxp Aeronautics Research, Llc Monitoring tower with device powered using differentials in electric field strengths within vicinity of powerlines
US10391867B1 (en) 2018-06-09 2019-08-27 Nxp Aeronautics Research, Llc Apparatus having electric-field actuated generator for powering electrical load within vicinity of powerlines
EP3588371A3 (en) * 2018-06-25 2020-03-11 Panasonic Intellectual Property Corporation of America Information processing device, information processing method, and program
US10957190B2 (en) * 2018-06-28 2021-03-23 Intel Corporation Traffic management system, components of a distributed traffic management system, prioritization/load-distribution system, and methods thereof
US10479356B1 (en) 2018-08-17 2019-11-19 Lyft, Inc. Road segment similarity determination
US10942030B2 (en) 2018-08-17 2021-03-09 Lyft, Inc. Road segment similarity determination
JP7136035B2 (ja) * 2018-08-31 2022-09-13 株式会社デンソー 地図生成装置及び地図生成方法
JP7147712B2 (ja) * 2018-08-31 2022-10-05 株式会社デンソー 車両側装置、方法および記憶媒体
US11928557B2 (en) 2019-06-13 2024-03-12 Lyft, Inc. Systems and methods for routing vehicles to capture and evaluate targeted scenarios
US11157007B2 (en) 2019-06-28 2021-10-26 Lyft, Inc. Approaches for encoding environmental information
US10625748B1 (en) 2019-06-28 2020-04-21 Lyft, Inc. Approaches for encoding environmental information
US11449475B2 (en) 2019-06-28 2022-09-20 Lyft, Inc. Approaches for encoding environmental information
JP7238670B2 (ja) * 2019-07-23 2023-03-14 トヨタ自動車株式会社 画像表示装置
WO2021101608A1 (en) 2019-08-26 2021-05-27 Nxp Aeronautics Research, Llc Uav airways systems and apparatus
JP6656459B1 (ja) * 2019-09-20 2020-03-04 ソフトバンク株式会社 移動体、システム、プログラム、及び制御方法
US11788846B2 (en) 2019-09-30 2023-10-17 Lyft, Inc. Mapping and determining scenarios for geographic regions
US12039785B2 (en) 2019-10-23 2024-07-16 Lyft, Inc. Approaches for encoding environmental information
US11816900B2 (en) * 2019-10-23 2023-11-14 Lyft, Inc. Approaches for encoding environmental information
CN111210661A (zh) * 2020-01-16 2020-05-29 北京汽车集团有限公司 交叉路口车辆防碰撞方法及装置
WO2021145032A1 (ja) * 2020-01-17 2021-07-22 アイシン・エィ・ダブリュ株式会社 周辺車両位置推定システム、周辺車両位置推定プログラム
JP7357284B2 (ja) * 2020-02-12 2023-10-06 パナソニックＩｐマネジメント株式会社 描画システム、表示システム、移動体、描画方法及びプログラム
CN113257021B (zh) * 2020-02-13 2022-12-23 宁波吉利汽车研究开发有限公司 一种车辆安全预警方法及系统
WO2021192701A1 (ja) * 2020-03-25 2021-09-30 ボッシュ株式会社 車両位置特定システム及び車両位置特定装置
CN112344956B (zh) * 2020-11-05 2022-02-25 腾讯科技（深圳）有限公司 地图显示方法及装置
KR102311718B1 (ko) * 2020-11-16 2021-10-13 (주)에바 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램
CN113147399A (zh) * 2021-06-09 2021-07-23 深圳朗道智通科技有限公司 面向智能驾驶汽车的可交互式显示终端
CN113928312B (zh) * 2021-09-16 2024-03-26 联想(北京)有限公司 一种数据处理方法及装置
KR20230056856A (ko) * 2021-10-20 2023-04-28 삼성전자주식회사 차량에 탑재된 전자 장치 및 그 동작 방법
CN114792470A (zh) * 2022-04-08 2022-07-26 广州小鹏汽车科技有限公司 路况显示方法、装置、可穿戴设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215964A (ja) * 2004-01-29 2005-08-11 Alpine Electronics Inc 他車検出装置及び他車検出方法
JP2008046947A (ja) * 2006-08-18 2008-02-28 Alpine Electronics Inc 周辺監視システム
JP2009223845A (ja) * 2008-03-19 2009-10-01 Hitachi Ltd 車載通信装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1073441A (ja) * 1996-07-03 1998-03-17 Fujitsu Ltd カーナビゲーション装置及びプログラム記憶媒体
JP2001042026A (ja) 1999-07-27 2001-02-16 Japan Radio Co Ltd ナビゲータ
JP2001099666A (ja) 1999-10-01 2001-04-13 Kenwood Corp 車載用ナビゲーション装置
US6985089B2 (en) * 2003-10-24 2006-01-10 Palo Alto Reserach Center Inc. Vehicle-to-vehicle communication protocol
JP2005301581A (ja) * 2004-04-09 2005-10-27 Denso Corp 車車間通信システム、車車間通信装置及び制御装置
JP3867727B2 (ja) * 2005-04-07 2007-01-10 オムロン株式会社 通信方法およびシステム，ならびに車両制御方法および装置
JP4716815B2 (ja) * 2005-08-11 2011-07-06 アルパイン株式会社 車々間通信装置、車々間通信システムおよび動画情報のアプリケーション適用可否判断方法
JP4802686B2 (ja) * 2005-12-02 2011-10-26 アイシン・エィ・ダブリュ株式会社 車車間通信システム
JP4923647B2 (ja) * 2006-03-17 2012-04-25 株式会社デンソー 運転支援画像表示装置及びプログラム
JP2007292713A (ja) * 2006-03-30 2007-11-08 Denso Corp ナビゲーション装置
WO2008053912A1 (fr) * 2006-11-02 2008-05-08 Panasonic Corporation Système d'aide à la navigation et procédé d'aide à la navigation
US8332142B2 (en) * 2006-12-26 2012-12-11 Rohm Co., Ltd. Position display apparatus
US20090024317A1 (en) * 2007-07-18 2009-01-22 Gm Global Technology Operations, Inc. System for gathering and distributing location information of vehicles
US20110106444A1 (en) * 2009-02-19 2011-05-05 Toyota Jidosha Kabushiki Kaisha Mobile object position detecting device
JP4939564B2 (ja) * 2009-03-23 2012-05-30 本田技研工業株式会社 車両用情報提供装置
US9280919B2 (en) * 2012-06-18 2016-03-08 GM Global Technology Operations LLC Method of generating anthropomophic vehicle images
US9470543B2 (en) * 2012-08-30 2016-10-18 Mitsubishi Electric Corporation Navigation apparatus
KR101957943B1 (ko) * 2012-08-31 2019-07-04 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
SE539053C2 (sv) * 2013-07-18 2017-03-28 Scania Cv Ab Förfarande och sensor för informationsöverföring mellan fordon
KR20150049723A (ko) * 2013-10-30 2015-05-08 현대모비스 주식회사 차량 위치 추적 장치
US20150256506A1 (en) * 2014-03-06 2015-09-10 Honda Motor Co., Ltd. Method and electronic device for performing message exchange
JP2016024557A (ja) * 2014-07-17 2016-02-08 本田技研工業株式会社 メッセージの交換を行うプログラム、方法、及び電子機器
US9726514B2 (en) * 2015-06-19 2017-08-08 Delphi Technologies, Inc. Navigation system that displays other-vehicle information
EP3352154A4 (en) * 2015-09-18 2019-08-07 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
KR101942527B1 (ko) * 2015-11-09 2019-01-25 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215964A (ja) * 2004-01-29 2005-08-11 Alpine Electronics Inc 他車検出装置及び他車検出方法
JP2008046947A (ja) * 2006-08-18 2008-02-28 Alpine Electronics Inc 周辺監視システム
JP2009223845A (ja) * 2008-03-19 2009-10-01 Hitachi Ltd 車載通信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3300054A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110100461A (zh) * 2016-12-21 2019-08-06 奥迪股份公司 与在机动车周围环境中的他人车辆建立直接通信连接的方法
US11525882B2 (en) 2016-12-21 2022-12-13 Audi Ag Establishing a direct communication link with another vehicle in the vicinity of a motor vehicle
WO2019009385A1 (en) * 2017-07-05 2019-01-10 Panasonic Intellectual Property Management Co., Ltd. SYNCHRONIZATION SYSTEM AND SYNCHRONIZATION METHOD BETWEEN AUTONOMOUS VEHICLE AND DRIVE-IN
CN110197587A (zh) * 2019-05-31 2019-09-03 京东方科技集团股份有限公司 一种行车处理方法，以及车辆、服务器和行车系统

Also Published As

Publication number Publication date
US20180149491A1 (en) 2018-05-31
EP3300054A1 (en) 2018-03-28
EP3300054A4 (en) 2019-02-06
US10302448B2 (en) 2019-05-28
JP6635428B2 (ja) 2020-01-22
CN107615353A (zh) 2018-01-19
JP2016218732A (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
WO2016186039A1 (ja) 自動車周辺情報表示システム
JP5160564B2 (ja) 車両情報表示装置
JP4967015B2 (ja) 安全運転支援装置
JP6398957B2 (ja) 車両制御装置
JP4517393B2 (ja) 運転支援装置
CN109643497A (zh) 通过增强现实和共享数据增强的安全性
WO2019038903A1 (ja) 周囲車両表示方法及び周囲車両表示装置
US20190244515A1 (en) Augmented reality dsrc data visualization
WO2017082067A1 (ja) 自動車用画像表示システム
CN109427213B (zh) 用于车辆的防碰撞装置、方法及非暂时性存储介质
JP2006072830A (ja) 運転支援システム及び運転支援モジュール
JP2008070955A (ja) 移動体を表示するための表示システム、車載装置、画像送信装置及び表示方法
CN111830859A (zh) 车辆远程指示系统
EP3836119A1 (en) Information processing device, mobile body, information processing method, and program
JP2019079363A (ja) 車両制御装置
EP2797027A1 (en) A vehicle driver alert arrangement, a vehicle and a method for alerting a vehicle driver
CN111601279A (zh) 在车载显示器中显示动态交通态势的方法和车载系统
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
JP2008046761A (ja) 移動体画像処理システム、装置及び方法
WO2017138343A1 (ja) 運転教示装置
CN116670006A (zh) 信息处理设备、信息处理方法、程序、移动设备和信息处理系统
JP7432198B2 (ja) 状況認識推定システム及び運転支援システム
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
WO2022201892A1 (en) Information processing apparatus, information processing method, and program
WO2021076734A1 (en) Method for aligning camera and sensor data for augmented reality data visualization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796432

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15574715

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE