WO2016194039A1 - 情報提示システム - Google Patents

情報提示システム Download PDF

Info

Publication number
WO2016194039A1
WO2016194039A1 PCT/JP2015/065532 JP2015065532W WO2016194039A1 WO 2016194039 A1 WO2016194039 A1 WO 2016194039A1 JP 2015065532 W JP2015065532 W JP 2015065532W WO 2016194039 A1 WO2016194039 A1 WO 2016194039A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
distance
guide line
wireless communication
image
Prior art date
Application number
PCT/JP2015/065532
Other languages
English (en)
French (fr)
Inventor
辻　正文
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to KR1020177034492A priority Critical patent/KR101874279B1/ko
Priority to US15/578,119 priority patent/US10144351B2/en
Priority to CA2987558A priority patent/CA2987558A1/en
Priority to RU2017146056A priority patent/RU2677256C1/ru
Priority to CN201580080520.0A priority patent/CN107615757B/zh
Priority to MYPI2017704541A priority patent/MY182014A/en
Priority to JP2017521314A priority patent/JP6451840B2/ja
Priority to MX2017015166A priority patent/MX363856B/es
Priority to PCT/JP2015/065532 priority patent/WO2016194039A1/ja
Priority to BR112017025525A priority patent/BR112017025525A2/pt
Priority to EP15894074.2A priority patent/EP3306918B1/en
Publication of WO2016194039A1 publication Critical patent/WO2016194039A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Definitions

  • the present invention relates to an information presentation system for presenting information related to images around a vehicle.
  • Patent Document 1 a driving support device that displays an image behind the vehicle when the shift lever of the vehicle is operated to the reverse position.
  • the problem to be solved by the present invention is to appropriately present image information indicating a real-time state of the vehicle to the terminal device even when there is a delay in wireless communication between the in-vehicle device and the terminal device. is there.
  • the distance sign indicating the distance from the vehicle is superimposed on the reference position where the distance from the vehicle is the distance indicated by the distance sign on the image, and the wireless communication is delayed.
  • the above-described problem is solved by superimposing a distance sign on a position closer to the traveling direction of the vehicle than the reference position or a position closer to the vehicle than the reference position.
  • a vehicle when wireless communication is delayed, a vehicle is mounted on the vehicle by superimposing a distance sign on a position closer to the vehicle traveling direction than the reference position or a position closer to the vehicle than the reference position. Even when the wireless communication between the device and the terminal device is delayed, the driver can recognize the real-time state around the vehicle.
  • 2nd Embodiment it is a figure for demonstrating the superimposition method of a guide line when a mobile body does not exist around the own vehicle, or when a mobile body exists in the range of a guide line.
  • 2nd Embodiment it is a figure for demonstrating the superimposition method of a guide wire
  • 3rd Embodiment it is a figure for demonstrating the display mode of a guide line in case radio
  • 3rd Embodiment it is a figure for demonstrating the display mode of a guide line when radio
  • FIG. 1 is a block configuration diagram of an information presentation system 1000 according to the present embodiment.
  • the information presentation system 1000 includes an in-vehicle device 200 and a terminal device 100.
  • the in-vehicle device 200 of the present invention includes one or more cameras 1a to 1d, a communication device 2, a vehicle controller 3, and various devices 4 (also collectively referred to as various devices 4) mounted on the vehicle.
  • Cameras 1a to 1d are configured using an image sensor such as a CCD (Charge-Coupled Device).
  • the camera 1 is provided at a predetermined position in a rear (rear) portion of the vehicle such as a rear finisher portion or a roof spoiler portion.
  • the camera 1 captures an image of an object or road surface (rear view image) existing in a space behind the vehicle.
  • the “rear of the vehicle” in the present embodiment includes not only the rear but also the left and right sides of the rear.
  • the in-vehicle device 200 of the present embodiment includes a plurality of cameras 1a to 1d installed at different positions outside the vehicle V.
  • the in-vehicle device 200 of the present embodiment is located at a predetermined position in front of the vehicle such as the front grill part, a predetermined position on the left side of the vehicle such as the left side mirror part, or a predetermined position on the right side of the vehicle such as the right side mirror part.
  • Cameras 1a to 1d are provided. Each camera 1 captures images in different directions around the vehicle. In the present embodiment, a wide-angle camera 1 having a wide imaging range is used.
  • the in-vehicle device 200 sends an image captured by the camera 1 to the terminal device 100 described later.
  • the camera 1 may be provided with a wireless communication function to send an image to the outside.
  • the terminal device 100 acquires an image captured by the camera 1 via a wireless communication network.
  • An image taken by each camera 1 is given an identifier corresponding to the arrangement (address) of each camera 1, and the terminal device 100 can identify each image based on each identifier. Further, the image taken by the camera 1 is given an image capture time, and the terminal device 100 can grasp the image capture time when each image is captured.
  • the vehicle controller 3 acquires information from each configuration of the vehicle and centrally manages the operation of the vehicle.
  • the vehicle controller 3 of this embodiment acquires state information indicating the state of the vehicle.
  • the vehicle controller 3 acquires steering information from the steering control device 41 of the vehicle as state information, acquires acceleration information or speed information from the acceleration sensor 42 as state information, and uses shift position information of the transmission 44 of the vehicle as state information. get.
  • the vehicle controller 3 sends the acquired steering information and acceleration information (speed information) to the terminal device 100.
  • the control device 10 of the terminal device 100 acquires the traveling direction (traveling angle) of the vehicle from the steering information. Similarly, the control device 10 acquires the traveling direction of whether the vehicle is moving backward or forward from the shift position information. Similarly, the control device 10 acquires the movement amount of the vehicle from the acceleration information (speed information) and the movement time.
  • the control device 10 can determine the position of the vehicle after a predetermined time has elapsed from the moving direction and the moving amount of the vehicle.
  • the camera 1, the communication device 2, the vehicle controller 3, and the various devices 4 included in the in-vehicle device 200 are connected by a CAN (Controller Area ⁇ ⁇ ⁇ Network) or other in-vehicle LAN, and can exchange information with each other.
  • CAN Controller Area ⁇ ⁇ ⁇ Network
  • the terminal device 100 of this embodiment is a portable portable terminal device provided with communication functions, such as a smart phone and a tablet terminal.
  • the terminal device 100 according to the present embodiment includes a control device 10, a communication device 20, and a display 30.
  • the communication device 20 of this embodiment exchanges information with the communication device 2 of the external in-vehicle device 200.
  • the communication device 20 acquires a captured image, a vehicle state, and other information from the in-vehicle device 200.
  • FIG. 2 is a diagram illustrating an example of an image displayed on the display 30 of the terminal device 100.
  • the example shown in FIG. 2 shows an image (rear view image) in which an object or a road surface existing in a space behind the vehicle is captured by the camera 1 installed at a predetermined position in the rear (rear) portion of the vehicle ( The same applies to FIGS. 5, 7, 9, and 11 to 13 described later).
  • a guide line along a track predicted to move the vehicle is superimposed on the image displayed on the display 30.
  • the guide line superimposed on the image has a vehicle width guide line Q1 and a distance guide line Q2.
  • the distance guide line Q2 is a guide line indicating the distance from the host vehicle (camera 1).
  • each distance guide line Q2 is superimposed on the position of 0.5 m, 1.0 m, 2.0 m, and 3.0 m from the own vehicle.
  • the distance indicated by the distance guide line Q2 is not limited to 0.5 m, 1.0 m, 2.0 m, and 3.0 m, and can be set as appropriate.
  • the terminal device 100 can be installed in a holder attached near the instrument panel or the steering of the vehicle so that the driver of the vehicle can easily see.
  • the control device 10 included in the terminal device 100 of the present embodiment includes a ROM (Read Only Memory) 12 in which a program for superimposing a guide line on an image captured by the camera 1 and displaying the image on the display 30 is stored.
  • ROM Read Only Memory
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • the control device 10 of the terminal device 100 includes an image acquisition function that acquires an image captured by the camera 1, and a delay state determination function that determines a delay state of wireless communication between the terminal device 100 and the in-vehicle device 200. And a guide line superimposing function for superimposing a guide line on an image captured by the camera 1, and an information presentation function for displaying an image on which the guide line is superimposed on a display.
  • the control device 10 is a computer that executes the above functions in cooperation with software for realizing each function and the hardware described above. Hereinafter, each function realized by the control device 10 will be described.
  • the image acquisition function of the control device 10 acquires an image around the vehicle imaged by the vehicle-mounted camera 1 from the vehicle-mounted device 200 via the communication device 20.
  • the image acquisition function acquires an image on the rear side of the vehicle, but is not limited to this, and may acquire images on the front and side.
  • the image acquisition function may acquire a monitoring image around the host vehicle generated by the in-vehicle device 200 and looking down from the sky virtual viewpoint.
  • the monitoring image is a bird's-eye view image generated by projecting a plurality of images captured by the cameras 1 arranged at different positions of the host vehicle onto a projection plane looking down from a virtual viewpoint above the vehicle.
  • the control device 10 uses the acquired captured image or monitoring image as information to be presented on the display 30 in situations such as when the host vehicle is parked or retreated.
  • the delay state determination function of the control device 10 determines the delay state of wireless communication between the in-vehicle device 200 and the terminal device 100.
  • the wireless communication delay state includes a wireless communication delay time.
  • the delay state determination function can obtain the difference between the imaging time of the image attached to the image acquired from the in-vehicle device 200 and the acquisition time when the image is acquired as the delay time. Further, the delay state determination function can determine that the wireless communication delay state is a communication disruption state when wireless communication between the terminal device 100 and the in-vehicle device 200 cannot be established.
  • the delay state determination function can also obtain the delay time from the difference between the reference communication time in a predetermined good communication environment and the actually measured communication time in the communication environment in which transmission / reception is actually performed.
  • the delay state determination function refers to the clock 45 of the in-vehicle device 200 and the clock 112 of the terminal device 100 and synchronizes the information, and then performs information communication via wireless communication between the in-vehicle device 200 and the terminal device 100.
  • the delay time can be calculated by measuring the actual communication time required for the exchange. Specifically, information with a transmission timing is transmitted from the in-vehicle device 200 to the terminal device 100. When the terminal device 100 acquires the information, the terminal device 100 transmits reception confirmation information to the in-vehicle device 200.
  • the in-vehicle device 200 calculates half of the time from the transmission timing at which information is transmitted to the terminal device 100 to the reception timing at which the reception confirmation information transmitted by the terminal device 100 is received as the communication time required for wireless communication.
  • the communication time of wireless communication can be calculated by a similar method in a communication environment without a predetermined load.
  • the actually measured communication time changes every moment depending on the number of terminal devices that access the wireless communication network and the amount of information to be communicated.
  • the delay state determination function calculates the communication time at a predetermined cycle and continuously calculates the delay time that is the difference from the reference communication time. In this example, since the delay time is calculated after the in-vehicle device 200 and the terminal device 100 are synchronized in advance, an accurate delay time can be calculated.
  • the delay time includes a fixed time determined in advance according to the capability of the communication facility and a variable time caused by the communication amount.
  • the fixed time can be stored in the in-vehicle device 200 or the terminal device 100 in advance. From the viewpoint of reducing the processing load, the stored fixed delay time may be read to determine the delay state.
  • the cause of the delay state in which the presentation of the image of the camera 1 is delayed is not only the delay time of the wireless communication described above.
  • the first time referred to here is the time from t0 to t1 until the vehicle-mounted device 200 captures the image of the vehicle periphery and compresses the image.
  • the second time is the time required for wireless communication from t1 to t2.
  • the third time is the time required to decompress the compressed image from t2 to t3 and the time required to present the decompressed image on the display 30.
  • the delay state of the wireless communication is based on the time from imaging to image transmission performed on the in-vehicle device 200 side, the communication time between the in-vehicle device 200 and the terminal device 100, and the image reception performed on the terminal device 100 side. Occurs when the time until presentation is delayed.
  • the time required from the imaging process to the completion of the image presentation process is about 100 to 500 msec. Even in such a short time, it is not preferable that past image information is presented as if it were currently imaged information. Even more so, when communication delays cause the time from imaging time to presentation time to be longer.
  • a communication network such as CAN
  • the time from the imaging time to the presentation time is almost constant, and thus can be managed.
  • an image obtained on the in-vehicle device 200 side is sent to the terminal device 100 via public wireless communication and presented on the display 30 of the terminal device 100, it is necessary to consider communication delay. .
  • the above-described third time greatly depends on the processing capability of the terminal device 100, and it is difficult to uniformly define the delay time for the terminal devices 100 with different performances and states owned by individuals.
  • the delay state determination function measures the delay time of wireless communication between the terminal device 100 and the in-vehicle device 200 by the above method.
  • the delay state determination function acquires the terminal device side processing time required for the terminal device 100 to acquire the image and present the image, and sets the terminal device side processing time as a delay of wireless communication.
  • the delay time for information presentation is calculated by adding to the time, and the delay state is determined.
  • the processing time on the terminal device side is experimentally calculated in advance and stored in the terminal device 100 so as to be readable.
  • the delay state can be accurately determined by calculating the delay time by adding not only the delay of the wireless communication but also the time required for the processing on the terminal device 100 side.
  • the delay state determination function may add the time required from acquisition (imaging) of an image performed on the in-vehicle device 200 side to transmission to the delay time.
  • the delay time By calculating the delay time by adding not only the wireless communication delay but also the time required for the processing on the in-vehicle device 200 side, the delay state can be determined more accurately.
  • the delay state determination function can determine whether or not the wireless communication of the communication device 2 has been interrupted, and if the wireless communication is interrupted, the display 30 can indicate that the wireless communication has been interrupted.
  • the wireless communication of the communication device 2 is interrupted, it is difficult to acquire a captured image at the current time in real time. That is, the captured image presented on the display 30 is highly likely to be a past video.
  • the present embodiment by presenting that the wireless communication of the communication device 2 has been interrupted, it is possible to notify the driver that the presented captured image is not a real-time image.
  • the delay state determination function may be configured to determine the reliability of wireless communication according to the delay state. When the delay time is long and the delay state of the wireless communication is bad, it is determined that the reliability of the wireless communication is low. On the other hand, if the delay time is short and the delay state of the wireless communication is not bad (the communication state is good), it is determined that the reliability of the wireless communication is high.
  • the reliability of wireless communication can be defined according to the communication time in the communication state. The longer the communication time, the lower the reliability of wireless communication can be set.
  • the control device 10 presents the determined reliability on the display 30. In a situation where the delay time of wireless communication is long and the reliability of wireless communication is low, it is difficult to acquire a captured image at the present time in real time. That is, the captured image presented on the display 30 is highly likely to be a past video. In the present embodiment, the fact that the reliability of wireless communication of the communication device 2 is low can be presented to the driver that the presented captured image is not a real-time image.
  • the guide line superimposing function of the control device 10 includes a vehicle width guide line Q1 indicating the position of the side surface of the host vehicle when the host vehicle moves, and a distance indicating a position along the traveling direction of the host vehicle when the host vehicle moves.
  • a guide line including the guide line Q2 is generated.
  • the guide line superimposing function then superimposes the generated guide line on the image captured by the camera 1 as shown in FIG.
  • the guide line superimposing function is such that each distance guide line Q2 is located at a position where the distance from the host vehicle becomes the distance indicated by the distance guide line Q2. Is superimposed.
  • the guide line superimposing function is based on the wireless communication delay state and the state of the own vehicle acquired from the vehicle controller 3.
  • the overlapping position of the guide line on the image is determined.
  • FIG.4 and FIG.5 the superimposition method of the guide line which concerns on 1st Embodiment is demonstrated.
  • 4 and 5 are diagrams for explaining a method of superimposing guide lines in the first embodiment.
  • the scene where the own vehicle moves backward and enters the parking space is illustrated.
  • the position on the image where the distance from the vehicle (camera 1) is the distance indicated by each distance guide line Q2 will be described as the reference position Q2 'of each distance guide line Q2.
  • the position of the vehicle from which the image is captured is the position before the delay time and is different from the current position of the host vehicle.
  • the image shown in FIG. 5 is captured at time t10.
  • an image captured at time t10 is displayed on the display 30 of the terminal device 100 at time t11. Therefore, at time t11, the actual position of the host vehicle is a position P1 on the traveling direction side of the host vehicle from the position P0 where the image displayed on the display 30 is captured.
  • the guide line superimposing function allows the driver to recognize that the host vehicle and the obstacle O are closer when the wireless communication is delayed than when the wireless communication is not delayed.
  • the distance guide line Q2 is located at a position closer to the own vehicle (opposite to the traveling direction of the own vehicle) than the reference position Q2 ′ where the distance from the own vehicle (camera 1) is the distance indicated by the distance guide line Q2.
  • the guide line has a plurality of distance guide lines Q2, each distance guide line Q2 is positioned closer to the vehicle side than the reference position Q2 ′ of each distance guide line Q2. Superimpose.
  • the reference position Q2 ' (for example, a position indicating a distance of 1.0 m from the host vehicle) indicated by the distance guide line Q2 is P3 in the image captured at time t10.
  • the position where the distance from the host vehicle is the distance indicated by the distance guide line Q2 in the image is P3.
  • the guide line superimposing function superimposes the distance guide line Q2 on the position P4 closer to the host vehicle than the position P3.
  • the position P4 on which the distance guide line Q2 is superimposed is closer to the host vehicle than P3 which is the reference position Q2 '.
  • the distance guide line Q2 is moved closer to the host vehicle on the image by the amount that the host vehicle has actually moved with respect to the image capturing position.
  • the distance indicated by the line Q2 (for example, 1.0 m from the own vehicle) does not change, but the distance indicated by the distance guide line Q2 from the own vehicle (for example, the own vehicle) compared to the case where the distance guide line Q2 is superimposed on the reference position Q2 ′. From the host vehicle to the obstacle, for example, when the obstacle O exists in the traveling direction of the host vehicle. The driver can be made to recognize that the distance to O is a relatively short distance.
  • the guide line superimposing function when wireless communication is delayed, is based on the state information such as the vehicle speed and steering information of the own vehicle and the delay time of the wireless communication from the position where the image is captured.
  • the amount of movement to the current position is estimated, and the distance guide line Q2 is superimposed on the position closer to the host vehicle than the reference position Q2 ′ by the estimated amount of movement.
  • the guide line superimposing function estimates the amount of movement from the position P0 where the image is captured to the current position P1 of the host vehicle at time t11. Then, the guide line superimposing function superimposes the distance guide line Q2 on the image at the position P4 moved from the reference position Q2 'to the own vehicle side by the estimated amount of movement.
  • the guide line superimposing function may be configured to superimpose the distance guide line Q2 at a position closer to the host vehicle than the reference position Q2 'by a predetermined amount of movement.
  • the information presentation function of the control device 10 causes the display 30 to display an image on which the guide line is superimposed by the guide line superimposing function as shown in FIG.
  • the reference position Q2 ′ is displayed for convenience, but the reference position Q2 ′ is not displayed when an image is displayed on the display 30 (also in FIGS. 7 and 9 described later). The same.)
  • FIG. 6 is a flowchart showing information presentation processing according to the first embodiment. 6 is executed by the control device 10 of the terminal device 100.
  • step S101 the delay state determination function of the control device 10 determines the delay state of wireless communication between the terminal device 100 and the in-vehicle device 200. Specifically, the delay state determination function determines whether or not wireless communication has been established between the terminal device 100 and the in-vehicle device 200, and if wireless communication has been established, the delay time of the wireless communication Judging. Note that the information presentation function of the control device 10 may display that on the display 30 when the wireless communication is not established (when the wireless communication is interrupted).
  • step S102 the state information of the host vehicle is acquired by the guide line superimposing function of the control device 10.
  • the guide line superimposing function can acquire state information such as the vehicle speed, acceleration, steering angle, and traveling direction of the host vehicle from the vehicle controller 3.
  • step S103 an image around the host vehicle captured by the camera 1 is acquired by the image acquisition function of the control device 10.
  • step S104 whether or not the wireless communication between the terminal device 100 and the in-vehicle device 200 is delayed based on the determination result of the delay state of the wireless communication in step S101 by the guide line superimposing function of the control device 10. Judgment is made. If the wireless communication is delayed, the process proceeds to step S105. If the wireless communication is not delayed, the process proceeds to step S106. If the wireless communication is not delayed for a certain time (for example, 200 msec) or more, it may be determined that the wireless communication is not delayed and the process may proceed to step S106.
  • a certain time for example, 200 msec
  • step S106 processing for superimposing the guide line on the image acquired in step S103 is performed by the guide line superimposing function.
  • the guide line superimposing function displays each distance guide line Q2 indicating the distance from the own vehicle, and the distance from the own vehicle is each distance guide line Q2. Is superimposed on a position (reference position Q2 ′) at a distance indicated by.
  • step S105 the guide line superimposing function, as shown in FIG. 5, is on the own vehicle side (progress of the own vehicle) from the reference position Q2 ′ where the distance from the own vehicle is the distance indicated by the distance guide line Q2 on the image.
  • Each distance guide line Q2 is overlapped at a position opposite to the direction).
  • the guide line superimposing function is based on the determination result of the wireless communication delay state in step S101 and the own vehicle state (for example, the vehicle speed and the steering angle) acquired in step S102. The amount of movement of the vehicle to the current position is estimated, and each distance guide line Q2 is superimposed on the position moved from the reference position Q2 ′ to the own vehicle side by the estimated amount of movement.
  • step S107 the information presentation function of the control device 10 presents the image on which the guide line is superimposed in step S105 or step S106 on the screen of the display 30.
  • the information presentation system 1000 determines the overlapping position of the distance guide line Q2 on the image captured by the camera 1 based on the delay state of the wireless communication. Therefore, in 1st Embodiment, even if it is a case where the radio
  • the host vehicle when the wireless communication is delayed, as shown in FIG. 5, the host vehicle is more than the reference position Q2 ′ where the distance from the host vehicle is the distance indicated by the distance guide line Q2 on the image.
  • Each distance guide line Q2 is superimposed on the position on the side (opposite to the traveling direction of the host vehicle). Further, based on the state of the host vehicle (vehicle speed, rudder angle, etc.) and the delay time, the amount of movement of the host vehicle at the delay time is estimated, and the estimated amount of movement has moved from the reference position Q2 ′ to the host vehicle side.
  • Each distance guide line Q2 is superimposed on the position.
  • the distance guide line Q2 since the distance guide line Q2 approaches the own vehicle side on the image by the amount that the own vehicle has actually moved relative to the position where the image was captured, the distance guide line Q2 is set to the reference position Q2 ′.
  • the driver can recognize that the distance indicated by the distance guide line Q2 from the own vehicle (for example, a distance of 1.0 m from the own vehicle) is a relatively short distance.
  • the driver can be made to recognize that the distance from the host vehicle to the obstacle O is also a relatively short distance.
  • the information presentation system 1000 according to the second embodiment has the same configuration as the information presentation system 1000 according to the first embodiment, and the information presentation system according to the first embodiment except that the information presentation system 1000 operates as described below. The same operation as the system 1000 is performed.
  • control device 10 of the terminal device 100 further includes a moving body detection information acquisition function for detecting a moving body in addition to the functions according to the first embodiment.
  • the moving body detection information acquisition function of the control device 10 acquires detection information as to whether or not there is a moving body around the host vehicle. Specifically, the moving body detection information acquisition function acquires information on whether or not a moving body exists from the in-vehicle device 200.
  • the in-vehicle device 200 includes a moving body detection device 43.
  • the moving body detection device 43 determines whether or not there is a moving body around the vehicle based on the temporal change of the feature extracted from the captured image of the in-vehicle camera 1.
  • the method for detecting the moving object based on the captured image is not particularly limited, and the method known at the time of filing of the present application can be appropriately used.
  • the guide line superimposing function of the control device 10 determines whether or not the detection information indicating that the moving object exists is acquired by the moving object detection information acquiring function when the wireless communication is delayed. If there is a moving body, the position of the guide line superimposed on the captured image is changed based on the distance to the moving body.
  • the guide line superimposing function first calculates the distance from the own vehicle (camera 1) to the moving object when the moving object exists around the own vehicle. Then, the guide line superimposing function determines whether or not the moving body is within the range of the guide line based on the calculated distance to the moving body. For example, as shown in FIG. 7, the guide line superimposing function according to the present embodiment is located at positions where the distance from the own vehicle (camera 1) is 0.5 m, 1.0 m, 2.0 m, and 3.0 m. Each distance guide line Q2 is superimposed. In this case, the distance guide line Q2 displays a distance from the host vehicle to 3.0 m, and the range of the guide line is a distance range of 3.0 m from the host vehicle.
  • the guide line superimposing function determines that the moving body exists outside the range of the guide line when the distance from the own vehicle to the moving body exceeds 3.0 m, while the distance from the own vehicle to the moving body. Is 3.0 m or less, it is determined that the moving body is within the range of the guide line.
  • the distance from the host vehicle is as shown in FIG.
  • the distance guide line Q2 is superimposed on a position closer to the traveling direction of the host vehicle than the reference position Q2 ′ that is the distance indicated by the distance guide line Q2.
  • the captured image captured at time t20 is illustrated as being presented to the driver at time t21. is doing. In this case, when the host vehicle moves to the position P11 at time t21, an image captured at the position P10 is presented to the driver.
  • the actual distance from the host vehicle is also the case where the position on the image where the distance from the host vehicle is the distance indicated by the distance guide line Q2 (for example, 1.0 m from the host vehicle) is P13.
  • the position at which the distance indicated by the distance guide line Q2 (for example, 1.0 m from the host vehicle) is P14. Therefore, the guide line superimposing function is used when the moving body does not exist around the own vehicle or when the moving body exists within the range of the guide line, the distance guide line Q2 is actually displayed on the image from the own vehicle.
  • the distance guide line Q2 is superimposed on a position P14 on the traveling direction side of the host vehicle with respect to P13 which is the reference position Q2 ′.
  • the guide line superimposing function estimates the current position of the host vehicle based on the delay time of wireless communication and the state of the host vehicle, and the distance from the estimated current position is the distance indicated by the distance guide line Q2.
  • the distance guide line Q2 can be superimposed on the position.
  • each distance guide line Q2 can be displayed so that the distance guide line Q2 indicates the actual distance from the host vehicle.
  • 7 and 8 are diagrams for explaining the guide line superimposing method when the moving body does not exist around the host vehicle or when the moving body exists within the range of the guide line.
  • FIG. 9 is a diagram for explaining a guide line superimposing method when the moving body is outside the range of the guide line.
  • the guide line superimposing function superimposes a sign M indicating the moving body on the image as shown in FIG. 9 when the moving body exists around the host vehicle. Further, the guide line superimposing function superimposes a sign M indicating the moving body at a position closer to the host vehicle than the actual position of the moving body when wireless communication is delayed. Specifically, the guide line superimposing function estimates the amount of movement from the position where the image was captured to the current position of the own vehicle based on the state information of the own vehicle and the delay time of the wireless communication. A sign M indicating the moving body is superimposed on a position corresponding to the corresponding position so that the moving body is moved to the own vehicle side from the actual position of the moving body. Thereby, even when wireless communication is delayed, the actual distance from the host vehicle to the moving body can be appropriately displayed on the image.
  • FIG. 10 is a flowchart showing information presentation processing according to the second embodiment. 10 is executed by the control device 10 of the terminal device 100.
  • steps S201 to S203 as in steps S101 to S103 of the first embodiment, the delay state of wireless communication between the terminal device 100 and the in-vehicle device 200 is determined (step S201), and acquisition of the state information of the host vehicle is obtained. Is performed (step S202), and an image around the host vehicle is acquired (step S203).
  • step S204 the mobile body detection information is acquired by the mobile body detection information acquisition function of the control device 10.
  • step S205 the guide line superimposing function of the control device 10 determines whether there is a moving body around the host vehicle based on the moving body detection information acquired in step S204. If there is no moving body around the host vehicle, the process proceeds to step S211. If a moving body exists around the host vehicle, the process proceeds to step S206.
  • step S206 it is determined by the guide line superimposing function of the control device 10 whether or not the moving body is within the guide line range. If the moving body exists within the guide line range, the process proceeds to step S207. If the moving body exists outside the guide line range, the process proceeds to step S208.
  • step S207 since it is determined that the moving body is within the range of the guide line, the guide line superimposing function, as shown in FIG. 7, includes the vehicle state information such as the vehicle speed and the steering angle, and wireless communication. Based on this delay time, the distance guide line Q2 is superimposed on a position closer to the traveling direction of the host vehicle than the reference position Q2 ′. Thereby, the actual distance from the own vehicle to the moving body can be appropriately displayed on the image.
  • step S208 it is determined that the moving body is outside the range of the guide line.
  • the guide line superimposing function is based on the state information of the host vehicle such as the vehicle speed and the rudder angle, and the delay time of the wireless communication.
  • the distance guide line Q2 is superimposed at a position on the opposite side to the traveling direction of. As a result, the driver can appropriately recognize that there is a time and distance allowance until the host vehicle approaches the moving body as compared with the case where the distance guide line Q2 is superimposed on the reference position Q2 ′. it can.
  • step S209 the guide line superimposing function is performed to superimpose a sign indicating the moving body on the image.
  • the guide line superimposing function moves the sign M indicating the moving body based on the state information of the host vehicle such as the vehicle speed and the steering angle and the delay time of the wireless communication. It superimposes on the position of the own vehicle side rather than the actual position of the body.
  • step S210 the information presentation function of the control device 10 presents an image on which the guide line is superimposed in steps S207 and S208 and the sign M indicating the moving object is superimposed on the screen of the display 30 in step S209. .
  • step S211 If it is determined in step S205 that there is no moving body around the host vehicle, the process proceeds to step S211.
  • step S211 as in step S207, the guide line superimposing function is used to set the position of the own vehicle in the traveling direction from the reference position Q2 ′ so that each distance guide line Q2 indicates the actual distance from the own vehicle. A distance guide line Q2 is superimposed. Thereby, the actual distance from the host vehicle can be appropriately displayed on the image. Then, the process proceeds to step S210, and the image on which the guide line is superimposed in step S211 is presented on the screen of the display 30.
  • the information presentation system 1000 when the mobile object is detected in the case where the wireless communication is delayed, whether or not the mobile object exists within the range of the guide line. Determine whether.
  • the moving body is within the range of the guide line, as shown in FIG. 7, based on the state of the host vehicle and the delay time so that each distance guide line Q2 indicates the actual distance from the host vehicle.
  • Each distance guide line Q2 is superimposed on a position closer to the traveling direction of the host vehicle than the reference position Q2 ′.
  • the distance guide line Q2 when the wireless communication is delayed and the moving body does not exist around the host vehicle, the distance guide line Q2 is actually from the host vehicle as shown in FIG. As shown by the distance, the distance guide line Q2 is superimposed on a position closer to the traveling direction of the host vehicle than the reference position Q2 ′. Thereby, when the wireless communication is delayed and the moving body does not exist around the own vehicle, the actual distance from the own vehicle can be appropriately displayed on the image by the distance guide line Q2. it can.
  • a sign M indicating the moving body is displayed as shown in FIG. Is superimposed on a position closer to the host vehicle than the actual position.
  • the distance guide line Q2 when the wireless communication is not delayed, the distance guide line Q2 is superimposed on the reference position Q2 ′ that is the distance indicated by the distance guide line Q2, as in the first embodiment. (The same applies to the third embodiment described later).
  • the information presentation system 1000 according to the third embodiment has the same configuration as the information presentation system 1000 according to the first embodiment, and the information presentation system according to the first embodiment except that the information presentation system 1000 operates as described below. The same operation as the system 1000 is performed.
  • the delay state determination function of the control device 10 determines the delay state of wireless communication between the terminal device 100 and the in-vehicle device 200, as in the first embodiment. In the third embodiment, the delay state determination function determines whether the wireless communication delay state is a communication interruption state, a normal delay state, or an abnormal delay state.
  • the delay state determination function determines that the wireless communication delay state is the normal delay state when the wireless communication delay time is within a predetermined time (for example, 200 msec).
  • the delay state determination function determines that the wireless communication delay state is an abnormal communication state when the wireless communication delay time exceeds a predetermined time.
  • the delay state determination function determines that the wireless communication delay state is a communication interruption state.
  • the guide line superimposing function of the control device 10 changes the display mode of the guide line based on the delay state of the wireless communication between the terminal device 100 and the in-vehicle device 200.
  • the guide line superimposing function is configured so that the driver can recognize whether the wireless communication delay state is a communication interruption state, a normal delay state, or an abnormal delay state.
  • the display mode of the guide line is changed according to the interruption state, the normal delay state, and the abnormal delay state.
  • FIGS. 11 to 13 are diagrams for explaining the display mode of the guide lines in the third embodiment.
  • the guide line superimposing function displays the guide line color in a lighter color than the normal delay state as shown in FIG. 12 when the wireless communication delay state is determined to be an abnormal delay state.
  • the guide line is displayed with a broken line.
  • the driver can appropriately recognize that the wireless communication between the terminal device 100 and the in-vehicle device 200 is in an abnormal delay state.
  • the guide line superimposing function causes the distance guide line Q2 to travel more than the reference position Q2 ′ in the same manner as the scene shown in FIG. It is superimposed on the position on the direction side.
  • the guide line superimposing function first emphasizes the guide line more than the normal delay state as shown in FIG. indicate.
  • the guide line superimposition function displays the guide line in a darker color than in the normal delay state, or displays the guide line more emphasized than in the normal delay state by displaying the guide line thicker. Can do.
  • the guide line superimposing function hides the guide line as shown in FIG. 13B after a certain time has elapsed since the guide line was highlighted.
  • the driver can appropriately recognize that the wireless communication between the terminal device 100 and the in-vehicle device 200 is in a communication interruption state.
  • the traveling direction of the host vehicle is greater than the reference position Q2 ′ in the distance guide line Q2 as in the scenes shown in FIGS. It can be superimposed on the side position.
  • FIG. 14 is a flowchart showing information presentation processing according to the third embodiment. 14 is executed by the control device 10 of the terminal device 100.
  • steps S301 to S303 as in steps S101 to S103 of the first embodiment, determination of the delay state of wireless communication between the terminal device 100 and the in-vehicle device 200 is performed (step S301), and acquisition of the state information of the host vehicle is obtained. Is performed (step S302), and an image around the host vehicle is acquired (step S303). In step S301, it is determined whether the wireless communication delay state is a communication interruption state, a normal delay state, or an abnormal delay state.
  • step S304 based on the determination result in step S301, the guide line superimposing function determines whether or not the delay state of the wireless communication between the terminal device 100 and the in-vehicle device 200 is a communication interruption state. If it is determined that the communication is interrupted, the process proceeds to step S308. On the other hand, if it is determined that the communication is not interrupted, the process proceeds to step S305.
  • step S305 the guide line superimposing function determines whether or not the wireless communication delay state is the normal delay state. For example, if it is determined that the delay time of the wireless communication is within a predetermined time and is in the normal delay state, the process proceeds to step S306, while the delay time of the wireless communication exceeds the predetermined time and the abnormal delay state If it is determined that there is, the process proceeds to step S307.
  • step S306 since it is determined that the wireless communication delay state is the normal delay state, as shown in FIG. 11, the guide line superimposing function moves the vehicle to a position closer to the traveling direction of the host vehicle than the reference position Q2 ′.
  • the distance guide line Q2 is superimposed.
  • step S307 since it is determined that the wireless communication is delayed, the guide line superimposing function causes the distance from the reference position Q2 ′ to the position on the traveling direction side of the host vehicle as shown in FIG. A guide line Q2 is superimposed.
  • the guide line superimposing function displays the guide line color in a lighter color than in the normal delay state. Display with a broken line. As a result, the driver can appropriately recognize that the wireless communication delay state is an abnormal delay state.
  • step S304 determines whether the wireless communication delay state is a communication interruption state. If it is determined in step S304 that the wireless communication delay state is a communication interruption state, the process proceeds to step S308.
  • step S308 as shown in FIG. 13A, the guide line is emphasized and displayed by the guide line superimposing function, and the distance guide line is positioned at a position closer to the traveling direction of the host vehicle than the reference position Q2 ′. Q2 is superimposed.
  • step S309 the guide line superimposing function determines whether a predetermined time has elapsed since the guide line was highlighted. The process waits in step S309 until the predetermined time elapses, and proceeds to step S310 when the predetermined time elapses.
  • step S310 the guide line is hidden by the guide line superimposing function. In this way, when the delay state of wireless communication is a communication interruption state, the guide line is highlighted and then the guide line is hidden, so that the wireless communication delay state is a communication interruption state. Can be recognized appropriately by the driver.
  • step S311 the information presentation function of the control device 10 presents the image on which the guide line is superimposed in step S306, S307, or step S308 on the screen of the display 30.
  • the information presentation system 1000 changes the display mode of the guide line based on the delay state of the wireless communication between the terminal device 100 and the in-vehicle device 200. For example, when the delay state of the wireless communication is an abnormal delay state, the guide line is displayed in a light color, a broken line, or the like compared to the case of the normal delay state. In addition, when the wireless communication delay state is a communication interruption state, the guide line is highlighted after the guide line is hidden as compared with the normal delay state. Thereby, in 3rd Embodiment, in addition to the effect of 1st Embodiment, a driver can be made to recognize the delay state of radio
  • the terminal device 100 and the information presentation system 1000 are described as examples of one aspect of the information presentation system according to the present invention, but the present invention is not limited to this.
  • the terminal device 100 provided with the control apparatus 10 containing CPU11, ROM12, and RAM13 and the information presentation system 1000 provided with the vehicle-mounted apparatus 200 were demonstrated as an example of the one aspect
  • the present invention is not limited to this.
  • the camera 1, the communication apparatus 2, the vehicle controller 3, and the vehicle-mounted apparatus 200 provided with the various apparatuses 4 were demonstrated as an aspect of the vehicle-mounted apparatus provided with a camera and a communication function, It is not limited to this.
  • the configuration in which the guide line is superimposed on the image obtained by imaging the rear of the host vehicle is illustrated.
  • the present invention is not limited to this. It can be set as the structure which superimposes.
  • the guide line is set to a position closer to the host vehicle than the reference position Q2 ′ or to a position on the traveling direction side of the host vehicle. It can be set as the structure which overlaps.
  • each distance guide line Q2 is either one of the position on the own vehicle side with respect to the reference position Q2 ′ and the position on the traveling direction side of the own vehicle.
  • the present invention is not limited to this configuration, and some distance guide lines Q2 are superimposed on a position closer to the own vehicle than the reference position Q2 ′, and other distance guide lines Q2 are placed on the own vehicle. Can be superimposed on a position on the traveling direction side.
  • a distance guide line Q2 indicating a distance from the host vehicle to a certain distance is superimposed on a position closer to the host vehicle than the reference position Q2 ′, and a distance guide line Q2 indicating a distance exceeding a certain distance from the host vehicle.
  • the configuration in which the guide line having the vehicle width guide line Q1 and the distance guide line Q2 is superimposed on the image is exemplified, but in addition to this configuration, for example, the host vehicle is predicted to move.
  • the predicted route P indicating the trajectory can be further superimposed on the image.
  • each distance guide line Q2 when the wireless communication is delayed, as shown in FIG. 5, the configuration in which each distance guide line Q2 is superimposed at a position closer to the host vehicle than the reference position Q2 ′.
  • it is not limited to this structure,
  • it can be set as the structure which each distance guide line Q2 superimposes on the position of the advancing direction side of the own vehicle rather than reference position Q2 '. . In this case, the driver can appropriately recognize the actual distance from the host vehicle on the image.
  • the distance guide line Q2 when the wireless communication is delayed and there is no moving body around the host vehicle, or when the moving body is outside the range of the guide line, the distance guide line Q2 is The configuration in which the distance guide line Q2 is superimposed at a position closer to the traveling direction of the host vehicle than the reference position Q2 ′ so as to display the actual distance from the host vehicle is illustrated, but is not limited to this configuration. If the position is closer to the traveling direction of the host vehicle than the reference position Q2 ′, the distance guide line Q2 is not positioned corresponding to the actual distance from the host vehicle (the traveling of the host vehicle by a predetermined distance from the reference position Q2 ′). It is good also as a structure superimposed on the direction side position. Also in this case, the distance indicated by the distance guide line Q2 can be presented to the driver as a distance closer to the actual distance from the host vehicle.
  • the configuration in which the display mode of the guide line is changed based on the delay state of the wireless communication is illustrated, but the display mode of the guide line corresponding to each delay state is limited to the above-described example. However, it can be set as appropriate.
  • the guide line transparency may be changed, and the guide line may be blinked.
  • the wireless communication state is an abnormal communication state, it is possible to increase the transparency of the guide line or to blink the guide line.
  • the communication state of the wireless communication is a communication interruption communication state, first, the transparency of the guide line may be lowered and then the transparency of the guide line may be increased.
  • the guide line may be displayed in a blinking manner.
  • the guide line is displayed as a relatively inconspicuous receding color line such as blue, green, and bluish purple, a broken line, and a relatively thin line.
  • the guide line may be displayed as a relatively conspicuous advance color line such as red, solid line, orange, or yellow, or a relatively thick line.
  • the overlapping position of the distance guide line Q2 can be determined based on whether an obstacle exists around the host vehicle or whether the obstacle exists within the range of the guide line.
  • the image acquisition function of the control device 10 is the image acquisition means of the present invention
  • the guide line superimposition function is the vehicle information acquisition means and superimposition means of the present invention
  • the delay state determination function is the determination of the present invention.
  • the moving body detection information acquisition function corresponds to the obstacle information acquisition unit of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

車両に設けられたカメラ１を有する車載装置２００と、車載装置と無線通信する携帯可能な端末装置１００と、を有する情報提示システムにおいて、端末装置１００は、カメラ１により撮像された車両周囲の画像を取得する画像取得手段１０と、画像上に車両からの距離を示す距離標識を重畳する重畳手段１０と、車載装置２００と端末装置１００との無線通信の遅延状態を判断する判断手段１０と、距離標識が重畳された画像を提示する提示手段１０と、を備え、重畳手段１０は、無線通信が遅延していない場合には、画像上において車両からの距離が距離標識の示す距離となる基準位置に、距離標識を重畳し、無線通信が遅延している場合には、基準位置よりも車両の進行方向側の位置、または、基準位置よりも車両側の位置に、距離標識を重畳することを特徴とする情報提示システム。

Description

情報提示システム
　本発明は、車両の周囲の映像に関する情報を提示する情報提示システムに関する。
　この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車両の後方の映像を表示する運転支援装置が知られている（特許文献１）。
特開２０１２－０１６２１３０号公報
　しかしながら、車載装置に組み込まれていない可搬型の端末装置が、無線通信を介して取得した車載カメラの撮像画像を提示する場合に、無線通信に遅れが生じると撮像画像を提示するタイミングが遅延するという問題がある。
　本発明が解決しようとする課題は、車載装置と端末装置との無線通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す画像情報を端末装置に適切に提示することである。
　本発明は、無線通信が遅延していない場合には、画像上において車両からの距離が距離標識の示す距離となる基準位置に、車両からの距離を示す距離標識を重畳し、無線通信が遅延している場合には、基準位置よりも車両の進行方向側の位置、または、基準位置よりも車両側の位置に、距離標識を重畳することで、上記課題を解決する。
　本発明によれば、無線通信が遅延している場合には、基準位置よりも車両の進行方向側の位置、または、基準位置よりも車両側の位置に、距離標識を重畳することで、車載装置と端末装置との無線通信が遅延している場合であっても、リアルタイムの車両周囲の状態をドライバに認識させることができる。
本実施形態に係る情報提示システムの構成図である。 端末装置のディスプレイに表示される画像の一例を示す図である。 無線通信の遅延を説明する図である。 第１実施形態に係るガイド線の重畳方法を説明するための図である。 第１実施形態に係るガイド線の重畳方法を説明するための図である。 第１実施形態に係る情報提示処理を示すフローチャート図である。 第２実施形態において、移動体が自車両周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合のガイド線の重畳方法を説明するための図である。 第２実施形態において、移動体が自車両周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合のガイド線の重畳方法を説明するための図である。 第２実施形態において、移動体がガイド線の範囲外に存在する場合のガイド線の重畳方法を説明するための図である。 第２実施形態に係る情報提示処理を示すフローチャート図である。 第３実施形態において、無線通信が通常遅延状態である場合のガイド線の表示態様を説明するための図である。 第３実施形態において、無線通信が異常遅延状態である場合のガイド線の表示態様を説明するための図である。 第３実施形態において、無線通信が通信途絶状態である場合のガイド線の表示態様を説明するための図である。 第３実施形態に係る情報提示処理を示すフローチャート図である。
　以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に設けられたカメラを有する車載装置２００と、この車載装置２００と無線通信する携帯可能な端末装置１００とを備える情報提示システム１０００に適用した場合を例にして説明する。
　《第１実施形態》
　図１は、本実施形態に係る情報提示システム１０００のブロック構成図である。情報提示システム１０００は、車載装置２００と、端末装置１００とを備える。
　まず、図１に基づいて、本発明の車載装置２００について説明する。本実施形態の車載装置２００は、一又は複数のカメラ１ａ～１ｄと、通信装置２と、車両コントローラ３と、車両に搭載された各種の装置４（各種装置４とも総称する）とを備える。
　カメラ１ａ～１ｄ（総称してカメラ１とも称する。以下、同じ。）は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成される。本実施形態では、リアフィニッシャー部分やルーフスポイラー部分などの車両のリア（後方）部分の所定位置に設置されたカメラ１を備える。このカメラ１は、車両の後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。また、本実施形態の車載装置２００は、車両Ｖの外部の異なる位置に各々設置された複数のカメラ１ａ～１ｄを備える。本実施形態の車載装置２００は、フロントグリル部分などの車両の前方の所定位置、左サイドミラー部分などの車両の左側方の所定位置、又は右サイドミラー部分などの車両の右側方の所定位置に設けられたカメラ１ａ～１ｄを備える。各カメラ１は、車両周囲の異なる方向の映像をそれぞれ撮影する。本実施形態では、撮像可能範囲が広い、広角のカメラ１を使用する。
　車載装置２００は、カメラ１が撮像した画像を後述する端末装置１００へ送出する。カメラ１に無線通信機能を備えさせて、外部へ画像を送出してもよい。端末装置１００は、無線の通信ネットワークを介してカメラ１が撮像した画像を取得する。各カメラ１が撮像した画像には、各カメラ１の配置(アドレス)に応じた識別子が付されており、端末装置１００は、各識別子に基づいて各画像のそれぞれを識別できる。また、カメラ１が撮像した画像には、当該画像の撮像時刻が付されており、端末装置１００は、各画像が撮像された撮像時刻を把握できる。
　車両コントローラ３は、車両の各構成から情報を取得し、車両の動作を集中的に管理する。本実施形態の車両コントローラ３は、車両の状態を示す状態情報を取得する。車両コントローラ３は、車両のステアリング制御装置４１から操舵情報を状態情報として取得し、加速度センサ４２から加速度情報又は速度情報を状態情報として取得し、車両の変速装置４４のシフトポジション情報を状態情報として取得する。車両コントローラ３は、取得した操舵情報、加速度情報（速度情報）を端末装置１００へ送出する。端末装置１００の制御装置１０は、操舵情報から車両の進行方向（進行角度）を取得する。同じく制御装置１０は、シフトポジション情報から車両が後退中か前進中かの進行方向を取得する。同じく制御装置１０は、加速度情報（速度情報）と移動時間とから車両の移動量を取得する。制御装置１０は、車両の移動方向及び移動量から、所定時間経過後の車両の位置を求めることができる。
　車載装置２００が備えるカメラ１、通信装置２、車両コントローラ３、及び各種装置４はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。
　次に、図１に基づいて端末装置１００について説明する。本実施形態の端末装置１００は、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。本実施形態の端末装置１００は、制御装置１０と、通信装置２０と、ディスプレイ３０とを備える。
　本実施形態の通信装置２０は、外部の車載装置２００の通信装置２と相互に情報の授受を行う。通信装置２０は、車載装置２００から撮像画像、車両の状態その他の情報を取得する。
　本実施形態のディスプレイ３０は、カメラ１で撮像された画像や、無線通信の遅延状態に関する情報を表示する。図２は、端末装置１００のディスプレイ３０に表示される画像の一例を示す図である。図２に示す例では、車両のリア（後方）部分の所定位置に設置されたカメラ１により、車両の後方の空間に存在する物体や路面が撮像された画像（リアビュー画像）を示している（後述する図５，７，９，１１～１３においても同様。）。
　図２に示すように、ディスプレイ３０に表示される画像には、車両が移動すると予測される軌道に沿うガイド線が重畳される。画像に重畳されるガイド線は、車幅ガイド線Ｑ１および距離ガイド線Ｑ２を有している。距離ガイド線Ｑ２は、自車両（カメラ１）からの距離を示すガイド線である。本実施形態において、各距離ガイド線Ｑ２は、自車両から０．５ｍ、１．０ｍ、２．０ｍ、３．０ｍの位置に重畳される。なお、距離ガイド線Ｑ２が示す距離は、０．５ｍ、１．０ｍ、２．０ｍ、３．０ｍに限定されず、適宜設定することができる。また、端末装置１００は、車両のドライバが視認しやすいように、車両のインストルメントパネルやステアリング近傍に取り付けられたホルダに設置することができる。
　本実施形態の端末装置１００が備える制御装置１０は、カメラ１により撮像された画像にガイド線を重畳してディスプレイ３０に表示するためのプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、本実施形態の端末装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
　本実施形態に係る端末装置１００の制御装置１０は、カメラ１が撮像した画像を取得する画像取得機能と、端末装置１００と車載装置２００との無線通信の遅延状態を判断する遅延状態判断機能と、カメラ１が撮像した画像にガイド線を重畳するガイド線重畳機能と、ガイド線が重畳された画像をディスプレイに表示する情報提示機能と、を有する。制御装置１０は、各機能を実現するためのソフトウェアと、上述したハードウェアとの協働により上記機能を実行するコンピュータである。以下、制御装置１０が実現する各機能について説明する。
　まず、制御装置１０の画像取得機能は、車載カメラ１によって撮像された車両周囲の画像を、通信装置２０を介して車載装置２００から取得する。本実施形態において、画像取得機能は、車両の後方側の画像を取得するが、これに限定されず、前方、側方の画像を取得してもよい。また、画像取得機能は、車載装置２００が生成した、上空の仮想視点から自車両を見下ろした、自車両周囲の監視画像を取得してもよい。監視画像は、自車両の異なる位置に複数配置されたカメラ１により撮像された複数の画像を、車両上空の仮想視点から見下ろした投影面に投影して生成した俯瞰画像である。制御装置１０は、取得した撮像画像や監視画像を、自車両の駐車時、後退時などの状況においてディスプレイ３０に提示する情報として用いる。
　制御装置１０の遅延状態判断機能は、車載装置２００と端末装置１００との無線通信の遅延状態を判断する。無線通信の遅延状態には、無線通信の遅延時間を含む。たとえば、遅延状態判断機能は、車載装置２００から取得した画像に付された当該画像の撮像時刻と、当該画像を取得した際の取得時刻との差を、遅延時間として求めることができる。また、遅延状態判断機能は、端末装置１００と車載装置２００との無線通信が確立できない場合には、無線通信の遅延状態を、通信途絶状態と判断することができる。
　また、遅延状態判断機能は、所定の良好な通信環境下における基準通信時間と、実際に送受信が行われる通信環境下における実測通信時間との差から、遅延時間を求めることもできる。特に限定されないが、遅延状態判断機能は、車載装置２００の時計４５と端末装置１００の時計１１２とを参照し、同期させてから、車載装置２００と端末装置１００との無線通信を介した情報の授受に要する実測通信時間を計測して、遅延時間を算出することができる。具体的には、車載装置２００から送信タイミングを付した情報を端末装置１００に送信する。端末装置１００はその情報を取得したら受信確認情報を車載装置２００に送信する。車載装置２００は端末装置１００へ情報を送信した送信タイミングから、端末装置１００が送出した受信確認情報を受信した受信タイミングまでの時間の半分を無線通信に要する通信時間として算出する。基準通信時間は、所定の負荷の無い通信環境下において、同様の手法により無線通信の通信時間を算出できる。実測される通信時間は、無線通信回線網にアクセスする端末装置の多さ、通信する情報量の多さなどによって刻々に変化する。このため、遅延状態判断機能は、所定周期で通信時間を算出し、基準通信時間との差である遅延時間を継続的に算出する。本例では、車載装置２００と端末装置１００とを事前に同期させてから遅延時間を算出するので、正確な遅延時間を算出できる。
　なお、遅延時間は、予め通信設備の能力に応じて決まる固定的な時間と、通信量などにより生じる変動的な時間とがある。固定的な時間については予め車載装置２００又は端末装置１００に記憶させておくことができる。処理負荷の軽減の観点からは、記憶された固定的な遅延時間を読み出して遅延状態を判断してもよい。
　端末装置１００において、カメラ１の画像の提示が遅れる遅延状態が発生する原因は、先述した無線通信の遅延時間だけではない。図３に示すように、撮像処理から画像の提示処理が完了するまでに要する以下の第１～第３の時間を含む。ここにいう第１の時間は、ｔ０～ｔ１までの車載装置２００が車両周囲を撮像する処理及び画像を圧縮する処理までの時間である。第２の時間は、ｔ１～ｔ２までの無線通信に要する時間である。第３の時間は、ｔ２～ｔ３までの圧縮された画像を解凍処理する時間と解凍した画像をディスプレイ３０に提示する処理に要する時間である。つまり、無線通信の遅延状態は、車載装置２００側において行われる撮像から画像の送出までの時間と、車載装置２００と端末装置１００との通信時間と、端末装置１００側において行われる画像の受信から提示までの時間が遅れたときに生じる。
　無線通信に遅れが生じていない場合において、出願時における通信技術によれば、撮像処理から画像の提示処理が完了するまでに要する時間は１００～５００ｍｓｅｃ程度である。このような短い時間であっても、過去の画像情報があたかも現在撮像された情報であるように提示されることは好ましくない。ましてや、通信遅延が生じることにより、撮像時間から提示時間までの時間が長くなる場合には、なおさらである。車載装置２００内部の通信網（ＣＡＮなど）で画像を送受信する場合には、撮像時間から提示時間までの時間はほぼ一定であるので、これを管理することは可能である。これに対し、車載装置２００側で得られた画像を、公共の無線通信を介して端末装置１００に送出し、端末装置１００のディスプレイ３０で提示する場合には、通信遅延に配慮する必要がある。また、上述した第３の時間は、端末装置１００の処理能力に大きく依存し、個人がそれぞれ所有する性能・状態の異なる端末装置１００について一律に遅延時間を定義することは困難である。
　上述した第２の時間に関し、遅延状態判断機能は、端末装置１００と車載装置２００との無線通信の遅延時間を上記手法により計測する。
　上述した第３の時間に関し、遅延状態判断機能は、端末装置１００が画像を取得してから画像を提示するまでに要する端末装置側処理時間を取得し、端末装置側処理時間を無線通信の遅延時間に加算して情報提示に係る遅延時間を算出し、遅延状態を判断する。特に限定されないが、端末装置側処理時間は、予め実験的に算出しておき、読み出し可能に端末装置１００に記憶させておくことが好ましい。無線通信の遅延のみならず、端末装置１００側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態を正確に判断することができる。
　上述した第１の時間に関し、遅延状態判断機能は、車載装置２００側において行われる画像の取得（撮像）から送出までに要する時間を、遅延時間に加算してもよい。無線通信の遅延のみならず、車載装置２００側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態をさらに正確に判断することができる。
　また、遅延状態判断機能は、通信装置２の無線通信が途絶したか否かを判断し、無線通信が途絶した場合には、無線通信が途絶した旨をディスプレイ３０に提示させることができる。通信装置２の無線通信が途絶している状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ３０に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置２の無線通信が途絶している旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
　さらに、遅延状態判断機能は、遅延状態に応じた無線通信の信頼度を判断する構成としてもよい。遅延時間が長く、無線通信の遅延状態が悪い場合には、無線通信の信頼度は低いと判断する。他方、遅延時間が短く、無線通信の遅延状態が悪くない（通信状態が良好である）場合には、無線通信の信頼度は高いと判断する。無線通信の信頼度は、通信状態の通信時間に応じて定義することができる。通信時間が長いほど無線通信の信頼度を低く設定することができる。制御装置１０は、ディスプレイ３０に、判断した信頼度を提示する。無線通信の遅延時間が長く、無線通信の信頼度が低い状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ３０に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置２の無線通信の信頼度が低い旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
　制御装置１０のガイド線重畳機能は、自車両が移動する場合の自車両の側面の位置を示す車幅ガイド線Ｑ１と、自車両が移動する場合に自車両の進行方向に沿う位置を示す距離ガイド線Ｑ２と、を含むガイド線を生成する。そして、ガイド線重畳機能は、図２に示すように、生成されたガイド線を、カメラ１により撮像された画像に重畳する。ガイド線重畳機能は、端末装置１００と車載装置２００との無線通信が遅延していない場合には、自車両からの距離が、距離ガイド線Ｑ２が示す距離となる位置に、各距離ガイド線Ｑ２を重畳する。
　一方、ガイド線重畳機能は、端末装置１００と車載装置２００との無線通信が遅延している場合には、無線通信の遅延状態と、車両コントローラ３から取得した自車両の状態とに基づいて、画像上におけるガイド線の重畳位置を決定する。以下に、図４および図５に基づいて、第１実施形態に係るガイド線の重畳方法について説明する。図４および図５は、第１実施形態におけるガイド線の重畳方法を説明するための図である。また、図４および図５に示す例では、自車両が後退して駐車スペースに入庫する場面を例示している。なお、以下においては、画像上において、自車両（カメラ１）からの距離が、各距離ガイド線Ｑ２が示す距離となる位置を、各距離ガイド線Ｑ２の基準位置Ｑ２’として説明する。
　端末装置１００と車載装置２００との無線通信が遅延している場合、画像が撮像された車両の位置は、遅延時間前の位置であり、自車両の現在の位置とは異なる。たとえば、図４に示す場面では、時刻ｔ１０において、図５に示す画像が撮像されたものとする。しかし、図４に示す例では、無線通信が遅延しているため、時刻ｔ１０で撮像された画像が、時刻ｔ１１において、端末装置１００のディスプレイ３０に表示される。そのため、時刻ｔ１１において、自車両の実際の位置は、ディスプレイ３０に表示される画像が撮像された位置Ｐ０よりも、自車両の進行方向側の位置Ｐ１となる。
　ここで、図４に示すように、自車両の進行方向側の位置Ｐ２に障害物Ｏ（たとえば壁など）が存在する場合において、無線通信が遅延している場合には、時刻ｔ１１において、自車両の実際の位置Ｐ１から障害物Ｏまでの距離ｄ２は、ディスプレイ３０に表示される画像が撮像された位置Ｐ０から障害物Ｏまでの距離ｄ１よりも短くなる。すなわち、無線通信が遅延している場合には、自車両は、ディスプレイ３０に表示される画像が撮像された位置よりも、障害物Ｏに近づいていることとなる。そこで、ガイド線重畳機能は、無線通信が遅延している場合には、無線通信が遅延していない場合と比べて、自車両と障害物Ｏとが近いことをドライバに認識させるため、画像上において、自車両（カメラ１）からの距離が距離ガイド線Ｑ２の示す距離となる基準位置Ｑ２’よりも、自車両側（自車両の進行方向と反対側）の位置に、距離ガイド線Ｑ２を重畳する。また、本実施形態では、ガイド線は複数の距離ガイド線Ｑ２を有しているため、各距離ガイド線Ｑ２を、各距離ガイド線Ｑ２の基準位置Ｑ２’よりも、自車両側の位置にそれぞれ重畳する。
　たとえば、図４に示す例では、時刻ｔ１０において撮像した画像において、距離ガイド線Ｑ２が示す基準位置Ｑ２’（たとえば自車両から１．０ｍの距離を示す位置）がＰ３であるとする。この場合、時刻ｔ１１において、時刻ｔ１０で撮像した撮像画像が表示されるため、当該画像において、自車両からの距離が距離ガイド線Ｑ２の示す距離となる位置はＰ３となる。しかしながら、ガイド線重畳機能は、このような場合に、距離ガイド線Ｑ２を、位置Ｐ３よりも、自車両側の位置Ｐ４に重畳する。これにより、ディスプレイ３０で表示される画像上において、距離ガイド線Ｑ２が重畳された位置Ｐ４が、基準位置Ｑ２’であるＰ３と比べて、自車両に近い位置となる。このように、本実施形態では、図５に示すように、画像の撮像位置に対して自車両が実際に移動した分だけ、画像上において距離ガイド線Ｑ２を自車両に近づけることで、距離ガイド線Ｑ２が示す距離（たとえば自車両から１．０ｍ）は変わらないが、距離ガイド線Ｑ２を基準位置Ｑ２’に重畳する場合と比べて、自車両から距離ガイド線Ｑ２が示す距離（たとえば自車両から１．０ｍの距離）までが相対的に短くなったようにドライバに認識させることができ、その結果、たとえば障害物Ｏが自車両の進行方向に存在する場合には、自車両から障害物Ｏまでの距離も相対的に短い距離であるようにドライバに認識させることができる。
　また、ガイド線重畳機能は、無線通信が遅延している場合には、自車両の車速や操舵情報などの状態情報と無線通信の遅延時間とに基づいて、画像を撮像した位置から自車両の現在位置までの移動量を推測し、推測した移動量の分だけ、基準位置Ｑ２’よりも自車両側の位置に、距離ガイド線Ｑ２を重畳する。たとえば、図４に示す例において、ガイド線重畳機能は、時刻ｔ１１において、画像を撮像した位置Ｐ０から自車両の現在位置Ｐ１までの移動量を推測する。そして、ガイド線重畳機能は、画像上において、推測した移動量の分だけ、基準位置Ｑ２’から自車両側に移動した位置Ｐ４に、距離ガイド線Ｑ２を重畳する。なお、ガイド線重畳機能は、所定の移動量の分だけ、基準位置Ｑ２’よりも自車両側の位置に、距離ガイド線Ｑ２を重畳する構成としてもよい。
　制御装置１０の情報提示機能は、たとえば図５に示すように、ガイド線重畳機能によりガイド線が重畳された画像を、ディスプレイ３０に表示させる。なお、図５では、説明のために基準位置Ｑ２’を便宜的に表示しているが、ディスプレイ３０に画像を表示する際に、基準位置Ｑ２’は表示されない（後述する図７，９においても同様。）。
　次に、第１実施形態に係る情報提示処理について説明する。図６は、第１実施形態に係る情報提示処理を示すフローチャートある。なお、図６に示す情報提示処理は、端末装置１００の制御装置１０により実行される。
　ステップＳ１０１では、制御装置１０の遅延状態判断機能により、端末装置１００と車載装置２００との無線通信の遅延状態の判断が行われる。具体的には、遅延状態判断機能は、端末装置１００と車載装置２００との間で無線通信が確立しているか否か、また、無線通信が確立している場合には、無線通信の遅延時間を判断する。なお、制御装置１０の情報提示機能は、無線通信が確立していない場合（無線通信が途絶している場合）には、その旨をディスプレイ３０に表示してもよい。
　ステップＳ１０２では、制御装置１０のガイド線重畳機能により、自車両の状態情報の取得が行われる。たとえば、ガイド線重畳機能は、車両コントローラ３から自車両の車速、加速度、舵角、進行方向などの状態情報を取得することができる。
　ステップＳ１０３では、制御装置１０の画像取得機能により、カメラ１により撮像された自車両周囲の画像の取得が行われる。そして、ステップＳ１０４では、制御装置１０のガイド線重畳機能により、ステップＳ１０１における無線通信の遅延状態の判断結果に基づいて、端末装置１００と車載装置２００との無線通信が遅延しているか否かの判断が行われる。無線通信が遅延している場合には、ステップＳ１０５に進み、一方、無線通信が遅延していない場合には、ステップＳ１０６に進む。なお、無線通信が一定時間（たとえば２００ｍｓｅｃ）以上遅延していない場合には、無線通信が遅延していないと判断し、ステップＳ１０６に進んでもよい。
　ステップＳ１０６では、ガイド線重畳機能により、ステップＳ１０３で取得した画像上に、ガイド線を重畳する処理が行われる。ステップＳ１０６では、無線通信が遅延していないと判断されているため、ガイド線重畳機能は、自車両からの距離を示す各距離ガイド線Ｑ２を、自車両からの距離が、各距離ガイド線Ｑ２が示す距離となる位置（基準位置Ｑ２’）に重畳する。
　また、ステップＳ１０４において、無線通信が遅延していると判断された場合には、ステップＳ１０５に進む。ステップＳ１０５において、ガイド線重畳機能は、図５に示すように、画像上において自車両からの距離が距離ガイド線Ｑ２の示す距離となる基準位置Ｑ２’よりも、自車両側（自車両の進行方向と反対側）の位置に、各距離ガイド線Ｑ２を重畳する。たとえば、ガイド線重畳機能は、ステップＳ１０１における無線通信の遅延状態の判断結果と、ステップＳ１０２で取得された自車両の状態（たとえば車速や舵角）とに基づいて、画像を撮像した位置から自車両の現在の位置までの移動量を推測し、推測した移動量の分だけ、基準位置Ｑ２’から自車両側に移動した位置に、各距離ガイド線Ｑ２を重畳する。
　そして、ステップＳ１０７では、制御装置１０の情報提示機能により、ステップＳ１０５またはステップＳ１０６においてガイド線が重畳された画像が、ディスプレイ３０の画面に提示される。
　以上のように、第１実施形態に係る情報提示システム１０００は、無線通信の遅延状態に基づいて、カメラ１で撮像された画像上における距離ガイド線Ｑ２の重畳位置を決定する。これにより、第１実施形態では、端末装置１００と車載装置２００との無線通信が遅延している場合であっても、画像上において、リアルタイムの車両周囲の状態をドライバに認識させることができる。
　すなわち、本実施形態では、無線通信が遅延した場合には、図５に示すように、画像上において自車両からの距離が距離ガイド線Ｑ２の示す距離となる基準位置Ｑ２’よりも、自車両側（自車両の進行方向と反対側）の位置に、各距離ガイド線Ｑ２を重畳する。また、自車両の状態（車速や舵角など）と、遅延時間とに基づいて、遅延時間における自車両の移動量を推測し、推測した移動量だけ基準位置Ｑ２’から自車両側に移動した位置に、各距離ガイド線Ｑ２を重畳する。これにより、本実施形態では、画像を撮像した位置に対して自車両が実際に移動した分だけ、画像上において距離ガイド線Ｑ２が自車両側に近づくため、距離ガイド線Ｑ２を基準位置Ｑ２’に重畳する場合と比べて、自車両から距離ガイド線Ｑ２で示す距離（たとえば自車両から１．０ｍの距離）が相対的に短い距離であるようにドライバに認識させることができる。その結果、たとえば自車両の進行方向に障害物Ｏが存在する場合には、自車両から障害物Ｏまでの距離も相対的に短い距離であるようにドライバに認識させることができる。
　≪第２実施形態≫
　次に、第２実施形態に係る情報提示システム１０００について説明する。第２実施形態に係る情報提示システム１０００は、第１実施形態に係る情報提示システム１０００と同様の構成を有し、以下に説明するように動作すること以外は、第１実施形態に係る情報提示システム１０００と同様の動作を行う。
　第２実施形態において、端末装置１００の制御装置１０は、第１実施形態に係る各機能に加えて、移動体を検知する移動体検知情報取得機能をさらに備える。
　制御装置１０の移動体検知情報取得機能は、自車両の周囲に移動体が存在するか否かの検知情報を取得する。具体的には、移動体検知情報取得機能は、移動体が存在するか否かの情報を、車載装置２００から取得する。車載装置２００は、移動体検出装置４３を備える。移動体検出装置４３は、車載カメラ１の撮像画像から抽出された特徴の経時的な変化に基づいて、車両周囲に移動体が存在するか否かを判断する。撮像画像に基づいて移動体を検出する手法は特に限定されず、本願の出願時に知られた手法を適宜に利用することができる。
　また、第２実施形態において、制御装置１０のガイド線重畳機能は、無線通信が遅延している場合には、移動体検知情報取得機能により移動体が存在する旨の検知情報を取得したか否か、および、移動体が存在する場合には、移動体までの距離に基づいて、撮像画像に重畳するガイド線の位置を変更する。
　具体的には、ガイド線重畳機能は、まず、自車両の周囲に移動体が存在する場合には、自車両（カメラ１）から移動体までの距離を算出する。そして、ガイド線重畳機能は、算出した移動体までの距離に基づいて、移動体がガイド線の範囲内に存在するか否かを判断する。たとえば、本実施形態に係るガイド線重畳機能は、図７に示すように、自車両（カメラ１）からの距離が０．５ｍ、１．０ｍ、２．０ｍ、３．０ｍとなる位置に、各距離ガイド線Ｑ２をそれぞれ重畳する。この場合、距離ガイド線Ｑ２は、自車両から３．０ｍまでの距離を表示することとなり、ガイド線の範囲は、自車両から３．０ｍの距離範囲となる。そのため、ガイド線重畳機能は、自車両から移動体までの距離が３．０ｍを超える場合には、移動体がガイド線の範囲外に存在すると判断し、一方、自車両から移動体までの距離が３．０ｍ以下である場合には、移動体がガイド線の範囲内に存在すると判断する。
　そして、ガイド線重畳機能は、移動体が自車両の周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合には、図７に示すように、自車両からの距離が距離ガイド線Ｑ２の示す距離となる基準位置Ｑ２’よりも自車両の進行方向側の位置に、距離ガイド線Ｑ２を重畳する。ここで、図８に示す例では、自車両が後退している場合において、無線通信が遅延しているため、時刻ｔ２０において撮像された撮像画像が、時刻ｔ２１においてドライバに提示される場面を例示している。この場合、時刻ｔ２１において、自車両が位置Ｐ１１まで移動した際に、位置Ｐ１０において撮像された画像をドライバに提示することとなる。そのため、時刻ｔ２１においては、画像上において、自車両からの距離が距離ガイド線Ｑ２の示す距離（たとえば自車両から１．０ｍ）となる位置がＰ１３である場合も、自車両からの実際の距離が、距離ガイド線Ｑ２が示す距離（たとえば自車両から１．０ｍ）となる位置はＰ１４となる。そこで、ガイド線重畳機能は、移動体が自車両の周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合には、画像上において距離ガイド線Ｑ２が自車両からの実際の距離を示すように、基準位置Ｑ２’であるＰ１３よりも自車両の進行方向側の位置Ｐ１４に、距離ガイド線Ｑ２を重畳する。また、この場合、ガイド線重畳機能は、無線通信の遅延時間や自車両の状態に基づいて、自車両の現在位置を推測し、推測した現在位置からの距離が距離ガイド線Ｑ２の示す距離となる位置に、距離ガイド線Ｑ２を重畳することができる。これにより、距離ガイド線Ｑ２が自車両からの実際の距離を示すように、各距離ガイド線Ｑ２を表示することができる。なお、図７および図８は、移動体が自車両周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合のガイド線の重畳方法を説明するための図である。
　一方、ガイド線重畳機能は、移動体がガイド線の範囲外に存在する場合には、図９に示すように、基準位置Ｑ２’よりも自車両側（自車両の進行方向と反対側）の位置に、距離ガイド線Ｑ２を重畳する。これにより、距離ガイド線Ｑ２を基準位置Ｑ２’に重畳する場合と比べて、自車両が移動体に接近するまでに時間的、距離的な余裕があることをドライバに認識させることができる。なお、図９は、移動体がガイド線の範囲外に存在する場合のガイド線の重畳方法を説明するための図である。
　さらに、ガイド線重畳機能は、移動体が自車両の周囲に存在する場合には、図９に示すように、移動体を示す標識Ｍを画像上に重畳する。また、ガイド線重畳機能は、無線通信が遅延している場合には、移動体の実際の位置よりも自車両側の位置に、移動体を示す標識Ｍを重畳する。具体的には、ガイド線重畳機能は、自車両の状態情報および無線通信の遅延時間に基づいて、画像を撮像した位置から自車両の現在位置までの移動量を推測し、推測した移動量に対応する分だけ、移動体の実際の位置よりも自車両側に移動した位置に、移動体を示す標識Ｍを重畳する。これにより、無線通信が遅延している場合でも、画像上に、自車両から移動体までの実際の距離を適切に表示することができる。
　次に、第２実施形態に係る情報提示処理について説明する。図１０は、第２実施形態に係る情報提示処理を示すフローチャートである。なお、図１０に示す情報提示処理は、端末装置１００の制御装置１０により実行される。
　ステップＳ２０１～Ｓ２０３では、第１実施形態のステップＳ１０１～Ｓ１０３と同様に、端末装置１００と車載装置２００との無線通信の遅延状態の判断が行われ（ステップＳ２０１）、自車両の状態情報の取得が行われ（ステップＳ２０２）、自車両周囲の画像の取得が行われる（ステップＳ２０３）。
　ステップＳ２０４では、制御装置１０の移動体検知情報取得機能により、移動体検知情報の取得が行われる。そして、ステップＳ２０５では、制御装置１０のガイド線重畳機能により、ステップＳ２０４で取得した移動体検知情報に基づいて、自車両の周囲に移動体が存在するか否かの判断が行われる。自車両の周囲に移動体が存在しない場合には、ステップＳ２１１に進み、一方、自車両の周囲に移動体が存在する場合には、ステップＳ２０６に進む。
　ステップＳ２０６では、制御装置１０のガイド線重畳機能により、移動体がガイド線の範囲内に存在するか否かの判断が行われる。移動体がガイド線の範囲内に存在する場合には、ステップＳ２０７に進み、移動体がガイド線の範囲外に存在する場合には、ステップＳ２０８に進む。
　ステップＳ２０７では、移動体がガイド線の範囲内に存在すると判断されているため、ガイド線重畳機能は、図７に示すように、車速や舵角などの自車両の状態情報、および、無線通信の遅延時間に基づいて、基準位置Ｑ２’よりも自車両の進行方向側の位置に、距離ガイド線Ｑ２を重畳する。これにより、自車両から移動体までの実際の距離を画像上に適切に表示することができる。
　また、ステップＳ２０８では，移動体がガイド線の範囲外に存在すると判断されている。そのため、ガイド線重畳機能は、図９に示すように、車速や舵角などの自車両の状態情報、および、無線通信の遅延時間に基づいて、基準位置Ｑ２’よりも自車両側（自車両の進行方向と反対側）の位置に、距離ガイド線Ｑ２を重畳する。これにより、距離ガイド線Ｑ２を基準位置Ｑ２’に重畳する場合と比べて、自車両が移動体に接近するまでに時間的、距離的な余裕があることを、ドライバに適切に認識させることができる。
　ステップＳ２０９では、ガイド線重畳機能により、移動体を示す標識を画像上に重畳する処理が行われる。具体的には、ガイド線重畳機能は、図９に示すように、車速や舵角などの自車両の状態情報、および、無線通信の遅延時間に基づいて、移動体を示す標識Ｍを、移動体の実際の位置よりも自車両側の位置に重畳する。
　そして、ステップＳ２１０では、制御装置１０の情報提示機能により、ステップＳ２０７，Ｓ２０８においてガイド線が重畳され、ステップＳ２０９において移動体を示す標識Ｍが重畳された画像が、ディスプレイ３０の画面に提示される。
　また、ステップＳ２０５において、自車両周囲に移動体が存在しないと判断された場合には、ステップＳ２１１に進む。ステップＳ２１１では、ステップＳ２０７と同様に、ガイド線重畳機能により、各距離ガイド線Ｑ２が自車両からの実際の距離を示すように、基準位置Ｑ２’よりも自車両の進行方向側の位置に、距離ガイド線Ｑ２が重畳される。これにより、自車両からの実際の距離を画像上に適切に表示することができる。そして、ステップＳ２１０に進み、ステップＳ２１１においてガイド線が重畳された画像が、ディスプレイ３０の画面に提示される。
　以上のように、第２実施形態に係る情報提示システム１０００は、無線通信が遅延している場合において、移動体が検知された場合には、移動体がガイド線の範囲内に存在するか否かを判断する。移動体がガイド線の範囲内に存在する場合には、図７に示すように、各距離ガイド線Ｑ２が自車両からの実際の距離を示すように、自車両の状態および遅延時間に基づいて、基準位置Ｑ２’よりも自車両の進行方向側の位置に、各距離ガイド線Ｑ２を重畳する。これにより、第２実施形態では、無線通信が遅延している場合でも、自車両から移動体までの実際の距離を、ドライバに適切に認識させることができる。
　また、第２実施形態では、無線通信が遅延している場合において、移動体がガイド線の範囲外に存在する場合には、図９に示すように、基準位置Ｑ２’よりも自車両側（自車両の進行方向側）の位置に、距離ガイド線Ｑ２を重畳する。これにより、距離ガイド線Ｑ２を基準位置Ｑ２’に重畳する場合と比べて、自車両が移動体に接近するまでに時間的、距離的な余裕があることを、ドライバに適切に認識させることができる。
　さらに、第２実施形態では、無線通信が遅延している場合において、移動体が自車両の周囲に存在しない場合には、図７に示すように、距離ガイド線Ｑ２が自車両からの実際の距離を示すように、基準位置Ｑ２’よりも自車両の進行方向側の位置に、距離ガイド線Ｑ２を重畳する。これにより、無線通信が遅延している場合において、移動体が自車両の周囲に存在しない場合には、画像上において、自車両からの実際の距離を距離ガイド線Ｑ２で適切に表示することができる。
　加えて、第２実施形態では、無線通信が遅延している場合において、移動体が自車両の周囲に存在する場合には、図９に示すように、移動体を示す標識Ｍを、移動体の実際の位置よりも自車両側の位置に重畳する。これにより、無線通信が遅延している場合でも、画像上に、自車両から移動体までの実際の距離を適切に表示することができる。
　なお、第２実施形態において、無線通信が遅延していない場合には、第１実施形態と同様に、距離ガイド線Ｑ２を、距離ガイド線Ｑ２が示す距離となる基準位置Ｑ２’に重畳することができる（後述する第３実施形態においても同様。）。
　≪第３実施形態≫
　次に、第３実施形態に係る情報提示システム１０００について説明する。第３実施形態に係る情報提示システム１０００は、第１実施形態に係る情報提示システム１０００と同様の構成を有し、以下に説明するように動作すること以外は、第１実施形態に係る情報提示システム１０００と同様の動作を行う。
　第３実施形態において、制御装置１０の遅延状態判断機能は、第１実施形態と同様に、端末装置１００と車載装置２００との無線通信の遅延状態を判断する。また、第３実施形態において、遅延状態判断機能は、無線通信の遅延状態が、通信途絶状態、通常遅延状態、および異常遅延状態のいずれの状態であるかを判断する。
　具体的には、遅延状態判断機能は、無線通信の遅延時間が所定時間（たとえば２００ｍｓｅｃ）以内である場合には、無線通信の遅延状態を通常遅延状態と判断する。また、遅延状態判断機能は、無線通信の遅延時間が所定時間を超える場合には、無線通信の遅延状態を異常通信状態と判断する。さらに、遅延状態判断機能は、端末装置１００と車載装置２００との間で無線通信が確立できない場合には、無線通信の遅延状態を通信途絶状態と判断する。
　また、第３実施形態において、制御装置１０のガイド線重畳機能は、端末装置１００と車載装置２００との無線通信の遅延状態に基づいて、ガイド線の表示態様を変更する。具体的には、ガイド線重畳機能は、無線通信の遅延状態が、通信途絶状態、通常遅延状態、および異常遅延状態のいずれであるかをドライバが認識できるように、無線通信の遅延状態（通信途絶状態、通常遅延状態、異常遅延状態）に応じて、ガイド線の表示態様を変更する。ここで、図１１～１３は、第３実施形態におけるガイド線の表示態様を説明するための図である。
　たとえば、ガイド線重畳機能は、無線通信の遅延状態が通常遅延状態であると判断された場合には、図１１に示すように、距離ガイド線Ｑ２を基準位置Ｑ２’よりも自車両の進行方向側の位置に重畳する。
　また、ガイド線重畳機能は、無線通信の遅延状態が異常遅延状態であると判断された場合には、図１２に示すように、通常遅延状態と比べて、ガイド線の色を淡色で表示し、あるいは、ガイド線を破線で表示する。これにより、端末装置１００と車載装置２００との無線通信が異常遅延状態であることをドライバに適切に認識させることができる。なお、図１２に示す場面においては、無線通信が遅延しているため、ガイド線重畳機能は、図１１に示す場面と同様に、距離ガイド線Ｑ２を、基準位置Ｑ２’よりも自車両の進行方向側の位置に重畳している。
　さらに、ガイド線重畳機能は、無線通信の遅延状態が通信途絶状態であると判断された場合には、まず、図１３（Ａ）に示すように、ガイド線を通常遅延状態よりも強調して表示する。たとえば、ガイド線重畳機能は、通常遅延状態よりも、ガイド線の色を濃い色で表示し、あるいは、ガイド線を太く表示することで、ガイド線を通常遅延状態よりも強調して表示することができる。そして、ガイド線重畳機能は、ガイド線を強調表示してから一定時間が経過した後に、図１３（Ｂ）に示すように、ガイド線を非表示にする。これにより、端末装置１００と車載装置２００との無線通信が通信途絶状態であることをドライバに適切に認識させることができる。なお、図１３に示す場面においても、距離ガイド線Ｑ２を強調表示している場合に、図１１，１２に示す場面と同様に、距離ガイド線Ｑ２を基準位置Ｑ２’よりも自車両の進行方向側の位置に重畳することができる。
　次に、第３実施形態に係る情報提示処理について説明する。図１４は、第３実施形態に係る情報提示処理を示すフローチャートある。なお、図１４に示す情報提示処理は、端末装置１００の制御装置１０により実行される。
　ステップＳ３０１～Ｓ３０３では、第１実施形態のステップＳ１０１～Ｓ１０３と同様に、端末装置１００と車載装置２００との無線通信の遅延状態の判断が行われ（ステップＳ３０１）、自車両の状態情報の取得が行われ（ステップＳ３０２）、自車両周囲の画像の取得が行われる（ステップＳ３０３）。なお、ステップＳ３０１では、無線通信の遅延状態が、通信途絶状態、通常遅延状態、および異常遅延状態のいずれであるか判断される。
　ステップＳ３０４では、ガイド線重畳機能により、ステップＳ３０１における判断結果に基づいて、端末装置１００と車載装置２００との無線通信の遅延状態が、通信途絶状態であるか否かの判断が行われる。通信途絶状態であると判断された場合には、ステップＳ３０８に進み、一方、通信途絶状態ではないと判断された場合には、ステップＳ３０５に進む。
　ステップＳ３０５では、ガイド線重畳機能により、無線通信の遅延状態が通常遅延状態であるか否かの判断が行われる。たとえば無線通信の遅延時間が所定時間以内であり、通常遅延状態であると判断された場合には、ステップＳ３０６に進み、一方、無線通信の遅延時間が所定時間を超えており、異常遅延状態であると判断された場合には、ステップＳ３０７に進む。
　ステップＳ３０６では、無線通信の遅延状態が通常遅延状態であると判断されているため、ガイド線重畳機能により、図１１に示すように、基準位置Ｑ２’よりも自車両の進行方向側の位置に、距離ガイド線Ｑ２が重畳される。
　また、ステップＳ３０７でも、無線通信が遅延していると判断されているため、ガイド線重畳機能により、図１２に示すように、基準位置Ｑ２’よりも自車両の進行方向側の位置に、距離ガイド線Ｑ２が重畳される。また、ステップＳ３０７では、無線通信の遅延状態が異常遅延状態であると判断されているため、ガイド線重畳機能は、通常遅延状態である場合と比べて、ガイド線の色を淡色で表示するとともに、破線で表示する。これにより、無線通信の遅延状態が異常遅延状態であることをドライバに適切に認識させることができる。
　さらに、ステップＳ３０４において、無線通信の遅延状態が通信途絶状態であると判断された場合には、ステップＳ３０８に進む。ステップＳ３０８では、ガイド線重畳機能により、図１３（Ａ）に示すように、ガイド線が強調して表示されるとともに、基準位置Ｑ２’よりも自車両の進行方向側の位置に、距離ガイド線Ｑ２が重畳される。
　そして、ステップＳ３０９に進み、ガイド線重畳機能により、ガイド線を強調表示してから一定時間が経過したか否かの判断が行われる。一定時間が経過するまでは、ステップＳ３０９で待機し、一定時間が経過した場合には、ステップＳ３１０に進む。ステップＳ３１０では、ガイド線重畳機能により、ガイド線が非表示にされる。このように、無線通信の遅延状態が通信途絶状態である場合には、ガイド線が強調表示された後に、ガイド線を非表示とすることで、無線通信の遅延状態が通信途絶状態であることをドライバに適切に認識させることができる。
　ステップＳ３１１では、制御装置１０の情報提示機能により、ステップＳ３０６，Ｓ３０７、またはステップＳ３０８においてガイド線が重畳された画像が、ディスプレイ３０の画面に提示される。
　以上のように、第３実施形態に係る情報提示システム１０００は、端末装置１００と車載装置２００との無線通信の遅延状態に基づいて、ガイド線の表示態様を変更する。たとえば、無線通信の遅延状態が異常遅延状態である場合には、通常遅延状態である場合と比べて、ガイド線を淡色、破線などにより表示する。また、無線通信の遅延状態が通信途絶状態である場合には、通常遅延状態と比べて、ガイド線を強調表示した後に、ガイド線を非表示にする。これにより、第３実施形態では、第１実施形態の効果に加えて、ドライバに無線通信の遅延状態を適切に認識させることができる。
　なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
　たとえば、上述した実施形態では、本発明に係る情報提示システムの一態様として端末装置１００及び情報提示システム１０００を例にして説明したが、本発明はこれに限定されるものではない。
　また、上述した実施形態では、本発明に係る情報提示システムの一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える端末装置１００と車載装置２００を備える情報提示システム１０００を一例として説明したが、これに限定されるものではない。
　さらに、上述した実施形態では、カメラと、通信機能を備える車載装置の一態様として、カメラ１と、通信装置２と、車両コントローラ３と、各種装置４とを備える車載装置２００を説明したが、これに限定されるものではない。
　また、上述した実施形態では、自車両後方を撮像した画像にガイド線を重畳する構成を例示したが、これに限定されず、自車両前方、あるいは、自車両側方を撮像した画像にガイド線を重畳する構成とすることができる。また、複数のカメラ１により撮像された複数の画像から、上空の仮想視点から車両を見下ろした投影面に投影した一の投影画像を生成し、これにガイド線を重畳する構成とすることもできる。この場合も、自車両の車速、加速度、舵角、および無線通信の遅延時間に基づいて、ガイド線を基準位置Ｑ２’よりも自車両側の位置、または、自車両の進行方向側の位置に重畳する構成とすることができる。
　さらに、上述した実施形態では、無線通信が遅延している場合に、各距離ガイド線Ｑ２を基準位置Ｑ２’よりも自車両側の位置、および、自車両の進行方向側の位置のいずれか一方に重畳する構成を例示したが、この構成に限定されず、一部の距離ガイド線Ｑ２を、基準位置Ｑ２’よりも自車両側の位置に重畳し、他の距離ガイド線Ｑ２を、自車両の進行方向側の位置に重畳することができる。たとえば、自車両から一定距離までの距離を示す距離ガイド線Ｑ２については、基準位置Ｑ２’よりも自車両側の位置に重畳し、自車両から一定距離を超えた距離を示す距離ガイド線Ｑ２については、基準位置Ｑ２’よりも自車両の進行方向側の位置に重畳する構成とすることができる。
　また、上述した実施形態では、車幅ガイド線Ｑ１および距離ガイド線Ｑ２を有するガイド線を画像上に重畳する構成を例示したが、この構成に加えて、たとえば、自車両が移動すると予測される軌跡を示す予想進路線Ｐを画像上にさらに重畳する構成とすることができる。
　さらに、上述した第１実施形態では、無線通信が遅延している場合に、図５に示すように、基準位置Ｑ２’よりも自車両側の位置に、各距離ガイド線Ｑ２を重畳する構成を例示したが、この構成に限定されず、たとえば、図７に示すように、基準位置Ｑ２’よりも自車両の進行方向側の位置に、各距離ガイド線Ｑ２を重畳する構成とすることができる。この場合、画像上において自車両からの実際の距離をドライバに適切に認識させることができる。
　また、上述した第２実施形態では、無線通信が遅延しており、自車両周囲に移動体が存在しない場合、または、移動体がガイド線の範囲外に存在する場合に、距離ガイド線Ｑ２が自車両からの実際の距離を表示するように、基準位置Ｑ２’よりも自車両の進行方向側の位置に、距離ガイド線Ｑ２を重畳する構成を例示したが、この構成に限定されず、たとえば、基準位置Ｑ２’よりも自車両の進行方向側の位置であれば、距離ガイド線Ｑ２を、自車両からの実際の距離に対応しない位置（基準位置Ｑ２’から所定の距離だけ自車両の進行方向側の位置）に重畳する構成としてもよい。この場合も、距離ガイド線Ｑ２が示す距離を、自車両からの実際の距離により近い距離としてドライバに提示することができる。
　さらに、上述した第３実施形態では、無線通信の遅延状態に基づいて、ガイド線の表示態様を変更する構成を例示したが、各遅延状態に応じたガイド線の表示態様は上述した例に限定されず、適宜設定することができる。たとえば、ガイド線の色、太さ、態様（破線など）に加えて、ガイド線の透過度を変更し、また、ガイド線を点滅表示する構成としてもよい。たとえば、無線通信の通信状態が異常通信状態である場合には、ガイド線の透過度を高くし、あるいは、ガイド線を点滅表示させる構成とすることができる。また、無線通信の通信状態が通信途絶信状態である場合に、まず、ガイド線の透過度を低くし、その後、ガイド線の透過度を高くしてもよい。また、ガイド線を非表示とすることに代えて、ガイド線を点滅表示させる構成としてもよい。さらに、通常遅延状態である場合には、ガイド線を青色、緑色、青紫色などの相対的に目立たない後退色の線、破線、相対的に細い線で表示し、異常遅延状態である場合には、ガイド線を赤色、実線、オレンジ色、黄色などの相対的に目立つ進出色の線、相対的に太い線で表示する構成としてもよい。
　加えて、上述した第２実施形態では、自車両の周囲に存在する移動体を検知する構成を例示したが、自車両の周囲に存在する障害物（壁や縁石など）を検知する構成としてもよい。この場合も、同様に、自車両の周囲に障害物が存在するか、障害物がガイド線の範囲内に存在するかなどに基づいて、距離ガイド線Ｑ２の重畳位置を決定することができる。
　なお、上述した実施形態に係る制御装置１０の画像取得機能は本発明の画像取得手段に、ガイド線重畳機能は本発明の車両情報取得手段および重畳手段に、遅延状態判断機能は本発明の判断手段に、移動体検知情報取得機能は本発明の障害物情報取得手段に、それぞれ相当する。
１０００…情報提示システム
　１００…端末装置
　　１０…制御装置
　　　１１…ＣＰＵ
　　　１２…ＲＯＭ
　　　１３…ＲＡＭ
　　２０…通信装置
　　３０…ディスプレイ
　２００…車載装置
　　１，１ａ～１ｄ…カメラ
　　２…通信装置
　　３…車両コントローラ
　　４…各種装置
　　　４１…ステアリング制御装置
　　　４２…加速度センサ
　　　４３…移動体検出装置

Claims (9)

  1. 　車両に設けられたカメラを有する車載装置と、前記車載装置と無線通信する携帯可能な端末装置と、を有する情報提示システムにおいて、
    　前記端末装置は、
    　前記カメラにより撮像された車両周囲の画像を取得する画像取得手段と、
    　前記画像上に車両からの距離を示す距離標識を重畳する重畳手段と、
    　前記車載装置と前記端末装置との無線通信の遅延時間を含む遅延状態を判断する判断手段と、
    　前記距離標識が重畳された前記画像を提示する提示手段と、を備え、
    　前記重畳手段は、前記無線通信が遅延していない場合には、前記画像上において車両からの距離が前記距離標識の示す距離となる基準位置に、前記距離標識を重畳し、前記無線通信が遅延している場合には、前記基準位置よりも車両の進行方向側の位置、または、前記基準位置よりも車両側の位置に、前記距離標識を重畳することを特徴とする情報提示システム。
  2. 　請求項１に記載の情報提示システムであって、
    　前記重畳手段は、車両の状態情報を取得し、取得した前記車両の状態情報および前記無線通信の遅延時間に基づいて、前記画像を撮像した際の車両の位置から車両の現在の位置までの移動量を推測し、前記基準位置から前記移動量だけ車両の進行方向側または車両側に移動した位置に、前記距離標識を重畳することを特徴とする情報提示システム。
  3. 　請求項１に記載の情報提示システムであって、
    　前記重畳手段は、前記基準位置から所定の移動量だけ車両の進行方向側または車両側に移動した位置に、前記距離標識を重畳することを特徴とする情報提示システム。
  4. 　請求項１～３のいずれかに記載の情報提示システムであって、
    　車両の周囲に存在する障害物の情報を取得する障害物情報取得手段をさらに備え、
    　前記重畳手段は、前記障害物の情報を加味して、前記距離標識の重畳位置を決定することを特徴とする情報提示システム。
  5. 　請求項４に記載の情報提示システムであって、
    　前記重畳手段は、前記無線通信が遅延しており、かつ、前記障害物を検出しない場合には、前記基準位置よりも車両の進行方向側に、前記距離標識を重畳することを特徴とする情報提示システム。
  6. 　請求項４または５に記載の情報提示システムであって、
    　前記重畳手段は、前記無線通信が遅延しており、かつ、前記画像において車両から前記距離標識が示す距離範囲内に前記障害物が存在する場合には、前記基準位置よりも車両の進行方向側に、前記距離標識を重畳することを特徴とする情報提示システム。
  7. 　請求項４～６のいずれかに記載の情報提示システムであって、
    　前記重畳手段は、前記無線通信が遅延しており、かつ、前記画像中において車両から前記距離標識が示す距離範囲外に前記障害物が存在する場合には、前記基準位置よりも車両側に、前記距離標識を重畳することを特徴とする情報提示システム。
  8. 　請求項４～７のいずれかに記載の情報提示システムであって、
    　前記重畳手段は、前記障害物が存在する場合に、前記障害物の位置を示す標識を、前記障害物の実際の位置よりも車両側の位置に重畳することを特徴とする情報提示システム。
  9. 　請求項１～８のいずれかに記載の情報提示システムであって、
    　前記重畳手段は、前記無線通信の遅延状態に応じて、前記画像上における前記距離標識の表示態様を異ならせることを特徴とする情報提示システム。
PCT/JP2015/065532 2015-05-29 2015-05-29 情報提示システム WO2016194039A1 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020177034492A KR101874279B1 (ko) 2015-05-29 2015-05-29 정보 제시 시스템
US15/578,119 US10144351B2 (en) 2015-05-29 2015-05-29 Information presentation system
CA2987558A CA2987558A1 (en) 2015-05-29 2015-05-29 Information presentation system
RU2017146056A RU2677256C1 (ru) 2015-05-29 2015-05-29 Система представления информации
CN201580080520.0A CN107615757B (zh) 2015-05-29 2015-05-29 信息呈现系统
MYPI2017704541A MY182014A (en) 2015-05-29 2015-05-29 Information presentation system
JP2017521314A JP6451840B2 (ja) 2015-05-29 2015-05-29 情報提示システム
MX2017015166A MX363856B (es) 2015-05-29 2015-05-29 Sistema de presentación de información.
PCT/JP2015/065532 WO2016194039A1 (ja) 2015-05-29 2015-05-29 情報提示システム
BR112017025525A BR112017025525A2 (pt) 2015-05-29 2015-05-29 sistema de apresentação de informações
EP15894074.2A EP3306918B1 (en) 2015-05-29 2015-05-29 Information presentation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/065532 WO2016194039A1 (ja) 2015-05-29 2015-05-29 情報提示システム

Publications (1)

Publication Number Publication Date
WO2016194039A1 true WO2016194039A1 (ja) 2016-12-08

Family

ID=57441043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/065532 WO2016194039A1 (ja) 2015-05-29 2015-05-29 情報提示システム

Country Status (11)

Country Link
US (1) US10144351B2 (ja)
EP (1) EP3306918B1 (ja)
JP (1) JP6451840B2 (ja)
KR (1) KR101874279B1 (ja)
CN (1) CN107615757B (ja)
BR (1) BR112017025525A2 (ja)
CA (1) CA2987558A1 (ja)
MX (1) MX363856B (ja)
MY (1) MY182014A (ja)
RU (1) RU2677256C1 (ja)
WO (1) WO2016194039A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018139476A (ja) * 2017-02-24 2018-09-06 株式会社デンソーテン 充電支援装置、及び、充電支援方法
JP2018143088A (ja) * 2017-02-24 2018-09-13 株式会社デンソーテン 充電支援装置、及び、充電支援方法
JP2018143089A (ja) * 2017-02-24 2018-09-13 株式会社デンソーテン 充電支援装置、及び、充電支援方法
JP2019102988A (ja) * 2017-12-04 2019-06-24 アルパイン株式会社 運転支援システムおよび後方ガイド画像の生成方法
JP2019155967A (ja) * 2018-03-07 2019-09-19 パナソニックＩｐマネジメント株式会社 表示制御装置、車両周辺表示システムおよびコンピュータプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6358123B2 (ja) * 2015-02-16 2018-07-18 株式会社デンソー 運転支援装置
WO2018230021A1 (ja) * 2017-06-16 2018-12-20 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
US10486594B2 (en) * 2017-09-19 2019-11-26 Ford Global Technologies, Llc Systems and methods for determining vehicle wireless camera latency
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP7113348B2 (ja) * 2018-03-15 2022-08-05 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
JP7172309B2 (ja) * 2018-09-06 2022-11-16 株式会社アイシン 周辺監視装置
US10909714B2 (en) 2018-10-30 2021-02-02 Here Global B.V. Method, apparatus, and system for providing a distance marker in an image
JP7238670B2 (ja) * 2019-07-23 2023-03-14 トヨタ自動車株式会社 画像表示装置
JP7131780B2 (ja) * 2019-12-19 2022-09-06 株式会社ガク・アソシエイツ 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259355A (ja) * 2002-03-01 2003-09-12 Mitsubishi Electric Corp 車両周辺監視装置
JP2011175507A (ja) * 2010-02-25 2011-09-08 Mazda Motor Corp 駐車支援システム
JP2011259152A (ja) * 2010-06-08 2011-12-22 Suzuki Motor Corp 運転支援装置
WO2015045578A1 (ja) * 2013-09-27 2015-04-02 日産自動車株式会社 情報提示システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054008A1 (en) * 1999-03-11 2000-09-14 Intelligent Technologies International, Inc. Methods and apparatus for preventing vehicle accidents
US7298247B2 (en) * 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
JP4661658B2 (ja) 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
DE102007045562A1 (de) * 2007-09-24 2009-04-02 Robert Bosch Gmbh Steuereinrichtung für eine Anzeigeeinrichtung einer Einparkeinrichtung und Verfahren zur Darstellung
JP4929114B2 (ja) * 2007-09-28 2012-05-09 日産自動車株式会社 車両用情報報知装置、情報提供システム、情報報知方法
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP2009111469A (ja) * 2007-10-26 2009-05-21 Victor Co Of Japan Ltd 映像出力装置および方法、映像表示装置および方法
US8217773B2 (en) * 2008-12-04 2012-07-10 Denso Corporation Field watch apparatus
KR20120056977A (ko) * 2010-11-26 2012-06-05 주식회사 이미지넥스트 차량 탑재형 블랙박스 시스템 및 그 시스템에서 생성된 주변 영상을 이용한 정보제공방법
EP2481637B1 (en) * 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
JP2012162130A (ja) 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP6045796B2 (ja) * 2012-02-27 2016-12-14 京セラ株式会社 映像処理装置、映像処理方法、および映像表示システム
CN103338335B (zh) * 2013-06-19 2017-02-08 奇瑞汽车股份有限公司 一种车辆字符叠加辅助装置
JP6209921B2 (ja) 2013-09-27 2017-10-11 日産自動車株式会社 予測進路提示システム
CN104512408B (zh) * 2013-10-04 2017-11-21 本田技研工业株式会社 停车辅助装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259355A (ja) * 2002-03-01 2003-09-12 Mitsubishi Electric Corp 車両周辺監視装置
JP2011175507A (ja) * 2010-02-25 2011-09-08 Mazda Motor Corp 駐車支援システム
JP2011259152A (ja) * 2010-06-08 2011-12-22 Suzuki Motor Corp 運転支援装置
WO2015045578A1 (ja) * 2013-09-27 2015-04-02 日産自動車株式会社 情報提示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3306918A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018139476A (ja) * 2017-02-24 2018-09-06 株式会社デンソーテン 充電支援装置、及び、充電支援方法
JP2018143088A (ja) * 2017-02-24 2018-09-13 株式会社デンソーテン 充電支援装置、及び、充電支援方法
JP2018143089A (ja) * 2017-02-24 2018-09-13 株式会社デンソーテン 充電支援装置、及び、充電支援方法
JP7036501B2 (ja) 2017-02-24 2022-03-15 株式会社デンソーテン 充電支援装置、及び、充電支援方法
JP2019102988A (ja) * 2017-12-04 2019-06-24 アルパイン株式会社 運転支援システムおよび後方ガイド画像の生成方法
JP7037926B2 (ja) 2017-12-04 2022-03-17 アルパイン株式会社 運転支援システムおよび後方ガイド画像の生成方法
JP2019155967A (ja) * 2018-03-07 2019-09-19 パナソニックＩｐマネジメント株式会社 表示制御装置、車両周辺表示システムおよびコンピュータプログラム

Also Published As

Publication number Publication date
CN107615757B (zh) 2018-10-09
CN107615757A (zh) 2018-01-19
CA2987558A1 (en) 2016-12-08
US10144351B2 (en) 2018-12-04
EP3306918A4 (en) 2018-07-04
US20180154830A1 (en) 2018-06-07
MX2017015166A (es) 2018-04-13
KR101874279B1 (ko) 2018-07-03
RU2677256C1 (ru) 2019-01-16
MY182014A (en) 2021-01-18
MX363856B (es) 2019-04-05
JP6451840B2 (ja) 2019-01-16
JPWO2016194039A1 (ja) 2018-05-31
KR20170141778A (ko) 2017-12-26
EP3306918A1 (en) 2018-04-11
BR112017025525A2 (pt) 2018-08-07
EP3306918B1 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
JP6451840B2 (ja) 情報提示システム
JP6107960B2 (ja) 情報提示システム
JP4752486B2 (ja) 撮像装置、映像信号の選択装置、運転支援装置、自動車
US20140114534A1 (en) Dynamic rearview mirror display features
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
US20150077560A1 (en) Front curb viewing system based upon dual cameras
CN106143309A (zh) 一种车辆盲区提醒方法及系统
JP4948115B2 (ja) 後方視認装置
JP2008250503A (ja) 運転支援装置
CN105580359A (zh) 预测前进道路提示装置以及预测前进道路提示方法
JP2008293095A (ja) 運転支援システム
WO2011135778A1 (ja) 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
WO2013111491A1 (ja) 監視システム
KR20130043341A (ko) 주차 보조 시스템
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
US11070714B2 (en) Information processing apparatus and information processing method
JP6221562B2 (ja) 車両用情報提示装置
JP2012230522A (ja) 画像処理装置及び画像処理方法
WO2013125301A1 (ja) 監視システム
WO2013111479A1 (ja) 監視システム
JP2002087191A (ja) 運転支援システム
KR20190094135A (ko) 주차 보조 시스템
WO2023089834A1 (ja) 映像表示システム、映像表示方法、および映像表示装置
JP6020736B2 (ja) 予測進路提示装置及び予測進路提示方法
JP3231104U (ja) レーダー装置に対応する移動車両用画像撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15894074

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017521314

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2017/015166

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2987558

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20177034492

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15578119

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017146056

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 2015894074

Country of ref document: EP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112017025525

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112017025525

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20171128