WO2015045578A1 - 情報提示システム - Google Patents

情報提示システム Download PDF

Info

Publication number
WO2015045578A1
WO2015045578A1 PCT/JP2014/068919 JP2014068919W WO2015045578A1 WO 2015045578 A1 WO2015045578 A1 WO 2015045578A1 JP 2014068919 W JP2014068919 W JP 2014068919W WO 2015045578 A1 WO2015045578 A1 WO 2015045578A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
delay
image
terminal device
information
Prior art date
Application number
PCT/JP2014/068919
Other languages
English (en)
French (fr)
Inventor
真史 安原
照久 高野
秋彦 香西
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to RU2016110774A priority Critical patent/RU2647688C2/ru
Priority to JP2015538979A priority patent/JP6107960B2/ja
Priority to US15/024,627 priority patent/US20160227098A1/en
Priority to EP14848735.8A priority patent/EP3051808B1/en
Priority to BR112016006666-9A priority patent/BR112016006666B1/pt
Priority to CN201480052059.3A priority patent/CN105580358B/zh
Publication of WO2015045578A1 publication Critical patent/WO2015045578A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to an information presentation system for presenting information related to a video around a vehicle.
  • This application claims priority based on Japanese Patent Application No. 2013-200958 filed on Sep. 27, 2013.
  • the contents described in the application are incorporated into the present application by reference and made a part of the description of the present application.
  • Patent Document 1 a driving support device that displays an image behind the vehicle when the shift lever of the vehicle is operated to the reverse position.
  • the problem to be solved by the present invention is to present image information indicating the real-time state of the vehicle surroundings to the terminal device even when there is a delay in the wireless communication between the in-vehicle device and the terminal device.
  • the present invention relates to a predicted image captured at a position of a vehicle after a delay time based on a delay state including a delay time of wireless communication between the in-vehicle device and the terminal device and the vehicle state information.
  • the above-mentioned problem is solved by generating the data and presenting it.
  • the present invention since the predicted image that will be captured by the in-vehicle camera after the delay time of the wireless communication is presented to the terminal device, even when there is a delay in communication between the in-vehicle device and the terminal device, It is possible to make the driver recognize the state of the vehicle surroundings in real time. As a result, it is possible to prevent past captured images from being presented to the terminal device when a delay occurs in wireless communication.
  • FIG. 1 is a block configuration diagram of an information presentation system 1000 according to the present embodiment.
  • the information presentation system 1000 includes an in-vehicle device 200 and a terminal device 100.
  • the in-vehicle device 200 of the present invention includes one or a plurality of cameras 1a to 1d, a communication device 2, a vehicle controller 3, and various on-vehicle devices 4 (also collectively referred to as various devices 4).
  • Cameras 1a to 1d are configured using an image sensor such as a CCD (Charge-Coupled Device).
  • the camera 1 is provided at a predetermined position in a rear (rear) portion of the vehicle such as a rear finisher portion or a roof spoiler portion.
  • the camera 1 captures an image of an object or road surface (rear view image) existing in a space behind the vehicle.
  • the “rear of the vehicle” in the present embodiment includes not only the rear but also the left and right sides of the rear.
  • the in-vehicle device 200 of the present embodiment includes a plurality of cameras 1a to 1d installed at different positions outside the vehicle V.
  • the in-vehicle device 200 of the present embodiment is located at a predetermined position in front of the vehicle such as the front grill part, a predetermined position on the left side of the vehicle such as the left side mirror part, or a predetermined position on the right side of the vehicle such as the right side mirror part.
  • Cameras 1a to 1d are provided. Each camera 1 captures images in different directions around the vehicle. In the present embodiment, a wide-angle camera 1 having a wide imaging range is used.
  • the communication device 200 sends an image captured by the camera 1 to the terminal device 100 described later.
  • the camera 1 may be provided with a wireless communication function, and the captured image may be transmitted to the outside.
  • the terminal device 100 acquires a captured image captured by the camera 1 via a wireless communication network.
  • An image captured by each camera 1 is assigned an identifier corresponding to the arrangement (address) of each camera 1, and the terminal device 100 can identify each captured image based on each identifier.
  • the vehicle controller 3 acquires information from each configuration of the vehicle and centrally manages the operation of the vehicle.
  • the vehicle controller 3 of this embodiment acquires state information indicating the state of the vehicle.
  • the vehicle controller 3 acquires steering information from the steering control device 41 of the vehicle as state information, acquires acceleration information or speed information from the acceleration sensor 42 as state information, and uses shift position information of the transmission 44 of the vehicle as state information. get.
  • the vehicle controller 3 sends the acquired steering information and acceleration information (speed information) to the terminal device 100.
  • the control device 10 of the terminal device 100 acquires the traveling direction (traveling angle) of the vehicle from the steering information. Similarly, the control device 10 acquires the traveling direction of whether the vehicle is moving backward or forward from the shift position information. Similarly, the control device 10 acquires the movement amount of the vehicle from the acceleration information (speed information) and the movement time.
  • the control device 10 can determine the position of the vehicle after a predetermined time has elapsed from the moving direction and the moving amount of the vehicle.
  • the camera 1, the communication device 2, the vehicle controller 3, and each device 4 included in the in-vehicle device 200 are connected by a CAN (Controller Area Network) or other in-vehicle LAN, and can exchange information with each other.
  • CAN Controller Area Network
  • the terminal device 100 of this embodiment is a portable portable terminal device provided with communication functions, such as a smart phone and a tablet terminal.
  • the terminal device 100 according to the present embodiment includes a control device 10, a communication device 20, and a display 30.
  • the communication device 20 of this embodiment exchanges information with the communication device 2 of the external in-vehicle device 200.
  • the communication device 20 acquires a captured image, a vehicle state, and other information from the in-vehicle device 200.
  • the display 30 of the present embodiment presents information related to a captured image of the vehicle camera 1, a predicted image described later, and a delay state of wireless communication.
  • FIG. 2 is a diagram illustrating an example in which a bird's-eye view image of a vehicle and a rear captured image are presented on the display 30 of the terminal device 100.
  • the left-side screen 30L of the display 30 of the terminal device 200 presents a bird's-eye view image looking down on the vehicle from an overhead viewpoint
  • the right-side screen 30R of the display 30 displays a captured image behind the vehicle.
  • an expected course line P, a vehicle width guide line Q1, and a distance guide line Q2 are superimposed and displayed as guide lines along a track predicted to move the vehicle.
  • the terminal device 100 may be installed on a vehicle instrument panel or a holder attached in the vicinity of the steering wheel so that the driver of the vehicle can easily see.
  • the control device 10 included in the terminal device 100 of the present embodiment executes a ROM (Read Only Memory) 12 in which a program for presenting a predicted image corresponding to a delay time of wireless communication is stored, and a program stored in the ROM 12
  • a CPU Central Processing Unit
  • a RAM Random Access Memory
  • the control device 10 of the terminal device 100 includes an image acquisition function, a delay state determination function, a moving body detection information acquisition function, a predicted image generation function, a guide line generation function, and a presentation function. It is a computer that executes each function by cooperation of software for realizing and the hardware described above.
  • the control device 10 acquires a captured image around the vehicle imaged by the in-vehicle camera 1 from the in-vehicle device 200 via the communication device 20.
  • the control device 10 acquires a captured image on the rear side of the vehicle.
  • the control device 10 may acquire front and side captured images.
  • the control device 10 may acquire a surrounding monitoring image generated by the in-vehicle device 200 and looking down on the vehicle from a virtual viewpoint above the vehicle.
  • the monitoring image is a bird's-eye view image generated by projecting a plurality of captured images captured by a plurality of cameras 1 arranged at different positions of the vehicle onto a projection plane looking down from a virtual viewpoint above the vehicle. .
  • the control device 10 uses the acquired captured image or monitoring image as information to be presented on the display 30 in a situation such as when the vehicle is parked or when the vehicle is moving backward.
  • the delay state determination function of the control device 10 determines a delay state including a delay time for wireless communication between the in-vehicle device 200 and the terminal device 100.
  • the delay time is obtained from a difference between a reference communication time in a predetermined good communication environment and an actually measured communication time in a communication environment in which transmission / reception is actually performed.
  • the control device 10 refers to and synchronizes the clock 45 of the in-vehicle device 200 and the clock 112 of the terminal device 100, and then exchanges information via wireless communication between the in-vehicle device 200 and the terminal device 100.
  • the delay time is calculated by measuring the actually measured communication time required for.
  • information with a transmission timing is transmitted from the in-vehicle device 200 to the terminal device 100.
  • the terminal device 100 acquires the information
  • the terminal device 100 transmits reception confirmation information to the in-vehicle device 200.
  • the in-vehicle device 200 calculates half of the time from the transmission timing at which information is transmitted to the terminal device 100 to the reception timing at which the reception confirmation information transmitted by the terminal device 100 is received as the communication time required for wireless communication.
  • the communication time of wireless communication can be calculated by a similar method in a communication environment without a predetermined load. The actually measured communication time changes every moment depending on the number of terminal devices that access the wireless communication network and the amount of information to be communicated.
  • the control apparatus 10 calculates communication time with a predetermined period, and calculates continuously the delay time which is a difference with reference
  • the delay time is calculated after the in-vehicle device 200 and the terminal device 100 are synchronized in advance, an accurate delay time can be calculated.
  • the delay time includes a fixed time determined in advance according to the capability of the communication facility and a variable time caused by the communication amount.
  • the fixed time can be stored in the in-vehicle device 200 or the terminal device 100 in advance. From the viewpoint of reducing the processing load, the stored fixed delay time may be read to determine the delay state.
  • the cause of the delay state in which the presentation of the captured image of the camera 1 is delayed is not only the delay time of the wireless communication described above.
  • the first time mentioned here is the time from t0 to t1 until the vehicle-mounted device 200 captures the surroundings of the vehicle and the processing of compressing the captured images.
  • the second time is the time required for wireless communication from t1 to t2.
  • the third time is the time required for the process of presenting on the display 30 the answered captured image and the time for decompressing the compressed captured image from t2 to t3.
  • the delay state of the wireless communication includes the time from imaging performed on the in-vehicle device 200 to transmission of the captured image, the communication time between the in-vehicle device 200 and the terminal device 100, and the captured image performed on the terminal device 100 side. Occurs when the time from reception to presentation is delayed.
  • the time required from the imaging process to the completion of the image presentation process is about 100 to 500 msec. Even in such a short time, it is not preferable that past image information is presented as if it were currently imaged information. Even more so, when communication delays cause the time from imaging time to presentation time to be longer.
  • a captured image is transmitted / received via a communication network (such as CAN) in the in-vehicle device 200, the time from the imaging time to the presentation time is almost constant, and thus can be managed.
  • the above-described third time greatly depends on the processing capability of the terminal device 100, and it is difficult to uniformly define the delay time for the terminal devices 100 with different performances and states owned by individuals.
  • control device 10 of the present embodiment measures the delay time of wireless communication between the terminal device 100 and the in-vehicle device 200 by the above method.
  • the control device 10 of the present embodiment acquires the terminal device side processing time required for the terminal device 100 to acquire the captured image and present the predicted image, and the terminal device side processing time. Is added to the delay time of wireless communication to calculate the delay time related to information presentation, and the delay state is determined. Although not particularly limited, it is preferable that the processing time on the terminal device side is experimentally calculated in advance and stored in the terminal device 100 so as to be readable. The delay state can be accurately determined by calculating the delay time by adding not only the delay of the wireless communication but also the time required for the processing on the terminal device 100 side.
  • control device 10 of the present embodiment may add the time required from acquisition (imaging) of captured images performed on the in-vehicle device 200 side to transmission to the delay time.
  • the delay time By calculating the delay time by adding not only the wireless communication delay but also the time required for the processing on the in-vehicle device 200 side, the delay state can be determined more accurately.
  • control device 10 of the present embodiment determines whether or not the wireless communication of the communication device 2 has been interrupted, and when the wireless communication is interrupted, causes the display 30 to indicate that the wireless communication has been interrupted.
  • the wireless communication of the communication device 2 is interrupted, it is difficult to acquire a captured image at the current time in real time. That is, the captured image presented on the display 30 is highly likely to be a past video.
  • by presenting that the wireless communication of the communication device 2 has been interrupted it is possible to notify the driver that the presented captured image is not a real-time image.
  • the control device 10 of the present embodiment determines the reliability of wireless communication according to the delay state. When the delay time is long and the delay state of the wireless communication is bad, it is determined that the reliability of the wireless communication is low. On the other hand, if the delay time is short and the delay state of the wireless communication is not bad (the communication state is good), it is determined that the reliability of the wireless communication is high.
  • the reliability of wireless communication can be defined according to the communication time in the communication state. The longer the communication time, the lower the reliability of wireless communication can be set.
  • the control device 10 presents the determined reliability on the display 30. In a situation where the delay time of wireless communication is long and the reliability of wireless communication is low, it is difficult to acquire a captured image at the present time in real time. That is, the captured image presented on the display 30 is highly likely to be a past video. In the present embodiment, the fact that the reliability of wireless communication of the communication device 2 is low can be presented to the driver that the presented captured image is not a real-time image.
  • the control device 10 of the present embodiment acquires detection information as to whether or not a moving object exists around the vehicle.
  • the control device 10 acquires information on whether or not a moving object exists from the in-vehicle device 200.
  • the in-vehicle device 200 includes a moving body detection device 43.
  • the moving body detection device 43 determines whether or not there is a moving body around the vehicle based on the temporal change of the feature extracted from the captured image of the in-vehicle camera 1.
  • the method for detecting the moving object based on the captured image is not particularly limited, and the method known at the time of filing of the present application can be appropriately used.
  • the control device 10 determines the delay state when the detection information indicating that the moving body is present is acquired.
  • the presentation of the captured image is delayed, and there may be a situation where the mobile object does not appear in the captured image even though the mobile object is present around the vehicle.
  • the control apparatus 10 of this embodiment judges the delay state of radio
  • the control device 10 acquires vehicle state information and predicts the position of the vehicle after the delay time based on the vehicle state information.
  • the control device 10 of the present embodiment acquires the vehicle steering angle and the vehicle speed (or acceleration) as vehicle state information.
  • the position of the vehicle after a predetermined time (after the delay time) when the vehicle moves with the acquired state information is calculated.
  • a method for calculating the position of the vehicle when moving in a predetermined state for a predetermined time is not particularly limited, and a method known at the time of filing can be appropriately applied.
  • the control device 10 generates a predicted image captured at the predicted position of the vehicle from the acquired captured image. That is, in consideration of the moving direction and the moving amount of the vehicle, the captured image of the camera 1 of the vehicle that has moved when the delay time has elapsed is predicted and generated.
  • FIG. 4 is a diagram showing a captured image of the rear of the vehicle shown on the screen 30R in FIG. As shown in FIG. 4, a predetermined point P0 is set at the timing txo. When the vehicle moves at the steering angle / speed (state information) in the state information, the point P0 on the captured image moves to the point P1 at the timing tx1 after the delay time ty.
  • the reverse amount (movement amount) of the vehicle is predicted from the vehicle state information and the delay time ty, and the RGB image information of the point P1 corresponding to the reference point P0 in the captured image of the in-vehicle camera 1 at the position after the movement. Is calculated. That is, the captured image at the timing tx1 after the delay time ty is prefetched (predicted).
  • the control device 10 obtains the moving direction of the vehicle from the steering angle, obtains the moving speed of the vehicle from the speed information, and determines the position of the vehicle after the lapse of the delay time when the vehicle moves in the current moving direction and moving speed. To predict an image captured by the in-vehicle camera 1. That is, the position P0 of the captured image captured by the vehicle-mounted camera 1 at the timing tx0 is located in the captured image captured at the timing tx1 after the delay time ty has elapsed. The coordinates of the captured image of the camera 1 at the timing tx1 after the delay time ty has elapsed are set from the moving direction and moving amount of the vehicle.
  • the control device 10 generates a predicted image that is captured at the position of the vehicle predicted from the acquired captured image. In other words, the control device 10 may be obtained if the vehicle is moved in the direction and speed of the state information and the vehicle-mounted camera 1 captures an image from the position where the vehicle exists at the timing tx1 when the delay time ty has elapsed from the timing tx0. A predicted image is generated.
  • the predicted image is an image in which the point P0 of the captured image illustrated in FIG. 4 is moved to the point P1.
  • the predicted image that reflects the rear of the vehicle shifts to the right (in the image in the drawing) from the captured image.
  • a range wider than the area shown is actually imaged.
  • the wide-angle camera 1 is employed, a captured image including a wide range of images is acquired.
  • the presentation function of the control device 10 will be described.
  • the control device 10 presents the generated predicted image on the display 30.
  • the control device 10 presents a bird's-eye view image looking down on the vehicle from above in the left region 30 ⁇ / b> L of the display 30, and presents a captured image or a predicted image in the right region 30 ⁇ / b> R of the display 30.
  • a predicted image that will be captured by the in-vehicle camera after the delay time of the wireless communication is generated, so that a delay occurs in communication between the in-vehicle device 200 and the terminal device 100. Even so, it is possible to present a prediction image indicating the state of the vehicle surroundings in real time.
  • the terminal device 100 presents a past captured image.
  • the captured image is cut out based on the position of the camera 1 when moving after the delay time according to the vehicle state information, and the predicted image is generated, so that it does not enter the display frame at the past timing. Even if it is a moving object, the driver can recognize the moving object that enters the display frame at the current timing in consideration of the delay time from the predicted image.
  • a prefetched real-time prediction image is presented without presenting the past captured image to the terminal device 100, and thus the approach that is not included in the past captured image.
  • the driver can also be notified of the presence of moving objects.
  • the control device 10 further includes a guide line generation function for generating a guide line along a trajectory where the vehicle is predicted to move based on the vehicle state information.
  • the control device 10 includes a predicted route P indicating a trajectory predicted to move the vehicle, a vehicle width guide line Q1 indicating the position of the side surface of the vehicle when the vehicle moves, and the progress of the vehicle when the vehicle moves.
  • a guide line including a distance guide line Q2 indicating a position along the direction is generated. Then, as illustrated in FIGS. 2 and 4, the control device 10 presents the generated guide line superimposed on the predicted image.
  • the display mode of the guide line is changed according to the delay state determined by the delay state determination function described above. For example, when the delay time is long and the delay state is bad, that is, the reliability of the wireless communication is low, the display is displayed in a mode different from the default display setting used when the reliability of the wireless communication is equal to or higher than the standard value. . By showing the guide line in a display mode different from the normal display mode, it is possible to alert the driver. If the reliability of wireless communication is low, the accuracy of the guide line may decrease, but by changing the mode of the guide line, the driver can be directed to pay high attention to the surrounding situation. it can.
  • the guide line displayed when the delay time is long and the delay state is bad is the color of the guide line displayed when the delay time is short and the delay state is not bad (the state of wireless communication is good), , Transmittance, thickness, and mode (one-dot broken line, two-dot chain line) are different.
  • the guide line is a relatively inconspicuous receding line such as blue, green, blue-violet, Display with broken lines and relatively thin lines.
  • the guide line is displayed as a relatively conspicuous advance color line such as red, solid line, orange, yellow, or the like, and a relatively thick line.
  • the control device 10 captures images with the plurality of cameras 1 at the predicted vehicle position.
  • One predicted image obtained by projecting the predicted image onto the projection plane looking down at the vehicle from the virtual viewpoint above the predicted position can be generated and presented. That is, the predicted image after the delay time has elapsed can be shown in the form of an overhead image as shown in the left region 30L of the display 30 in FIG.
  • the predicted image may be generated only for the image in the traveling direction of the vehicle, and the past image may be used for other portions.
  • a predicted image is generated only for an image in the backward direction, and an overhead view image is generated from the backward predicted image and the captured images of the front and sides. According to this example, it is possible to check not only the traveling direction but also the entire surroundings of the vehicle from the generated predicted image.
  • FIG. 5 is a flowchart showing a control procedure of the information presentation system 1000 according to the present embodiment.
  • step 101 the control device 10 of the terminal device 100 of the present embodiment confirms the establishment of wireless communication.
  • the wireless communication is not established, that is, when the wireless communication is interrupted, that effect is displayed on the display 30.
  • step S102 the control device 10 starts delay countermeasure processing.
  • the delay countermeasure process a predicted image that is captured after the delay time has elapsed is generated and displayed on the display 30.
  • the delay countermeasure process is started when detection information indicating that a moving object exists is acquired.
  • the trigger of the delay countermeasure process is not limited to this, and the delay countermeasure process may be started when the delay time of wireless communication becomes a predetermined value or more. Of course, this process may be repeated at a predetermined cycle.
  • the control device 10 determines the delay state.
  • the delay state can be determined from the delay time.
  • the delay time may be measured on the in-vehicle device 200 side or may be measured on the terminal device 100 side.
  • the terminal device 100 synchronizes with the in-vehicle device 200, and the time from when the predetermined information is transmitted to the in-vehicle device 200 until the reception signal of the in-vehicle device is acquired is defined as the time required for communication round trip. Half of the time is calculated as the communication time.
  • the control device 10 calculates a delay time at the time of actual measurement by subtracting the actually measured communication time from the communication time measured in the standard state. The reliability of wireless communication is determined based on the delay state based on the acquired delay time.
  • the delay time and the delay state are determined in consideration of the time related to the decompression and presentation processing of the acquired image information on the terminal device 100 side.
  • the control device 10 presents the determination result regarding the delay state on the display 30. This is to provide the driver with information about the reliability of wireless communication, that is, the reliability of information to be presented.
  • step 104 the control device 10 acquires a captured image of the camera 1 and vehicle state information from the in-vehicle device 200.
  • control device 10 In subsequent step 105, the control device 10 generates a predicted image.
  • the control device 10 predicts the position of the vehicle after the delay time based on the vehicle state information, and generates a predicted image captured by the camera 1 at the predicted position of the vehicle from the acquired captured image.
  • step 106 the control device 10 generates a guide line along the trajectory where the vehicle is predicted to move based on the vehicle state information.
  • step 107 the control device 10 presents the generated guide line on the display 30 in a superimposed manner on the captured image or the predicted image.
  • the terminal device 100 and the information presentation system 1000 according to the embodiment of the present invention configured and operating as described above have the following effects.
  • a prediction image is generated by prefetching an image that will be captured by the in-vehicle camera after the delay time of wireless communication. Even when communication is delayed, a prediction image indicating a real-time state around the vehicle can be presented. As a result, it is possible to prevent past captured images from being presented to the terminal device when a delay occurs in wireless communication.
  • the delay state can be accurately determined by calculating the delay time by adding not only the delay of wireless communication but also the time required for processing on the terminal device 100 side. .
  • the driver by presenting that the wireless communication of the communication device 2 is interrupted, the driver can be informed that the presented captured image is not a real-time image. it can.
  • the fact that the reliability of the wireless communication of the communication device 2 is low can be notified to the driver that the presented captured image is not a real-time image. it can.
  • the driver when the delay time is long and the delay state is bad, that is, the reliability of wireless communication is low, the driver is displayed by displaying it in a mode different from the default display setting. Call attention.
  • the reliability of the wireless communication is low, the accuracy of the guide line may be reduced, but the driver can pay attention to the surrounding situation by changing the mode of the guide line.
  • the delay state of the wireless communication is determined.
  • a prediction image can be presented.
  • the terminal device 100 and the information presentation system 1000 are described as an example of the information presentation system according to the present invention, but the present invention is not limited to this.
  • a terminal device 100 including a control device 10 including a CPU 11, a ROM 12, and a RAM 13 and an information presentation system 1000 including an in-vehicle device 200 will be described as an example.
  • the present invention is not limited to this.
  • a terminal device including an image acquisition unit, a delay state determination unit, a predicted image generation unit, a presentation unit, a guide line generation unit, and a moving body detection information acquisition unit, an image A control device 10, a communication device 20, and a display 30 that execute an acquisition function, a delay state determination function, a predicted image generation function, a presentation function, a guide line generation function, and a moving body detection information acquisition function
  • an image A control device 10 a communication device 20
  • a display 30 that execute an acquisition function, a delay state determination function, a predicted image generation function, a presentation function, a guide line generation function, and a moving body detection information acquisition function
  • an in-vehicle device 200 including a camera 1, a communication device 2, a vehicle controller 3, and various devices 4 will be described as an embodiment of an in-vehicle device having a camera and a communication function. Is not to be done.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

　車載カメラ（１）により撮像された車両の周辺の撮像画像を取得する画像取得機能と、前車載装置（２００）と端末装置（１００）との無線通信の遅延時間を含む遅延状態を判断する遅延状態判断機能と、車両の状態情報に基づいて遅延時間後の車両の位置においてカメラ（１）により撮像される予測画像を撮像画像から生成する予測画像生成機能と、予測画像を提示する提示機能と、を実行する制御装置（１０）を備える情報提示システム（１０００）を提供する。

Description

情報提示システム
　本発明は、車両の周囲の映像に関する情報を提示する情報提示システムに関する。
　本出願は、２０１３年９月２７日に出願された日本国特許出願の特願２０１３―２００９５８に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
　この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車両の後方の映像を表示する運転支援装置が知られている（特許文献１）。
特開２０１２－０１６２１３０号公報
　しかしながら、車載装置に組み込まれていない可搬型の端末装置が、無線通信を介して取得した車載カメラの撮像画像を提示する場合に、無線通信に遅れが生じると撮像画像を提示するタイミングが遅延するという問題がある。
　本発明が解決しようとする課題は、車載装置と端末装置との無線通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す画像情報を端末装置に提示することである。
　本発明は、車載装置と端末装置との無線通信の遅延時間を含む遅延状態と車両の状態情報とに基づいて、遅延時間後の車両の位置で撮像される予測画像を、車載カメラの撮像画像から生成し、これを提示することにより、上記課題を解決する。
　本発明によれば、無線通信の遅延時間後に車載カメラで撮像されるであろう予測画像を端末装置に提示するので、車載装置と端末装置との通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態をドライバに認識させることができる。この結果、無線通信に遅延が生じた場合に過去の撮像画像が端末装置に提示されることを防止できる。
本発明に係る本実施形態の情報提示システムの構成図である。 端末装置に提示される画像情報の一例を示す図である。 無線通信の遅延を説明する図である。 無線通信の遅延に応じた予測画像の生成手法を説明するための図である。 情報提示処理の制御手順を示すフローチャート図である。
　以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に設けられたカメラを有する車載装置２００と、この車載装置２００と無線通信する携帯可能な端末装置１００とを備える情報提示システム１０００に適用した場合を例にして説明する。
　図１は、本実施形態に係る情報提示システム１０００のブロック構成図である。情報提示システム１０００は、車載装置２００と、端末装置１００とを備える。
　まず、図１に基づいて、本発明の車載装置２００について説明する。本実施形態の車載装置２００は、一又は複数のカメラ１ａ～１ｄと、通信装置２と、車両コントローラ３と、各種の車載される装置４（各種装置４とも総称する）を備える。
　カメラ１ａ～１ｄ（総称してカメラ１とも称する。以下、同じ。）は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成される。本実施形態では、リアフィニッシャー部分やルーフスポイラー部分などの車両のリア（後方）部分の所定位置に設置されたカメラ１を備える。このカメラ１は、車両の後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。また、本実施形態の車載装置２００は、車両Ｖの外部の異なる位置に各々設置された複数のカメラ１ａ～１ｄを備える。本実施形態の車載装置２００は、フロントグリル部分などの車両の前方の所定位置、左サイドミラー部分などの車両の左側方の所定位置、又は右サイドミラー部分などの車両の右側方の所定位置に設けられたカメラ１ａ～１ｄを備える。各カメラ１は、車両周囲の異なる方向の映像をそれぞれ撮影する。本実施形態では、撮像可能範囲が広い、広角のカメラ１を使用する。
　通信装置２００は、カメラ１が撮像した画像を後述する端末装置１００へ送出する。カメラ１に無線通信機能を備えさせて、外部へ撮像画像を送出してもよい。端末装置１００は、無線の通信ネットワークを介してカメラ１が撮像した撮像画像を取得する。各カメラ１が撮像した画像には、各カメラ１の配置(アドレス)に応じた識別子が付されており、端末装置１００は、各識別子に基づいて各撮像画像のそれぞれを識別できる。
　車両コントローラ３は、車両の各構成から情報を取得し、車両の動作を集中的に管理する。本実施形態の車両コントローラ３は、車両の状態を示す状態情報を取得する。車両コントローラ３は、車両のステアリング制御装置４１から操舵情報を状態情報として取得し、加速度センサ４２から加速度情報又は速度情報を状態情報として取得し、車両の変速装置４４のシフトポジション情報を状態情報として取得する。車両コントローラ３は、取得した操舵情報、加速度情報（速度情報）を端末装置１００へ送出する。端末装置１００の制御装置１０は、操舵情報から車両の進行方向（進行角度）を取得する。同じく制御装置１０は、シフトポジション情報から車両が後退中か前進中かの進行方向を取得する。同じく制御装置１０は、加速度情報（速度情報）と移動時間とから車両の移動量を取得する。制御装置１０は、車両の移動方向及び移動量から、所定時間経過後の車両の位置を求めることができる。
　車載装置２００が備えるカメラ１、通信装置２、車両コントローラ３、及び各装置４はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。
　次に、図１に基づいて端末装置１００について説明する。本実施形態の端末装置１００は、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。本実施形態の端末装置１００は、制御装置１０と、通信装置２０と、ディスプレイ３０とを備える。
　本実施形態の通信装置２０は、外部の車載装置２００の通信装置２と相互に情報の授受を行う。通信装置２０は、車載装置２００から撮像画像、車両の状態その他の情報を取得する。
　本実施形態のディスプレイ３０は、車両のカメラ１の撮像画像、後述する予測画像、無線通信の遅延状態に関する情報を提示する。図２は、端末装置１００のディスプレイ３０に車両の俯瞰画像と、後方の撮像画像を提示した例を示す図である。図２に示すように端末装置２００のディスプレイ３０の左側の画面３０Ｌには、上空の視点から車両を見下ろした俯瞰画像が提示され、ディスプレイ３０の右側の画面３０Ｒには、車両後方の撮像画像が提示されている。画面３０Ｒに示す後方の撮像画像には、車両が移動すると予測される軌道に沿うガイド線として、予想進路線Ｐ，車幅ガイド線Ｑ１，距離ガイド線Ｑ２が重畳して表示されている。なお、端末装置１００は、車両のドライバが視認しやすいように、車両のインストルメントパネルやステアリング近傍に取り付けられたホルダに設置してもよい。
　本実施形態の端末装置１００が備える制御装置１０は、無線通信の遅延時間に応じた予測画像を提示するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、本実施形態の端末装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
　本実施形態に係る端末装置１００の制御装置１０は、画像取得機能と、遅延状態判断機能と、移動体検知情報取得機能と、予測画像生成機能と、ガイド線生成機能と、提示機能と、を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行するコンピュータである。
　以下、本発明の本実施形態に係る端末装置１００の制御装置１０が実現する各機能について説明する。
　まず、制御装置１０の画像取得機能について説明する。本実施形態の制御装置１０は、車載カメラ１によって撮像された車両の周辺の撮像画像を通信装置２０を介して車載装置２００から取得する。特に限定されないが、本実施形態において、制御装置１０は、車両の後方側の撮像画像を取得する。制御装置１０は、前方、側方の撮像画像を取得してもよい。制御装置１０は、車載装置２００が生成した、車両の上空の仮想視点から車両を見下ろした、周囲の監視画像を取得してもよい。監視画像は、車両の異なる位置に複数配置されたカメラ１により撮像された複数の撮像画像を、車両上空の仮想視点から見下ろした投影面に投影して生成した俯瞰画像である。。制御装置１０は、取得した撮像画像や監視画像を、車両の駐車時、後退時などの状況においてディスプレイ３０に提示する情報として用いる。
　制御装置１０の遅延状態判断機能について説明する。本実施形態の制御装置１０は、車載装置２００と端末装置１００との無線通信の遅延時間を含む遅延状態を判断する。遅延時間は、所定の良好な通信環境下における基準通信時間と、実際に送受信が行われる通信環境下における実測通信時間との差から求める。特に限定されないが、制御装置１０は、車載装置２００の時計４５と端末装置１００の時計１１２とを参照し、同期させてから、車載装置２００と端末装置１００との無線通信を介した情報の授受に要する実測通信時間を計測して、遅延時間を算出する。具体的には、車載装置２００から送信タイミングを付した情報を端末装置１００宛てに送信する。端末装置１００はその情報を取得したら受信確認情報を車載装置２００宛てに送信する。車載装置２００は端末装置１００へ情報を送信した送信タイミングから、端末装置１００が送出した受信確認情報を受信した受信タイミングまでの時間の半分を無線通信に要する通信時間として算出する。基準通信時間は、所定の負荷の無い通信環境下において、同様の手法により無線通信の通信時間を算出できる。実測される通信時間は、無線通信回線網にアクセスする端末装置の多さ、通信する情報量の多さなどによって刻々に変化する。このため、制御装置１０は、所定周期で通信時間を算出し、基準通信時間との差である遅延時間を継続的に算出する。本例では、車載装置２００と端末装置１００とを事前に同期させてから遅延時間を算出するので、正確な遅延時間を算出できる。
　なお、遅延時間は、予め通信設備の能力に応じて決まる固定的な時間と、通信量などにより生じる変動的な時間とがある。固定的な時間については予め車載装置２００又は端末装置１００に記憶させておくことができる。処理負荷の軽減の観点からは、記憶された固定的な遅延時間を読み出して遅延状態を判断してもよい。
　端末装置１００において、カメラ１の撮像画像の提示が遅れる遅延状態が発生する原因は、先述した無線通信の遅延時間だけではない。図３に示すように、撮像処理から画像の提示処理が完了するまでに要する以下の第１～第３の時間を含む。ここにいう第１の時間は、ｔ０～ｔ１までの車載装置２００が車両周囲を撮像する処理及び撮像画像を圧縮する処理までの時間である。第２の時間は、ｔ１～ｔ２までの無線通信に要する時間である。第３の時間は、ｔ２～ｔ３までの圧縮された撮像画像を解凍処理する時間と回答した撮像画像をディスプレイ３０に提示する処理に要する時間である。つまり、無線通信の遅延状態は、車載装置２００側において行われる撮像から撮像画像の送出までの時間と、車載装置２００と端末装置１００との通信時間と、端末装置１００側において行われる撮像画像の受信から提示までの時間が遅れたときに生じる。
　無線通信に遅れが生じていない場合において、出願時における通信技術によれば、撮像処理から画像の提示処理が完了するまでに要する時間は１００～５００msec程度である。このような短い時間であっても、過去の画像情報があたかも現在撮像された情報であるように提示されることは好ましくない。ましてや、通信遅延が生じることにより、撮像時間から提示時間までの時間が長くなる場合には、なおさらである。車載装置２００内部の通信網（ＣＡＮなど）で撮像画像を送受信する場合には、撮像時間から提示時間までの時間はほぼ一定であるので、これを管理することは可能である。これに対し、車載装置２００側で得られた撮像画像を、公共の無線通信を介して端末装置１００に送出し、端末装置１００のディスプレイ３０で提示する場合には、通信遅延に配慮する必要がある。また、上述した第３の時間は、端末装置１００の処理能力に大きく依存し、個人がそれぞれ所有する性能・状態の異なる端末装置１００について一律に遅延時間を定義することは困難である。
　第１の時間に関し、本実施形態の制御装置１０は、端末装置１００と車載装置２００との無線通信の遅延時間を上記手法により計測する。
　上述した第３の時間に関し、本実施形態の制御装置１０は、端末装置１００が撮像画像を取得してから予測画像を提示するまでに要する端末装置側処理時間を取得し、端末装置側処理時間を無線通信の遅延時間に加算して情報提示に係る遅延時間を算出し、遅延状態を判断する。特に限定されないが、端末装置側処理時間は、予め実験的に算出しておき、読み出し可能に端末装置１００に記憶させておくことが好ましい。無線通信の遅延のみならず、端末装置１００側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態を正確に判断することができる。
　上述した第１の時間に関し、本実施形態の制御装置１０は、車載装置２００側において行われる撮像画像の取得（撮像）から送出までに要する時間を、遅延時間に加算してもよい。無線通信の遅延のみならず、車載装置２００側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態をさらに正確に判断することができる。
　また、本実施形態の制御装置１０は、通信装置２の無線通信が途絶したか否かを判断し、無線通信が途絶した場合には、無線通信が途絶した旨をディスプレイ３０に提示させる。通信装置２の無線通信が途絶している状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ３０に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置２の無線通信が途絶している旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
　本実施形態の制御装置１０は、遅延状態に応じた無線通信の信頼度を判断する。遅延時間が長く、無線通信の遅延状態が悪い場合には、無線通信の信頼度は低いと判断する。他方、遅延時間が短く、無線通信の遅延状態が悪くない（通信状態が良好である）場合には、無線通信の信頼度は高いと判断する。無線通信の信頼度は、通信状態の通信時間に応じて定義することができる。通信時間が長いほど無線通信の信頼度を低く設定することができる。制御装置１０は、ディスプレイ３０に、判断した信頼度を提示する。無線通信の遅延時間が長く、無線通信の信頼度が低い状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ３０に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置２の無線通信の信頼度が低い旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
　次に、移動体検知情報取得機能について説明する。本実施形態の制御装置１０は、車両の周囲に移動体が存在するか否かの検知情報を取得する。制御装置１０は、移動体が存在するか否かの情報を、車載装置２００から取得する。車載装置２００は、移動体検出装置４３を備える。移動体検出装置４３は、車載カメラ１の撮像画像から抽出された特徴の経時的な変化に基づいて、車両周囲に移動体が存在するか否かを判断する。撮像画像に基づいて移動体を検出する手法は特に限定されず、本願の出願時に知られた手法を適宜に利用することができる。制御装置１０は、移動体が存在する旨の検知情報を取得した場合には、遅延状態を判断する。無線通信に遅延が発生していると撮像画像の提示が遅れるので、移動体が車両周囲に存在するにもかかわらず撮像画像に表れない状況は生じる場合がある。車両周囲に移動体が存在する場合には、特に無線通信の遅延に配慮する必要がある。本実施形態の制御装置１０は、車両周囲に移動体が存在する場合には、無線通信の遅延状態を判断するので、無線通信の遅延状態に応じた予測画像を提示することができる。
　次に、制御装置１０の予測画像生成機能について説明する。制御装置１０は、車両の状態情報を取得し、車両の状態情報に基づいて遅延時間後の車両の位置を予測する。本実施形態の制御装置１０は、車両の操舵角と車速（又は加速度）を車両の状態情報として取得する。取得した状態情報（操舵角・速度などの状態値）で車両が移動したときの、所定時間後（遅延時間後）の車両の位置を算出する。所定の状態で所定の時間移動したときの車両の位置の算出手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。
　制御装置１０は、予測された車両の位置において撮像される予測画像を、取得した撮像画像から生成する。つまり、車両の移動方向及び移動量を考慮して、遅延時間が経過したときに移動した車両のカメラ１の撮像画像を予測して生成する。図４は、図２の画面３０Ｒに示す車両後方の撮像画像を示す図である。図４に示すように、タイミングtxoにおいて、所定の点P0を設定する。車両が状態情報における操舵角・速度（状態情報）で移動すると、撮像画像上の点P0は、遅延時間ty後のタイミングtx1において、点P1に移動する。本例では、車両の状態情報と遅延時間tyとから車両の後退量（移動量）を予測し、移動後の位置で車載カメラ１の撮像画像において基準点P0に対応する点P1のＲＧＢ画像情報を算出する。つまり、遅延時間ty後のタイミングtx1における撮像画像を先読み（予測）する。
　制御装置１０は、ステアリング舵角から車両の移動方向を求め、速度情報から車両の移動速度を求め、車両が現在の移動方向と移動速度で移動した場合に、遅延時間経過後の車両の位置をから車載カメラ１が撮像した画像を予測する。つまり、タイミングtx0において車載カメラ１により撮像された撮像画像の点P0が、遅延時間ty経過後のタイミングtx1において撮像された撮像画像のどこに位置するかを求める。車両の移動方向及び移動量から遅延時間ty経過後のタイミングtx1におけるカメラ１の撮像画像の座標を設定する。タイミングtx0におけるメラ１の撮像画像の座標（tx0のカメラ座標）の情報を、新たに設定した座標上（tx1のカメラ座標）に座標変換する。各座標点について同様の座標変換を実行する。制御装置１０は、この処理により、取得した撮像画像から予測された車両の位置において撮像される予測画像を生成する。つまり、制御装置１０は、車両が状態情報の方向及び速度で移動し、タイミングtx0から遅延時間tyが経過したタイミングtx1において車両が存在する位置から、車載のカメラ１で撮像したら得られるであろう予測画像が生成する。
　なお、説明のために、図４において、タイミングtx0において車載カメラ１により撮像された撮像画像の点P0は、遅延時間ty経過後のタイミングtx1において点P1に対応すると仮定する。予測画像は、図４に示す撮像画像の点P0が点P1に移動した画像となる。本例では車両が（車両進行方向に対して）左後方に移動するため、車両後方を映し出す予測画像が撮像画像よりも（図面の画像において右方向）にシフトするが、カメラ１は図４に示す領域よりも広い範囲を実際に撮像している。特に、広角のカメラ１を採用していれば、広い範囲の映像を含む撮像画像が取得されている。この撮像画像のうち予測画像に必要な領域について座標変換を行い、表示領域に応じて予測画像を切り出す処理を行うことにより、欠けの無い予測画像を生成できる。
　制御装置１０の提示機能について説明する。制御装置１０は、生成された予測画像をディスプレイ３０に提示する。制御装置１０は、図２に示すように、ディスプレイ３０の左側領域３０Lに上空から車両を見下ろした俯瞰画像を提示し、ディスプレイ３０の右側領域３０Ｒに撮像画像又は予測画像を提示する。
　本実施形態の情報提示システム１０００によれば、無線通信の遅延時間後に車載カメラで撮像されるであろう予測画像を生成するので、車載装置２００と端末装置１００との通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す予測画像を提示することができる。車載カメラ１の撮像画像を端末装置１００に提示する場合に通信遅延が発生すると、端末装置１００は過去の撮像画像を提示することになる。
　ディスプレイ３０の表示枠に沿って切り取られた過去の撮像画像には表れていない物体が、自車両に接近しているような状況を想定する。この状況において無線通信に遅延が発生すると、ドライバは接近する物体の存在を過去の撮像画像から認識することはできない。これに対し、本実施形態では、車両の状態情報に応じて遅延時間後に移動したときのカメラ１位置を基準に撮像画像を切り取り、予測画像を生成するので、過去のタイミングでは表示枠に入らなかった移動体であっても、遅延時間を考慮した現在のタイミングで表示枠に入る移動体については、ドライバは予測画像から認識できる。本実施形態では、無線通信に遅延が生じた場合に、過去の撮像画像を端末装置１００に提示せずに、先読みしたリアルタイムの予測画像を提示するので、過去の撮像画像には含まれない接近してくる移動体の存在をもドライバに知らせることができる。
　本実施形態の制御装置１０は、車両の状態情報に基づいてその車両が移動すると予測される軌道に沿うガイド線を生成するガイド線生成機能をさらに備える。制御装置１０は、車両が移動すると予測される軌跡を示す予測進路線Ｐと、車両が移動する場合に車両の側面の位置を示す車幅ガイド線Ｑ１と、車両が移動する場合に車両の進行方向に沿う位置を示す距離ガイド線Ｑ２と、を含むガイド線を生成する。そして、制御装置１０は、図２、４に示すように、生成されたガイド線を予測画像に重畳して提示する。
　その際に、本実施形態では、先述した遅延状態判断機能により判断された遅延状態に応じて、ガイド線の表示態様を変化させる。たとえば、遅延時間が長く、遅延状態が悪い、つまり無線通信の信頼度が低い場合には、無線通信の信頼度が標準値以上の場合に使用されるデフォルトの表示設定とは異なる態様で表示する。通常の表示態様とは異なる表示態様でガイド線を示すことにより、ドライバの注意を喚起できる。無線通信の信頼度が低い場合には、ガイド線の精度が低下する可能性があるものの、ガイド線の態様を変化させることにより、ドライバが周囲の状況に高度の注意を払うように仕向けることができる。
　具体的に、遅延時間が長く、遅延状態が悪い場合に表示するガイド線は、遅延時間が短く、遅延状態が悪くない（無線通信の状態が良好）である場合に表示するガイド線と、色、透過度、太さ、態様（一点破線、二点鎖線）が異なるものにする。一例を挙げると、遅延時間が短く、遅延状態が悪くない（無線通信の状態が良好である）場合には、ガイド線を青色、緑色、青紫色などの相対的に目立たない後退色の線、破線、相対的に細い線で表示する。他方、遅延時間が長く、遅延状態が悪い場合には、ガイド線を赤色、実線、オレンジ色、黄色などの相対的に目立つ進出色の線、相対的に太い線で表示する。
　なお、図２、４に示す例では、後方の撮像画像の予測画像を提示する例を説明したが、これに代えて、制御装置１０は、予測された車両の位置において複数のカメラ１により撮像される予測画像を、予測された位置の上空の仮想視点から車両を見下ろした投影面に投影した一の予測画像を生成し、これを提示することができる。つまり、遅延時間経過後の予測画像を、図２のディスプレイ３０の左側領域３０Ｌに示すような俯瞰画像の態様で示すことができる。予測画像は、車両の進行方向の画像についてのみ生成し、他の部分については過去の画像を用いてもよい。車両が後退している場合には、後退方向の画像についてのみ予測画像を生成し、後方の予測画像と前方及び側方の撮像画像とから俯瞰画像を生成する。本例によれば、生成された予測画像により、進行方向のみならず、車両の周囲全体の様子を確認できる。
　以下、本発明の第１実施形態の情報提示システム１０００の処理手順を説明する。図５は、本実施形態に係る情報提示システム１０００の制御手順を示すフローチャートある。
　ステップ１０１において、本実施形態の端末装置１００の制御装置１０は、無線通信の確立を確認する。無線通信が確立していない場合、つまり、無線通信が途絶している場合には、その旨をディスプレイ３０に表示させる。
　無線通信が確立している場合には、ステップＳ１０２に進み、制御装置１０は遅延対策処理を開始する。遅延対策処理では、遅延時間経過後に撮像される予測画像を生成し、これをディスプレイ３０に表示する。本実施形態では、移動体が存在する旨の検知情報を取得した場合に、遅延対策処理を開始する。遅延対策処理のトリガは、これに限定されず、無線通信の遅延時間が所定値以上となった場合に、遅延対策処理を開始してもよい。もちろん、本処理は所定周期で繰り返されてもよい。
　続くステップ１０３において、制御装置１０は、遅延状態を判断する。遅延状態は遅延時間により判断できる。遅延時間は、車載装置２００側で計測してもよいし、端末装置１００側で計測してもよい。本実施形態の端末装置１００は、車載装置２００との同期をとり、所定の情報を車載装置２００へ送出してから、車載装置の受領信号を取得するまでの時間を通信の往復に要する時間とし、その半分を通信時間として算出する。制御装置１０は、標準の状態で計測した通信時間から実測された通信時間を差し引いて、実測時における遅延時間を算出する。取得した遅延時間により遅延状態に基づいて無線通信の信頼度を判断する。遅延時間が長いほど、遅延状態が悪く、無線通信の信頼度は低い。このとき、端末装置１００側における取得した画像情報の解凍及び提示処理に係る時間を考慮して遅延時間及び遅延状態を判断する。制御装置１０は、遅延状態に関する判断結果をディスプレイ３０に提示する。ドライバに無線通信の信頼度、つまり、提示する情報の信頼度に関する情報を提供するためである。
　ステップ１０４において、制御装置１０は車載装置２００からカメラ１の撮像画像と、車両の状態情報を取得する。
　続くステップ１０５において、制御装置１０は予測画像を生成する。制御装置１０は、車両の状態情報に基づいて遅延時間後の車両の位置を予測し、予測された車両の位置においてカメラ１により撮像される予測画像を、取得した撮像画像から生成する。
　ステップ１０６において、制御装置１０は、車両の状態情報に基づいて車両が移動すると予測される軌道に沿うガイド線を生成する。
　ステップ１０７において、制御装置１０は、生成されたガイド線を、撮像画像又は予測画像に重畳してディスプレイ３０に提示する。
　以上のとおり構成され、動作する本発明の実施形態に係る端末装置１００、情報提示システム１０００は、以下の効果を奏する。
　[１]本実施形態の情報提示システム１０００によれば、無線通信の遅延時間後に車載カメラで撮像されるであろう画像を先読みした予測画像を生成するので、車載装置２００と端末装置１００との通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す予測画像を提示することができる。この結果、無線通信に遅延が生じた場合に、端末装置に過去の撮像画像が提示されることを防止できる。
　［２］本実施形態の情報提示システム１０００によれば、車載装置２００と端末装置１００とを事前に同期させてから遅延時間を算出するので、正確な遅延時間を算出できる。
　［３］本実施形態の情報提示システム１０００では、無線通信の遅延のみならず、端末装置１００側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態を正確に判断ができる。
　［４］本実施形態の情報提示システム１０００では、通信装置２の無線通信が途絶している旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
　［５］本実施形態の情報提示システム１０００では、通信装置２の無線通信の信頼度が低い旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
　［６］本実施形態の情報提示システム１０００では、遅延時間が長く、遅延状態が悪い、つまり無線通信の信頼度が低い場合には、デフォルトの表示設定とは異なる態様で表示することにより、ドライバの注意を喚起する。無線通信の信頼度が低い場合には、ガイド線の精度が低下する可能性があるものの、ガイド線の態様を変化させることにより、ドライバが周囲の状況に注意を払うようにすることができる。
　［７］本実施形態の情報提示システム１０００では、車両周囲に移動体が存在する場合には、無線通信の遅延状態を判断するので、特に注意すべき状況において、無線通信の遅延状態に応じた予測画像を提示することができる。
　［８］本実施形態の情報提示システム１０００では、生成された予測画像により、進行方向のみならず、車両の周囲全体の様子を確認できる。
　本明細書では、本発明に係る情報提示システムの一態様として端末装置１００及び情報提示システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
　また、本明細書では、本発明に係る情報提示システムの一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える端末装置１００と車載装置２００を備える情報提示システム１０００を一例として説明するが、これに限定されるものではない。
　本明細書では、画像取得手段と、遅延状態判断手段と、予測画像生成手段と、提示手段と、ガイド線生成手段と、移動体検知情報取得手段と、を備える端末装置の一態様として、画像取得機能と、遅延状態判断機能と、予測画像生成機能と、提示機能と、ガイド線生成機能と、移動体検知情報取得機能とを実行する制御装置１０と、通信装置２０と、ディスプレイ３０とを備える端末装置１００を説明するが、これに限定されるものではない。
　本明細書では、カメラと、通信機能を備える車載装置の一態様として、カメラ１と、通信装置２と、車両コントローラ３と、各種装置４とを備える車載装置２００を説明するが、これに限定されるものではない。
１０００…情報提示システム
１００…端末装置
　１０…制御装置
　　１１…ＣＰＵ
　　１２…ＲＯＭ
　　１３…ＲＡＭ
　２０…通信装置
　３０…ディスプレイ
２００…車載装置
１，１ａ～１ｄ…カメラ
２…通信装置
３…車両コントローラ
４…各種装置
　４１…ステアリング制御装置
　４２…加速度センサ
　４３…移動体検出装置

Claims (8)

  1. 　車両に設けられたカメラを有する車載装置と、前記車載装置と無線通信する携帯可能な端末装置と、を備える情報提示システムにおいて、
    　前記端末装置は、前記カメラにより撮像された車両の周辺の撮像画像を取得する画像取得手段と、
    　前記車載装置と前記端末装置との無線通信の遅延時間を含む遅延状態を判断する遅延状態判断手段と、
    　前記車載装置から前記車両の状態情報を取得し、前記車両の状態情報に基づいて前記遅延時間後の前記車両の位置を予測し、前記予測された車両の位置において前記カメラにより撮像される予測画像を、前記取得した撮像画像から生成する予測画像生成手段と、
    　前記予測画像を提示する提示手段と、を有することを特徴とする情報提示システム。
  2. 　前記遅延状態判断手段は、前記車載装置と前記端末装置とを同期させてから、前記車載装置と前記端末装置との無線通信を介した情報の授受に要する時間を計測して、前記遅延時間を算出することを特徴とする請求項１に記載の情報提示システム。
  3. 　前記遅延状態判断手段は、前記端末装置が前記撮像画像を取得してから前記予測画像を提示するまでに要する端末装置側処理時間を取得し、前記端末装置側処理時間と前記無線通信の遅延時間とを加算して情報提示に係る遅延時間を算出し、前記遅延状態を判断することを特徴とする請求項１に記載の情報提示システム。
  4. 　前記遅延状態判断手段は、前記無線通信が途絶したか否かを判断し、前記無線通信が途絶した場合には、前記無線通信が途絶した旨を前記提示手段に提示させることを特徴とする請求項１～３の何れか一項に記載の情報提示システム。
  5. 　前記遅延状態判断手段は、前記遅延状態に応じた前記無線通信の信頼度を判断し、
    　前記提示手段は、前記信頼度を提示することを特徴とする請求項１～４の何れか一項に記載の情報提示システム。
  6. 　前記端末装置は、前記車両の状態情報に基づいて当該車両が移動すると予測される軌道に沿うガイド線を生成するガイド線生成手段をさらに備え、
    　前記提示手段は、前記生成されたガイド線を前記予測画像に重畳して提示する際に、前記遅延状態判断手段により判断された遅延状態に応じて、前記ガイド線の表示態様を変化させることを特徴とする請求項１～５の何れか一項に記載の情報提示システム。
  7. 　前記端末装置は、前記車両の周囲に移動体が存在するか否かの検知情報を取得する移動体検知情報取得手段をさらに備え、
    　前記遅延状態判断手段は、前記移動体が存在するか旨の検知情報を取得した場合には、前記遅延状態を判断することを特徴とする請求項１～６の何れか一項に記載の情報提示システム。
  8. 　前記カメラは、前記車両の異なる位置に複数配置され、
    　前記予測画像生成手段は、前記予測された車両の位置において前記複数のカメラにより撮像される予測画像を、前記予測された位置の上空の仮想視点から当該車両を見下ろした投影面に投影した一の予測画像を生成することを特徴とする請求項１～７の何れか一項に記載の情報提示システム。
PCT/JP2014/068919 2013-09-27 2014-07-16 情報提示システム WO2015045578A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
RU2016110774A RU2647688C2 (ru) 2013-09-27 2014-07-16 Система представления информации
JP2015538979A JP6107960B2 (ja) 2013-09-27 2014-07-16 情報提示システム
US15/024,627 US20160227098A1 (en) 2013-09-27 2014-07-16 Information Presentation System
EP14848735.8A EP3051808B1 (en) 2013-09-27 2014-07-16 Information provision system
BR112016006666-9A BR112016006666B1 (pt) 2013-09-27 2014-07-16 Sistema de apresentação de informações
CN201480052059.3A CN105580358B (zh) 2013-09-27 2014-07-16 信息提示系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013200958 2013-09-27
JP2013-200958 2013-09-27

Publications (1)

Publication Number Publication Date
WO2015045578A1 true WO2015045578A1 (ja) 2015-04-02

Family

ID=52742735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/068919 WO2015045578A1 (ja) 2013-09-27 2014-07-16 情報提示システム

Country Status (7)

Country Link
US (1) US20160227098A1 (ja)
EP (1) EP3051808B1 (ja)
JP (1) JP6107960B2 (ja)
CN (1) CN105580358B (ja)
BR (1) BR112016006666B1 (ja)
RU (1) RU2647688C2 (ja)
WO (1) WO2015045578A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194039A1 (ja) * 2015-05-29 2016-12-08 日産自動車株式会社 情報提示システム
JP2017022660A (ja) * 2015-07-14 2017-01-26 シャープ株式会社 表示装置、表示システム及びプログラム
EP3223568A1 (en) * 2016-03-16 2017-09-27 Kabushiki Kaisha Toshiba Synchronization device and method
WO2018116588A1 (ja) * 2016-12-22 2018-06-28 カルソニックカンセイ株式会社 画像表示制御装置
JP2018103974A (ja) * 2016-12-22 2018-07-05 カルソニックカンセイ株式会社 画像表示制御装置
EP3360022A4 (en) * 2016-01-28 2018-11-14 Samsung Electronics Co., Ltd. Method for displaying image and electronic device thereof
WO2019035177A1 (ja) * 2017-08-15 2019-02-21 三菱電機株式会社 車載表示装置、画像処理装置および表示制御方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10086871B2 (en) * 2015-12-02 2018-10-02 GM Global Technology Operations LLC Vehicle data recording
CN109691088B (zh) * 2016-08-22 2022-04-15 索尼公司 图像处理设备、图像处理方法、以及程序
JP2019220009A (ja) * 2018-06-21 2019-12-26 ルネサスエレクトロニクス株式会社 半導体装置、メッセージ画像出力方法、およびプログラム
WO2020202384A1 (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 端末装置、通信システム、通信方法、及びプログラム
DE102019002789B4 (de) * 2019-04-16 2022-01-05 Daimler Ag Verfahren und Vorrichtung zur Steuerung eines automatisiert fahrenden Fahrzeuges
KR20210060690A (ko) * 2019-11-18 2021-05-27 현대자동차주식회사 차량 및 그 후방 영상 제공 방법
CN112991805A (zh) * 2021-04-30 2021-06-18 湖北亿咖通科技有限公司 一种辅助驾驶方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303450A (ja) * 2004-04-07 2005-10-27 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2009118169A (ja) * 2007-11-06 2009-05-28 Victor Co Of Japan Ltd 画像無線伝送システム及び画像表示装置
JP2011175507A (ja) * 2010-02-25 2011-09-08 Mazda Motor Corp 駐車支援システム
JP2012162130A (ja) 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2013009065A (ja) * 2011-06-23 2013-01-10 Nissan Motor Co Ltd 車両用監視装置及び車両の監視方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078480A (ja) * 1998-08-31 2000-03-14 Sony Corp 撮像装置及び撮像方法
JP2001266163A (ja) * 2000-03-17 2001-09-28 Nissan Motor Co Ltd 車両用画像処理装置
JP4977568B2 (ja) * 2007-09-28 2012-07-18 日産自動車株式会社 現在位置情報通知システム、センタ装置及び誤差補正方法
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP5543098B2 (ja) * 2008-11-14 2014-07-09 キヤノン株式会社 撮像装置
JP5071743B2 (ja) * 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
JP5258859B2 (ja) * 2010-09-24 2013-08-07 株式会社豊田中央研究所 走路推定装置及びプログラム
JP2012176656A (ja) * 2011-02-25 2012-09-13 Fuji Heavy Ind Ltd 駐車支援装置
US10071687B2 (en) * 2011-11-28 2018-09-11 Magna Electronics Inc. Vision system for vehicle
JP2014029380A (ja) * 2012-07-31 2014-02-13 Sony Corp 情報処理装置、情報処理方法、プログラム及び画像表示装置
US9519286B2 (en) * 2013-03-19 2016-12-13 Robotic Research, Llc Delayed telop aid
WO2015017541A1 (en) * 2013-07-30 2015-02-05 Robert Bosch Gmbh Adaptive methods for wireless camera communication

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303450A (ja) * 2004-04-07 2005-10-27 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2009118169A (ja) * 2007-11-06 2009-05-28 Victor Co Of Japan Ltd 画像無線伝送システム及び画像表示装置
JP2011175507A (ja) * 2010-02-25 2011-09-08 Mazda Motor Corp 駐車支援システム
JP2012162130A (ja) 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2013009065A (ja) * 2011-06-23 2013-01-10 Nissan Motor Co Ltd 車両用監視装置及び車両の監視方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3051808A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194039A1 (ja) * 2015-05-29 2016-12-08 日産自動車株式会社 情報提示システム
JPWO2016194039A1 (ja) * 2015-05-29 2018-05-31 日産自動車株式会社 情報提示システム
US10144351B2 (en) 2015-05-29 2018-12-04 Nissan Motor Co., Ltd. Information presentation system
RU2677256C1 (ru) * 2015-05-29 2019-01-16 Ниссан Мотор Ко., Лтд. Система представления информации
JP2017022660A (ja) * 2015-07-14 2017-01-26 シャープ株式会社 表示装置、表示システム及びプログラム
EP3360022A4 (en) * 2016-01-28 2018-11-14 Samsung Electronics Co., Ltd. Method for displaying image and electronic device thereof
EP3223568A1 (en) * 2016-03-16 2017-09-27 Kabushiki Kaisha Toshiba Synchronization device and method
WO2018116588A1 (ja) * 2016-12-22 2018-06-28 カルソニックカンセイ株式会社 画像表示制御装置
JP2018103974A (ja) * 2016-12-22 2018-07-05 カルソニックカンセイ株式会社 画像表示制御装置
US10974658B2 (en) 2016-12-22 2021-04-13 Calsonic Kansei Corporation Image display control device
WO2019035177A1 (ja) * 2017-08-15 2019-02-21 三菱電機株式会社 車載表示装置、画像処理装置および表示制御方法

Also Published As

Publication number Publication date
RU2647688C2 (ru) 2018-03-16
JPWO2015045578A1 (ja) 2017-03-09
JP6107960B2 (ja) 2017-04-05
EP3051808A4 (en) 2016-10-12
RU2016110774A (ru) 2017-11-01
CN105580358B (zh) 2017-07-07
EP3051808B1 (en) 2018-11-14
BR112016006666B1 (pt) 2023-04-04
EP3051808A1 (en) 2016-08-03
CN105580358A (zh) 2016-05-11
BR112016006666A2 (pt) 2017-08-01
US20160227098A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
JP6107960B2 (ja) 情報提示システム
JP6451840B2 (ja) 情報提示システム
JP7029910B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102129340B1 (ko) 주차 제어 방법 및 주차 제어 장치
US11214248B2 (en) In-vehicle monitoring camera device
CN110868331A (zh) 信息处理方法、信息处理装置、以及信息处理系统
CN110891160A (zh) 影像传输装置、影像传输方法、以及记录介质
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
JP2015028711A (ja) 車両の交通環境情報記録装置
CN114268787B (zh) 基于ar-hud的延时补偿方法、装置、设备及存储介质
JP5445218B2 (ja) 駐車支援システム
JP2008021069A (ja) 周辺監視システム
KR20120085973A (ko) 차량의 어라운드 뷰 제공 방법
JP5477394B2 (ja) 車両周辺監視装置
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
JP4644590B2 (ja) 周辺車両位置検出装置および周辺車両位置検出方法
JP6547788B2 (ja) 情報処理システム、情報処理装置及びプログラム
JP6690194B2 (ja) 運転支援送信装置、運転支援受信装置、プログラム
JP2018073036A (ja) 画像取得方法、画像表示システム、及びコンピュータプログラム
WO2023089834A1 (ja) 映像表示システム、映像表示方法、および映像表示装置
JP6209921B2 (ja) 予測進路提示システム
WO2023189568A1 (ja) 画像生成装置、方法及びプログラム
JP2018148484A (ja) 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP2018074315A (ja) 画像表示システム、画像表示方法及びコンピュータプログラム
JP2017022660A (ja) 表示装置、表示システム及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480052059.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14848735

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015538979

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15024627

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016006666

Country of ref document: BR

REEP Request for entry into the european phase

Ref document number: 2014848735

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014848735

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016110774

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 112016006666

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20160324