WO2014054289A1 - 車両用ナビゲーションシステムおよび車両用撮影装置 - Google Patents

車両用ナビゲーションシステムおよび車両用撮影装置 Download PDF

Info

Publication number
WO2014054289A1
WO2014054289A1 PCT/JP2013/005903 JP2013005903W WO2014054289A1 WO 2014054289 A1 WO2014054289 A1 WO 2014054289A1 JP 2013005903 W JP2013005903 W JP 2013005903W WO 2014054289 A1 WO2014054289 A1 WO 2014054289A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
wiper
unit
clean
Prior art date
Application number
PCT/JP2013/005903
Other languages
English (en)
French (fr)
Inventor
朋夫 野村
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012221646A external-priority patent/JP2014073737A/ja
Priority claimed from JP2012221645A external-priority patent/JP5910450B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US14/428,121 priority Critical patent/US20150228194A1/en
Priority to DE112013004876.0T priority patent/DE112013004876T5/de
Publication of WO2014054289A1 publication Critical patent/WO2014054289A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to a vehicle navigation system that provides an image for navigation to a road traveling vehicle, and an imaging device for a vehicle that provides an image obtained by photographing an external scene through a windshield of the vehicle.
  • Patent Document 1 discloses a navigation system that collects moving images at a branch point where errors are likely to occur from a plurality of vehicles and provides the vehicles that travel at the branch points where errors are likely to occur.
  • Patent Document 2 discloses a device that supports driving by photographing a scene in front of a vehicle with a camera and using the obtained image.
  • wipers for wiping raindrops on the windshield.
  • This wiper can also partially obstruct the camera view. An image captured by the wiper itself may not be used for driving assistance.
  • the wiper wipes raindrops or snowflakes at predetermined intervals, the amount of raindrops or snowflakes that obstruct the camera's field of view changes periodically. In this case, the amount of raindrops or snowflakes included in the image varies periodically. Such fluctuations produce images that can be used for driving assistance and images that cannot be used for driving assistance.
  • JP 2008-185394 A Japanese Patent No. 3984863
  • This disclosure is intended to provide a vehicle navigation system that can provide images that are easy for the driver to understand. It is another object of the present disclosure to provide a vehicle navigation system that can provide an image in which an influence caused by another moving body is suppressed.
  • the vehicular navigation system includes at least a part of a moving body that is another vehicle or a pedestrian from an acquisition unit that acquires an original image after being captured at a predetermined point.
  • a creation unit that creates the erased clean image as an image for supporting driving at the point.
  • an image for supporting driving at the point is created from the original image taken at the predetermined point. Therefore, an image for driving support is provided based on the actual scenery at the point.
  • a clean image is created by deleting at least part of other vehicles and / or moving objects such as pedestrians from the original image. Therefore, the difficulty of understanding due to the moving body is reduced. As a result, it is possible to provide an image that is less affected by other moving objects and is easy for the driver to understand.
  • an imaging device for a vehicle that provides an image using unit with an image captured through a windshield of a vehicle, an acquisition unit that acquires a state of a wiper that wipes an outer surface of the windshield, And an identification unit that identifies whether the image is an image that can be used by the image using unit or an image that cannot be used based on a state of a wiper.
  • the image is photographed through the windshield.
  • the image is used by the image using unit.
  • the outer surface of the windshield is wiped with a wiper.
  • the wiper wipes raindrops or snowflakes attached to the outer surface of the windshield.
  • the quality of the image is degraded by the wiper itself appearing in the image or by raindrops or snowflakes appearing before the wiper is wiped off.
  • an unsuitable image may be generated in relation to the wiper state.
  • the identification unit identifies whether the image is usable or not usable by the image utilization unit based on the state of the wiper. As a result, the use of images with reduced quality is suppressed.
  • FIG. 1 is a block diagram illustrating a system according to the first embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing the center device of the first embodiment.
  • FIG. 3 is a block diagram illustrating the vehicle device of the first embodiment.
  • FIG. 4 is a flowchart showing the control process of the first embodiment.
  • FIG. 5 is a flowchart showing the control processing of the first embodiment.
  • FIG. 6 is a flowchart showing the control processing of the first embodiment.
  • FIG. 7 is a flowchart showing the control processing of the first embodiment.
  • FIG. 8 is a plan view showing an example of the original image of the first embodiment.
  • FIG. 9 is a plan view showing an example of the original image of the first embodiment.
  • FIG. 10 is a plan view illustrating an example of a clean image according to the first embodiment.
  • FIG. 11 is a plan view illustrating an example of a guide image according to the first embodiment.
  • FIG. 12 is a front view showing the arrangement of the camera and wiper of the second embodiment.
  • FIG. 13 is a plan view showing an example of an image according to the second embodiment.
  • FIG. 14 is a plan view illustrating an example of an image according to the second embodiment.
  • FIG. 15 is a plan view showing an example of an image according to the second embodiment.
  • FIG. 16 is a plan view illustrating an example of an image according to the second embodiment.
  • FIG. 17 is a flowchart showing the control processing of the second embodiment.
  • FIG. 18 is a flowchart showing the validity process of the second embodiment.
  • FIG. 19 is a flowchart showing validity processing according to the third embodiment.
  • a first embodiment disclosing the disclosure is a vehicle navigation system 1.
  • the vehicle navigation system 1 is constructed by a distribution center 2 and a plurality of vehicles 3.
  • the distribution center 2 is provided with a center device (CNTRD) 3.
  • the vehicle 4 is provided with a vehicle device (ONVHD) 5.
  • a communication system 6 for data communication is provided between the center device 3 and the vehicle device 5.
  • the center device 3 and the plurality of vehicle devices 5 are connected via a communication system 6 so that data communication is possible.
  • the communication system 6 can include a network such as a wireless telephone line or the Internet.
  • the center device 3 and the vehicle device 5 constitute a vehicle navigation system 1.
  • the center device 3 distributes an image for guidance to a plurality of vehicle devices 5.
  • the distributed image is a still image or a moving image.
  • the plurality of vehicle devices 5 receive the distributed image.
  • Each vehicle device 5 can be provided by a navigation device mounted on the vehicle 4.
  • the navigation device provides an image to the driver by displaying the distributed image, and assists the driver in driving.
  • the plurality of vehicle devices 5 transmit images taken by the vehicle 4 on which they are mounted to the center device 3.
  • the center device 3 creates an image for distribution by collecting and processing images transmitted from the plurality of vehicle devices 5.
  • the vehicle navigation system 1 processes images collected from the plurality of vehicle devices 5 and distributes the processed images.
  • the center device 3 includes a center processing device (CTCPU) 3a and a memory device (MMR) 3b.
  • the memory device 3b is a storage device that stores data.
  • the center processing device 3a and the memory device 3b constitute a microcomputer.
  • the center device 3 includes a communication device (COMM) 3 c for providing a connection with the communication system 6.
  • the vehicle device 5 includes a vehicle processing device (VHCPU) 5a and a memory device (MMR) 5b.
  • the memory device 5b is a storage device that stores data.
  • the vehicle processing device 5a and the memory device 5b constitute a microcomputer.
  • the vehicle device 5 includes a communication device (COMM) 5 c for providing a connection with the communication system 6.
  • the vehicle device 5 includes a camera (VHCAM) 5 d for taking an image around the vehicle 4.
  • the camera 5d captures an image in front of the vehicle.
  • the camera 5d can capture a still image or a moving image.
  • the camera 5d supplies an original image by photographing a landscape in front of the vehicle 4.
  • the vehicle device 5 provides a vehicle image capturing device.
  • the vehicle device 5 includes a display (DSP) 5e.
  • the vehicle device 5 includes a plurality of detectors 5f.
  • the plurality of detectors 5f include sensors necessary as a navigation device.
  • the plurality of detectors 5 f can include a satellite positioning device for detecting the current position of the vehicle 4.
  • the plurality of detectors 5 f include sensors for detecting the behavior of the vehicle 4.
  • the plurality of detectors 5f can include a speed sensor that detects the traveling speed of the vehicle 4 and a brake sensor that detects an operation of the brake device.
  • the plurality of detectors 5f include sensors for detecting the behavior of the driver.
  • it may include an indoor camera that captures the driver's face, a microphone that detects the driver's voice, and a heart rate sensor that detects the driver's heartbeat.
  • the vehicle device 5 is a navigation device mounted on the vehicle 4.
  • the vehicle device 5 displays a map on the display 5e and displays the position of the vehicle 4 on the map. Further, the vehicle device 5 performs route guidance from the current location to the destination location in response to a request from the user of the vehicle 4.
  • the vehicle device 5 includes means for setting a route from the current location to the destination location.
  • the vehicle device 5 displays the set route on the map displayed on the display 5e, and provides support by display or voice so that the driver can drive the vehicle along the route.
  • the center device 3 and the vehicle device 5 are electronic control devices (ECU: Electronic Control Unit).
  • the ECU has a processing device and a memory device as a storage medium for storing a program.
  • the ECU is provided by a microcomputer provided with a computer-readable storage medium.
  • the storage medium stores a computer-readable program non-temporarily.
  • the storage medium can be provided by a semiconductor memory or a magnetic disk.
  • FIG. 4 is a flowchart showing the real view processing 120 related to the real view navigation provided by the vehicle navigation system 1.
  • real view navigation an image taken by a preceding vehicle is provided to the following vehicle.
  • a clean image in which a moving body such as a pedestrian or the like is deleted from another vehicle, more desirably a pedestrian, is distributed to the subsequent vehicle.
  • original images are collected from a plurality of preceding vehicles.
  • real view navigation a range including information useful for driving support is cut out from the scenery in front of the vehicle and displayed on the display 5e in the vehicle.
  • the real view process 120 includes a center apparatus process 121 executed by the center apparatus 3 and a vehicle apparatus process 122 executed by the vehicle apparatus 5. Each step can be viewed as a processing means or processing unit that provides the function.
  • Step 123 an image in front of the vehicle 4 is taken.
  • Step 123 can include a selection process for selecting only an available image from a plurality of images captured by the camera 5d. For example, a selection process of discarding an image showing a wiper for removing raindrops attached to a windshield of a vehicle can be included.
  • step 124 a process of displaying a road sign that appears in front of the vehicle 4 on the display 5e is executed.
  • a road sign is recognized from an image taken by the camera 5d. For example, a sign indicating the destination of an intersection ahead is recognized. Further, in this process, a partial image corresponding to the road sign is cut out from the original image, and the cut out image is enlarged and displayed on the display 5e. Thereby, recognition of a road sign by a driver can be supported.
  • Difficult points are points on the road where it is difficult for the driver to understand the road structure or course. Difficult points can include difficult intersections, i.e., branch points. The difficult points may include branch points with a large number of branches or branch points with a special branch angle. Such an intersection is also called a difficult intersection. In addition, points that are difficult to find while traveling on the road, such as the entrance of a point that can be the destination of the vehicle 4 and the entrance of a parking lot, can also be included in the difficult points. The determination can be performed automatically. Further, a switch that is operated when the driver determines that it is a difficult point may be provided, and the difficult point may be determined in response to an input operation from the switch.
  • the vehicle 4 When it is detected that an abnormal event different from normal is detected, it can be determined that the vehicle 4 is at a difficult point. For example, in the case of an intersection, it can be determined whether or not it is an esoteric intersection by detecting that the driver has lost selection of the traveling direction. It can be determined by the behavior of the vehicle 4 or the driver that the driver has lost selection of the traveling direction.
  • the behavior of the vehicle 4 can include a driving operation applied to the vehicle 4 by the driver, a state of the vehicle 4, an acceleration of the vehicle 4, and a deceleration.
  • the difficult point may be determined based on the driving operation applied to the vehicle 4 by the driver or the behavior of the vehicle 4.
  • An example of a vehicle behavior indicating a difficult point is a sudden deceleration within a candidate range indicating a candidate point such as an intersection, that is, a sudden braking operation.
  • Another example is a slow state within the candidate range.
  • Another example is a stop within the candidate range.
  • Yet another example is meandering steering within the candidate range.
  • the difficult point may be determined by a combination of a plurality of vehicle behaviors such as deceleration and meandering steering.
  • the observed vehicle behavior is compared with a preset reference behavior.
  • the reference behavior can be set in advance based on behaviors that appear in many vehicles at difficult points.
  • the reference behavior can also be called standard behavior.
  • the reference behavior can be adjusted to suit a particular driver's personality. Such adjustment can be provided by manual adjustment or by a learning process described below.
  • the difficult point may be determined based on the driver's behavior. For example, it is possible to determine whether or not the driver has traveled a difficult point based on the behavior of the driver's body, voice, heartbeat, and the like. Specifically, facial expressions, eye movements, and head movements appearing on the face can be used. In addition, a voice that is output when the driver makes a mistake in the route can be used. More specifically, voices such as “Hatsu!”, “I got it!”, “I made a mistake!”, “That?” Can be used. Also, rapid changes in heart rate can be used.
  • the observed driver behavior is compared with a preset reference behavior.
  • the reference behavior can be set in advance based on behaviors exhibited by many drivers at difficult points.
  • the reference behavior can also be called standard behavior.
  • the reference behavior can be adjusted to suit a particular driver's personality. Such adjustment can be provided by manual adjustment or by a learning process described below.
  • the difficult point may be able to be determined based on the fact that the vehicle 4 has left the planned route for route guidance.
  • the vehicle apparatus 5 performs route guidance, if the vehicle 4 leaves the route at the intersection, the intersection may be a difficult intersection.
  • Step 131 provides a determination unit that determines a difficult point on the road where it is difficult for the driver to understand the road structure or route.
  • the determination unit determines a difficult point based on a comparison between the behavior of the vehicle and / or the behavior of the driver and the reference. Since the difficult point is automatically determined, an image for driving support can be automatically provided.
  • an image obtained by photographing the difficult point is extracted as an original image.
  • This image is a raw image taken from the vehicle 4 by the camera 5d.
  • the original image includes at least one still image taken by the camera 5d immediately before reaching the difficult point. In such an image, there is a high possibility that a difficult point appears so that the road structure can be seen.
  • the original image may be a plurality of still images or moving images taken in a predetermined section before reaching the difficult point or a predetermined section including the difficult point.
  • the original image can be selectively extracted from a plurality of still images or moving images taken during a predetermined travel distance or a predetermined travel period including a difficult point.
  • step 133 the determination that the point is a difficult point in step 131 is verified based on the original image. This verification is also a process of verifying whether or not the point shown in the original image is a difficult point. The determination of the difficult point in step 131 may include an error.
  • step 133 if the possibility of being a difficult point falls below a predetermined value, the original image is discarded, the subsequent processing is skipped, and the process returns to step 131. By this processing, the accuracy of the determination of the difficult point can be improved.
  • error things that may appear in the original image due to causes other than the difficult points are registered and stored in the vehicle navigation system 1 in advance. Further, it is determined whether or not an error thing is captured by performing image processing on the original image. When an error thing is reflected in the original image, it can be determined that the determination in step 131 is an error, and error processing can be executed. If the determination in step 131 is an error, the original image obtained in step 132 can be discarded. If it is not possible to determine that the determination in step 131 is an error, subsequent processes including a providing process for providing an image for supporting driving at a difficult point based on the original image are executed. That is, when the verification unit verifies that the determination of the difficult point by the determination unit is correct, the subsequent providing process is executed. The verification unit discards the original image when it is not verified that the difficult point determination is correct. If it is not verified by the verification unit that the determination of the difficult point is correct, the subsequent providing process is not executed.
  • the difficult point is determined based on the vehicle behavior or driver behavior, there is a possibility that the determination is incorrect. This is because the vehicle behavior or the driver behavior that may be observed at the difficult point may be brought about based on other causes. For example, there are many causes for sudden braking at an intersection, such as when it occurs due to an esoteric intersection, when it occurs due to sudden braking of a preceding vehicle, or when it occurs due to an approach with a pedestrian.
  • An example of an error thing is a brake lamp that is lit in red and exceeds a predetermined area indicating a sudden braking of the vehicle ahead at a close distance. Another example of an error thing is the presence of a pedestrian at close range.
  • step 134 the original image is transmitted from the vehicle device 5 to the center device 3.
  • Step 134 provides a transmission unit that transmits the original image from the vehicle device 5 to the center device 3.
  • One or a plurality of original images are transmitted.
  • step 134 an image of one difficult point or an image of a plurality of difficult points can be transmitted.
  • the installation position of the camera 5d in the vehicle 4 may be different for each of the plurality of vehicles 4.
  • the model of the camera 5d may be different for each of the plurality of vehicles 4.
  • Information relating to shooting conditions such as the model, position, and shooting range of the camera 5d is added to the image transmitted in step 134.
  • the shooting conditions can include information such as the travel lane and date / time at the time of shooting. Such information is used for recognizing the difference between the original images for each of the plurality of vehicles 4 and correcting the image.
  • the position of the vehicle 4 when the original image is taken may be different for each of the plurality of vehicles 4.
  • Information indicating the shooting position is added to the image transmitted in step 134. For example, information indicating the distance between the shooting position of the original image and a reference point such as the center point of an intersection is added. Such information is used for recognizing the difference between the original images for each of the plurality of vehicles 4 and correcting the image.
  • the process of step 134 is also a process of notifying the center device 3 of the existence and position of the difficult point.
  • the center apparatus 3 can know the existence of the difficult point.
  • the center device 3 can execute a process of providing support information for assisting the driver at the difficult point to the subsequent vehicle 4 in response to the notification of the existence of the difficult point.
  • step 135 a learning process for correcting the criterion for determining the difficult point in step 131 is executed.
  • Step 135 provides a learning unit that corrects the reference based on the behavior of the vehicle observed at the difficult point and / or the behavior of the driver.
  • the case where the possibility of being a difficult point exceeds a predetermined level is detected, and the criterion indicating the difficult point is corrected based on the vehicle behavior or the driver behavior observed in that case.
  • the reference indicating the difficult point is given by a threshold value or a behavior corresponding to the difficult point.
  • the vehicle behavior and the driver behavior observed when the branch destination is lost at an intersection depends on each driver. By this processing, the accuracy of the determination of the difficult point can be improved.
  • An example of the correction of the reference is explained by comparing the behavior observed by the sensor with a predetermined reference value and indicating the difficult point by the result. For example, it is a case where it is determined that the point is a difficult point when a large behavior exceeding a predetermined reference value is detected. In such a case, the reference value is corrected based on the behavior observed when the possibility of the difficult point is high.
  • the reference value of the brake operation amount for determining the difficult point is corrected based on the brake operation amount observed at the difficult point. If the observed brake operation amount is smaller than the current reference value, the reference value may be corrected to be smaller than the current value. If the observed amount of brake operation is greater than the current reference value, the reference value may be modified to be greater than the current value.
  • the reference value of the steering width for determining the difficult point is corrected based on the steering width of the meandering steering observed at the difficult point. If the observed steering width is smaller than the current reference value, the reference value may be modified to be smaller than the current value. If the observed steering width is greater than the current reference value, the reference value may be modified to be greater than the current value.
  • the reference value of the pulse change amount for determining the difficult point is corrected based on the driver's pulse change amount observed at the difficult point. If the observed pulse variation is less than the current reference value, the reference value may be modified to be less than the current value. When the observed pulse change amount steering width is larger than the current reference value, the reference value may be corrected to be larger than the current value.
  • Another example of the correction of the standard is a case where the driver behavior observed when the possibility of the difficult point is high is set as a “standard indicating the difficult point” unique to the driver.
  • the reference is modified so that the driver's voice observed at the difficult point is set as a reference voice for determining the difficult point.
  • One driver may say “I got it!” At a difficult point, and another driver may say “Oh!” At a difficult point.
  • the former case can be set with “Shit!” As the reference, and in the latter case with “Oh!” it can.
  • the center device 3 receives the original images transmitted from the plurality of vehicle devices 5.
  • the received original image is stored in the memory device 3b.
  • the original image is accumulated for each point. A plurality of different original images can be accumulated for one point.
  • Step 141 and Step 142 provide an acquisition unit that acquires an original image taken at a predetermined point, that is, a difficult point.
  • the acquisition unit acquires information indicating the shooting conditions of each original image.
  • the acquisition unit includes a center reception unit that is provided in step 141 and receives the original image transmitted from the transmission unit.
  • the acquisition unit is provided by step 142 and includes an accumulation unit that accumulates a plurality of original images.
  • step 143 the center device 3 executes a process of confirming whether or not the point indicated by the original image is appropriate as a difficult point to provide the clean image.
  • This confirmation processing can be performed by the operator viewing the original image and making a determination.
  • the confirmation process can include a determination as to whether or not a plurality of original images exceeding a predetermined threshold are accumulated for one point. When this determination is affirmative, it is indicated that the determination of being a difficult point in many vehicles 4 has been made. In this case, it is considered desirable to treat the point as a difficult point and provide a clean image described later. If the validity of the difficult point is affirmed in step 143, step 144 is executed. If the validity of the difficult point is denied in step 143, the execution of step 144 for that point is postponed.
  • Step 143 provides a confirmation unit for confirming that the point where the original image was taken is appropriate as the point where the clean image is to be created.
  • the creation unit allows the creation of a clean image.
  • the confirmation unit confirms that it is appropriate as a point where a clean image is to be created.
  • a clean image is created based on the original image.
  • a clean image of a difficult point where a moving body such as another vehicle or a pedestrian is not captured is created.
  • the creation of a clean image may be executed by a process of selecting an original image that does not show a moving object from a plurality of original images accumulated for one point.
  • the creation of a clean image may be executed by erasing other vehicles and moving objects such as pedestrians from the original image.
  • the creation of a clean image can be performed by the operator processing and correcting the original image. In such manual processing, an operation of creating a clean image based on a plurality of original images accumulated for the target point is executed.
  • the creation of a clean image can be performed by an image processing program that automatically generates one or a plurality of clean images based on a plurality of original images.
  • the clean image generation process includes selection of a basic image, recognition of a moving object in the basic image, selection of another original image that can provide a background image for erasing the moving object, and comparison with other original images of the basic image Multiple steps such as synthesis are included.
  • the image is temporarily stored in the memory device 3b both in the manual processing and in the automation processing by the image processing program.
  • the selection of the basic image can be executed by selecting an original image that clearly shows the difficult point from a plurality of original images. For example, an original image whose shooting position is within a predetermined range from a difficult point, for example, a reference point of a difficult intersection can be selected as a basic image. In addition, an original image that satisfies a predetermined condition set based on the width of a road connected to a difficult intersection can be selected as a basic image. Recognition of the moving body in the basic image can be executed based on a preset reference shape indicating a vehicle or a pedestrian.
  • the selection of other original images can be executed by selecting an original image similar to the basic image. For example, an original image whose shooting position is within a predetermined range from the shooting position of the basic image can be selected as another original image.
  • attention is paid to characteristic objects in the image for example, the position and shape of road signs, and an original image in which they are reflected in the same manner as the basic image can be selected as another original image.
  • a stop line or a pedestrian crossing can be used.
  • correction processing such as correction based on the shooting position and shadow correction based on the date and time is executed.
  • the correction based on the shooting position can include a correction in the left-right direction based on the difference in the traveling lane at the time of shooting the original image.
  • the correction based on the photographing position can include correction in the height direction based on the height difference of the camera 5d.
  • a clean image in which at least one moving object is deleted is generated by combining another original image portion with the basic image so that the moving object is deleted from the basic image.
  • Step 144 provides a creation unit that creates a clean image in which at least a part of another vehicle and / or a moving object such as a pedestrian is deleted from one original image.
  • the clean image is created as an image for supporting driving at a difficult point.
  • the creation unit creates a clean image based on a plurality of original images.
  • the creating unit synthesizes a plurality of original images based on the shooting conditions attached to each original image.
  • the creation unit creates a clean image from which the moving object is erased by synthesizing the partial images of the other original images within a range in which the moving object is reflected in one original image. Therefore, even if the moving body is deleted, an image close to the actual landscape is provided.
  • step 145 the clean image is distributed from the center apparatus 3 to the vehicle apparatus 5.
  • Step 145 provided in the center device 3 provides a distribution unit that distributes the clean image to the vehicle device 5.
  • the delivery of the clean image can be executed toward a plurality of vehicles 4.
  • the delivery of the clean image can be executed in response to a request from the vehicle 4.
  • the arrangement of the clean image may be executed for the vehicle 4 that is about to reach one difficult point.
  • Step 136 the vehicle device 5 receives a clean image.
  • Step 136 provides a vehicle receiver that receives the clean image distributed from the distributor and stores it in the memory device 5b.
  • step 137 the vehicle device 5 provides a clean image to the driver.
  • a clean image is displayed on the display 5e.
  • the vehicle device 5 uses a clean image for route guidance. For example, the vehicle device 5 displays a clean image on the display 5e before the vehicle 4 reaches a difficult point.
  • a guidance symbol can be displayed on the clean image.
  • the guide symbol is an arrow indicating a route or a multi-headed arrow indicating a plurality of branching directions that can be selected in the branch path.
  • An image including a clean image and a guidance symbol can be called a guidance image.
  • the guide symbol can be synthesized on the clean image in the vehicle device 5.
  • the guide symbol may be synthesized on the clean image in the center device 3.
  • the clean image and the guidance image are images for driving support.
  • Steps 132-134, 141-145, and 136-137 provide a providing unit that provides an image for supporting driving at the difficult point based on the original image taken at the difficult point.
  • the providing unit is provided by at least step 144, step 145, step 136, and step 137.
  • Step 137 provides a display unit for displaying the clean image stored in the memory device 5b on the display 5e when traveling through the difficult point.
  • Steps 131-137 and 141-145 provide image distribution processing for providing an image for supporting driving at the difficult point based on the original image taken at the difficult point.
  • the sign display process provided in step 124 or the image distribution process provided in steps 131-145 provides a utilization unit that uses the image taken in step 123.
  • FIG. 5 shows a process 150 for determining a difficult point, for example, a difficult intersection.
  • Process 150 shows an example of step 131.
  • Process 150 is executed by vehicle device 5.
  • step 151 candidate points are extracted.
  • Candidate points are points that can be difficult points.
  • an esoteric intersection where the driver is likely to get lost in the traveling direction is extracted from a plurality of intersections registered in the memory device 5b.
  • step 152 it is determined whether or not the vehicle 4 has reached the candidate point. If the determination is negative, the process returns to step 151. If the determination is positive, go to step 153.
  • Step 153 it is determined whether or not the vehicle 4 has left the set route for route guidance at the candidate point.
  • the vehicle 4 When leaving the set route at an intersection or the like, there is a high possibility that the intersection is a difficult point.
  • step 153 when the vehicle 4 leaves the set route, it is determined that the candidate point is a difficult point.
  • step 154 the vehicle behavior observed at the candidate point is compared with the reference. In step 154, it is determined whether the observed vehicle behavior deviates from the reference. If the observed vehicle behavior deviates from the standard, it is determined that the candidate point is a difficult point.
  • step 155 the driver behavior observed at the candidate point is compared with the reference.
  • step 154 it is determined whether the observed driver behavior has deviated from the reference. If the observed driver behavior deviates from the standard, it is determined that the candidate point is a difficult point.
  • step 156 it is determined whether or not the candidate point is indicated as a difficult point by one of the determination processes (1), (2), and (3) in steps 153-155. If any one of the determination processes (1), (2), and (3) indicates that the candidate point is a difficult point, the process proceeds to step 132. If the determination in step 156 is negative, the process returns to step 151.
  • FIG. 6 shows a process 160 for verifying that it is a difficult point based on the original image.
  • the process 160 shows an example of step 133.
  • Process 150 is executed by vehicle device 5.
  • step 161 it is determined whether or not the cause of detection of the difficult point is vehicle behavior or driver behavior. Thus, when a positive determination is made at step 154 or step 155, a positive determination is obtained at step 161. If the determination in step 161 is negative, the process proceeds to step 134. If the determination in step 161 is affirmative, the process proceeds to step 162.
  • step 162 an image recognition process for searching for an error thing in the original image is executed.
  • step 163 it is determined whether there is an error in the original image. If the determination in step 163 is negative, the process proceeds to step 134. If the determination in step 163 is affirmative, the process proceeds to step 164. In step 164, the original image obtained in step 132 is discarded. Thereafter, the process returns to step 131.
  • FIG. 7 shows a process 170 for learning a criterion indicating a difficult point.
  • Process 170 shows an example of step 135.
  • the process 170 is executed by the vehicle device 5.
  • Step 171 it is determined whether or not the candidate point is indicated as a difficult point by a plurality of determination processes (1), (2), and (3) in Steps 153-155. If at least two of the determination processes (1), (2), and (3) indicate that the candidate point is a difficult point, the process proceeds to step 172. If a negative determination is made in step 171, the process returns to step 132.
  • the determination unit provided in step 131 includes a plurality of determination processes, that is, steps 153 to 155.
  • Step 171 provides a determination unit that determines that the correctness of the difficult-to-understand determination is higher than a predetermined level.
  • the learning unit performs correction when the difficult point is determined by at least two of the plurality of determination processes.
  • step 172 the standard for vehicle behavior is modified based on the vehicle behavior observed at the difficult point.
  • step 173 the criterion for driver behavior is modified based on the driver behavior observed at the difficult point. Step 173 may be set based on the behavior of the driver observed at the difficult point, for example, voice.
  • the original image RV1 and the original image RV2 are images obtained by photographing the same intersection.
  • the original image RV1 is an original image acquired in response to the determination of a difficult intersection in one vehicle 4.
  • the original image RV2 is an original image acquired in response to the determination of the difficult intersection in the other one vehicle 4.
  • the original image RV1 and the original image RV2 are different in the date and time when the image was taken.
  • the scenery of the intersection is photographed in the original images RV1 and RV2.
  • the original images RV1 and RV2 include a road sign RS, a building BD that is part of the landscape, and an overpass OP that is part of the landscape.
  • This intersection has a large area. For this reason, the building BD on the other side looks small.
  • the field of view is obstructed by an installation such as a traffic light.
  • the overpass OP covers a wide range, and the whole is dark. For these reasons, it is difficult to recognize each of the branch paths.
  • FIG. 10 shows an example of a clean image synthesized by the center device 3.
  • a high-definition image corresponding to an image taken by the camera 5d is shown in a simplified manner for illustration.
  • the clean image CV is an image synthesized at step 144.
  • the road sign RS, the building BD that is a part of the landscape, and the overpass OP are displayed.
  • the clean image CV does not show at least a conspicuous moving body.
  • the clean image CV may include a small moving object that can be identified with the background building BD.
  • the clean image CV is synthesized based on the original images RV1 and RV2.
  • the clean image CV is a high-definition image comparable to the original images RV1 and RV2.
  • the clean image CV is an image having a quality closer to that of a photograph than a picture showing a building or the like as a schematic block.
  • FIG. 11 shows an example of a guide image displayed on the display 5e by the vehicle device 5.
  • the guide image NV displayed on the display 5e is a high-definition image comparable to the clean image CV.
  • the guide image NV can have the same image quality as the clean image CV.
  • a guidance symbol GS for route guidance is combined with the guidance image NV by the route guidance function of the vehicle device 5.
  • the guide symbol GS indicates a traveling direction for entering one of a plurality of branch paths.
  • the guide symbol GS can be synthesized on the clean image in the center device 3 or the vehicle device 5.
  • an image for supporting traveling at the difficult point is created from the original image taken at the difficult point. Therefore, an image for driving support is provided based on the actual scenery at the difficult point.
  • an original image is provided from a preceding vehicle that has passed through a difficult point, and a clean image synthesized based on the original image is provided as a guide image for the following vehicle.
  • the clean image is generated based on the landscape of the difficult point seen from the preceding vehicle. For this reason, the guide image close
  • a clean image is created by deleting at least part of other vehicles and / or moving objects such as pedestrians from the original image. Therefore, the difficulty of understanding due to the moving body is reduced. As a result, it is possible to provide an image that is less affected by other moving objects and is easy for the driver to understand.
  • control device can be provided by software only, hardware only, or a combination thereof.
  • control device may be configured by an analog circuit.
  • a clean image created based on a plurality of original images acquired by a plurality of vehicles 4 that have passed through a difficult point in advance is transferred to another subsequent vehicle 4 that reaches the difficult point in the future.
  • a clean image created based on a plurality of original images repeatedly acquired by one vehicle 4 may be provided to the same vehicle 4.
  • steps 131 to 145 are executed in a distributed manner by the center device 3 and the vehicle device 5 has been described. Instead of this, sharing of processing different from the above-described embodiment may be adopted. For example, part or all of steps 131 to 135 may be executed in the center device 3. Further, part or all of steps 141 to 145 may be executed in the vehicle device 5.
  • steps 131 to 135 are executed in real time while the vehicle 4 is traveling.
  • steps 131-135 may be executed after the vehicle 4 has traveled over a predetermined period.
  • a process for storing information observed during the traveling of the vehicle 4 in the memory device 5b is added.
  • Steps 131-135 are executed based on the stored information.
  • a clean image is created by deleting both other vehicles and pedestrians from the original image.
  • a clean image may be created by deleting only one of the other vehicle and the pedestrian from the original image.
  • step 124 is executed only in the vehicle device 5 has been described. Instead, a part of step 124 may be executed in the center device 2.
  • the sign image may be collected in the memory device 3b of the center device 3, and the latest and high-quality sign image may be distributed from the collected image to the vehicle device 5 and displayed.
  • a vehicle navigation system 1 according to a second embodiment will be described.
  • the vehicle photographing device provides an image captured through the windshield of the vehicle 4 to an image utilization unit described later.
  • FIG. 12 is a plan view of the windshield 4a in front of the vehicle 4 as viewed from the front.
  • a windshield 4a, a wiper 4b, a wiper motor 4c, and a camera 5d are shown.
  • the arrow indicates the moving direction AR of the wiper 4b in the illustrated state.
  • a range surrounded by a broken line and hatched indicates a wiping range WP of the wiper 4b.
  • a plurality of raindrops LD that are simplified circles are shown. These circles illustrate an example of the attachment state of the raindrop LD when the wiper 4b is operating. Snowflakes may adhere as well as raindrops LD.
  • the windshield 4a is a transparent plate such as transparent glass.
  • the wiper 4b is driven by a wiper motor 4c.
  • the wiper 4b wipes the outer surface of the windshield 4a.
  • the camera 5d is disposed inside the vehicle 4.
  • the camera 5d is disposed behind the windshield 4a.
  • the camera 5d captures a scene outside the vehicle 4 through the windshield 4a.
  • the camera 5d captures a scene in front of the traveling direction of the vehicle 4.
  • the shooting range VR of the camera 5d and the wiping range WP at least partially overlap. In the illustrated example, almost the entire imaging range VR of the camera 5d overlaps with the wiping range WP.
  • Raindrops LD adhere to the outer surface of the windshield 4a.
  • the wiper 4b wipes the wiping range WP at a predetermined cycle. For this reason, the raindrop LD adhering in the wiping range WP is less than the outside of the wiping range WP.
  • the wiper 4b reciprocates within the wiping range WP.
  • the wiper 4b repeats the wiping stroke as indicated by the movement direction AR.
  • the number of raindrops LD attached in front of the movement direction AR of the wiper 4b is larger than the number of raindrops LD attached behind in the movement direction of the wiper 4b. In the rear of the movement direction of the wiper 4b, there are few raindrops LD in the range immediately after the wiper 4b passes.
  • the number of attached raindrops LD gradually increases as the distance from the wiper 4b increases.
  • the number of raindrops LD is the smallest immediately after the wiper 4b passes.
  • the number of raindrops LD gradually increases as time passes after the wiper 4b passes.
  • the raindrop LD also adheres to the field of view of the camera 5d.
  • the raindrop LD also appears in the image taken by the camera 5d.
  • the raindrop LD is close to the camera 5d, and is located far before the focal point of the camera 5d. For this reason, the clearness of the image is impaired within the range of the raindrop LD.
  • the front scene cannot be recognized within the range of the raindrop LD.
  • the wiper 4b may pass through the shooting range VR of the camera 5d. For this reason, a part of the wiper 4b may appear in the image. The wiper 4b appears as a large shadow in the image.
  • FIG. 13 to 16 show examples of images taken by the camera 5d.
  • an image taken by the camera 5d is simplified for illustration.
  • These images RV10, RV11, RV12, and RV13 are images obtained by photographing the same intersection from the same position. Images RV10-RV13 show a scene of the intersection.
  • the image RV10 illustrated in FIG. 13 is an image when it is not raining.
  • the image shows a road sign RS, an overpass OP that is a part of the scene, another vehicle VH that is a moving object, and a pedestrian PD.
  • the images RV11, RV12, and RV13 illustrated in FIGS. 14 to 16 are images when it is raining.
  • the raindrop LD is simplified and shown as a circle.
  • the raindrop LD refracts light irregularly and reflects it. For this reason, the front scene is not clearly visible within the range of the raindrop LD.
  • the wiper 4b is shown in the image RV11 shown in FIG.
  • the wiper 4b appears as a black area defined by two parallel sides in the image.
  • the illustrated wiper 4b moves in the image RV11 from left to right. Whether or not the wiper 4b is included in the image RV11 can be determined based on a signal indicating the operation of the wiper 4b or by recognizing a black region corresponding to the wiper 4b in the image RV11.
  • the image RV12 illustrated in FIG. 15 is an image immediately after the wiper 4b passes. Only a few raindrops LD are shown in the image RV12. In the image RV12, the shapes of the road sign RS, the overpass OP, another vehicle VH, the pedestrian PD, and the like can be clearly recognized.
  • the image RV13 illustrated in FIG. 16 is an image after a long time has passed after the wiper 4b passes, or an image immediately before the wiper 4b passes.
  • the image RV13 includes a large number of raindrops LD.
  • the raindrop LD covers and hides things in the image. For this reason, it is difficult to clearly recognize the shapes of the road sign RS, the overpass OP, the other vehicle VH, the pedestrian PD, and the like from the image RV13. In particular, it is difficult to recognize a predetermined shape from the image RV13 by the image recognition program. In addition, even if the driver looks at the whole or a part of the image RV13, it is difficult to accurately and quickly recognize what is shown.
  • FIG. 17 is a flowchart showing real view processing 1120 related to real view navigation provided by the vehicle navigation system 1.
  • real view navigation an image taken by a preceding vehicle is provided to the following vehicle.
  • a clean image in which a moving body such as a pedestrian or the like is deleted from another vehicle, more desirably a pedestrian, is distributed to the subsequent vehicle.
  • original images are collected from a plurality of preceding vehicles.
  • a range including information useful for assisting driving is cut out from an image showing a scene in front of the vehicle and displayed on the display 5e in the vehicle.
  • the real view process 1120 includes a center apparatus process 1121 executed by the center apparatus 3 and a vehicle apparatus process 1122 executed by the vehicle apparatus 5. Each step can be viewed as a processing means or processing unit that provides the function.
  • Step 1123 an image showing a scene in front of the vehicle 4 is taken.
  • Step 1123 can include a selection process for selecting only an available image from a plurality of images captured by the camera 5d. For example, it may include a selection process for discarding an image showing a wiper 4b for removing raindrops attached to the windshield 4a.
  • Step 1123 can be executed by setting the amount of noise elements that appear in the image, that is, the noise amount NS.
  • Step 1123 can include a setting process for setting the amount of noise NS appearing in the image.
  • the noise amount NS can be set as a measure of the degree or possibility that the image can contribute to driving support.
  • the amount of noise NS may correspond to the ratio of the area that does not accurately reflect the scene to the image. Noise elements appearing in the image hinder drivers and other people from recognizing and understanding things that appear in the image. The greater the amount of noise NS, the more difficult it is to recognize and understand things. The same applies to the case where the image processing program automatically recognizes the presence of other vehicles, the presence of pedestrians, the presence of road signs, etc. in the image instead of the possibility of human recognition.
  • An example of a noise element is raindrops or snowflakes attached to the windshield.
  • An example of the noise element is the wiper 4b itself.
  • the wiper 4b itself, as well as raindrops or snowflakes, are noise elements that appear and disappear in relation to the state of the wiper 4b.
  • An example of the state of the wiper 4b is the operation (ON) or non-operation (OFF) of the wiper 4b.
  • An example of the state of the wiper 4b is whether or not the wiper 4b is shown in the image.
  • An example of the state of the wiper 4b is an elapsed time after the wiper 4b passes the shooting range VR, in other words, an elapsed time after the wiper 4b wipes the shooting range VR. This elapsed time indicates the number of raindrops or snowflakes included in the image during the period when the wiper 4b is operating.
  • Step 1123 can provide a non-operation setting unit that sets the noise amount NS so as not to exceed a predetermined threshold Nth when the wiper 4b is non-operational.
  • Step 1123 can provide a wiper noise setting unit that sets the noise amount NS to exceed a predetermined threshold Nth when the wiper 4b is included in the image.
  • Step 1123 can provide a proportional setting unit that increases the amount of noise NS as the amount of raindrops or snowflakes included in the image increases.
  • Step 1123 identifies the image as an unusable image and prohibits its use when the noise amount NS exceeds a threshold value Nth indicating that it is suitable for the use of the image in the subsequent image using unit. Department can be provided.
  • a front scene is photographed by the camera 5d, and an image showing the scene is input and stored in the memory device 5b.
  • This image is a raw image taken from the vehicle 4 by the camera 5d.
  • the image includes at least one still image.
  • the image can be a plurality of still images or moving images.
  • Step 1123b provides an acquisition unit that acquires the state of the wiper 4b that wipes the outer surface of the windshield 4a.
  • Step 1123b obtains a first state of the wiper indicating that the amount of noise elements appearing in the image does not exceed a predetermined threshold value, and a second state of the wiper indicating that the amount of noise elements appearing in the image exceeds the threshold value To do.
  • An example of the first state is the non-operation of the wiper 4b.
  • An example of the second state is the operation of the wiper 4b.
  • An example of the first state is that the wiper 4b is not shown in the image.
  • An example of the second state is that the wiper 4b is shown in the image.
  • An example of the first state is that the elapsed time after the wiper 4b passes the imaging range VR does not exceed a predetermined time threshold.
  • An example of the second state is that the elapsed time after the wiper 4b passes the imaging range VR exceeds a predetermined time threshold.
  • step 1123b the noise amount NS included in the image is evaluated, and the noise amount NS of the image is set.
  • the amount of noise NS is given based on the state of the wiper 4b.
  • Step 1123b provides a setting unit for setting the amount NS of the noise element that appears in the image based on the state of the wiper 4b.
  • the wiper state is set as the amount of noise elements.
  • the identification unit identifies an image with a small amount of noise elements as an usable image, and identifies an image with a large amount of noise elements as an unusable image.
  • Step 1123c it is determined whether or not the noise amount NS exceeds a predetermined threshold value Nth. If the amount of noise NS does not exceed the threshold Nth, the image is provided to subsequent steps 1124, 1130. When the noise amount NS exceeds the threshold value Nth, the process proceeds to step 1123d. In step 1123d, use of the image is prohibited.
  • the threshold value Nth is a threshold value for identifying whether the image can be used for driving support or not.
  • the threshold value Nth is also a threshold value for determining whether or not the image is suitable for use in the subsequent steps 1124 and 1130.
  • the threshold value Nth can take different values in conformity with the plurality of steps 1124 and 1130. For example, a first threshold value Nth1 indicating an image conforming to the first step 1124 and a second threshold value Nth2 indicating an image conforming to the second step 1130 can be provided.
  • a first threshold value Nth1 indicating an image conforming to the first step 1124
  • a second threshold value Nth2 indicating an image conforming to the second step 1130 can be provided.
  • Steps 1123c and 1123d provide an identification unit for identifying whether the image is an image that can be used by the image using unit or an image that cannot be used based on the state of the wiper 4b.
  • Step 1123c identifies the image captured when the first state is acquired as an available image, and identifies the image captured when the second state is acquired as an unusable image.
  • Step 1123c identifies an image captured when the noise element amount NS does not exceed the predetermined threshold Nth as an available image, and the image captured when the noise element amount NS exceeds the predetermined threshold Nth. Is identified as an unavailable image.
  • step 1124 a process of displaying a road sign that appears in front of the vehicle 4 on the display 5e is executed.
  • a road sign is recognized from an image taken by the camera 5d. For example, a sign indicating the destination of an intersection ahead is recognized. Further, in this process, a partial image corresponding to the road sign is cut out from the original image, and the cut out image is enlarged and displayed on the display 5e. Thereby, recognition of a road sign by a driver can be supported.
  • step 1130 a clean image providing process for creating a clean image based on the image taken at the difficult point and providing the clean image for driving support is executed.
  • Difficult points are points on the road where it is difficult for the driver to understand the road structure or course. Difficult points can include difficult intersections, i.e., branch points. The difficult points may include branch points with a large number of branches or branch points with a special branch angle. Such an intersection is also called a difficult intersection. In addition, points that are difficult to find while traveling on the road, such as the entrance of a point that can be the destination of the vehicle 4 and the entrance of a parking lot, can also be included in the difficult points. The determination can be performed automatically. Further, a switch that is operated when the driver determines that it is a difficult point may be provided, and the difficult point may be determined in response to an input operation from the switch.
  • the vehicle 4 When it is detected that an abnormal event different from normal is detected, it can be determined that the vehicle 4 is at a difficult point. For example, in the case of an intersection, it can be determined whether or not it is an esoteric intersection by detecting that the driver has lost selection of the traveling direction. It can be determined by the behavior of the vehicle 4 or the driver that the driver has lost selection of the traveling direction.
  • the behavior of the vehicle 4 can include a driving operation applied to the vehicle 4 by the driver, a state of the vehicle 4, an acceleration of the vehicle 4, and a deceleration.
  • the difficult point may be determined based on the driving operation applied to the vehicle 4 by the driver or the behavior of the vehicle 4.
  • An example of a vehicle behavior indicating a difficult point is a sudden deceleration within a candidate range indicating a candidate point such as an intersection, that is, a sudden braking operation.
  • Another example is a slow state within the candidate range.
  • Another example is a stop within the candidate range.
  • Yet another example is meandering steering within the candidate range.
  • the difficult point may be determined by a combination of a plurality of vehicle behaviors such as deceleration and meandering steering.
  • the observed vehicle behavior is compared with a preset reference behavior.
  • the reference behavior can be set in advance based on behaviors that appear in many vehicles at difficult points.
  • the reference behavior can also be called standard behavior.
  • the reference behavior can be adjusted to suit a particular driver's personality. Such adjustment can be provided by manual adjustment or by a learning process described below.
  • the difficult point may be determined based on the driver's behavior. For example, it is possible to determine whether or not the driver has traveled a difficult point based on the behavior of the driver's body, voice, heartbeat, and the like. Specifically, facial expressions, eye movements, and head movements appearing on the face can be used. In addition, a voice that is output when the driver makes a mistake in the route can be used. More specifically, voices such as “Hatsu!”, “I got it!”, “I made a mistake!”, “That?” Can be used. Also, rapid changes in heart rate can be used.
  • the observed driver behavior is compared with a preset reference behavior.
  • the reference behavior can be set in advance based on behaviors exhibited by many drivers at difficult points.
  • the reference behavior can also be called standard behavior.
  • the reference behavior can be adjusted to suit a particular driver's personality. Such adjustment can be provided by manual adjustment or by a learning process described below.
  • the difficult point may be able to be determined based on the fact that the vehicle 4 has left the planned route for route guidance.
  • the vehicle apparatus 5 performs route guidance, if the vehicle 4 leaves the route at the intersection, the intersection may be a difficult intersection.
  • Step 1131 provides a determination unit that determines a difficult point on the road where it is difficult for the driver to understand the road structure or route.
  • the determination unit determines a difficult point based on a comparison between the behavior of the vehicle and / or the behavior of the driver and the reference. Since the difficult point is automatically determined, an image for driving support can be automatically provided.
  • an image obtained by photographing the difficult point is transmitted from the vehicle device 5 to the center device 3 as an original image.
  • This original image is a raw image taken from the vehicle 4 by the camera 5d.
  • the original image includes at least one still image taken by the camera 5d immediately before reaching the difficult point. In such an image, there is a high possibility that a difficult point appears so that the road structure can be seen.
  • the original image may be a plurality of still images or moving images taken in a predetermined section before reaching the difficult point or a predetermined section including the difficult point.
  • the original image can be selectively extracted from a plurality of still images or moving images taken during a predetermined travel distance or a predetermined travel period including a difficult point.
  • Step 1134 provides a transmission unit that transmits the original image from the vehicle device 5 to the center device 3. One or a plurality of original images are transmitted.
  • an image of one difficult point or an image of a plurality of difficult points can be transmitted.
  • step 1141 the center device 3 receives the original images transmitted from the plurality of vehicle devices 5.
  • the received original image is stored in the memory device 3b.
  • Step 1141 provides an acquisition unit that acquires an original image taken at a predetermined point, that is, a difficult point.
  • a clean image is created based on the original image.
  • a clean image of a difficult point where no moving body such as another vehicle or a pedestrian is shown is created.
  • the creation of a clean image may be executed by a process of selecting an original image that does not show a moving object from a plurality of original images accumulated for one point.
  • the creation of a clean image may be executed by erasing other vehicles and moving objects such as pedestrians from the original image.
  • the creation of a clean image can be performed by the operator processing and correcting the original image. In such manual processing, an operation of creating a clean image based on a plurality of original images accumulated for the target point is executed.
  • the creation of a clean image can be performed by an image processing program that automatically generates one or a plurality of clean images based on a plurality of original images.
  • the clean image generation process includes selection of a basic image, recognition of a moving object in the basic image, selection of another original image that can provide a background image for erasing the moving object, and comparison with other original images of the basic image Multiple steps such as synthesis are included.
  • the image is temporarily stored in the memory device 3b both in the manual processing and in the automation processing by the image processing program.
  • the selection of the basic image can be executed by selecting an original image that clearly shows the difficult point from a plurality of original images. For example, an original image whose shooting position is within a predetermined range from a difficult point, for example, a reference point of a difficult intersection can be selected as a basic image. In addition, an original image that satisfies a predetermined condition set based on the width of a road connected to a difficult intersection can be selected as a basic image. Recognition of the moving body in the basic image can be executed based on a preset reference shape indicating a vehicle or a pedestrian.
  • the selection of other original images can be executed by selecting an original image similar to the basic image. For example, an original image whose shooting position is within a predetermined range from the shooting position of the basic image can be selected as another original image.
  • attention is paid to characteristic objects in the image for example, the position and shape of road signs, and an original image in which they are reflected in the same manner as the basic image can be selected as another original image.
  • a stop line or a pedestrian crossing can be used.
  • correction processing such as correction based on the shooting position and shadow correction based on the date and time is executed.
  • the correction based on the shooting position can include a correction in the left-right direction based on the difference in the traveling lane at the time of shooting the original image.
  • the correction based on the photographing position can include correction in the height direction based on the height difference of the camera 5d.
  • a clean image in which at least one moving object is deleted is generated by combining another original image portion with the basic image so that the moving object is deleted from the basic image.
  • Step 1144 provides a creation unit that creates a clean image in which at least a part of another vehicle and / or a moving object such as a pedestrian is deleted from one original image.
  • the clean image is created as an image for supporting driving at a difficult point.
  • the creation unit creates a clean image based on a plurality of original images.
  • the creating unit synthesizes a plurality of original images based on the shooting conditions attached to each original image.
  • the creation unit creates a clean image from which the moving object is erased by synthesizing the partial images of the other original images within a range in which the moving object is reflected in one original image. Therefore, even if the moving body is deleted, an image close to an actual scene is provided.
  • step 1145 the clean image is distributed from the center apparatus 3 to the vehicle apparatus 5.
  • Step 1145 provided in the center device 3 provides a distribution unit that distributes the clean image to the vehicle device 5.
  • the delivery of the clean image can be executed toward a plurality of vehicles 4.
  • the delivery of the clean image can be executed in response to a request from the vehicle 4.
  • the arrangement of the clean image may be executed for the vehicle 4 that is about to reach one difficult point.
  • step 1136 the vehicle device 5 receives a clean image.
  • Step 1136 provides a vehicle receiver that receives the clean image distributed from the distributor and stores it in the memory device 5b.
  • the vehicle device 5 provides a clean image to the driver.
  • a clean image is displayed on the display 5e.
  • the vehicle device 5 uses a clean image for route guidance. For example, the vehicle device 5 displays a clean image on the display 5e before the vehicle 4 reaches a difficult point.
  • a guidance symbol can be displayed on the clean image.
  • the guide symbol is an arrow indicating a route or a multi-headed arrow indicating a plurality of branching directions that can be selected in the branch path.
  • An image including a clean image and a guidance symbol can be called a guidance image.
  • the guide symbol can be synthesized on the clean image in the vehicle device 5.
  • the guide symbol may be synthesized on the clean image in the center device 3.
  • the clean image and the guidance image are images for driving support.
  • Steps 1131, 1134, 1141, 1144, 1145, and 1136-1137 provide a providing unit that provides an image for supporting driving at the difficult point based on the original image taken at the difficult point.
  • the providing unit is provided by at least step 1144, step 1145, step 1136, and step 1137.
  • Step 1137 provides a display unit for displaying the clean image stored in the memory device 5b on the display 5e when traveling through the difficult point.
  • Step 1130 including steps 1131-1137 and 1141-1145 provides an image distribution process for providing an image for supporting driving at the difficult point based on the original image taken at the difficult point.
  • the sign display process provided in step 1124 or the image distribution process provided in step 1130 provides a utilization unit that uses the image taken in step 1123.
  • FIG. 18 shows a setting process 1180 for setting the noise amount NS for one image based on the state of the wiper 4b.
  • the setting process 1180 provides step 1123b.
  • step 1181 it is determined whether the state of the wiper 4b is activated (ON) or not activated (OFF).
  • the ON / OFF state of the wiper 4b can be determined based on a signal indicating the state of the wiper switch operated by the driver or the operating state of the wiper motor 4c. Further, the ON / OFF of the wiper 4b may be determined based on whether or not a shadow corresponding to the wiper 4b appears in the image at a predetermined cycle. If the wiper 4b is inactive, the process proceeds to step 1182. If the wiper 4b is in operation, the process proceeds to step 1183.
  • step 1182 the noise amount NS of the image is set to the minimum value 0. This is because when the wiper 4b is inactive, it can be determined that it is not raining. Even if the wiper 4b is not operated, a sensor for detecting rain may be provided, and if it is raining, the process may proceed to step 1183.
  • step 1183 it is determined whether or not the wiper 4b is shown in the image. If the wiper 4b is not present in the image, the process proceeds to step 1184. If the wiper 4b is present in the image, the process proceeds to step 1186.
  • step 1184 the elapsed time TWP after the wiper 4b passes through the photographing range VR of the camera 5d is measured.
  • the fact that the wiper 4b has passed the shooting range VR of the camera 5d can be determined based on the disappearance of the shadow corresponding to the wiper 4b from the image or the operating position of the wiper 4b.
  • the elapsed time TWP can be given by a sawtooth wave having a period corresponding to the speed of the wiper 4b.
  • the noise amount NS is set based on a predetermined function fw (TWP) using the elapsed time TWP as a variable.
  • the function fw (TWP) sets the noise amount NS in proportion to the elapsed time TWP.
  • the function fw (TWP) has a characteristic of increasing the noise amount NS as the elapsed time TWP increases.
  • the function fw (TWP) sets the noise amount NS between the minimum value 0 and the maximum value 1.0.
  • the function fw (TWP) is set so that the noise amount NS is not less than a predetermined value NL higher than the minimum value 0. In this step, it is considered that rain or snow is falling because the wiper 4b is operating. In such a case, since there is a possibility that a water film or thin ice is attached to the outer surface of the windshield 4a, the noise amount NS is set to a predetermined value NL higher than the minimum value 0.
  • the noise amount NS set by the function fw (TWP) is set such that when the elapsed time TWP exceeds a predetermined time threshold value Tth, the noise amount NS exceeds the predetermined threshold value Nth. This is because when the elapsed time TWP exceeds the time threshold value Tth, the amount of raindrops LD or snowflakes becomes excessive and the image becomes unusable.
  • the function fw (TWP) sets the noise amount NS to the maximum value 1.0 when the elapsed time TWP exceeds a predetermined upper limit value TM. This is because if the elapsed time TWP exceeds the upper limit TM, the image becomes unclear due to the large amount of raindrops LD.
  • the function fw (TWP) can have a characteristic that the increase in the noise amount NS increases as the speed of the wiper 4b increases.
  • the function fw (TWP) can have a plurality of characteristics that are switched according to the operation mode of the wiper 4b, for example, the high speed mode or the low speed mode.
  • the driver adjusts the speed of the wiper 4b higher as the amount of rain increases. Therefore, the faster the speed of the wiper 4b, the faster the raindrop LD increases.
  • the function fw (TWP) is given a solid line characteristic.
  • the function fw (TWP) is given the characteristics of a one-dot chain line.
  • step 1186 the noise amount NS of the image is set to the maximum value 1.0. This is because when the wiper 4b is shown in the image, the image is considered unusable.
  • Steps 1181 and 1182 provide an operation determination unit that determines the operation or non-operation of the wiper 4b in order to acquire the state of the wiper 4b.
  • the identification unit provided in step 1123c identifies an image captured when it is determined that the wiper 4b is not operating as an available image.
  • the wiper 4b When the wiper 4b is inactive, the wiper 4b does not appear in the image.
  • Steps 1184 and 1185 provide a time determination unit that determines whether or not the elapsed time TWP after the wiper 4b has passed the imaging range VR exceeds a predetermined time threshold value Tth in order to acquire the state of the wiper 4b. .
  • the identification unit provided in step 1123c identifies an image captured when the elapsed time TWP does not exceed the time threshold Tth as an available image, and the image captured when the elapsed time TWP exceeds the time threshold Tth. Identify as unavailable image. According to this configuration, an available image and an unusable image are identified according to the amount of raindrops or snowflakes that increase after the wiper 4b passes.
  • Steps 1183 and 1186 provide an image determination unit that determines whether or not the wiper 4b is shown in the image in order to acquire the state of the wiper 4b.
  • the identification unit provided in step 1123c identifies the image in which the wiper 4b is captured as an unusable image.
  • a clear image can be obtained when it is not raining or snowing.
  • the noise amount NS of the image is set to the minimum value 0.
  • the noise amount NS does not exceed the threshold value Nth.
  • the image is identified as an available image and provided and used in steps 1124, 1130.
  • Steps 1124 and 1130 provide an image utilization unit. In steps 1124 and 1130, processing for assisting driving is provided based on the clear image.
  • the driver activates the wiper 4b.
  • the wiper 4b When the wiper 4b is activated, the wiper 4b may appear in the image.
  • the noise amount NS of the image is set to the maximum value 1.0. Therefore, the image showing the wiper 4b is identified as an unusable image and is not provided to steps 1124 and 1130. Thus, uncertain processing due to the wiper 4b is avoided.
  • the number of raindrops LD or snowflakes that appear in the image fluctuates periodically like a sawtooth wave. Therefore, immediately after the wiper 4b passes through the shooting range VR of the camera 5d, a clear image that can be used is obtained. However, after the wiper 4b passes through the shooting range VR of the camera 5d, when a predetermined time threshold elapses, raindrops LD or snowflakes cover a large range of the shooting range VR, and an unusable image is obtained. As the elapsed time TWP after the wiper 4b passes becomes longer, the noise amount NS is set higher. Therefore, the noise amount NS corresponding to the number of raindrops LD or the number of attached snowflakes is set.
  • the image is identified as an available image and provided to steps 1124 and 1130.
  • steps 1124 and 1130 a process for assisting driving is provided based on a relatively clear image that does not exceed the threshold value Nth.
  • the noise amount NS exceeds the threshold value Nth, the image is identified as an unusable image and is not provided to steps 1124 and 1130. Thus, uncertain processing due to raindrops LD or snowflakes is avoided.
  • FIG. 19 shows the setting process 1280 of this embodiment.
  • the process proceeds to step 1186.
  • the image may be deteriorated due to the wiper 4b, the raindrop LD, or the snowflake.
  • steps 1124, 1130 By branching directly from step 1181 to step 1186, images that may be degraded are not provided to steps 1124, 1130. Therefore, use of an image that may be degraded is avoided.
  • the setting process 1280 provides an acquisition unit.
  • the acquisition unit includes an operation determination unit that determines the operation or non-operation of the wiper 4b in order to acquire the state of the wiper 4b.
  • the identification unit provided in step 1123c identifies the image captured when it is determined that the wiper 4b is not operating as an available image, and the image captured when the operation of the wiper 4b is determined. Identify as unavailable image.
  • control device can be provided by software only, hardware only, or a combination thereof.
  • control device may be configured by an analog circuit.
  • step 1124 is executed only in the vehicle device 5 has been described. Instead, a part of step 1124 may be executed in the center device 2.
  • the sign image may be collected in the memory device 3b of the center device 3, and the latest and high-quality sign image may be distributed from the collected image to the vehicle device 5 and displayed.
  • Step 1130 the configuration in which the center device 3 and the vehicle device 5 execute a plurality of steps included in Step 1130 in a distributed manner has been described. Instead of this, sharing of processing different from the above-described embodiment may be adopted. For example, part or all of step 1131 may be executed in the center device 3. Further, some or all of steps 1141, 1144, and 1145 may be executed in vehicle device 5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)

Abstract

 車両用ナビゲーションシステムは、所定の地点において撮影されたから原画像(RV1、RV2)を取得する取得部(141-142)と、前記原画像から他の車両または歩行者である移動体の少なくとも一部を消去したクリーン画像(CV)を、前記地点における運転を支援するための画像として作成する作成部(144)とを備える。これによって、他の移動体に起因する影響が抑制され、運転者が理解しやすい画像を提供できる。

Description

車両用ナビゲーションシステムおよび車両用撮影装置 関連出願の相互参照
 本開示は、2012年10月3日に出願された日本出願番号2012-221645号と、2012年10月3日に出願された日本出願番号2012-221646号に基づくもので、ここにその記載内容を援用する。
 本開示は、道路走行車両にナビゲーションのための画像を提供する車両用ナビゲーションシステム、および、車両のウインドシールドを通して外部の光景を撮影した画像を提供する車両用撮影装置に関するものである。
 特許文献1は、間違いやすい分岐点における動画を複数の車両から収集し、その間違いやすい分岐点を走行する車両に提供するナビゲーションシステムを開示する。
 従来技術によって再生される動画には、道路上の他の車両、歩行者などの多くの移動物が写っている。これらの移動物は、動画が再生されるときには、同じ位置には存在しない。このため、他の車両によって撮影された動画を再生するだけでは、運転者の理解を助けることが困難な場合があった。このような観点から、車両用ナビゲーションシステムにはさらなる改良が求められている。
 特許文献2は、カメラによって車両の前方の光景を撮影し、得られた画像を利用して、運転を支援する装置を開示する。
 車両の外部の光景を撮影する場合、カメラを保護するために車両のウインドシールドを通して撮影することが好ましい。ところが、雨が降っている場合、または雪が降っている場合には、ウインドシールドの外面に付着する雨滴または雪片がカメラの視界を部分的にさえぎることがある。このような場合に得られる画像は外部の光景を正確に反映していない。このため、雨または雪の中で得られた画像は、運転支援に利用できない場合がある。
 別の観点では、道路走行車両、船舶などの車両においては、ウインドシールドに雨滴を拭き取るためのワイパが設けられている。このワイパも、カメラの視界を部分的にさえぎることがある。ワイパ自身が写り込んだ画像は、運転支援に利用できない場合がある。
 さらに、ワイパは、所定の間隔で雨滴または雪片を拭き取るから、カメラの視界を遮る雨滴または雪片の量が周期的に変化する。この場合、画像の中に含まれる雨滴または雪片の量が周期的に変動する。このような変動は、運転支援に利用できる画像と、運転支援に利用できない画像とを生み出す。
 このような観点から、車両用画像撮影装置にはさらなる改良が求められている。
特開2008-185394号公報 特許第3984863号公報
 本開示は、運転者が理解しやすい画像を提供できる車両用ナビゲーションシステムを提供することを目的とする。本開示は、他の移動体に起因する影響が抑制された画像を提供できる車両用ナビゲーションシステムを提供することを他の目的とする。
 本開示は、画像に写るノイズ要素の量が多い画像の利用を抑制することができる車両用撮影装置を提供することを他の目的とする。また、本開示は、ワイパに関連するノイズ要素の量が多い画像の利用を抑制することができる車両用撮影装置を提供することを他の目的とする。
 本開示の第一の態様において、車両用ナビゲーションシステムは、所定の地点において撮影されたから原画像を取得する取得部と、前記原画像から他の車両または歩行者である移動体の少なくとも一部を消去したクリーン画像を、前記地点における運転を支援するための画像として作成する作成部とを備える。
 上記の車両用ナビゲーションシステムにおいて、所定の地点において撮影された原画像から、その地点における走行を支援するための画像が作成される。よって、その地点における実際の風景に基づいて運転支援用の画像が提供される。しかも、原画像から、他の車両および/または歩行者などの移動体の少なくとも一部を消去したクリーン画像が作成される。よって、移動体に起因する分かり難さが軽減される。この結果、他の移動体に起因する影響が抑制され、運転者が理解しやすい画像を提供できる。
 本開示の第二の態様において、車両のウインドシールドを通して撮影された画像を画像利用部に提供する車両用撮影装置は、前記ウインドシールドの外面を払拭するワイパの状態を取得する取得部と、前記ワイパの状態に基づいて、前記画像が、前記画像利用部によって利用可能な画像であるか、利用不可能な画像であるかを識別する識別部とを備える。
 上記の車両用撮影装置において、画像は、ウインドシールドを通して撮影される。画像は、画像利用部によって利用される。ウインドシールドの外面は、ワイパによって払拭される。ワイパは、ウインドシールドの外面に付着した雨滴または雪片を払拭する。ワイパが作動しているとき、ワイパそれ自身が画像に写り込むことにより、または、ワイパが払拭する前の雨滴または雪片が画像に写り込むことにより、画像の品質は低下する。この結果、ワイパの状態に関連して、利用に適さない画像が発生することがある。識別部は、ワイパの状態に基づいて、画像利用部によって利用可能な画像であるか、利用不可能な画像であるかを識別する。この結果、品質が低下した画像の利用が抑制される。
 本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、本開示の第1実施形態に係るシステムを示すブロック図であり、 図2は、第1実施形態のセンタ装置を示すブロック図であり、 図3は、第1実施形態の車両装置を示すブロック図であり、 図4は、第1実施形態の制御処理を示すフローチャートであり、 図5は、第1実施形態の制御処理を示すフローチャートであり、 図6は、第1実施形態の制御処理を示すフローチャートであり、 図7は、第1実施形態の制御処理を示すフローチャートであり、 図8は、第1実施形態の原画像の一例を示す平面図であり、 図9は、第1実施形態の原画像の一例を示す平面図であり、 図10は、第1実施形態のクリーン画像の一例を示す平面図であり、 図11は、第1実施形態の案内画像の一例を示す平面図であり、 図12は、第2実施形態のカメラとワイパとの配置を示す正面図であり、 図13は、第2実施形態の画像の一例を示す平面図であり、 図14は、第2実施形態の画像の一例を示す平面図であり、 図15は、第2実施形態の画像の一例を示す平面図であり、 図16は、第2実施形態の画像の一例を示す平面図であり、 図17は、第2実施形態の制御処理を示すフローチャートであり、 図18は、第2実施形態の有効度処理を示すフローチャートであり、 図19は、第3実施形態の有効度処理を示すフローチャートである
 以下に、図面を参照しながら開示された開示を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。また、後続の実施形態においては、先行する実施形態で説明した事項に対応する部分に百以上の位だけが異なる参照符号を付することにより対応関係を示し、重複する説明を省略する場合がある。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。
 (第1実施形態)
 図1に図示されるように、開示を開示する第1実施形態は、車両用ナビゲーションシステム1である。車両用ナビゲーションシステム1は、配信センタ2と、複数の車両3とによって構築されている。配信センタ2には、センタ装置(CNTRD)3が設けられている。車両4には、車両装置(ONVHD)5が設けられている。センタ装置3と車両装置5との間にはデータ通信のための通信システム6が設けられている。センタ装置3と複数の車両装置5とは、通信システム6を介してデータ通信可能に接続されている。通信システム6は、無線電話回線、インターネットなどのネットワークを含むことができる。センタ装置3と車両装置5とは、車両用ナビゲーションシステム1を構成する。
 センタ装置3は、複数の車両装置5に向けて案内のための画像を配信する。配信される画像は、静止画、または動画である。複数の車両装置5は、配信された画像を受信する。それぞれの車両装置5は、車両4に搭載されたナビゲーション装置によって提供することができる。ナビゲーション装置は、配信された画像を表示することにより、運転者に画像を提供し、運転者の運転を支援する。複数の車両装置5は、それらが搭載された車両4において撮影された画像をセンタ装置3に送信する。センタ装置3は、複数の車両装置5から送信された画像を収集し、加工することによって、配信用の画像を作成する。車両用ナビゲーションシステム1は、複数の車両装置5から収集された画像を加工し、加工された画像を配信する。
 図2に図示されるように、センタ装置3は、センタ処理装置(CTCPU)3a、およびメモリ装置(MMR)3bを備える。メモリ装置3bは、データを格納する記憶装置である。センタ処理装置3aとメモリ装置3bとは、マイクロコンピュータを構成する。センタ装置3は、通信システム6との接続を提供するための通信機(COMM)3cを備える。
 図3に図示されるように、車両装置5は、車両処理装置(VHCPU)5a、およびメモリ装置(MMR)5bを備える。メモリ装置5bは、データを格納する記憶装置である。車両処理装置5aとメモリ装置5bとは、マイクロコンピュータを構成する。車両装置5は、通信システム6との接続を提供するための通信機(COMM)5cを備える。車両装置5は、車両4の周囲の画像を撮影するためのカメラ(VHCAM)5dを備える。カメラ5dは、車両の前方の画像を撮影する。カメラ5dは、静止画、または動画を撮影可能である。カメラ5dは、車両4の前方の風景を撮影することにより原画像を供給する。車両装置5は、車両用画像撮影装置を提供する。車両装置5は、表示器(DSP)5eを備える。
 車両装置5は、複数の検出器5fを備える。複数の検出器5fは、ナビゲーション装置として必要なセンサを含む。例えば、複数の検出器5fは、車両4の現在位置を検出するための衛星測位装置を含むことができる。複数の検出器5fは、車両4の挙動を検出するためのセンサを含む。例えば、複数の検出器5fは、車両4の走行速度を検出する速度センサ、およびブレーキ装置の操作を検出するブレーキセンサを含むことができる。複数の検出器5fは、運転者の挙動を検出するためのセンサを含む。例えば、運転者の顔を撮影する室内カメラ、運転者の声を検出するマイク、および運転者の心拍を検出する心拍センサを含むことができる。
 車両装置5は、車両4に搭載されたナビゲーション装置である。車両装置5は、表示器5eに地図を表示するとともに、地図上に車両4の位置を表示する。さらに、車両装置5は、車両4の利用者からの要求に応答して、現在地点から目的地点までの経路案内を実行する。車両装置5は、現在地点から目的地点までの経路を設定する手段を備える。車両装置5は、表示器5eに表示された地図上に、設定された経路を表示するとともに、運転者が車両を経路に沿って走行させるように、表示または音声によって支援を提供する。
 センタ装置3と車両装置5とは、電子制御装置(ECU:Electronic Control Unit)である。ECUは、処理装置と、プログラムを記憶する記憶媒体としてのメモリ装置とを有する。ECUは、コンピュータによって読み取り可能な記憶媒体を備えるマイクロコンピュータによって提供される。記憶媒体は、コンピュータによって読み取り可能なプログラムを非一時的に格納している。記憶媒体は、半導体メモリまたは磁気ディスクによって提供されうる。プログラムは、ECUによって実行されることによって、ECUをこの明細書に記載される装置として機能させ、この明細書に記載される制御方法を実行するようにECUを機能させる。ECUが提供する手段は、所定の機能を達成する機能的ブロック、またはモジュールとも呼ぶことができる。
 図4は、車両用ナビゲーションシステム1が提供するリアルビューナビゲーションに関連するリアルビュー処理120を示すフローチャートである。リアルビューナビゲーションにおいては、先行車両によって撮影された画像が、後続車両に提供される。しかも、先行車両によって撮影された画像から、他の車両、さらに望ましくは歩行者などの移動体が消去されたクリーン画像が後続車両に配信される。クリーン画像を作成するために、複数の先行車両から原画像が収集される。また、リアルビューナビゲーションにおいては、その車両の前方の風景から、運転を支援するために有用な情報を含む範囲が切り出され、車内の表示器5eに表示される。リアルビュー処理120には、センタ装置3によって実行されるセンタ装置処理121と、車両装置5によって実行される車両装置処理122とが含まれている。それぞれのステップは、その機能を提供する処理手段または処理部として見ることができる。
 ステップ123では、車両4の前方の画像が撮影される。ステップ123には、カメラ5dによって撮影される複数の画像から利用可能な画像のみを選択する選択処理を含むことができる。例えば、車両のウインドシールドに付着した雨滴を除去するためのワイパを写った画像を廃棄する選択処理を含むことができる。
 ステップ124では、車両4の前方に出現した道路標識を表示器5eに表示する処理が実行される。この処理では、カメラ5dによって撮影された画像から、道路標識が認識される。例えば、前方の交差点の行き先を表示する標識が認識される。さらに、この処理では、原画像から、道路標識に対応する部分画像が切り出され、切り出された画像が表示器5eに拡大表示される。これにより、運転者による道路標識の認識を支援することができる。
 ステップ131では、車両4が難解地点を走行したことが判定される。難解地点は、運転者が道路構造または進路を理解することが困難な道路上の地点である。難解地点は、難解な交差点、すなわち分岐点を含むことができる。難解地点は、分岐数が多い分岐点、または分岐角度が特殊な分岐点を含むことができる。このような交差点は、難解交差点とも呼ばれる。また、車両4の目的地となりうる地点の入口、駐車場の入口など、道路を走行する間に見出すことが困難な地点も、難解地点に含むことができる。判定は、自動的に実行することができる。さらに、運転者が難解地点であると判断した場合に操作されるスイッチを設け、このスイッチからの入力操作に応答して難解地点を判定してもよい。
 通常とは異なる異常な事象が検出された場合に、車両4が難解地点にあると判定することができる。例えば、交差点の場合、運転者が進行方向の選定を迷ったことを検出することにより、難解交差点であるか否かを判定することができる。運転者が進行方向の選定を迷ったことは、車両4または運転者の挙動によって判定することができる。車両4の挙動には、運転者が車両4に加えた運転操作、車両4の状態、車両4の加速度、および減速度を含むことができる。
 難解地点は、運転者が車両4に加えた運転操作、または車両4の挙動に基づいて判定することができる場合がある。難解地点を示す車両挙動の一例は、交差点など候補地点を示す候補範囲内における急減速、すなわち急ブレーキ操作である。他の一例は、候補範囲内における徐行状態である。他の一例は、候補範囲内における停止である。さらに他の一例は、候補範囲内における蛇行操舵である。さらに、減速と蛇行操舵といった複数の車両挙動の組み合わせによって難解地点を判定してもよい。
 難解地点を判定するために、観測された車両の挙動と、予め設定された基準挙動とが比較される。観測された車両挙動が基準挙動を逸脱している場合に、その地点は難解地点であると判定することができる。基準挙動は、難解地点において多くの車両にあらわれる挙動に基づいて予め設定することができる。基準挙動は、標準挙動とも呼ぶことができる。基準挙動は、特定の運転者の個性に適合するように調整することができる。このような調整は、手動の調節により、または後述の学習処理によって提供することができる。
 難解地点は、運転者の挙動に基づいて判定することができる場合がある。例えば、運転者の体の動き、声、心拍などの挙動に基づいて、運転者が難解な地点を走行したか否かを判定することができる。具体的には、顔にあらわれる表情、目の動き、頭の動きを利用できる。また、運転者が経路を間違えたときに出す声を利用できる。より具体的には、「あっつ!」、「しまった!」、「間違えた!」、「あれ?」といった声を利用できる。また、心拍数の急激な変化を利用することができる。
 難解地点を判定するために、観測された運転者の挙動と、予め設定された基準挙動とが比較される。観測された運転者挙動が基準挙動を逸脱している場合に、その地点は難解地点であると判定することができる。基準挙動は、難解地点において多くの運転者が示す挙動に基づいて予め設定することができる。基準挙動は、標準挙動とも呼ぶことができる。基準挙動は、特定の運転者の個性に適合するように調整することができる。このような調整は、手動の調節により、または後述の学習処理によって提供することができる。
 難解地点は、車両4が経路案内のための予定された設定経路から離脱したことに基づいて判定することができる場合がある。車両装置5によって経路案内を実行しているときに、車両4が交差点において経路から離脱した場合、その交差点は難解交差点である可能性がある。
 ステップ131は、運転者が道路構造または進路を理解することが困難な道路上の難解地点を判定する判定部を提供する。判定部は、車両の挙動、および/または運転者の挙動と基準との比較に基づいて難解地点を判定する。難解地点が自動的に判定されるから、運転支援用の画像を自動的に提供できる。
 ステップ132では、難解地点を撮影した画像が原画像として取り出される。この画像は、車両4からカメラ5dによって撮影された生の画像である。原画像は、難解地点に到達する直前にカメラ5dによって撮影された少なくとも1つの静止画像を含む。そのような画像には、難解地点がその道路構造を見ることができるように映っている可能性が高い。原画像は、難解地点に到達する前の所定区間、または難解地点を含む所定区間において撮影された複数の静止画像、または動画とすることができる。原画像は、難解地点を含む所定走行距離または所定走行期間に撮影された複数の静止画像、または動画から選択的に取り出すことができる。
 ステップ133では、原画像に基づいて、ステップ131における難解地点であるとの判定が検証される。この検証は、原画像に写っている地点が難解地点であるか否かを検証する処理でもある。ステップ131における難解地点の判定は、エラーを含む場合がある。ステップ133では、難解地点である可能性が所定値を下回ると、原画像を廃棄し、後続の処理をスキップしてステップ131へ戻る。この処理により、難解地点の判定の正確さを向上することができる。
 難解地点において観測されることがある車両挙動、運転者挙動、経路逸脱などの難解地点を示す事象は、他の原因によっても発生することがある。このような難解地点以外の原因は、その地点において撮影された原画像に写っている可能性がある。難解地点以外の原因を示す事物は、エラー事物と呼ぶことができる。判定部による判定の検証は、原画像の中にエラー事物が写っているか否かを判定することにより実行できる。
 この処理のために、難解地点以外の原因に起因して原画像に写ることがあるエラー事物が予め車両用ナビゲーションシステム1に登録され、記憶される。さらに、原画像を画像処理にすることにより、エラー事物が写っているか否かを判定する。原画像に、エラー事物が写っている場合、ステップ131における判定がエラーであると判定でき、エラー処理を実行することができる。ステップ131における判定がエラーである場合、ステップ132において得られた原画像を破棄することができる。ステップ131における判定がエラーであると判定できない場合、原画像に基づいて難解地点における運転を支援するための画像を提供する提供処理を含む後続の処理が実行される。すなわち、検証部によって判定部による難解地点の判定が正しいことが検証された場合に、後続の提供処理が実行される。検証部は、難解地点の判定が正しいことが検証されない場合に、原画像を廃棄する。検証部によって難解地点の判定が正しいことが検証されない場合、後続の提供処理は実行されない。
 車両挙動または運転者挙動に基づいて難解地点が判定された場合、誤った判定である可能性がある。難解地点において観測されることがある車両挙動または運転者挙動は、他の原因に基づいてもたらされることもあるからである。例えば、交差点における急ブレーキは、難解交差点に起因して発生する場合、前方車両の急ブレーキに起因して発生する場合、歩行者との接近に起因して発生する場合など多くの原因がある。エラー事物の一例は、至近距離における前方車両の急ブレーキを示す所定面積を上回る赤く点灯したブレーキランプである。エラー事物の他の一例は、至近距離における歩行者の存在である。
 ステップ134では、原画像が車両装置5からセンタ装置3へ送信される。ステップ134は、原画像を車両装置5からセンタ装置3へ送信する送信部を提供する。送信される原画像は、ひとつまたは複数である。ステップ134では、ひとつの難解地点の画像、または複数の難解地点の画像を送信することができる。
 車両4におけるカメラ5dの設置位置は、複数の車両4毎に異なる場合がある。また、カメラ5dの機種は、複数の車両4ごとに異なる場合がある。ステップ134において送信される画像には、カメラ5dの機種、位置、撮影範囲などの撮影条件に関する情報が付加されている。撮影条件には、撮影時の走行車線、日時などの情報を含ませることができる。このような情報は、複数の車両4毎の原画像の差を認識し、画像を修正するために利用される。
 原画像が撮影されたときの車両4の位置は、複数の車両4それぞれにおいて異なる場合がある。ステップ134において送信される画像には、撮影位置を示す情報が付加されている。例えば、原画像の撮影位置と、交差点の中心点など基準となる地点との間の距離を示す情報が付加される。このような情報は、複数の車両4毎の原画像の差を認識し、画像を修正するために利用される。
 ステップ134の処理は、難解地点の存在およびその位置をセンタ装置3に通報する処理でもある。この処理により、センタ装置3は、難解地点の存在を知ることができる。さらに、センタ装置3は、難解地点の存在の通報に応答して、難解地点において運転者を支援するための支援情報を後続の他の車両4に対して提供する処理を実行することができる。
 ステップ135では、ステップ131における難解地点を判定するための基準を修正するための学習処理が実行される。ステップ135は、難解地点において観測された車両の挙動、および/または運転者の挙動に基づいて、基準を修正する学習部を提供する。ステップ135では、難解地点である可能性が所定水準を上回る場合を検出し、その場合に観測された車両挙動、または運転者挙動に基づいて、難解地点を示す基準が修正される。難解地点を示す基準は、閾値、または難解地点に相当する挙動そのものによって与えられる。交差点で分岐先を迷った場合に観測される車両挙動および運転者挙動は、運転者それぞれに依存する。この処理により、難解地点の判定の正確さを向上することができる。
 基準の修正の一例は、センサによって観測された挙動と、所定の基準値とを比較し、その結果によって難解地点が示される場合によって説明される。例えば、所定の基準値を上回る大きい挙動が検出された場合に難解地点であると判定する場合である。このような場合、難解地点である可能性が高い場合に観測された挙動に基づいて、基準値が修正される。
 一例においては、難解地点において観測されたブレーキ操作量に基づいて、難解地点を判定するためのブレーキ操作量の基準値が修正される。観測されたブレーキ操作量が、現在の基準値より小さい場合、基準値は、現在の値より小さくなるように修正される場合がある。観測されたブレーキ操作量が、現在の基準値より大きい場合、基準値は、現在の値より大きくなるように修正される場合がある。
 他の一例においては、難解地点において観測された蛇行操舵の操舵幅に基づいて、難解地点を判定するための操舵幅の基準値が修正される。観測された操舵幅が、現在の基準値より小さい場合、基準値は、現在の値より小さくなるように修正される場合がある。観測された操舵幅が、現在の基準値より大きい場合、基準値は、現在の値より大きくなるように修正される場合がある。
 他の一例においては、難解地点において観測された運転者の脈拍変化量に基づいて、難解地点を判定するための脈拍変化量の基準値が修正される。観測された脈拍変化量が、現在の基準値より小さい場合、基準値は、現在の値より小さくなるように修正される場合がある。観測された脈拍変化量操舵幅が、現在の基準値より大きい場合、基準値は、現在の値より大きくなるように修正される場合がある。
 基準の修正の他の一例は、難解地点である可能性が高い場合に観測された運転者挙動を、その運転者に特有の「難解地点を示す基準」として設定する場合である。一例においては、難解地点において観測された運転者の声が、難解地点を判定するための基準の声として設定されるように基準が修正される。ある運転者は難解地点において「しまった!」と発声し、他の運転者は難解地点において「おー!」と発声する場合がある。このような運転者の個性に適合した基準を設定するために、前者の場合には「しまった!」を基準として設定し、後者の場合には「おー!」を基準として設定することができる。
 ステップ141では、センタ装置3は、複数の車両装置5から送信された原画像を受信する。ステップ142では、受信された原画像がメモリ装置3bに蓄積される。ここでは、地点ごとに原画像が蓄積される。ひとつの地点に関して、異なる複数の原画像を蓄積することができる。
 ステップ141とステップ142とは、所定の地点、すなわち難解地点において撮影された原画像を取得する取得部を提供する。取得部は、それぞれの原画像の撮影条件を示す情報を取得する。取得部は、ステップ141によって提供され、送信部から送信された原画像を受信するセンタ受信部を含む。取得部は、ステップ142によって提供され、複数の原画像を蓄積する蓄積部を含む。
 ステップ143では、センタ装置3において、原画像が示す地点が、クリーン画像を提供すべき難解地点として妥当であるか否かを確認する処理が実行される。この確認処理は、オペレータが原画像を見て、判定を下すことによって実施することができる。また、この確認処理には、ひとつの地点に関して、所定の閾値を上回る複数の原画像が蓄積されているか否かの判定を含むことができる。この判定が肯定的である場合、多数の車両4において難解地点であるとの判定がなされたことを示している。この場合、その地点を難解地点であると扱って、後述のクリーン画像を提供することが望ましいと考えられる。ステップ143において難解地点としての妥当性が肯定された場合に、ステップ144が実行される。ステップ143において難解地点としての妥当性が否定された場合には、その地点に関するステップ144の実行は先送りされる。
 ステップ143は、原画像が撮影された地点が、クリーン画像を作成すべき地点として妥当であることを確認する確認部を提供する。確認部は、妥当であると確認した場合に、作成部によるクリーン画像の作成を許容する。確認部は、所定の閾値を越える数の原画像が蓄積された場合に、クリーン画像を作成すべき地点として妥当であることを確認する。
 ステップ144では、原画像に基づいてクリーン画像が作成される。ステップ144では、他の車両および歩行者などの移動体が写っていない難解地点のクリーン画像が作成される。クリーン画像の作成は、ひとつの地点に関して蓄積された複数の原画像から、移動体が写っていない原画像を選択する処理により実行できる場合がある。また、クリーン画像の作成は、原画像から他の車両および歩行者などの移動体を消去することにより実行される場合がある。
 クリーン画像の作成は、オペレータが原画像を加工し、修正することによって実施することができる。このようなマニュアル処理においては、対象地点に関して蓄積された複数の原画像に基づいてクリーン画像を作成する作業が実行される。また、クリーン画像の作成は、複数の原画像に基づいてひとつまたは複数のクリーン画像を自動的に生成する画像処理プログラムによって実施することができる。
 クリーン画像の生成工程には、基礎画像の選定、基礎画像における移動体の認識、移動体を消去するための背景画像を提供できる他の原画像の選定、および基礎画像の他の原画像との合成といった複数の工程が含まれる。マニュアル処理においても、画像処理プログラムによる自動化処理においても、画像はメモリ装置3bに一時的に記憶される。
 基礎画像の選定は、複数の原画像から、難解地点をわかりやすく示す原画像を選定することによって実行できる。例えば、撮影位置が、難解地点、例えば難解交差点の基準点から所定の範囲にある原画像を、基礎画像として選定することができる。また、難解交差点に接続している道路の幅員に基づいて設定される所定の条件を満たす原画像を、基礎画像として選定することができる。基礎画像における移動体の認識は、車両または歩行者を示す予め設定された基準形状に基づいて実行することができる。
 他の原画像の選定は、基礎画像と類似の原画像を選定することによって実行できる。例えば、撮影位置が基礎画像の撮影位置から所定範囲内である原画像を、他の原画像として選定することができる。また、画像内における特徴的な物、例えば道路標識の位置、形状に注目し、それらが基礎画像と同じように映っている原画像を、他の原画像として選定することができる。具体的には、停止線、または横断歩道を利用することができる。また、交差点内の範囲を認識する画像処理を利用してもよい。
 基礎画像と他の画像(部分)との合成においては、撮影位置に基づく補正、日時に基づく影の補正といった補正処理が実行される。撮影位置に基づく補正には、原画像の撮影時における走行車線の違いに基づく左右方向の補正を含むことができる。撮影位置に基づく補正には、カメラ5dの高さの差に基づく高さ方向の補正を含むことができる。基礎画像に移動体を消すように、他の原画像の部分を基礎画像に合成することにより、少なくともひとつの移動体が消去されたクリーン画像が生成される。
 ステップ144は、ひとつの原画像から他の車両および/または歩行者などの移動体の少なくとも一部を消去したクリーン画像を作成する作成部を提供する。クリーン画像は、難解地点における運転を支援するための画像として作成される。作成部は、複数の原画像に基づいてクリーン画像を作成する。この作成部は、それぞれの原画像に付属の撮影条件に基づいて複数の原画像を合成する。作成部は、ひとつの原画像における移動体が写っている範囲に、他の原画像における部分画像を合成することにより移動体が消去されたクリーン画像を作成する。よって、移動体を消去しても、実際の風景に近い画像が提供される。
 ステップ145では、クリーン画像がセンタ装置3から車両装置5へ配信される。センタ装置3に設けられたステップ145は、クリーン画像を車両装置5に配信する配信部を提供する。クリーン画像の配信は、複数の車両4に向けて実行することができる。また、クリーン画像の配信は、車両4からの要求に応答して実行することができる。また、クリーン画像の配置は、ひとつの難解地点に到達しようとしている車両4に対して実行されてもよい。
 ステップ136では、車両装置5によって、クリーン画像が受信される。ステップ136は、配信部から配信されたクリーン画像を受信しメモリ装置5bに記憶する車両受信部を提供する。
 ステップ137では、車両装置5によってクリーン画像が運転者に提供される。ここでは、クリーン画像が表示器5eに表示される。車両装置5は、経路案内のためにクリーン画像を利用する。例えば、車両装置5は、車両4が難解地点に到達する前に、クリーン画像を表示器5eに表示する。
 このとき、経路案内が実行されている場合には、クリーン画像の上に案内記号を重ねて表示することができる。案内記号は、経路を示す矢印、または、分岐路において選択可能な複数の分岐方向を示す多頭矢印である。クリーン画像と案内記号とを含む画像は案内画像と呼ぶことができる。案内記号は、車両装置5においてクリーン画像上に合成することができる。案内記号は、センタ装置3においてクリーン画像上に合成してもよい。クリーン画像および案内画像は、運転支援用の画像である。
 ステップ132-134、141-145、および136-137は、難解地点において撮影された原画像に基づいて、難解地点における運転を支援するための画像を提供する提供部を提供している。この実施形態では、少なくともステップ144とステップ145とステップ136とステップ137とにより提供部が提供されている。ステップ137は、難解地点を走行するときにメモリ装置5bに記憶されたクリーン画像を表示器5eに表示する表示部を提供する。
 ステップ131-137、および141-145は、難解地点において撮影された原画像に基づいて、難解地点における運転を支援するための画像を提供する画像配信処理を提供している。この実施形態では、ステップ124が提供する標識表示処理またはステップ131-145が提供する画像配信処理は、ステップ123によって撮影された画像を利用する利用部を提供する。
 図5は、難解地点、例えば難解交差点を判定する処理150を示す。処理150は、ステップ131の一例を示す。処理150は、車両装置5によって実行される。
 ステップ151では、候補地点が抽出される。候補地点は、難解地点になる可能性がある地点である。難解交差点を判定する場合、メモリ装置5bに登録された複数の交差点から、運転者が進行方向を迷いそうな難解な交差点が抽出される。
 ステップ152では、車両4が候補地点に到達したか否かが判定される。ここで否定的に判定される場合、ステップ151へ戻る。肯定的に判定される場合、ステップ153へ進む。
 ステップ153では、候補地点において車両4が経路案内のための設定経路から離脱したか否かが判定される。交差点などにおいて設定経路から離脱した場合、その交差点が難解地点である可能性が高い。ステップ153では、車両4が設定経路から離脱した場合に、候補地点が難解地点であると判定される。
 ステップ154では、候補地点において観測された車両挙動と基準とが比較される。ステップ154では、観測された車両挙動が基準を逸脱したか否かが判定される。観測された車両挙動が基準を逸脱する場合、候補地点が難解地点であると判定される。
 ステップ155では、候補地点において観測された運転者挙動と基準とが比較される。ステップ154では、観測された運転者挙動が基準を逸脱したか否かが判定される。観測された運転者挙動が基準を逸脱する場合、候補地点が難解地点であると判定される。
 ステップ156では、ステップ153-155における判定処理(1)、(2)、(3)のいずれかによって、候補地点が難解地点であることが示されているか否かを判定する。判定処理(1)、(2)、(3)のいずれかひとつによって候補地点が難解地点であることが示されている場合、ステップ132へ進む。ステップ156において否定的に判定される場合、ステップ151へ戻る。
 図6は、難解地点であるとの判定を原画像に基づいて検証する処理160を示す。処理160は、ステップ133の一例を示す。処理150は、車両装置5によって実行される。
 ステップ161では、難解地点の検出原因が車両挙動または運転者挙動であったか否かが判定される。よって、ステップ154またはステップ155において肯定的に判定された場合に、ステップ161において肯定的な判定が得られる。ステップ161において否定的に判定される場合、ステップ134へ進む。ステップ161において肯定的に判定される場合、ステップ162へ進む。
 ステップ162では、原画像においてエラー事物を探索する画像認識処理が実行される。ステップ163では、原画像にエラー事物があるか否かが判定される。ステップ163において否定的に判定される場合、ステップ134へ進む。ステップ163において肯定的に判定される場合、ステップ164へ進む。ステップ164では、ステップ132において得られた原画像を破棄する。その後、ステップ131へ戻る。
 図7は、難解地点を示す基準を学習するための処理170を示す。処理170は、ステップ135の一例を示す。処理170は、車両装置5によって実行される。
 ステップ171では、ステップ153-155における判定処理(1)、(2)、(3)の複数によって、候補地点が難解地点であることが示されているか否かを判定する。判定処理(1)、(2)、(3)の少なくとも2つによって候補地点が難解地点であることが示されている場合、ステップ172へ進む。ステップ171において否定的に判定される場合、ステップ132へ戻る。
 この実施形態では、ステップ131が提供する判定部は、複数の判定処理、すなわちステップ153-155を含む。ステップ171は、難解地点の判定の正しさが所定水準以上の高さであることを判定する判定部を提供する。この結果、学習部は、複数の判定処理の少なくとも2つによって難解地点が判定されている場合に、修正を実行する。
 ステップ172では、難解地点において観測された車両挙動に基づいて、車両挙動のための基準が修正される。ステップ173では、難解地点において観測された運転者挙動に基づいて、運転者挙動のための基準が修正される。ステップ173は、難解地点において観測された運転者の挙動、例えば声を基準に設定する場合がある。
 図8、図9は、それぞれ、原画像の一例を示す。これらの図には、カメラ5dにより撮影された画像が、図示のために簡単化されて図示されている。原画像RV1と原画像RV2とは、同じ交差点を撮影した画像である。原画像RV1は、ひとつの車両4における難解交差点の判定に応答して取得された原画像である。原画像RV2は、他のひとつの車両4における難解交差点の判定に応答して取得された原画像である。原画像RV1と原画像RV2とは、撮影された日時、位置が異なっている。
 原画像RV1、RV2には、交差点の風景が撮影されている。図示されるように、原画像RV1、RV2には、道路標識RSと、風景の一部である建物BDと、風景の一部であるオーバーパスOPとが写っている。この交差点は、面積が広い。このため、向こう側の建物BDが小さく見える。しかも、信号機などの設置物によって視界が遮られている。さらに、オーバーパスOPが広い範囲を覆っており、全体が暗い。これらの原因により、分岐路のそれぞれを認識することが困難である。
 原画像RV1、RV2には、移動体である他の車両VH、および歩行者PDが写っている。このため、原画像RV1、RV2は異なる風景を表している。これらの原画像RV1、RV2を見ただけでは、交差点の形状を正確に認識し、走行するべき分岐路を選択することは容易なことではない。
 図10は、センタ装置3によって合成されたクリーン画像の一例を示す。この図には、カメラ5dで撮影された画像に相当する高精細な画像が、図示のための簡単化されて図示されている。クリーン画像CVは、ステップ144によって合成された画像である。クリーン画像CVには、道路標識RS、および風景の一部である建物BDとオーバーパスOPとが映し出されている。クリーン画像CVには、少なくとも目立つ移動体は写っていない。クリーン画像CVには、背景の建物BDと同一視できるような小さい移動体が写っている場合がある。クリーン画像CVは、原画像RV1、RV2に基づいて合成されたものである。クリーン画像CVは、原画像RV1、RV2と同程度の高精細な画像である。クリーン画像CVは、建物などを模式的なブロックとして示した絵より、写真に近い品質の画像である。
 図11は、車両装置5によって表示器5eに表示される案内画像の一例を示す。表示器5eに表示される案内画像NVは、クリーン画像CVと同程度の高精細な画像である。案内画像NVは、クリーン画像CVと同じ画像品質をもつことができる。案内画像NVには、車両装置5が有する経路案内機能によって経路案内のための案内記号GSが合成されている。図示の例においては、案内記号GSは、複数の分岐路のうちのひとつへ進入するための進行方向を示している。案内記号GSは、センタ装置3において、または車両装置5においてクリーン画像上に合成することができる。
 この実施形態によると、難解地点において撮影された原画像から、その難解地点における走行を支援するための画像が作成される。よって、難解地点における実際の風景に基づいて運転支援用の画像が提供される。
 一例においては、難解地点を通過した先行車両から原画像が提供され、この原画像に基づいて合成されたクリーン画像が後続車両のための案内画像として提供される。クリーン画像は、先行車両から見えた難解地点の風景に基づいて生成されている。このため、後続車両の運転者には、難解地点における実際の見え方に近い案内画像を提供することができる。
 しかも、原画像から、他の車両および/または歩行者などの移動体の少なくとも一部を消去したクリーン画像が作成される。よって、移動体に起因する分かり難さが軽減される。この結果、他の移動体に起因する影響が抑制され、運転者が理解しやすい画像を提供できる。
 (他の実施形態)
 以上、開示された開示の好ましい実施形態について説明したが、開示された複数の開示は上述した実施形態に何ら制限されることなく、種々変形して実施することが可能である。上記実施形態の構造は、あくまで例示であって、開示された複数の開示の技術的範囲はこれらの記載の範囲に限定されるものではない。開示された複数の開示は、実施形態において示された組み合わせに限定されることなく、それぞれ独立して実施可能である。
 例えば、制御装置が提供する手段と機能は、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、制御装置をアナログ回路によって構成してもよい。
 上述の実施形態では、先行して難解地点を通過した複数の車両4によって取得された複数の原画像に基づいて作成されたクリーン画像が、将来に難解地点に到達する後続の他の車両4に提供される場合を説明した。しかし、車両用ナビゲーションシステムにおいては、ひとつの車両4が繰り返して取得した複数の原画像に基づいて作成されたクリーン画像が、同じ車両4に提供される場合もある。
 上述の実施形態では、ステップ131-145を、センタ装置3と車両装置5とで分散的に実行する構成を説明した。これに代えて、上述の実施形態と異なる処理の分担を採用してもよい。例えば、ステップ131-135の一部または全部をセンタ装置3において実行してもよい。また、ステップ141-145の一部または全部を車両装置5において実行してもよい。
 上述の実施形態では、ステップ131-135は、車両4の走行中にリアルタイムで実行される。これに代えて、ステップ131-135は、所定期間にわたる車両4の走行後に実行されてもよい。この場合、車両4の走行中に観測された情報をメモリ装置5bに記憶する処理が付加される。また、ステップ131-135は、記憶された情報に基づいて実行される。
 上記実施形態では、他の車両と歩行者との両方を原画像から消去することによりクリーン画像を作成した。これに代えて、他の車両と歩行者とのいずれか一方だけを原画像から消去してクリーン画像を作成してもよい。
 上述の実施形態では、ステップ124を車両装置5だけにおいて実行する構成を説明した。これに代えて、ステップ124の一部をセンタ装置2において実行してもよい。例えば、標識の画像をセンタ装置3のメモリ装置3bに収集し、収集された画像から、最新かつ高品質な標識の画像を車両装置5に配信して表示してもよい。
 (第2実施例)
 第2実施例に係る車両用ナビゲーションシステム1を説明する。車両用撮影装置は、車両4のウインドシールドを通して撮影された画像を後述の画像利用部に提供する。
 図12は、車両4の前方のウインドシールド4aを前方から見た平面図である。図中には、ウインドシールド4aと、ワイパ4bと、ワイパモータ4cと、カメラ5dとが図示されている。矢印は、図示の状態におけるワイパ4bの移動方向ARを示している。破線で囲まれ、ハッチングが付された範囲は、ワイパ4bの払拭範囲WPを示している。図中には、多数の雨滴LDを簡単化した丸印が図示されている。これら丸印は、ワイパ4bが作動しているときの雨滴LDの付着状態の一例を図示している。雪片も雨滴LDと同様に付着することがある。
 ウインドシールド4aは透明なガラスなど透明な板である。ワイパ4bは、ワイパモータ4cによって駆動される。ワイパ4bは、ウインドシールド4aの外面を払拭する。
 カメラ5dは、車両4の室内に配置されている。カメラ5dは、ウインドシールド4aの背後に配置されている。カメラ5dは、ウインドシールド4aを通して車両4の外側の光景を撮影する。カメラ5dは、車両4の進行方向の前方の光景を撮影する。カメラ5dの撮影範囲VRと、払拭範囲WPとは、少なくとも部分的に重複している。図示の例では、カメラ5dの撮影範囲VRのほぼ全域が払拭範囲WPと重複している。
 ウインドシールド4aの外面上には、雨滴LDが付着する。ワイパ4bは、払拭範囲WPを所定の周期で払拭する。このため、払拭範囲WP内に付着した雨滴LDは、払拭範囲WPの外側より少ない。ワイパ4bは、払拭範囲WP内を往復する。ワイパ4bは、移動方向ARで示されるような払拭ストロークを繰り返す。ワイパ4bの移動方向ARの前方に付着した雨滴LDの数は、ワイパ4bの移動方向の後方に付着した雨滴LDの数より多い。ワイパ4bの移動方向の後方においては、ワイパ4bが通過した直後の範囲には雨滴LDが少ない。ワイパ4bの後方においては、ワイパ4bから離れるほど、付着している雨滴LDの数が徐々に増える。言い換えると、雨滴LDの数は、ワイパ4bが通過した直後に最も少ない。雨滴LDの数は、ワイパ4bが通過した後、時間の経過につれて徐々に増加してゆく。
 カメラ5dの視界にも雨滴LDが付着する。雨滴LDは、カメラ5dにより撮影された画像の中にも写る。しかも、雨滴LDはカメラ5dに近接しており、カメラ5dの焦点よりはるかに手前に位置している。このため、雨滴LDの範囲内では、画像の鮮明さが損なわれる。雨滴LDの範囲内では、前方の光景が認識できない。
 ワイパ4bは、カメラ5dの撮影範囲VRの中を通過することがある。このため、ワイパ4bの一部が画像の中に写ることがある。ワイパ4bは画像の中に大きな影として映る。
 図13-図16は、カメラ5dにより撮影された画像の例を示す。これらの図には、カメラ5dにより撮影された画像が、図示のために簡単化されて図示されている。これらの画像RV10、RV11、RV12、RV13は、同じ交差点を同じ位置から撮影した画像である。画像RV10-RV13には、交差点の光景が写っている。
 図13に図示される画像RV10は雨が降っていないときの画像である。画像には、道路標識RS、光景の一部であるオーバーパスOP、移動体である他の車両VH、および歩行者PDが写っている。
 図14-図16に図示される画像RV11、RV12、RV13は、雨が降っているときの画像である。図中には、雨滴LDが丸印に簡単化されて図示されている。雨滴LDは光を不規則に屈折させ、反射する。このため、雨滴LDの範囲内では、前方の光景が鮮明に見えない。
 図14に図示される画像RV11には、ワイパ4bが写っている。ワイパ4bは、画像の中に平行な2辺で区画された黒い範囲として写る。図示されたワイパ4bは、画像RV11の中を左から右へ移動している。画像RV11の中にワイパ4bが含まれていることは、ワイパ4bの作動を示す信号に基づいて、または画像RV11の中からワイパ4bに対応する黒い領域を認識することによって判定することができる。
 図15に図示される画像RV12は、ワイパ4bが通過した直後の画像である。画像RV12には、少数の雨滴LDだけが写っている。画像RV12には、道路標識RS、オーバーパスOP、他の車両VH、および歩行者PDなどの形状を鮮明に認識することができる。
 図16に図示される画像RV13は、ワイパ4bが通過した後、長時間を経過した後の画像、またはワイパ4bが通過する直前の画像である。画像RV13には、多数の雨滴LDが写っている。雨滴LDは、画像の中の事物を覆い隠している。このため、画像RV13から道路標識RS、オーバーパスOP、他の車両VH、および歩行者PDなどの形状を鮮明に認識することは困難である。特に、画像認識プログラムによって画像RV13の中から所定の形状を認識することは困難である。また、運転者が画像RV13の全体、または一部を見ても、写っている事物を正確に、かつ迅速に認識することは困難である。
 図17は、車両用ナビゲーションシステム1が提供するリアルビューナビゲーションに関連するリアルビュー処理1120を示すフローチャートである。リアルビューナビゲーションにおいては、先行車両によって撮影された画像が、後続車両に提供される。しかも、先行車両によって撮影された画像から、他の車両、さらに望ましくは歩行者などの移動体が消去されたクリーン画像が後続車両に配信される。クリーン画像を作成するために、複数の先行車両から原画像が収集される。また、リアルビューナビゲーションにおいては、その車両の前方の光景を示す画像から、運転を支援するために有用な情報を含む範囲が切り出され、車内の表示器5eに表示される。
 リアルビュー処理1120には、センタ装置3によって実行されるセンタ装置処理1121と、車両装置5によって実行される車両装置処理1122とが含まれている。それぞれのステップは、その機能を提供する処理手段または処理部として見ることができる。
 ステップ1123では、車両4の前方の光景を示す画像が撮影される。ステップ1123には、カメラ5dによって撮影される複数の画像から利用可能な画像のみを選択する選択処理を含むことができる。例えば、ウインドシールド4aに付着した雨滴を除去するためのワイパ4bが写った画像を廃棄する選択処理を含むことができる。
 ステップ1123は、画像に写るノイズ要素の量、すなわちノイズ量NSを設定することにより実行することができる。ステップ1123は、画像に写るノイズ量NSを設定する設定処理を含むことができる。ここで、ノイズ量NSは、その画像が運転の支援に貢献できる度合い、または可能性を尺度として設定することができる。ノイズ量NSは、光景を正確に反映していない領域が、画像に占める割合に相当する場合がある。画像に写るノイズ要素は、運転者などの人が画像に写った事物を認識し理解することを妨げる。ノイズ量NSが多いほど、事物の認識、理解は困難となる。人による認識の可能性に代えて、画像処理プログラムによって画像の中に他の車両の存在、歩行者の存在、道路標識の存在などを自動的に認識する場合も、上記と同様である。
 ノイズ要素の一例は、ウインドシールドに付着した雨滴または雪片である。ノイズ要素の一例は、ワイパ4bそのものである。ワイパ4bそれ自身はもちろん、雨滴または雪片は、ワイパ4bの状態に関連して現れたり消滅したりするノイズ要素である。ワイパ4bの状態の一例は、ワイパ4bの作動(ON)、または非作動(OFF)である。ワイパ4bの状態の一例は、ワイパ4bが画像の中に写っているか否かである。ワイパ4bの状態の一例は、ワイパ4bが撮影範囲VRを通過した後の経過時間、言い換えると、ワイパ4bが撮影範囲VRを払拭してからの経過時間である。この経過時間は、ワイパ4bが作動している期間中における画像の中に含まれる雨滴または雪片の数を示す。
 ステップ1123は、ワイパ4bが非作動であるときに所定の閾値Nthを上回らないようにノイズ量NSを設定する非作動設定部を提供することができる。ステップ1123は、画像にワイパ4bが含まれる場合に所定の閾値Nthを上回るようにノイズ量NSを設定するワイパノイズ設定部を提供することができる。ステップ1123は、画像に含まれる雨滴または雪片の量が増えるほどノイズ量NSを増加させる比例設定部を提供することができる。ステップ1123は、ノイズ量NSが、後続の画像利用部における画像の利用に適することを示す閾値Nthを上回る場合に、その画像を利用不可能な画像と識別し、その利用を禁止するための識別部を提供することができる。
 ステップ1123aでは、カメラ5dによって前方の光景が撮影され、光景を示す画像が入力され、メモリ装置5bに記憶される。この画像は、車両4からカメラ5dによって撮影された生の画像である。画像は、少なくとも1つの静止画像を含む。画像は、複数の静止画像、または動画とすることができる。
 ステップ1123bは、ウインドシールド4aの外面を払拭するワイパ4bの状態を取得する取得部を提供する。ステップ1123bは、画像に写るノイズ要素の量が所定の閾値を上回らないことを示すワイパの第1状態と、画像に写るノイズ要素の量が閾値を上回ることを示すワイパの第2状態とを取得する。第1状態の一例は、ワイパ4bの非作動である。第2状態の一例は、ワイパ4bの作動である。第1状態の一例は、ワイパ4bが画像に写っていないことである。第2状態の一例は、ワイパ4bが画像に写っていることである。第1状態の一例は、ワイパ4bが撮影範囲VRを通過した後の経過時間が所定の時間閾値を上回らないことである。第2状態の一例は、ワイパ4bが撮影範囲VRを通過した後の経過時間が所定の時間閾値を上回ることである。
 ステップ1123bでは、上記画像に含まれるノイズ量NSが評価され、その画像のノイズ量NSが設定される。ノイズ量NSは、ワイパ4bの状態に基づいて与えられる。ステップ1123bは、ワイパ4bの状態に基づいて、画像に写るノイズ要素の量NSを設定する設定部を提供する。
 この構成によると、ワイパの状態は、ノイズ要素の量として設定される。識別部は、ノイズ要素の量が少ない画像を利用可能な画像として識別し、ノイズ要素の量が多い画像を利用不可能な画像として識別する。
 ステップ1123cでは、ノイズ量NSが所定の閾値Nthを上回るか否かが判定される。ノイズ量NSが閾値Nthを上回らない場合、その画像は、後続のステップ1124、1130に提供される。ノイズ量NSが、閾値Nthを上回る場合、ステップ1123dに進む。ステップ1123dでは、その画像の利用が禁止される。
 閾値Nthは、その画像が運転の支援に利用可能か利用不可能かを識別するための閾値である。閾値Nthは、その画像が後続のステップ1124、1130における画像の利用に適するか否かを判定する閾値でもある。閾値Nthは、複数のステップ1124、1130に適合して、異なる値をとることができる。例えば、第1のステップ1124に適合した画像を示す第1閾値Nth1と、第2のステップ1130に適合した画像を示す第2閾値Nth2とを設けることができる。ひとつの画像に設定されたノイズ量NSが第1閾値Nth1を上回る場合、第1のステップ1124への利用は禁止されるが、その画像に設定されたノイズ量NSが第2閾値Nth2を上回らない場合、第2のステップ1130への利用は許可される。
 ステップ1123c、1123dは、ワイパ4bの状態に基づいて、画像が、画像利用部によって利用可能な画像であるか、利用不可能な画像であるかを識別する識別部を提供する。ステップ1123cは、第1状態が取得されるときに撮影された画像を利用可能な画像として識別し、第2状態が取得されるときに撮影された画像を利用不可能な画像として識別する。ステップ1123cは、ノイズ要素の量NSが所定の閾値Nthを上回らないときに撮影された画像を利用可能な画像として識別し、ノイズ要素の量NSが所定の閾値Nthを上回るときに撮影された画像を利用不可能な画像として識別する。
 ステップ1124では、車両4の前方に出現した道路標識を表示器5eに表示する処理が実行される。この処理では、カメラ5dによって撮影された画像から、道路標識が認識される。例えば、前方の交差点の行き先を表示する標識が認識される。さらに、この処理では、原画像から、道路標識に対応する部分画像が切り出され、切り出された画像が表示器5eに拡大表示される。これにより、運転者による道路標識の認識を支援することができる。
 ステップ1130では、難解地点において撮影された画像に基づいてクリーン画像を作成し、そのクリーン画像を運転支援のために提供するクリーン画像提供処理が実行される。
 ステップ1131では、車両4が難解地点を走行したことが判定される。難解地点は、運転者が道路構造または進路を理解することが困難な道路上の地点である。難解地点は、難解な交差点、すなわち分岐点を含むことができる。難解地点は、分岐数が多い分岐点、または分岐角度が特殊な分岐点を含むことができる。このような交差点は、難解交差点とも呼ばれる。また、車両4の目的地となりうる地点の入口、駐車場の入口など、道路を走行する間に見出すことが困難な地点も、難解地点に含むことができる。判定は、自動的に実行することができる。さらに、運転者が難解地点であると判断した場合に操作されるスイッチを設け、このスイッチからの入力操作に応答して難解地点を判定してもよい。
 通常とは異なる異常な事象が検出された場合に、車両4が難解地点にあると判定することができる。例えば、交差点の場合、運転者が進行方向の選定を迷ったことを検出することにより、難解交差点であるか否かを判定することができる。運転者が進行方向の選定を迷ったことは、車両4または運転者の挙動によって判定することができる。車両4の挙動には、運転者が車両4に加えた運転操作、車両4の状態、車両4の加速度、および減速度を含むことができる。
 難解地点は、運転者が車両4に加えた運転操作、または車両4の挙動に基づいて判定することができる場合がある。難解地点を示す車両挙動の一例は、交差点など候補地点を示す候補範囲内における急減速、すなわち急ブレーキ操作である。他の一例は、候補範囲内における徐行状態である。他の一例は、候補範囲内における停止である。さらに他の一例は、候補範囲内における蛇行操舵である。さらに、減速と蛇行操舵といった複数の車両挙動の組み合わせによって難解地点を判定してもよい。
 難解地点を判定するために、観測された車両の挙動と、予め設定された基準挙動とが比較される。観測された車両挙動が基準挙動を逸脱している場合に、その地点は難解地点であると判定することができる。基準挙動は、難解地点において多くの車両にあらわれる挙動に基づいて予め設定することができる。基準挙動は、標準挙動とも呼ぶことができる。基準挙動は、特定の運転者の個性に適合するように調整することができる。このような調整は、手動の調節により、または後述の学習処理によって提供することができる。
 難解地点は、運転者の挙動に基づいて判定することができる場合がある。例えば、運転者の体の動き、声、心拍などの挙動に基づいて、運転者が難解な地点を走行したか否かを判定することができる。具体的には、顔にあらわれる表情、目の動き、頭の動きを利用できる。また、運転者が経路を間違えたときに出す声を利用できる。より具体的には、「あっつ!」、「しまった!」、「間違えた!」、「あれ?」といった声を利用できる。また、心拍数の急激な変化を利用することができる。
 難解地点を判定するために、観測された運転者の挙動と、予め設定された基準挙動とが比較される。観測された運転者挙動が基準挙動を逸脱している場合に、その地点は難解地点であると判定することができる。基準挙動は、難解地点において多くの運転者が示す挙動に基づいて予め設定することができる。基準挙動は、標準挙動とも呼ぶことができる。基準挙動は、特定の運転者の個性に適合するように調整することができる。このような調整は、手動の調節により、または後述の学習処理によって提供することができる。
 難解地点は、車両4が経路案内のための予定された設定経路から離脱したことに基づいて判定することができる場合がある。車両装置5によって経路案内を実行しているときに、車両4が交差点において経路から離脱した場合、その交差点は難解交差点である可能性がある。
 ステップ1131は、運転者が道路構造または進路を理解することが困難な道路上の難解地点を判定する判定部を提供する。判定部は、車両の挙動、および/または運転者の挙動と基準との比較に基づいて難解地点を判定する。難解地点が自動的に判定されるから、運転支援用の画像を自動的に提供できる。
 ステップ1134では、難解地点を撮影した画像が原画像として車両装置5からセンタ装置3へ送信される。この原画像は、車両4からカメラ5dによって撮影された生の画像である。原画像は、難解地点に到達する直前にカメラ5dによって撮影された少なくとも1つの静止画像を含む。そのような画像には、難解地点がその道路構造を見ることができるように映っている可能性が高い。原画像は、難解地点に到達する前の所定区間、または難解地点を含む所定区間において撮影された複数の静止画像、または動画とすることができる。原画像は、難解地点を含む所定走行距離または所定走行期間に撮影された複数の静止画像、または動画から選択的に取り出すことができる。ステップ1134は、原画像を車両装置5からセンタ装置3へ送信する送信部を提供する。送信される原画像は、ひとつまたは複数である。ステップ1134では、ひとつの難解地点の画像、または複数の難解地点の画像を送信することができる。
 ステップ1141では、センタ装置3は、複数の車両装置5から送信された原画像を受信する。受信された原画像はメモリ装置3bに蓄積される。ステップ1141は、所定の地点、すなわち難解地点において撮影された原画像を取得する取得部を提供する。
 ステップ1144では、原画像に基づいてクリーン画像が作成される。ステップ1144では、他の車両および歩行者などの移動体が写っていない難解地点のクリーン画像が作成される。クリーン画像の作成は、ひとつの地点に関して蓄積された複数の原画像から、移動体が写っていない原画像を選択する処理により実行できる場合がある。また、クリーン画像の作成は、原画像から他の車両および歩行者などの移動体を消去することにより実行される場合がある。
 クリーン画像の作成は、オペレータが原画像を加工し、修正することによって実施することができる。このようなマニュアル処理においては、対象地点に関して蓄積された複数の原画像に基づいてクリーン画像を作成する作業が実行される。また、クリーン画像の作成は、複数の原画像に基づいてひとつまたは複数のクリーン画像を自動的に生成する画像処理プログラムによって実施することができる。
 クリーン画像の生成工程には、基礎画像の選定、基礎画像における移動体の認識、移動体を消去するための背景画像を提供できる他の原画像の選定、および基礎画像の他の原画像との合成といった複数の工程が含まれる。マニュアル処理においても、画像処理プログラムによる自動化処理においても、画像はメモリ装置3bに一時的に記憶される。
 基礎画像の選定は、複数の原画像から、難解地点をわかりやすく示す原画像を選定することによって実行できる。例えば、撮影位置が、難解地点、例えば難解交差点の基準点から所定の範囲にある原画像を、基礎画像として選定することができる。また、難解交差点に接続している道路の幅員に基づいて設定される所定の条件を満たす原画像を、基礎画像として選定することができる。基礎画像における移動体の認識は、車両または歩行者を示す予め設定された基準形状に基づいて実行することができる。
 他の原画像の選定は、基礎画像と類似の原画像を選定することによって実行できる。例えば、撮影位置が基礎画像の撮影位置から所定範囲内である原画像を、他の原画像として選定することができる。また、画像内における特徴的な物、例えば道路標識の位置、形状に注目し、それらが基礎画像と同じように映っている原画像を、他の原画像として選定することができる。具体的には、停止線、または横断歩道を利用することができる。また、交差点内の範囲を認識する画像処理を利用してもよい。
 基礎画像と他の画像(部分)との合成においては、撮影位置に基づく補正、日時に基づく影の補正といった補正処理が実行される。撮影位置に基づく補正には、原画像の撮影時における走行車線の違いに基づく左右方向の補正を含むことができる。撮影位置に基づく補正には、カメラ5dの高さの差に基づく高さ方向の補正を含むことができる。基礎画像に移動体を消すように、他の原画像の部分を基礎画像に合成することにより、少なくともひとつの移動体が消去されたクリーン画像が生成される。
 ステップ1144は、ひとつの原画像から他の車両および/または歩行者などの移動体の少なくとも一部を消去したクリーン画像を作成する作成部を提供する。クリーン画像は、難解地点における運転を支援するための画像として作成される。作成部は、複数の原画像に基づいてクリーン画像を作成する。この作成部は、それぞれの原画像に付属の撮影条件に基づいて複数の原画像を合成する。作成部は、ひとつの原画像における移動体が写っている範囲に、他の原画像における部分画像を合成することにより移動体が消去されたクリーン画像を作成する。よって、移動体を消去しても、実際の光景に近い画像が提供される。
 ステップ1145では、クリーン画像がセンタ装置3から車両装置5へ配信される。センタ装置3に設けられたステップ1145は、クリーン画像を車両装置5に配信する配信部を提供する。クリーン画像の配信は、複数の車両4に向けて実行することができる。また、クリーン画像の配信は、車両4からの要求に応答して実行することができる。また、クリーン画像の配置は、ひとつの難解地点に到達しようとしている車両4に対して実行されてもよい。
 ステップ1136では、車両装置5によって、クリーン画像が受信される。ステップ1136は、配信部から配信されたクリーン画像を受信しメモリ装置5bに記憶する車両受信部を提供する。
 ステップ1137では、車両装置5によってクリーン画像が運転者に提供される。ここでは、クリーン画像が表示器5eに表示される。車両装置5は、経路案内のためにクリーン画像を利用する。例えば、車両装置5は、車両4が難解地点に到達する前に、クリーン画像を表示器5eに表示する。
 このとき、経路案内が実行されている場合には、クリーン画像の上に案内記号を重ねて表示することができる。案内記号は、経路を示す矢印、または、分岐路において選択可能な複数の分岐方向を示す多頭矢印である。クリーン画像と案内記号とを含む画像は案内画像と呼ぶことができる。案内記号は、車両装置5においてクリーン画像上に合成することができる。案内記号は、センタ装置3においてクリーン画像上に合成してもよい。クリーン画像および案内画像は、運転支援用の画像である。
 ステップ1131、1134、1141、1144、1145、および1136-1137は、難解地点において撮影された原画像に基づいて、難解地点における運転を支援するための画像を提供する提供部を提供している。この実施形態では、少なくともステップ1144とステップ1145とステップ1136とステップ1137とにより提供部が提供されている。ステップ1137は、難解地点を走行するときにメモリ装置5bに記憶されたクリーン画像を表示器5eに表示する表示部を提供する。ステップ1131-1137、および1141-1145を含むステップ1130は、難解地点において撮影された原画像に基づいて、難解地点における運転を支援するための画像を提供する画像配信処理を提供している。この実施形態では、ステップ1124が提供する標識表示処理またはステップ1130が提供する画像配信処理は、ステップ1123によって撮影された画像を利用する利用部を提供する。
 図18は、ワイパ4bの状態に基づいて、ひとつの画像についてノイズ量NSを設定するための設定処理1180を示す。設定処理1180は、ステップ1123bを提供する。ステップ1181では、ワイパ4bの状態が作動(ON)であるか、非作動(OFF)であるかが判定される。ワイパ4bのON/OFFは、運転者が操作するワイパスイッチの状態、またはワイパモータ4cの作動状態を示す信号に基づいて判定することができる。また、画像の中に所定の周期でワイパ4bに相当する影が映るか否かに基づいて、ワイパ4bのON/OFFを判定してもよい。ワイパ4bが非作動である場合、ステップ1182へ進む。ワイパ4bが作動中である場合、ステップ1183へ進む。
 ステップ1182では、画像のノイズ量NSが最低値0に設定される。ワイパ4bが非作動である場合、雨が降っていないと判定できるからである。ワイパ4bが非作動であっても、雨を検出するセンサを設け、雨が降っている場合には、ステップ1183へ進んでもよい。
 ステップ1183では、画像の中にワイパ4bが写っているか否かが判定される。画像の中にワイパ4bがない場合、ステップ1184へ進む。画像の中にワイパ4bがある場合、ステップ1186へ進む。
 ステップ1184では、カメラ5dの撮影範囲VRをワイパ4bが通過した後の経過時間TWPを計測する。ワイパ4bがカメラ5dの撮影範囲VRを通過したことは、画像からワイパ4bに相当する影が消えたこと、またはワイパ4bの作動位置に基づいて判定することができる。経過時間TWPは、ワイパ4bの速度に対応する周期をもつ鋸歯状波によって与えることができる。
 ステップ1185では、経過時間TWPを変数とする所定の関数fw(TWP)に基づいてノイズ量NSが設定される。関数fw(TWP)は経過時間TWPに比例してノイズ量NSを設定する。関数fw(TWP)は、図示されるように、経過時間TWPが大きくなるほど、ノイズ量NSを増加させる特性を有する。
 関数fw(TWP)は、ノイズ量NSを最低値0と最高値1.0との間で設定する。関数fw(TWP)は、ノイズ量NSが、最低値0より高い所定値NL以上となるように設定する。このステップでは、ワイパ4bが作動しているから、雨または雪が降っていると考えられる。このような場合、ウインドシールド4aの外面には、水膜または薄氷が付着している可能性があるから、ノイズ量NSは最低値0より高い所定値NL以上に設定される。
 関数fw(TWP)が設定するノイズ量NSは、経過時間TWPが所定の時間閾値Tthを上回ると、ノイズ量NSが所定の閾値Nthを上回るように設定される。経過時間TWPが時間閾値Tthを上回ると、雨滴LDまたは雪片の量が過剰となって画像は利用不可能な画像となるからである。
 関数fw(TWP)は、経過時間TWPが所定の上限値TMを上回るとノイズ量NSを最高値1.0に設定する。経過時間TWPが上限値TMを上回ると、大量の雨滴LDによって画像が利用不可能なほどに不鮮明となるからである。
 関数fw(TWP)は、ワイパ4bの速度が速いほど、ノイズ量NSの増加が早くなる特性を有することができる。関数fw(TWP)は、ワイパ4bの作動モード、例えば高速モードまたは低速モード、に応じて切換えられる複数の特性をもつことができる。運転者は、雨量が多いほどワイパ4bの速度を高く調節する。よって、ワイパ4bの速度が速いほど、雨滴LDの増加速度も速くなる。例えば、ワイパ4bが低速モードのとき、関数fw(TWP)は、実線の特性を与えられる。ワイパ4bが高速モードのとき、関数fw(TWP)は、一点鎖線の特性を与えられる。
 ステップ1186では、画像のノイズ量NSが最高値1.0に設定される。画像の中にワイパ4bが写っている場合、その画像は利用不可能と考えられるからである。
 ステップ1181、1182は、ワイパ4bの状態を取得するために、ワイパ4bの作動または非作動を判定する作動判定部を提供する。ステップ1123cが提供する識別部は、ワイパ4bの非作動が判定されているときに撮影された画像を利用可能な画像として識別する。ワイパ4bが非作動であるときは、ワイパ4bが画像に写り込むことがない。しかも、ウインドシールド4aに雨滴LDまたは雪片が付着している可能性は低い。よって、ワイパ4bが非作動であるときに撮影された画像は利用可能な画像と識別することができる。
 ステップ1184、1185は、ワイパ4bの状態を取得するために、ワイパ4bが撮影範囲VRを通過した後の経過時間TWPが所定の時間閾値Tthを上回るか否かを判定する時間判定部を提供する。ステップ1123cが提供する識別部は、経過時間TWPが時間閾値Tthを上回らないときに撮影された画像を利用可能な画像として識別し、経過時間TWPが時間閾値Tthを上回るときに撮影された画像を利用不可能な画像として識別する。この構成によると、ワイパ4bが通過した後に増加する雨滴または雪片の量に応じて、利用可能な画像と利用不可能な画像とが識別される。
 ステップ1183、1186は、ワイパ4bの状態を取得するために、画像にワイパ4bが写っているか否かを判定する画像判定部を提供する。ステップ1123cが提供する識別部は、ワイパ4bが写っている画像を利用不可能な画像として識別する。
 この実施形態によると、雨または雪が降っていないとき、鮮明な画像が得られる。このとき、運転者はワイパ4bを作動させないから、画像のノイズ量NSは最低値0とされる。このとき、ノイズ量NSは閾値Nthを上回らない。よって、画像は、利用可能な画像として識別され、ステップ1124、1130に提供され利用される。ステップ1124、1130は、画像利用部を提供する。ステップ1124、1130においては、鮮明な画像に基づいて、運転を支援するための処理が提供される。
 雨または雪が降ると、運転者がワイパ4bを作動させる。ワイパ4bが作動すると、そのワイパ4bが画像に写ることがある。画像にワイパ4bが写っている場合、その画像のノイズ量NSが最高値1.0に設定される。このため、ワイパ4bが写った画像は、利用不可能な画像として識別され、ステップ1124、1130に提供されない。よって、ワイパ4bに起因する不確かな処理が回避される。
 さらに、ワイパ4bが作動している間中、画像の中に写る雨滴LDまたは雪片の数は、鋸歯状波のように周期的に変動する。よって、ワイパ4bがカメラ5dの撮影範囲VRを通過した直後は、利用可能な鮮明な画像が得られる。しかし、ワイパ4bがカメラ5dの撮影範囲VRを通過した後、所定の時間閾値を経過すると、雨滴LDまたは雪片が撮影範囲VRの多くの範囲を覆い、利用不可能な画像が得られる。ワイパ4bが通過した後の経過時間TWPが長くなるほど、ノイズ量NSが高く設定されるから、雨滴LDまたは雪片の付着数に応じたノイズ量NSが設定される。
 ノイズ量NSが閾値Nthを上回らない場合、その画像は利用可能な画像として識別され、ステップ1124、1130に提供される。ステップ1124、1130においては、閾値Nthを上回らない比較的鮮明な画像に基づいて、運転を支援するための処理が提供される。
 一方、ノイズ量NSが閾値Nthを上回る場合、その画像は利用不可能な画像として識別され、ステップ1124、1130に提供されない。よって、雨滴LDまたは雪片に起因する不確かな処理が回避される。
 (第3実施形態)
 この実施形態は、先行する実施形態を基礎的形態とする変形例である。上述の実施形態では、ワイパ4bが作動しているとき、ワイパ4bが通過した直後の画像の利用を許容した。これに代えて、ワイパ4bが作動している期間中は、すべての画像の利用を禁止してもよい。
 図19はこの実施形態の設定処理1280を示す。この実施形態では、ステップ1181においてワイパ4bが作動していると判定される場合、ステップ1186へ進む。ワイパ4bが作動している期間中は、ワイパ4b、雨滴LD、または雪片に起因して画像が劣化している可能性がある。ステップ1181からステップ1186へ直接的に分岐することで、劣化している可能性がある画像がステップ1124、1130に提供されない。よって、劣化している可能性がある画像の利用が回避される。
 設定処理1280は、取得部を提供する。この取得部は、ワイパ4bの状態を取得するために、ワイパ4bの作動または非作動を判定する作動判定部を備える。ステップ1123cが提供する識別部は、ワイパ4bの非作動が判定されているときに撮影された画像を利用可能な画像として識別し、ワイパ4bの作動が判定されているときに撮影された画像を利用不可能な画像として識別する。
 (他の実施形態)
 以上、開示された開示の好ましい実施形態について説明したが、開示された複数の開示は上述した実施形態に何ら制限されることなく、種々変形して実施することが可能である。上記実施形態の構造は、あくまで例示であって、開示された複数の開示の技術的範囲はこれらの記載の範囲に限定されるものではない。開示された複数の開示は、実施形態において示された組み合わせに限定されることなく、それぞれ独立して実施可能である。
 例えば、制御装置が提供する手段と機能は、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、制御装置をアナログ回路によって構成してもよい。
 上述の実施形態では、ステップ1124を車両装置5だけにおいて実行する構成を説明した。これに代えて、ステップ1124の一部をセンタ装置2において実行してもよい。例えば、標識の画像をセンタ装置3のメモリ装置3bに収集し、収集された画像から、最新かつ高品質な標識の画像を車両装置5に配信して表示してもよい。
 上述の実施形態では、ステップ1130に含まれる複数のステップを、センタ装置3と車両装置5とで分散的に実行する構成を説明した。これに代えて、上述の実施形態と異なる処理の分担を採用してもよい。例えば、ステップ1131の一部または全部をセンタ装置3において実行してもよい。また、ステップ1141、1144、1145の一部または全部を車両装置5において実行してもよい。
 本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (14)

  1.  所定の地点において撮影されたから原画像(RV1、RV2)を取得する取得部(141-142)と、
     前記原画像から他の車両または歩行者である移動体の少なくとも一部を消去したクリーン画像(CV)を、前記地点における運転を支援するための画像として作成する作成部(144)とを備える車両用ナビゲーションシステム。
  2.  前記取得部は、複数の原画像を蓄積する蓄積部(142)を含み、
     前記作成部(144)は、複数の前記原画像に基づいて前記クリーン画像を作成する請求項1に記載の車両用ナビゲーションシステム。
  3.  さらに、前記原画像が撮影された地点が、前記クリーン画像を作成すべき地点として妥当であることを確認した場合に、前記作成部による前記クリーン画像の作成を許容する確認部(143)を備える請求項2に記載の車両用ナビゲーションシステム。
  4.  前記確認部は、所定の閾値を越える数の前記原画像が蓄積された場合に、前記クリーン画像を作成すべき地点として妥当であることを確認する請求項3に記載の車両用ナビゲーションシステム。
  5.  前記作成部(144)は、ひとつの前記原画像における前記移動体が写っている範囲に、他の前記原画像における部分画像を合成することにより、前記移動体が消去された前記クリーン画像を作成する請求項2から請求項4のいずれかに記載の車両用ナビゲーションシステム。
  6.  前記取得部は、それぞれの前記原画像の撮影条件を示す情報を取得し、
     前記作成部は、前記撮影条件に基づいて複数の前記原画像を合成する請求項5に記載の車両用ナビゲーションシステム。
  7.  車両(4)のそれぞれに設けられた複数の車両装置(5)と、
     複数の前記車両装置と通信可能に接続されたセンタ装置(3)とを備え、
     前記各車両装置(5)は、
     前記車両の前方を撮影することにより前記原画像を供給するカメラ(5d)と、
     前記原画像を前記車両装置から前記センタ装置へ送信する送信部(134)とを備え、
     前記センタ装置(3)は、
     前記原画像を取得する前記取得部と、
     クリーン画像(CV)を作成する前記作成部と、
     前記クリーン画像を前記車両装置に配信する配信部(145)とを備え、
     前記取得部は、前記送信部から送信された前記原画像を受信するセンタ受信部(141)を含み、
     前記各車両装置(5)は、さらに、
     前記配信部から配信された前記クリーン画像を受信し記憶装置(5b)に記憶する車両受信部(136)と、
     前記所定の地点を走行するときに前記記憶装置に記憶された前記クリーン画像を表示器(5e)に表示する表示部(137)とを備える請求項1から請求項6のいずれかに記載の車両用ナビゲーションシステム。
  8.  車両のウインドシールドを通して撮影された画像を画像利用部(1124、1130)に提供する車両用撮影装置において、
     前記ウインドシールドの外面を払拭するワイパ(4b)の状態を取得する取得部(1123b、1180、1280)と、
     前記ワイパの状態に基づいて、前記画像が、前記画像利用部によって利用可能な画像であるか、利用不可能な画像であるかを識別する識別部(1123c、1123d)とを備える車両用撮影装置。
  9.  前記取得部(1123b、1180、1280)は、前記画像に写るノイズ要素の量が所定の閾値を上回らないことを示す前記ワイパの第1状態と、前記画像に写るノイズ要素の量が前記閾値を上回ることを示す前記ワイパの第2状態とを取得し、
     前記識別部(1123c)は、前記第1状態が取得されるときに撮影された前記画像を前記利用可能な画像として識別し、
     前記識別部(1123c)は、前記第2状態が取得されるときに撮影された前記画像を前記利用不可能な画像として識別する請求項8に記載の車両用撮影装置。
  10.  前記取得部は、前記ワイパの状態を取得するために、
     前記ワイパ(4b)の作動または非作動を判定する作動判定部(1181、1182)を備え、
     前記識別部は、前記ワイパの非作動が判定されているときに撮影された前記画像を前記利用可能な画像として識別する請求項8または請求項9に記載の車両用撮影装置。
  11.  前記取得部は、前記ワイパの状態を取得するために、
     前記ワイパが撮影範囲(VR)を通過した後の経過時間(TWP)が所定の時間閾値(Tth)を上回るか否かを判定する時間判定部(1184、1185)を備え、
     前記識別部は、
     前記経過時間が前記時間閾値を上回らないときに撮影された前記画像を前記利用可能な画像として識別し、
     前記経過時間が前記時間閾値を上回るときに撮影された前記画像を前記利用不可能な画像として識別する請求項8から請求項10のいずれかに記載の車両用撮影装置。
  12.  前記取得部は、前記ワイパの状態を取得するために、
     前記画像に前記ワイパ(4b)が写っているか否かを判定する画像判定部(1183、1186)を備え、
     前記識別部は、
     前記ワイパが写っている前記画像を前記利用不可能な画像として識別する請求項8から請求項11のいずれかに記載の車両用撮影装置。
  13.  前記ワイパの作動が判定されているときに撮影された前記画像を前記利用不可能な画像として識別する請求項10に記載の車両用撮影装置。
  14.  前記取得部(1123b、1180、1280)は、
     前記ワイパの状態に基づいて、前記画像に写るノイズ要素の量(NS)を設定する設定部を提供しており、
     前記識別部(1123c)は、
     前記ノイズ要素の量(NS)が所定の閾値(Nth)を上回らないときに撮影された前記画像を前記利用可能な画像として識別し、
     前記ノイズ要素の量(NS)が所定の閾値(Nth)を上回るときに撮影された前記画像を前記利用不可能な画像として識別する請求項8から請求項13のいずれかに記載の車両用撮影装置。
PCT/JP2013/005903 2012-10-03 2013-10-03 車両用ナビゲーションシステムおよび車両用撮影装置 WO2014054289A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/428,121 US20150228194A1 (en) 2012-10-03 2013-10-03 Vehicle navigation system, and image capture device for vehicle
DE112013004876.0T DE112013004876T5 (de) 2012-10-03 2013-10-03 Fahrzeugnavigationssystem und Bildaufnahmeeinrichtung für ein Fahrzeug

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-221646 2012-10-03
JP2012221646A JP2014073737A (ja) 2012-10-03 2012-10-03 車両用撮影装置
JP2012221645A JP5910450B2 (ja) 2012-10-03 2012-10-03 車両用ナビゲーションシステム
JP2012-221645 2012-10-03

Publications (1)

Publication Number Publication Date
WO2014054289A1 true WO2014054289A1 (ja) 2014-04-10

Family

ID=50434632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/005903 WO2014054289A1 (ja) 2012-10-03 2013-10-03 車両用ナビゲーションシステムおよび車両用撮影装置

Country Status (3)

Country Link
US (1) US20150228194A1 (ja)
DE (1) DE112013004876T5 (ja)
WO (1) WO2014054289A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500495B2 (en) 2012-10-03 2016-11-22 Denso Corporation Vehicular navigation system

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6497915B2 (ja) * 2014-12-08 2019-04-10 株式会社デンソーテン 運転支援システム
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6611353B2 (ja) * 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
IL248749B (en) 2016-11-03 2019-08-29 Dan El Eglick A system for looking at using several databases
JP7142538B2 (ja) * 2018-10-30 2022-09-27 株式会社Subaru 車両認識装置および車両制御装置
JP7207045B2 (ja) * 2019-03-15 2023-01-18 トヨタ自動車株式会社 サーバ装置および情報処理方法
US11180117B2 (en) * 2019-08-31 2021-11-23 Light Labs Inc. Methods and apparatus for capturing and using images in a system including wipers
JP7367709B2 (ja) * 2021-01-20 2023-10-24 トヨタ自動車株式会社 情報処理装置、情報処理システム、及び情報処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06290256A (ja) * 1993-03-31 1994-10-18 Mitsubishi Electric Corp 画像追尾装置
JP2005214883A (ja) * 2004-01-30 2005-08-11 Denso Corp カーナビゲーション装置
JP2007256048A (ja) * 2006-03-23 2007-10-04 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2008187347A (ja) * 2007-01-29 2008-08-14 Toshiba Corp 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
JP2009246503A (ja) * 2008-03-28 2009-10-22 Denso It Laboratory Inc ドライブ映像要約装置
JP2011017719A (ja) * 2010-09-16 2011-01-27 Nec Corp 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06290256A (ja) * 1993-03-31 1994-10-18 Mitsubishi Electric Corp 画像追尾装置
JP2005214883A (ja) * 2004-01-30 2005-08-11 Denso Corp カーナビゲーション装置
JP2007256048A (ja) * 2006-03-23 2007-10-04 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2008187347A (ja) * 2007-01-29 2008-08-14 Toshiba Corp 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
JP2009246503A (ja) * 2008-03-28 2009-10-22 Denso It Laboratory Inc ドライブ映像要約装置
JP2011017719A (ja) * 2010-09-16 2011-01-27 Nec Corp 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500495B2 (en) 2012-10-03 2016-11-22 Denso Corporation Vehicular navigation system

Also Published As

Publication number Publication date
DE112013004876T5 (de) 2015-06-18
US20150228194A1 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
WO2014054289A1 (ja) 車両用ナビゲーションシステムおよび車両用撮影装置
JP5910450B2 (ja) 車両用ナビゲーションシステム
JP5022609B2 (ja) 撮像環境認識装置
US8094192B2 (en) Driving support method and driving support apparatus
US9126533B2 (en) Driving support method and driving support device
US11022795B2 (en) Vehicle display control device
WO2014054288A1 (ja) 車両用ナビゲーションシステム
US20170076605A1 (en) Vehicle recognition notification apparatus and vehicle recognition notification system
JP4556742B2 (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP6398501B2 (ja) 車載カメラ診断装置
JP6392735B2 (ja) 情報処理装置、情報処理方法、車両の制御装置及び車両の制御方法
JP2017207340A (ja) 走行計画作成装置及びセンタ
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
KR20200139222A (ko) 어려운 운전 조건하에서 랜드 마크를 이용한 내비게이션 명령 강화
JP4297045B2 (ja) ヘッドアップディスプレイの表示制御装置およびプログラム
JP2019088522A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP2022184919A (ja) 表示制御装置、表示制御方法
JP2010134640A (ja) 情報取得装置
JP7215460B2 (ja) 地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ
JP5910449B2 (ja) 車両用ナビゲーションシステム
JP2020088604A (ja) 走行制御装置、制御方法およびプログラム
US20210309233A1 (en) Drive assist apparatus and data collection system
JP2014074627A (ja) 車両用ナビゲーションシステム
JP7092081B2 (ja) 走行環境評価システム
JP2014073737A (ja) 車両用撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13843263

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14428121

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112013004876

Country of ref document: DE

Ref document number: 1120130048760

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13843263

Country of ref document: EP

Kind code of ref document: A1