WO2009144893A1 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
WO2009144893A1
WO2009144893A1 PCT/JP2009/002233 JP2009002233W WO2009144893A1 WO 2009144893 A1 WO2009144893 A1 WO 2009144893A1 JP 2009002233 W JP2009002233 W JP 2009002233W WO 2009144893 A1 WO2009144893 A1 WO 2009144893A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
vehicle
trajectory
eye view
bird
Prior art date
Application number
PCT/JP2009/002233
Other languages
English (en)
French (fr)
Inventor
後藤章二
渡邉剛
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008143786A external-priority patent/JP2011161935A/ja
Priority claimed from JP2008146117A external-priority patent/JP2011161936A/ja
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Publication of WO2009144893A1 publication Critical patent/WO2009144893A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the steering wheel may be rotated to another angle as well as when the steering wheel is turned off. At that time, the predicted trajectory when the steering wheel is cut off is not sufficient for parking assistance.
  • a static body is an object that does not move when parking, such as a wall or another parked vehicle.
  • a moving body is an object that moves when parking a ball or a person. The former requires higher detection accuracy than the high-speed detection speed, and the latter requires high-speed detection accuracy.
  • FIGS. 19A to 19E are diagrams showing an outline of display processing in the synthesis unit of FIG. It is a flowchart which shows the display process in the driving assistance device of FIG.
  • the imaging device 12 continuously captures images and outputs the captured images to the driving support device 10.
  • the image itself or the image data is referred to as “image” without distinction.
  • the first imaging device 12 a and the second imaging device 12 b are installed in the front part of the vehicle 100, and the third imaging device 12 c and the fourth imaging device 12 d are installed in the rear part of the vehicle 100.
  • the number of imaging devices 12 is not limited to “4”.
  • the driving support device 10 inputs an image from each imaging device 12.
  • the driving support device 10 generates an all-round bird's-eye view image by converting the input image into a bird's-eye view image and further combining the bird's-eye view images corresponding to the plurality of imaging devices 12.
  • the driving support device 10 stores a plurality of types of predicted trajectories according to the steering angle of the steering wheel, and superimposes a plurality of types of predicted tracks on the generated all-around bird's-eye view image.
  • the all-around bird's-eye view image in which a plurality of types of predicted trajectories are superimposed is referred to as a “composite image”.
  • the driving support device 10 outputs the composite image to the display device 14.
  • the display device 14 receives the composite image from the driving support device 10.
  • the display device 14 includes a monitor, and displays the composite image on the monitor. Note that the driving support device 10 and the display device 14 may be configured integrally.
  • the operation unit 28 Before stopping When the driver drives the vehicle 100 and arrives in the vicinity of the parking space, the operation unit 28 receives an instruction from the driver to display a composite image. This is realized by the driver pressing the button. Note that until the button is pressed, the composite image is not displayed on the display device 14, and a navigation screen or the like is displayed, for example. Therefore, it can be said that the display on the display device 14 is switched by pressing the button before parking.
  • the operation unit 28 may receive an instruction by, for example, a touch panel or voice recognition without receiving an instruction by a button. As described above, the operation unit 28 outputs the received instruction to the control unit 26.
  • the control unit 26 controls operations of the generation unit 22 and the synthesis unit 32 so that a synthesized image is generated.
  • the generation unit 22 generates an all-around bird's-eye view image and outputs it to the synthesis unit 32.
  • the synthesizing unit 32 extracts a plurality of predicted trajectories from the predicted trajectory storage unit 30.
  • the plurality of expected trajectories correspond to different steering angles at the time of reverse. For example, when two steering angles are taken as explanations, an expected trajectory corresponding to the steering angle ⁇ and an expected trajectory corresponding to the steering angle ⁇ are extracted. Note that ⁇ ⁇ , and the steering wheel steering angle ⁇ may correspond to end cutting.
  • the synthesizer 32 generates a synthesized image by superimposing a plurality of predicted trajectories on the all-around bird's-eye view image.
  • the operation unit 28 receives an instruction from the driver to select a steering wheel steering angle or a rotation direction.
  • the control unit 26 displays on the display device 14 which one of the steering wheel left steering angle ⁇ predicted trajectory 56 is selected from the steering wheel right steering angle ⁇ predicted trajectory 50 via the synthesis unit 32.
  • the driver selects any one of the steering wheel left steering angle ⁇ predicted trajectory 56 from the steering wheel right steering angle ⁇ predicted trajectory 50 by operating a button.
  • the operation unit 28 may recognize the selection content based on pressing of the left and right buttons, the number of consecutive button presses, and the like.
  • the operation unit 28 outputs the received selection content to the control unit 26.
  • the combining unit 32 outputs the combined image to the display device 14 (not shown).
  • the control unit 26 may output voice guidance or the like such as “Please turn the handle xx times to the left” from a speaker (not shown).
  • FIG. 4 shows another composite image generated by the combining unit 32.
  • the steering wheel left steering angle ⁇ predicted trajectory 52 is selected from the four types of predicted trajectories shown in FIG.
  • the steering wheel left steering angle ⁇ expected locus 52 and the vehicle width extension line 58 are displayed. That is, one of the four types of expected trajectories is selected and displayed. In this way, when the vehicle actually reverses, an unnecessary predicted trajectory is not displayed, so that it is possible to reduce the occurrence of misreading by the driver.
  • the control unit 26 starts a timer to measure the period after the selection content from the operation unit 28 is received. After a predetermined period has elapsed, that is, after a certain period has elapsed since the synthesized image as shown in FIG. Cancel the superimposition of. As a result, the composition unit 32 generates a composite image by superimposing only the vehicle width extension line on the all-around bird's-eye view image, and outputs the composite image to the display device 14.
  • the operation unit 28 receives an instruction to start generating an expected trajectory by detecting depression of the button by the driver.
  • the operation unit 28 outputs an instruction to start generating an expected trajectory to the control unit 26.
  • the generation unit 22 continuously generates the all-around bird's-eye view image and specifies the position of the vehicle 100 in each of the all-around bird's-eye view images.
  • This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of any computer, and in terms of software, it can be realized by a program loaded in the memory, but here it is realized by their cooperation.
  • Draw functional blocks Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the control unit 26 selects an expected trajectory according to the instruction (S16), and the combining unit 32 displays the all-round bird's-eye view image and A composite image is generated based on the selected expected trajectory, and the composite image is displayed on the display device 14. Moreover, the control part 26 outputs the guidance according to the selection content from a speaker (S18). If the predetermined period has not elapsed (N in S20), the compositing unit 32 continues to generate a similar composite image. On the other hand, if a predetermined period has elapsed (Y in S20), the synthesizer 32 deletes the display of the predicted trajectory (S22).
  • FIG. 7 is a flowchart showing a procedure for generating an expected trajectory in the driving support device 10.
  • FIG. 7 corresponds to the process (4) described above.
  • the operation unit 28 detects the depression of the button (S50).
  • the generation unit 22 continuously stores the all-around bird's-eye view image (S52). If the storage is not completed (N in S54), the process returns to step 52. On the other hand, if the storage is completed (Y in S54), the generation unit 22 detects the vehicle 100 and a common target in each of the all-around bird's-eye view images (S56).
  • generation part 22 produces
  • the predicted trajectory corresponding to each of a plurality of steering angles is displayed in addition to the end of the steering wheel, so there is no risk of contacting not only the rear of the vehicle but also a parked vehicle or an obstacle ahead.
  • the vehicle can be guided to the position.
  • the predicted trajectory corresponding to each of the steering wheel angles is displayed, so the driver can receive information to improve the alignment accuracy when starting parking. Can be provided.
  • a plurality of predicted trajectories are displayed, it is possible to easily find a place for the optimum stop position.
  • multiple expected trajectories when the handle is rotated to the left and right by a certain amount are displayed, so that the user can be informed about the optimal stop position before reverse / parallel parking.
  • the guidance voice is output before the reverse starts, it is possible to instruct an accurate steering operation. Further, since the actual steering angle is not used, the steering angle sensor can be dispensed with.
  • a steering angle sensor is not required, a simpler system configuration can be realized. Further, even in a vehicle equipped with a rudder angle sensor, it is not necessary to calculate an expected trajectory in real time based on rudder angle information obtained from the rudder angle sensor, so that processing can be reduced.
  • Embodiment 2 of the present invention relates to a driving support device that displays an image captured by an in-vehicle camera, displays an expected trajectory when parking, and warns the driver of an approach with an obstacle.
  • the driving support device executes the following processing.
  • In-vehicle cameras are installed not only on the rear but also on the front of the vehicle. For example, a total of four in-vehicle cameras are installed on the left and right of the front part of the vehicle and on the left and right of the rear part.
  • the driving support device acquires images captured by each of the plurality of in-vehicle cameras, and generates an all-around bird's-eye view image.
  • the driving support device stores in advance an expected trajectory corresponding to a predetermined steering angle.
  • the expected trajectory corresponds to the all-around bird's-eye view image
  • the trajectory includes not only the rear wheel but also the front wheel.
  • the driving support device detects a still body on an expected trajectory or on an area having a certain width from the expected trajectory (hereinafter referred to as “first area”).
  • first area For the detection of a stationary body, for example, a planar projection stereo method is used.
  • the driving support device detects a moving object in an area (hereinafter referred to as “second area”) through which the vehicle 1100 passes.
  • an optical flow is used for detecting a moving object.
  • the detection method suitable for each can be used.
  • FIG. 8 shows a configuration of a vehicle 1100 according to an embodiment of the present invention.
  • the vehicle 1100 includes a driving support device 1010, a first imaging device 1012a, a second imaging device 1012b, a third imaging device 1012c, a fourth imaging device 1012d, and a display device 1014, which are collectively referred to as an imaging device 1012.
  • the vehicle 1100 includes components for realizing the original operation of the vehicle 1100 such as an engine, a chassis, a handle, a brake, and the like.
  • FIG. 8 omits components other than those necessary for displaying an image for assisting driving and for warning when an obstacle is detected.
  • the left side of the vehicle 1100 shown in FIG. 8 corresponds to the front side.
  • the imaging device 1012 continuously captures images and outputs the captured images to the driving support device 1010.
  • the image itself or the image data is referred to as “image” without distinction.
  • the first imaging device 1012a and the second imaging device 1012b are installed at the front portion of the vehicle 1100, and the third imaging device 1012c and the fourth imaging device 1012d are installed at the rear portion of the vehicle 1100.
  • the first imaging device 1012a to the fourth imaging device 1012d form a stereo camera in any combination.
  • a stereo camera is a camera that can record information in the depth direction by simultaneously photographing an object from a plurality of different directions. Note that the number of imaging devices 1012 is not limited to “4”.
  • the driving support device 1010 inputs an image from each imaging device 1012.
  • the driving support device 1010 generates an all-round bird's-eye view image by converting the input image into a bird's-eye view image and further combining the bird's-eye view images corresponding to the plurality of imaging devices 1012.
  • the driving support device 1010 stores the predicted trajectory, and superimposes a plurality of types of predicted trajectories on the generated all-around bird's-eye view image.
  • the all-around bird's-eye view image on which the expected trajectory is superimposed is referred to as a “composite image”.
  • the driving support device 1010 outputs the composite image to the display device 1014.
  • FIG. 9 shows the configuration of the driving support device 1010.
  • the driving support apparatus 1010 includes a first frame buffer 1020a, a second frame buffer 1020b, a third frame buffer 1020c, a fourth frame buffer 1020d, which are collectively referred to as a frame buffer 1020, a generation unit 1022, a conversion table storage unit 1024, and a control unit 1026.
  • An operation unit 1028 an expected trajectory storage unit 1030, a synthesis unit 1032, a monitoring unit 1034, and a warning unit 1036.
  • the monitoring unit 1034 includes a setting unit 1038, a static body detection unit 1040, and a moving body detection unit 1042.
  • the generation unit 1022 continuously inputs images from each frame buffer 1020, the all-around bird's-eye view image is continuously generated.
  • the generation unit 1022 outputs the all-around bird's-eye view image to the synthesis unit 1032.
  • the generation unit 1022 outputs the image received from the frame buffer 1020 to the monitoring unit 1034 separately from the generation of the all-around bird's-eye view image.
  • the predicted trajectory storage unit 1030 stores an expected trajectory of the vehicle 1100 that should correspond to the all-around bird's-eye view image generated by the generation unit 1022.
  • the expected trajectory is a route that the tire of the vehicle 1100 is expected to pass, and corresponds to a route when the vehicle 1100 is moved backward by operating the handle of the vehicle 1100.
  • the predicted trajectory is set in advance as a path when the handle is rotated to the end.
  • the predicted trajectory storage unit 1030 may also store another expected trajectory other than the expected trajectory when the handle is rotated to the end.
  • an expected trajectory to be used is selected according to an instruction from the driver.
  • the operation unit 1028 receives an instruction from the driver, and the control unit 1026 registers a setting corresponding to the instruction in the expected locus storage unit 1030.
  • the synthesizing unit 1032 receives the all-around bird's-eye view image from the generation unit 1022 and inputs the expected trajectory from the expected trajectory storage unit 1030.
  • the composition unit 1032 generates a composite image by superimposing the expected trajectory on the all-around bird's-eye view image.
  • the combining unit 1032 associates the coordinates of the vehicle 1100 on the all-around bird's-eye view image with the coordinates of the expected trajectory. That is, the composite image is generated so that the starting point of the predicted locus is the vehicle 1100. Details of the composite image will be described later.
  • the process of the synthesis unit 1032 will be described along the above-described (1) to (3).
  • control unit 1026 is connected to a shift position sensor (not shown) and accepts from the shift position sensor that the shift has started to move backward. Thereafter, when the control unit 1026 receives from the shift position sensor that the shift has entered another position, the control unit 1026 may cause the combining unit 1032 to cancel the superimposition of the expected trajectory. Alternatively, the operation unit 1028 may detect that the button is pressed again by the driver, and the control unit 1026 may cause the combining unit 1032 to cancel the superimposition of the expected trajectory when the operation unit 1028 detects the button. .
  • FIG. 10B shows a composite image in a state before (1) stopping.
  • a first predicted trajectory 1050a, a second predicted trajectory 1050b, and a third predicted trajectory 1050c which are collectively referred to as an expected trajectory 1050
  • the predicted trajectory 1050 corresponds to an expected trajectory when the handle is rotated to the end.
  • the first predicted trajectory 1050a corresponds to the predicted trajectory of the right rear wheel
  • the second predicted trajectory 1050b corresponds to the expected trajectory of the left rear wheel
  • the third predicted trajectory 1050c corresponds to the expected trajectory of the front wheel.
  • the first predicted trajectory 1050a and the second predicted trajectory 1050b overlap a vehicle parked in a space adjacent to the parking space 1070 (hereinafter referred to as “adjacent vehicle”).
  • the vehicle 1100 may collide with an adjacent vehicle. Therefore, the driver moves the vehicle 1100 to a position where the predicted trajectory 1050 does not overlap the adjacent vehicle while checking the composite image displayed on the display device 1014. This corresponds to searching for a stop position where no obstacle exists on the predicted trajectory 1050.
  • the still body detection unit 1040 detects a still body when the height of the object on the first area is higher than the threshold value.
  • the static body detection unit 1040 detects a static body
  • the static body detection unit 1040 outputs a message to that effect to the warning unit 1036.
  • the still body detection unit 1040 may output the position of the detected still body.
  • the detection of the obstacle is performed, for example, when the brake is depressed or stopped. Therefore, the static body detection unit 1040 may input information from a brake sensor and a speed sensor (not shown).
  • the moving object detection unit 1042 continuously receives composite images from the combining unit 1032 and receives coordinates of the second area from the setting unit 1038.
  • the moving object detection unit 1042 detects the presence of a moving object in the second area based on continuously received composite images.
  • Optical flow is used to detect moving objects.
  • Optical flow is one of the methods for analyzing moving objects, and is a technique for analyzing the motion from the luminance information in the all-around bird's-eye view image and expressing the motion of the moving object by the velocity vector.
  • a publicly-known technique may be used, and the description thereof is omitted here.
  • the moving object detection unit 1042 When the moving object detection unit 1042 detects a moving object, the moving object detection unit 1042 outputs a message to that effect to the warning unit 1036.
  • the obstacle is detected when, for example, the vehicle is traveling at a certain speed or less or is stopped.
  • the travel speed may be determined by the magnitude of the motion vector of the ground feature point, or speed information may be obtained from a speed sensor (not shown).
  • the obstacle detection by the moving object detection unit 1042 is performed when the brake is stepped on or stopped, for example, in the same manner as the obstacle detection by the still body detection unit 1040. Therefore, the moving body detection unit 1042 may also input information from a brake sensor and a speed sensor (not shown).
  • the warning unit 1036 warns that when the static object detection unit 1040 detects a static object in the first area, or when the dynamic object detection unit 1042 detects a dynamic object in the second area. That is, if the warning unit 1036 detects an obstacle in the vicinity of the predicted trajectory on the front and rear of the vehicle 1100, the warning unit 1036 warns the driver. A specific example of the warning will be described later. In FIG. 12, there is no danger of contact in front of the vehicle 1100, but there is a danger of contact with the ball that has entered rearward, so a warning is given to the driver.
  • FIG. 13C displays the colored portion 80 when there is an obstacle and does not display the colored portion 80 when there is no obstacle.
  • the colored portion 80 is colored red, for example.
  • FIG. 13D displays the flash portion 82 when there is an obstacle, and does not display the flash portion 82 when there is no obstacle.
  • the flash portion 82 is indicated by blinking, for example.
  • FIG. 13E displays the colored portion 80 as in FIG. 13C, but displays the colored portion 80 on the vehicle 1100 instead of the obstacle portion.
  • FIG. 13 (f) displays the flash portion 82 as in FIG. 13 (d), but displays the flash portion 82 on the vehicle 1100 instead of the obstacle portion.
  • FIGS. 14A to 14C show another outline of warning processing in the warning unit 1036.
  • FIG. FIG. 14 (a) displays the colored portion 80 when an obstacle is present, as in FIG. 13 (c), but the first colored portion 80a is displayed according to the distance from the adjacent vehicle that is the obstacle.
  • the third colored portion 80c is displayed.
  • the third colored portion 80c is closest to the adjacent vehicle, and the first colored portion 80a is farthest from the adjacent vehicle.
  • each of the first colored portion 80a to the third colored portion 80c is shown in a different color.
  • FIG. 14B displays the flash portion 82 when there is an obstacle, as in FIG. 13D, but the first flash portion 82a is displayed according to the distance from the adjacent vehicle that is the obstacle.
  • the third flash portion 82c is displayed.
  • the third flash portion 82c is closest to the adjacent vehicle, and the first flash portion 82a is farthest from the adjacent vehicle.
  • each of the first flash portion 82a to the third flash portion 82c blinks at different intervals.
  • FIG.14 (c) is a modification of FIG.13 (c), and shows the 1st coloring part 80a instead of the coloring part 80 of FIG.13 (c).
  • the second colored portion 80b is shown so as to overlap with the third expected locus 1050c.
  • the first colored portion 80a and the second colored portion 80b are shown in different colors.
  • a warning may be output by voice.
  • This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of any computer, and in terms of software, it can be realized by a program loaded in the memory, but here it is realized by their cooperation.
  • Draw functional blocks Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • FIG. 15 is a flowchart showing a display procedure in the driving support apparatus 1010.
  • the operation unit 1028 detects pressing of the button (S110).
  • the composition unit 1032 generates a composite image based on the all-around bird's-eye view image and the plurality of predicted trajectories, and displays the composite image on the display device 1014 (S112).
  • the static body detection unit 1040 and the moving body detection unit 1042 execute an obstacle detection process (S114). If an obstacle is detected (Y in S116), the warning unit 1036 outputs a warning (S118). On the other hand, if no obstacle is detected (N in S116), step 118 is skipped.
  • the position acquisition unit 82 acquires an existing position of the vehicle 100 (not shown). For example, the position acquisition unit 82 receives a signal from a GPS (Global Positioning System) satellite (not shown), and measures the presence position based on the received signal. That is, the position acquisition unit 82 corresponds to a GPS receiver. The location is indicated by latitude and longitude. Since a well-known technique should just be used for positioning of an existing position, description is abbreviate
  • a GPS receiver may be provided outside the vehicle 100, and the position acquisition unit 82 may be an interface for inputting an existing position measured by the GPS receiver.
  • the position acquisition unit 82 acquires position information to the control unit 26.
  • the speed acquisition unit 84 acquires the moving speed of the vehicle 100 (not shown).
  • the speed acquisition unit 84 corresponds to a GPS receiver, and derives the GPS speed as the moving speed. Further, the speed acquisition unit 84 may derive the movement speed based on the temporal change of the existing position acquired by the position acquisition unit 82.
  • the speed acquisition unit 84 outputs the movement speed to the control unit 26.
  • the holding unit 80 holds map information corresponding to the presence position acquired by the position acquisition unit 82.
  • the map information is indicated by latitude and longitude, as is the location, and is indicated by a digital signal. Therefore, the holding unit 80 is configured by a storage medium such as a hard disk.
  • the map information includes information regarding a parking area (hereinafter referred to as “parking area”). More specifically, an area corresponding to a parking lot or the like is shown accompanying the map information while being associated with latitude and longitude.
  • the control unit 26 appropriately receives the presence position from the position acquisition unit 82 and the moving speed from the speed acquisition unit 84.
  • the control unit 26 accesses the holding unit 80 to confirm whether the location position is included in the parking area of the map information. Further, the control unit 26 compares the moving speed with a threshold value.
  • the control unit 26 instructs the generation unit 22 and the like to start processing when it is detected that the existing position is included in the parking area of the map information and the moving speed is lower than the threshold value. To do.
  • the processing start timing is automatically detected, the operation by the driver can be omitted. Further, since the operation by the driver is omitted, the convenience of the driver can be improved. Further, since the convenience for the driver is improved, the safety can be improved.
  • FIG. 18 shows a configuration of the driving support apparatus 200 according to the fourth embodiment of the present invention.
  • the driving support apparatus 200 includes a first frame buffer 220a, a second frame buffer 220b, a third frame buffer 220c, a fourth frame buffer 220d, a generation unit 222, a conversion table storage unit 224, and a control unit 226, which are collectively referred to as a frame buffer 220.
  • the combining unit 232 includes a receiving unit 240, a target setting unit 242, and a calculation unit 244.
  • the frame buffer 220 corresponds to the frame buffer 20 of FIG. 2 and the frame buffer 1020 of FIG. 9, and the generation unit 222 corresponds to the generation unit 22 of FIG.
  • the unit 224 corresponds to the conversion table storage unit 24 in FIG. 2 and the conversion table storage unit 1024 in FIG. 9, and the operation unit 228 corresponds to the operation unit 28 in FIG. 2 and the operation unit 1028 in FIG. Therefore, here, the difference will be mainly described.
  • the operation unit 28 receives a processing start instruction from the driver.
  • the operation unit 28 outputs an instruction to the control unit 26.
  • the control unit 26 causes the generation unit 222 to generate an all-around bird's-eye view image.
  • the generation unit 222 outputs the generated all-around bird's-eye view image to the synthesis unit 232.
  • the synthesis unit 232 receives the all-around bird's-eye view image, the synthesis unit 232 outputs the all-around bird's-eye view image to a display device (not shown), thereby causing the display device to display the all-around bird's-eye view image.
  • the driver checks the parking position while viewing the all-around bird's-eye view image displayed on the display device.
  • FIGS. 19A to 19E show an overview of display processing in the synthesis unit 232.
  • FIG. 19A shows a display screen immediately after the processing is started.
  • the vehicle 300 is driven by a driver.
  • the parking space 270 is a position where the vehicle 300 should be parked.
  • the driver presses the button of the operation unit 28, so that a predetermined position in the parking space 270 is received by the reception unit 240.
  • the receiving unit 240 outputs the received position to the target setting unit 242.
  • the target setting unit 242 When the target setting unit 242 receives the position from the reception unit 240, the target setting unit 242 extracts each side of the square surrounding the position from the all-around bird's-eye view image. For example, each side is shown as a white line.
  • the target setting unit 242 identifies the quadrangle surrounded by the extracted sides as the parking space 270 in FIG.
  • the parking space 270 corresponds to the parking position described above. Note that the number of extracted sides may be three, five, or six.
  • the target setting unit 242 sets a triangular, pentagonal, or hexagonal space as the parking space 270.
  • the target setting unit 242 receives an image from the frame buffer 1020, and extracts a license plate when the license plate is included in the image.
  • the calculation unit 244 receives information regarding the parking position from the target setting unit 242. In addition, the calculation unit 244 stores in advance information related to an expected trajectory corresponding to each of a plurality of types of handle snake angles. The calculation unit 244 selects an expected trajectory with a small steering wheel angle, and associates the expected trajectory with the all-around bird's-eye view image as a trajectory for allowing the vehicle 300 to enter the parking space 270. The calculation unit 244 also stores information regarding a position where the vehicle 300 can be moved from the current position. The calculation unit 244 extends the predicted trajectory from the parking space 270 to a movable position. Here, the position where the movable position and the expected trajectory intersect corresponds to the aforementioned stop position before parking.
  • FIG. 19 (b) shows the pre-parking stop position 280 when a predetermined steering wheel steering angle is set.
  • the first predicted trajectory 250a, the second predicted trajectory 250b, and the third predicted trajectory 250c are collectively referred to as the predicted trajectory 250.
  • the pre-parking stop position 280 is displayed so as to overlap other vehicles.
  • the calculation unit 244 determines that the handle steering angle is not suitable.
  • FIG. 19C corresponds to a case where the handle snake angle is increased from that in FIG. 19B.
  • the expected trajectory 250 and the pre-parking stop position 280 are not displayed so as to overlap other vehicles. For this reason, the calculation unit 244 determines that the handle steering angle is suitable.
  • FIG. 19D shows an image when the vehicle 300 enters the pre-parking stop position 280.
  • a first vehicle width extension line 258a and a second vehicle width extension line 258b collectively referred to as a vehicle width extension line 258 are also shown.
  • the driver moves the vehicle 300 backward at a steering wheel horn angle corresponding to the expected trajectory 250.
  • FIG. 19 (e) shows an image before the vehicle 300 enters the parking space 70.
  • the driving support device 200 may notify the driver of the steering wheel steering angle.
  • the driving support device 200 may notify the driver that a suitable steering wheel steering angle does not exist. These notifications may be made by voice or by display on a display device.
  • combination part 232 displays the parking stop position 280 and the estimated locus
  • the parking position before parking and the predicted trajectory with respect to the steering wheel horn that has been confirmed not to collide with other objects are displayed, so that the driver can assist the parking operation. Moreover, since parking operation is assisted, safety can be improved. In addition, since the steering wheel is used in order from the smallest angle, the driver's operation can be reduced. Moreover, since the stop position before parking with a low probability of collision is shown, the parking operation can be simplified. In addition, since the expected trajectory for the steering wheel steering angle suitable for parking is displayed, the visibility of the driver can be improved.
  • the combining unit 32 causes the display device 14 to display a route through which the tire should pass as an expected trajectory.
  • the present invention is not limited thereto, and for example, the combining unit 32 may cause the display device 14 to display a traveling surface on which the vehicle 100 travels as an expected trajectory. More specifically, in FIG. 3, the running surface is displayed by coloring between the first steering wheel right steering angle ⁇ predicted locus 50a and the second steering wheel right steering angle ⁇ expected locus 50b.
  • the width of the allowance on the outside of the vehicle body, not the tire passage route may be displayed. According to this modification, the driver can easily recognize the portion through which the vehicle 100 passes.
  • the vehicle moves until the steering wheel is rotated by a predetermined rudder angle during reverse.
  • the period until the steering wheel is rotated to a predetermined rudder angle is a period specific to the driver, the distance that the vehicle travels by the creep phenomenon is specified during that period. An offset is added. According to this modification, an expected locus close to the actual locus can be displayed.
  • the operation unit 28 may receive an instruction regarding the number of predicted trajectories displayed, the color of the expected trajectory, and the switching of the route display or the traveling surface display as the predicted trajectory.
  • the control unit 26 may change the setting in the synthesizing unit 32 according to the instruction received in the operation unit 28. According to this modification, it is possible to provide a screen that allows the driver to easily recognize information.
  • the synthesizing unit 1032 causes the display device 1014 to display a route that the tire should pass as an expected trajectory.
  • the present invention is not limited thereto, and for example, the combining unit 1032 may cause the display device 1014 to display a traveling surface on which the vehicle 1100 travels as an expected trajectory. More specifically, in FIG. 10, the running surface is displayed by coloring between the first predicted locus 1050a and the second expected locus 1050b. According to this modification, the driver can easily recognize the portion through which the vehicle 1100 passes.
  • the operation unit 1028 may receive an instruction relating to the color of the expected trajectory and the switching of the display of the route or the display of the traveling surface as the expected trajectory.
  • the control unit 1026 may change the setting in the synthesis unit 1032 according to the instruction received in the operation unit 1028. According to this modification, it is possible to provide a screen that allows the driver to easily recognize information.
  • the control unit 26 instructs the generation unit 22 and the like to start processing based on the presence position from the position acquisition unit 82 and the moving speed from the speed acquisition unit 84.
  • the present invention is not limited to this.
  • the control unit 26 may instruct the generation unit 22 or the like to start processing based on the position from the position acquisition unit 82. In that case, the speed acquisition unit 84 is omitted. According to this modification, the configuration can be simplified.
  • the present invention it is possible to provide the driver with information for improving the alignment accuracy when starting parking. Moreover, according to this invention, the warning of the obstruction in the case of parking can be performed with high precision.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

　生成部２２は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する。予想軌跡記憶部３０は、鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡をハンドルの舵角を変えながら複数記憶する。合成部３２は、予想軌跡記憶部３０において記憶した複数の予想軌跡を鳥瞰図画像に重畳して表示する。

Description

運転支援装置
　本発明は、運転支援技術に関し、特に車両に設置された撮像装置によって撮像した画像をもとに、運転を支援する運転支援装置に関する。
　車両のリア部分に車載カメラを設置し、車載カメラによって撮像した画像を運転者に提示することによって、車両後方の様子を運転者に知らしめるための運転支援装置が開発されている。さらに、運転支援装置は、画像だけではなく、ハンドルの舵角に応じてタイヤが進むと想定される予想軌跡も表示することがある。その際、ハンドルの舵角は、舵角センサから取得されてもよいが、舵角センサの価格等を考慮すると、舵角センサは使用されない方が好ましい。そこで、舵角センサを使用せず、かつ駐車開始を実行する際の位置合わせの精度を向上させるために、ハンドルを末切りしたときの予測軌跡に対する接線が、画像に重ねて表示されることがある（例えば、特許文献１参照）。さらに、運転支援装置は、画像を提示するだけではなく、障害物に接近した場合に、その旨を運転者に警告する。その際、障害物の検出は、予め基準画像を撮像し、後退する際に撮像した画像と基準画像とを比較することによってなされる（例えば、特許文献２参照）。
特開２００３－１１７６２号公報 特開２０００－１７７５１３号公報
　運転者が駐車を実行する際、車両後方だけではなく車両前方や側方にも、障害物は存在する場合がある。その際、運転者の利便性を考慮すれば、車両外周における様子が一目で確認できる方が好ましい。また、運転者が駐車を実行する際、ハンドルを末切りする場合だけではなく、その他の角度にハンドルを回転させることもある。その際、ハンドルを末切りしたときの予測軌跡だけでは、駐車の支援には不十分である。
　また、運転者が駐車を実行する際、車両後方だけではなく車両前方や側方にも、障害物は存在する場合がある。そのため、車両の後方における障害物だけではなく、車両の周囲に対する障害物が検出される方が好ましい。また、駐車する際の障害物として、静体と動体とが存在する。静体とは、壁や他の駐車車両などの駐車を実行する際に移動しない物体である。一方、動体とは、ボールや人物などの駐車を実行する際に移動する物体である。前者に対して、高速な検出速度よりも高い検出精度がより要求され、後者に対して、高速な検出精度も要求される。
　本発明者はこうした状況を認識して本発明をなしたものであり、その目的は、運転者に対して、駐車開始を実行する際の位置合わせの精度を向上させるための情報を提供する技術を提供することである。また、別の目的は、駐車の際における障害物の警告を高精度に実行する技術を提供することである。
　上記課題を解決するために、本発明のある態様の運転支援装置は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、画像生成部において生成した鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡をハンドルの舵角を変えながら複数記憶する記憶部と、記憶部において記憶した複数の予想軌跡を画像生成部において生成した鳥瞰図画像に重畳して表示する表示部と、を備える。
　本発明の別の態様もまた、運転支援装置である。この装置は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、画像生成部において生成した鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡を記憶する記憶部と、記憶部において記憶した予想軌跡を画像生成部において生成した鳥瞰図画像に重畳して表示する表示部と、表示部において表示される鳥瞰図画像に対して、予想軌跡をもとに障害物の検出領域を設定する設定部と、設定部において設定した検出領域内の障害物を検出した場合に、その旨を警告する警告部と、を備える。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、運転者に対して、駐車開始を実行する際の位置合わせの精度を向上させるための情報を提供できる。また、駐車の際における障害物の警告を高精度に実行できる。
本発明の実施例１に係る車両の構成を示す図である。 図１の運転支援装置の構成を示す図である。 図２の合成部において生成される合成画像を示す図である。 図２の合成部において生成される別の合成画像を示す図である。 図２の合成部において生成されるさらに別の合成画像を示す図である。 図２の運転支援装置における表示手順を示すフローチャートである。 図２の運転支援装置における予想軌跡の生成手順を示すフローチャートである。 本発明の実施例２に係る車両の構成を示す図である。 図８の運転支援装置の構成を示す図である。 図１０（ａ）－（ｅ）は、図９の合成部において後退駐車の際に生成される合成画像を示す図である。 図１１（ａ）－（ｃ）は、図９の合成部において前進駐車から発進する際に生成される合成画像を示す図である。 図９の監視部における監視処理の概要を示す図である。 図１３（ａ）－（ｆ）は、図９の警告部における警告処理の概要を示す図である。 図１４（ａ）－（ｃ）は、図９の警告部における警告処理の別の概要を示す図である。 図９の運転支援装置における表示手順を示すフローチャートである。 本発明の実施例３に係る運転支援装置の構成を示す図である。 図１６の運転支援装置における表示手順を示すフローチャートである。 本発明の実施例４に係る運転支援装置の構成を示す図である。 図１９（ａ）－（ｅ）は、図１８の合成部における表示処理の概要を示す図である。 図１８の運転支援装置における表示処理を示すフローチャートである。
（実施例１）
　本発明を具体的に説明する前に、概要を述べる。本発明の実施例１は、車載カメラにて撮像した画像を表示するとともに、駐車する際の予想軌跡も表示する運転支援装置に関する。駐車開始を実行する際の位置合わせの精度を向上させるための情報として、車両外周における様子が一目で確認できる情報と、ハンドルを末切りしたときの予測軌跡以外の予想軌跡とを提供するために、本実施例に係る運転支援装置は以下の処理を実行する。車両には、後方だけではなく前方にも、車載カメラが設置される。例えば、車両のフロント部分の左右およびリア部分の左右に、合計４つの車載カメラが設置される。運転支援装置は、複数の車載カメラのそれぞれにおいて撮像した画像を取得し、全周鳥瞰図画像を生成する。
　また、運転支援装置は、末切りだけではなく、複数種類のハンドル舵角のそれぞれに応じた予想軌跡を予め記憶する。ここで、予想軌跡は、全周鳥瞰図画像に対応するので、後輪だけではなく前輪に対する軌跡も含まれている。また、各舵角に応じた予想軌跡は、色が異なるなど、運転者にとって舵角が容易に認識できるように表示される。このように、全周鳥瞰図画像を使用することによって、後方だけでなく前方の安全性も考慮した誘導が可能になる。また、ハンドルの舵角に応じて予め記憶された予想軌跡を表示するので、舵角センサとの通信が不要で低コストの実現が可能になる。また、複数のハンドル舵角に応じた予想軌跡を複数表示するので、運転者に詳細な情報を提供できる。
　図１は、本発明の実施例に係る車両１００の構成を示す。車両１００は、運転支援装置１０、撮像装置１２と総称される第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃ、第４撮像装置１２ｄ、表示装置１４を含む。なお、車両１００には、エンジン、シャーシ、ハンドル、ブレーキ等のような、車両１００の本来の動作を実現するための構成要素が含まれている。しかしながら、図を明瞭にするために、図１は、運転を支援するための画像を表示するために必要な構成要素以外を省略する。また、図１に示された車両１００の左側が前方に相当する。
　撮像装置１２は、画像を連続的に撮像し、撮像した画像を運転支援装置１０へ出力する。ここでは、画像そのものあるいは画像のデータを区別せずに「画像」という。第１撮像装置１２ａと第２撮像装置１２ｂは、車両１００のフロント部分に設置され、第３撮像装置１２ｃと第４撮像装置１２ｄは、車両１００のリア部分に設置されている。なお、撮像装置１２の数は「４」に限定されない。運転支援装置１０は、各撮像装置１２からの画像を入力する。運転支援装置１０は、入力した画像を鳥瞰図画像に変換し、さらに複数の撮像装置１２のそれぞれに対応した鳥瞰図画像を合成することによって、全周鳥瞰図画像を生成する。
　運転支援装置１０は、ハンドルの舵角に応じて複数種類の予想軌跡を記憶しており、生成した全周鳥瞰図画像に複数種類の予想軌跡を重ねる。ここでは、複数種類の予想軌跡が重ねられた全周鳥瞰図画像を「合成画像」という。運転支援装置１０は、表示装置１４へ合成画像を出力する。表示装置１４は、運転支援装置１０からの合成画像を受けつける。また、表示装置１４は、モニタを備えており、モニタに合成画像を表示する。なお、運転支援装置１０と表示装置１４とが一体的に構成されていてもよい。
　図２は、運転支援装置１０の構成を示す。運転支援装置１０は、フレームバッファ２０と総称される第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃ、第４フレームバッファ２０ｄ、生成部２２、変換テーブル記憶部２４、制御部２６、操作部２８、予想軌跡記憶部３０、合成部３２を含む。
　フレームバッファ２０は、図示しない各撮像装置１２に対応づけられて配置されている。例えば、第１フレームバッファ２０ａから第４フレームバッファ２０ｄは、第１撮像装置１２ａから第４撮像装置１２ｄにそれぞれ対応づけられている。フレームバッファ２０は、撮像装置１２からの画像を記憶し、生成部２２へ画像を出力する。生成部２２は、複数のフレームバッファ２０から画像を受けつけ、各画像を鳥瞰図画像へ変換する。このような変換には、公知の技術、例えば特開２００８－４８３４５号公報に開示された技術を使用すればよいので、ここでは説明を省略する。
　変換テーブル記憶部２４は、画像から全周鳥瞰図画像への変換の際に使用される変換式を記憶しており、生成部２２は、制御部２６を介して、変換テーブル記憶部２４に記憶された変換式を参照することによって、鳥瞰図画像を生成する。また、生成部２２は、鳥瞰図画像を合成することによって、全周鳥瞰図画像を生成する。なお、全周鳥瞰図画像の生成にも、特開２００８－４８３４５号公報に開示された技術が使用されればよい。このような全周鳥瞰図画像は、車両１００周辺の鳥瞰図画像ともいえる。ここで、生成部２２は、各フレームバッファ２０から連続的に画像を入力するので、全周鳥瞰図画像を連続的に生成する。生成部２２は、全周鳥瞰図画像を合成部３２へ出力する。
　予想軌跡記憶部３０は、生成部２２において生成した全周鳥瞰図画像に対応すべき車両１００の予想軌跡を記憶する。ここで、予想軌跡は、車両１００のタイヤが通過すると予想される経路であり、車両１００のハンドルを操作して車両１００を後退させる場合の経路に相当する。また、予想軌跡は、ハンドル舵角を変えながら複数記憶されている。さらに、ひとつのハンドル舵角に対して、ハンドルを左右に回転させたときのふたつの予想軌跡が記憶されている。なお、予想軌跡の詳細は後述する。ここで、ハンドル舵角に応じて、予想軌跡の色は、異なっているものとする。
　合成部３２は、生成部２２から全周鳥瞰図画像を入力し、予想軌跡記憶部３０から複数の予想軌跡を入力する。合成部３２は、複数の予想軌跡を全周鳥瞰図画像に重畳することによって、合成画像を生成する。その際、合成部３２は、全周鳥瞰図画像上の車両１００の座標と、予想軌跡の座標とを対応づける。つまり、予想軌跡の起点が車両１００となるように合成画像が生成される。なお、合成画像の詳細は後述する。合成部３２は、合成画像を図示しない表示装置１４へ出力することによって、表示装置１４に合成画像を表示させる。
　操作部２８は、ボタン等を含むように構成されており、運転者からの指示を受けつける。操作部２８によって受けつけられる指示の一例は、合成画像の表示に関する指示である。操作部２８は、受けつけた指示を制御部２６へ出力する。制御部２６は、運転支援装置１０全体の動作を制御する。また、制御部２６は、操作部２８から入力した指示に応じて、生成部２２、変換テーブル記憶部２４、予想軌跡記憶部３０、合成部３２を制御する。以下では、制御部２６の動作を（１）停車前、（２）後退前、（３）後退中、（４）予想軌跡の生成の順に説明する。
（１）停車前
　運転者が車両１００を運転して駐車スペースの近傍に到着したとき、操作部２８は、合成画像を表示すべき旨の指示を運転者から受けつける。これは、運転者がボタン押下することによって実現される。なお、ボタンが押し下げられるまで、表示装置１４には、合成画像が表示されておらず、例えば、ナビゲーション画面等が表示されている。そのため、駐車前にボタン押下によって、表示装置１４の表示が切りかえられるともいえる。なお、操作部２８は、ボタンによって指示を受けつけずに、例えば、タッチパネル、音声認識などによって指示を受けつけてもよい。前述のごとく、操作部２８は、受けつけた指示を制御部２６へ出力する。
　制御部２６は、操作部２８からの指示を受けつけると、合成画像が生成されるように、生成部２２、合成部３２の動作を制御する。生成部２２は、前述のごとく、全周鳥瞰図画像を生成して合成部３２へ出力する。合成部３２は、予想軌跡記憶部３０から、複数の予想軌跡を抽出する。ここで、複数の予想軌跡は、互いに異なった後退時のハンドル舵角に対応する。例えば、ふたつのハンドル舵角を説明の対象とすると、ハンドル舵角αに対応した予想軌跡と、ハンドル舵角βに対応した予想軌跡が抽出される。なお、α＜βとし、ハンドル舵角βは末切りに対応してもよい。合成部３２は、全周鳥瞰図画像に複数の予想軌跡を重畳することによって、合成画像を生成する。
　その結果、合成部３２は、予め設定したハンドル舵角α、βのそれぞれに対して、ハンドルを左方向に回転させた場合の予想軌跡と、ハンドルを右方向に回転させた場合の予想軌跡とを含むような合成画像を生成する。図示しない表示装置１４は、合成画像を表示することによって、複数種類のハンドル舵角のそれぞれに対応した予想軌跡を表示する。そのため、運転者が後退の際にハンドルを末切りまで回転させない場合であっても、いずれかの予想軌跡が、運転者の好みに応じたハンドル舵角に近くなる。その結果、運転者の運転流儀に合わせた表示となるため、ハンドル操作の誤りが低減される。
　また、運転者における予想軌跡の視認性を向上させるために、合成部３２は、合成画像を生成する際、ハンドル舵角ごとに予想軌跡の色を変更する。表示の色は、操作部２８を介して、運転者によって設定されてもよい。制御部２６は、操作部２８からの設定内容を予想軌跡記憶部３０に記憶させる。合成部３２は、予想軌跡記憶部３０から予想軌跡を抽出する際に、設定内容も抽出することによって、合成画像の生成に設定内容を反映させる。
　図３は、合成部３２において生成される合成画像を示す。これは、表示装置１４に表示された合成画像ともいえる。合成画像の中央付近に車両１００が示されている。また、合成画像の下部に駐車スペース７０が示されている。また、ハンドル右舵角β予想軌跡５０と総称される第１ハンドル右舵角β予想軌跡５０ａ、第２ハンドル右舵角β予想軌跡５０ｂ、第３ハンドル右舵角β予想軌跡５０ｃも示される。ハンドル右舵角β予想軌跡５０は、ハンドル舵角βだけハンドルを右方向に回転させた場合の予想軌跡に相当する。また、第１ハンドル右舵角β予想軌跡５０ａは、右側後輪の予想軌跡に相当し、第２ハンドル右舵角β予想軌跡５０ｂは、左側後輪の予想軌跡に相当し、第３ハンドル右舵角β予想軌跡５０ｃは、左側前輪の予想軌跡に相当する。
　さらに、ハンドル左舵角β予想軌跡５２、ハンドル右舵角α予想軌跡５４、ハンドル左舵角α予想軌跡５６も同様に示される。車幅延長線５８と総称される第１車幅延長線５８ａ、第２車幅延長線５８ｂは、ハンドルを切らずに車両１００が後退した場合の軌跡である。図３では、ハンドル舵角αに対応したハンドル右舵角α予想軌跡５４、ハンドル左舵角α予想軌跡５６が実線で示され、ハンドル舵角βに対応したハンドル右舵角β予想軌跡５０、ハンドル左舵角β予想軌跡５２が点線で示されている。実線と点線とは、表示装置１４における異なった色の表示に相当する。つまり、ハンドル舵角に応じて予想軌跡が異なった色によって表示されている。このような複数の予想軌跡を表示することによって、運転支援装置１０は、前方や後方の障害物に接触することなく駐車スペース７０に収まるような最適位置に誘導する。図２に戻る。
（２）後退前
　運転者が表示装置１４に表示された合成画像を見ながら、駐車の開始となる位置にハンドルをまっすぐにして車両１００を停止させたとき、つまり車両１００の後退を開始させる前、操作部２８は、ハンドル舵角や回転方向の選択の指示を運転者から受けつける。例えば、制御部２６は、合成部３２を介して、ハンドル右舵角β予想軌跡５０からハンドル左舵角α予想軌跡５６のいずれを選択するかの旨を表示装置１４に表示する。運転者は、ボタンを操作することによって、ハンドル右舵角β予想軌跡５０からハンドル左舵角α予想軌跡５６のいずれかを選択する。また、操作部２８は、左右ボタンの押下や、ボタン連続押し回数などをもとに、選択内容を認識してもよい。操作部２８は、受けつけた選択内容を制御部２６へ出力する。
　制御部２６は、操作部２８からの選択内容をもとに、ハンドル舵角や回転方向に関する情報を取得する。制御部２６は、取得したハンドル舵角や回転方向をもとに、予想軌跡記憶部３０に記憶した複数の予想軌跡のうちのひとつを選択する。つまり、取得したハンドル舵角や回転方向に応じた予想軌跡が選択される。制御部２６は、選択した予想軌跡を合成部３２へ出力する。合成部３２は、複数の予想軌跡ではなく、選択された予想軌跡を全周鳥瞰図画像に重畳することによって、合成画像を生成する。なお、複数の予想軌跡を使用する場合と、選択された予想軌跡を使用する場合とを区別することなく、以下では合成画像と呼ぶ。合成部３２は、前述のごとく、図示しない表示装置１４へ合成画像を出力する。その際、制御部２６は、図示しないスピーカから、「ハンドルをｘｘ回左に切ってください」のような音声ガイダンス等を出力してもよい。
　図４は、合成部３２において生成される別の合成画像を示す。ここで、図３に示された４種類の予想軌跡のうち、ハンドル左舵角β予想軌跡５２が選択されたとする。その結果、図４のごとく、ハンドル左舵角β予想軌跡５２、車幅延長線５８が表示される。つまり、４種類の予想軌跡のうちのひとつが選択されて表示されている。このように、実際に後退をする際に、不要な予想軌跡を表示しないので、運転者による見間違いの発生を低減できる。図２に戻る。
（３）後退中
　制御部２６は、操作部２８からの選択内容を受けつけた後、タイマーを開始させることによって、操作部２８からの選択内容を受けつけてからの期間を計測する。予め定めた期間が経過された後、つまり図４のような合成画像が表示装置１４に表示されてから、一定の期間が経過した後、制御部２６は、合成部３２に対して、予想軌跡の重畳を中止させる。その結果、合成部３２は、全周鳥瞰図画像に車幅延長線のみを重畳することによって、合成画像を生成し、表示装置１４へ合成画像を出力する。
　図５は、合成部３２において生成されるさらに別の合成画像を示す。図５では、図３において示されたすべての予想軌跡が消去され、車幅延長線５８のみが表示されている。車両１００の後退が開始されると、予想軌跡は一般的に不要になるので、全周鳥瞰図画像の視認性をよくするために、予想軌跡が消去される。図２に戻る。なお、制御部２６は、図示しないシフト位置センサと接続されており、シフトが後退に入った旨をシフト位置センサから受けつける。その後、制御部２６は、シフトが別の位置に入った旨をシフト位置センサから受けつけたときに、合成部３２に対して、予想軌跡の重畳を中止させてもよい。あるいは、運転者によるボタンの再押下を操作部２８が検出し、制御部２６は、操作部２８における検出がなされたときに、合成部３２に対して、予想軌跡の重畳を中止させてもよい。
（４）予想軌跡の生成
　これまでは、運転者が車両１００を駐車させる際の処理を説明した。つまり、運転支援装置１０は、状況に応じて予想軌跡を変更しながら合成画像を生成していた。しかしながら、ここでは、以上の処理の前提として、予想軌跡の生成処理を説明する。操作部２８は、運転者によるボタンの押し下げを検出することによって、予想軌跡の生成開始の指示を受けつける。操作部２８は、予想軌跡の生成開始の指示を制御部２６へ出力する。制御部２６は、指示を受けつけると、生成部２２は、全周鳥瞰図画像を連続的に生成するとともに、各全周鳥瞰図画像における車両１００の位置を特定する。
　また、生成部２２は、複数の全周鳥瞰図画像にわたって、特定した車両１００の位置をつなげていくことによって、車両１００の移動の軌跡を生成する。その際、生成部２２は、各全周鳥瞰図画像中において、共通の目標物を特定し、当該共通の目標物を位置の基準として軌跡を生成する。生成した移動の軌跡のうち、後輪や前輪に対応した部分、つまり曲線が予想軌跡となる。そのため、表示装置１４において表示される全周鳥瞰図画像上における車両１００の実際の軌跡を取得し、取得した軌跡をもとに新たな予想軌跡が生成される。その際、運転者がハンドル舵角を希望する角度や回転に合わせて、車両１００が後退することによって、当該ハンドル舵角に応じた予想軌跡が生成される。つまり、運転者によって通常回転されるハンドル舵角に応じた予想軌跡が生成される。さらに、生成部２２は、生成した予想軌跡を新たな予想軌跡として、予想軌跡記憶部３０に記憶させる。
　この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　以上の構成による運転支援装置１０の動作を説明する。図６は、運転支援装置１０における表示手順を示すフローチャートである。図６は、前述の（１）から（３）の処理に相当する。操作部２８は、ボタンの押し下げを検出する（Ｓ１０）。合成部３２は、全周鳥瞰図画像および複数の予想軌跡をもとに合成画像を生成し、合成画像を表示装置１４に表示させる（Ｓ１２）。操作部２８が、ハンドル舵角の選択指示を受けつけなければ（Ｓ１４のＮ）、合成部３２は、同様の合成画像を生成し続ける。
　一方、操作部２８が、ハンドル舵角の選択指示を受けつけると（Ｓ１４のＹ）、制御部２６は、指示に応じて予想軌跡を選択し（Ｓ１６）、合成部３２は、全周鳥瞰図画像および選択された予想軌跡をもとに合成画像を生成し、合成画像を表示装置１４に表示させる。また、制御部２６は、選択内容に応じたガイダンスをスピーカから出力する（Ｓ１８）。一定期間経過していなければ（Ｓ２０のＮ）、合成部３２は、同様の合成画像を生成し続ける。一方、一定期間経過すれば（Ｓ２０のＹ）、合成部３２は、予想軌跡の表示を消去する（Ｓ２２）。
　図７は、運転支援装置１０における予想軌跡の生成手順を示すフローチャートである。図７は、前述の（４）の処理に相当する。操作部２８は、ボタンの押し下げを検出する（Ｓ５０）。生成部２２は、全周鳥瞰図画像を連続的に記憶する（Ｓ５２）。記憶が完了しなければ（Ｓ５４のＮ）、ステップ５２に戻る。一方、記憶が完了すれば（Ｓ５４のＹ）、生成部２２は、各全周鳥瞰図画像における車両１００および共通の目標物を検出する（Ｓ５６）。また、生成部２２は、複数の全周鳥瞰図画像にわたって、車両１００および共通の目標物を対応づけながら、車両１００の軌跡を生成する（Ｓ５８）。さらに、生成部２２は、生成した車両１００の軌跡を新たな予想軌跡として予想軌跡記憶部３０に記憶する（Ｓ６０）。
　本発明の実施例によれば、全周鳥瞰図画像を使用するので、車両の後方だけでなく、前方外周における予想軌跡を表示できる。また、前方外周における予想軌跡も表示するので、運転者に対して、駐車開始を実行する際の位置合わせの精度を向上させるための情報を提供できる。また、全周鳥瞰図画像を使用するので、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮できる。また、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮するので、より最適な停車位置に誘導できる。また、ハンドル末切りだけでなく、複数のハンドル舵角のそれぞれに対応した予想軌跡を表示させるので、車両の後方だけでなく、前方の駐車車両や障害物等に対しても接触する危険のない位置に車両を誘導できる。
　また、ハンドル末切りだけでなく、複数のハンドル舵角のそれぞれに対応した予想軌跡を表示させるので、運転者に対して、駐車開始を実行する際の位置合わせの精度を向上させるための情報を提供できる。また、複数の予想軌跡を表示させるので、最適停車位置の目処をつけやすくできる。また、直進の車幅延長線に加え、ハンドルを左右に一定量だけ回転させた場合の予想軌跡を複数本表示するので、ユーザに対して、後退・縦列駐車前の最適な停車位置に関する情報を提供できる。また、後退開始前にガイダンスの音声を出力するので、正確なハンドル操作を指示できる。また、実操舵角を利用しないので、舵角センサを不要にできる。また、舵角センサが不要になるので、より簡易なシステム構成を実現できる。また、舵角センサを搭載した車両においても、舵角センサから得られる舵角情報をもとにリアルタイムで予想軌跡を計算する必要がなくなるので、処理を軽減できる。
（実施例２）
　本発明を具体的に説明する前に、概要を述べる。本発明の実施例２は、車載カメラにて撮像した画像を表示するとともに、駐車する際の予想軌跡も表示し、さらに障害物との接近を運転者に警告する運転支援装置に関する。車両の周囲に対する障害物を検出するとともに、障害物として静体と動体とのそれぞれを高精度に検出するために、本実施例に係る運転支援装置は以下の処理を実行する。車両には、後方だけではなく前方にも、車載カメラが設置される。例えば、車両のフロント部分の左右およびリア部分の左右に、合計４つの車載カメラが設置される。運転支援装置は、複数の車載カメラのそれぞれにおいて撮像した画像を取得し、全周鳥瞰図画像を生成する。
　また、運転支援装置は、所定のハンドル舵角に対応した予想軌跡を予め記憶する。ここで、予想軌跡は、全周鳥瞰図画像に対応するので、後輪だけではなく前輪に対する軌跡も含まれている。運転支援装置は、予想軌跡上あるいは予想軌跡から一定の幅を有したエリア上（以下、これらを「第１エリア」という）において、静体を検出する。静体の検出には、例えば、平面投影ステレオ法が使用される。一方、運転支援装置は、車両１１００が通過するエリア（以下、「第２エリア」という）において、動体を検出する。動体の検出には、例えば、オプティカルフローが使用される。このように、全周鳥瞰図画像を使用することによって、後方だけでなく前方や側方の障害物を検出できる。また、静体と動体とを別々に検出するので、それぞれに適した検出方法を使用できる。
　図８は、本発明の実施例に係る車両１１００の構成を示す。車両１１００は、運転支援装置１０１０、撮像装置１０１２と総称される第１撮像装置１０１２ａ、第２撮像装置１０１２ｂ、第３撮像装置１０１２ｃ、第４撮像装置１０１２ｄ、表示装置１０１４を含む。なお、車両１１００には、エンジン、シャーシ、ハンドル、ブレーキ等のような、車両１１００の本来の動作を実現するための構成要素が含まれている。しかしながら、図を明瞭にするために、図８は、運転を支援するための画像を表示するためや、障害物を検出した場合に警告するために必要な構成要素以外を省略する。また、図８に示された車両１１００の左側が前方に相当する。
　撮像装置１０１２は、画像を連続的に撮像し、撮像した画像を運転支援装置１０１０へ出力する。ここでは、画像そのものあるいは画像のデータを区別せずに「画像」という。第１撮像装置１０１２ａと第２撮像装置１０１２ｂは、車両１１００のフロント部分に設置され、第３撮像装置１０１２ｃと第４撮像装置１０１２ｄは、車両１１００のリア部分に設置されている。ここで、第１撮像装置１０１２ａから第４撮像装置１０１２ｄは、任意の組合せにてステレオカメラを形成する。ステレオカメラとは、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラのことである。なお、撮像装置１０１２の数は「４」に限定されない。
　運転支援装置１０１０は、各撮像装置１０１２からの画像を入力する。運転支援装置１０１０は、入力した画像を鳥瞰図画像に変換し、さらに複数の撮像装置１０１２のそれぞれに対応した鳥瞰図画像を合成することによって、全周鳥瞰図画像を生成する。運転支援装置１０１０は、予想軌跡を記憶しており、生成した全周鳥瞰図画像に複数種類の予想軌跡を重ねる。ここでは、予想軌跡が重ねられた全周鳥瞰図画像を「合成画像」という。運転支援装置１０１０は、表示装置１０１４へ合成画像を出力する。
　表示装置１０１４は、運転支援装置１０１０からの合成画像を受けつける。また、表示装置１０１４は、モニタを備えており、モニタに合成画像を表示する。さらに、運転支援装置１０１０は、予想軌跡をもとに、前述の第１エリアと第２エリアとを設定する。運転支援装置１０１０は、第１エリアにおいて静体を検出するとともに、第２エリアにおいて動体を検出する。運転支援装置１０１０は、静体や動体を検出した場合に、運転者に警告を出力する。なお、運転支援装置１０１０と表示装置１０１４とが一体的に構成されていてもよい。
　図９は、運転支援装置１０１０の構成を示す。運転支援装置１０１０は、フレームバッファ１０２０と総称される第１フレームバッファ１０２０ａ、第２フレームバッファ１０２０ｂ、第３フレームバッファ１０２０ｃ、第４フレームバッファ１０２０ｄ、生成部１０２２、変換テーブル記憶部１０２４、制御部１０２６、操作部１０２８、予想軌跡記憶部１０３０、合成部１０３２、監視部１０３４、警告部１０３６を含む。また、監視部１０３４は、設定部１０３８、静体検知部１０４０、動体検知部１０４２を含む。
　操作部１０２８は、ボタン等を含むように構成されており、運転者からの指示を受けつける。操作部１０２８によって受けつけられる指示の一例は、合成画像の表示や監視処理の開始に関する指示である。操作部１０２８は、受けつけた指示を制御部１０２６へ出力する。制御部１０２６は、運転支援装置１０１０全体の動作を制御する。また、制御部１０２６は、操作部１０２８から入力した指示に応じて、後述の生成部１０２２、変換テーブル記憶部１０２４、予想軌跡記憶部１０３０、合成部１０３２、監視部１０３４、警告部１０３６を制御する。ここでは、制御部１０２６によって制御される運転支援装置１０１０の状態として、（１）停車前、（２）後退前、（３）後退中が規定されている。
　フレームバッファ１０２０は、図示しない各撮像装置１０１２に対応づけられて配置されている。例えば、第１フレームバッファ１０２０ａから第４フレームバッファ１０２０ｄは、第１撮像装置１０１２ａから第４撮像装置１０１２ｄにそれぞれ対応づけられている。フレームバッファ１０２０は、撮像装置１０１２からの画像を記憶し、生成部１０２２へ画像を出力する。生成部１０２２は、複数のフレームバッファ１０２０から画像を受けつけ、各画像を鳥瞰図画像へ変換する。このような変換には、公知の技術、例えば特開２００８－４８３４５号公報に開示された技術を使用すればよいので、ここでは説明を省略する。
　変換テーブル記憶部１０２４は、画像から全周鳥瞰図画像への変換の際に使用される変換式を記憶しており、生成部１０２２は、制御部１０２６を介して、変換テーブル記憶部１０２４に記憶された変換式を参照することによって、鳥瞰図画像を生成する。また、生成部１０２２は、鳥瞰図画像を合成することによって、全周鳥瞰図画像を生成する。なお、全周鳥瞰図画像の生成にも、特開２００８－４８３４５号公報に開示された技術が使用されればよい。このような全周鳥瞰図画像は、車両１１００周辺の鳥瞰図画像ともいえる。ここで、生成部１０２２は、各フレームバッファ１０２０から連続的に画像を入力するので、全周鳥瞰図画像を連続的に生成する。生成部１０２２は、全周鳥瞰図画像を合成部１０３２へ出力する。生成部１０２２は、全周鳥瞰図画像の生成とは別に、フレームバッファ１０２０から受けつけた画像を監視部１０３４へ出力する。
　予想軌跡記憶部１０３０は、生成部１０２２において生成した全周鳥瞰図画像に対応すべき車両１１００の予想軌跡を記憶する。ここで、予想軌跡は、車両１１００のタイヤが通過すると予想される経路であり、車両１１００のハンドルを操作して車両１１００を後退させる場合の経路に相当する。例えば、予想軌跡は、ハンドルを末切りまで回転させたときの経路として予め設定されている。なお、予想軌跡記憶部１０３０は、ハンドルを末切りまで回転させたときの予想軌跡以外の別の予想軌跡も記憶してもよい。その際、運転者から指示によって、使用される予想軌跡が選択される。また、操作部１０２８は、運転者からの指示を受けつけ、制御部１０２６は、指示に応じた設定を予想軌跡記憶部１０３０に登録する。
　合成部１０３２は、生成部１０２２から全周鳥瞰図画像を入力し、予想軌跡記憶部１０３０から予想軌跡を入力する。合成部１０３２は、予想軌跡を全周鳥瞰図画像に重畳することによって、合成画像を生成する。その際、合成部１０３２は、全周鳥瞰図画像上の車両１１００の座標と、予想軌跡の座標とを対応づける。つまり、予想軌跡の起点が車両１１００となるように合成画像が生成される。なお、合成画像の詳細は後述する。ここでは、合成部１０３２の処理を前述の（１）から（３）に沿って説明する。
　（１）停車前において、運転者が車両１１００を運転して駐車スペースの近傍に到着したとき、操作部１０２８は、合成画像を表示すべき旨の指示を運転者から受けつける。これは、運転者がボタン押下することによって実現される。なお、ボタンが押し下げられるまで、表示装置１０１４には、合成画像が表示されておらず、例えば、ナビゲーション画面等が表示されている。そのため、駐車前にボタン押下によって、表示装置１０１４の表示が切りかえられるともいえる。なお、操作部１０２８は、ボタンによって指示を受けつけずに、例えば、タッチパネル、音声認識などによって指示を受けつけてもよい。前述のごとく、操作部１０２８は、受けつけた指示を制御部１０２６へ出力する。
　制御部１０２６は、操作部１０２８からの指示を受けつけると、合成画像が生成されるように、生成部１０２２、合成部１０３２の動作を制御する。合成部１０３２は、予想軌跡記憶部１０３０から予想軌跡を抽出する。ここで、予想軌跡は、初期のハンドル舵角αに対応する。なお、駐車支援を必要とする場面では、一般的に、ハンドルは末切りまで回転されるので、予想軌跡に対するハンドル舵角は、末切り状態に対応する。合成部１０３２は、合成画像を図示しない表示装置１０１４へ出力することによって、表示装置１０１４に合成画像を表示させる。その結果、運転者は、表示装置１０１４に表示された合成画像を確認しながら、ハンドルを操作することによって、前後方の障害物に接触することなく、駐車スペースに収まるような停車位置への誘導が可能になる。
　（２）後退前において、運転者が表示装置１０１４に表示された合成画像を見ながら、駐車の開始となる位置に車両１１００を停止させたとき、つまり車両１１００の後退を開始させる前、操作部１０２８は、運転者によるボタンの押し下げを検出する。操作部１０２８は、検出結果を制御部１０２６へ出力する。制御部１０２６は、操作部１０２８からの検出結果を受けつけると、図示しないスピーカから、「ハンドルをｘｘ回左に切ってください」のような音声ガイダンス等を出力する。ここで、ガイダンスの内容は、予想軌跡に対するハンドル舵角に対応するように予め設定されている。
　（３）後退中において、制御部１０２６は、操作部１０２８からの検出結果を受けつけた後、タイマーを開始させることによって、操作部１０２８からの検出結果を受けつけてからの期間を計測する。予め定めた期間が経過された後、つまりスピーカから音声ガイダンスが出力されてから、一定の期間が経過した後、制御部１０２６は、合成部１０３２に対して、予想軌跡の重畳を中止させる。その結果、合成部１０３２は、全周鳥瞰図画像に車幅延長線のみを重畳することによって、合成画像を生成し、表示装置１０１４へ合成画像を出力する。車幅延長線とは、ハンドルを切らずに車両１１００がまっすぐ後退した場合の軌跡である。
　なお、制御部１０２６は、図示しないシフト位置センサと接続されており、シフトが後退に入った旨をシフト位置センサから受けつける。その後、制御部１０２６は、シフトが別の位置に入った旨をシフト位置センサから受けつけたときに、合成部１０３２に対して、予想軌跡の重畳を中止させてもよい。あるいは、運転者によるボタンの再押下を操作部１０２８が検出し、制御部１０２６は、操作部１０２８における検出がなされたときに、合成部１０３２に対して、予想軌跡の重畳を中止させてもよい。
　図１０（ａ）－（ｅ）は、合成部１０３２において後退駐車の際に生成される合成画像を示す。これらは、表示装置１０１４に表示される合成画像ともいえる。図１０（ａ）は、車両１１００が駐車場に進入した場合の合成画像である。合成画像の中央付近に車両１１００が示されている。また、合成画像の下部に駐車スペース１０７０が示されている。以下では、車両１１００が駐車スペース１０７０に駐車する場合を想定する。なお、この段階において、合成画像は表示装置１０１４に表示されていなくてもよい。運転者は、このような状態において、ボタンを押し下げることによって、運転支援装置１０１０は、前述の（１）停車前の状態になる。
　図１０（ｂ）は、（１）停車前の状態における合成画像を示す。図示のごとく、予想軌跡１０５０と総称される第１予想軌跡１０５０ａ、第２予想軌跡１０５０ｂ、第３予想軌跡１０５０ｃが示される。また、車幅延長線１０５８と総称される第１車幅延長線１０５８ａ、第２車幅延長線１０５８ｂも示される。予想軌跡１０５０は、ハンドルを末切りまで回転させた場合の予想軌跡に相当する。また、第１予想軌跡１０５０ａは、右側後輪の予想軌跡に相当し、第２予想軌跡１０５０ｂは、左側後輪の予想軌跡に相当し、第３予想軌跡１０５０ｃは、前輪の予想軌跡に相当する。図１０（ｂ）の状態において、第１予想軌跡１０５０ａおよび第２予想軌跡１０５０ｂは、駐車スペース１０７０に隣接したスペースに駐車された車両（以下、「隣接車両」という）に重なっている。
　つまり、図１０（ｂ）の停車位置から、ハンドル舵角が末切りの状態のまま、車両１１００が後退すると、車両１１００が隣接車両に衝突してしまうおそれがある。そのため、運転者は、表示装置１０１４に表示された合成画像を確認しながら、予想軌跡１０５０が隣接車両に重ならないような位置へ車両１１００を移動させる。これは、予想軌跡１０５０上の障害物が存在しない停車位置が模索されることに相当する。
　図１０（ｃ）は、図１０（ｂ）に続く状態であり、予想軌跡１０５０が隣接車両に重ならないような位置に車両１１００が存在する。図１０（ｃ）の停車位置から、ハンドル舵角が末切りの状態のまま、車両１１００が後退しても、車両１１００が隣接車両に衝突しない。そのため、図１０（ｃ）では、停車位置が決定されたといえ、前述の（２）後退前の状態になったといえる。運転者は、このような状態において、ボタンを押し下げると、「ハンドルを末切りまで左に切ってください」との音声ガイダンスが出力される。図１０（ｄ）は、図１０（ｃ）に続く状態であり、前述の（３）後退中の状態である。図示のごとく、予想軌跡１０５０が消去され、車幅延長線１０５８のみが表示されている。運転者は、車両１１００をまっすぐに後退させる。その結果、図１０（ｅ）のごとく、車両１１００は駐車スペース１０７０内にて停止する。
　図１１（ａ）－（ｃ）は、合成部１０３２において前進駐車から発進する際に生成される合成画像を示す。ここでは、初期状態において、車両１１００は、駐車スペース１０７０に停止されており、後退しながら駐車スペース１０７０から出て行く場合を想定する。図１１（ａ）は、前述の（１）停車前の状態に相当しており、予想軌跡１０５０および車幅延長線１０５８が表示されている。また、第３予想軌跡１０５０ｃが隣接車両と重なっている。つまり、図１１（ａ）の停止位置から、ハンドル舵角が末切りの状態のまま、車両１１００が後退すると、車両１１００が隣接車両に衝突してしまうおそれがある。そのため、運転者は、表示装置１０１４に表示された合成画像を確認しながら、予想軌跡１０５０が隣接車両に重ならないような位置へ車両１１００を移動させる。
　図１１（ｂ）は、図１１（ａ）に続く状態であり、車両１１００がまっすぐに後退した場合である。この位置では、第３予想軌跡１０５０ｃが隣接車両に重ならない。そのため、図１１（ｂ）では、停車位置が決定されたといえ、前述の（２）後退前の状態になったといえる。運転者は、このような状態において、ボタンを押し下げると、「ハンドルを末切りまで左に切ってください」との音声ガイダンスが出力される。図１１（ｃ）は、図１１（ｂ）に続く状態であり、前述の（３）後退中の状態である。ここでは、予想軌跡１０５０が表示されているが、この後、予想軌跡１０５０が消去され、車幅延長線１０５８のみが表示される。その結果、車両１１００による駐車スペース１０７０から抜け出しが完了される。
　図９に戻る。設定部１０３８は、図示しない表示装置１０１４において表示される合成画像、つまり合成部１０３２において生成された合成画像に対して、予想軌跡をもとに障害物の検出領域を設定する。ここで、設定部１０３８は、静止した障害物である静体の検出領域と、動作する障害物である動体の検出領域とを独立に設定する。前者が第１エリアに相当し、後者が第２エリアに相当する。ここでは、図面を使用しながら、第１エリアと第２エリアとを説明する。
　図１２は、警告部１０３６における監視処理の概要を示す。これは、図１０（ｂ）等と同様の合成画像であり、車両１１００および駐車スペース１０７０が示されている。また、第１予想軌跡１０５０ａから第３予想軌跡１０５０ｃも示されている。第１エリアは、予想軌跡１０５０上あるいは予想軌跡１０５０から一定の幅を有したエリア上であると規定される。しかしながら、説明を容易にするために、以下では、第１エリアが予想軌跡１０５０上であるとする。そのため、図１２では、第１予想軌跡１０５０ａ、第２予想軌跡１０５０ｂ、第３予想軌跡１０５０ｃが第１エリアに相当する。一方、第２エリアは、車両１１００が通過するエリアと規定されている。図１２では、第１予想軌跡１０５０ａと第２予想軌跡１０５０ｂとの間のエリアである第１検出エリア１０６０ａと、車両１１００と第３予想軌跡１０５０ｃとの間のエリアである第２検出エリア１０６０ｂとが第２エリアに相当する。予想軌跡１０５０は、全周鳥瞰図画像における第１エリアの位置、例えば座標を静体検知部１０４０へ出力し、全周鳥瞰図画像における第２エリアの領域、例えば座標を動体検知部１０４２へ出力する。
　静体検知部１０４０は、生成部１０２２から、複数の画像を受けつけるとともに、設定部１０３８から、第１エリアの座標を受けつける。静体検知部１０４０は、複数の画像に対して、平面投影ステレオ法を使用することによって、画像に含まれた物体の高さを特定する。平面投影ステレオ法は、視点の異なる複数の撮像装置１０１２によって撮像した複数の撮影画像をひとつの基準平面上に投影し、それらの画像の差分から高さのある物体の領域を求めるという手法である。
　平面投影ステレオ法として、例えば、特開２００３－２３２８６７号公報に記載された技術が使用されればよいので、ここでは説明を省略する。静体検知部１０４０は、第１エリア上における物体の高さがしきい値より高い場合に、静体を検出したとする。静体検知部１０４０は、静体を検出した場合にその旨を警告部１０３６へ出力する。その際、静体検知部１０４０は、検出した静体の位置を出力してもよい。ここで、障害物の検知は、例えば、ブレーキが踏まれている状態や停止している場合になされる。そのために、静体検知部１０４０は、図示しないブレーキセンサや速度センサからの情報を入力してもよい。
　動体検知部１０４２は、合成部１０３２から、合成画像を連続的に受けつけるとともに、設定部１０３８から、第２エリアの座標を受けつける。動体検知部１０４２は、連続的に受けつけた合成画像をもとに、第２エリア内における動体の存在を検出する。動体の検出には、オプティカルフローが使用される。オプティカルフローとは、動物体解析の手法のひとつであり、全周鳥瞰図画像中の輝度情報から動きを解析し、速度ベクトルによって動体の運動を表す技術である。このようなオプティカルフローには、公知の技術が使用されればよいので、ここでは説明を省略する。動体検知部１０４２は、動体を検出した場合にその旨を警告部１０３６へ出力する。ここで、障害物の検知は、例えば、ある一定の速度以下で走行している場合や停止している場合になされる。走行速度は、地面特徴点の動きベクトルの大きさにより判別されてもよいし、図示しない速度センサから速度情報を入手してもよい。また、動体検知部１０４２での障害物の検知は、例えば、静体検知部１０４０での障害物の検知と同様に、ブレーキが踏まれている状態や停止している場合になされる。そのために、動体検知部１０４２も、図示しないブレーキセンサや速度センサからの情報を入力してもよい。
　警告部１０３６は、静体検知部１０４０が第１エリア内の静体を検出した場合、あるいは動体検知部１０４２が第２エリア内の動体を検出した場合、その旨を警告する。つまり、警告部１０３６は、車両１１００の前後方の予想軌跡付近に障害物を検知したら、それを運転者に警告する。警告の具体例は、後述する。図１２では、車両１１００の前方には接触する危険がないが、後方に進入してきたボールに接触する危険があるので、運転者への警告がなされる。
　図１３（ａ）－（ｆ）は、警告部１０３６における警告処理の概要を示す。図１３（ａ）では、障害物が存在する場合と存在しない場合とにおいて、予想軌跡１０５０を表示する際の色を変える。例えば、障害物が存在する場合、予想軌跡１０５０が赤色で示され、障害物が存在しない場合、予想軌跡１０５０が青色で示される。図１３（ｂ）では、障害物が存在する場合と存在しない場合とにおいて、予想軌跡１０５０の表示方法を変える。例えば、障害物が存在する場合、予想軌跡１０５０が点滅で示され、障害物が存在しない場合、予想軌跡１０５０が点灯で示される。
　図１３（ｃ）は、障害物が存在する場合に着色部分８０を表示し、障害物が存在しない場合に着色部分８０を表示しない。着色部分８０は、例えば、赤色に着色される。図１３（ｄ）は、障害物が存在する場合にフラッシュ部分８２を表示し、障害物が存在しない場合にフラッシュ部分８２を表示しない。フラッシュ部分８２は、例えば、点滅にて示される。図１３（ｅ）は、図１３（ｃ）と同様に着色部分８０を表示するが、障害物の部分ではなく、車両１１００上に着色部分８０を表示する。図１３（ｆ）は、図１３（ｄ）と同様にフラッシュ部分８２を表示するが、障害物の部分ではなく、車両１１００上にフラッシュ部分８２を表示する。
　図１４（ａ）－（ｃ）は、警告部１０３６における警告処理の別の概要を示す。図１４（ａ）は、図１３（ｃ）と同様に、障害物が存在する場合に着色部分８０を表示するが、障害物である隣接車両との距離に応じて、第１着色部分８０ａから第３着色部分８０ｃを表示する。第３着色部分８０ｃが隣接車両に最も近く、第１着色部分８０ａが隣接車両から最も離れている。ここで、第１着色部分８０ａから第３着色部分８０ｃのそれぞれは、異なった色で示される。
　図１４（ｂ）は、図１３（ｄ）と同様に、障害物が存在する場合にフラッシュ部分８２を表示するが、障害物である隣接車両との距離に応じて、第１フラッシュ部分８２ａから第３フラッシュ部分８２ｃを表示する。第３フラッシュ部分８２ｃが隣接車両に最も近く、第１フラッシュ部分８２ａが隣接車両から最も離れている。ここで、第１フラッシュ部分８２ａから第３フラッシュ部分８２ｃのそれぞれは、異なった間隔で点滅される。図１４（ｃ）は、図１３（ｃ）の変形例であり、図１３（ｃ）の着色部分８０の代わりに、第１着色部分８０ａを示す。また、第３予想軌跡１０５０ｃに重なるように第２着色部分８０ｂが示される。ここで、第１着色部分８０ａと第２着色部分８０ｂとは、異なった色で示される。なお、図１３（ａ）－（ｆ）や図１４（ａ）－（ｃ）に示した警告の表示とは別にあるいは共に、音声にて警告が出力されてもよい。
　この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　以上の構成による運転支援装置１０１０の動作を説明する。図１５は、運転支援装置１０１０における表示手順を示すフローチャートである。操作部１０２８は、ボタンの押し下げを検出する（Ｓ１１０）。合成部１０３２は、全周鳥瞰図画像および複数の予想軌跡をもとに合成画像を生成し、合成画像を表示装置１０１４に表示させる（Ｓ１１２）。静体検知部１０４０および動体検知部１０４２は、障害物検知処理を実行する（Ｓ１１４）。障害物を検出すれば（Ｓ１１６のＹ）、警告部１０３６は、警告を出力する（Ｓ１１８）。一方、障害物を検出しなければ（Ｓ１１６のＮ）、ステップ１１８をスキップする。
　操作部１０２８がボタンの押し下げを検出しなければ（Ｓ１２０のＮ）、ステップ１１４に戻る。一方、操作部１０２８がボタンの押し下げを検出すれば（Ｓ１２０のＹ）、制御部１０２６は、ハンドルの舵角のガイダンスをスピーカから出力する（Ｓ１２２）。一定期間経過していなければ（Ｓ１２４のＮ）、合成部１０３２は、同様の合成画像を生成し続ける。一方、一定期間経過すれば（Ｓ１２４のＹ）、合成部１０３２は、予想軌跡１０５０の表示を消去し（Ｓ１２６）、車幅延長線１０５８の表示を残す。
　本発明の実施例によれば、全周鳥瞰図画像を使用するので、車両の後方だけでなく、前方外周における予想軌跡を表示できる。また、前方外周における予想軌跡も表示するので、運転者に対して、駐車開始を実行する際の位置合わせの精度を向上させるための情報を提供できる。また、全周鳥瞰図画像を使用するので、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮できる。また、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮するので、より最適な停車位置に誘導できる。また、車両の後方だけでなく、前方の障害物、駐車車両に対する安全も考慮するので、駐車の際における障害物の警告を高精度に実行できる。また、静体と動体のそれぞれを別々に検出するので、それぞれに適した検出アルゴリズムを使用できる。
　また、静体と動体のそれぞれに適した検出アルゴリズムを使用するので、駐車の際における障害物の警告を高精度に実行できる。また、静体を検出するために、第２エリアよりも狭い第１エリアを使用するので、処理量を削減しながらも高精度な検出を実現できる。また、静体を検出するために静体の高さを考慮するので、静体の検出精度を向上できる。また、動体を検出するために、第１エリアよりも広い第２エリアを使用するので、動体の検出精度を向上できる。また、前後方の予想軌跡上にある障害物を検知して警告するので、運転者が表示装置を注視することなく、安全な最適停車位置まで移動させることができる。
（実施例３）
　実施例１では、操作部２８がボタンの押し下げを検出することによって、処理が開始され、実施例２では、操作部１０２８がボタンの押し下げを検出することによって、処理が開始されている。つまり、両者では、運転者による手動の指示によって、処理が開始されている。運転者の利便性を考慮すると、処理の開始は自動的に検出される方が好ましい。そのため、実施例３は、処理の開始を自動的に検出することに関する。ここでは、実施例１の変形例として実施例３を説明するが、実施例２にも同様に適用される。
　図１６は、本発明の実施例３に係る運転支援装置１０の構成を示す。運転支援装置１０は、図２に示した運転支援装置１０における操作部２８の代わりに、保持部８０、位置取得部８２、速度取得部８４を含む。ここでは、図２の運転支援装置１０との差異を中心に説明する。
　位置取得部８２は、図示しない車両１００の存在位置を取得する。例えば、位置取得部８２は、図示しないＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からの信号を受信し、受信した信号をもとに存在位置を測位する。つまり、位置取得部８２は、ＧＰＳ受信機に相当する。存在位置は、緯度と経度にて示される。存在位置の測位には公知の技術が使用されればよいので、ここでは説明を省略する。なお、ＧＰＳ受信機が車両１００の外部に備えられており、位置取得部８２は、当該ＧＰＳ受信機において測位された存在位置を入力するためのインターフェイスであってもよい。位置取得部８２は、位置情報を制御部２６へ取得する。
　速度取得部８４は、図示しない車両１００の移動速度を取得する。例えば、速度取得部８４もＧＰＳ受信機に相当し、ＧＰＳ速度を移動速度として導出する。また、速度取得部８４は、位置取得部８２において取得した存在位置の時間変化をもとに移動速度を導出してもよい。速度取得部８４は、移動速度を制御部２６へ出力する。保持部８０は、位置取得部８２において取得した存在位置に対応した地図情報を保持する。地図情報は、存在位置と同様に、緯度および経度で示されており、デジタル信号にて示されている。そのため、保持部８０は、ハードディスク等の記憶媒体によって構成される。さらに、地図情報には、駐車可能な区域（以下、「駐車エリア」という）に関する情報が含まれている。具体的に説明すると、駐車場などに対応した区域が、緯度と経度に対応づけられながら、地図情報に付随して示されている。
　制御部２６は、位置取得部８２からの存在位置と、速度取得部８４からの移動速度とを適宜受けつける。制御部２６は、保持部８０にアクセスすることによって、地図情報の駐車エリアに存在位置が含まれているかを確認する。また、制御部２６は、移動速度としきい値とを比較する。制御部２６は、地図情報の駐車エリアに存在位置が含まれていることを検出した場合であって、かつ移動速度がしきい値よりも低い場合に、生成部２２等に処理の開始を指示する。
　図１７は、運転支援装置１０における表示手順を示すフローチャートである。位置取得部８２は、存在位置を取得する（Ｓ１５０）。制御部２６において存在位置が駐車エリアに存在する場合（Ｓ１５２のＹ）、速度取得部８４は、移動速度を取得する（Ｓ１５４）。制御部２６において移動速度がしきい値よりも低い場合（Ｓ１５６のＹ）、合成部３２は、全周鳥瞰図画像および複数の予想軌跡をもとに合成画像を生成し、合成画像を表示装置１４に表示させる（Ｓ１５８）。ステップ１６０から１６８は、図６のステップ１４から２２に対応するので、ここでは説明を省略する。一方、制御部２６において存在位置が駐車エリアに存在しない場合（Ｓ１５２のＮ）、あるいは制御部２６において移動速度がしきい値よりも低くない場合（Ｓ１５６のＮ）、処理は終了される。
　本発明の実施例によれば、処理の開始タイミングを自動的に検出するので、運転者による操作を省略できる。また、運転者による操作が省略されるので、運転者の利便性を向上できる。また、運転者の利便性が向上されるので、安全性を向上できる。
（実施例４）
　本発明の実施例４は、これまでと同様に、車載カメラにて撮像した画像を表示する運転支援装置に関する。実施例４は、運転者の駐車動作をこれまでよりも支援するために、次の処理を実行する。運転支援装置は、全周鳥瞰図画像を表示し、運転者からの駐車位置に関する指示を受けつける。運転支援装置は、ハンドル蛇角を所定の角度に設定し、設定した角度で駐車位置に駐車するために、予め車両を停車させるべき位置（以下、「駐車前停車位置」という）を計算する。駐車前停車からの駐車にておいて、車両が障害物に衝突しない場合、運転支援装置は、駐車前停車位置を表示するとともに、ハンドル蛇角を通知する。一方、駐車前停車からの駐車において、車両が障害物に衝突する場合、運転支援装置は、ハンドル蛇角を別の角度に設定して、同様の計算を実行する。
　図１８は、本発明の実施例４に係る運転支援装置２００の構成を示す。運転支援装置２００は、フレームバッファ２２０と総称される第１フレームバッファ２２０ａ、第２フレームバッファ２２０ｂ、第３フレームバッファ２２０ｃ、第４フレームバッファ２２０ｄ、生成部２２２、変換テーブル記憶部２２４、制御部２２６、操作部２２８、合成部２３２を含む。合成部２３２は、受付部２４０、目標設定部２４２、計算部２４４を含む。ここで、フレームバッファ２２０は、図２のフレームバッファ２０、図９のフレームバッファ１０２０に相当し、生成部２２２は、図２の生成部２２、図９の生成部１０２２に相当し、変換テーブル記憶部２２４は、図２の変換テーブル記憶部２４、図９の変換テーブル記憶部１０２４に相当し、操作部２２８は、図２の操作部２８、図９の操作部１０２８に相当する。そのため、ここでは、差異を中心に説明する。
　操作部２８は、運転者からの処理開始の指示を受けつける。操作部２８は、指示を制御部２６へ出力する。制御部２６は、指示を受けつけると、生成部２２２へ全周鳥瞰図画像を生成させる。生成部２２２は、生成した全周鳥瞰図画像を合成部２３２へ出力する。合成部２３２は、全周鳥瞰図画像を受けつけると、図示しない表示装置に全周鳥瞰図画像を出力することによって、表示装置に全周鳥瞰図画像を表示させる。運転者は、表示装置に表示された全周鳥瞰図画像を見ながら、駐車位置を確認する。例えば、運転者は、四角で囲まれた駐車位置を確認する。次に、運転者は、操作部２８を使用しながら、駐車位置を選択する。例えば、表示装置に表示された全周鳥瞰図画像上にポインタが示されており、運転者が操作部２８を操作することによって、ポインタが全周鳥瞰図画像上を移動する。また、ポインタが駐車位置上に存在する場合に運転者が操作部２８のボタンを押し下げると、ポインタにて示された位置が座標として選択される。このようなポインタの制御および選択された位置の受付は、制御部２６によってなされる。制御部２６は、受けつけた位置を受付部２４０へ出力する。
　受付部２４０は、制御部２６からの位置を受けつける。以下では、運転支援装置２００における処理と、表示装置における表示内容とをあわせて説明する。図１９（ａ）－（ｅ）は、合成部２３２における表示処理の概要を示す。図１９（ａ）は、処理が開始された直後の表示画面を示す。車両３００が、運転者によって運転されている。また、駐車スペース２７０が、車両３００を駐車させるべき位置である。前述のごとく、運転者は、駐車スペース２７０の中にポインタが存在する場合に、操作部２８のボタンを押し下げるので、駐車スペース２７０の中の所定位置が受付部２４０に受けつけられる。図１８に戻る。受付部２４０は、受けつけた位置を目標設定部２４２へ出力する。
　目標設定部２４２は、受付部２４０からの位置を受けつけると、位置を囲む四角の各辺を全周鳥瞰図画像から抽出する。例えば、各辺は白線として示されている。目標設定部２４２は、抽出した各辺にて囲まれた四角形を図１９（ａ）の駐車スペース２７０として特定する。駐車スペース２７０が、前述の駐車位置に相当する。なお、抽出された各辺の数が３つや５つや６つであってもよく、その際、目標設定部２４２は、駐車スペース２７０として、三角形、五角形、六角形のスペースを設定する。また、目標設定部２４２は、フレームバッファ１０２０からの画像を受けつけ、画像の中にナンバープレートが含まれている場合に、当該ナンバープレートを抽出する。抽出したナンバープレートの位置が、既に特定した駐車スペース２７０の内側にある場合、目標設定部２４２は、駐車スペース２７０の内側にナンバープレートの位置が含まれないように、駐車スペース２７０を縮小してもよい。これは、駐車位置の大きさを縮小することに相当する。目標設定部２４２は、駐車位置に関する情報を計算部２４４へ出力する。
　計算部２４４は、目標設定部２４２から駐車位置に関する情報を受けつける。また、計算部２４４は、複数種類のハンドル蛇角のそれぞれに対応した予想軌跡に関する情報を予め記憶する。計算部２４４は、ハンドル蛇角の小さい予想軌跡を選択し、駐車スペース２７０へ車両３００を進入させるための軌跡として、予想軌跡を全周鳥瞰図画像に対応づける。また、計算部２４４は、車両３００を現在の位置から移動可能な位置に関する情報も記憶している。計算部２４４は、駐車スペース２７０から移動可能な位置まで、予想軌跡を伸ばす。ここで、移動可能な位置と予想軌跡とが交差する位置が、前述の駐車前停車位置に相当する。計算部２４４は、このような予想軌跡が所定の物体に重なる場合、つまり所定の物体に衝突する場合、ハンドル蛇角の大きい予想軌跡を選択して、同様の処理を繰り返し実行する。つまり、計算部２４４は、車両３００が予想軌跡を進行した場合に、所定の物体に衝突しなくなるまで、ハンドル蛇角を段階的に増加させていく。例えば、１／２回転、１回転、末切りのようにハンドル蛇角が増加される。
　図１９（ｂ）は、所定のハンドル蛇角を設定した場合の駐車前停止位置２８０を示す。ここで、第１予想軌跡２５０ａ、第２予想軌跡２５０ｂ、第３予想軌跡２５０ｃは、予想軌跡２５０と総称される。図示のごとく、駐車前停止位置２８０が他の車両に重なってい表示されている。そのため、図１９（ｂ）の場合に、計算部２４４は、当該ハンドル蛇角が適しないと判定する。図１９（ｃ）は、図１９（ｂ）でのハンドル蛇角よりもハンドル蛇角を増加させた場合に相当する。図示のごとく、予想軌跡２５０および駐車前停止位置２８０は、他の車両に重なって表示されていない。そのため、計算部２４４は、当該ハンドル蛇角が適していると判定する。図１８に戻る。計算部２４４がハンドル蛇角が適していると判定した場合に、合成部３２は、予想軌跡２５０および駐車前停止位置２８０を全周鳥瞰図画像に合成する。また、合成部３２は、合成した画像を図示しない表示装置に表示させる。つまり、図１９（ｃ）のような画像が表示装置に表示される。
　このような画像が表示された後、運転者は、駐車前停止位置２８０へ車両３００を進入させる。図１９（ｄ）は、車両３００が駐車前停止位置２８０に進入した場合の画像を示す。ここでは、車幅延長線２５８と総称される第１車幅延長線２５８ａ、第２車幅延長線２５８ｂも示されている。さらに、運転者は、予想軌跡２５０に対応したハンドル蛇角にて車両３００を後退させる。図１９（ｅ）は、車両３００が駐車スペース７０に進入する前の画像を示す。なお、計算部２４４がハンドル蛇角が適していると判定した場合に、運転支援装置２００は、ハンドル蛇角を運転者に通知してもよい。また、計算部２４４は、すべてのハンドル蛇角が適していないと判定した場合、運転支援装置２００は、適したハンドル蛇角が存在しない旨を運転者に通知してもよい。これらの通知は、音声にてなされてもよいし、表示装置での表示にてなされてもよい。
　図２０は、運転支援装置２００における表示処理を示すフローチャートである。操作部２２８がボタンの押下を検出する（Ｓ１８０）と、合成部２３２は、全周鳥瞰図画像を表示させる（Ｓ１８２）。受付部２４０は、操作部２２８、制御部２２６を介して目標駐車位置を受けつける（Ｓ１８４）。目標設定部２４２は、駐車位置を特定する。計算部２４４は、一定のハンドル蛇角で駐車する際の軌跡を取得する（Ｓ１８６）。接触する場合（Ｓ１８８のＹ）、ハンドル蛇角の変更が可能であれば（Ｓ１９０のＹ）、計算部２４４は、ハンドル蛇角を変更して（Ｓ１９２）、ステップ１８６に戻る。一方、接触しない場合（Ｓ１８８のＮ）、合成部２３２は、駐車前停止位置２８０および予想軌跡２５０を表示させる（Ｓ１９４）。ハンドル蛇角の変更が不可能であれば（Ｓ１９０のＮ）、合成部２３２は、駐車不可能の旨を表示する（Ｓ１９６）。
　本発明の実施例によれば、他の物体に衝突しないことを確認したハンドル蛇角に対する駐車前停車位置および予想軌跡を表示するので、運転者による駐車動作を援助できる。また、駐車動作が援助されるので、安全性を向上できる。また、ハンドル蛇角として小さい角度から順に使用するので、運転者の操作を軽減できる。また、衝突の確率が低い駐車前停車位置を示すので、駐車動作を簡易にできる。また、駐車に適したハンドル蛇角に対する予想軌跡を表示するので、運転者の視認性を向上できる。
　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　本発明の実施例１において、合成部３２は、予想軌跡として、タイヤが通過すべき経路を表示装置１４に表示させる。しかしながらこれに限らず例えば、合成部３２は、予想軌跡として、車両１００が走行する走行面を表示装置１４に表示させてもよい。具体的に説明すると、図３において、第１ハンドル右舵角β予想軌跡５０ａと第２ハンドル右舵角β予想軌跡５０ｂとの間にも着色することによって、走行面が表示される。また、予想軌跡の表示位置について、タイヤの通過経路ではなく、車体の外側に余裕を持たせた分の幅を表示させてもよい。本変形例によれば、車両１００が通過する部分を運転者に容易に認識させることができる。
　さらに、予想軌跡に対して、後退駐車開始前の最適位置に停車した後、後退時にハンドルを所定の舵角だけ回転させるまでに車両が移動する分が考慮されてもよい。つまり、ハンドルを所定の舵角に回転するまでの期間が、運転者固有の期間であるとすると、その間に車両がクリープ現象によって進む距離が特定されるので、予想軌跡の始点にその距離分のオフセットが加えられる。本変形例によれば、実際の軌跡に近い予想軌跡を表示できる。
　本変形例に加えて、操作部２８は、予想軌跡の表示本数、予想軌跡の色、予想軌跡として経路の表示あるいは走行面の表示の切りかえに関する指示を受けつけてもよい。制御部２６は、操作部２８において受けつけた指示に応じて、合成部３２での設定を変更してもよい。本変形例によれば、運転者にとって情報を認識しやすい画面を提供できる。
　本発明２の実施例において、合成部１０３２は、予想軌跡として、タイヤが通過すべき経路を表示装置１０１４に表示させる。しかしながらこれに限らず例えば、合成部１０３２は、予想軌跡として、車両１１００が走行する走行面を表示装置１０１４に表示させてもよい。具体的に説明すると、図１０において、第１予想軌跡１０５０ａと第２予想軌跡１０５０ｂとの間にも着色することによって、走行面が表示される。本変形例によれば、車両１１００が通過する部分を運転者に容易に認識させることができる。
　本変形例に加えて、操作部１０２８は、予想軌跡の色、予想軌跡として経路の表示あるいは走行面の表示の切りかえに関する指示を受けつけてもよい。制御部１０２６は、操作部１０２８において受けつけた指示に応じて、合成部１０３２での設定を変更してもよい。本変形例によれば、運転者にとって情報を認識しやすい画面を提供できる。
　本発明の実施例３において、制御部２６は、位置取得部８２からの存在位置と、速度取得部８４からの移動速度とをもとに、生成部２２等に処理の開始を指示する。しかしながらこれに限らず例えば、制御部２６は、位置取得部８２からの存在位置をもとに、生成部２２等に処理の開始を指示してもよい。その場合、速度取得部８４は、省略される。本変形例によれば、構成を簡易にできる。
　１０　運転支援装置、　１２　撮像装置、　１４　表示装置、　２０　フレームバッファ、　２２　生成部、　２４　変換テーブル記憶部、　２６　制御部、　２８　操作部、　３０　予想軌跡記憶部、　３２　合成部、　１００　車両、１０１０　運転支援装置、　１０１２　撮像装置、　１０１４　表示装置、　１０２０　フレームバッファ、　１０２２　生成部、　１０２４　変換テーブル記憶部、　１０２６　制御部、　１０２８　操作部、　１０３０　予想軌跡記憶部、　１０３２　合成部、　１０３４　監視部、　１０３６　警告部、　１０３８　設定部、　１０４０　静体検知部、　１０４２　動体検知部、　１１００　車両。
　本発明によれば、運転者に対して、駐車開始を実行する際の位置合わせの精度を向上させるための情報を提供できる。また、本発明によれば、駐車の際における障害物の警告を高精度に実行できる。

Claims (7)

  1. 　車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、
    　前記画像生成部において生成した鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡をハンドルの舵角を変えながら複数記憶する記憶部と、
    　前記記憶部において記憶した複数の予想軌跡を前記画像生成部において生成した鳥瞰図画像に重畳して表示する表示部と、
    　を備えることを特徴とする運転支援装置。
  2. 　前記表示部において表示される鳥瞰図画像上における車両の実際の軌跡を取得し、取得した軌跡をもとに新たな予想軌跡を生成する軌跡生成部をさらに備え、
    　前記記憶部は、前記軌跡生成部において生成した新たな予想軌跡を追加して記憶することを特徴とする請求項１に記載の運転支援装置。
  3. 　ハンドルの回転方向に関する情報を取得する取得部をさらに備え、
    　前記記憶部は、各ハンドルの舵角に対して、ハンドルを右回転させた場合の予想軌跡と、ハンドルを左回転させた場合の予想軌跡とを記憶し、
    　前記表示部は、前記記憶部において記憶した複数の予想軌跡の中から、前記取得部において取得した情報に応じた回転方向の予想軌跡を選択して、前記画像生成部において生成した鳥瞰図画像に重畳して表示することを特徴とする請求項１または２に記載の運転支援装置。
  4. 　車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、
    　前記画像生成部において生成した鳥瞰図画像に対応すべき車両の予想軌跡であって、車両のハンドルを操作して車両を移動させる場合の予想軌跡を記憶する記憶部と、
    　前記記憶部において記憶した予想軌跡を前記画像生成部において生成した鳥瞰図画像に重畳して表示する表示部と、
    　前記表示部において表示される鳥瞰図画像に対して、予想軌跡をもとに障害物の検出領域を設定する設定部と、
    　前記設定部において設定した検出領域内の障害物を検出した場合に、その旨を警告する警告部と、
    　を備えることを特徴とする運転支援装置。
  5. 　前記設定部は、静止した障害物を検出するための第１の検出領域と、動作する障害物を検出するための第２の検出領域とを設定することを特徴とする請求項４に記載の運転支援装置。
  6. 　車両の存在位置を取得する位置取得部と、
    　前記位置取得部において取得した存在位置に対応した地図情報であって、かつ駐車可能な区域に関する情報が含まれた地図情報を保持する保持部と、
    　前記保持部において保持した地図情報の駐車可能な区域に、前記位置取得部において取得した存在位置が含まれたことを検出した場合に、前記画像生成部に処理の開始を指示する指示部と、
    　をさらに備えることを特徴とする請求項１から５のいずれかに記載の運転支援装置。
  7. 　車両の移動速度を取得する速度取得部をさらに備え、
    　前記指示部は、前記保持部において保持した地図情報の駐車可能な区域に、前記位置取得部において取得した存在位置が含まれたことを検出した場合であって、かつ前記速度取得部において取得した移動速度がしきい値よりも低い場合に、前記画像生成部に処理の開始を指示することを特徴とする請求項６に記載の運転支援装置。
PCT/JP2009/002233 2008-05-30 2009-05-21 運転支援装置 WO2009144893A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008-143786 2008-05-30
JP2008143786A JP2011161935A (ja) 2008-05-30 2008-05-30 運転支援装置
JP2008146117A JP2011161936A (ja) 2008-06-03 2008-06-03 運転支援装置
JP2008-146117 2008-06-03

Publications (1)

Publication Number Publication Date
WO2009144893A1 true WO2009144893A1 (ja) 2009-12-03

Family

ID=41376783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002233 WO2009144893A1 (ja) 2008-05-30 2009-05-21 運転支援装置

Country Status (1)

Country Link
WO (1) WO2009144893A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012001487A1 (en) * 2010-06-29 2012-01-05 Toyota Jidosha Kabushiki Kaisha Parking assistance apparatus
WO2012032809A1 (ja) * 2010-09-06 2012-03-15 アイシン精機株式会社 運転支援装置
EP2620330A1 (en) * 2010-09-21 2013-07-31 Aisin Seiki Kabushiki Kaisha Driving assistance device
JP2014229260A (ja) * 2013-05-27 2014-12-08 株式会社 ミックウェア 車載装置、操作支援方法、およびプログラム
WO2016084570A1 (ja) * 2014-11-26 2016-06-02 Ntn株式会社 車両周囲監視装置及び車両制御方法
JP2017188761A (ja) * 2016-04-05 2017-10-12 アルパイン株式会社 車両周辺表示装置及び車両周辺表示方法
JP2020074503A (ja) * 2015-04-24 2020-05-14 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置
CN113753028A (zh) * 2020-06-05 2021-12-07 松下知识产权经营株式会社 驾驶辅助装置、驾驶辅助方法及电脑可读取记录介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000280823A (ja) * 1999-03-31 2000-10-10 Aisin Seiki Co Ltd 駐車補助装置
JP2001347909A (ja) * 2000-04-05 2001-12-18 Matsushita Electric Ind Co Ltd 運転操作補助方法および装置
JP2004123058A (ja) * 2002-10-07 2004-04-22 Yazaki Corp 駐車支援装置
JP2005326963A (ja) * 2004-05-12 2005-11-24 Fujitsu Ten Ltd 運転支援装置
JP2006131185A (ja) * 2004-11-09 2006-05-25 Denso Corp 駐車支援システム
JP2006160147A (ja) * 2004-12-09 2006-06-22 Nissan Motor Co Ltd 駐車支援装置
JP2007168675A (ja) * 2005-12-23 2007-07-05 Alpine Electronics Inc 駐車支援装置
JP2008124553A (ja) * 2006-11-08 2008-05-29 Alpine Electronics Inc 障害物警告装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000280823A (ja) * 1999-03-31 2000-10-10 Aisin Seiki Co Ltd 駐車補助装置
JP2001347909A (ja) * 2000-04-05 2001-12-18 Matsushita Electric Ind Co Ltd 運転操作補助方法および装置
JP2004123058A (ja) * 2002-10-07 2004-04-22 Yazaki Corp 駐車支援装置
JP2005326963A (ja) * 2004-05-12 2005-11-24 Fujitsu Ten Ltd 運転支援装置
JP2006131185A (ja) * 2004-11-09 2006-05-25 Denso Corp 駐車支援システム
JP2006160147A (ja) * 2004-12-09 2006-06-22 Nissan Motor Co Ltd 駐車支援装置
JP2007168675A (ja) * 2005-12-23 2007-07-05 Alpine Electronics Inc 駐車支援装置
JP2008124553A (ja) * 2006-11-08 2008-05-29 Alpine Electronics Inc 障害物警告装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8958986B2 (en) 2010-06-29 2015-02-17 Toyota Jidosha Kabushiki Kaisha Parking assistance apparatus
WO2012001487A1 (en) * 2010-06-29 2012-01-05 Toyota Jidosha Kabushiki Kaisha Parking assistance apparatus
WO2012032809A1 (ja) * 2010-09-06 2012-03-15 アイシン精機株式会社 運転支援装置
CN103079902A (zh) * 2010-09-06 2013-05-01 爱信精机株式会社 驾驶支援装置
EP2614997A4 (en) * 2010-09-06 2016-11-23 Aisin Seiki DRIVER ASSISTING DEVICE
US9294733B2 (en) 2010-09-06 2016-03-22 Aisin Seiki Kabushiki Kaisha Driving assist apparatus
JP5561566B2 (ja) * 2010-09-06 2014-07-30 アイシン精機株式会社 運転支援装置
US9219887B2 (en) 2010-09-21 2015-12-22 Aisin Seiki Kabushiki Kaisha Drive assist device
EP2620330A4 (en) * 2010-09-21 2014-04-30 Aisin Seiki DRIVING AID
EP2620330A1 (en) * 2010-09-21 2013-07-31 Aisin Seiki Kabushiki Kaisha Driving assistance device
JP2014229260A (ja) * 2013-05-27 2014-12-08 株式会社 ミックウェア 車載装置、操作支援方法、およびプログラム
WO2016084570A1 (ja) * 2014-11-26 2016-06-02 Ntn株式会社 車両周囲監視装置及び車両制御方法
JP2020074503A (ja) * 2015-04-24 2020-05-14 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置
JP2017188761A (ja) * 2016-04-05 2017-10-12 アルパイン株式会社 車両周辺表示装置及び車両周辺表示方法
CN113753028A (zh) * 2020-06-05 2021-12-07 松下知识产权经营株式会社 驾驶辅助装置、驾驶辅助方法及电脑可读取记录介质
CN113753028B (zh) * 2020-06-05 2024-04-19 松下汽车电子系统株式会社 驾驶辅助装置、驾驶辅助方法及电脑可读取记录介质

Similar Documents

Publication Publication Date Title
WO2009144893A1 (ja) 運転支援装置
JP4075743B2 (ja) 車両走行支援装置
US20170106856A1 (en) Smart parking assist apparatus and method
JP4815993B2 (ja) 駐車支援方法及び駐車支援装置
JP7069548B2 (ja) 周辺監視装置
KR101806619B1 (ko) 차량의 주차 안내 장치 및 방법
JP5472026B2 (ja) 駐車支援装置
JP5477515B2 (ja) 駐車支援装置
JP5380926B2 (ja) 駐車支援装置及び駐車支援方法
JP2019016825A (ja) 車両周辺表示装置
JP7354649B2 (ja) 周辺監視装置
JP2021160535A (ja) 駐車支援システム
JP2012071794A (ja) 駐車支援装置
JP2009029203A (ja) 運転支援装置
JP2007223338A (ja) 表示システム、移動体、表示方法、表示プログラムおよびその記録媒体
JP7443705B2 (ja) 周辺監視装置
JP2008037320A (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
US20190066382A1 (en) Driving support device, driving support method, information providing device and information providing method
JP2018034659A (ja) 駐車支援装置
JP3762855B2 (ja) 駐車補助装置
JP6299401B2 (ja) 駐車支援装置及び駐車支援方法
JP2009245340A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP5397329B2 (ja) 駐車支援装置
CN110901532B (zh) 泊车辅助装置、车辆、泊车辅助方法和记录介质
JP2011003117A (ja) 後方視認支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09754402

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09754402

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP