WO2017159510A1 - 駐車支援装置、車載カメラ、車両および駐車支援方法 - Google Patents

駐車支援装置、車載カメラ、車両および駐車支援方法 Download PDF

Info

Publication number
WO2017159510A1
WO2017159510A1 PCT/JP2017/009328 JP2017009328W WO2017159510A1 WO 2017159510 A1 WO2017159510 A1 WO 2017159510A1 JP 2017009328 W JP2017009328 W JP 2017009328W WO 2017159510 A1 WO2017159510 A1 WO 2017159510A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking
vehicle
image
processor
target position
Prior art date
Application number
PCT/JP2017/009328
Other languages
English (en)
French (fr)
Inventor
裕介 沼田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US16/082,944 priority Critical patent/US10442464B2/en
Priority to EP17766511.4A priority patent/EP3431344B1/en
Priority to JP2018505863A priority patent/JP6717929B2/ja
Publication of WO2017159510A1 publication Critical patent/WO2017159510A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/935—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the contour, e.g. a trajectory of measurement points, representing the boundary of the parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Definitions

  • the present disclosure relates to a parking assistance device that supports parking, an in-vehicle camera, a vehicle, and a parking assistance method.
  • Patent Document 1 describes a parking assistance device that displays a target parking frame superimposed on a real image when a vehicle is parked.
  • the parking assist device of Patent Document 1 can move the display position of the target parking frame by the operation of a user (for example, a driver of a vehicle) so that parking can be performed at an arbitrary position within the parking range.
  • a parking assist device extracts a parking area from a surrounding image of the vehicle imaged by an imaging device provided in the vehicle, and generates an image in which the parking area and a parking target position are superimposed.
  • a processor is provided.
  • the parking assist device includes a memory that stores history information in which a parking position of the vehicle is associated with the parking area.
  • the processor adjusts the position of the parking target position in the image based on the history information.
  • the vehicle-mounted camera which concerns on one Embodiment of this indication is a vehicle-mounted camera provided with a parking assistance apparatus.
  • the parking assist device includes a processor that extracts a parking area from a surrounding image of the vehicle imaged by an imaging device provided in the vehicle and generates an image in which the parking area and a parking target position are superimposed.
  • the parking assist device includes a memory that stores history information in which a parking position of the vehicle is associated with the parking area. The processor adjusts the position of the parking target position in the image based on the history information.
  • a vehicle is a vehicle including a parking assistance device.
  • the parking assist device includes a processor that extracts a parking area from a surrounding image of the vehicle imaged by an imaging device provided in the vehicle and generates an image in which the parking area and a parking target position are superimposed.
  • the parking assist device includes a memory that stores history information in which a parking position of the vehicle is associated with the parking area. The processor adjusts the position of the parking target position in the image based on the history information.
  • the parking support method is a parking support method executed by a parking support device including a processor and a memory.
  • the processor extracts a parking area from a surrounding image of the vehicle imaged by an imaging device provided in the vehicle.
  • the processor generates an image in which the parking area and a parking target position are superimposed.
  • the memory stores history information in which a parking position of the vehicle is associated with the parking area.
  • the processor adjusts the position of the parking target position in the image based on the history information.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a parking support apparatus and a vehicle-mounted camera system including the parking support apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram showing the arrangement of components of the in-vehicle camera system of FIG.
  • FIG. 3 is a diagram illustrating a parking example of a vehicle on which the in-vehicle camera system of FIG. 1 is mounted.
  • FIG. 4 is a diagram for explaining a parking area and a parking target position.
  • FIG. 5 is a diagram for explaining a parking position of the vehicle and history information.
  • FIG. 6 is a diagram for explaining statistical processing of history information.
  • FIG. 7 is a diagram illustrating an adjusted parking target position.
  • FIG. 8 is a flowchart illustrating processing of the imaging apparatus.
  • FIG. 9 is a flowchart showing a parking assistance method.
  • a parking assistance device 1 and an in-vehicle camera system 10 according to an embodiment of the present disclosure will be described.
  • the in-vehicle camera system 10 includes a plurality of imaging devices, a parking assistance device 1, a display device 13, a position information acquisition unit 24, and a sensor unit 27.
  • the plurality of imaging devices include a front camera 11a, a rear camera 11b, a left side camera 11c, and a right side camera 11d.
  • the parking assist device 1 includes a processor 12 and a memory 30.
  • each component of the in-vehicle camera system 10 and each component of the parking assist device 1 can transmit and receive information via a dedicated line or an in-vehicle network 14 such as a CAN (Controller-Area-Network).
  • the memory 30 is included in the parking assistance device 1, components other than the processor 12 (for example, the front camera 11a and the like) can also be accessed.
  • the front camera 11 a is arranged so as to be able to image a peripheral region in front of the vehicle 15.
  • the rear camera 11b is disposed so as to be able to image a peripheral region behind the vehicle 15.
  • the left side camera 11c and the right side camera 11d are arranged so that, for example, the left and right door mirrors 16 can vertically image the surrounding areas on the side of the vehicle 15 downward.
  • the right side camera 11 d is not shown because it is hidden in the vehicle body of the vehicle 15.
  • the left side camera 11 c and the right side camera 11 d are arranged symmetrically on the left and right sides of the vehicle 15.
  • the display device 13 is disposed at a position that can be viewed from the driver's seat.
  • the front camera 11a, the rear camera 11b, the left side camera 11c, and the right side camera 11d are provided with a lens having a wide angle of view such as a fisheye lens, for example, and can capture a peripheral region of the vehicle 15 at a wide angle.
  • a lens having a wide angle of view such as a fisheye lens, for example, and can capture a peripheral region of the vehicle 15 at a wide angle.
  • a wide angle shooting a wide range of subjects can be imaged, and the subjects in the periphery of the image are curved and imaged. Is done.
  • the front camera 11a includes an optical system 17a, an image sensor 18a, a signal processing unit 19a, and a camera control unit 20a.
  • the optical system 17a includes a diaphragm and a lens, and forms a subject image.
  • the optical system 17a has a wide angle of view, and can form a subject image included in the peripheral region of the vehicle 15 as described above.
  • the image sensor 18a is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and captures a subject image formed by the optical system 17a. In addition, the image sensor 18a outputs a captured image generated by imaging to the signal processing unit 19a as an image signal.
  • CMOS Complementary Metal Oxide Semiconductor
  • the signal processing unit 19a performs luminance signal processing (for example, brightness correction, gamma correction) and color signal processing (for example, color interpolation, color correction, white balance, etc.) on the image signal acquired from the image sensor 18a. .
  • the signal processing unit 19a may further perform noise removal.
  • the signal processing unit 19a outputs the image data subjected to these image processes to the parking assistance device 1.
  • the camera control unit 20a controls the operation of each part of the front camera 11a.
  • the camera control unit 20a controls the operations of the image sensor 18a and the signal processing unit 19a to periodically output an image signal at, for example, 30 fps.
  • the rear camera 11b, the left side camera 11c, and the right side camera 11d have optical systems 17b, 17c, and 17d, respectively, similar to the front camera 11a. Further, the rear camera 11b, the left side camera 11c, and the right side camera 11d include image sensors 18b, 18c, and 18d, respectively. The rear camera 11b, the left side camera 11c, and the right side camera 11d include signal processing units 19b, 19c, and 19d, respectively. The rear camera 11b, the left side camera 11c, and the right side camera 11d include camera control units 20b, 20c, and 20d, respectively.
  • the functions and configurations of the optical systems 17b, 17c, and 17d, the image sensors 18b, 18c, and 18d, the signal processing units 19b, 19c, and 19d, and the camera control units 20b, 20c, and 20d are similar to those of the front camera 11a.
  • the in-vehicle camera system 10 does not have to include some imaging devices.
  • the in-vehicle camera system 10 may be configured without the front camera 11a.
  • the processor 12 of the parking assistance device 1 includes an image acquisition unit 21, a parking area detection unit 22, a calculation unit 23, a vehicle position detection unit 25, and an image processing unit 26. Further, in the present embodiment, the processor 12 is a CPU (Central Processing Unit) that realizes a specific function by reading a specific program.
  • the processor 12 can be composed of a single CPU or a plurality of CPUs.
  • the memory 30 of the parking assistance apparatus 1 stores various data used in calculations and processes executed by the processor 12.
  • the memory 30 stores a program for the processor 12 to function as the image acquisition unit 21, the parking area detection unit 22, the calculation unit 23, the vehicle position detection unit 25, and the image processing unit 26.
  • the memory 30 stores a plurality of history information described later.
  • the image acquisition unit 21 acquires image data of peripheral areas in the respective directions from the front camera 11a, the rear camera 11b, the left side camera 11c, and the right side camera 11d via the in-vehicle network 14.
  • the image acquisition unit 21 may acquire all or part of the image data of the front, rear, and side (right and left) peripheral regions.
  • the image acquisition unit 21 may acquire all the image data and temporarily store it in the memory 30, and then extract only the necessary area (designate the area).
  • the image acquisition unit 21 stores an image in the memory 30 that is an image before the vehicle 15 stops in the parking area and can be used for calculation of a deviation rate described later.
  • all or part of the images of the front, rear, and side peripheral regions acquired by the image acquisition unit 21 correspond to the peripheral images of the present disclosure.
  • the parking area detection unit 22 detects a parking area (an area where the vehicle 15 can be parked). For example, when the vehicle 15 stops at a parking lot in a city, the parking area detection unit 22 can detect the parking area by performing white line detection. Moreover, when the vehicle 15 stops at a garage at home, for example, the parking area can be detected by detecting the side wall and the back wall.
  • the parking area is an area where the vehicle 15 can stop.
  • a parking target position is set inside the parking area. Information on the parking area detected by the parking area detection unit 22 is stored in the memory 30, and is used, for example, when the image processing unit 26 generates an image in which the parking area and the parking target position are superimposed.
  • the calculating unit 23 calculates the deviation rate and stores it in the memory 30 as history information including past data.
  • the deviation rate is a value indicating how much the position where the vehicle 15 is actually parked is biased with respect to the center of the parking area.
  • the calculation unit 23 calculates the deviation rate in the left and right direction of the vehicle 15.
  • the calculation unit 23 performs a statistical calculation process on the deviation rate. By statistically calculating the deviation rate including the past, the driver's preference for parking position and customs can be understood. In the statistical calculation, for example, an average value may be obtained, a mode value may be obtained as in the present embodiment, or an average value and a mode value may be switched according to the number of parameters. Moreover, the calculating part 23 may reflect a recent tendency by selecting the most recent predetermined number (for example, 10) deviation rate as a parameter. The calculation unit 23 stores the history information in the memory 30 and outputs the result of statistical processing to the image processing unit 26.
  • the image processing unit 26 generates an image in which the parking target position is superimposed on an image from the rear camera 11b including the parking area acquired by the image acquisition unit 21, for example.
  • the image processing unit 26 displays the generated image on the display device 13.
  • the image processing unit 26 also displays a parking guide line, which will be described later, in a superimposed manner. Furthermore, the image processing unit 26 may execute processing that makes the parking area stand out. Then, the image processing unit 26 adjusts the display position of the parking target position when the absolute value of the difference between the mode value of the deviation rate acquired from the calculation unit 23 and the current set value exceeds the threshold value. An image is generated and displayed on the display device 13.
  • the image processing unit 26 acquires information related to the seating (information on the passenger of the vehicle 15) and adjusts the position of the parking target position in the generated image. For example, when many people are on the passenger seat side, the parking target position may be displayed by shifting the parking position on the driver seat side so that the passenger can easily get on and off.
  • the vehicle position detection unit 25 acquires the position information of the vehicle 15 and outputs it to the calculation unit 23.
  • the vehicle position detection unit 25 acquires position detection data based on GPS (Global Positioning System) from the position information acquisition unit 24 and grasps the position of the vehicle 15.
  • GPS Global Positioning System
  • the position information enables the calculation unit 23 to select an appropriate piece of history information stored in the memory 30.
  • the parking assistance apparatus 1 can appropriately reflect the driver's preference that differs depending on the parking location by using a plurality of history information for each parking location. For example, if the driver prefers to park to the right in a garage at home and prefers to park in the center in a city parking lot, the parking assistance device 1 displays a parking target position suitable for each location. it can.
  • the display device 13 includes an LCD (Liquid Crystal Display), for example, and can display a real-time moving image.
  • the display device 13 displays an image in which at least the parking target position is superimposed and displayed via the in-vehicle network 14.
  • the position information acquisition unit 24 is a device for acquiring GPS position information from the outside of the vehicle 15.
  • the position information acquisition unit 24 may be a GPS antenna and a GPS receiver.
  • a part of a car navigation system mounted on the vehicle 15 may function as the position information acquisition unit 24.
  • the sensor unit 27 includes a pressure sensor 28 that detects the pressure of the seat and the backrest portion, a rotation sensor that is in a seat belt retractor and can detect a belt pull-out state. And the sensor part 27 outputs the information regarding seating to the processor 12 via the vehicle-mounted network 14.
  • the vehicle 15 parks in a central area among the three parking areas PS.
  • the center line CL is a virtual line in which the left and right widths of the parking area PS are equal.
  • the obstacle B exists in the boundary part with the parking area PS on the left side of the page.
  • the displayed parking target position is always the same, or even if it can be adjusted, manual operation by the driver is required.
  • the parking assistance device 1 can display a driving assistance guide that reflects the preference and customs of the parking position without complicated operation by the driver.
  • the image in the initial state includes a parking area PS and an obstacle B that are captured images captured by the rear camera 11b.
  • the parking area PS is surrounded by a white line.
  • the parking assistance apparatus 1 recognizes the parking area PS by a process of detecting a white line.
  • the parking target position Ti is an image indicating the parking position of the vehicle 15 that is targeted by the driver.
  • the parking guide line A0 is an image showing a predicted traveling locus of the vehicle 15, and changes according to the steering angle of the vehicle 15.
  • the parking target position Ti and the parking guide line A0 are displayed superimposed on the captured image in order to support the driving operation of the vehicle 15.
  • the driver can park in the center of the parking area PS by operating the vehicle 15 so that the parking guide line A0 overlaps the parking target position Ti.
  • the center line CL of the parking area PS is a virtual line for explanation.
  • the parking assistance apparatus 1 may superimpose and display the center line CL.
  • the parking target position Ti displayed by the parking assist device 1 in the initial state is symmetrical with respect to the center line CL.
  • the parking guide line A0 in FIG. 4 the driver tends to park the vehicle 15 on the right side of the drawing with respect to the parking target position Ti so as to avoid the obstacle B. Therefore, the parking target position Ti displayed by the parking assist device 1 in the initial state does not reflect the preference and custom of the driver's parking position.
  • the parking assistance device 1 stores an image including the parking area PS and the parking guide line A0 in the memory 30 when the vehicle 15 is parked.
  • the calculating part 23 acquires an image from the memory 30, calculates
  • the deviation rate R is expressed by the following formula (1).
  • the right distance DR is a distance between the vehicle 15 and the right boundary (left side of the drawing) of the parking area PS with reference to the forward direction of the vehicle 15.
  • the left interval DL is a distance between the vehicle 15 and the left boundary (right side in the drawing) of the parking area PS with reference to the forward direction of the vehicle 15.
  • the deviation rate R is greater than 1 when the vehicle 15 is parked to the left (rightward on the page) with respect to the forward direction. On the contrary, the deviation rate R is smaller than 1 when the vehicle 15 is parked to the right (left side in the drawing) with the forward direction as a reference.
  • the parking assistance apparatus 1 not only acquires the right interval DR and the left interval DL, but also determines the deviation of the parking position based on the deviation rate R that is the ratio thereof. Therefore, regardless of the size of the parking area PS, the deviation of the parking position is determined based on the same standard as the deviation rate R.
  • the image acquired from the memory 30 by the calculation unit 23 to calculate the deviation rate R is an image when there is no change in the steering angle immediately before the vehicle 15 stops in this embodiment.
  • the image is not particularly limited as long as the image can acquire the DR and the left interval DL.
  • interval DL is set to the rearmost part vicinity of the vehicle 15 of the parking guide line A0 in this embodiment, it is not specifically limited.
  • FIG. 5 shows a plurality of parking guide lines A1 to A4 of the vehicle 15 in an overlapping manner. That is, FIG. 5 collectively shows parking guide lines A1 to A4 indicating the respective parking positions after the vehicle 15 is parked a plurality of times.
  • the driver illustrated in the present embodiment tends to park so that the center of the vehicle is located on the right side of the paper with respect to the center line CL of the parking area PS.
  • the calculation unit 23 calculates the deviation rate R in each of the multiple parking of the vehicle 15. For example, the deviation rate R is calculated as “1.2”, “1.3”, “1.1”, “1.2”.
  • the parking position of the vehicle 15 is related to the parking area PS by the deviation rate R.
  • the calculation unit 23 stores the calculated deviation rate R in the memory 30 as history information. That is, the history information is a list of deviation rates R that are information on past parking positions. At this time, each deviation rate R may be stored in a table format associated with the time information.
  • a plurality of pieces of history information according to a predetermined category (that is, by condition) are used.
  • the predetermined section is position information of the vehicle 15, and history information is prepared for each parking place. Therefore, the parking assistance apparatus 1 can reflect a driver
  • the calculation unit 23 acquires the position information of the vehicle 15 from the vehicle position detection unit 25, and selects history information about the parking area PS from the plurality of history information.
  • the calculation unit 23 performs a statistical calculation process on the deviation rate R of a plurality of parking of the vehicle 15 to grasp the driver's preference for parking position and customs.
  • the calculation unit 23 obtains the mode value of the deviation rate R.
  • FIG. 6 shows an example of the result of statistical processing of history information executed by the calculation unit 23.
  • the mode value of the deviation rate R is 1.2. That is, the driver tends to park with a bias toward the left (to the right of the page) with respect to the forward direction of the vehicle 15.
  • the result of the statistical processing of the calculation unit 23 is output to the image processing unit 26.
  • the image processing unit 26 adjusts the display position of the parking target position Ti to adjust the image. Is generated and displayed on the display device 13.
  • the mode value of the deviation rate R acquired from the calculation unit 23 is 1.2.
  • the current set value is a deviation rate R of the center of the current parking target position Ti, which is 1. Further, it is assumed that the threshold is set to 0.1. At this time, since the absolute value (0.2) of the difference between the mode value of the deviation rate R acquired from the calculation unit 23 and the current set value exceeds the threshold value (0.1), the image processing unit 26 exceeds the threshold (0.1). The display position of the position Ti is adjusted. FIG.
  • FIG. 7 is a diagram showing the adjusted parking target position Ta, and it can be seen that the parking target position Ta is shifted to the right in the drawing according to the driver's preference for parking position and customs. Specifically, the image processing unit 26 adjusts so that the deviation rate R of the center of the parking target position Ta is 1.2. After this adjustment, the image processing unit 26 displays the parking target position Ta instead of the parking target position Ti and performs parking support. Therefore, the driver can park at a desired position by operating the vehicle 15 so that the parking guide line overlaps the parking target position Ta.
  • the image processing unit 26 may receive information related to sitting from the sensor unit 27. Based on this information, the image processing unit 26 can further adjust the parking target position Ta so as to be more convenient for the passengers P1, P2, and P3.
  • the image processing unit 26 grasps that the “sitting position” of the passengers P1, P2, and P3 is the driver's seat side (see FIG. 3).
  • the image processing unit 26 may further shift the parking target position Ta to the right side of the page so that a sufficient boarding / alighting space is provided.
  • the image processing unit 26 may adjust the deviation rate R at the center of the parking target position Ta to be 1.25.
  • the driver can park the vehicle 15 at an appropriate position in consideration of getting on and off of the passengers P1, P2, and P3 by operating the vehicle 15 so that the parking guide line overlaps the parking target position Ta.
  • FIG. 8 The processing executed in the above embodiment will be described below with reference to FIGS. First, the flowchart of FIG. 8 is shown about the process which signal processing part 19a, 19b, 19c, 19d of the imaging device (front camera 11a, rear camera 11b, left side camera 11c, right side camera 11d) with which the vehicle 15 was equipped performs. It explains using. And the parking assistance method which the parking assistance apparatus 1 performs is demonstrated using the flowchart of FIG.
  • the signal processing units 19a, 19b, 19c, and 19d acquire image signals from the image sensors 18a, 18b, 18c, and 18d, respectively (step S1).
  • the signal processing units 19a, 19b, 19c, and 19d perform luminance signal processing (eg, brightness correction, gamma correction, etc.) and color signal processing (eg, color interpolation, color correction, white balance, etc.) on the acquired image signal. Execute (Step S2).
  • luminance signal processing eg, brightness correction, gamma correction, etc.
  • color signal processing eg, color interpolation, color correction, white balance, etc.
  • the signal processing units 19a, 19b, 19c, and 19d output the image data after the signal processing to the image acquisition unit 21 (step S3).
  • the processing of steps S1, S2, and S3 is executed by the signal processing units 19a, 19b, 19c, and 19d in accordance with control signals from the camera control units 20a, 20b, 20c, and 20d.
  • the image acquisition unit 21 acquires image data (step S10).
  • the image acquisition unit 21 acquires all of the image data of the front, rear, and side (right and left) peripheral regions.
  • the image acquisition unit 21 designates a necessary image data area (step S11).
  • the image acquisition unit 21 temporarily stores all the image data in the memory 30, and then extracts the image of the rear camera 11b.
  • the parking area detection part 22 performs a binarization process (step S12).
  • the image of the rear camera 11b is binarized (represented by two gradations of white and black) in order to easily detect the white line.
  • the parking area detection unit 22 performs labeling feature extraction (step S13). That is, the parking area detection part 22 extracts a white area
  • step S15 When the parking area detection unit 22 detects the white line, the process proceeds to step S15 (Yes in step S14). When the white line cannot be detected and the parking area PS cannot be specified (No in step S14), the process returns to step S10. That is, the image acquisition unit 21 acquires image data again. At this time, the parking area detection unit 22 may cause the camera control units 20a, 20b, 20c, and 20d, for example, to perform adjustment of luminance signal processing or the like via the in-vehicle network 14.
  • the calculating unit 23 calculates the deviation rate R for the current parking of the vehicle 15 (step S15). And the calculating part 23 acquires the positional infomation on the vehicle 15 from the vehicle position detection part 25, and selects the historical information about the parking area PS which is object from several historical information.
  • the calculation unit 23 acquires a deviation rate R for the past parking of the vehicle 15 from the history information, and executes statistical processing (step S16). In the present embodiment, the calculation unit 23 obtains the mode value of the deviation rate R. In addition, after executing the statistical processing, the calculation unit 23 adds the deviation rate R with respect to the current parking of the vehicle 15 to the history information about the parking area PS and stores it in the memory 30. That is, the calculation unit 23 updates the history information. Then, the calculation unit 23 outputs the mode value of the deviation rate R to the image processing unit 26.
  • the image processing unit 26 adjusts the parking target position ( From step S18), the series of processing ends. That is, when there is a certain difference between the parking target position based on the current set value and the parking position according to the driver's preference and habit, the image processing unit 26 adjusts the parking target position.
  • the image processing unit 26 adjusts the parking target position. The series of processing ends.
  • the image processing unit 26 may further adjust the display position according to the information related to the seating from the sensor unit 27.
  • the parking assistance device 1 reflects the preference and customs of the parking position without complicated operation by the user by adjusting the parking target position based on the statistical processing result of the history information.
  • the parking target position can be displayed.
  • the parking area detection unit 22 performs white line detection, but the parking area may be specified by performing edge detection instead of white line detection.
  • the processing for detecting the side wall and the back wall by performing edge detection using, for example, a Sobel filter or a Previtt filter is performed in steps S12, S13 and S14 in FIG. It may replace with and may be performed.
  • a plurality of history information is used according to the position information of the vehicle 15, but a plurality of history information according to other predetermined sections may be used.
  • the predetermined division may be a division based on a parking type such as parallel parking and parallel parking.
  • the parking type can be determined based on the positional relationship between the vehicle 15 and the parking area.
  • different history information is used when the parking area is located obliquely behind the vehicle 15 for parallel parking and when the parking area is located behind the vehicle as in the above embodiment.
  • the parking assistance device 1 that can further reflect the driver's preference is realized.
  • different history information may be used for each number of passengers (for example, whether the number of passengers is one or two).
  • different history information may be used for each seating position of a passenger other than the driver (for example, whether it is a passenger seat or a rear seat on the driver's seat side).
  • the history information varies depending on the size of the parking area (for example, the left and right widths are divided into 250 to 269 [cm], 270 to 289 [cm], 290 to 309 [cm], 310 [cm] or more). May be used.
  • one piece of history information may be used regardless of the position information of the vehicle 15 or the like.
  • the parking assistance apparatus 1 can reflect the driver's preference and tendency (for example, a tendency to move to the right side from the center) regardless of the location.
  • the calculation unit 23 calculates the deviation rate in the left-right direction of the vehicle 15, but may further calculate the deviation rate in the front-rear direction of the vehicle 15, or in the direction of the front-rear direction of the vehicle 15. Only the deviation rate may be calculated.
  • the calculation unit 23 obtains the distance (DR in FIG. 5) from the rear boundary of the parking area during parking, stores it in the memory 30 as history information, and performs statistical calculation processing. May be performed. At this time, the parking assistance device 1 that can further reflect the driver's preference is realized.
  • the processor 12 of the parking assistance apparatus 1 and the signal processing parts 19a, 19b, 19c, and 19d of an imaging device perform a different process, both are integrated, FIG.8 and FIG.9. All the described processes may be performed.
  • the signal processing units 19a, 19b, 19c, and 19d may execute the processing of the processor 12 of the parking assistance device 1.
  • the imaging device vehicle camera
  • the parking assist device 1 may include the parking assist device 1.
  • the image processing unit 26 further adjusts the parking target position Ta when receiving information related to sitting from the sensor unit 27.
  • the image processing unit 26 may have a function of further adjusting the parking target position Ta when it is detected that there are other vehicles on the left and right of the parking area.
  • the image acquisition unit 21 extracts the image data of the peripheral region on the side (right side and left side).
  • the parking area detection unit 22 detects whether there is a vehicle on the side, and outputs a detection result to the image processing unit 26.
  • the image processing unit 26 adjusts the parking target position Ta to be further shifted to the opposite side (left side).
  • the parking assistance apparatus 1 can perform parking assistance that makes it easier for the passenger to get on and off.
  • the parking assistance device 1 includes the memory 30, but a storage device such as a hard disk drive may be used.
  • the memory 30 includes a volatile memory and a nonvolatile memory, but may include only one of these (for example, a volatile memory).

Abstract

駐車支援装置１は、車両に備えられた撮像装置で撮像された車両の周辺画像から駐車領域を抽出し、駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサ１２と、車両の駐車位置を駐車領域と関連付けた履歴情報を記憶するメモリ３０と、を含む。プロセッサ１２は、履歴情報に基づいて駐車目標位置の画像における位置を調整する。

Description

駐車支援装置、車載カメラ、車両および駐車支援方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１６－０５５９２８号（２０１６年３月１８日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、駐車を支援する駐車支援装置、車載カメラ、車両および駐車支援方法に関する。
　車両の運転操作を支援する装置が知られている。例えば、特許文献１は、車両を駐車する際に実画像上に目標駐車枠を重畳表示する駐車支援装置について記載する。特許文献１の駐車支援装置は、駐車範囲内の任意の位置に駐車できるように、目標駐車枠の表示位置をユーザ（例えば車両の運転者等）の操作によって移動させることが可能である。
特開平１１－２０８４２０号公報
　本開示の一実施形態に係る駐車支援装置は、車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサを備える。前記駐車支援装置は、前記車両の駐車位置を前記駐車領域と関連付けた履歴情報を記憶するメモリを備える。前記プロセッサは、前記履歴情報に基づいて前記駐車目標位置の前記画像における位置を調整する。
　また、本開示の一実施形態に係る車載カメラは、駐車支援装置を備える車載カメラである。前記駐車支援装置は、車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサを備える。前記駐車支援装置は、前記車両の駐車位置を前記駐車領域と関連付けた履歴情報を記憶するメモリを備える。前記プロセッサは、前記履歴情報に基づいて前記駐車目標位置の前記画像における位置を調整する。
　また、本開示の一実施形態に係る車両は、駐車支援装置を備える車両である。前記駐車支援装置は、前記車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサを備える。前記駐車支援装置は、前記車両の駐車位置を前記駐車領域と関連付けた履歴情報を記憶するメモリを備える。前記プロセッサは、前記履歴情報に基づいて前記駐車目標位置の前記画像における位置を調整する。
　また、本開示の一実施形態に係る駐車支援方法は、プロセッサとメモリとを備える駐車支援装置が実行する駐車支援方法である。前記駐車支援方法は、前記プロセッサが、車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出する。前記駐車支援方法は、前記プロセッサが、前記駐車領域と駐車目標位置とが重畳した画像を生成する。前記駐車支援方法は、前記メモリが、前記車両の駐車位置を前記駐車領域と関連付けた履歴情報を記憶する。前記駐車支援方法は、前記プロセッサが、前記履歴情報に基づいて前記駐車目標位置の前記画像における位置を調整する。
図１は、本開示の一実施形態に係る駐車支援装置および駐車支援装置を備える車載カメラシステムの概略構成を示すブロック図である。 図２は、図１の車載カメラシステムの構成要素の配置を示す概略図である。 図３は、図１の車載カメラシステムを搭載した車両の駐車例を示す図である。 図４は、駐車領域と駐車目標位置とを説明するための図である。 図５は、車両の駐車位置と履歴情報について説明するための図である。 図６は、履歴情報の統計処理について説明するための図である。 図７は、調整された駐車目標位置を例示する図である。 図８は、撮像装置の処理を示すフローチャートである。 図９は、駐車支援方法を示すフローチャートである。
　以下、本開示の実施形態について、図面を参照して説明する。
（駐車支援装置および車載カメラシステムの概略構成）
　本開示の一実施形態に係る駐車支援装置１および車載カメラシステム１０について説明する。
　図１に示されるように、車載カメラシステム１０は、複数の撮像装置、駐車支援装置１、表示装置１３、位置情報取得部２４およびセンサ部２７を備える。複数の撮像装置は、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄを含む。駐車支援装置１は、プロセッサ１２およびメモリ３０を備える。本実施形態において、車載カメラシステム１０の各構成要素および駐車支援装置１の各構成要素は、専用線又はＣＡＮ（Controller Area Network）などの車載ネットワーク１４を介して情報を送受信可能である。メモリ３０は駐車支援装置１に含まれているが、プロセッサ１２以外の構成要素（例えばフロントカメラ１１ａ等）もアクセス可能である。
　図２に示されるように、フロントカメラ１１ａは、車両１５の前方の周辺領域を撮像可能となるように配置される。リアカメラ１１ｂは、車両１５の後方の周辺領域を撮像可能となるように配置される。左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、例えば左右のドアミラー１６において鉛直下向きに、車両１５の側方の周辺領域をそれぞれ撮像可能となるように配置される。図２では、右サイドカメラ１１ｄは車両１５の車体に隠れているため示されていない。また、左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、車両１５の左右両側にそれぞれ対称に配置される。表示装置１３は、運転席から視認可能な位置に配置される。
　フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、例えば魚眼レンズなどの画角の広いレンズを備えており、車両１５の周辺領域を広角撮影可能である。一般に、広角撮影においては広範囲の被写体を撮像可能であって、画像周辺部における被写体は湾曲して撮像されるが、撮像装置自身または駐車支援装置１によって湾曲が修正されてから表示装置１３に表示される。
　次に、再び図１を参照して、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの構成について説明する。フロントカメラ１１ａは、光学系１７ａと、撮像素子１８ａと、信号処理部１９ａと、カメラ制御部２０ａと、を備える。
　光学系１７ａは、絞りおよびレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１７ａは広い画角を有しており、上述のように車両１５の周辺領域に含まれる被写体像を結像可能である。
　撮像素子１８ａは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子であって、光学系１７ａによって結像する被写体像を撮像する。また、撮像素子１８ａは、撮像により生成した撮像画像を、画像信号として信号処理部１９ａに出力する。
　信号処理部１９ａは、撮像素子１８ａから取得した画像信号に対して、輝度信号処理（例えば明るさ補正、ガンマ補正等）および色信号処理（例えば色補間、色補正、ホワイトバランス等）を実行する。信号処理部１９ａはさらにノイズ除去を施してよい。信号処理部１９ａは、これらの画像処理を施した画像データを駐車支援装置１に出力する。
　カメラ制御部２０ａは、フロントカメラ１１ａの各部位の動作を制御する。例えば、カメラ制御部２０ａは、撮像素子１８ａおよび信号処理部１９ａの動作を制御して、周期的に、例えば３０ｆｐｓで画像信号を出力させる。
　リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、フロントカメラ１１ａと類似して、光学系１７ｂ，１７ｃ，１７ｄをそれぞれ備える。また、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、撮像素子１８ｂ，１８ｃ，１８ｄをそれぞれ備える。また、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、信号処理部１９ｂ，１９ｃ，１９ｄ、をそれぞれ備える。また、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、カメラ制御部２０ｂ，２０ｃ，２０ｄをそれぞれ備える。光学系１７ｂ，１７ｃ，１７ｄ、撮像素子１８ｂ，１８ｃ，１８ｄ、信号処理部１９ｂ，１９ｃ，１９ｄ、およびカメラ制御部２０ｂ，２０ｃ，２０ｄの機能および構成は、フロントカメラ１１ａと類似である。車載カメラシステム１０は一部の撮像装置を備えなくてよい。例えば、車載カメラシステム１０はフロントカメラ１１ａを備えない構成であってよい。
　駐車支援装置１のプロセッサ１２は、画像取得部２１と、駐車領域検出部２２と、演算部２３と、車両位置検出部２５と、画像処理部２６とを備える。また、本実施形態においてプロセッサ１２は、特定のプログラムを読み込むことにより特定の機能を実現するＣＰＵ（Central Processing Unit）である。プロセッサ１２は、単一のＣＰＵ、または、複数のＣＰＵで構成することも可能である。
　駐車支援装置１のメモリ３０は、プロセッサ１２が実行する演算および処理で用いられる各種のデータを記憶する。また、メモリ３０は、プロセッサ１２が画像取得部２１、駐車領域検出部２２、演算部２３、車両位置検出部２５、および画像処理部２６として機能するためのプログラムを格納する。また、メモリ３０は、後述する履歴情報を複数記憶する。
　画像取得部２１は、車載ネットワーク１４を介して、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄからそれぞれの方向の周辺領域の画像データを取得する。画像取得部２１は、前方、後方および側方（右方、左方）の周辺領域の画像データの全部を取得してよいし、一部を取得してよい。例えば、画像取得部２１は、画像データの全部を取得して一時的にメモリ３０に記憶してから、必要なエリアだけを抽出（エリアを指定）してよい。また、画像取得部２１は、車両１５が駐車領域に停止する前の画像であって、後述するズレ率の演算に使用可能な画像をメモリ３０に記憶させる。ここで、画像取得部２１が取得する前方、後方および側方の周辺領域の画像の全部または一部が、本開示の周辺画像に対応する。
　駐車領域検出部２２は駐車領域（車両１５が駐車可能な領域）を検出する。車両１５が例えば市街の駐車場に停まる場合には、駐車領域検出部２２は、白線検出を行うことによって駐車領域を検出できる。また、車両１５が例えば自宅のガレージに停まる場合には、側壁および背壁を検出することによって駐車領域を検出できる。駐車領域は車両１５が停まることが可能な領域である。駐車領域の内部に駐車目標位置が設定される。駐車領域検出部２２が検出した駐車領域の情報はメモリ３０に記憶されて、例えば画像処理部２６が駐車領域と駐車目標位置とが重畳した画像を生成する際に用いられる。
　演算部２３はズレ率を演算し、過去の分も含めて履歴情報としてメモリ３０に記憶する。ズレ率は車両１５が実際に駐車した位置が駐車領域の中心を基準にしてどれだけ偏っているかを示す値である。本実施形態では、演算部２３は車両１５の左右の方向におけるズレ率を演算する。
　また、演算部２３は、ズレ率について統計的な演算処理を実行する。過去の分も含めたズレ率について統計的に演算を行うことで運転者の駐車位置の好みおよび習慣がわかる。統計的な演算は、例えば平均値を求めてよいし、本実施形態のように最頻値を求めてよいし、母数の多少に応じて平均値と最頻値とを切り替えてよい。また、演算部２３は、母数として直近の所定数（例えば１０）のズレ率を選択することによって、最近の傾向を反映させてよい。演算部２３は履歴情報をメモリ３０に記憶するとともに、統計処理の結果を画像処理部２６に出力する。
　画像処理部２６は、例えば画像取得部２１が取得した駐車領域を含むリアカメラ１１ｂからの画像に駐車目標位置が重畳した画像を生成する。画像処理部２６は、表示装置１３に生成した画像を表示させる。また、画像処理部２６は、後述する駐車ガイド線も重畳表示させる。さらに、画像処理部２６は、駐車領域を目立たせるような処理を実行してよい。そして、画像処理部２６は、演算部２３からの取得したズレ率の最頻値と現在の設定値との差の絶対値が閾値を超える場合には、駐車目標位置の表示位置を調整して画像を生成し、表示装置１３に表示させる。また、画像処理部２６は、着座に関する情報（車両１５の搭乗者の情報）を取得して、生成する画像における駐車目標位置の位置を調整する。例えば、助手席側に多くの人が乗っている場合には、乗降がしやすいように運転席側に駐車位置をずらした駐車目標位置を表示してよい。
　車両位置検出部２５は、車両１５の位置情報を取得して演算部２３に出力する。本実施形態では、車両位置検出部２５は、位置情報取得部２４からＧＰＳ（Global Positioning System）による位置検出データを取得して車両１５の位置を把握する。位置情報は、演算部２３がメモリ３０に複数記憶されている履歴情報の中から適切なものを選択することを可能にする。ここで、駐車支援装置１は、駐車場所毎の複数の履歴情報を使用することにより駐車場所によって異なる運転者の好みを適切に反映することができる。例えば、運転手が自宅のガレージでは右寄りに駐車することを好み、市街の駐車場では中央に駐車することを好む場合にも、駐車支援装置１は、それぞれの場所に適した駐車目標位置を表示できる。
　表示装置１３は、例えばＬＣＤ（Liquid Crystal Display）を含んで構成され、リアルタイムの動画像を表示可能である。表示装置１３は、車載ネットワーク１４を介して、少なくとも駐車目標位置を重畳表示した画像を表示する。
　位置情報取得部２４は、ＧＰＳの位置情報を車両１５の外部から取得するための装置である。例えば、位置情報取得部２４はＧＰＳアンテナとＧＰＳ受信機であってよい。また、車両１５が搭載するカーナビゲーションシステムの一部を位置情報取得部２４として機能させてよい。
　センサ部２７は、座席および背もたれ部分の圧力を検出する圧力センサ２８、シートベルトの巻取装置（リトラクター）にあってベルトの引き出し状態を検出できる回転センサなどを含む。そして、センサ部２７は、車載ネットワーク１４を介して、着座に関する情報をプロセッサ１２に出力する。
（駐車目標位置の調整について）
　以下では、表示装置１３に表示される、撮像画像に駐車目標位置および駐車ガイド線を重畳した画像の例を示す。その後に、駐車支援装置１の処理（駐車支援方法）について説明する。図３に示されるように、駐車支援装置１を備える車載カメラシステム１０を搭載した車両１５が、所定の駐車領域ＰＳに後方から進入して駐車する例を適宜用いて説明する。
　図３の例では、車両１５は３つある駐車領域ＰＳのうち中央の領域に駐車する。センターラインＣＬは駐車領域ＰＳの左右の幅が等しくなる仮想的な線である。また、障害物Ｂが紙面左方の駐車領域ＰＳとの境界部分に存在する。
　このとき、車両１５の搭乗者Ｐ１，Ｐ２，Ｐ３の着座席が全て運転席側（紙面左方）であるため、搭乗者Ｐ１，Ｐ２，Ｐ３は近くのドアＤ（紙面左方）から降りる。障害物ＢによってドアＤを十分に開くことができないことを回避するために、運転者（図３の例では搭乗者Ｐ１）は障害物Ｂから大きく離れるように駐車すると考えられる。また、運転者は、障害物Ｂのある駐車領域ＰＳを多く利用する場合には、他の搭乗者Ｐ２，Ｐ３が乗っていなくても障害物Ｂから離れるように駐車する傾向があると考えられる。つまり、この車両１５の中心が、駐車領域ＰＳのセンターラインＣＬよりも紙面右方側に位置するように駐車される傾向があると考えられる。
　従来の駐車支援を行う装置では、表示される駐車目標位置が常に同じであるか、調整可能であっても運転者の手動の操作が必要であった。以下に説明するように、本実施形態に係る駐車支援装置１は、運転者の煩雑な操作なしに駐車位置の好みおよび習慣を反映した走行支援ガイドを表示させることができる。
　まず、図４を参照して、本実施形態に係る駐車支援装置１が表示させる初期状態の画像（運転者の好みおよび習慣を反映する前の画像）について説明する。図４に示されるように、初期状態の画像は、リアカメラ１１ｂが撮像した撮像画像である駐車領域ＰＳおよび障害物Ｂを含む。駐車領域ＰＳは白線で囲まれている。駐車支援装置１は白線を検出する処理によって駐車領域ＰＳを認識する。駐車目標位置Ｔｉは運転者が目標とする車両１５の駐車位置を示す画像である。また、駐車ガイド線Ａ０は車両１５の走行予想軌跡を示す画像であって、車両１５の操舵角に応じて変化する。駐車目標位置Ｔｉおよび駐車ガイド線Ａ０は、車両１５の運転操作を支援するために撮像画像に重畳表示される。運転者は、駐車ガイド線Ａ０が駐車目標位置Ｔｉに重なるように車両１５を操作することで、駐車領域ＰＳの中央に駐車することができる。ここで、駐車領域ＰＳのセンターラインＣＬは説明のための仮想線である。駐車支援装置１はセンターラインＣＬを重畳表示させてよい。
　図４に示されるように、初期状態の駐車支援装置１が表示させる駐車目標位置Ｔｉは、センターラインＣＬを中心に左右対称である。ここで、図４の駐車ガイド線Ａ０が示すように、運転者は障害物Ｂを回避するように駐車目標位置Ｔｉよりも紙面右側に車両１５を駐車する傾向がある。したがって、初期状態の駐車支援装置１が表示させる駐車目標位置Ｔｉは運転者の駐車位置の好みおよび習慣を反映していない。駐車支援装置１は、車両１５の駐車時に駐車領域ＰＳおよび駐車ガイド線Ａ０が含まれる画像をメモリ３０に記憶する。そして、演算部２３はメモリ３０から画像を取得して、図４に示される、車両１５の右方間隔ＤＲおよび左方間隔ＤＬを求めて、これらの比をズレ率Ｒとする。ズレ率Ｒは以下の式（１）で示される。
　Ｒ＝ＤＲ／ＤＬ　…　式（１）
　ここで、右方間隔ＤＲは、車両１５の前進方向を基準とした駐車領域ＰＳの右方（紙面左方）の境界と車両１５との距離である。また、左方間隔ＤＬは、車両１５の前進方向を基準とした駐車領域ＰＳの左方（紙面右方）の境界と車両１５との距離である。ズレ率Ｒは、車両１５がその前進方向を基準とした左方（紙面右方）に偏って駐車される場合には１よりも大きくなる。逆に、ズレ率Ｒは、車両１５がその前進方向を基準とした右方（紙面左方）に偏って駐車される場合には１よりも小さくなる。駐車支援装置１は、右方間隔ＤＲおよび左方間隔ＤＬを取得するだけでなく、これらの比であるズレ率Ｒによって駐車位置の偏りを判定する。そのため、駐車領域ＰＳの大きさに関わらず、ズレ率Ｒという同じ基準で駐車位置の偏りが判定される。ここで、演算部２３がズレ率Ｒを演算するためにメモリ３０から取得する画像は、本実施形態では車両１５が停止する直前で操舵角の変化がないときの画像であるが、右方間隔ＤＲおよび左方間隔ＤＬを取得可能な画像であれば特に限定されない。また、右方間隔ＤＲおよび左方間隔ＤＬを計測する位置は、本実施形態では駐車ガイド線Ａ０の車両１５の最後部付近に設定されているが特に限定されない。
　図５の駐車領域ＰＳは図４と同じであるが、図５では車両１５の複数回の駐車ガイド線Ａ１～Ａ４を重ねて示している。つまり、図５は、車両１５の駐車が複数回実行された後のそれぞれの駐車位置を示す駐車ガイド線Ａ１～Ａ４をまとめて示すものである。図５に示されるように、本実施形態に例示する運転者は、車両の中心が駐車領域ＰＳのセンターラインＣＬよりも紙面右方側に位置するように駐車する傾向がある。
　演算部２３は、車両１５の複数回の駐車のそれぞれでズレ率Ｒを演算する。例えば、ズレ率Ｒは“１．２”，“１．３”，“１．１”，“１．２”のように演算される。ズレ率Ｒによって車両１５の駐車位置は駐車領域ＰＳと関連付けられる。演算部２３は、演算したこれらのズレ率Ｒを履歴情報としてメモリ３０に記憶する。つまり、履歴情報は過去の駐車位置の情報であるズレ率Ｒのリストである。このとき、個々のズレ率Ｒは時間情報と対応付けられたテーブル形式で記憶されていてよい。ここで、所定の区分による（つまり条件別の）複数の履歴情報が使用される。本実施形態では、所定の区分は車両１５の位置情報であって、駐車場所毎に履歴情報が用意される。そのため、駐車支援装置１は駐車場所毎に運転者の好みおよび習慣を反映可能である。演算部２３は、車両位置検出部２５から車両１５の位置情報を取得して、複数の履歴情報の中から駐車領域ＰＳについての履歴情報を選択する。
　また、演算部２３は、車両１５の複数回の駐車のズレ率Ｒについて統計的な演算処理を実行して、運転者の駐車位置の好みおよび習慣を把握する。本実施形態では、演算部２３はズレ率Ｒの最頻値を求める。図６は、演算部２３が実行した履歴情報の統計処理の結果の一例を示す。車両１５の中心がセンターラインＣＬ上にある場合にはズレ率Ｒは１であるところ、図６の例では、ズレ率Ｒの最頻値は１．２である。つまり、運転者は、車両１５の前進方向を基準として左方（紙面右方）に偏って駐車する傾向がある。このように、履歴情報の統計処理によって運転者の駐車位置の好みおよび習慣がわかる。演算部２３の統計処理の結果は画像処理部２６に出力される。
　画像処理部２６は、演算部２３から取得したズレ率Ｒの最頻値と現在の設定値との差の絶対値が閾値を超える場合には、駐車目標位置Ｔｉの表示位置を調整して画像を生成し、表示装置１３に表示させる。本実施形態では、演算部２３から取得したズレ率Ｒの最頻値は１．２である。また、現在の設定値は、現在の駐車目標位置Ｔｉの中心のズレ率Ｒであり、１である。また、閾値は０．１に設定されているとする。このとき、画像処理部２６は、演算部２３から取得したズレ率Ｒの最頻値と現在の設定値との差の絶対値（０．２）が閾値（０．１）を超えるので駐車目標位置Ｔｉの表示位置を調整する。図７は、調整された駐車目標位置Ｔａを示す図であり、駐車目標位置Ｔｉと比較して、運転者の駐車位置の好みおよび習慣に応じて紙面右方にずれていることがわかる。具体的には、画像処理部２６は、駐車目標位置Ｔａの中心のズレ率Ｒが１．２であるように調整する。この調整後には、画像処理部２６は、駐車目標位置Ｔｉでなく駐車目標位置Ｔａを表示させて駐車支援を実行する。そのため、運転者は、駐車ガイド線が駐車目標位置Ｔａに重なるように車両１５を操作することで、好みの位置に駐車することができる。
　ここで、画像処理部２６は、センサ部２７から着座に関する情報を受け取ってよい。画像処理部２６は、この情報に基づいて更に搭乗者Ｐ１，Ｐ２，Ｐ３に都合がよいように駐車目標位置Ｔａを調整できる。
　例えば、画像処理部２６は、搭乗者Ｐ１，Ｐ２，Ｐ３の「着座席の位置」が運転席側であることを把握する（図３参照）。画像処理部２６は、十分な乗降スペースができるように、駐車目標位置Ｔａを更に紙面右方にずらしてよい。具体的には、画像処理部２６は、駐車目標位置Ｔａの中心のズレ率Ｒが１．２５であるように調整してよい。このとき、運転者は駐車ガイド線が駐車目標位置Ｔａに重なるように車両１５を操作することで、搭乗者Ｐ１，Ｐ２，Ｐ３の乗降についても考慮した適切な位置に駐車することができる。
（駐車支援方法）
　以下に上記の実施形態で実行される処理について図８および図９を参照して説明する。まず、車両１５に備えられた撮像装置（フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、右サイドカメラ１１ｄ）の信号処理部１９ａ，１９ｂ，１９ｃ，１９ｄが実行する処理について図８のフローチャートを用いて説明する。そして、駐車支援装置１が実行する駐車支援方法について図９のフローチャートを用いて説明する。
　図８に示されるように、信号処理部１９ａ，１９ｂ，１９ｃ，１９ｄは、それぞれ撮像素子１８ａ，１８ｂ，１８ｃ，１８ｄから画像信号を取得する（ステップＳ１）。
　信号処理部１９ａ，１９ｂ，１９ｃ，１９ｄは、取得した画像信号に対して、輝度信号処理（例えば明るさ補正、ガンマ補正等）および色信号処理（例えば色補間、色補正、ホワイトバランス等）を実行する（ステップＳ２）。
　信号処理部１９ａ，１９ｂ，１９ｃ，１９ｄは、上記の信号処理後の画像データを画像取得部２１へ出力する（ステップＳ３）。ステップＳ１，Ｓ２，Ｓ３の処理は、カメラ制御部２０ａ，２０ｂ，２０ｃ，２０ｄからの制御信号に従って、信号処理部１９ａ，１９ｂ，１９ｃ，１９ｄが実行する。
　図９に示されるように、画像取得部２１は画像データを取得する（ステップＳ１０）。本実施形態において、画像取得部２１は、前方、後方および側方（右方、左方）の周辺領域の画像データの全部を取得する。
　画像取得部２１は必要な画像データのエリアを指定する（ステップＳ１１）。本実施形態では、画像取得部２１は画像データの全部を一時的にメモリ３０に記憶してから、リアカメラ１１ｂの画像を抽出する。
　駐車領域検出部２２は二値化処理を実行する（ステップＳ１２）。本実施形態では、駐車領域ＰＳが白線で囲まれているため、白線を検出しやすくするためにリアカメラ１１ｂの画像を二値化する（白色と黒色の二階調で表す）。
　駐車領域検出部２２はラベリング特徴抽出を実行する（ステップＳ１３）。つまり、駐車領域検出部２２は二値化した画像から、白色の領域を抽出して、それぞれを区別するためにラベリング（例えば固有の番号の割り当て）を行う。そして、駐車領域検出部２２は、例えば位置、長さ、幅等の特徴から、駐車領域ＰＳの白線を構成すると判定される白色の領域を選択する。
　駐車領域検出部２２は白線を検出するとステップＳ１５の処理に進む（ステップＳ１４のＹｅｓ）。白線を検出できず駐車領域ＰＳを特定できない場合には（ステップＳ１４のＮｏ）、ステップＳ１０の処理に戻る。つまり、画像取得部２１は再び画像データを取得する。このとき、駐車領域検出部２２は車載ネットワーク１４を介してカメラ制御部２０ａ，２０ｂ，２０ｃ，２０ｄに例えば輝度信号処理の調整等を実行させてよい。
　演算部２３は、現在の車両１５の駐車についてズレ率Ｒを演算する（ステップＳ１５）。そして、演算部２３は、車両位置検出部２５から車両１５の位置情報を取得して、複数の履歴情報の中から対象である駐車領域ＰＳについての履歴情報を選択する。
　演算部２３は、履歴情報から過去の車両１５の駐車についてズレ率Ｒを取得して統計処理を実行する（ステップＳ１６）。本実施形態では、演算部２３はズレ率Ｒの最頻値を求める。また、演算部２３は統計処理を実行した後に、駐車領域ＰＳについての履歴情報に現在の車両１５の駐車についてズレ率Ｒを加えてメモリ３０に記憶させる。つまり、演算部２３は履歴情報を更新する。そして、演算部２３はズレ率Ｒの最頻値を画像処理部２６に出力する。
　画像処理部２６は、演算部２３から取得したズレ率Ｒの最頻値と現在の設定値との差の絶対値が閾値を超える場合（ステップＳ１７のＹｅｓ）、駐車目標位置を調整して（ステップＳ１８）から一連の処理を終了する。つまり、現在の設定値に基づく駐車目標位置と運転者の好みおよび習慣に従う駐車位置とに一定の乖離がある場合には、画像処理部２６は駐車目標位置を調整する。画像処理部２６は、演算部２３から取得したズレ率Ｒの最頻値と現在の設定値との差の絶対値が閾値を超えない場合（ステップＳ１７のＮｏ）、駐車目標位置を調整することなく一連の処理を終了する。
　画像処理部２６は駐車目標位置を調整する場合に、センサ部２７からの着座に関する情報に応じて更に表示位置を調整してよい。
　以上のように、本実施形態に係る駐車支援装置１は、履歴情報の統計処理結果に基づいて駐車目標位置を調整することによって、ユーザの煩雑な操作なしに駐車位置の好みおよび習慣を反映した駐車目標位置を表示できる。
　本開示を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本開示の技術的範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
　上記の実施形態において、駐車領域検出部２２は白線検出を実行するが、白線検出に代えてエッジ検出を実行することで駐車領域を特定してよい。例えば駐車領域が自宅のガレージ等である場合には、例えばゾーベルフィルタ、プレヴィットフィルタ等を用いてエッジ検出を行って、側壁および背壁を検出する処理を図９のステップＳ１２，Ｓ１３およびＳ１４に代えて実行してよい。
　また、上記の実施形態において、車両１５の位置情報に応じて複数の履歴情報が使用されるが、それ以外の所定の区分による複数の履歴情報が使用されてよい。例えば、所定の区分は、並列駐車および縦列駐車等の駐車種別に基づく区分であって良い。駐車種別は、車両１５と駐車領域との位置関係に基づいて判定することができる。具体例を挙げると、縦列駐車するために駐車領域が車両１５の斜め後方に位置する場合と、上記の実施形態のように駐車領域が車両の後方に位置する場合とで異なる履歴情報が使用される。このとき、さらに運転者の好みを反映できる駐車支援装置１が実現される。また、搭乗者の人数毎（例えば１人であるか２人であるか等）に異なる履歴情報が使用されてよい。また、運転者以外の搭乗者の着座位置毎（例えば助手席か運転席側の後部座席か等）に異なる履歴情報が使用されてよい。また、駐車領域の広さ毎（例えば左右の幅が２５０～２６９［ｃｍ］，２７０～２８９［ｃｍ］，２９０～３０９［ｃｍ］，３１０［ｃｍ］以上、で区分する等）に異なる履歴情報が使用されてよい。また、例えば車両１５の位置情報等に関係なく一つの履歴情報が使用されてよい。このとき、駐車支援装置１は、場所によらない運転者の好みおよび傾向（例えば中央よりも右側に寄せる傾向等）を反映させることができる。
　また、上記の実施形態において、演算部２３は車両１５の左右の方向におけるズレ率を演算するが、さらに車両１５の前後の方向のズレ率を演算してよいし、車両１５の前後の方向のズレ率だけを演算してよい。前後の方向を演算する場合には、演算部２３は駐車時の駐車領域の後方の境界との距離（図５のＤＲ）を求めて、履歴情報としてメモリ３０に記憶し、統計的な演算処理を実行してよい。このとき、さらに運転者の好みを反映できる駐車支援装置１が実現される。
　また、上記の実施形態において、駐車支援装置１のプロセッサ１２と撮像装置の信号処理部１９ａ，１９ｂ，１９ｃ，１９ｄは異なる処理を実行するが、両者が一体であって、図８および図９に記載の全ての処理を実行してよい。例えば、信号処理部１９ａ，１９ｂ，１９ｃ，１９ｄが駐車支援装置１のプロセッサ１２の処理を実行してよい。また、撮像装置（車載カメラ）が駐車支援装置１を含む構成であってよい。
　また、上記の実施形態において、画像処理部２６は、センサ部２７から着座に関する情報を受け取った場合に駐車目標位置Ｔａを更に調整する。ここで、画像処理部２６は、駐車領域の左右に他の車両があることを検知した場合に駐車目標位置Ｔａを更に調整する機能を有していてよい。このとき、画像取得部２１は側方（右方、左方）の周辺領域の画像データを抽出する。そして、駐車領域検出部２２は側方に車両があるか否かを検出して、画像処理部２６に検出結果を出力する。そして、画像処理部２６は、例えば右方に車両が駐車している場合には、駐車目標位置Ｔａを更に反対側（左方）にずらすように調整する。このとき、駐車支援装置１は搭乗者が乗降しやすくなる駐車支援を実行できる。
　また、上記の実施形態において、駐車支援装置１はメモリ３０を備えるが、ハードディスクドライブ等の記憶装置を用いてよい。また、メモリ３０は揮発性メモリおよび不揮発性メモリを備えるが、これらのいずれか（例えば揮発性メモリ）のみを備えていてよい。
　１　駐車支援装置
１０　車載カメラシステム
１１ａ　フロントカメラ
１１ｂ　リアカメラ
１１ｃ　左サイドカメラ
１１ｄ　右サイドカメラ
１２　プロセッサ
１３　表示装置
１４　車載ネットワーク
１５　車両
１６　ドアミラー
１７ａ，１７ｂ，１７ｃ，１７ｄ　光学系
１８ａ，１８ｂ，１８ｃ，１８ｄ　撮像素子
１９ａ，１９ｂ，１９ｃ，１９ｄ　信号処理部
２０ａ，２０ｂ，２０ｃ，２０ｄ　カメラ制御部
２１　画像取得部
２２　駐車領域検出部
２３　演算部
２４　位置情報取得部
２５　車両位置検出部
２６　画像処理部
２７　センサ部
２８　圧力センサ
２９　回転センサ
３０　メモリ
Ａ０，Ａ１，Ａ２，Ａ３，Ａ４　駐車ガイド線
　Ｂ　障害物
ＣＬ　センターライン
　Ｄ　ドア
ＤＬ　左方間隔
ＤＲ　右方間隔
　Ｐ１，Ｐ２，Ｐ３　搭乗者
ＰＳ　駐車領域
Ｒ　ズレ率
Ｔａ，Ｔｉ　駐車目標位置

Claims (9)

  1. 　車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサと、
    　前記車両の駐車位置を前記駐車領域と関連付けた履歴情報を記憶するメモリと、を備え、
    　前記プロセッサは、
    　前記履歴情報に基づいて前記駐車目標位置の前記画像における位置を調整する駐車支援装置。
  2. 　前記メモリは、所定の区分による複数の前記履歴情報を記憶する、請求項１に記載の駐車支援装置。
  3. 　前記所定の区分は、前記車両の位置に基づく区分である、請求項２に記載の駐車支援装置。
  4. 　前記所定の区分は、駐車種別に基づく区分である、請求項２に記載の駐車支援装置。
  5. 　前記プロセッサは、
    　更に前記車両の搭乗者に関する情報に基づいて前記駐車目標位置の前記画像における位置を調整する請求項１から４のいずれか一項に記載の駐車支援装置。
  6. 　前記車両の搭乗者に関する情報は、前記車両の搭乗者の着座席の位置である、請求項５に記載の駐車支援装置。
  7. 　駐車支援装置を備える車載カメラであって、
    　前記駐車支援装置は、
    　車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサと、
    　前記車両の駐車位置を前記駐車領域と関連付けた履歴情報を記憶するメモリと、を備え、
    　前記プロセッサは、
    　前記履歴情報に基づいて前記駐車目標位置の前記画像における位置を調整する、車載カメラ。
  8. 　駐車支援装置を備える車両であって、
    　前記駐車支援装置は、
    　前記車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、前記駐車領域と駐車目標位置とが重畳した画像を生成するプロセッサと、
    　前記車両の駐車位置を前記駐車領域と関連付けた履歴情報を記憶するメモリと、を備え、
    　前記プロセッサは、
    　前記履歴情報に基づいて前記駐車目標位置の前記画像における位置を調整する、車両。
  9. 　プロセッサとメモリとを備える駐車支援装置が実行する駐車支援方法であって、
    　前記プロセッサが、車両に備えられた撮像装置で撮像された前記車両の周辺画像から駐車領域を抽出し、
    　前記プロセッサが、前記駐車領域と駐車目標位置とが重畳した画像を生成し、
    　前記メモリが、前記車両の駐車位置を前記駐車領域と関連付けた履歴情報を記憶し、
    　前記プロセッサが、前記履歴情報に基づいて前記駐車目標位置の前記画像における位置を調整する、駐車支援方法。
PCT/JP2017/009328 2016-03-18 2017-03-08 駐車支援装置、車載カメラ、車両および駐車支援方法 WO2017159510A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/082,944 US10442464B2 (en) 2016-03-18 2017-03-08 Parking assistance apparatus, on-vehicle camera, vehicle, and parking assistance method
EP17766511.4A EP3431344B1 (en) 2016-03-18 2017-03-08 Parking assistance device, onboard cameras, vehicle, and parking assistance method
JP2018505863A JP6717929B2 (ja) 2016-03-18 2017-03-08 駐車支援装置、車載カメラ、車両および駐車支援方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016055928 2016-03-18
JP2016-055928 2016-03-18

Publications (1)

Publication Number Publication Date
WO2017159510A1 true WO2017159510A1 (ja) 2017-09-21

Family

ID=59851255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009328 WO2017159510A1 (ja) 2016-03-18 2017-03-08 駐車支援装置、車載カメラ、車両および駐車支援方法

Country Status (4)

Country Link
US (1) US10442464B2 (ja)
EP (1) EP3431344B1 (ja)
JP (1) JP6717929B2 (ja)
WO (1) WO2017159510A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508255A (zh) * 2019-12-10 2020-08-07 上海博泰悦臻电子设备制造有限公司 一种车辆定位方法及快递到车系统
CN113060129A (zh) * 2021-03-29 2021-07-02 恒大新能源汽车投资控股集团有限公司 自动泊车方法、装置及车辆
US20230314157A1 (en) * 2022-04-05 2023-10-05 Gm Global Technology Operaitons Llc Parking assist in augmented reality head-up display system

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3498554B1 (en) * 2016-08-09 2020-06-24 JVC KENWOOD Corporation Display control device, display device, display control method, and program
WO2018230021A1 (ja) 2017-06-16 2018-12-20 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
KR102316314B1 (ko) * 2017-07-28 2021-10-22 현대모비스 주식회사 차량의 주차 지원 장치, 시스템 및 방법
JP6958117B2 (ja) * 2017-08-29 2021-11-02 株式会社アイシン 駐車支援装置
US10583779B2 (en) 2017-10-02 2020-03-10 Magna Electronics Inc. Parking assist system using backup camera
KR102429494B1 (ko) * 2017-10-13 2022-08-05 현대자동차주식회사 차량의 목표주차공간 표시 장치 및 그 방법
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
US11721113B2 (en) 2020-10-09 2023-08-08 Magna Electronics Inc. Vehicular driving assist system with lane detection using rear camera
JP2023005519A (ja) * 2021-06-29 2023-01-18 株式会社Subaru 車両の運転支援装置
CN113790761B (zh) * 2021-09-22 2023-08-04 腾讯科技（深圳）有限公司 驾驶端定位方法、装置、计算机设备和存储介质
US11794726B2 (en) * 2021-09-28 2023-10-24 Ford Global Technologies, Llc Systems and methods for virtual vehicle parking assistance background

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005041373A (ja) * 2003-07-23 2005-02-17 Aisin Seiki Co Ltd 駐車支援装置及び後退支援装置
JP2006175918A (ja) * 2004-12-21 2006-07-06 Aisin Seiki Co Ltd 駐車補助装置
JP2011230549A (ja) * 2010-04-23 2011-11-17 Clarion Co Ltd 駐車支援装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11208420A (ja) 1998-01-27 1999-08-03 Nissan Motor Co Ltd 駐車誘導装置および自動駐車装置
JP3883529B2 (ja) * 2003-08-28 2007-02-21 アイシン精機株式会社 車両後退支援装置
JP2006224778A (ja) * 2005-02-16 2006-08-31 Nippon Soken Inc 駐車支援装置
CN101573257B (zh) * 2006-12-28 2011-08-10 株式会社丰田自动织机 停车辅助装置及方法、行车参数的计算方法及装置
JP5365349B2 (ja) * 2009-06-03 2013-12-11 トヨタ自動車株式会社 運転情報記録装置
US9260090B2 (en) * 2009-09-04 2016-02-16 Ford Global Technologies, Llc Vehicle park assist system and method for parking a vehicle using such system
JP5560789B2 (ja) * 2010-03-15 2014-07-30 トヨタ自動車株式会社 駐車支援装置
GB2511351A (en) * 2013-03-01 2014-09-03 Nissan Motor Mfg Uk Ltd Parking assistance apparatus and parking method
DE102013015348A1 (de) * 2013-09-17 2014-04-10 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeugs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005041373A (ja) * 2003-07-23 2005-02-17 Aisin Seiki Co Ltd 駐車支援装置及び後退支援装置
JP2006175918A (ja) * 2004-12-21 2006-07-06 Aisin Seiki Co Ltd 駐車補助装置
JP2011230549A (ja) * 2010-04-23 2011-11-17 Clarion Co Ltd 駐車支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3431344A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508255A (zh) * 2019-12-10 2020-08-07 上海博泰悦臻电子设备制造有限公司 一种车辆定位方法及快递到车系统
CN111508255B (zh) * 2019-12-10 2022-04-15 博泰车联网科技(上海)股份有限公司 一种快递到车的车辆定位方法及快递到车系统
CN113060129A (zh) * 2021-03-29 2021-07-02 恒大新能源汽车投资控股集团有限公司 自动泊车方法、装置及车辆
US20230314157A1 (en) * 2022-04-05 2023-10-05 Gm Global Technology Operaitons Llc Parking assist in augmented reality head-up display system

Also Published As

Publication number Publication date
US20190084618A1 (en) 2019-03-21
EP3431344A1 (en) 2019-01-23
JP6717929B2 (ja) 2020-07-08
EP3431344B1 (en) 2022-12-21
US10442464B2 (en) 2019-10-15
EP3431344A4 (en) 2019-11-27
JPWO2017159510A1 (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
WO2017159510A1 (ja) 駐車支援装置、車載カメラ、車両および駐車支援方法
JP5316550B2 (ja) 後方視界支援システム
US9973734B2 (en) Vehicle circumference monitoring apparatus
EP2981077B1 (en) Periphery monitoring device and program
JP5099451B2 (ja) 車両周辺確認装置
US10166922B2 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
US20130096820A1 (en) Virtual display system for a vehicle
WO2013046407A1 (ja) 画像表示装置及び画像表示方法
US10450003B2 (en) Parking assist device and parking assist system
JP4222183B2 (ja) 車両周辺画像表示装置
KR102106572B1 (ko) 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
WO2013046408A1 (ja) 画像表示装置及び画像表示方法
JP2010143411A (ja) ヘッドアップディスプレイ装置
CN109415018B (zh) 用于数字后视镜的方法和控制单元
US20160046236A1 (en) Techniques for automated blind spot viewing
US20130093889A1 (en) Smart rear-view display
JP2010006129A (ja) 車両後方情報表示装置および車両後方情報表示方法
US10248132B2 (en) Method and apparatus for visualization of an environment of a motor vehicle
JP2010208359A (ja) 車両用表示装置
KR102010407B1 (ko) 스마트 리어뷰 시스템
US11220181B2 (en) Operation control device, operation control method, and storage medium
JP4999748B2 (ja) サイドミラー装置
JP2007015663A (ja) 車両用監視モニタシステム
JP2007178293A (ja) 車両用表示装置
US20220080890A1 (en) System and method for providing a desired view for a vehicle occupant

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018505863

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017766511

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017766511

Country of ref document: EP

Effective date: 20181018

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17766511

Country of ref document: EP

Kind code of ref document: A1