WO2011141971A1 - 駐車支援装置、駐車支援システム、および駐車支援カメラユニット - Google Patents

駐車支援装置、駐車支援システム、および駐車支援カメラユニット Download PDF

Info

Publication number
WO2011141971A1
WO2011141971A1 PCT/JP2010/003274 JP2010003274W WO2011141971A1 WO 2011141971 A1 WO2011141971 A1 WO 2011141971A1 JP 2010003274 W JP2010003274 W JP 2010003274W WO 2011141971 A1 WO2011141971 A1 WO 2011141971A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
guide line
camera
parking
Prior art date
Application number
PCT/JP2010/003274
Other languages
English (en)
French (fr)
Inventor
三次達也
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112010005565T priority Critical patent/DE112010005565T5/de
Priority to US13/638,273 priority patent/US20130010119A1/en
Priority to PCT/JP2010/003274 priority patent/WO2011141971A1/ja
Priority to JP2012514612A priority patent/JP5379913B2/ja
Publication of WO2011141971A1 publication Critical patent/WO2011141971A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to a parking assist device that assists a driver to park a vehicle by moving the vehicle to a parking area behind the vehicle by allowing the driver to visually recognize the situation behind the vehicle. is there.
  • the parking assist device captures a parking surface behind the vehicle with a camera attached to the vehicle, and a guide line serving as a guide for a parking position when the vehicle driver parks the vehicle based on the captured camera image.
  • the image set on the screen is displayed.
  • Such display is performed by displaying a guide line image representing a guide line so as to overlap the camera image.
  • a parking surface is imaged by a camera of a vehicle parked in a predetermined reference state with respect to the parking surface, and a guide line image in which a guide line is set for the captured reference camera image is generated in advance. And parking was assisted by displaying a guide line image generated beforehand when the vehicle is parked on the camera image.
  • Patent Document 1 Japanese Patent Document 1
  • an object of the present invention is to provide a parking assistance device capable of easily generating a guide line image.
  • a parking assist device is connected to a camera that is attached to a vehicle and images a parking surface behind the vehicle, and serves as a guide for parking the vehicle based on a camera image captured by the camera.
  • a parking assist device for displaying an image in which a line is set on the parking surface on a display device, the guide line interval information regarding the guide line interval, and the attachment information indicating the attachment position and angle of the camera to the vehicle An information storage unit that stores information, a guide line information generation unit that generates guide line information related to the position of the guide line set on the parking surface in the camera image based on the guide line interval information and the attachment information
  • a guide line image generating unit that generates a guide line image representing the guide line based on the guide line information, and the guide line image and the previous An image in which the guide line is set to the parking surface based on a camera image is intended and an image output unit that outputs to the display device.
  • a guide line image can be easily generated.
  • FIG. It is a block diagram which shows the structure of the parking assistance system which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the guide wire calculation part of the parking assistance system which concerns on Embodiment 1.
  • FIG. It is an example of the guide line on the real space calculated by the guide line production
  • FIG. It is a block diagram which shows the structure of the camera image correction
  • FIG. It is an example of the guide line image displayed on the 1st display condition in the parking assistance system concerning Embodiment 1. It is an example of the guide line image displayed on the 2nd display condition in the parking assistance system concerning Embodiment 1.
  • FIG. It is an example of the guide line image displayed on 3rd display conditions in the parking assistance system which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the parking assistance system which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the structure of the parking assistance system which concerns on Embodiment 3.
  • FIG. It is a block diagram which shows the structure of the parking assistance system which concerns on Embodiment 4.
  • FIG. It is a block diagram which shows the structure of the parking assistance system which concerns on Embodiment 6.
  • FIG. It is a block diagram which shows the structure of the parking assistance system which concerns on Embodiment 7.
  • FIG. 1 is a block diagram showing the configuration of the parking assistance system according to the first embodiment.
  • the parking support system includes a host unit 1 which is a parking support device and a camera unit 2 connected to the host unit 1.
  • the electronic control unit 3 is an ECU (Electric Control Unit) generally mounted on a vehicle that controls an electronic device mounted on the vehicle by an electronic circuit, and detects vehicle information and outputs it to the host unit 1. It is.
  • the vehicle information output device outputs shift position information indicating the state of the transmission of the vehicle, which changes according to the driver's operation, to the host unit 1 as a shift position information output device.
  • Cars are often equipped with a car navigation device that guides the route to the destination.
  • Car navigation devices are either pre-installed in the vehicle or sold separately from the vehicle and attached to the vehicle. There is. Therefore, the ECU is provided with a terminal for outputting shift position information so that a commercially available car navigation device can be attached. Therefore, in the parking assistance system according to the present embodiment, the shift position information can be acquired by connecting the host unit 1 to this output terminal.
  • the host unit 1 may be integrated with the car navigation device or may be a separate device.
  • the host unit 1 includes a shift position detection unit 10 that detects the state of the transmission of the vehicle based on the shift position information output from the electronic control unit 3, and an information storage that stores information for calculating a guide line, which will be described later.
  • Unit 11 display condition storage unit 12 for storing display condition information for determining how to display guide line images and camera images, which will be described later, on display unit 18, information stored in information storage unit 11, and display condition storage unit
  • the guide line information which is information about the drawing position of the guide line when displayed on the display unit 18 described later, that is, the position and shape in the camera image captured by the camera, is calculated.
  • the guide line is drawn based on the guide line information calculated by the guide line calculation unit 13 (guide line information generation unit) and the guide line calculation unit 13
  • the line drawing unit 14 guide line image generation unit
  • the camera image reception unit 15 that receives the camera image transmitted from the camera unit 2, the information stored in the information storage unit 11, and the display conditions Based on the display condition information stored in the storage unit 12, the camera image correction unit 16 that corrects the camera image received by the camera image reception unit 15, and the guide line image output from the line drawing unit 14 and the camera image correction
  • the corrected camera image output from the unit 16 By setting the corrected camera image output from the unit 16 to an image of a different layer, the image superimposing unit 17 for superimposing the guide line image and the corrected camera image, and the guide line image having a different layer output from the image superimposing unit 17
  • a display unit 18 for example, a monitor in the vehicle interior
  • the camera unit 2 has a camera (not shown) as an imaging unit that images the surroundings (particularly behind) of the vehicle, and the vehicle transmission is reversed (from the shift position detection unit 10 of the host unit 1).
  • a camera image captured by the camera is transmitted to the host unit 1.
  • the camera image correction unit 16 and the image superimposing unit 17 constitute an image output unit.
  • the display unit 18 displays an image in which the guide line image generated by the line drawing unit 14 is superimposed on the camera image transmitted from the camera unit 2, and the vehicle driver confirms the image. By doing so, the vehicle can be parked using the guide line as a guideline while visually confirming the situation behind and around the vehicle to be driven.
  • each structure which comprises a parking assistance system is demonstrated in detail.
  • the information storage unit 11 stores guide line calculation information for calculating a guide line, which will be described later, that is, attachment information, angle of view information, projection information, viewpoint information, lens distortion information, parking width information, vehicle width. Information and distance information on the safety distance, the attention distance, and the warning distance from the rear end of the vehicle are stored.
  • the attachment information is information indicating how the camera is attached to the vehicle, that is, the attachment position and the attachment angle.
  • the angle-of-view information is angle information indicating a range of a subject imaged by the camera of the camera unit 2 and display information indicating a display range when an image is displayed on the display unit 18.
  • the angle information includes the maximum horizontal field angle Xa and the maximum vertical field angle Ya or diagonal field angle of the camera.
  • the display information includes the maximum horizontal drawing pixel size Xp and the maximum vertical drawing pixel size Yp of the display unit 18.
  • the projection information is information indicating the projection method of the lens used for the camera of the camera unit 2. In the present embodiment, since a fisheye lens is used as a camera lens, the projection information value is any one of a three-dimensional projection, an equidistant projection, an equisolid angle projection, and an orthographic projection.
  • the viewpoint information is information related to another position where it is assumed that there is a camera.
  • the lens distortion information is lens characteristic information related to image distortion caused by the lens.
  • the projection information, lens distortion information, and viewpoint information constitute camera correction information described later.
  • the parking width information is information indicating a parking width obtained by adding a predetermined margin width to the width of the vehicle (for example, the width of the parking section).
  • the distance information of the safety distance, the caution distance, and the warning distance from the rear end of the vehicle is the distance from the rear end of the vehicle, for example, the safety distance is 1 m from the rear end of the vehicle, the caution distance is 50 cm, and the warning.
  • the distance is assumed to be 10 cm and indicates a rough distance at the rear of the vehicle.
  • the parking width information, the vehicle width information, and the distance information of the safety distance from the rear end of the vehicle, the attention distance, and the warning distance are guide line interval information related to the interval between the guide lines set and drawn in the guide line image.
  • FIG. 2 is a block diagram showing the configuration of the guide line calculation unit 13.
  • the guide line calculation unit 13 includes a guide line generation unit 131, a lens distortion function calculation unit 132, a projection function calculation unit 133, a projection plane conversion function calculation unit 134, a viewpoint conversion function calculation unit 135, and a video output conversion function calculation unit 136. It is comprised including.
  • the lens distortion function calculation unit 132, the projection function calculation unit 133, and the viewpoint conversion function calculation unit 135 may not be operated depending on display condition information. Therefore, for the sake of simplicity, the case where all the above-described components operate will be described first.
  • FIG. 3 shows an example of guide lines in real space calculated by the guide line generation unit 131.
  • a straight line L1 is a guide line indicating the width of the parking section
  • a straight line L2 is a guide line indicating the width of the vehicle
  • straight lines L3 to L5 are guide lines indicating a distance from the rear end of the vehicle.
  • L3 indicates a warning distance
  • L4 indicates a caution distance
  • L5 indicates a safety distance.
  • the straight lines L1 and L2 start from the vehicle side with respect to the straight line L3 closest to the vehicle, and have a length equal to or longer than the length of the parking section on the side far from the vehicle.
  • the straight lines L3 to L5 are drawn so as to connect the straight lines L2 on both sides.
  • a direction D1 indicates a direction in which the vehicle enters the parking section.
  • the guide lines for both the vehicle width and the parking width are displayed, only one of them may be displayed. Further, the number of guide lines indicating the distance from the rear end of the vehicle may be two or less or four or more.
  • a guide line having the same distance as the vehicle length from any of the straight lines L3 to L5 may be displayed. Only a guide line (L1 and L2 in FIG. 3) parallel to the traveling direction of the vehicle and a guide line indicating the distance from the rear end of the vehicle may be displayed.
  • the display form (color, thickness, line type, etc.) of the guide line parallel to the traveling direction of the vehicle is changed according to the distance from the rear end of the vehicle, or a mark indicating a predetermined distance from the rear end of the vehicle is attached. May be.
  • the length of the guide line indicating the distance from the rear end of the vehicle may be the parking width, the vehicle width, or the other. When displaying the length more than a parking width, you may display so that the part corresponding to either or both of a vehicle width and a parking width may be understood.
  • the guide line generation unit 131 obtains and outputs the coordinates of the start point and end point of each guide line shown in FIG.
  • Each function calculation unit in the subsequent stage calculates the value of the coordinate having the same influence as the influence received when the image is captured by the camera, for the necessary points on each guide line.
  • the line drawing unit 14 Based on the calculated guide line information, the line drawing unit 14 generates a guide line image.
  • the display unit 18 displays an image in which the guide line image is superimposed with no deviation from the camera image.
  • the coordinate P can be defined as a position on orthogonal coordinates with a point on the parking surface behind the vehicle at a predetermined distance from the vehicle as the origin.
  • the lens distortion function calculation unit 132 calculates a lens distortion function i () determined based on the lens distortion information acquired from the information storage unit 11 with respect to the coordinates P indicating the guide line calculated by the guide line generation unit 131. By doing so, the coordinates i (P) subjected to the lens distortion are converted.
  • the lens distortion function i () is a function that expresses, as a function, distortion that a camera image receives due to the lens shape when a subject is imaged by the camera of the camera unit 2.
  • the lens distortion function i () can be obtained by, for example, a Zhang model relating to lens distortion. In the Zhang model, lens distortion is modeled by radial distortion, and the following calculation is performed.
  • the projection function calculation unit 133 further applies the function h based on the projection method determined based on the projection information acquired from the information storage unit 11 to the coordinate i (P) subjected to the lens distortion output from the lens distortion function calculation unit 132.
  • the coordinates are converted into coordinates h (i (P)) affected by the projection method (hereinafter referred to as projection distortion).
  • the function h () by the projection method is a function indicating how far the light incident on the lens at an angle ⁇ is collected from the lens center.
  • h () by the projection method is expressed as follows: f is the focal length of the lens, ⁇ is the incident angle of incident light, that is, the half angle of view, and Y is the image height (distance between the lens center and the condensing position) on the imaging surface of the camera.
  • f the focal length of the lens
  • ⁇ the incident angle of incident light
  • Y the image height (distance between the lens center and the condensing position) on the imaging surface of the camera.
  • the projection function calculation unit 133 converts the coordinate i (P) subjected to the lens distortion output from the lens distortion function calculation unit 132 into an incident angle ⁇ with respect to the lens, and substitutes it into any of the above projection expressions to generate an image. By calculating the height Y and returning the image height Y to the coordinates, the coordinates h (i (P)) subjected to the projection distortion are calculated.
  • the projection plane conversion function calculation unit 134 is further determined based on the attachment information acquired from the information storage unit 11 for the coordinates h (i (P)) subjected to the projection distortion output from the projection function calculation unit 133. By calculating the projection plane conversion function f (), it is converted into coordinates f (h (i (P))) subjected to the projection plane conversion.
  • Projection plane conversion refers to conversion in which an image captured by a camera affects the mounting state such as the mounting position and angle of the camera, and thus affects the mounting state. By this conversion, each coordinate indicating the guide line is converted into a coordinate imaged by a camera attached to the vehicle at a position defined by the attachment information.
  • the mounting information used in the projection plane conversion function f () includes the height L of the camera mounting position with respect to the parking plane, the mounting vertical angle ⁇ , which is the tilt angle of the optical axis of the camera with respect to the vertical line, and the center that longitudinally crosses the vehicle A mounting horizontal angle ⁇ that is an inclination angle with respect to the line, and a distance H from the center of the vehicle width.
  • the projection plane conversion function f () is expressed by a geometric function using these. It is assumed that the camera is not displaced in the direction of tilt rotation with the optical axis as the rotation axis, and is correctly attached.
  • the viewpoint conversion function calculation unit 135 further converts the viewpoint f acquired from the information storage unit 11 to the coordinates f (h (i (P))) subjected to the projection plane conversion output from the projection plane conversion function calculation unit 134.
  • the coordinates are converted into coordinates j (f (h (i (P))) subjected to viewpoint conversion.
  • the image obtained when the subject is imaged by the camera is an image as if the subject was seen from the position where the camera was attached. This image is an image that is captured by a camera at another position (for example, a camera that is virtually installed at a predetermined height on the parking surface at the rear of the vehicle so as to face the parking surface).
  • This viewpoint transformation can be obtained by adding a kind of transformation called affine transformation to the original image.
  • Affine transformation is coordinate transformation that combines translation and linear mapping.
  • the parallel movement in the affine transformation corresponds to moving the camera from the attachment position defined by the attachment information to the other position.
  • the linear mapping corresponds to rotating the camera so that it matches the direction of the camera existing at the other position from the direction defined by the mounting information.
  • the image conversion used for the viewpoint conversion is not limited to the affine transformation, and may be another type of conversion.
  • the video output function calculation unit 136 further determines the video output function determined based on the angle-of-view information acquired from the information storage unit 11 with respect to the coordinate j (f (h (i (P))))) subjected to the viewpoint conversion. By calculating g (), it is converted into video output coordinates g (j (f (h (i (P))))). Since the size of the camera image captured by the camera and the size of the image that can be displayed by the display unit 18 are generally different, the camera image is changed to a size that can be displayed by the display unit 18.
  • the video output conversion function g () is represented by a mapping function that uses the maximum horizontal field angle Xa and maximum vertical field angle Ya of the camera, and the maximum horizontal drawing pixel size Xp and maximum vertical drawing pixel size Yp in video output.
  • each coordinate indicating a guide line is calculated in the order of a lens distortion function, a projection function, a viewpoint conversion function, a projection plane conversion function, and a video output function.
  • the order of calculation need not be this order.
  • the projection plane conversion function f () in the projection plane conversion function calculation unit 134 includes a camera field angle (maximum horizontal field angle Xa and maximum vertical field angle Ya) as information indicating the size of the captured camera image. include. Therefore, even when a part of the camera image received by the camera image receiving unit 15 is cut out and displayed, the camera image obtained by cutting out a part by changing the coefficient of the camera field angle in the projection plane conversion function f (). A guide line can be displayed so as to suit.
  • FIG. 4 is a block diagram showing a configuration of the camera image correction unit 16.
  • the camera image correction unit 16 includes a lens distortion inverse function calculation unit 161, a projection distortion inverse function calculation unit 162, and a viewpoint conversion function calculation unit 163. These configurations may not be operated depending on display condition information. Therefore, for the sake of simplicity, the case where all of these configurations operate will be described first.
  • the lens distortion inverse function calculation unit 161 obtains an inverse function i ⁇ 1 () of the lens distortion function i () described above based on the lens distortion information included in the camera correction information, and calculates the camera image. Since the camera image transmitted from the camera unit 2 is affected by lens distortion when captured by the camera, it is not affected by lens distortion by calculating the lens distortion inverse function i ⁇ 1 (). The camera image can be corrected.
  • the projection inverse function calculation unit 162 obtains the inverse function h ⁇ 1 () of the above projection function h () based on the projection information included in the camera correction information, and the lens distortion output from the lens distortion inverse function calculation unit 161.
  • the camera image is not affected by the calculation. Since the camera image transmitted from the camera unit 2 is distorted by the projection method of the lens when captured by the camera, a camera that is not distorted by calculating the inverse projection function h ⁇ 1 (). The image can be corrected.
  • the viewpoint conversion function calculation unit 163 applies the above-described viewpoint conversion function j () to the camera image output from the projection inverse function calculation unit 162 without receiving the projection distortion based on the viewpoint information included in the camera correction information. Apply. In this way, a camera image subjected to viewpoint conversion can be obtained.
  • the image superimposing unit 17 guides the guide line image and the corrected camera image so that the guide line image calculated and drawn by the line drawing unit 14 is overlaid on the corrected camera image output from the camera image correcting unit 16. Is superimposed as an image of another layer.
  • the display unit 18 applies the video output function g () to the corrected camera image among the guide line image and the corrected camera image having different layers, so that the size of the corrected camera image can be displayed by the display unit 18. Change to Then, the guide line image and the corrected camera image whose size has been changed are combined and displayed.
  • the video output function g () may be executed by the camera image correction unit 16.
  • the operations of the guide line calculation unit 13 and the camera image correction unit 16 differ depending on the display condition information obtained by referring to the display condition storage unit 12.
  • the display condition information for example, the following four display conditions are conceivable depending on the operation of the camera image correction unit 16, that is, the difference in the display method of the camera image.
  • the guide line calculation unit 13 calculates guide line information to which projection plane conversion is applied by adding lens distortion and projection distortion.
  • the camera image correction unit 16 corrects the camera image so as to remove the lens distortion and the distortion caused by the projection method.
  • the guide line calculation unit 13 calculates guide line information to which only projection plane conversion is applied.
  • the camera image correction unit 16 corrects the camera image as if the viewpoint has been changed.
  • the guide line calculation unit 13 calculates guide line information to which projection plane transformation and viewpoint transformation are applied by adding lens distortion and projection-type distortion.
  • the camera image correction unit 16 removes the lens distortion and the projection method distortion, and corrects the camera image as if the viewpoint was converted.
  • the guide line calculation unit 13 calculates guide line information to which projection plane conversion and viewpoint conversion are applied. Under any display condition, a guide line image is drawn so as to match the camera image.
  • the configuration other than the viewpoint conversion function calculation unit 135 is operated among the configurations of the guide line calculation unit 13 illustrated in FIG. That is, calculation results by the viewpoint conversion function calculation unit 132, the projection function calculation unit 133, and the projection plane conversion function calculation unit 134 are input to the video output conversion function calculation unit 136.
  • the guide line image generated by the line drawing unit 14 is as shown in FIG. FIG. 5 is an example of a guide line image generated under the first display condition. A guide line image with the same distortion is superimposed and displayed on a camera image having a lens distortion and a projection distortion.
  • a straight line L1a is a guide line indicating the width of the parking section, and corresponds to the straight line L1 in FIG.
  • a straight line L2a is a guide line indicating the width of the vehicle and corresponds to the straight line L2 in FIG.
  • Straight lines L3a to L5a are guide lines indicating the distance from the vehicle, and correspond to the straight lines L3 to L5 in FIG. Further, all the components of the camera image correction unit 16 shown in FIG. 4 are not operated. That is, the camera image correcting unit 16 outputs the input camera image to the image superimposing unit 17 as it is.
  • the viewpoint conversion function calculation unit 132, the projection function calculation unit 133, and the viewpoint conversion function calculation unit 135 are not operated in the configuration of the guide line calculation unit 13 illustrated in FIG. To. That is, the coordinate P output from the guide line generation unit 131 is input to the projection plane conversion function calculation unit 134 as it is.
  • the guide line image generated by the line drawing unit 14 is as shown in FIG. FIG. 6 is an example of a guide line image generated under the second display condition. A guide line image without distortion is superimposed and displayed on the camera image excluding lens distortion and distortion due to the projection method.
  • a straight line L1b is a guide line indicating the width of the parking section, and corresponds to the straight line L1 in FIG.
  • a straight line L2b is a guide line indicating the width of the vehicle, and corresponds to the straight line L2 in FIG.
  • Straight lines L3b to L5b are guide lines indicating the distance from the vehicle, and correspond to the straight lines L3 to L5 in FIG.
  • the configuration of the camera image correction unit 16 shown in FIG. 4 other than the viewpoint conversion function calculation unit 163 is operated. That is, the camera image output from the projection inverse function calculation unit 162 is input to the image superimposing unit 17 as a corrected camera image.
  • FIG. 7 is an example of a guide line image generated under the third display condition.
  • a similar distortion is added to a camera image having a lens distortion as taken from another viewpoint and distortion by a projection method, and a guide line image as seen from another viewpoint is superimposed and displayed.
  • a straight line L1c is a guide line indicating the width of the parking section, and corresponds to the straight line L1 in FIG.
  • a straight line L2c is a guide line indicating the width of the vehicle, and corresponds to the straight line L2 in FIG.
  • Straight lines L3c to L5c are guide lines indicating the distance from the vehicle, and correspond to the straight lines L3 to L5 in FIG. Further, only the viewpoint conversion function calculation unit 163 is operated in the configuration of the camera image correction unit 16 illustrated in FIG. In other words, the camera image received by the camera image receiving unit 15 is directly input to the viewpoint conversion function calculating unit 163, and the image subjected to the viewpoint conversion by the viewpoint conversion function calculating unit 163 is output to the image superimposing unit 17 as a corrected camera image. Is done.
  • the configuration other than the lens distortion function calculation unit 132 and the projection function calculation unit 133 is operated in the configuration of the guide line calculation unit 13 illustrated in FIG. That is, the coordinate P of the point on the guide line generated by the guide line generation unit 131 is input to the viewpoint conversion function calculation unit 135 as it is.
  • the guide line image generated by the line drawing unit 14 is as shown in FIG.
  • all the components of the camera image correction unit 16 shown in FIG. 4 are operated.
  • a guide line image without distortion as seen from another viewpoint is superimposed and displayed on a camera image taken from another viewpoint, excluding lens distortion and projection-type distortion.
  • the lens distortion function calculation unit 132 converts the lens distortion due to the lens shape to the coordinates of the guide line calculated by the guide line calculation unit
  • the projection function calculation unit 133 performs projection conversion by the lens projection method
  • the projection plane conversion function calculation unit 134 performs projection plane conversion so as to obtain an image captured from a camera attached to the vehicle.
  • a guide line image serving as a guide when the driver parks the vehicle can be displayed on the display unit 18 so as to correspond to the camera image captured by the camera.
  • the camera mounting state is the height L of the camera mounting position with respect to the parking surface, the mounting vertical angle ⁇ that is the tilt angle of the optical axis of the camera with respect to the vertical line, and the tilt angle with respect to the center line that longitudinally crosses the vehicle. Since the mounting horizontal angle ⁇ and the distance H from the center of the vehicle width are parameterized and the drawing position of the guide line is automatically calculated based on the parameter value, a guide line image can be easily generated. For example, when manufacturing a vehicle equipped with the parking support system according to the present embodiment, the camera is fixed at a predetermined mounting position determined by design at a predetermined mounting angle, and predetermined mounting determined by the design is performed. The position and angle are stored in the information storage unit 11.
  • a guide line image corresponding to the type of vehicle can be easily generated.
  • the camera orientation cannot be changed.
  • the mounting vertical angle ⁇ can be changed, for example, so that the mounting state of the camera on the vehicle can be adjusted.
  • the camera mounting position naturally varies.
  • the camera is mounted according to a predetermined design.
  • the attachment error may be measured and the attachment position and angle may be corrected by the method described in Patent Document 1.
  • FIG. FIG. 8 is a block diagram illustrating a configuration of the parking support system according to the second embodiment.
  • the host unit 1a in FIG. 1 has an input information acquisition unit 19 that acquires input information from the outside, and stores information stored in the information storage unit 11 according to the input information acquired by the input information acquisition unit 19. change.
  • the input information acquisition unit 19 can be configured to have an HMI (Human Interface), and the user can input information by operating the HMI.
  • HMI Human Interface
  • the coordinates of the subject video pattern, the projection method, and another viewpoint for viewpoint conversion are parameters specific to the parking assistance system.
  • the user measures the height L of the camera mounting position and the distance H from the center of the vehicle width with a measure or the like, and measures the camera mounting horizontal angle ⁇ and the mounting vertical angle ⁇ with an angle meter or the like. It is possible to obtain a measured value of a parameter related to the attachment state.
  • the guide line corresponding to the mounted vehicle can be easily displayed by changing the mounting horizontal angle ⁇ , which is an inclination angle with respect to, and the distance H from the center of the vehicle width to the measured values.
  • FIG. 9 is a block diagram illustrating a configuration of the parking support system according to the third embodiment.
  • the host unit 1b has a steering information acquisition unit 20 for acquiring vehicle steering information transmitted from the external electronic control unit 3a.
  • the operation information acquisition unit 20 acquires the information storage unit 11b.
  • the steering information is stored.
  • the guide line generation unit (not shown) of the guide line calculation unit 13b calculates the coordinates of the guide line and the coordinates of the travel guide line.
  • the guide line is set at a position where the vehicle has traveled a predetermined distance without changing the current steering angle.
  • the travel guide line is a curve indicating an estimated movement locus indicating an expected course of how the front wheels and the rear wheels of the vehicle take when the vehicle moves from the current position to the position where the guide line is set. .
  • the driver of the vehicle can determine whether the vehicle contacts an obstacle or the like due to the difference between the inner wheels or the outer wheels.
  • Calculation and drawing of driving guide lines corresponding to changes in steering information (angle) due to steering operation of the vehicle by performing calculations such as lens distortion function calculation not only on the guide line coordinates but also on the driving guide line coordinates can do.
  • Embodiment 4 FIG.
  • the host unit is provided with a display unit.
  • an image output device 4 that outputs a composite image on which a guide line image is superimposed and an external display device 5 such as an in-vehicle navigation system.
  • a composite image output from the image output device 4 may be displayed on the display device 5 in combination with the device.
  • the image output device 4 is a parking assistance device.
  • FIG. 10 is a block diagram illustrating a configuration of the parking assistance system according to the fourth embodiment. Components that are the same as or correspond to those in FIG. 1 are given the same reference numerals, and descriptions thereof are omitted.
  • shift position information is output from the electronic control unit 3 to the shift position detection unit 10 and the display device 5.
  • connection interface with the electronic control unit 3 in the image output device 4 is the same as that of a general navigation device, communication between the image output device 4 and the electronic control unit 3 is possible without preparing a special interface. It can be performed.
  • the display device 5 is switched to a mode for displaying the input image, and is output from the image output device 4. Display the image to be displayed. Therefore, when the driver of the vehicle puts the gear of the vehicle in reverse, a composite image is output from the image output device 4 and the composite image is displayed on the display device 5. In this way, parking can be supported by displaying an image of the parking surface behind the vehicle during parking.
  • the display device 5 displays an image output from the image output device 4 when the electronic control unit 3 receives shift position information indicating that the vehicle transmission is in the reverse state.
  • the display device 5 is provided with a changeover switch for switching the display device 5 to a mode for displaying an input image, and displays an image output from the image output device 4 when the user presses the changeover switch. You may make it make it.
  • FIG. 11 is a block diagram illustrating a configuration of the parking support system according to the fifth embodiment. 11, the same or corresponding components as those in FIG. 10 are denoted by the same reference numerals and description thereof is omitted.
  • the image output device 4a includes an input information acquisition unit 19 that acquires input information. Input information can be stored in the information storage unit 11 by using the input information acquisition unit 19 for selecting numerical values or selecting values such as dip switches, dials, and push buttons provided in the image output device 4a. Since the image output device 4 does not have an image display unit that displays an image unlike the host unit 1 in the first embodiment or the like, when the driver changes the information stored in the information storage unit 11. The information stored in the information storage unit 11 is displayed on the display device 5, the user sees the displayed information, determines whether the value to be input is stored in the information storage unit 11, If it is not stored, the user uses the input information acquisition unit 19 to change it.
  • Embodiment 6 the camera image and the guide line image transmitted from the camera unit are synthesized by the host unit.
  • an information storage unit an information storage unit, a guide line calculation unit, a line drawing unit, etc.
  • a configuration for generating a guide line image may be provided.
  • a camera unit that outputs a composite image in which a guide line image is superimposed on a camera image is called a parking assist camera unit.
  • a parking assistance system is configured by combining a parking assistance camera unit and a display device that displays an image output from the parking assistance camera unit.
  • FIG. 12 is a block diagram illustrating a configuration of the parking support system according to the sixth embodiment. In FIG. 12, the same or corresponding components as those in FIG.
  • the imaging unit 21 of the camera unit 2a captures the parking surface behind the vehicle while receiving shift position information indicating that the transmission of the vehicle is in the reverse state from the shift position detection unit 10.
  • the camera image captured by the imaging unit 21 is output to the camera image correction unit 16.
  • the camera image correction unit 16 outputs a composite image in which a guide line image is superimposed on a camera image to a display device.
  • the display device in the present embodiment is input while the shift position information indicating that the vehicle transmission is in the reverse state is input from the electronic control unit 3. Switch to the image display mode. Therefore, an image for parking assistance is displayed on the display device 5 when the transmission of the vehicle is in a reverse state in accordance with the operation of the driver of the vehicle.
  • FIG. 13 is a block diagram illustrating a configuration of the parking support system according to the seventh embodiment.
  • the camera unit 2 b further includes an input information acquisition unit 19 that acquires input information and stores the input information in the information storage unit 11.
  • the input information acquisition unit 19 is a device that selects numerical values or values such as dip switches, dials, push buttons, and the like included in the camera unit 2b.
  • the user uses the input information acquisition unit 19 to store the input information in the information storage unit 11.
  • the camera unit 2b does not have an image display unit that displays an image.
  • the driver inputs or changes the information stored in the information storage unit 11
  • the information stored in the information storage unit 11 is displayed on the display device 5, and the displayed information is displayed by the user.
  • it is determined whether or not the value to be input is stored in the information storage unit 11.
  • the coordinates of the subject image pattern of the guide line in real space are two-dimensional values (x, y), but may be three-dimensional values.
  • the parking assistance system in the above-mentioned can be comprised by the vehicle-mounted navigation apparatus as a host unit, and the vehicle-mounted camera as a camera unit, for example.
  • the guide line image and the corrected camera image having different layers are input to the display unit and synthesized inside the display unit.
  • these images are synthesized by the image superimposing unit. You may make it output to a display part.
  • the image superimposing unit calculates the video output function g () for the corrected camera image, thereby changing the size of the corrected camera image to a size that can be displayed by the display unit, and then the guide line image and size.
  • the corrected camera image that has been changed may be synthesized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

　車両を駐車する際の目安となるガイド線が示されたガイド線画像を容易に生成することが可能な駐車支援装置を提供することを目的とする。　ガイド線の間隔に関するガイド線間隔情報とカメラの車両への取り付け位置および角度を示す取り付け情報とに基づいて、駐車面に設定されるガイド線のカメラ画像における位置に関するガイド線情報を生成し、ガイド線情報から生成されるガイド線画像とカメラ画像とに基づいてガイド線が駐車面に設定された画像を表示する。

Description

駐車支援装置、駐車支援システム、および駐車支援カメラユニット
　この発明は、運転者が車両を駐車するときに、車両の背後の状況を運転者に視認させることにより、車両を背後の駐車区画に移動させて駐車することを支援する駐車支援装置に関するものである。
　駐車支援装置は、車両に取り付けたカメラにより車両の後方の駐車面を撮像し、撮像したカメラ画像に基づいて、車両の運転者が車両を駐車する際の駐車位置の目安となるガイド線が駐車面に設定された画像を表示する。このような表示は、ガイド線を表すガイド線画像をカメラ画像に重ねて表示することでなされている。従来は、駐車面に対して所定の基準状態で駐車された車両のカメラにより駐車面を撮像し、撮像した基準カメラ画像に対してガイド線を設定したガイド線画像を予め生成していた。そして、車両を駐車する際に予め生成されたガイド線画像をカメラ画像に重ねて表示することにより、駐車を支援していた。また、このように生成したガイド線画像であっても、カメラを実際に車両に取り付けた際には取り付け誤差が発生する場合には、適切な位置にガイド線を表示できない。そこで、ガイド線画像を利用して、取り付け誤差を修正するものがある（特許文献１）。
特開２００７－１５８６９５号公報
　しかし、基準カメラ画像を撮像するには、車両を基準状態に正確に駐車しておき、カメラを車両の種類ごとに決まる所定の取り付け位置に所定の角度で正確に取り付ける必要がある。また、カメラ画像は広い範囲を撮像するために歪んでおり、ガイド線画像をカメラ画像の歪みに合わせて描画するのは手作業で行っていた。そのため、ガイド線画像の生成に時間がかかり、駐車支援装置を製造するメーカにとって大きな負担となっていた。
　そこで、本願発明は、ガイド線画像を容易に生成することが可能な駐車支援装置を提供することを目的とする。
　本発明に係る駐車支援装置は、車両に取り付けられ前記車両の後方の駐車面を撮像するカメラと接続され、前記カメラが撮像したカメラ画像に基づいて、前記車両を駐車する際の目安となるガイド線が前記駐車面に設定された画像を表示装置に表示する駐車支援装置であって、前記ガイド線の間隔に関するガイド線間隔情報、および前記カメラの前記車両への取り付け位置および角度を示す取り付け情報を記憶する情報記憶部と、前記ガイド線間隔情報、および前記取り付け情報に基づいて、前記駐車面に設定される前記ガイド線の前記カメラ画像における位置に関するガイド線情報を生成するガイド線情報生成部と、前記ガイド線情報に基づいて前記ガイド線を表すガイド線画像を生成するガイド線画像生成部と、前記ガイド線画像と前記カメラ画像に基づいて前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力する画像出力部とを備えるものである。
　本発明によれば、ガイド線画像を容易に生成することができる。
実施の形態１に係る駐車支援システムの構成を示すブロック図である。 実施の形態１に係る駐車支援システムのガイド線計算部の構成を示すブロック図である。 実施の形態１に係る駐車支援システムのガイド線生成部で計算される実空間上におけるガイド線の例である。 実施の形態１に係る駐車支援システムのカメラ画像補正部の構成を示すブロック図である。 実施の形態１に係る駐車支援システムにおいて第１の表示条件で表示されるガイド線画像の例である。 実施の形態１に係る駐車支援システムにおいて第２の表示条件で表示されるガイド線画像の例である。 実施の形態１に係る駐車支援システムにおいて第３の表示条件で表示されるガイド線画像の例である。 実施の形態２に係る駐車支援システムの構成を示すブロック図である。 実施の形態３に係る駐車支援システムの構成を示すブロック図である。 実施の形態４に係る駐車支援システムの構成を示すブロック図である。 実施の形態５に係る駐車支援システムの構成を示すブロック図である。 実施の形態６に係る駐車支援システムの構成を示すブロック図である。 実施の形態７に係る駐車支援システムの構成を示すブロック図である。
実施の形態１．
　図１は、実施の形態１に係る駐車支援システムの構成を示すブロック図である。図１において、駐車支援システムは、駐車支援装置であるホストユニット１および当該ホストユニット１と接続されるカメラユニット２とを含んで構成されている。電子制御ユニット３は車両に搭載された電子機器を電子回路により制御する一般に車両に搭載されているＥＣＵ（Electric Control Unit）であり、車両情報を検出してホストユニット１に出力する車両情報出力装置である。本実施の形態において車両情報出力装置は特に、シフト位置情報出力装置として運転者の操作に応じて変化する車両の変速機の状態を示すシフト位置情報をホストユニット１に対して出力する。自動車には、目的地への経路を案内するカーナビゲーション装置が搭載される場合が多く、カーナビゲーション装置には車両に予め搭載されているものと、車両とは別に販売されて車両に取り付けられるものがある。そこで、市販のカーナビゲーション装置を取り付けられるように、ＥＣＵにはシフト位置情報を出力する端子が設けられている。そのため、本実施の形態に係る駐車支援システムでは、ホストユニット１をこの出力端子と接続することによりシフト位置情報を取得することができる。なお、ホストユニット１は、カーナビゲーション装置と一体であってもよいし、別装置であってもよい。
　ホストユニット１は、電子制御ユニット３から出力されるシフト位置情報に基づいて車両の変速機の状態を検出するシフト位置検出部１０、後述するガイド線を計算するための情報が記憶された情報記憶部１１、後述するガイド線画像およびカメラ画像をどのように表示部１８に表示させるのかを決める表示条件情報を記憶する表示条件記憶部１２、情報記憶部１１に記憶された情報および表示条件記憶部１２に記憶された表示条件情報に基づいて、後述する表示部１８に表示された際のガイド線の描画位置すなわちカメラが撮像するカメラ画像における位置と形状についての情報であるガイド線情報を計算するガイド線計算部１３（ガイド線情報生成部）、ガイド線計算部１３にて計算されたガイド線情報に基づいて当該ガイド線が描画されたガイド線画像を生成する線描画部１４（ガイド線画像生成部）、カメラユニット２から送信されるカメラ画像を受信するカメラ画像受信部１５、情報記憶部１１に記憶された情報および表示条件記憶部１２に記憶された表示条件情報に基づいて、カメラ画像受信部１５にて受信されたカメラ画像を補正するカメラ画像補正部１６、線描画部１４から出力されるガイド線画像とカメラ画像補正部１６から出力される補正カメラ画像とを異なるレイヤーの画像に設定することにより、ガイド線画像および補正カメラ画像を重畳する画像重畳部１７、画像重畳部１７から出力されるレイヤーの異なるガイド線画像および補正カメラ画像を１つの画像に合成し表示する表示部１８（例えば車室内のモニター）から構成されている。また、カメラユニット２は、車両の周囲（とくに背後）を撮像する撮像部としてのカメラ（図示せず）を有しており、ホストユニット１のシフト位置検出部１０から車両の変速機がリバース（後退）の状態である旨のシフト位置情報が入力された場合に、ホストユニット１に対しカメラで撮像したカメラ画像を送信する。なお、カメラ画像補正部１６および画像重畳部１７は画像出力部を構成する。以上の構成により、表示部１８には、カメラユニット２から送信されたカメラ画像に対して線描画部１４で生成したガイド線画像が重畳した画像が表示され、車両の運転者は当該画像を確認することにより、運転する車両の背後や周囲の状況を視認しながら、ガイド線を目安として車両を駐車することができる。以下、駐車支援システムを構成する各構成について、詳細に説明する。
　図１において、情報記憶部１１には、後述するガイド線を計算するためのガイド線計算情報、すなわち、取り付け情報、画角情報、射影情報、視点情報、レンズ歪情報、駐車幅情報、車両幅情報、および車両後部端からの安全距離、注意距離、警告距離の距離情報が記憶されている。取り付け情報とは、車両に対してカメラがどのように取り付けられているか、すなわち取り付け位置と取り付け角度とを示す情報である。画角情報とは、カメラユニット２のカメラで撮像される被写体の範囲を示す角度情報、および表示部１８での画像表示時における表示範囲を示す表示情報である。角度情報には、カメラの最大水平画角Ｘａおよび最大垂直画角Ｙａもしくは対角画角が含まれている。表示情報には、表示部１８の最大水平描画ピクセルサイズＸｐおよび最大垂直描画ピクセルサイズＹｐが含まれている。射影情報とは、カメラユニット２のカメラに用いられるレンズの射影方式を示す情報である。本実施の形態では、カメラのレンズとして魚眼レンズを用いているため、射影情報の値としては、立体射影、等距離射影、等立体角射影、および正射影のいずれかをとる。視点情報は、カメラがあると想定する別の位置に関する情報である。レンズ歪み情報は、レンズによる画像の歪みに関するレンズの特性の情報である。なお、射影情報、レンズ歪情報、視点情報は、後述のカメラ補正情報を構成している。駐車幅情報とは、車両の幅に所定の余裕幅を加えた駐車幅（例えば駐車区画の幅）を示す情報である。車両後部端からの安全距離、注意距離、警告距離の距離情報とは、車両の後部の端からの後方に対する距離で、例えば、安全距離は、車両後方端から１ｍ、注意距離は、５０ｃｍ、警告距離は、１０ｃｍとして、車両後方における距離の目安を示す。車両後部端から安全距離、注意距離、警告距離に引かれたガイド線を目安にして、車両後方に映る障害物が、車両後方端からどの程度の距離を持つかを運転者が把握することができる。なお、駐車幅情報、車両幅情報および車両後部端からの安全距離、注意距離、警告距離の距離情報は、ガイド線画像に設定描画されるガイド線の間隔に関するガイド線間隔情報である。
　図２は、ガイド線計算部１３の構成を示すブロック図である。ガイド線計算部１３は、ガイド線生成部１３１、レンズ歪関数演算部１３２、射影関数演算部１３３、投影面変換関数演算部１３４、視点変換関数演算部１３５、および映像出力変換関数演算部１３６とを含んで構成されている。レンズ歪関数演算部１３２、射影関数演算部１３３、視点変換関数演算部１３５については、表示条件情報によって動作させない場合がある。そのため、簡単のために、まず上記各構成のすべてが動作する場合について説明する。
　ガイド線生成部１３１は、シフト位置検出部１０から車両の変速機がリバース（後退）の状態である旨のシフト位置情報が入力された場合に、情報記憶部１１から取得した駐車幅情報および車両幅情報に基づいて、車両の後方の車両を駐車する位置の面である駐車面に仮想的にガイド線を設定する。図３にガイド線生成部１３１で計算される実空間上におけるガイド線の例を示す。図３において、直線Ｌ１は駐車区画の幅を示すガイド線であり、直線Ｌ２は車両の幅を示すガイド線であり、直線Ｌ３～Ｌ５は車両後端部からの距離を示すガイド線である。Ｌ３が警告距離、Ｌ４が注意距離、Ｌ５が安全距離を示す。直線Ｌ１およびＬ２は、車両に最も近い直線Ｌ３よりも車両側から始まり、車両から遠い側に駐車区画の長さ程度以上の長さを有する。直線Ｌ３～Ｌ５は両側の直線Ｌ２を結ぶように描画する。方向Ｄ１は駐車区画に車両が進入する方向を示している。なお、車両幅と駐車幅の両方のガイド線を表示したが、どちらかだけを表示させてもよい。また、車両後端部からの距離を示すガイド線は、２本以下または４本以上でもよい。例えば、直線Ｌ３～Ｌ５のどれかから車長と同じ距離のガイド線を表示してもよい。車両の進行方向に平行なガイド線（図３ではＬ１とＬ２）と、車両後端部からの距離を示すガイド線のどちらかだけを表示してもよい。車両の進行方向に平行なガイド線の表示形態（色、太さ、線種など）を、車両後端部からの距離によって変化させたり、車両後端部から所定の距離を示す目印を付けたりしてもよい。車両後端部からの距離を示すガイド線の長さは駐車幅、車両幅、あるいはそれ以外でもよい。駐車幅以上の長さを表示する場合には、車両幅と駐車幅のどちらかまたは両方に対応する部分が分かるように表示させてもよい。
　ガイド線生成部１３１では、図３に示す各ガイド線の始点および終点の座標を求めて出力する。後段の各関数演算部では、各ガイド線上の必要な箇所の点について、カメラで撮像されるときに受ける影響と同様の影響を与えた座標の値を演算する。演算された結果としてのガイド線情報に基づいて、線描画部１４でガイド線画像を生成する。そして、表示部１８にはカメラ画像に対してずれなくガイド線画像が重畳された画像が表示される。以下では、簡単のために図３に示す車両の後方の駐車面に仮想的に設定されたガイド線上の１つの座標Ｐ＝(x, y)を例に挙げて説明する。なお、座標Ｐは例えば車両から所定距離離れた車両後方の駐車面上の点を原点とする直交座標上の位置として定義することができる。
　レンズ歪関数演算部１３２は、ガイド線生成部１３１で計算されたガイド線を示す座標Ｐに対して、情報記憶部１１から取得したレンズ歪情報に基づいて決められるレンズ歪関数ｉ()を演算することによりレンズ歪みを受けた座標ｉ(Ｐ)に変換する。レンズ歪関数ｉ()とは、カメラユニット２のカメラで被写体を撮像する際に、レンズ形状によってカメラ画像が受ける歪みを関数で表現したものである。レンズ歪関数ｉ()は、例えばレンズ歪みに関するＺｈａｎｇのモデルにより求めることができる。Ｚｈａｎｇのモデルでは、放射歪曲でレンズ歪みをモデル化しており、以下のような計算をする。
　(u, v)をレンズ歪みの影響を受けない正規化座標とし、(um, vm)をレンズ歪みの影響を受けた正規化座標とすると、以下の関係が成立する。
　　　um＝u + u*(k1*r2+k2*r4)
　　　vm＝v + v*(k1*r2+k2*r4)
　　　r2＝u2 + u2
　ここで、ｋ１およびｋ２は、放射歪曲によるレンズ歪みを多項式で表したときの係数であり、レンズにより固有の定数である。
　座標Ｐ＝(x, y)と、レンズ歪みを受けた座標ｉ(Ｐ)＝(xm, ym)の間には、以下の関係がある。
　　　xm＝x + (x - x0)*(k1*r2+k2*r4)
　　　ym＝y + (y - y0)*(k1*r2+k2*r4)
　　　r2＝(x - x0)2 + (y - y0)2
　ここに、(x0, y0)は、レンズ歪みの影響を受けていない座標における放射歪曲の中心である主点に対応する駐車面上の点である。カメラユニット２の取り付け情報から、(x0, y0)を求めておく。なお、レンズ歪関数演算部１３２と射影関数演算部１３３では、レンズの光軸は、駐車面に垂直であり、上記の(x0, y0)を通るものとする。
　射影関数演算部１３３は、レンズ歪関数演算部１３２から出力されるレンズ歪みを受けた座標ｉ(Ｐ)に対し、さらに情報記憶部１１から取得した射影情報に基づいて決められる射影方式による関数ｈ()を演算することにより、射影方式による影響（以下、射影歪み）を受けた座標ｈ(ｉ(Ｐ))に変換する。射影方式による関数ｈ()とは、レンズに対して角度θで入射した光が、レンズ中心からどれだけ離れた位置に集光するかを関数で示したものである。射影方式による関数ｈ()は、レンズの焦点距離をｆ、入射光の入射角度すなわち半画角をθ、カメラの撮像面における像高（レンズ中心と集光位置の距離）をＹとすると、射影方式ごとに、以下のどれかの式を使用して、像高Ｙを演算する。
　　　立体射影　　　　Ｙ=２*ｆ*ｔａｎ(θ/2)
　　　等距離射影　　　Ｙ=ｆ*θ
　　　等立体角射影　　Ｙ=２*ｆ*ｓｉｎ(θ/2)
　　　正射影　　　　　Ｙ=ｆ*ｓｉｎθ
　射影関数演算部１３３は、レンズ歪関数演算部１３２から出力されるレンズ歪みを受けた座標ｉ(Ｐ)を、レンズに対する入射角度θに変換し、上記の射影式の何れかに代入して像高Ｙを計算し、像高Ｙを座標に戻すことにより、射影歪みを受けた座標ｈ(ｉ(Ｐ))を演算する。
　投影面変換関数演算部１３４は、射影関数演算部１３３から出力される射影歪みを受けた座標ｈ(ｉ(Ｐ))に対して、さらに情報記憶部１１から取得した取り付け情報に基づいて決められる投影面変換関数ｆ()を演算することにより、投影面変換を受けた座標ｆ(ｈ(ｉ(Ｐ)))に変換する。投影面変換とは、カメラで撮像される画像がカメラの取り付け位置や角度といった取り付け状態に影響することから、取り付け状態による影響を加える変換のことである。この変換により、ガイド線を示す各座標が取り付け情報で規定される位置で車両に取り付けたカメラで撮像したような座標に変換される。投影面変換関数ｆ()で使用する取り付け情報は、駐車面に対するカメラの取り付け位置の高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの距離Ｈである。投影面変換関数ｆ()は、これらを使用する幾何学関数で表される。なお、カメラは光軸を回転軸とするチルト回転の方向にはずれておらず、正しく取り付けられているものとする。
　視点変換関数演算部１３５は、投影面変換関数演算部１３４から出力される投影面変換を受けた座標ｆ(ｈ(ｉ(Ｐ)))に対し、さらに情報記憶部１１から取得した視点情報に基づいて決められる視点変換関数ｊ()を演算することにより、視点変換を行った座標ｊ(ｆ(ｈ(ｉ(Ｐ))))に変換する。被写体をカメラで撮像したときに得られる画像は、カメラが取り付けられた位置から被写体を見たような画像になっている。この画像を、別の位置に存在するカメラ（例えば、車両後方の駐車面において所定の高さの位置に駐車面に向くように仮想的に設置されたカメラ）が撮像したような画像、すなわち別の視点からの画像に変換するのが、視点変換である。この視点変換は、元の画像に対し、アフィン変換と呼ばれる種類の変換を加えることで得ることができる。アフィン変換とは、平行移動と線形写像を組み合わせた座標変換のことである。アフィン変換における平行移動は、取り付け情報で規定される取り付け位置から上記別の位置までカメラを移動させることに対応している。線形写像は、カメラを取り付け情報で規定される方向から上記別の位置に存在するカメラの向きに合うようにカメラを回転させることに対応している。なお、視点変換に用いる画像変換は、アフィン変換に限られるものではなく、他の種類の変換によってもよい。
　映像出力関数演算部１３６は、視点変換を受けた座標ｊ(ｆ(ｈ(ｉ(Ｐ))))に対して、さらに情報記憶部１１から取得した画角情報に基づいて決められる映像出力関数ｇ()を演算することにより、映像出力用の座標ｇ(ｊ(ｆ(ｈ(ｉ(Ｐ)))))に変換する。カメラで撮像されたカメラ画像のサイズと表示部１８が表示可能な画像のサイズとは一般的に異なっているため、カメラ画像は表示部１８が表示可能なサイズに変更される。そこで、映像出力関数演算部１３６において、視点変換を受けた座標ｊ(ｆ(ｈ(ｉ(Ｐ))))に対してカメラ画像の表示部１８に表示可能なサイズへの変更に相当する変換を適用することで、カメラ画像とスケールを一致させることができる。映像出力変換関数ｇ()は、カメラの最大水平画角Ｘａと最大垂直画角Ｙａと、映像出力における最大水平描画ピクセルサイズＸｐと最大垂直描画ピクセルサイズＹｐを使用する写像関数で表される。
　なお、以上の説明では、ガイド線を示す各座標に対して、レンズ歪関数、射影関数、視点変換関数、投影面変換関数、映像出力関数の順で、演算するものとしたが、各関数を演算する順番はこの順番でなくともよい。
　なお、投影面変換関数演算部１３４における投影面変換関数ｆ()には、撮像されたカメラ画像のサイズを示す情報としてカメラ画角（カメラの最大水平画角Ｘａと最大垂直画角Ｙａ）が含まれている。そのため、カメラ画像受信部１５にて受信したカメラ画像の一部を切り出して表示させる場合でも、投影面変換関数ｆ()におけるカメラ画角の係数を変更することにより、一部を切り出したカメラ画像に合うようにガイド線を表示させることができる。
　図４は、カメラ画像補正部１６の構成を示すブロック図である。カメラ画像補正部１６は、レンズ歪逆関数演算部１６１、射影歪逆関数演算部１６２、視点変換関数演算部１６３を含んで構成されている。これらの構成については、表示条件情報によって動作させない場合がある。そのため、簡単のために、まずこれら構成のすべてが動作する場合について説明する。
　レンズ歪逆関数演算部１６１は、カメラ補正情報に含まれるレンズ歪情報に基づいて上述のレンズ歪関数ｉ()の逆関数ｉ-1()を求め、カメラ画像に対して演算する。カメラユニット２から送信されたカメラ画像は、カメラで撮像した際にレンズ歪の影響を受けているため、レンズ歪逆関数ｉ-1()を演算することにより、レンズ歪の影響を受けていないカメラ画像に補正することができる。
　射影逆関数演算部１６２は、カメラ補正情報に含まれる射影情報に基づいて上述の射影関数ｈ()の逆関数ｈ-1()を求め、レンズ歪逆関数演算部１６１から出力されたレンズ歪の影響を受けていないカメラ画像に対して演算する。カメラユニット２から送信されたカメラ画像は、カメラで撮像した際にレンズの射影方式による歪みを受けているため、射影逆関数ｈ-1()を演算することにより、射影歪みを受けていないカメラ画像に補正することができる。
　視点変換関数演算部１６３は、射影逆関数演算部１６２から出力された射影歪みを受けていないカメラ画像に対して、カメラ補正情報に含まれる視点情報に基づいて上述の視点変換関数ｊ()を適用する。こうして、視点変換を行ったカメラ画像を得ることができる。
　図１において、画像重畳部１７は、線描画部１４にて演算描画されたガイド線画像が、カメラ画像補正部１６から出力される補正カメラ画像にオーバーレイされるよう、ガイド線画像および補正カメラ画像を別レイヤーの画像として重畳する。表示部１８は、レイヤーの異なるガイド線画像および補正カメラ画像のうち、補正カメラ画像に対し映像出力関数ｇ()を適用することにより、補正カメラ画像のサイズを当該表示部１８が表示可能なサイズに変更する。そして、ガイド線画像およびサイズの変更された補正カメラ画像を合成し、表示する。映像出力関数ｇ()をカメラ画像補正部１６で実行するようにしてもよい。
　次に動作について説明する。ガイド線計算部１３およびカメラ画像補正部１６の動作は、表示条件記憶部１２を参照して得た表示条件情報により異なる。表示条件情報としては、カメラ画像補正部１６の動作すなわちカメラ画像の表示方法の違いにより、例えば以下の４個の表示条件が考えられる。
（１）第１の表示条件では、カメラ画像補正部１６はカメラ画像を補正しない。ガイド線計算部１３は、レンズ歪みと射影方式による歪みを加えて投影面変換を適用したガイド線情報を計算する。
（２）第２の表示条件では、カメラ画像補正部１６はレンズ歪みおよび射影方式による歪みを取り除くようにカメラ画像を補正する。ガイド線計算部１３は、投影面変換だけを適用したガイド線情報を計算する。
（３）第３の表示条件では、カメラ画像補正部１６は視点変換されたようにカメラ画像を補正する。ガイド線計算部１３は、レンズ歪みと射影方式による歪みを加え、投影面変換と視点変換を適用したガイド線情報を計算する。
（４）第４の表示条件では、カメラ画像補正部１６はレンズ歪みおよび射影方式による歪みを取り除き、視点変換されたようにカメラ画像を補正する。ガイド線計算部１３は、投影面変換と視点変換を適用したガイド線情報を計算する。
　どの表示条件の場合でも、カメラ画像に整合するようにガイド線画像が描画される。
　表示条件情報が第１の表示条件を示す場合、図２に示すガイド線計算部１３の構成のうち、視点変換関数演算部１３５以外の構成を動作させる。すなわち、視点変換関数演算部１３２、射影関数演算部１３３、および投影面変換関数演算部１３４による計算結果が映像出力変換関数演算部１３６に入力される。その結果、線描画部１４で生成されたガイド線画像は、図５のようになる。図５は、第１の表示条件で生成されたガイド線画像の例である。レンズ歪みと射影方式による歪みを有するカメラ画像に、同様な歪みを加えたガイド線画像を重畳させて表示する。図５において、直線Ｌ１ａは駐車区画の幅を示すガイド線であり図３における直線Ｌ１に対応している。直線Ｌ２ａは車両の幅を示すガイド線であり図３における直線Ｌ２に対応している。直線Ｌ３ａ～Ｌ５ａは車両からの距離を示すガイド線であり図３における直線Ｌ３～Ｌ５に対応している。また、図４に示すカメラ画像補正部１６のすべての構成を動作させないようにする。すなわち、カメラ画像補正部１６は入力されたカメラ画像をそのまま画像重畳部１７に出力する。
　表示条件情報が第２の表示条件を示す場合、図２に示すガイド線計算部１３の構成のうち、視点変換関数演算部１３２、射影関数演算部１３３、視点変換関数演算部１３５を動作させないようにする。すなわち、投影面変換関数演算部１３４にはガイド線生成部１３１から出力された座標Ｐがそのまま入力される。その結果、線描画部１４で生成されたガイド線画像は、図６のようになる。図６は、第２の表示条件のもとで生成されたガイド線画像の例である。レンズ歪みと射影方式による歪みを除いたカメラ画像に、歪みがないガイド線画像を重畳させて表示する。図６において、直線Ｌ１ｂは駐車区画の幅を示すガイド線であり図３における直線Ｌ１に対応している。直線Ｌ２ｂは車両の幅を示すガイド線であり図３における直線Ｌ２に対応している。直線Ｌ３ｂ～Ｌ５ｂは車両からの距離を示すガイド線であり図３における直線Ｌ３～Ｌ５に対応している。また、図４に示すカメラ画像補正部１６の構成うち、視点変換関数演算部１６３以外の構成を動作させる。すなわち、射影逆関数演算部１６２から出力されるカメラ画像が、補正カメラ画像として画像重畳部１７に入力される。
　表示条件情報が第３の表示条件を示す場合、図２に示すガイド線計算部１３のすべての構成を動作させる。その結果、線描画部１４で生成されたガイド線画像は、図７のようになる。図７は、第３の表示条件のもとで生成されたガイド線画像の例である。別の視点から撮像したようなレンズ歪みと射影方式による歪みを有するカメラ画像に、同様な歪みを加え別の視点から見たようなガイド線画像を重畳させて表示する。図７において、直線Ｌ１ｃは駐車区画の幅を示すガイド線であり図３における直線Ｌ１に対応している。直線Ｌ２ｃは車両の幅を示すガイド線であり図３における直線Ｌ２に対応している。直線Ｌ３ｃ～Ｌ５ｃは車両からの距離を示すガイド線であり図３における直線Ｌ３～Ｌ５に対応している。また、図４に示すカメラ画像補正部１６の構成うち、視点変換関数演算部１６３のみ動作させる。すなわち、視点変換関数演算部１６３にはカメラ画像受信部１５が受信したカメラ画像がそのまま入力され、視点変換関数演算部１６３にて視点変換を行った画像が補正カメラ画像として画像重畳部１７に出力される。
　表示条件情報が第４の表示条件を示す場合、図２に示すガイド線計算部１３の構成のうち、レンズ歪関数演算部１３２および射影関数演算部１３３以外の構成を動作させる。すなわち、視点変換関数演算部１３５にはガイド線生成部１３１で生成されたガイド線上の点の座標Ｐがそのまま入力される。その結果、線描画部１４で生成されたガイド線画像は、図３のようになる。また、図４に示すカメラ画像補正部１６のすべての構成を動作させる。レンズ歪みと射影方式による歪みを除いて別の視点から撮像したようなカメラ画像に、別の視点から見たような歪みが無いガイド線画像を重畳させて表示する。
　以上のように、実施の形態１にかかる駐車支援システムにおいては、ガイド線計算部において計算したガイド線の座標に対し、レンズ歪関数演算部１３２においてレンズの形状によるレンズ歪を与える変換をし、射影関数演算部１３３においてレンズの射影方式による射影変換をし、投影面変換関数演算部１３４において車両に取り付けられたカメラから撮像した画像になるような投影面変換をすることにより、カメラユニット２のカメラで撮像されたカメラ画像に対応するように、運転者が車両を駐車する際の目安となるガイド線画像を表示部１８に表示させることができる。
　また、カメラの取り付け状態を、駐車面に対するカメラの取り付け位置の高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの距離Ｈとしてパラメータ化し、パラメータの値によってガイド線の描画位置を自動計算するようにしたので、ガイド線画像を容易に生成できる。例えば、本実施の形態に係る駐車支援システムを搭載する車両の製造時に、設計上で決められた所定の取り付け位置に所定の取り付け角度でカメラを固定し、その設計上で決められた所定の取り付け位置および角度を情報記憶部１１に記憶させておくようにする。これにより、車両の種類に対応したガイド線画像を容易に生成することができる。なお、駐車支援システムを搭載する車両の製造時においては、カメラの向きを変更できないとして説明したが、カメラとホストユニットからなる駐車支援システムを車両やナビゲーション装置とは別に販売するような場合には、カメラの車両への取り付け状態を調整できるように、例えば取り付け垂直角度φを変えられるよう構成することもできる。
　また、車両の種類によって車両の大きさや形状が異なるため、カメラの取り付け位置は当然異なってくるが、本実施の形態に係る駐車支援システムによれば、カメラを設計上で決められた所定の取り付け位置および所定の角度で車両に取り付け、その設計上で決められた所定の取り付け位置および角度を記憶させておくことで、撮像したカメラ画像とガイド線画像を容易に一致させることができる。なお、取り付け誤差の影響を折り除くために、特許文献１に記載された方法などにより、取り付け誤差を測定し、取り付け位置および角度を修正するようにしてもよい。
実施の形態２．
　図８は、実施の形態２に係る駐車支援システムの構成を示すブロック図である。図８において、図１と同一または対応する構成については、同一の符号を付し、説明を省略する。図１におけるホストユニット１ａは、外部からの入力情報を取得する入力情報取得部１９を有しており、入力情報取得部１９が取得した入力情報に応じて情報記憶部１１に記憶された情報を変更する。入力情報取得部１９はＨＭＩ（ヒューマンインターフェース）を有するように構成することができ、使用者がＨＭＩを操作することにより情報を入力できる。情報記憶部１１に記憶されている情報のうち、駐車面に対するカメラの取り付け位置の高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの距離Ｈ、カメラの最大水平画角Ｘａと最大垂直画角Ｙａと、映像出力における最大水平描画ピクセルサイズＸｐと最大垂直描画ピクセルサイズＹｐ並びに、被写体映像パターンの座標、投影方式、視点変換する別の視点は、駐車支援システムに固有のパラメータである。入力情報取得部１９を設けることにより、任意の時点で、これらのパラメータの値を変更することができ、カメラユニット２におけるカメラの取り付け位置の変更や、カメラ自体の変更に対し容易く対応できる。
　使用者はカメラの取り付け位置の高さＬおよび車両幅の中心からの距離Ｈをメジャーなどで計測し、カメラの取り付け水平角度θおよび取り付け垂直角度φを角度計などで測定することにより、カメラの取り付け状態に係るパラメータの測定値を得ることができる。入力情報取得１９により情報記憶部１１に記憶された駐車面に対するカメラの取り付け位置の高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの距離Ｈを測定した値に変更することにより、取り付けた車両に対応したガイド線を容易に表示できる。なお、取り付ける車両の種類ごとに取り付け位置のデータをまとめた一覧表などが用意されている場合には、一覧表などに書かれた値を入力してもよい。
実施の形態３
　図９は、実施の形態３に係る駐車支援システムの構成を示すブロック図である。図９において、ホストユニット１ｂは、外部の電子制御ユニット３ａから送信される車両の操舵情報を取得する操舵情報取得部２０を有しており、情報記憶部１１ｂには操作情報取得部２０が取得した操舵情報が記憶される。また、ガイド線計算部１３ｂのガイド線生成部（図示せず）において、ガイド線の座標と走行ガイド線の座標を計算するようにする。なお、ガイド線は、現在の操舵角を変化させないで所定距離だけ車両を走行させた位置に設定する。走行ガイド線は、現在位置からガイド線を設定した位置に車両が移動する際に、車両の前輪および後輪がそれぞれどのような軌跡をとるかという予想進路を示す推定移動軌跡を示す曲線である。走行ガイド線も表示することにより、内輪差あるいは外輪差により車両が障害物などに接触するかどうかを車両の運転者が判断できるようになる。
　ガイド線の座標だけでなく走行ガイド線の座標に対してもレンズ歪関数演算等の演算を行うことにより、車両のステアリング操作による操舵情報（角度）の変更に対応する、走行ガイド線を演算描画することができる。
実施の形態４．
　実施の形態１から３では、ホストユニットは表示部を備えているものとしたが、ガイド線画像が重畳された合成画像などを出力する画像出力装置４と、外部の表示装置５例えば車載用ナビゲーション装置とを組み合わせて、画像出力装置４が出力する合成画像を表示装置５に表示するように構成することもできる。この実施の形態では、画像出力装置４が駐車支援装置である。図１０は、実施の形態４に係る駐車支援システムの構成を示すブロック図である。図１と同一または対応する構成については、同一の符号を付し、説明を省略する。図４において、電子制御ユニット３からシフト位置情報がシフト位置検出部１０および表示装置５に出力される。画像出力装置４における電子制御ユニット３との接続インターフェースは一般のナビゲーション装置と同じものになっているので、特別なインターフェースを用意しなくても画像出力装置４と電子制御ユニット３との間で通信を行うことができる。表示装置５は、電子制御ユニット３から車両の変速機がリバースの状態である旨のシフト位置情報が入力されている間、入力される画像を表示するモードに切り換わり、画像出力装置４から出力される画像を表示する。そのため、車両の運転者が車両のギアをリバースに入れると画像出力装置４からは合成画像が出力され、表示装置５には当該合成画像が表示されることになる。このようにして、駐車時に車両後方の駐車面の画像を表示し駐車を支援することができる。
　なお、上述では表示装置５は、電子制御ユニット３から車両の変速機がリバースの状態である旨のシフト位置情報が入力された場合に画像出力装置４から出力される画像を表示するようにした。これに加えて、表示装置５に当該表示装置５を入力される画像を表示するモードに切り換える切り替えスイッチを設け、ユーザが当該切り替えスイッチを押した場合に画像出力装置４から出力される画像を表示させるようにしてもよい。
実施の形態５．
　図１１は、実施の形態５に係る駐車支援システムの構成を示すブロック図である。図１１において、図１０と同一または対応する構成については、同一の符号を付し、説明を省略する。画像出力装置４ａは、入力情報を取得する入力情報取得部１９を有している。画像出力装置４ａに設けたディップスイッチ、ダイアル、押しボタンなど数値の入力または値を選択する入力情報取得部１９を用いることにより、情報記憶部１１に入力情報を記憶させることができる。画像出力装置４は、実施の形態１などのホストユニット１と異なり画像を表示する画像表示部を有していないので、運転者が情報記憶部１１に記憶されている情報を変更する場合には、情報記憶部１１に記憶されている情報を表示装置５に表示させ、表示された情報を使用者が見て、入力しようとする値が情報記憶部１１に記憶されているかどうかを判断し、記憶されていない場合には使用者が入力情報取得部１９を用いて変更するようにする。
実施の形態６．
　実施の形態１においては、ホストユニットにてカメラユニットから送信されらカメラ画像とガイド線画像とを合成するようにしたが、カメラユニット内に、情報記憶部、ガイド線計算部、線描画部といったガイド線画像を生成するための構成を設けることもできる。カメラ画像にガイド線画像が重畳された合成画像を出力するカメラユニットを駐車支援カメラユニットと呼ぶ。この実施の形態６では、駐車支援カメラユニットと、駐車支援カメラユニットが出力する画像を表示する表示装置を組み合わせて、駐車支援システムを構成する。
　図１２は、実施の形態６に係る駐車支援システムの構成を示すブロック図である。図１２において図１０と同一または対応する構成については同一の符号を付し、説明を省略する。カメラユニット２ａの撮像部２１は、シフト位置検出部１０から車両の変速機がリバースの状態である旨のシフト位置情報を受けている間、車両の後方の駐車面を撮像する。撮像部２１が撮像したカメラ画像はカメラ画像補正部１６に出力される。カメラ画像補正部１６は、実施の形態１などと同様に、カメラ画像にガイド線画像が重畳した合成画像を表示装置に出力する。
　本実施の形態における表示装置も、実施の形態４における表示装置５と同様、電子制御ユニット３から車両の変速機がリバースの状態である旨のシフト位置情報が入力されている間、入力される画像を表示するモードに切り換わる。そのため、車両の運転者の操作に応じて車両の変速機がリバースの状態になると表示装置５に駐車支援のための画像が表示される。
実施の形態７．
　図１３は、実施の形態７に係る駐車支援システムの構成を示すブロック図である。図１３において、図１２と同一または対応する構成については、同一の符号を付し、説明を省略する。カメラユニット２ｂは、入力情報を取得し情報記憶部１１に記憶させる入力情報取得部１９をさらに有している。入力情報取得部１９は、カメラユニット２ｂが有するディップスイッチ、ダイアル、押しボタンなど数値の入力または値を選択する装置である。使用者が入力情報取得部１９を用いて、情報記憶部１１に入力情報を記憶させる。カメラユニット２ｂは、実施の形態１などのホストユニット１と異なり画像を表示する画像表示部を有していない。そのため、運転者が情報記憶部１１に記憶されている情報を入力または変更する場合には、情報記憶部１１に記憶されている情報を表示装置５に表示させ、表示された情報を使用者が見て、入力しようとする値が情報記憶部１１に記憶されているかどうかを判断する。
　なお、上述の実施の形態では、実空間上のガイド線の被写体画像パターンの座標は２次元の値（x, y）であるものとしたが、３次元の値とすることもできる。
　なお、上述における駐車支援システムは、例えばホストユニットとしての車載用ナビゲーション装置とカメラユニットとしての車載用カメラとで構成することが可能である。
　なお、上述における駐車支援システムにおいては、表示部にレイヤーの異なるガイド線画像および補正カメラ画像が入力され、表示部の内部で合成されるものとしたが、画像重畳部においてこれらの画像を合成し表示部に出力するようにしてもよい。この場合、画像重畳部において、補正カメラ画像に対し映像出力関数ｇ（）を演算することにより、補正カメラ画像のサイズを表示部が表示可能なサイズに変更し、その上でガイド線画像およびサイズの変更された補正カメラ画像を合成するようにすればよい。
　　１，１ａ，１ｂ　ホストユニット（駐車支援装置）
　　２　カメラユニット
　　２ａ，２ｂ　カメラユニット（駐車支援カメラユニット）
　　３，３ａ　電子制御ユニット
　　４，４ａ　画像出力装置（駐車支援装置）
　　５　表示装置
　　１１，１１ｂ　情報記憶部
　　１２　表示条件記憶部
　　１３，１３ｂ　ガイド線計算部（ガイド線情報生成部）
　　１４　線描画部（ガイド線画像生成部）
　　１５　カメラ画像受信部
　　１６　カメラ画像補正部（画像出力部）
　　１７　画像重畳部（画像出力部）
　　１８　表示部
　　１９　入力情報取得部
　　２０　操舵情報取得部
　　２１　撮像部

Claims (10)

  1. 　車両に取り付けられ前記車両の後方の駐車面を撮像するカメラと接続され、前記カメラが撮像したカメラ画像に基づいて、前記車両を駐車する際の目安となるガイド線が前記駐車面に設定された画像を表示装置に表示する駐車支援装置であって、
    　前記ガイド線の間隔に関するガイド線間隔情報、および前記カメラの前記車両への取り付け位置および角度を示す取り付け情報を記憶する情報記憶部と、
    　前記ガイド線間隔情報、および前記取り付け情報に基づいて、前記駐車面に設定される前記ガイド線の前記カメラ画像における位置に関するガイド線情報を生成するガイド線情報生成部と、
    　前記ガイド線情報に基づいて前記ガイド線を表すガイド線画像を生成するガイド線画像生成部と、
    　前記ガイド線画像と前記カメラ画像に基づいて前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力する画像出力部と
    を備える駐車支援装置。
  2. 　前記カメラは、前記車両の種類によって決まる所定の取り付け位置に所定の取り付け角度で取り付けられ、
    　前記取り付け情報は、前記所定の取り付け位置および前記所定の取り付け角度を示すことを特徴とする請求項１に記載の駐車支援装置。
  3. 　前記車両の変速機の状態を示すシフト位置情報を出力するシフト位置情報出力装置と接続され、
    　前記画像出力部は、前記シフト位置情報が前記車両の変速機がリバースの状態であることを示す場合に、前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力すること
    を特徴とする請求項１に記載の駐車支援装置。
  4. 　前記情報記憶部は、前記カメラのレンズ形状による前記カメラ画像の歪みを示すレンズ歪情報と、前記レンズの射影方式による前記カメラ画像の歪みを示す射影歪情報とを記憶しており、
    　前記ガイド線情報生成部は、前記レンズ歪情報および前記射影歪情報に基づいて前記ガイド線情報を生成することを特徴とする請求項１から３のいずれかに記載の駐車支援装置。
  5. 　前記情報記憶部は、前記カメラのレンズ形状による前記カメラ画像の歪みを示すレンズ歪情報と、前記レンズの射影方式による前記カメラ画像の歪みを示す射影情報とを記憶しており、
    　前記画像出力部は、前記レンズ歪情報と前記射影歪情報に基づいて、前記カメラ画像を前記レンズ形状および前記射影方式による歪みを除去したカメラ画像に補正し、補正した前記カメラ画像と前記ガイド線画像に基づいて、前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力することを特徴とする請求項１から３のいずれかに記載の駐車支援装置。
  6. 　前記情報記憶部は、前記カメラのレンズ形状による前記カメラ画像の歪みを示すレンズ歪情報と、前記レンズの射影方式による前記カメラ画像の歪みを示す射影情報と、前記カメラとは別の位置に存在する視点の位置と向きを示す視点情報とを記憶しており、
    　前記ガイド線情報生成部は、前記レンズ歪情報と、前記射影歪情報と、前記視点情報とに基づいて、前記ガイド線情報を生成し、
    　前記画像出力部は、前記視点情報に基づいて、前記カメラ画像を前記視点から撮像したようなカメラ画像に補正し、補正した前記カメラ画像と前記ガイド線画像に基づいて、前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力することを特徴とする請求項１から３のいずれかに記載の駐車支援装置。
  7. 　前記情報記憶部は、前記カメラのレンズ形状による前記カメラ画像の歪みを示すレンズ歪情報と、前記レンズの射影方式による前記カメラ画像の歪みを示す射影情報と、前記カメラとは別の位置に存在する視点の位置と向きを示す視点情報とを記憶しており、
    　前記ガイド線情報生成部は、前記視点情報に基づいて、前記ガイド線情報を生成し、
    　前記画像出力部は、前記レンズ歪情報と、前記射影歪情報と、前記視点情報に基づいて、前記カメラ画像を前記視点から撮像された、前記レンズ形状および前記射影方式による歪みを除去したカメラ画像に補正し、補正した前記カメラ画像と前記ガイド線画像に基づいて、前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力することを特徴とする請求項１から３のいずれかに記載の駐車支援装置。
  8. 　外部からの入力に基づいて、前記情報記憶部が記憶した情報の内容を変更する情報変更部を有することを特徴とする請求項１～７のいずれかに記載の駐車支援装置。
  9. 　車両に取り付けられ前記車両の後方の駐車面を撮像する前記カメラと、
    　前記カメラに接続され、前記カメラが撮像したカメラ画像に基づいて、前記ガイド線が前記駐車面に設定された画像を表示装置に表示する請求項１～８のいずれかに記載の駐車支援装置とを備える駐車支援システム。
  10. 　前記車両を駐車する際の目安となるガイド線が前記車両の後方の駐車面に設定された画像を表示装置に表示する駐車支援カメラユニットであって、
    　前記車両に取り付けられ前記車両の後方の駐車面を撮像するカメラと、
    　前記ガイド線の間隔に関するガイド線間隔情報、および前記カメラの前記車両への取り付け位置および角度を示す取り付け情報を記憶する情報記憶部と、
    　前記ガイド線間隔情報、および前記取り付け情報に基づいて、前記駐車面に設定される前記ガイド線の前記カメラ画像における位置に関するガイド線情報を生成するガイド線情報生成部と、
    　前記ガイド線情報に基づいて前記ガイド線を表すガイド線画像を生成するガイド線画像生成部と、
    　前記ガイド線画像と前記カメラ画像に基づいて前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力する画像出力部と
    を備える駐車支援カメラユニット。
PCT/JP2010/003274 2010-05-14 2010-05-14 駐車支援装置、駐車支援システム、および駐車支援カメラユニット WO2011141971A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112010005565T DE112010005565T5 (de) 2010-05-14 2010-05-14 Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit
US13/638,273 US20130010119A1 (en) 2010-05-14 2010-05-14 Parking assistance apparatus, parking assistance system, and parking assistance camera unit
PCT/JP2010/003274 WO2011141971A1 (ja) 2010-05-14 2010-05-14 駐車支援装置、駐車支援システム、および駐車支援カメラユニット
JP2012514612A JP5379913B2 (ja) 2010-05-14 2010-05-14 駐車支援装置、駐車支援システム、および駐車支援カメラユニット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/003274 WO2011141971A1 (ja) 2010-05-14 2010-05-14 駐車支援装置、駐車支援システム、および駐車支援カメラユニット

Publications (1)

Publication Number Publication Date
WO2011141971A1 true WO2011141971A1 (ja) 2011-11-17

Family

ID=44914040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003274 WO2011141971A1 (ja) 2010-05-14 2010-05-14 駐車支援装置、駐車支援システム、および駐車支援カメラユニット

Country Status (4)

Country Link
US (1) US20130010119A1 (ja)
JP (1) JP5379913B2 (ja)
DE (1) DE112010005565T5 (ja)
WO (1) WO2011141971A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175064A (ja) * 2012-02-24 2013-09-05 Kyocera Corp 映像処理装置、映像処理方法、および映像表示システム
KR101450428B1 (ko) 2013-01-17 2014-10-14 (주) 티아이에스 정보통신 Ｉｐ 카메라의 영상 기술을 적용한 주차유도 시스템
CN104756497A (zh) * 2012-10-17 2015-07-01 日立麦克赛尔株式会社 图像传送系统
JP2016055793A (ja) * 2014-09-10 2016-04-21 アイテル株式会社 運転支援装置
JP2018024306A (ja) * 2016-08-09 2018-02-15 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及びプログラム
JP2020029333A (ja) * 2018-08-22 2020-02-27 トヨタ自動車株式会社 ラベル読取システム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5888087B2 (ja) * 2012-04-25 2016-03-16 ソニー株式会社 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置
US10304217B2 (en) * 2012-07-30 2019-05-28 Toshiba Medical Systems Corporation Method and system for generating image using filtered backprojection with noise weighting and or prior in
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
KR102175961B1 (ko) * 2013-11-29 2020-11-09 현대모비스 주식회사 차량 후방 주차 가이드 장치
KR101572065B1 (ko) * 2014-01-03 2015-11-25 현대모비스(주) 영상 왜곡 보정 방법 및 이를 위한 장치
US10196005B2 (en) * 2015-01-22 2019-02-05 Mobileye Vision Technologies Ltd. Method and system of camera focus for advanced driver assistance system (ADAS)
DE102015211754A1 (de) * 2015-06-24 2016-12-29 Bayerische Motoren Werke Aktiengesellschaft Parkassistenzsystem zum automatisierten Durchführen eines Einparkmanövers in eine Querparklücke mit Erkennung eines die Querparklücke nach hinten begrenzenden Bodenhindernisses
CN107031523A (zh) 2015-11-30 2017-08-11 法乐第未来公司 利用已知目标进行基于摄像头的车辆位置确定
CN109070879B (zh) * 2016-08-09 2021-05-07 Jvc 建伍株式会社 显示控制装置、显示装置、显示控制方法以及存储介质
US10025317B2 (en) * 2016-09-30 2018-07-17 Faraday&Future Inc. Methods and systems for camera-based autonomous parking
US20200180510A1 (en) * 2017-07-07 2020-06-11 Nissan Motor Co., Ltd. Parking Assistance Method and Parking Assistance Device
JP6939494B2 (ja) * 2017-12-11 2021-09-22 トヨタ自動車株式会社 画像表示装置
US11294060B2 (en) 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
JP7267755B2 (ja) * 2019-01-23 2023-05-02 株式会社小松製作所 作業機械のためのシステム及び方法
DE102019110871A1 (de) * 2019-04-26 2020-10-29 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug
CN110930336B (zh) * 2019-11-29 2023-11-28 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183284B2 (ja) * 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
JP2004056219A (ja) * 2002-07-16 2004-02-19 Nissan Motor Co Ltd 車両周辺監視装置
JP2010136289A (ja) * 2008-12-08 2010-06-17 Denso It Laboratory Inc 運転支援装置及び運転支援方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3624769B2 (ja) * 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP4682830B2 (ja) 2005-12-05 2011-05-11 日産自動車株式会社 車載画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183284B2 (ja) * 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
JP2004056219A (ja) * 2002-07-16 2004-02-19 Nissan Motor Co Ltd 車両周辺監視装置
JP2010136289A (ja) * 2008-12-08 2010-06-17 Denso It Laboratory Inc 運転支援装置及び運転支援方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175064A (ja) * 2012-02-24 2013-09-05 Kyocera Corp 映像処理装置、映像処理方法、および映像表示システム
CN104756497A (zh) * 2012-10-17 2015-07-01 日立麦克赛尔株式会社 图像传送系统
CN104756497B (zh) * 2012-10-17 2018-01-16 麦克赛尔株式会社 图像传送系统
KR101450428B1 (ko) 2013-01-17 2014-10-14 (주) 티아이에스 정보통신 Ｉｐ 카메라의 영상 기술을 적용한 주차유도 시스템
JP2016055793A (ja) * 2014-09-10 2016-04-21 アイテル株式会社 運転支援装置
JP2018024306A (ja) * 2016-08-09 2018-02-15 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及びプログラム
JP2020029333A (ja) * 2018-08-22 2020-02-27 トヨタ自動車株式会社 ラベル読取システム
JP7087820B2 (ja) 2018-08-22 2022-06-21 トヨタ自動車株式会社 ラベル読取システム

Also Published As

Publication number Publication date
US20130010119A1 (en) 2013-01-10
JPWO2011141971A1 (ja) 2013-07-22
JP5379913B2 (ja) 2013-12-25
DE112010005565T5 (de) 2013-02-28

Similar Documents

Publication Publication Date Title
JP5379913B2 (ja) 駐車支援装置、駐車支援システム、および駐車支援カメラユニット
US10676027B2 (en) Vehicle control apparatus and program
US9007462B2 (en) Driving assist apparatus, driving assist system, and driving assist camera unit
JP5316805B2 (ja) 車載カメラ装置の画像調整装置及び車載カメラ装置
US9294733B2 (en) Driving assist apparatus
EP2818363B1 (en) Camera device, camera system, and camera calibration method
EP2835962B1 (en) Calibration processor, camera device, camera system, and camera calibration method
JP5454934B2 (ja) 運転支援装置
JP5212748B2 (ja) 駐車支援装置
US20130191022A1 (en) Method for displaying images on a display device and driver assistance system
WO2013047012A1 (ja) 車両周辺監視装置
WO2011010346A1 (ja) 運転支援装置
JP5190712B2 (ja) 障害物検出装置
JP2013001366A (ja) 駐車支援装置および駐車支援方法
WO2017154787A1 (ja) 駐車領域表示システム及びそれを用いた自動駐車システム
WO2018003193A1 (ja) 周辺監視装置
JP2011148369A (ja) 運転支援装置
JP2016063390A (ja) 画像処理装置、及び画像表示システム
JP2012076551A (ja) 駐車支援装置、駐車支援方法、及び、駐車支援システム
WO2010134240A1 (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
JP2012065225A (ja) 車載用画像処理装置、周辺監視装置、および、車両
JP5195776B2 (ja) 車両周辺監視装置
JP2013062692A (ja) 車載カメラの較正装置及び方法
JP5651491B2 (ja) 画像表示システム、画像表示装置、及び、画像表示方法
JP2017220163A (ja) 画像生成装置、画像表示システム及び画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10851356

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012514612

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13638273

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120100055653

Country of ref document: DE

Ref document number: 112010005565

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10851356

Country of ref document: EP

Kind code of ref document: A1