WO2010070920A1 - 車両周囲画像生成装置 - Google Patents

車両周囲画像生成装置 Download PDF

Info

Publication number
WO2010070920A1
WO2010070920A1 PCT/JP2009/007009 JP2009007009W WO2010070920A1 WO 2010070920 A1 WO2010070920 A1 WO 2010070920A1 JP 2009007009 W JP2009007009 W JP 2009007009W WO 2010070920 A1 WO2010070920 A1 WO 2010070920A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parking frame
vehicle
target parking
display
Prior art date
Application number
PCT/JP2009/007009
Other languages
English (en)
French (fr)
Inventor
神山博貴
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2010070920A1 publication Critical patent/WO2010070920A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to a vehicle surrounding image generation device that is configured to be connectable to a plurality of in-vehicle cameras and that generates an image that allows a vehicle driver to check a situation around the vehicle.
  • This parking assistance device uses a vehicle-mounted camera to create an overhead image showing the situation around the vehicle, particularly the situation of the parking frame when looking down from above the vehicle. More specifically, the parking assist device enables the driver to intuitively perform an operation in which the driver specifies the target parking frame, that is, the position and direction of the parking frame from which the vehicle is to be parked. The frame graphic is superimposed on the parking frame position in the overhead image. Thus, the target parking frame is taught to the driver (for example, see Patent Document 1).
  • an object of the present invention is to provide a vehicle surrounding image generation device that allows the driver to more clearly recognize the situation in the target parking frame.
  • the present invention provides a vehicle surrounding image generation device connectable to a plurality of cameras attached to a vehicle, a parking frame specifying unit that specifies a target parking frame of the vehicle, and a specified target Based on the parking frame, a selection unit that selects at least one camera suitable for photographing the target parking frame from a plurality of cameras, selects a photographed image from the selected camera, and uses a photographed image by the selected camera. And a drawing unit that generates a display image representing the status of the identified target parking frame.
  • the present invention uses the image from the camera selected based on the specified parking frame to generate a display image representing the state of the parking frame. Since the display image uses an image from the selected camera, the distortion of the three-dimensional object that can be reflected in the specified parking frame and / or around the parking frame can be relatively reduced. As described above, according to the present invention, a display image that can reduce the distortion of the three-dimensional object in the parking frame is generated. When this is displayed, the driver can display the image in the target parking frame and / or around the target parking frame. The situation can be recognized more clearly.
  • FIG. 1 is a block diagram showing an overall configuration of a vehicle surrounding image display system 1 according to a first embodiment of the present invention.
  • the block diagram which shows the detailed structure of the vehicle surrounding image generation apparatus 3 shown in FIG.
  • the flowchart which shows the flow of a process of the vehicle surrounding image display system 1 shown in FIG.
  • FIG. 5 is a schematic diagram showing an example of the optimum captured image ATP obtained in step S309 in FIG.
  • FIG. 8A is a schematic diagram illustrating an example of an overhead image LDP that is the display image DP generated in step S310 of FIG. 5, and FIG. 8B is an optimal shooting that is the display image DP generated in step S310 of FIG.
  • FIG. 9A is a schematic diagram illustrating an example of the positional relationship between the target parking frame TPL and the vehicle ⁇
  • FIG. 9B is a schematic diagram illustrating another example of the positional relationship between the target parking frame TPL and the vehicle ⁇ .
  • FIG. 11A is a schematic diagram showing a first example of the positional relationship between the target parking frame TPL and each of the cameras 2a to 2d, which is the optimum camera selection criterion in step S309
  • FIG. 11B is the optimum camera selection criterion in step S309.
  • FIG. 11C is a schematic diagram showing a second example of the positional relationship between the target parking frame TPL and each of the cameras 2a to 2d.
  • FIG. 11C shows the target parking frame TPL and each of the cameras 2a to 2 which are the selection criteria for the optimum camera in step S309.
  • FIG. 11A is a schematic diagram showing a first example of the positional relationship between the target parking frame TPL and each of the cameras 2a to 2d, which is the optimum camera selection criterion in step S309
  • FIG. 11B is the optimum camera selection criterion in step S309.
  • FIG. 11C is a schematic diagram showing a second example of the positional relationship between the target parking frame TPL
  • FIG. 11D is a schematic diagram illustrating a fourth example of the positional relationship between the target parking frame TPL and each of the cameras 2a to 2d, which is the selection criterion for the optimum camera in step S309.
  • FIG. 12A is a schematic diagram illustrating a first example of an optimal camera selection method when the target parking frame TPL is present in the overlap region
  • FIG. 12B is an optimal camera when the target parking frame TPL is present in the overlap region.
  • FIG. 5 is a schematic diagram showing an alternative example of the display image DP generated in step S310 of FIG.
  • the block diagram which shows the whole structure of the vehicle periphery image display system 1a which concerns on the 2nd Embodiment of this invention.
  • FIG. 17A is a schematic diagram illustrating an example of a display image DP in which an overhead image LDP is used and an obstacle icon OBS is further superimposed.
  • FIG. 17B is an optimal captured image ATP that is further superimposed on an obstacle icon OBS.
  • FIG. 15 is a schematic diagram showing a table 351 held by the additional image drawing unit 35 shown in FIG.
  • the schematic diagram which shows the determination method of the approach degree in case the obstruction X which moves near the target parking frame TPL exists
  • FIG. 1 is a block diagram showing an overall configuration of a vehicle surrounding image display system 1 according to the first embodiment of the present invention.
  • the vehicle surrounding image display system 1 includes, for example, four cameras 2a, 2b, 2c, and 2d, a vehicle surrounding image generation device 3, and a display device 4.
  • the cameras 2a to 2d have a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), for example.
  • the cameras 2a to 2d are digital cameras that can capture color images or monochrome images. Further, these cameras 2a to 2d more preferably have a wide viewing angle (wide angle of view) lens such as a fish-eye lens, for example, and it is preferable that the surroundings of the vehicle ⁇ (see FIG. 2) can be photographed over a wide range. .
  • the cameras 2a to 2d are attached around the vehicle ⁇ .
  • the camera 2a is attached to the center of the front end of the vehicle ⁇ so that the optical axis is directed to the front of the vehicle and the optical axes intersect with the road surface at a predetermined depression angle.
  • the remaining cameras 2b, 2c, and 2d are attached to the left side, rear center, and right side of the vehicle ⁇ toward the left side, rear, and right side of the vehicle.
  • the cameras 2b, 2c, and 2d are also attached so that their optical axes intersect with the road surface at a predetermined depression angle.
  • FIG. 2 schematically shows a range captured by the cameras 2a to 2d in the peripheral region of the vehicle ⁇ .
  • the camera 2a captures the situation of the imaging range CAMa in front of the vehicle ⁇ , and generates image data indicating the captured image CPa.
  • the camera 2b captures an imaging range CAMb on the left side of the vehicle ⁇ and generates image data indicating the captured image CPb.
  • the camera 2c captures an imaging range CAMc behind the vehicle ⁇ and generates image data indicating the captured image CPc.
  • the camera 2d captures an imaging range CAMd on the right side of the vehicle ⁇ , and generates image data indicating the captured image CPd.
  • Image data indicating each of the captured images CPa to CPd is transmitted to the vehicle surrounding image generation device 3 (see FIG. 1) via a transmission path.
  • image data indicating an image” processed (generated, transmitted, stored in a buffer, etc.) in the vehicle surrounding image display system 1 is simply referred to as an “image” for simplification of description.
  • the imaging range CAMa overlaps the imaging range CAMb.
  • the imaging range CAMb, the imaging range CAMc, the imaging range CAMc, the imaging range CAMd, the imaging range CAMd, and the imaging range CAMa overlap.
  • an overlapping portion of the imaging ranges CAMa and CAMb is referred to as an overlap region Fa.
  • the overlapping portion of the imaging ranges CAMb and CAMc, the overlapping portion of the imaging ranges CAMc and CAMd, and the overlapping portion of the imaging ranges CAMd and CAMa are referred to as overlap regions Fb, Fc, and Fd, respectively.
  • camera parameters representing the positions and orientations (orientations) of the cameras 2a to 2d and the distortion of the lenses of the cameras 2a to 2d are acquired in advance by actual measurement or the like. It is desirable that the vehicle surrounding image generation device 3 holds the image. Further, these camera parameters may be calculated using a calibration target (mark).
  • the vehicle surrounding image generation device 3 is an ECU (Electronic Control Unit), for example, and includes a processor, a nonvolatile memory, and the like. As shown in FIG. 4, the vehicle surrounding image generation device 3 includes the same number of input buffers 31a, 31b, 31c, and 31d as the number of cameras, an overhead image generation unit 32, a parking frame specification unit 33, and a captured image selection unit. 34, an additional image drawing unit 35, and an output buffer 36.
  • the overhead image generation unit 32, the parking frame specification unit 33, the captured image selection unit 34, and the additional image drawing unit 35 are realized by a processor that executes software stored in advance in the nonvolatile memory. Suppose that Such a vehicle surrounding image generation device 3 generates a display image DP output by the display device 4 at the subsequent stage.
  • a display device 4 is also connected to the vehicle surrounding image generation device 3 via a transmission path.
  • the display device 4 is, for example, a liquid crystal display, and displays the display image DP generated by the vehicle surrounding image generation device 3.
  • the parking frame specifying unit 33 accepts a parking frame detection start trigger (FIG. 5; step S301).
  • a parking frame detection start trigger (FIG. 5; step S301).
  • the shift position information is information indicating the shift position of the vehicle.
  • the parking frame specifying unit 33 determines that the start trigger has been received.
  • the operation information is information indicating that a physical button (not shown) or a graphical button (not shown) provided in the vehicle surrounding image display system 1 is operated by the driver.
  • the parking frame specifying unit 33 determines that a start trigger has been received, for example, when operation information indicating that a parking frame detection button that is one of these buttons has been pressed is input.
  • the cameras 2a to 2d are connected to input buffers 31a to 31d as shown in FIG.
  • the captured images CPa to CPd by the cameras 2a to 2d are periodically stored in the input buffers 31a to 31d when the parking frame specifying unit 33 receives a start trigger at the latest.
  • the parking frame specifying unit 33 acquires the captured images CPa to CPd stored in the input buffers 31a to 31d (step S302).
  • the parking frame specifying unit 33 performs target parking frame detection processing (step S304).
  • the target parking frame detection process there is a method disclosed in Patent Document 1 (Japanese Patent Laid-Open No. 2007-230371) described above.
  • the parking frame specifying unit 33 performs well-known image processing on the captured images CPa to CPd acquired in step S302 to detect white lines on the road surface from the captured images CPa to CPd.
  • the parking frame specifying unit 33 detects an area surrounded by a white line or an area sandwiched by white lines as a parking area (hereinafter referred to as a parking frame).
  • the parking frame identification unit 33 may detect the target parking frame using an active sensor such as a white line region detected by a radar or a near infrared camera that emits near infrared rays.
  • step S304 the parking frame specifying unit 33 determines whether or not the target parking frame has been successfully detected (step S305).
  • step S305 If a negative determination is made in step S305, the process flow returns to step S302, and the parking frame specifying unit 33 acquires the updated captured images CPa to CPd, and performs step S304 again.
  • the parking frame specifying unit 33 calculates the relative positional relationship between the host vehicle (that is, the vehicle on which the vehicle surrounding image display system 1 is mounted) and the target parking frame (step). S306). Specifically, the relative positional relationship is calculated from the detected world coordinates of the target parking frame and the world coordinates of the host vehicle. For example, the imaging ranges CAMa to CAMd (see FIG. 2) that can be captured by the respective cameras are calculated based on the camera parameters described above, and the calculated values are stored in the nonvolatile memory described above.
  • a relative positional relationship of the target parking frame with respect to the host vehicle is calculated.
  • the relative positional relationship the distance and direction of the target parking frame with respect to the host vehicle and the world coordinate values of both are typical.
  • step S306 the parking frame specifying unit 33 determines whether the bird's-eye view image is good as the image generated by the vehicle surrounding image generation device 3 this time (step S307).
  • the determination is negative in step S307, a captured image is generated.
  • the distance from the host vehicle to the target parking frame is used as the determination criterion in step S307. For example, if this distance is less than a predetermined threshold value, that is, if the distance is relatively close, it is determined that the bird's-eye view image is good. If it is a long distance, it is programmed in advance so that the camera image is judged good.
  • the parking frame specifying unit 33 gives an instruction to generate an overhead image to the overhead image generation unit 32 in step S308.
  • the overhead image generation unit 32 acquires the captured images CPa to CPd stored in the input buffers 31a to 31d, and performs geometric conversion on the acquired captured images CPa to CPd.
  • an overhead image representing the situation when looking down around the host vehicle is generated from a virtual viewpoint preset above the host vehicle (step S308). Since the processing for generating the bird's-eye view image is well known, detailed description thereof is omitted.
  • FIG. 6 is a schematic diagram showing an example of the overhead view image generated in step S308.
  • the bird's-eye view image LDP is synthesized with a model image M ⁇ that imitates the host vehicle at a predetermined position. Further, a road surface RS (see the hatched portion) and white lines WL indicating some parking frames PL are drawn around the model image M ⁇ .
  • a road surface RS see the hatched portion
  • white lines WL indicating some parking frames PL are drawn around the model image M ⁇ .
  • one parking frame PL is virtually shown by a one-dot chain line, and one other vehicle Va is also shown.
  • the overhead image as described above is passed to the additional image drawing unit 35.
  • step S309 the parking frame specifying unit 33 selects the target parking frame that has been successfully detected in step S304 from the cameras 2a to 2d based on the relative positional relationship of the target parking frame with respect to the host vehicle (calculated in step S306). The closest camera is selected as the optimal camera. Thereafter, the parking frame specifying unit 33 passes information indicating the optimum camera to the captured image selecting unit 34. In response to this information, the captured image selection unit 34 receives the captured image stored from the input buffer (any one of the input buffers 31a to 31d) connected to the optimum camera (any one of the cameras 2a to 2d). An image is acquired as an optimum captured image. The captured image selection unit 34 passes the acquired optimal captured image to the additional image drawing unit 35 (step S309).
  • FIG. 7 is a schematic diagram showing an example of the optimum photographed image selected in step S309.
  • the optimal captured image ATP is an image captured from the viewpoint of the optimal camera, the road surface RS (see the hatched portion), the white line WL indicating the target parking frame TPL, and the own vehicle A part ⁇ is drawn at least.
  • the target parking frame TPL is virtually drawn with a one-dot chain line.
  • the parking frame specifying unit 33 gives an instruction to draw various predetermined additional images to the additional image drawing unit 35 in step S310.
  • the relative positional relationship of the target parking frame TPL is also passed.
  • the additional image drawing unit 35 superimposes the additional image on the inputted overhead view image LDP or optimum captured image ATP, and at least the situation of the target parking frame TPL. Is generated (step S310).
  • the additional image there are predetermined ones among the target parking frame image FP, the mask image MKP (see the hatched portion), the icon ICN, and the graphic operation button GB.
  • the target parking frame image FP is, for example, a rectangular frame graphic for indicating the target parking frame TPL.
  • the superimposed position is specified by the relative positional relationship sent from the parking frame specifying unit 33 and the camera parameters stored in advance.
  • the mask image MKP is an image for covering an unnecessary part (for example, a part that is not desired to be displayed) in the overhead view image or the optimum captured image.
  • the icon ICN is a graphic indicating in which direction the target parking frame TPL is with respect to the host vehicle.
  • the operation button GB is, for example, a button for re-detecting a parking frame, and is operated by a driver, and various functions are assigned in advance.
  • Mask image MKP, icon ICN, and operation button GB are superimposed on a predetermined position with respect to the input overhead image or the input optimum captured image.
  • the overhead image or the optimal captured image on which various additional images are superimposed is output to the output buffer 36 (see FIG. 4) as the display image DP.
  • the display device 4 receives and displays the display image DP from the output buffer 36 (step S311).
  • the processing of the vehicle surrounding image display system 1 shown in FIG. 1 is repeatedly performed.
  • 9A and 9B are schematic diagrams showing the positional relationship between the target parking frame and the host vehicle.
  • 9A and 9B show an actual target parking frame TPL, the host vehicle ⁇ , and a drawing area LDA (see an area surrounded by a two-dot chain line) drawn as an overhead image.
  • a drawing area LDA having a predetermined area is set in the vehicle surrounding display system 1 from the world coordinate positions of the target parking frame TPL and the host vehicle ⁇ . In the drawing area LDA, as shown in FIG.
  • step S307 when a part or the whole of the target parking frame TPL is included, the parking frame specifying unit 33 determines that an overhead image is generated in step S307. On the other hand, if the drawing area LDA does not include a part or the whole of the target parking frame TPL as shown in FIG. 9B, in step S307, when the optimum captured image is selected, the parking frame specifying unit 33 determines.
  • FIG. 10 is a schematic diagram showing the fall of the three-dimensional object MMS, which is correlated with the distance from the camera 2b, as an example of such a fall.
  • the three-dimensional object MMS is drawn in a state of being projected on the road surface RS.
  • the mounting height itself of the camera 2b is not substantially changed. Accordingly, the distortion changes depending on the positional relationship between the three-dimensional object MMS and the camera 2b, and the distortion (length) Lf of the three-dimensional object MMS increases as the distance between the two increases.
  • the target parking frame TPL when the target parking frame TPL is close, even if the overhead image is displayed on the display device 4, the three-dimensional object that is drawn in the overhead image and can exist around the target parking frame TPL has only a small distortion. Does not occur. From the above viewpoint, when the target parking frame TPL exists nearby, the overhead image LDP is used for the display image DP as shown in FIG. 8A. On the contrary, when the target parking frame TPL exists far away, as shown in FIG. 8B, the optimum captured image ATP is used for the display image DP.
  • FIG. 11A to FIG. 11D are schematic diagrams showing selection criteria for the optimal captured image based on the positional relationship between the target parking frame TPL and each of the cameras 2a to 2d.
  • the determination as to which camera's captured image is used is based on the world coordinate values that define the imaging ranges CAMa to CAMd (see FIG. 2) of the cameras 2a to 2d in advance as camera parameters.
  • the parking frame specifying unit 33 holds. Then, the world coordinate value of the target parking frame TPL is obtained in step S305. Therefore, the parking frame specifying unit 33 determines which imaging range of the imaging ranges CAMa to CAMd the target parking frame TPL is in, and selects a camera having an imaging range including the target parking frame TPL as the optimal camera.
  • the cameras 2a to 2d are installed with respect to the vehicle ⁇ so that the imaging ranges of adjacent cameras overlap in the overlap areas Fa to Fd.
  • a part or the whole of the target parking frame TPL is included in these overlap areas Fa to Fd.
  • the parking frame specifying unit 33 selects the optimum camera.
  • the target parking frame TPL see the portion with dots
  • the overlap region Fa see the lattice-shaped hatching portion.
  • the parking frame specifying unit 33 selects one of the cameras 2a and 2b as the optimum camera.
  • the following two methods are exemplified as the selection method.
  • the first method as shown in FIG. 12A, distances Da and Db between a point closest to the vehicle ⁇ in the target parking frame TPL and any two of the cameras 2a to 2d are obtained, and both distances Da and Db are obtained.
  • the camera having the smaller one is selected as the optimum camera.
  • FIG. 12B first, a point closest to the vehicle ⁇ in the target parking frame TPL and two lines La and Lb connecting the cameras 2a and 2b are obtained.
  • an angle ⁇ a formed by the line La and the optical axis Xa of the camera 2a and an angle ⁇ b formed by the line Lb and the optical axis Xb of the camera 2b are obtained. Thereafter, the camera having the smaller one of the two angles ⁇ a and ⁇ b is selected as the optimum camera.
  • the parking frame specifying unit 33 specifies the target parking frame TPL, and then obtains the relative positional relationship of the target parking frame TPL with respect to the host vehicle ⁇ . Further, when the target parking frame TPL is relatively far from the own vehicle ⁇ , the parking frame specifying unit 33 selects the camera most suitable for showing the specified target parking frame TPL to the driver, and is selected by this. A display image is created using a photographed image from the optimum camera. As described above with reference to FIG. 10, the captured image displayed on the display device 4 has less distortion of the three-dimensional object around the target parking frame TPL than the overhead image. Thus, according to the vehicle surrounding image display system 1, the driver selects the optimum camera in accordance with the positional relationship with the target parking frame TPL. It becomes possible to recognize this situation more clearly.
  • the display image is created using the captured image itself.
  • the present invention is not limited to this, and the viewpoint of the image is converted so that one or a plurality of captured images become, for example, an image when the target parking frame TPL is viewed from the viewpoint of the driver, and the converted image is displayed. It may be used as an image.
  • the target parking frame TPL exists far from the host vehicle ⁇
  • the optimum captured image ATP is used for the display image DP
  • the target parking frame TPL exists nearby.
  • the overhead image LDP is used as the display image DP.
  • the present invention is not limited to this, and when the target parking frame TPL exists in the distance, as shown in FIG. 13, a composite image of both the overhead image LDP and the optimum captured image ATP is created as the display image DP. It doesn't matter.
  • FIG. 14 is a block diagram showing an overall configuration of a vehicle surrounding image display system 1a according to the second embodiment of the present invention.
  • the vehicle surrounding image display system 1a in FIG. 14 is different from the vehicle surrounding image display system 1 shown in FIG. 1 in that the vehicle surrounding image generation device 3 is replaced with the vehicle surrounding image generation device 3a. Since the other configurations are the same, in the following, the components corresponding to those in FIG.
  • FIG. 15 is a block diagram showing a detailed configuration of the vehicle surrounding image generation device 3a shown in FIG.
  • the vehicle surrounding image generation device 3a in FIG. 15 is different from the vehicle surrounding image generation device 3 in terms of functional blocks in that an obstacle detection unit 37 is added as shown in FIG. Since the other configurations are the same, in the following, in FIG. 15, the components corresponding to the configurations in FIG. 4 are denoted by the same reference numerals, and detailed descriptions thereof are omitted.
  • the obstacle detection unit 37 is realized by, for example, a processor that executes software stored in advance in the nonvolatile memory.
  • the obstacle detection unit 37 receives the captured images CPa to CPd and the relative positional relationship from the parking frame specifying unit 33 from the input buffers 31a to 31d. Thereafter, the obstacle detection unit 37 detects an obstacle (a three-dimensional object) that may exist around the target parking frame TPL. When the obstacle is successfully detected, the obstacle detection unit 37 passes the world coordinate value where the detected obstacle exists to the additional image drawing unit 35.
  • steps S601, S602, and S603 are added instead of step S310. Since the other steps are the same, in the following, the steps corresponding to the steps in FIG. 5 are given the same step numbers, and detailed descriptions thereof are omitted.
  • step S601 the obstacle detection unit 37 performs obstacle detection (step S601).
  • An obstacle is a stationary object such as a wall existing in a parking lot, an already parked vehicle, or a pillar, or a moving object such as a moving person, another vehicle, or a bicycle.
  • the obstacle detection unit 37 holds the captured images CPa to CPd obtained from the input buffers 31a to 31d for the past several frames.
  • the obstacle detection unit 37 detects a moving object by detecting a flow (known optical flow) indicating movement using the captured images CPa for the past several frames from the present.
  • the obstacle detection unit 37 detects a stationary object using the stereo principle using two frames of the captured image CPa having a time difference such as motion stereo.
  • moving objects and stationary objects are detected for the other captured images CPb to CPd.
  • the obstacle detection unit 37 obtains which one of the optimum cameras selected by the parking frame specifying unit 33 in order to reduce the processing load, and obstructs the optimum captured image obtained from the optimum camera. It is preferable to perform object detection.
  • the obstacle detection unit 37 obtains a world coordinate value that specifies the position of the detected obstacle. If the obstacle is a moving object, the obstacle detecting unit 37 approaches the target parking frame TPL detected in step S304 from the obtained world coordinate value and information on the moving direction of the moving object. It is determined whether the vehicle ⁇ is approaching in the moving direction. This determination method will be described in detail later. Further, the obstacle detection unit 37 also obtains the moving speed of the moving object.
  • the obstacle detection unit 37 passes information indicating the world coordinate value, movement direction, and movement speed of the obstacle obtained as described above to the additional image drawing unit 35. Thus, the determination process in step S602 ends.
  • the additional image drawing unit 35 displays the obstacle icon in the position corresponding to the obstacle icon in the overhead image LDP or the optimum captured image ATP in the display image DP based on the information received from the obstacle detection unit 37. (Step S603).
  • the obstacle icon indicates that a stationary object is present near the target parking frame TPL, or that the moving body is approaching the future path of the target parking frame TPL or the host vehicle ⁇ .
  • FIG. 17A is a schematic diagram showing an example of the display image DP using the overhead image LDP and further superimposed with the obstacle icon OBS
  • FIG. 17B uses the optimum captured image ATP and further displays the obstacle icon.
  • It is a schematic diagram which shows an example of image DP for display on which OBS was superimposed. 17A and 17B are different from the display image DP shown in FIGS. 8A and 8B in that the obstacle icon OBS is superimposed, and thus the description thereof is omitted.
  • the bird's-eye view image LDP depicts a portion at a short distance from the vehicle ⁇ in the peripheral region of the target parking frame TPL.
  • the obstacle icon OBS is drawn on the display image DP in some form even in the peripheral region of the target parking frame TPL or when the obstacle is at a long distance from the vehicle ⁇ .
  • the obstacle icon OBS can be drawn on the mask image MKP as shown in FIG. 17A.
  • the additional image drawing unit 35 may hold a table 351 as shown in FIG. 18 in the aforementioned nonvolatile memory.
  • a table 351 describes an information set of the color of the icon OBS, the moving speed range of the obstacle, and the distance range from the host vehicle ⁇ to the obstacle for each approach degree.
  • the color of the icon OBS is described as red so that the driver can be most alerted
  • the moving speed range is described as V2 ⁇ Vth ⁇ V3
  • the distance range is , 0 ⁇ Dth ⁇ D1.
  • the degree of approach is level 2
  • the color of the icon OBS is described as yellow so that the driver can be alerted moderately
  • the moving speed range is described as V1 ⁇ Vth ⁇ V2
  • the distance range is It is described as D1 ⁇ Dth ⁇ D2.
  • the degree of approach is level 3
  • the color of the icon OBS is described as blue so that the driver can be most gently alerted
  • the moving speed range is described as 0 ⁇ Vth ⁇ V1
  • the distance range is It is described as D2 ⁇ Dth ⁇ D3.
  • the additional image drawing unit 35 preferably changes the color of the above-described obstacle icon OBS based on the information received from the obstacle detection unit 37. Further, the color of the target parking frame image FP may be changed to the same color as the obstacle icon OBS.
  • FIG. 19 is a schematic diagram illustrating a method for determining the degree of approach when there is an obstacle X that moves near the target parking frame TPL.
  • FIG. 19 shows the host vehicle ⁇ and a vector V indicating the moving speed of the obstacle X.
  • the obstacle detection unit 37 also calculates the vector V indicating the moving speed and moving direction of the obstacle X. For this reason, from these information, the additional image drawing unit 35 can first determine whether the obstacle X is approaching or not approaching the target parking frame TPL.
  • the additional image drawing unit 35 determines the color of the obstacle icon OBS. If the current moving speed of the obstacle X falls within the level 1 moving speed range shown in FIG. 18, the color of the obstacle icon OBS is determined to be red. If it falls within the movement speed range of level 2, the color of the obstacle icon OBS is determined to be yellow. If the moving speed is within the level 3 range, the obstacle icon OBS is determined to be blue. For example, a display image DP as shown in FIGS. 17A and 17B is created using the determined color.
  • the additional image drawing unit 35 is similar to a stationary object, and calculates the distance between the position of the detected stationary object and the target parking frame TPL.
  • the color of the obstacle icon OBS is determined according to the table 351 of FIG. 18 and is superimposed on the corresponding position in the overhead image LDP or the optimal captured image ATP in the display image DP. Also in this case, the color of the target parking frame TPL may be drawn in the same color as the obstacle icon OBS.
  • Obstacles may be detected using an active sensor such as a near-infrared camera by irradiating radar or near-infrared rays.
  • an active sensor such as a near-infrared camera by irradiating radar or near-infrared rays.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　運転手が目標駐車枠内の状況をより明確に認識可能にする車両周囲画像生成装置。車両周囲画像生成装置（３）は、車両に取り付けられる複数のカメラと接続可能であって、車両の目標駐車枠を特定する駐車枠特定部（３３）と、特定された目標駐車枠に基づき、複数のカメラから、該目標駐車枠の撮影に適した少なくとも１つのカメラを選択し、選択したカメラからの撮影画像を選択する撮影画像選択部（３４）と、選択されたカメラによる撮影画像を使って、特定された目標駐車枠の状況を表す表示用画像を生成する付加画像描画部（３５）とを備える。

Description

車両周囲画像生成装置
　本発明は、複数の車載カメラと接続可能に構成され、車両の運転手が車両周囲の状況を確認可能な画像を生成する車両周囲画像生成装置に関する。
　上記のような車両周囲画像生成装置の例示として、以下のような駐車支援装置がある。この駐車支援装置は、車載カメラを用いて、車両上方から見下ろしたときの該車両周辺の状況、特に駐車枠の状況を示す俯瞰画像を作成する。より具体的には、駐車支援装置は、運転手が目標駐車枠、つまり、これから車両を駐車させようとする駐車枠の位置及び方向を運転手が指定する操作を直感的に行えるようにする為、枠図形を俯瞰画像における駐車枠位置に重畳表示する。これによって、目標駐車枠が運転手に教示される（例えば、特許文献１を参照）。
特開２００７－２３０３７１号公報（第５－７頁、第１図）
　しかしながら、俯瞰画像では立体物が歪んで表示されるので、運転手は、表示された俯瞰画像を見ても、駐車枠内に存在する立体物をはっきりと認識できないという問題点がある。
　それゆえに、本発明の目的は、運転手が目標駐車枠内の状況をより明確に認識可能にする車両周囲画像生成装置を提供することである。
　上記目的を達成するために、本発明は、車両に取り付けられる複数のカメラと接続可能な車両周囲画像生成装置であって、車両の目標駐車枠を特定する駐車枠特定部と、特定された目標駐車枠に基づき、複数のカメラから、該目標駐車枠の撮影に適した少なくとも１つのカメラを選択し、選択したカメラからの撮影画像を選択する選択部と、選択されたカメラによる撮影画像を使って、特定された目標駐車枠の状況を表す表示用画像を生成する描画部とを備える。
　上記の通り、本発明は、特定された駐車枠に基づき選ばれたカメラからの画像を用いて、その駐車枠の状況を表す表示用画像を生成する。この表示用画像は、選択されたカメラからの画像を用いているので、特定された駐車枠内及び／又は駐車枠周辺に映り得る立体物の歪みを相対的に小さくすることができる。このように、本発明によれば、駐車枠内の立体物の歪みを小さくできる表示用画像を生成するので、これが表示された場合、運転手は目標駐車枠内及び／又は目標駐車枠周辺の状況をより明確に認識することができる。
本発明の第１の実施形態に係る車両周囲画像表示システム１の全体構成を示すブロック図 図１に示すカメラ２ａ～２ｄの、車両αへの取り付け例を示す模式図 図１に示すカメラ２ａ～２ｄからの撮影画像ＣＰａ～ＣＰｄの一例を示す模式図 図１に示す車両周囲画像生成装置３の詳細な構成を示すブロック図 図１に示す車両周囲画像表示システム１の処理の流れを示すフローチャート 図５のステップＳ３０８で生成された俯瞰画像ＬＤＰの一例を表す模式図 図５のステップＳ３０９で得られた最適撮影画像ＡＴＰの一例を示す模式図 図８Ａは、図５のステップＳ３１０で生成された表示用画像ＤＰである俯瞰画像ＬＤＰの一例を示す模式図、図８Ｂは、図５のステップＳ３１０で生成された表示用画像ＤＰである最適撮影画像ＡＴＰの一例を示す模式図 図９Ａは、目標駐車枠ＴＰＬと車両αとの位置関係の一例を示す模式図、図９Ｂは、目標駐車枠ＴＰＬと車両αとの位置関係の他の例を示す模式図 カメラ２ｂからの距離に相関する、立体物ＭＭＳの倒れ込みを示す模式図 図１１Ａは、ステップＳ３０９における最適カメラの選択基準である、目標駐車枠ＴＰＬと各カメラ２ａ～２ｄとの位置関係の第１例を示す模式図、図１１Ｂは、ステップＳ３０９における最適カメラの選択基準である、目標駐車枠ＴＰＬと各カメラ２ａ～２ｄとの位置関係の第２例を示す模式図、図１１Ｃは、ステップＳ３０９における最適カメラの選択基準である、目標駐車枠ＴＰＬと各カメラ２ａ～２ｄとの位置関係の第３例を示す模式図、図１１Ｄは、ステップＳ３０９における最適カメラの選択基準である、目標駐車枠ＴＰＬと各カメラ２ａ～２ｄとの位置関係の第４例を示す模式図 図１２Ａは、目標駐車枠ＴＰＬがオーバーラップ領域に存在する場合における最適カメラの選択手法の第１例を示す模式図、図１２Ｂは、目標駐車枠ＴＰＬがオーバーラップ領域に存在する場合における最適カメラの選択手法の第２例を示す模式図 図５のステップＳ３１０で生成された表示用画像ＤＰの代替例を示す模式図 本発明の第２の実施形態に係る車両周辺画像表示システム１ａの全体構成を示すブロック図 図１４に示す車両周囲画像生成装置３ａの詳細な構成を示すブロック図 図１４に示す車両周囲画像表示システム１ａの処理の流れを示すフローチャート 図１７Ａは、俯瞰画像ＬＤＰを用い、さらに障害物アイコンＯＢＳが重畳された表示用画像ＤＰの一例を示す模式図、図１７Ｂは、最適撮影画像ＡＴＰを用い、さらに障害物アイコンＯＢＳが重畳された表示用画像ＤＰの一例を示す模式図 図１５に示す付加画像描画部３５が保持するテーブル３５１を示す模式図 目標駐車枠ＴＰＬの近くに移動する障害物Ｘが存在する場合における接近度の判定手法を示す模式図
　以下、本発明を実施するための最良の形態に係る車両周囲画像表示システムについて、図面を用いて説明する。
（第１の実施形態）
　図１は、本発明の第１の実施形態に係る車両周囲画像表示システム１の全体構成を示すブロック図である。図１において、車両周囲画像表示システム１は、例えば４個のカメラ２ａ，２ｂ，２ｃ，２ｄと、車両周囲画像生成装置３と、表示装置４とを備えている。
　カメラ２ａ～２ｄは、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のような固体撮像素子を有している。カメラ２ａ～２ｄは、カラー画像又はモノクロ画像を撮像可能なデジタルカメラである。また、これらカメラ２ａ～２ｄは、さらに好ましくは、例えば魚眼レンズのような広視野角（広画角）のレンズを有しており、車両α（図２参照）の周囲を広範囲にわたって撮影できることが好ましい。
　図２に示すように、カメラ２ａ～２ｄは車両αの周囲に取り付けられる。具体例として、本実施形態では、車両の前方に向けられかつ路面に対しそれぞれの光軸が所定の俯角で交わるように、カメラ２ａは車両αの前端中央に取り付けられる。また、残りのカメラ２ｂ，２ｃ，２ｄは、車両αの左側、後端中央、右側に、車両の左側方、後方、右側方に向けて取り付けられる。カメラ２ｂ，２ｃ，２ｄもまた、それぞれの光軸が路面と所定の俯角で交わるように取り付けられる。
　また、図２は、車両αの周辺領域において、カメラ２ａ～２ｄが撮像する範囲を模式的に示している。カメラ２ａは、車両αの前方の撮像範囲ＣＡＭａの状況を撮影して、撮影画像ＣＰａを示す画像データを生成する。カメラ２ｂは、車両αの左側方の撮像範囲ＣＡＭｂを撮影して、撮影画像ＣＰｂを示す画像データを生成する。カメラ２ｃは、車両αの後方の撮像範囲ＣＡＭｃを撮影して、撮影画像ＣＰｃを示す画像データを生成する。さらに、カメラ２ｄは、車両αの右側方の撮像範囲ＣＡＭｄを撮影して、撮影画像ＣＰｄを示す画像データを生成する。これら撮影画像ＣＰａ～ＣＰｄは、図３に例示される。撮影画像ＣＰａ～ＣＰｄをそれぞれ示す画像データは、車両周囲画像生成装置３（図１参照）に伝送路を介して送信される。なお、以下の説明では、車両周囲画像表示システム１において処理（生成、送信、バッファへの格納等）される「画像を示す画像データ」を、説明簡略化のため単に「画像」と呼ぶ。
　ここで、再度図２を参照する。カメラ２ａ～２ｄにより、車両αの全周囲をカバーするために、撮像範囲ＣＡＭａは撮像範囲ＣＡＭｂと重なり合う。同様の観点から、撮像範囲ＣＡＭｂ及び撮像範囲ＣＡＭｃも、撮像範囲ＣＡＭｃ及び撮像範囲ＣＡＭｄも、撮像範囲ＣＡＭｄ及び撮像範囲ＣＡＭａも重なり合う。以降、撮像範囲ＣＡＭａ，ＣＡＭｂの重なり部分をオーバーラップ領域Ｆａと呼ぶ。同様に、撮像範囲ＣＡＭｂ，ＣＡＭｃの重なり部分、撮像範囲ＣＡＭｃ，ＣＡＭｄの重なり部分、及び撮像範囲ＣＡＭｄ，ＣＡＭａの重なり部分をそれぞれ、オーバーラップ領域Ｆｂ，Ｆｃ，Ｆｄと呼ぶ。
　ここで、各種画像を生成する為に、各カメラ２ａ～２ｄの位置及び姿勢（向き）と、各カメラ２ａ～２ｄのレンズの歪みとを表すカメラパラメータが、実測等により予め取得されており、車両周囲画像生成装置３に保持されていることが望ましい。また、これらカメラパラメータについては、キャリブレーション用のターゲット（マーク）を用いて算出されても構わない。
　再度図１を参照する。車両周囲画像生成装置３は、例えばＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）であり、プロセッサ、不揮発性メモリ等を含んでいる。図４に示すように、車両周囲画像生成装置３は、カメラの個数と同数の入力バッファ３１ａ，３１ｂ，３１ｃ，３１ｄと、俯瞰画像生成部３２と、駐車枠特定部３３と、撮影画像選択部３４と、付加画像描画部３５と、出力バッファ３６とを備えている。本実施形態では、俯瞰画像生成部３２と、駐車枠特定部３３と、撮影画像選択部３４と、付加画像描画部３５とは、上記不揮発性メモリに予め蓄積されたソフトウェアを実行するプロセッサにより実現されるとする。このような車両周囲画像生成装置３は、後段の表示装置４により出力される表示用画像ＤＰを生成する。
　再度、図１を参照する。車両周囲画像生成装置３には、表示装置４も伝送路を介して接続されている。表示装置４は、例えば液晶ディスプレイであり、車両周囲画像生成装置３で生成された表示用画像ＤＰを表示する。
　次に、図５を参照して、上記のような構成の車両周囲画像表示システム１の処理の流れを説明する。
　図５において、まず、駐車枠特定部３３は、駐車枠検出の開始トリガーを受け付ける（図５；ステップＳ３０１）。このトリガーの例としては、特定のシフト位置情報及び操作情報が入力された場合がある。シフト位置情報は、車両のシフト位置を示す情報であり、例えばリバースレンジを示すシフト位置情報が入力された場合に、駐車枠特定部３３は開始トリガーを受け付けたと判断する。また、操作情報は、本車両周囲画像表示システム１に設けられた物理的なボタン（図示を省略）又はグラフィカルなボタン（図示を省略）が運転手により操作されたことを示す情報である。駐車枠特定部３３は、例えば、それらボタンの一つである駐車枠検出ボタンが押下されたことを示す操作情報が入力された場合に、開始トリガーを受け付けたと判断する。
　カメラ２ａ～２ｄは、図４に示すように、入力バッファ３１ａ～３１ｄと接続される。カメラ２ａ～２ｄによる撮影画像ＣＰａ～ＣＰｄは、遅くとも駐車枠特定部３３が開始トリガーを受け付けると、入力バッファ３１ａ～３１ｄに定期的に格納され始める。ステップＳ３０１の次に、駐車枠特定部３３は、入力バッファ３１ａ～３１ｄに格納された撮影画像ＣＰａ～ＣＰｄを取得する（ステップＳ３０２）。
　次に、駐車枠特定部３３は、目標駐車枠の検出処理を行う（ステップＳ３０４）。目標駐車枠の検出処理の例示として、前述の特許文献１（特開２００７－２３０３７１号公報）で開示された手法がある。代替例としては、駐車枠特定部３３は、ステップＳ３０２で取得した撮影画像ＣＰａ～ＣＰｄに対して周知の画像処理を実行して撮影画像ＣＰａ～ＣＰｄの中から、路面上の白線を検出する。さらに、駐車枠特定部３３は、白線で囲まれた領域又は白線で挟まれた領域を駐車領域（以下、駐車枠という）として検出する。さらなる代替例として、レーダー、又は近赤外線を照射する近赤外線カメラで白線領域を検出するなどのアクティブセンサーを用いて、駐車枠特定部３３は目標駐車枠を検出してもかまわない。
　ステップＳ３０４の次に、駐車枠特定部３３は、目標駐車枠の検出が成功したか否かを判定する（ステップＳ３０５）。
　ステップＳ３０５で否定判定を行った場合、処理の流れはステップＳ３０２に戻り、駐車枠特定部３３は、更新された撮影画像ＣＰａ～ＣＰｄを取得して、改めてステップＳ３０４を行う。
　ステップＳ３０５で肯定判定を行った場合、駐車枠特定部３３は、自車両（つまり、車両周囲画像表示システム１が搭載された車両）と目標駐車枠との相対的な位置関係を算出する（ステップＳ３０６）。具体的には、検出された目標駐車枠の世界座標と、自車両の世界座標とから、相対的な位置関係が算出される。例えば、前述のカメラパラメータに基づき、それぞれのカメラが撮影可能な撮像範囲ＣＡＭａ～ＣＡＭｄ（図２を参照）が計算され、それぞれの計算値が前述の不揮発性メモリ等に格納される。この不揮発性メモリに格納された各撮像範囲ＣＡＭａ～ＣＡＭｄを特定可能な世界座標値と、各カメラ２ａ～２ｄの取り付け位置の世界座標値と、検出された目標駐車枠の世界座標値とから、自車両に対する目標駐車枠の相対的な位置関係が算出される。ここで、相対的な位置関係としては、自車両に対する目標駐車枠の距離・方向及び両者の世界座標値が典型的である。
　ステップＳ３０６の次に、駐車枠特定部３３は、車両周囲画像生成装置３が今回生成する画像として俯瞰画像が良いのか否かを判定する（ステップＳ３０７）。なお、本実施形態では、俯瞰画像か撮影画像が生成されるので、ステップＳ３０７で否定判定であれば、撮影画像が生成される。また、ステップＳ３０７の判定基準としては、自車両から目標駐車枠までの距離が用いられる。例えば、この距離が所定の閾値未満であれば、つまり相対的に近距離であれば、俯瞰画像が良いと判断されるように、また、この距離が同閾値以上であれば、つまり相対的に遠距離であれば、カメラ画像が良いと判断されるように、予めプログラミングされる。
　ステップＳ３０７で肯定判定が行われると、駐車枠特定部３３は、ステップＳ３０８において、俯瞰画像生成部３２に対して、俯瞰画像を生成するよう指示を渡す。この指示に応答して、俯瞰画像生成部３２は、入力バッファ３１ａ～３１ｄに格納された撮影画像ＣＰａ～ＣＰｄを取得して、取得した撮影画像ＣＰａ～ＣＰｄに対し幾何学変換などを行う。これによって、自車両の上方に予め設定される仮想視点から、自車両周辺を見下ろした時の状況を表す俯瞰画像が生成される（ステップＳ３０８）。この俯瞰画像を生成する処理については周知であるため、その詳説を省略する。
　ここで、図６は、ステップＳ３０８で生成された俯瞰画像の一例を表す模式図である。図６において、俯瞰画像ＬＤＰは、予め定められた位置に自車両を模したモデル画像Ｍαが合成される。また、モデル画像Ｍαの周囲には、路面ＲＳ（ハッチングを付けた部分を参照）と、いくつかの駐車枠ＰＬを示す白線ＷＬとが描画される。なお、図６では代表的に、１つの駐車枠ＰＬが一点鎖線で仮想的に示され、また、１台の他車両Ｖａも示されている。以上のような俯瞰画像は、付加画像描画部３５に渡される。
　再度、図５を参照する。前述のステップＳ３０７で否定判定が行われた場合、処理の流れはステップＳ３０９に進む。この場合、駐車枠特定部３３は、自車両に対する目標駐車枠の相対的な位置関係（ステップＳ３０６で算出）に基づき、カメラ２ａ～２ｄの中から、ステップＳ３０４で検出に成功した目標駐車枠に最も近いものを、最適カメラとして選択する。この後、駐車枠特定部３３は、最適カメラを示す情報を、撮影画像選択部３４に渡す。この情報に応答して、撮影画像選択部３４は、最適カメラ（カメラ２ａ～２ｄのいずれか）と接続されている入力バッファ（入力バッファ３１ａ～３１ｄのいずれか）から、そこに格納される撮影画像を、最適撮影画像として取得する。撮影画像選択部３４は、取得した最適撮影画像を付加画像描画部３５に渡す（ステップＳ３０９）。
　ここで、図７は、ステップＳ３０９で選択された最適撮影画像の一例を示す模式図である。図７の例では、最適撮影画像ＡＴＰは、最適カメラの視点で撮影された画像であり、路面ＲＳ（ハッチングを付けた部分を参照）と、目標駐車枠ＴＰＬを示す白線ＷＬと、自車両の一部分αとが少なくとも描画される。なお、図７では、目標駐車枠ＴＰＬが一点鎖線で仮想的に描かれている。
　以上のステップＳ３０８又はＳ３０９が終了すると、駐車枠特定部３３は、ステップＳ３１０において、付加画像描画部３５に対し、予め定められた各種付加画像を描画するよう指示を渡す。この指示とともに、目標駐車枠ＴＰＬの相対的位置関係も渡される。この指示に応答して、付加画像描画部３５は、図８Ａ，図８Ｂに示すように、入力された俯瞰画像ＬＤＰ又は最適撮影画像ＡＴＰに付加画像を重畳して、少なくとも目標駐車枠ＴＰＬの状況を表す表示用画像ＤＰを生成する（ステップＳ３１０）。付加画像の一例としては、目標駐車枠画像ＦＰ、マスク画像ＭＫＰ（斜線を付けた部分を参照）、アイコンＩＣＮ及びグラフィックの操作ボタンＧＢのうち、予め定められたものがある。
　目標駐車枠画像ＦＰは、本実施形態では、目標駐車枠ＴＰＬを示すための、例えば四角形の枠状のグラフィックである。その重畳位置は、駐車枠特定部３３から送られてくる相対的位置関係及び予め格納されているカメラパラメータにより特定される。マスク画像ＭＫＰは、本実施形態では、俯瞰画像又は最適撮影画像において不必要な箇所（例えば表示したく無い箇所）を覆い被せるための画像である。また、アイコンＩＣＮは、目標駐車枠ＴＰＬが自車両に対しどの方向にあるかを示す図形である。操作ボタンＧＢは、例えば、駐車枠の再検出用のボタンであり、運転手により操作され、各種機能が予め割り当てられている。マスク画像ＭＫＰ、アイコンＩＣＮ及び操作ボタンＧＢは、入力俯瞰画像又は入力最適撮影画像に対して予め定められた位置に重畳される。
　各種付加画像が重畳された俯瞰画像又は最適撮影画像は、表示用画像ＤＰとして出力バッファ３６（図４参照）に出力される。表示装置４は、出力バッファ３６より表示用画像ＤＰを受け取り表示する（ステップＳ３１１）。
　図１に示す車両周囲画像表示システム１の処理が繰り返し行われる。
　ここで、図９Ａ，図９Ｂ及び図１０を参照して、ステップＳ３０７の詳細な処理について説明する。図９Ａ，図９Ｂは、目標駐車枠と自車両との位置関係を示す模式図である。図９Ａ，図９Ｂには、実際の目標駐車枠ＴＰＬと、自車両αと、俯瞰画像として描画される描画領域ＬＤＡ（二点鎖線で囲まれた領域を参照）が示されている。目標駐車枠ＴＰＬと、自車両αとの世界座標位置から、予め定められた広さを有する描画領域ＬＤＡが、車両周囲表示システム１では設定される。この描画領域ＬＤＡの中に、図９Ａに示すように、目標駐車枠ＴＰＬの一部又は全体が含まれる場合には、ステップＳ３０７において、俯瞰画像を生成すると、駐車枠特定部３３は判定する。逆に、この描画領域ＬＤＡの中に、図９Ｂに示すように、目標駐車枠ＴＰＬの一部又は全体が含まれない場合には、ステップＳ３０７において、最適撮影画像を選択すると、駐車枠特定部３３は判定する。
　上記の理由として、一般的に俯瞰画像においては、そこに描かれる立体物が路面上に倒れ込んだように歪むことが知られている。図１０は、このような倒れ込みの一例として、カメラ２ｂからの距離に相関する、立体物ＭＭＳの倒れ込みを示す模式図である。図１０に示すように、俯瞰画像上では、この立体物ＭＭＳは路面ＲＳ上に投影された状態で描画される。また、カメラ２ｂの取り付け高さ自体には実質的に変化はない。従って、立体物ＭＭＳとカメラ２ｂとの位置関係により歪み方が変わってきて、両者の距離が大きくなればなるほど、立体物ＭＭＳの歪み（長さ）Ｌｆがより大きくなる。つまり、目標駐車枠ＴＰＬが近くにある場合、俯瞰画像が表示装置４で表示されたとしても、俯瞰画像に描画される、目標駐車枠ＴＰＬの周辺に存在しうる立体物には、小さな歪みしか生じない。以上の観点から、目標駐車枠ＴＰＬが近くに存在する場合には、図８Ａに示すように、俯瞰画像ＬＤＰが表示用画像ＤＰに用いられる。逆に、目標駐車枠ＴＰＬが遠くに存在する場合には、図８Ｂに示すように、最適撮影画像ＡＴＰが表示用画像ＤＰに用いられる。
　次に、図１１Ａ～図１１Ｄを参照して、ステップＳ３０９における最適カメラの選択基準について説明する。図１１Ａ～図１１Ｄは、目標駐車枠ＴＰＬと各カメラ２ａ～２ｄとの位置関係に基づく、最適撮影画像の選択基準を示す模式図である。図１１Ａ～図１１Ｄに示すように、どのカメラの撮影画像を用いるかの判定は、各カメラ２ａ～２ｄの撮像範囲ＣＡＭａ～ＣＡＭｄ（図２を参照）を規定する世界座標値を予めカメラパラメータの一種類として、駐車枠特定部３３は保持している。そして、目標駐車枠ＴＰＬの世界座標値がステップＳ３０５で得られる。よって、目標駐車枠ＴＰＬが、撮像範囲ＣＡＭａ～ＣＡＭｄのうちどの撮像範囲に入っているかを駐車枠特定部３３は判定し、目標駐車枠ＴＰＬを含む撮像範囲を有するカメラを最適カメラとして選択する。
　ここで、図２に示すように、本実施形態では、隣り合うカメラの撮像範囲がオーバーラップ領域Ｆａ～Ｆｄにて重なり合うように、カメラ２ａ～２ｄは車両αに対し設置されている。これらオーバーラップ領域Ｆａ～Ｆｄに目標駐車枠ＴＰＬの一部又は全体が含まれる場合がある。このような場合、図１２Ａ，図１２Ｂに示すように、駐車枠特定部３３は最適カメラを選択する。なお、図１２Ａ，図１２Ｂでは、目標駐車枠ＴＰＬ（ドットを付けた部分を参照）はオーバーラップ領域Ｆａ（格子状のハッチング部分を参照）にあるものと仮定する。この仮定下では、駐車枠特定部３３は、図１２Ａ，図１２Ｂに示すように、カメラ２ａ，２ｂのいずれか一方を最適カメラとして選択する。選択手法としては、以下の２つが例示される。１つ目の手法では、図１２Ａに示すように、目標駐車枠ＴＰＬにおいて最も車両αに近い点と、カメラ２ａ～２ｄのいずれか２つとの距離Ｄａ，Ｄｂが求められ、両距離Ｄａ，Ｄｂのうち小さな方を有するカメラが最適カメラとして選択される。２つ目の手法では、図１２Ｂに示すように、まず、目標駐車枠ＴＰＬにおいて最も車両αに近い点と、カメラ２ａ，２ｂを結んだ２つ線Ｌａ，Ｌｂが求められる。さらに、線Ｌａとカメラ２ａの光軸Ｘａとが成す角度θａと、線Ｌｂとカメラ２ｂの光軸Ｘｂとが成す角度θｂとが求められる。その後、両角度θａ，θｂのうち小さい方を有するものが最適カメラとして選択される。
　以上で、本実施形態の説明を終了する。上記のように、本車両周囲画像表示システム１では、駐車枠特定部３３が、目標駐車枠ＴＰＬを特定した後、自車両αに対する目標駐車枠ＴＰＬの相対的な位置関係を求める。駐車枠特定部３３はさらに、目標駐車枠ＴＰＬが自車両αから相対的に遠い場合には、特定した目標駐車枠ＴＰＬを運転手に見せるのに最も適したカメラを選択し、これによって選択された最適カメラからの撮影画像を用いて表示画像を作成する。図１０を参照して前述したとおり、表示装置４に表示された撮影画像では、目標駐車枠ＴＰＬの周辺の立体物の歪みが俯瞰画像に比べて少ない。このように、本車両周囲画像表示システム１によれば、運転手は、目標駐車枠ＴＰＬとの位置関係に応じて最適カメラが選択されるので、運転手は目標駐車枠内及び／又はその周辺の状況をより明確に認識することが可能となる。
　なお、以上の実施形態では、自車両αに対し目標駐車枠ＴＰＬが遠くに存在する場合、撮影画像そのものを用いて表示画像を作成していた。しかし、これに限らず、１つ又は複数の撮影画像が、例えば運転手の視点から目標駐車枠ＴＰＬを見た時の画像となるように、画像の視点を変換し、変換後の画像を表示画像として用いてもかまわない。
　また、以上の実施形態では、自車両αに対し、目標駐車枠ＴＰＬが遠くに存在する場合には、表示用画像ＤＰに最適撮影画像ＡＴＰが用いられ、目標駐車枠ＴＰＬが近くに存在する場合には、表示用画像ＤＰに俯瞰画像ＬＤＰが用いられていた。しかし、これに限らず、目標駐車枠ＴＰＬが遠くに存在する場合に、図１３に示すように、表示用画像ＤＰとして、俯瞰画像ＬＤＰと最適撮影画像ＡＴＰの双方が合成されたものが作成されてもかまわない。
（第２の実施形態）
　図１４は、本発明の第２の実施形態に係る車両周辺画像表示システム１ａの全体構成を示すブロック図である。図１４の車両周辺画像表示システム１ａは、図１に示す車両周辺画像表示システム１と比較すると、車両周囲画像生成装置３が車両周囲画像生成装置３ａに代わる点で相違する。それ以外の構成については同様であるため、以下では、図１の構成に相当するものには同一の参照符号を付け、それぞれの詳説を省略する。
　また、図１５は、図１４に示す車両周囲画像生成装置３ａの詳細な構成を示すブロック図である。図１５の車両周囲画像生成装置３ａは、機能ブロックに関しては、図４に示すに車両周囲画像生成装置３と比較すると、障害物検出部３７が追加される点で相違する。それ以外の構成については同様であるため、以下では、図１５において、図４の構成に相当するものには同一の参照符号を付け、それぞれの詳説を省略する。
　障害物検出部３７は、例えば、上記不揮発性メモリに予め蓄積されたソフトウェアを実行するプロセッサにより実現される。障害物検出部３７は、入力バッファ３１ａ～３１ｄから撮影画像ＣＰａ～ＣＰｄと、駐車枠特定部３３からの相対的位置関係とを受け取る。その後、障害物検出部３７は、目標駐車枠ＴＰＬ周辺に存在しうる障害物（立体物）を検出する。障害物の検出に成功すると、障害物検出部３７は、検出した障害物が存在する世界座標値を付加画像描画部３５に渡す。
　次に、図１６を参照して、上記のような構成の車両周囲画像表示システム１ａの処理の流れを説明する。なお、図１６は、図５と比較すると、ステップＳ３１０の代わりに、ステップＳ６０１，Ｓ６０２及びＳ６０３が追加されている点で相違する。それ以外のステップについては同様であるため、以下では、図５のステップに相当するものには、同一のステップ番号を付け、それぞれの詳説を省略する。
　ステップＳ３０８かＳ３０９が終わると、障害物検出部３７は障害物検出を行う（ステップＳ６０１）。障害物とは、駐車場に存在する壁、既に駐車されている他車両、又は柱といった静止物や、動いている人、他車両又は自転車といった移動物のことである。
　例えば、障害物検出部３７は、各入力バッファ３１ａ～３１ｄから得られる撮影画像ＣＰａ～ＣＰｄを過去数フレーム分保持する。障害物検出部３７は、現在から過去数フレーム分の撮影画像ＣＰａを用いて、動きを示すフロー（周知のオプティカルフロー）を検出することで移動物を検出する。また、障害物検出部３７は、動きステレオといった時間差のある２フレーム分の撮影画像ＣＰａを用い、ステレオの原理を用いて静止物を検出する。他の撮影画像ＣＰｂ～ＣＰｄについても同様にして、移動物及び静止物が検出される。
　ここで、好ましくは、障害物検出部３７は、処理負荷軽減のために、駐車枠特定部３３で選択された最適カメラがどれかを得て、その最適カメラから得られる最適撮影画像に対し障害物検出を行うことが好ましい。
　次に、障害物検出部３７は、ステップＳ６０１で障害物の検出に成功すると、検出された障害物の位置を特定する世界座標値を求める。また、障害物が移動物であれば、障害物検出部３７は、求めた世界座標値と、移動物の移動方向の情報とから、ステップＳ３０４で検出された目標駐車枠ＴＰＬに移動物が接近しているのか、あるいは、自車両αがこれから動く方向に接近しているのか、を判定する。なお、この判定手法に関しては、後で詳説する。さらに、障害物検出部３７は、移動物の移動速度も求める。
　障害物検出部３７は、以上のようにして得られた障害物の世界座標値、移動方向及び移動速度を示す情報を、付加画像描画部３５に渡す。以上でステップＳ６０２の判定処理が終了する。
　付加画像描画部３５は、前述のステップＳ３１０の処理に加え、障害物検出部３７から受け取った情報に基づき、障害物アイコンを、表示用画像ＤＰにおける俯瞰画像ＬＤＰ又は最適撮影画像ＡＴＰにおいて対応する位置に重畳する（ステップＳ６０３）。障害物アイコンは、静止物が目標駐車枠ＴＰＬの近くに存在すること、あるいは、移動体が目標駐車枠ＴＰＬ又は自車両αのこれからの進路に接近していることを示す。
　ここで、図１７Ａは、俯瞰画像ＬＤＰを用い、さらに障害物アイコンＯＢＳが重畳された表示用画像ＤＰの一例を示す模式図であり、図１７Ｂは、最適撮影画像ＡＴＰを用い、さらに障害物アイコンＯＢＳが重畳された表示用画像ＤＰの一例を示す模式図である。図１７Ａ，図１７Ｂは、図８Ａ，図８Ｂに示す表示用画像ＤＰと比較すると、障害物アイコンＯＢＳが重畳されている点で相違するため、その説明を省略する。なお、本実施形態では、俯瞰画像ＬＤＰには、目標駐車枠ＴＰＬの周辺領域において車両αから近距離の部分が描かれる。しかし、目標駐車枠ＴＰＬの周辺領域であっても障害物が車両αから遠距離にある場合であっても、障害物アイコンＯＢＳは何らかの形で表示用画像ＤＰに描かれることが好ましい。これを考慮して、本実施形態では、障害物アイコンＯＢＳは、図１７Ａに示すように、マスク画像ＭＫＰ上にも描画可能である。
　ここで、付加画像描画部３５は、図１８に示すようなテーブル３５１を、前述の不揮発性メモリに保持していても良い。図１８において、テーブル３５１には、接近度毎に、アイコンＯＢＳの色、障害物の移動速度の範囲、及び自車両αから障害物までの距離範囲の情報セットが記述される。図示した例では、接近度がレベル１の場合、アイコンＯＢＳの色は、運転手に最も注意喚起できるように赤色と記述され、移動速度範囲は、Ｖ２＜Ｖｔｈ≦Ｖ３と記述され、距離範囲は、０＜Ｄｔｈ≦Ｄ１と記述される。また、接近度がレベル２の場合、アイコンＯＢＳの色は、運転手に中程度に注意喚起できるように黄色と記述され、移動速度範囲は、Ｖ１＜Ｖｔｈ≦Ｖ２と記述され、距離範囲は、Ｄ１＜Ｄｔｈ≦Ｄ２と記述される。また、接近度がレベル３の場合、アイコンＯＢＳの色は、運転手に最も緩やかに注意喚起できるように青色と記述され、移動速度範囲は、０＜Ｖｔｈ≦Ｖ１と記述され、距離範囲は、Ｄ２＜Ｄｔｈ≦Ｄ３と記述される。
　このようなテーブル３５１を参照して、付加画像描画部３５は、障害物検出部３７から受け取った情報に基づき、前述の障害物アイコンＯＢＳの色を変えることが好ましい。また、障害物アイコンＯＢＳと同じ色に、目標駐車枠画像ＦＰの色を変えてもかまわない。
　次に、図１９を参照して、上記の接近度の判定方法について詳細に説明する。図１９は、目標駐車枠ＴＰＬの近くに移動する障害物Ｘが存在する場合における接近度の判定手法を示す模式図である。図１９には、目標駐車枠ＴＰＬ及び障害物Ｘのほかにも、自車両αと、障害物Ｘの移動速度を示すベクトルＶが示されている。前述のように、目標駐車枠ＴＰＬの世界座標値が分っており、かつ障害物Ｘの移動速度と移動方向とを示すベクトルＶも障害物検出部３７により算出されている。このため、これら情報から、障害物Ｘが目標駐車枠ＴＰＬへ接近しているか、接近していないのかを、まず、付加画像描画部３５は判定することができる。
　障害物Ｘが目標駐車枠ＴＰＬに接近していると判定されれば、次に、付加画像描画部３５は、障害物アイコンＯＢＳの色を決定する。障害物Ｘの現在の移動速度が、図１８に示すレベル１の移動速度範囲に入るならば、障害物アイコンＯＢＳの色を赤色と決定する。レベル２の移動速度範囲に入るならば、障害物アイコンＯＢＳの色を黄色と決定する。また、レベル３の移動速度範囲に入るならば、障害物アイコンＯＢＳの色を青色と決定する。この決定された色を用いて、例えば、図１７Ａ，図１７Ｂのような表示用画像ＤＰを作成する。
　上記の説明では、障害物としての移動物を例に説明したが、付加画像描画部３５は、静止物も同様で、検出された静止物の位置と目標駐車枠ＴＰＬとの距離を求め、図１８のテーブル３５１に従って、障害物アイコンＯＢＳの色を判定して、表示用画像ＤＰにおける俯瞰画像ＬＤＰ又は最適撮影画像ＡＴＰにおいて対応する位置に重畳する。この場合も、目標駐車枠ＴＰＬの色は、障害物アイコンＯＢＳと同色に描画されてもかまわない。
　なお、レーダー、又は近赤外線を照射して近赤外線カメラなどのアクティブセンサーを用いて、障害物が検出されてもかまわない。
　２００８年１２月１９日出願の特願２００８－３２３７０６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明に係る車両周囲画像生成装置は、運転手が目標駐車枠内の状況をより明確に認識可能にすることが求められる、駐車支援装置、運転支援装置等に有用である。
　１，１ａ　車両周囲画像表示システム
　２ａ，２ｂ，２ｃ，２ｄ　カメラ
　３，３ａ　車両周囲画像生成装置
　３１ａ，３１ｂ，３１ｃ，３１ｄ　入力バッファ
　３２　俯瞰画像生成部
　３３　駐車枠特定部
　３４　撮影画像選択部
　３５　付加画像描画部
　３６　出力バッファ
　３７　障害物検出部
　４　表示装置

Claims (10)

  1. 　車両に取り付けられる複数のカメラと接続可能な車両周囲画像生成装置であって、
    　前記車両の目標駐車枠を特定する駐車枠特定部と、
    　前記特定された目標駐車枠に基づき、前記複数のカメラから、該目標駐車枠の撮影に適した少なくとも１つのカメラを選択し、選択したカメラからの撮影画像を選択する選択部と、
    　前記選択されたカメラによる撮影画像を使って、前記特定された目標駐車枠の状況を表す表示用画像を生成する描画部と、
    　を備える、車両周囲画像生成装置。
  2. 　前記車両周囲画像生成装置は、前記複数のカメラによる撮影画像を使って、所定の仮想視点から車両の車両周囲を見た時の状況を表す俯瞰画像を生成する俯瞰画像生成部をさらに備え、
    　前記駐車枠特定部は、前記目標駐車枠を特定した後、前記描画部が俯瞰画像を用いて表示用画像を生成するのか、前記選択されたカメラによる撮影画像を用いて表示用画像を生成するのかを判断し、
    　前記描画部は、前記駐車枠特定部の判断結果に従って、前記表示用画像を生成する、
    　請求項１に記載の車両周囲画像生成装置。
  3. 　前記駐車枠特定部は、前記車両と前記目標駐車枠との相対的な位置関係に基づき、前記描画部が俯瞰画像を用いて表示用画像を生成するのか、前記選択されたカメラによる撮影画像を用いて表示用画像を生成するのかを判断する、
    　請求項２に記載の車両周囲画像生成装置。
  4. 　前記相対的な位置関係とは、前記車両と前記目標駐車枠との間の距離であって、
    　前記駐車枠特定部は、前記距離が所定閾値未満の場合、前記描画部が俯瞰画像を用いて表示用画像を生成すると判断し、前記距離が所定閾値以上の場合、前記選択されたカメラによる撮影画像を用いて表示用画像を生成すると判断する、
    　請求項３に記載の車両周囲画像生成装置。
  5. 　前記描画部は、前記選択されたカメラによる撮影画像を視点変換することなく用いて、前記特定された目標駐車枠の状況を表す表示用画像を生成する、
    　請求項１に記載の車両周囲画像生成装置。
  6. 　前記描画部は、前記選択されたカメラによる撮影画像を視点変換して用いて、前記特定された目標駐車枠の状況を表す表示用画像を生成する、
    　請求項１に記載の車両周囲画像生成装置。
  7. 　前記描画部は、前記選択されたカメラの撮影画像の周囲に、マスク画像、アイコン及びグラフィックの操作ボタンのうち、予め定められたものを重畳し、
    　前記マスク画像は、前記撮影画像のマスクに用いられ、前記アイコンは、前記目標駐車枠が前記車両に対しどの方向にあるかを示し、前記操作ボタンは、前記車両の運転手により操作される、
    　請求項１に記載の車両周囲画像生成装置。
  8. 　前記車両周囲画像生成装置は、前記特定された目標駐車枠内又はその周辺に存在する障害物を検出する立体物検出部をさらに備え、
    　前記描画部は、
    　　前記特定された目標駐車枠内又はその周辺に障害物が前記立体物検出部で検出された場合、そのことを示す障害物アイコンを、前記表示用画像に重畳する、
    　請求項１に記載の車両周囲画像生成装置。
  9. 　前記車両周囲画像生成装置には、前記表示用画像を出力する表示装置が接続される、
    　請求項１に記載の車両周囲画像生成装置。
  10. 　車両周囲画像表示システムであって、
    　車両に取り付けられる複数のカメラと、
    　前記車両の目標駐車枠を特定する駐車枠特定部と、
    　前記特定された駐車枠に基づき、前記複数のカメラから、該目標駐車枠の撮影に適した少なくとも１つのカメラを選択する選択部と、
    　前記選択されたカメラによる撮影画像を使って、前記特定された目標駐車枠の状況を表す表示用画像を生成する描画部と、
    　前記生成された表示用画像を出力する表示装置と、
    　を備える、車両周囲画像表示システム。
PCT/JP2009/007009 2008-12-19 2009-12-18 車両周囲画像生成装置 WO2010070920A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-323706 2008-12-19
JP2008323706A JP2012040883A (ja) 2008-12-19 2008-12-19 車両周囲画像生成装置

Publications (1)

Publication Number Publication Date
WO2010070920A1 true WO2010070920A1 (ja) 2010-06-24

Family

ID=42268599

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/007009 WO2010070920A1 (ja) 2008-12-19 2009-12-18 車両周囲画像生成装置

Country Status (2)

Country Link
JP (1) JP2012040883A (ja)
WO (1) WO2010070920A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017077650A1 (ja) * 2015-11-06 2017-05-11 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN108140311A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置
EP3372456A4 (en) * 2015-11-02 2019-07-10 Clarion Co., Ltd. DEVICE FOR DETECTING OBSTACLES
US11064151B2 (en) * 2016-04-26 2021-07-13 Denso Corporation Display control apparatus
US11795340B2 (en) 2020-09-02 2023-10-24 Terragene S.A. Compositon sensitive to UV-C radiation and UV-C sterilization or disinfection dosimeter

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101417399B1 (ko) * 2012-11-09 2014-07-08 현대자동차주식회사 차량의 주차 위치 표시 장치 및 방법
JP6148848B2 (ja) * 2012-11-27 2017-06-14 クラリオン株式会社 車載画像処理装置
JP2016060312A (ja) * 2014-09-17 2016-04-25 アルパイン株式会社 駐車支援装置
KR102288951B1 (ko) * 2014-12-18 2021-08-12 현대모비스 주식회사 차량 및 그 제어 방법
KR102288952B1 (ko) * 2014-12-18 2021-08-12 현대모비스 주식회사 차량 및 그 제어 방법
JP6352797B2 (ja) * 2014-12-19 2018-07-04 日立建機株式会社 作業機械の周囲監視装置
JP7398492B2 (ja) * 2022-03-14 2023-12-14 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220726A (ja) * 1998-01-30 1999-08-10 Niles Parts Co Ltd 車両周囲モニター装置
JP2003149711A (ja) * 2001-11-08 2003-05-21 Clarion Co Ltd 車両用モニタ装置
JP2003169323A (ja) * 2001-11-29 2003-06-13 Clarion Co Ltd 車両周囲監視装置
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
JP2003348574A (ja) * 2002-05-24 2003-12-05 Nissan Motor Co Ltd 車両用映像表示装置
JP2004254219A (ja) * 2003-02-21 2004-09-09 Denso Corp 車両周辺画像処理装置及びプログラム並びに記録媒体
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2006131166A (ja) * 2004-11-09 2006-05-25 Alpine Electronics Inc 運転支援装置
JP2007098967A (ja) * 2005-09-30 2007-04-19 Aisin Seiki Co Ltd 車両周辺監視装置及びセンサユニット
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2007176256A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 画像表示方法及び運転支援装置
JP2007183877A (ja) * 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220726A (ja) * 1998-01-30 1999-08-10 Niles Parts Co Ltd 車両周囲モニター装置
JP2003149711A (ja) * 2001-11-08 2003-05-21 Clarion Co Ltd 車両用モニタ装置
JP2003169323A (ja) * 2001-11-29 2003-06-13 Clarion Co Ltd 車両周囲監視装置
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
JP2003348574A (ja) * 2002-05-24 2003-12-05 Nissan Motor Co Ltd 車両用映像表示装置
JP2004254219A (ja) * 2003-02-21 2004-09-09 Denso Corp 車両周辺画像処理装置及びプログラム並びに記録媒体
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2006131166A (ja) * 2004-11-09 2006-05-25 Alpine Electronics Inc 運転支援装置
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2007098967A (ja) * 2005-09-30 2007-04-19 Aisin Seiki Co Ltd 車両周辺監視装置及びセンサユニット
JP2007176256A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 画像表示方法及び運転支援装置
JP2007183877A (ja) * 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3367364A4 (en) * 2015-10-22 2018-10-24 Nissan Motor Co., Ltd. Parking support information display method and parking support device
CN108140311B (zh) * 2015-10-22 2021-08-24 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置
US10366611B2 (en) 2015-10-22 2019-07-30 Nissan Motor Co., Ltd. Parking support information display method and parking support device
CN108140311A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置
EP3372456A4 (en) * 2015-11-02 2019-07-10 Clarion Co., Ltd. DEVICE FOR DETECTING OBSTACLES
GB2556797B (en) * 2015-11-06 2018-10-24 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
WO2017077650A1 (ja) * 2015-11-06 2017-05-11 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
GB2556797A (en) * 2015-11-06 2018-06-06 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
JPWO2017077650A1 (ja) * 2015-11-06 2017-12-07 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10417743B2 (en) 2015-11-06 2019-09-17 Mitsubishi Electric Corporation Image processing device, image processing method and computer readable medium
JP6239205B2 (ja) * 2015-11-06 2017-11-29 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US11064151B2 (en) * 2016-04-26 2021-07-13 Denso Corporation Display control apparatus
US11750768B2 (en) 2016-04-26 2023-09-05 Denso Corporation Display control apparatus
US11795340B2 (en) 2020-09-02 2023-10-24 Terragene S.A. Compositon sensitive to UV-C radiation and UV-C sterilization or disinfection dosimeter

Also Published As

Publication number Publication date
JP2012040883A (ja) 2012-03-01

Similar Documents

Publication Publication Date Title
WO2010070920A1 (ja) 車両周囲画像生成装置
JP4969269B2 (ja) 画像処理装置
JP5503660B2 (ja) 運転支援表示装置
JP5682788B2 (ja) 車両周辺監視装置
US8130270B2 (en) Vehicle-mounted image capturing apparatus
JP4744823B2 (ja) 周辺監視装置および俯瞰画像表示方法
JP5516998B2 (ja) 画像生成装置
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP5495071B2 (ja) 車両周辺監視装置
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
JP6014433B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP2005311868A (ja) 車両周辺視認装置
JP2008022267A (ja) 運転支援方法及び運転支援装置
KR20120118073A (ko) 차량 주변 감시 장치
JP2006253872A (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP2008174212A (ja) 運転支援方法及び運転支援装置
JP2010130647A (ja) 車両周辺確認装置
WO2016129552A1 (ja) カメラパラメータ調整装置
JP7467402B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP2006044596A (ja) 車両用表示装置
JP4927514B2 (ja) 運転支援装置
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2007249814A (ja) 画像処理装置及び画像処理プログラム
JP4945315B2 (ja) 運転支援システム及び車両
JP7500527B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09833227

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09833227

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP