WO2016147846A1 - 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム - Google Patents

車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム Download PDF

Info

Publication number
WO2016147846A1
WO2016147846A1 PCT/JP2016/056016 JP2016056016W WO2016147846A1 WO 2016147846 A1 WO2016147846 A1 WO 2016147846A1 JP 2016056016 W JP2016056016 W JP 2016056016W WO 2016147846 A1 WO2016147846 A1 WO 2016147846A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
history
vehicle
bird
eye
Prior art date
Application number
PCT/JP2016/056016
Other languages
English (en)
French (fr)
Inventor
泰斗 渡邉
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112016001238.1T priority Critical patent/DE112016001238B4/de
Publication of WO2016147846A1 publication Critical patent/WO2016147846A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to a vehicle surrounding image display control device that displays a vehicle surrounding image on a display unit, and a vehicle surrounding image display control program that causes the control device to function as a vehicle surrounding image display control device.
  • a technique in which a camera attached to a vehicle is repeatedly photographed around the vehicle, the photographed image is converted into a bird's-eye view image looking down from above the vehicle, and the bird's-eye view image is displayed on a display unit.
  • Patent Documents 1 and 2 a technique for expanding the image display range around the vehicle by displaying a synthesized bird's-eye image obtained by combining the bird's-eye image obtained from the latest photographed image and the bird's-eye image obtained from the past photographed image on the display unit. It has been known.
  • Patent Documents 1 and 2 a bird's-eye view image obtained from a captured image is stored in a history area of a memory. And a steering angle, a vehicle speed, etc. are acquired, the motion of a vehicle is calculated, and the bird's-eye view image memorize
  • a synthesized bird's-eye image is generated by synthesizing the bird's-eye image obtained from the latest photographed image and the bird's-eye image stored in the history area, and this synthesized bird's-eye image is displayed on the display unit.
  • the history memory may include an area for storing an image taken by the camera in addition to the history area.
  • Patent Document 1 does not describe whether all the bird's-eye images obtained from the captured images are stored in the history memory or whether some of them are stored in the history memory. If the entire range of the photographed image is bird's-eye converted, and all the bird's-eye images obtained by the conversion are stored in the history memory, the storage process takes time because the image size to be stored is large. The required memory size also increases. Also, the image quality is poor in the peripheral part of the bird's-eye view image.
  • the stored image is made smaller, the time required for the storage process can be shortened. However, if the image to be stored is reduced, a gap is generated between the image stored in the history memory at a certain time T and the image stored in the history memory at the time T + 1. As a result, in the history image stored in the history memory, there is a possibility that a portion having no image is generated in an area used for generating the synthesized bird's-eye view image.
  • a memory for storing an image that can suppress occurrence of a lack in an area used for generating a synthesized bird's-eye image in a history image stored in the history memory and that has a short processing time for storing the image.
  • a vehicle surrounding image display control device and a vehicle surrounding image display control program capable of reducing the size are provided.
  • the vehicle surrounding image display control device sequentially acquires a captured image obtained by capturing the surroundings of the vehicle from a camera mounted on the vehicle, and sequentially converts the captured image acquired by the acquiring unit into a bird's-eye view conversion.
  • a bird's-eye conversion unit that generates a bird's-eye view image
  • a storage processing unit that sequentially cuts out a history image in an area where the vehicle is not captured from the bird's-eye view image sequentially generated by the bird's-eye conversion unit, and stores the history image in a history memory
  • a history moving unit that moves the history image stored in the history memory in accordance with the movement of the vehicle; a current image portion obtained by cutting out a current image area from the latest bird's-eye image converted by the bird's-eye conversion unit;
  • the history image stored in the history memory is combined with a history image portion obtained by cutting out a history area that is an area closer to the vehicle than the current image area, and
  • An image composition unit that generates a composite bird's-
  • the history image cut out by the storage processing unit is an image having a size equal to or larger than the minimum rectangle and an area determined based on the minimum rectangle.
  • the minimum rectangle is a rectangle having a pair of sides parallel to the vehicle width direction of the vehicle. Of the pair of sides parallel to the vehicle width direction of the minimum rectangle, one end of the side on the vehicle side is an inner circle of the movement trajectory of the history area that moves when the vehicle turns right with a minimum turning radius. The other end is on the inner circle of the movement trajectory of the history area, which moves when the vehicle turns to the left with a minimum turning radius.
  • FIG. 1 is a diagram illustrating an overall configuration of a vehicle surrounding image display system. It is a figure which illustrates the synthetic bird's-eye view image displayed on a display part. It is a flowchart explaining the process which a control apparatus performs. It is a flowchart which shows the process of FIG.3 S3 in detail. It is a figure explaining the back picked-up image which the rear camera image
  • a vehicle surrounding image display system 1 shown in FIG. 1 is mounted on a vehicle 2, and includes a front camera 10, a rear camera 20, a display unit 30, an image memory 41, a recognition memory 42, a history memory 43, and a control device 50. ing.
  • the front camera 10 is fixed to the front end of the vehicle 2 and continuously captures a predetermined range from the vicinity of the front end of the vehicle 2 to the front of the vehicle 2 at a predetermined cycle.
  • an image captured by the front camera 10 is referred to as a forward captured image.
  • the rear camera 20 is fixed to the rear end of the vehicle 2 and continuously captures a predetermined range from the vicinity of the rear end of the vehicle 2 to the rear of the vehicle 2 at a predetermined cycle.
  • an image captured by the rear camera 20 is referred to as a rear captured image 70 (see FIG. 5).
  • a front camera 10 and the rear camera 20 for example, cameras equipped with fisheye lenses are used. Which range the front camera 10 and the rear camera 20 capture with respect to the vehicle 2 is stored in the control device 50 in advance.
  • the display unit 30 displays a synthetic bird's-eye view image 31 illustrated in FIG. 2 and a vehicle graphic 32 representing the vehicle 2.
  • the vehicle graphic 32 is a graphic representing the vehicle 2 and is stored in advance in a predetermined memory. As can be seen from the vehicle figure 32 being displayed at the center of the synthesized bird's-eye image 31, the synthesized bird's-eye image 31 is an image around the vehicle.
  • the image memory 41, the recognition memory 42, and the history memory 43 are all rewritable memories. Note that these may be three physically different memories, or an address of one memory may be divided into an image memory 41, a recognition memory 42, and a history memory 43.
  • the image memory 41 stores a bird's-eye image obtained by bird's-eye conversion of a part of a front-shot image taken by the front camera 10 and a bird's-eye image obtained by bird-eye-transforming a part of a rear-shot image 70 taken by the rear camera 20. Is done.
  • the bird's-eye view image stored in the image memory 41 is referred to as a current image in order to distinguish it from the bird's-eye view image stored in the history memory 43.
  • an image obtained by converting the front captured image is referred to as a front current image
  • an image obtained by converting the rear captured image 70 is referred to as a rear current image 72 (see FIG. 6).
  • the recognition memory 42 stores a recognition image that is an image obtained by cutting out a preset range from the bird's-eye view image stored in the image memory 41.
  • a history image is stored in the history memory 43.
  • the history image is an image obtained by combining a part of the recognition image cut out from the recognition image and the history image already stored in the history memory 43. In the history image already stored in the history memory 43, relative coordinates around the vehicle 2 are sequentially moved as the vehicle 2 moves.
  • the control device 50 corresponds to a vehicle surrounding image display control device.
  • the control device 50 is a computer including a CPU, a ROM, a RAM, and the like.
  • the CPU (computer) executes a vehicle surrounding image display control program stored in a non-transitional tangible recording medium such as a ROM (computer-readable recording medium) while using the temporary storage function of the RAM.
  • the control device 50 includes a bird's-eye conversion unit 51, a storage processing unit 52, a movement distance estimation unit 53, a rudder angle estimation unit 54, a vehicle movement amount calculation unit 55, a history movement unit 56, an image composition unit 57, and an image output unit. 58 functions. When these functions are executed, a method corresponding to the program is executed.
  • control device 50 may be configured in hardware by one or a plurality of ICs.
  • FIG. 3 is a flowchart illustrating processing executed by the control device 50.
  • the control device 50 periodically executes the process shown in FIG. 3 when an instruction signal instructing to display the synthesized bird's-eye image 31 on the display unit 30 is input.
  • the instruction signal is generated, for example, by a user's switch operation. It also occurs when the shift position becomes the rear position.
  • Steps S1 and S2 are processes performed by the bird's eye conversion unit 51.
  • Step S1 corresponds to an acquisition unit.
  • the bird's-eye conversion unit 51 acquires a front-captured image from the front camera 10. Further, the bird's-eye conversion unit 51 acquires the rear shot image 70 from the rear camera 20.
  • step S ⁇ b> 2 the bird's-eye conversion unit 51 performs bird's-eye conversion on the front captured image and the rear captured image 70 acquired in step S ⁇ b> 1, and stores the front current image and the rear current image 72 obtained by the bird's-eye conversion in the image memory 41. .
  • the bird's-eye conversion unit 51 deletes the past front current image and the rear current image 72, and the latest front current image. Only the rear current image 72 is stored in the image memory 41.
  • the front shot image and the rear shot image 70 are converted into an image looked down from the viewpoint above the vehicle 2.
  • the conversion formula used for bird's-eye conversion is stored in a memory such as a ROM of the control device 50. This conversion formula is a well-known formula described in Patent Document 2, for example.
  • the range for bird's eye conversion is a predetermined range so as to include a recognition image cutout area 62 described later, and is a partial range of the front captured image and the rear captured image 70. is there.
  • the recognized image cutout area 62 the range to be cut out in the front shot image and the rear shot image 70 is determined in advance, so that the range for bird's eye conversion can also be set in advance.
  • FIG. 5 is a diagram illustrating the rear shot image 70.
  • FIG. 6 conceptually shows a backward current image 72 obtained by bird's-eye conversion of the image of FIG. 5 in step S2. Since the rear shot image 70 is an image that is larger as it is closer to the vehicle 2, the pair of parking frame lines 61 are more distant from each other on the image as the vehicle 2 side becomes the lower side in FIG. 5. In contrast, as shown in FIG. 6, in the rear current image 72 that is a bird's-eye view image, the pair of parking frame lines 61 are parallel to each other.
  • step S3 a history movement calculation is performed.
  • This history movement calculation is an operation for moving the relative coordinates of the history image stored in the history memory 43.
  • the history movement calculation is shown in detail in FIG.
  • the movement distance estimation unit 53 acquires a vehicle signal.
  • the vehicle signal is a vehicle speed signal or a steering angle signal. These signals are acquired via an in-vehicle LAN or the like.
  • the vehicle speed signal is acquired from the vehicle speed sensor, and the steering angle signal is acquired from the steering angle sensor. Note that a yaw rate signal may be acquired instead of the steering angle signal.
  • Step S32 is a process performed by the movement distance estimation unit 53.
  • the moving distance estimation unit 53 executes the current time after executing step S32 last time from the vehicle speed represented by the vehicle speed signal acquired in step S31 and the time elapsed since the previous time executing step S32. The travel distance traveled by the vehicle 2 until step S32 is executed is calculated.
  • Step S33 is a process performed by the rudder angle estimation unit 54.
  • the steering angle estimation unit 54 estimates the current steering angle of the vehicle 2 based on the steering angle signal acquired in step S31.
  • Steps S34 and S35 are processes performed by the vehicle movement amount calculation unit 55.
  • the vehicle movement amount calculation unit 55 acquires a shift position signal from the shift position sensor.
  • the vehicle movement amount calculation unit 55 executes step S35 this time after executing step S35 last time from the movement distance and steering angle estimated in steps S32 and S33 and the shift position signal acquired in step S34.
  • the amount of vehicle movement that the vehicle 2 has moved before execution is calculated. This amount of movement includes the direction of movement relative to the previous position of the vehicle 2 and is a value that determines relative coordinates with respect to the previous position of the vehicle 2.
  • Step S36 is processing performed by the history moving unit 56.
  • the history moving unit 56 moves the relative coordinates of the history image stored in the history memory 43 by the amount of vehicle movement calculated in step S35 in the direction opposite to the moving direction of the vehicle 2.
  • Step S4 is processing performed by the storage processing unit 52.
  • the storage processing unit 52 cuts out a recognition image from the current image stored in the image memory 41 and stores it in the recognition memory 42. As described above, since the front current image and the rear current image 72 are stored as the current image, the storage processing unit 52 cuts out a recognition image from each current image.
  • the recognition image has a size including a history image, and an area (hereinafter, recognized image cutout area) 62 cut out from the current image is set in advance.
  • FIG. 6 illustrates a recognized image cutout area 62.
  • the recognition processing unit 3 uses the recognition image.
  • the recognition processing unit 3 performs image recognition processing such as white line recognition processing on the recognition image.
  • image recognition processing such as white line recognition processing
  • the parking frame line 61 is recognized.
  • the recognized parking frame line 61 is further used for automatic parking control and the like.
  • Step S5 is also a process performed by the storage processing unit 52.
  • the storage processing unit 52 cuts out a history image from the recognition image stored in the recognition memory 42 and stores it in the history memory 43.
  • the recognition image is cut out from the front current image and the rear current image 72 and stored in the recognition memory 42.
  • the storage processing unit 52 cuts out a history image from each of the recognition image cut out from the front current image and the recognition image cut out from the rear current image 72.
  • the processing of FIG. 3 is repeatedly executed.
  • the history image acquired in the past is already stored in the history memory 43, and the history image acquired in the past is stored in step S3.
  • the history movement calculation relative coordinates are moved by the amount of movement of the vehicle 2.
  • the history image newly stored in the history memory 43 in step S5 is superimposed on the history image already stored in the history memory 43.
  • a history image obtained by superimposing these is hereinafter referred to as a combined history image.
  • FIG. 6 shows a history image cutout area (hereinafter simply referred to as a cutout area) 63 cut out as a history image.
  • FIG. 6 also shows a vehicle range 64.
  • the vehicle range 64 is a figure for explaining the range of the vehicle 2 with respect to the rear current image 72.
  • the cutout area 63 is an area where a part of the vehicle 2 such as a bumper or a trailer hook is not shown.
  • the cut-out area 63 is rectangular, and the long side is parallel to the width direction of the vehicle 2 and the short side is parallel to the front-rear direction of the vehicle 2.
  • the cut-out area 63 is sized so that the combined history image is not missing when the relative coordinates of the history image sequentially move as the vehicle 2 travels and a new history image is stored in the history memory 43. Is set. Detailed description of the cut-out area 63 will be described later.
  • Steps S6 to S8 are processes performed by the image composition unit 57.
  • the image composition unit 57 acquires the vehicle plane size.
  • the vehicle plane size includes a vehicle length and a vehicle width, and is stored in advance in a predetermined memory.
  • the image composition unit 57 acquires the history image portion 33 (see FIG. 2) used by the output image from the composition history image stored in the history memory 43.
  • the history image portion 33 is a portion sandwiched between the front current image portion 34 and the rear current image portion 35 in the synthesized bird's-eye image 31 displayed on the display unit 30. Since the history image portion 33 is a range not captured in the current image, the history image is used.
  • step S 8 the image composition unit 57 cuts out the front current image area from the front current image stored in the image memory 41 to form the front current image portion 34 shown in FIG. 2 and the rear current image stored in the image memory 41. A rear current image area is cut out from the image to form a rear current image portion 35 shown in FIG. Ranges are set in advance for the front current image area and the rear current image area.
  • step S8 the image composition unit 57 combines the front current image portion 34 and the rear current image portion 35 with the history image portion 33 acquired in step S7 to generate a composite bird's-eye view image 31.
  • Step S9 is processing performed by the image output unit 58.
  • the image output unit 58 outputs the synthesized bird's-eye image 31 generated in step S8 to the display unit 30 as an output image.
  • the cutout area 63 is an area that is cut out to generate a combined history image
  • the combined history image is an image for cutting out the history image portion 33.
  • the portion that becomes the history image portion 33 in the combined history image moves as the vehicle 2 moves. Therefore, the position and size of the cutout area 63 are set so that the history image portion 33 is not missing in the combined history image regardless of the movement of the vehicle 2.
  • FIG. 7 is a diagram for explaining the position and size of this cut-out area 63.
  • the turning axis line 80 passes through the axle of the rear wheel of the vehicle 2 and passes through the turning center when the vehicle 2 turns with the minimum turning radius.
  • the history area 81 is an area cut out as a history image portion 33 from the combined history image.
  • the history area 81 is a rectangle whose position and size are determined based on the vehicle 2.
  • the right inner circular arc 82 is the inner end of the locus when the history area 81 is moved by turning the vehicle 2 to the right with the minimum turning radius
  • the left inner circular arc 83 is the left turning with the minimum turning radius. This is the inner end of the locus when the history area 81 is moved by turning.
  • the distance L between the vehicle side 63a that is the vehicle side of the pair of sides parallel to the vehicle width direction and the front end of the vehicle 2 is determined by the shooting range of the rear camera 20. If the vehicle side 63a does not intersect the right inner circular arc 82 and the left inner circular arc 83, when the history area 81 moves as the vehicle 2 moves with the minimum turning radius, the history area 81 There is a possibility that a portion having no composite history image may be generated at the end of.
  • the vehicle side 63a of the cut-out area 63 has a distance L from the front end of the vehicle 2, is parallel to the width direction of the vehicle 2, has one end on the right inner circumferential arc 82, and the other end. It is set so as to be on the left inner circumferential arc 83.
  • the length of the vehicle longitudinal direction side 63b parallel to the vehicle longitudinal direction is determined based on the vehicle speed (m / s) and the history image storage cycle (s). That is, the length obtained by the product of the vehicle speed and the storage cycle is set as the length of the vehicle longitudinal direction side 63b.
  • the history image is stored in the history memory 43 every time the front camera 10 and the rear camera 20 capture the front captured image and the rear captured image 70. Therefore, the vehicle speed ⁇ the storage cycle is the vehicle 2 from the time when the photographed image corresponding to the bird's-eye image obtained by cutting out the history image is taken until the time when the photographed image corresponding to the bird's-eye image obtained by cutting out the history image is taken this time. Means the movement length of the history area 81 caused by the movement.
  • the rectangle determined in this way corresponds to the smallest rectangle.
  • the cutout area 63 may be a range surrounded by the minimum rectangle, but may be an area that includes the minimum rectangle and is larger than the minimum rectangle in consideration of errors and the like.
  • the history image cut out by the storage processing unit 52 (S4, S5) is an image obtained by cutting out an area where the vehicle 2 is not shown from the bird's-eye view image. Therefore, even if the history moving unit 56 (S36) moves the history image in accordance with the movement of the vehicle 2, there is no bumper or trailer hook at a location away from the vehicle 2.
  • the history image cut out from the image stored in the recognition memory 42 by the storage processing unit 52 (S4, S5) and stored in the history memory 43 is an image obtained by cutting out the cut-out area 63 determined based on the minimum rectangle.
  • the cut-out area 63 is the same as the minimum rectangle, one end of the vehicle side 63a of the cut-out area 63 moves when the vehicle 2 turns right with the minimum turning radius. It is on the inner circle of the movement locus of the history area 81. The other end of the vehicle side 63a is on the inner circumference of the movement locus of the history area 81 that moves when the vehicle 2 turns left with the minimum turning radius.
  • the cut-out area 63 is an area that is the same as or includes the minimum rectangle, and is larger than the minimum rectangle.
  • the combined history image stored in the history memory 43 is In the history area 81, it is possible to suppress a portion having no image in the vehicle width direction.
  • the length of the vehicle front-rear direction side 63b of the cut-out area 63 is a length obtained by the product of the vehicle speed and the history image storage cycle.
  • the cut-out area 63 is the same area as the minimum rectangle or includes the minimum rectangle and is larger than the minimum rectangle.
  • the cut-out area 63 is cut out as a history image from the bird's-eye view image, even if the vehicle 2 moves in the front-rear direction, the composite history image stored in the history memory 43 has no image in the vehicle front-rear direction in the history area 81. Generation of a part is suppressed.
  • the composite history image stored in the history memory 43 is prevented from having a portion having no image in the left and right direction of the vehicle and the front and rear direction of the vehicle in the history area 81.
  • the history image cut out from the recognition memory 42 by the storage processing unit 52 is an image in which an area is determined based on the minimum rectangle, and thus is a smaller image than the bird's-eye view image obtained by bird's-eye conversion of the entire range of the captured image. Therefore, the memory size of the history memory 43 can be reduced, and the processing time for storing the history image can be shortened.
  • the storage processing unit 52 first cuts out a recognition image from the current image stored in the image memory 41 and stores it in the recognition memory 42 (S4), and the recognition image stored in the recognition memory 42.
  • a history image is cut out and stored in the history memory 43 (S5).
  • the range in which the bird's-eye conversion unit 51 (S2) performs bird's-eye conversion is determined so as to include the recognized image cut-out area 62, and is a partial range of the front captured image and the rear captured image. Therefore, the processing speed can be improved and the storage area required for the image memory 41 can be reduced as compared with the bird's-eye view conversion of the entire range of the front captured image and the rear captured image 70.
  • the recognition image is cut out from the current image stored in the image memory 41 and stored in the recognition memory 42, and the history image is cut out from the recognition memory 42. That is, an image cut out from the current image is stored in the history memory 43 via the recognition memory 42.
  • a history image may be cut out from the current image and stored in the history memory 43.
  • the front camera 10 and the rear camera 20 are provided, but only one of the cameras may be provided.
  • the current image is stored in the image memory 41, and the recognition image is cut out from the image memory 41.
  • the image memory 41 may not be provided, and the recognition image and the history image may be cut out from the image converted by the bird's eye conversion unit 51 and stored directly in the recognition memory 42 and the history memory 43.
  • the image memory 41 or the recognition memory 42 may also be used as the history memory 43. That is, a part of the image memory 41 or the recognition memory 42 may be used as the history memory 43.
  • the history image is cut out from the recognition image stored in the recognition memory 42 and stored in the history memory 43.
  • the recognition image is smaller than the history image, contrary to the embodiment, first, the history image is stored in the history memory 43, and the recognition image is cut out from the history memory 43 and stored in the recognition memory 42. May be.
  • the recognition image can be made smaller compared to the case where a history image larger than the recognition image is used as it is as the recognition image. it can.
  • the history image when a history image is cut out from the recognition memory 42 as in the embodiment, the history image can be made smaller than when a recognition image larger than the history image is used as it is as a history image. Processing time for generating an image can be shortened.
  • the acquisition unit (S1) that sequentially acquires captured images obtained by capturing the surroundings of the vehicle from the cameras (10, 20) mounted on the vehicle (2), and the acquisition unit acquires From the bird's-eye conversion unit (51) that sequentially converts bird's-eye images to generate bird's-eye images and the bird's-eye images sequentially generated by the bird's-eye conversion unit, the history images in the area where the vehicle is not captured are sequentially cut out.
  • the history image cut out by the storage processing unit is an image having a size equal to or larger than the minimum rectangle and an area determined based on the minimum rectangle.
  • the minimum rectangle is a rectangle having a pair of sides parallel to the vehicle width direction of the vehicle.
  • the side (63a) on the vehicle side is on the inner circumference of the movement track of the history area where one end moves when the vehicle turns right with the minimum turning radius.
  • the other end is on the inner circumference of the movement locus of the history area that moves when the vehicle turns to the left with the minimum turning radius.
  • the length of the vehicle in the longitudinal direction of the minimum rectangle is the vehicle from the time when the captured image corresponding to the bird's-eye image from which the history image is cut is taken this time until the shot image corresponding to the bird's-eye image from which the history image is cut is taken. Is the movement length of the history area caused by the movement.
  • the vehicle surrounding image display control program includes an acquisition unit (S1) that sequentially acquires a captured image obtained by photographing the surroundings of a vehicle from a camera (10, 20) mounted on the vehicle (2), and an acquisition unit.
  • the bird's-eye conversion unit (51) that sequentially performs bird's-eye conversion on the acquired images and generates the bird's-eye image, and the history images in the area where the vehicle is not captured are sequentially cut out from the bird's-eye image sequentially generated by the bird's-eye conversion unit.
  • the current image area (34, 35) obtained by cutting out the current image area from the bird's-eye view image and the history area (81) that is an area closer to the vehicle than the current image area from the history image stored in the history memory
  • An image combining unit that combines the cut-out history image portion (33) to generate a combined bird's-eye image (31) that is a bird's-eye view image including an area that is not captured in the latest bird's-eye view image around the vehicle.
  • the history image cut out by the storage processing unit is an image having a size equal to or larger than the minimum rectangle and an area determined based on the minimum rectangle.
  • the minimum rectangle is a rectangle having a pair of sides parallel to the vehicle width direction of the vehicle. Of the pair of sides parallel to the vehicle width direction of the smallest rectangle, the side (63a) on the vehicle side is on the inner circumference of the movement track of the history area where one end moves when the vehicle turns right with the minimum turning radius.
  • the other end is on the inner circumference of the movement locus of the history area that moves when the vehicle turns to the left with the minimum turning radius.
  • the length of the vehicle in the longitudinal direction of the minimum rectangle is the vehicle from the time when the captured image corresponding to the bird's-eye image from which the history image is cut is taken this time until the shot image corresponding to the bird's-eye image from which the history image is cut is taken. Is the movement length of the history area caused by the movement.
  • the history image cut out by the storage processing unit is an image obtained by cutting out an area where no vehicle is shown from the bird's-eye view image. Therefore, even if the history moving unit moves the history image according to the movement of the vehicle, the bumper and the trailer hook do not exist at a place away from the vehicle.
  • the history image cut out by the storage processing unit is an image whose area is determined based on the minimum rectangle.
  • the side on the vehicle side is on the inner circumference of the movement locus of the history area that moves when the vehicle turns right with the minimum turning radius, The other end is on the inner circumference of the movement trajectory of the history area that moves when the vehicle turns left with the minimum turning radius.
  • the history image stored in the history memory is In the history area, the occurrence of a portion having no history image in the vehicle width direction is suppressed.
  • the length of the vehicle in the front-rear direction of the minimum rectangle is determined from the time when the captured image corresponding to the bird's-eye image from which the history image is cut is captured until the time when the captured image corresponding to the bird's-eye image from which the history image is cut is captured. This is the movement length of the history area caused by the movement of the vehicle.
  • the history image stored in the history memory is the history image in the vehicle front-rear direction in the history area even if the vehicle moves in the front-rear direction. It is suppressed that the part which does not have is produced. As described above, the history image stored in the history memory is restrained from generating a portion having no image in the history area.
  • the history image cut out by the storage processing unit is an image in which an area is determined based on the minimum rectangle, and thus is a smaller image than the bird's-eye image obtained by bird's-eye conversion of the entire range of the photographed image. Therefore, the memory size required for the history memory can be reduced, and the processing time for storing the history image can be shortened.
  • Vehicle surrounding image display system 2 Vehicle 3: Recognition processing unit 10: Front camera 20: Rear camera 30: Display unit 31: Composite bird's-eye view image 32: Vehicle figure 33: History image portion 34: Front current image portion 35: Rear Current image portion 41: Image memory 42: Memory for recognition 43: History memory 50: Control device 51: Bird's eye conversion unit 52: Storage processing unit 53: Travel distance estimation unit 54: Steering angle estimation unit 55: Vehicle movement amount calculation unit 56 : History moving unit 57: Image compositing unit 58: Image output unit 61: Parking frame line 62: Recognition image cutout area 63: Cutout area 63a: Vehicle side 63b: Vehicle longitudinal side 64: Vehicle range 70: Rear shot image 72 : Rear current image 80: Turning axis 81: History area 82: Right inner circular arc 83: Left inner circular

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　記憶処理部が認識用メモリから切り出す履歴画像は、最小矩形以上の大きさである。最小矩形の車幅方向に平行な一対の辺のうち車両側の辺は、一端が、車両が最小回転半径で右旋回することで移動する履歴エリアの移動軌跡の内周円上にあり、他端が、車両が最小回転半径で左旋回することで移動する履歴エリアの移動軌跡の内周円上にある。最小矩形の車両前後方向長さは、前回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されてから、今回、履歴画像を切り出す鳥瞰画像に対応する撮影画像が撮影されるまでに車両が移動したことにより生じる履歴エリアの移動長さである。

Description

車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム
　本発明は、車両周囲の画像を表示部に表示する車両周囲画像表示制御装置、および、制御装置を、車両周囲画像表示制御装置として機能させる車両周囲画像表示制御プログラムに関する。
　従来、車両に取り付けられたカメラで車両の周囲を繰り返し撮影し、撮影画像を車両の上方から見下ろす視点の画像に鳥瞰変換し、鳥瞰画像を表示部に表示する技術が知られている。
　このような技術において、最新の撮影画像から得た鳥瞰画像と過去の撮影画像から得た鳥瞰画像を合成した合成鳥瞰画像を表示部に表示することで、車両の周囲の画像表示範囲を広げる技術が知られている。（たとえば、特許文献１、２参照）
　特許文献１では、撮影画像から得た鳥瞰画像をメモリの履歴領域に記憶する。そして、ステアリング角、車速などを取得して車両の動きを計算し、計算した車両の動きと逆の動きをするよう、履歴領域に記憶した鳥瞰画像を移動させる。そして、最新の撮影画像から得た鳥瞰画像と、履歴領域に記憶されている鳥瞰画像とを合成して合成鳥瞰画像を生成し、この合成鳥瞰画像を表示部に表示する。
　履歴領域に記憶されている鳥瞰画像を車両の移動に対応させて移動させ、かつ、最新の撮像画像から得た鳥瞰画像を、履歴領域に記憶されている鳥瞰画像と重ね合わせる処理を繰り返す。これにより、車両の移動に伴い、履歴領域に記憶されている鳥瞰画像が車両周囲を囲うようになるので、車両周囲に合成鳥瞰画像がある部分が拡大する。
特開２０１３－２４６４９３号公報 特開２００２－３７３３２７号公報
　以下では、履歴領域を備えるメモリを履歴メモリとする。この履歴メモリは、履歴領域以外に、カメラが撮影した画像を記憶する領域を備えていてもよい。
　特許文献１には、撮影画像から得た鳥瞰画像を、全部、履歴メモリに記憶するのか、一部を履歴メモリに記憶するかは、記載されていない。仮に、撮影画像の全範囲を鳥瞰変換し、かつ、変換で得た鳥瞰画像を全部、履歴メモリに記憶するとすれば、記憶する画像サイズが大きいので記憶処理に時間がかかり、記憶領域のために必要となるメモリサイズも大きくなる。また、鳥瞰画像の周辺部分は画質も悪い。
　さらに、バンパーやトレーラーフックが写っている部分を記憶してしまう可能性もある。バンパーやトレーラーフックが写っている部分を記憶してしまうと、履歴メモリに記憶されている鳥瞰画像を車両の移動に対応させて移動させた場合に、車両とは離れた場所に、バンパーやトレーラーフックが存在してしまう。
　記憶する画像を小さくすれば、記憶処理に要する時間を短くできる。しかし、記憶する画像を小さくすると、ある時刻Ｔに履歴メモリに記憶した画像と、時刻Ｔ＋１のときに履歴メモリに記憶した画像との間に隙間が生じてしまう。その結果、履歴メモリに記憶されている履歴画像において合成鳥瞰画像の生成に用いるエリアに、画像がない部分が生じてしまう可能性が生じる。
　一実施形態は、履歴メモリに記憶されている履歴画像において合成鳥瞰画像の生成に用いるエリアに欠けが生じることを抑制でき、かつ、画像を記憶する処理時間が短く、画像を記憶するためのメモリサイズを小さくできる車両周囲画像表示制御装置および車両周囲画像表示制御プログラムを提供する。
　実施形態の車両周囲画像表示制御装置は、車両に搭載されたカメラから前記車両の周囲を撮影した撮影画像を逐次取得する取得部と、前記取得部が取得した前記撮影画像を、逐次、鳥瞰変換して鳥瞰画像を生成する鳥瞰変換部と、前記鳥瞰変換部が逐次生成した前記鳥瞰画像から、前記車両が写っていないエリアにある履歴画像を逐次切り出して、履歴メモリに記憶する記憶処理部と、前記履歴メモリに記憶した前記履歴画像を、前記車両の移動に応じて移動させる履歴移動部と、前記鳥瞰変換部が変換した最新の前記鳥瞰画像から現画像エリアを切り出した現画像部分と、履歴メモリに記憶されている前記履歴画像から、前記現画像エリアよりも前記車両側のエリアである履歴エリアを切り出した履歴画像部分とを合成して、前記車両の周囲のうち、最新の前記鳥瞰画像に撮像されていないエリアを含んでいる前記鳥瞰画像である合成鳥瞰画像を生成する画像合成部と、前記画像合成部が生成した前記合成鳥瞰画像を表示部に出力する画像出力部と、を備える。前記記憶処理部が切り出す前記履歴画像は、最小矩形以上の大きさであって、前記最小矩形に基づいてエリアが定まる画像である。前記最小矩形は、一対の辺が、前記車両の車幅方向に平行な矩形である。前記最小矩形の車幅方向に平行な一対の辺のうち前記車両側の辺は、一端が、前記車両が最小回転半径で右旋回することで移動する前記履歴エリアの移動軌跡の内周円上にあり、他端が、前記車両が最小回転半径で左旋回することで移動する前記履歴エリアの移動軌跡の内周円上にある。前記最小矩形の車両前後方向長さは、前回、前記履歴画像を切り出した前記鳥瞰画像に対応する前記撮影画像が撮影されてから、今回、前記履歴画像を切り出す前記鳥瞰画像に対応する前記撮影画像が撮影されるまでに前記車両が移動したことにより生じる、前記履歴エリアの移動長さである。
車両周囲画像表示システムの全体構成を示す図である。 表示部に表示される合成鳥瞰画像を例示する図である。 制御装置が実行する処理を説明するフローチャートである。 図３のステップＳ３の処理を詳しく示すフローチャートである。 リアカメラが撮影した後方撮影画像を説明する図である。 後方撮影画像を鳥瞰変換した後方現画像を説明する図である。 履歴画像として切り出す切り出しエリアの位置と大きさを説明する図である。
　以下、本発明の実施形態を図面に基づいて説明する。
　（全体構成）
　図１に示す車両周囲画像表示システム１は、車両２に搭載されており、フロントカメラ１０、リアカメラ２０、表示部３０、画像メモリ４１、認識用メモリ４２、履歴メモリ４３、制御装置５０を備えている。
　フロントカメラ１０は、車両２の前端部に固定されており、車両２の前端付近から車両２の前方へかけての所定範囲を所定周期で連続的に撮影する。以下、フロントカメラ１０が撮影した画像を、前方撮影画像とする。
　リアカメラ２０は、車両２の後端部に固定されており、車両２の後端付近から車両２の後方へかけての所定範囲を所定周期で連続的に撮像する。以下、リアカメラ２０が撮影した画像を、後方撮影画像７０（図５参照）とする。これらフロントカメラ１０、リアカメラ２０には、たとえば、魚眼レンズを備えたカメラを用いる。フロントカメラ１０およびリアカメラ２０が車両２に対してどの範囲を撮影するかは、予め制御装置５０に記憶されている。
　表示部３０には、図２に例示する合成鳥瞰画像３１と、車両２を表す車両図形３２が表示される。車両図形３２は、車両２を表している図形であり、予め所定のメモリに記憶されている。合成鳥瞰画像３１の中心に車両図形３２が表示されていることから分かるように、合成鳥瞰画像３１は、車両周囲の画像である。
　画像メモリ４１、認識用メモリ４２、履歴メモリ４３は、いずれも、書き換え可能なメモリである。なお、これらは、物理的に異なる３つのメモリであってもよいし、１つのメモリのアドレスが区切られて画像メモリ４１、認識用メモリ４２、履歴メモリ４３とされていてもよい。
　画像メモリ４１には、フロントカメラ１０が撮影した前方撮影画像の一部が鳥瞰変換された鳥瞰画像と、リアカメラ２０が撮影した後方撮影画像７０の一部が鳥瞰変換された鳥瞰画像とが記憶される。以下、画像メモリ４１に記憶されている鳥瞰画像を、履歴メモリ４３に記憶されている鳥瞰画像と区別するために、現画像という。また、現画像のうち、前方撮影画像を変換した画像を前方現画像、後方撮影画像７０を変換した画像を後方現画像７２（図６参照）という。
　認識用メモリ４２には、画像メモリ４１に記憶された鳥瞰画像から、予め設定されている範囲が切り出された画像である認識用画像が記憶されている。履歴メモリ４３には、履歴画像が記憶されている。履歴画像は、認識用画像から切り出された、認識用画像の一部の画像と、すでに履歴メモリ４３に記憶されている履歴画像とが合成された画像である。すでに履歴メモリ４３に記憶されている履歴画像は、車両２の移動に伴い、逐次、車両２を中心とする相対座標が移動させられる。
　制御装置５０は車両周囲画像表示制御装置に相当する。この制御装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。ＣＰＵ（コンピュータ）は、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭなどの非遷移的実体的記録媒体（コンピュータにより読み取り可能な記録媒体）に記憶されている車両周囲画像表示制御プログラムを実行する。これにより、制御装置５０は、鳥瞰変換部５１、記憶処理部５２、移動距離推定部５３、舵角推定部５４、車両移動量演算部５５、履歴移動部５６、画像合成部５７、画像出力部５８として機能する。これらの機能を実行すると、プログラムに対応する方法が実行される。
　これらの機能は、図３に示すフローチャートを用いて説明する。なお、制御装置５０が実行する機能の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。
　（制御装置５０の機能）
　図３は、制御装置５０が実行する処理を示すフローチャートである。制御装置５０は、図３に示す処理を、合成鳥瞰画像３１を表示部３０に表示することを指示する指示信号が入力された場合に、周期的に実行する。指示信号は、たとえば、ユーザのスイッチ操作により発生する。また、シフトポジションがリアポジションになったときにも発生する。
　ステップＳ１、Ｓ２は、鳥瞰変換部５１が行う処理である。ステップＳ１は取得部に相当する。鳥瞰変換部５１は、フロントカメラ１０から前方撮影画像を取得する。また、鳥瞰変換部５１は、リアカメラ２０から後方撮影画像７０を取得する。
　ステップＳ２では、鳥瞰変換部５１は、ステップＳ１で取得した前方撮影画像および後方撮影画像７０をそれぞれ鳥瞰変換し、鳥瞰変換して得られる前方現画像および後方現画像７２を画像メモリ４１に記憶する。なお、すでに画像メモリ４１に過去の前方現画像および後方現画像７２が記憶されている場合、鳥瞰変換部５１は、過去の前方現画像および後方現画像７２を消去して、最新の前方現画像および後方現画像７２のみを画像メモリ４１に記憶する。
　鳥瞰変換により、前方撮影画像および後方撮影画像７０は、車両２の上方にある視点から見下ろした画像に変換される。鳥瞰変換に用いる変換式は、制御装置５０のＲＯＭなどのメモリに記憶されている。この変換式は、たとえば、特許文献２に記載されている周知の式である。
　前方撮影画像および後方撮影画像７０のうち、鳥瞰変換する範囲は、後述する認識画像切り出しエリア６２を含むように予め定められた範囲であり、前方撮影画像および後方撮影画像７０の一部の範囲である。認識画像切り出しエリア６２は、前方撮影画像および後方撮影画像７０において、切り出す範囲が予め定まっているため、鳥瞰変換する範囲も予め設定できる。
　図５は、後方撮影画像７０を例示する図である。図６は、図５の画像がこのステップＳ２で鳥瞰変換された後方現画像７２を概念的に示している。後方撮影画像７０は、車両２に近いほど大きく写る画像であるため、一対の駐車枠線６１は、図５において下側となる車両２側ほど、画像上での互いの距離が離れている。これに対して、図６に示すように、鳥瞰画像である後方現画像７２では、一対の駐車枠線６１は互いに平行になっている。
　ステップＳ３では、履歴移動演算を行う。この履歴移動演算は、履歴メモリ４３に記憶されている履歴画像の相対座標を移動させる演算である。履歴移動演算は、詳しくは、図４に示す。
　図４において、ステップＳ３１では、移動距離推定部５３は、車両信号を取得する。車両信号は、具体的には、車速信号、舵角信号である。これらの信号は、車内ＬＡＮなどを介して取得される。車速信号は車速センサから取得され、舵角信号は舵角センサから取得される。なお、舵角信号に代えて、ヨーレート信号を取得してもよい。
　ステップＳ３２は移動距離推定部５３が行う処理である。このステップＳ３２では、移動距離推定部５３は、ステップＳ３１で取得した車速信号が表す車速と、前回、ステップＳ３２を実行してからの経過時間とから、前回、ステップＳ３２を実行してから、今回、ステップＳ３２を実行するまでに車両２が移動した移動距離を算出する。
　ステップＳ３３は舵角推定部５４が行う処理である。このステップＳ３３では、舵角推定部５４は、ステップＳ３１で取得した舵角信号に基づいて、現在の車両２の操舵角を推定する。
　ステップＳ３４、Ｓ３５は車両移動量演算部５５が行う処理である。ステップＳ３４では、車両移動量演算部５５は、シフトポジション信号をシフトポジションセンサから取得する。ステップＳ３５では、車両移動量演算部５５は、ステップＳ３２、Ｓ３３で推定した移動距離、操舵角、ステップＳ３４で取得したシフトポジション信号から、前回、ステップＳ３５を実行してから、今回、ステップＳ３５を実行するまでに車両２が移動した車両移動量を算出する。この移動量は、前回の車両２の位置に対する移動方向も含んでおり、前回の車両２の位置に対する相対座標が定まる値である。
　ステップＳ３６は履歴移動部５６が行う処理である。このステップＳ３６では、履歴移動部５６は、車両２の移動方向とは逆方向に、ステップＳ３５で演算した車両移動量だけ、履歴メモリ４３に記憶されている履歴画像の相対座標を移動させる。
　説明を図３に戻す。ステップＳ４は記憶処理部５２が行う処理である。記憶処理部５２は、画像メモリ４１に記憶されている現画像から認識用画像を切り出して、認識用メモリ４２に記憶する。現画像として、前述したように、前方現画像と後方現画像７２が記憶されているので、記憶処理部５２は、それぞれの現画像から認識用画像を切り出す。
　認識用画像は、履歴画像を含む大きさであり、現画像から切り出すエリア（以下、認識画像切り出しエリア）６２は予め設定されている。図６には、認識画像切り出しエリア６２を例示している。認識用画像は、認識処理部３が利用する。
　認識処理部３は、認識用画像に対して白線認識処理などの画像認識処理を行う。この白線認識処理により、たとえば、駐車枠線６１が認識される。認識された駐車枠線６１は、さらに、自動駐車制御などに利用される。
　ステップＳ５も記憶処理部５２が行う処理である。このステップＳ５では、記憶処理部５２は、認識用メモリ４２に記憶されている認識用画像から履歴画像を切り出して、履歴メモリ４３に記憶する。認識用画像は、前方現画像と後方現画像７２からそれぞれ切り出されて認識用メモリ４２に記憶されている。ステップＳ５では、記憶処理部５２は、前方現画像から切り出された認識用画像、および、後方現画像７２から切り出された認識用画像、それぞれから履歴画像を切り出す。
　図３の処理は繰り返し実行されており、２回目以降の図３の実行時には、履歴メモリ４３に、過去に取得した履歴画像がすでに記憶されており、かつ、過去に取得した履歴画像はステップＳ３の履歴移動演算で、車両２の移動分だけ相対座標が移動させられている。このステップＳ５で新たに履歴メモリ４３に記憶される履歴画像は、すでに履歴メモリ４３に記憶されている履歴画像と重ね合わされる。これらを重ねあわせた履歴画像を、以下、合成履歴画像という。合成履歴画像を作成する際、新たに記憶する履歴画像と、すでに記憶されている履歴画像とが同じ相対座標にある場合には、新たに記憶する履歴画像を上書きする。
　図６には、履歴画像として切り出す履歴画像切り出しエリア（以下、単に切り出しエリアと称す）６３を示している。また、図６には、車両範囲６４も示している。車両範囲６４は、後方現画像７２に対する車両２の範囲を説明するための図形である。
　図６において、切り出しエリア６３と車両範囲６４とが重なっていないことから分かるように、切り出しエリア６３は、バンパーやトレーラーフックなど車両２の一部が写っていないエリアである。
　また、切り出しエリア６３は矩形であり、長辺が車両２の幅方向に平行、短辺が車両２の前後方向に平行である。切り出しエリア６３は、車両２の走行により、履歴画像の相対座標が逐次移動し、かつ、新たな履歴画像が履歴メモリ４３に記憶された場合に、合成履歴画像に欠けがないように大きさが設定されている。切り出しエリア６３の詳しい説明は後述する。
　ステップＳ６～Ｓ８は画像合成部５７が行う処理である。ステップＳ６では、画像合成部５７は、車両平面サイズを取得する。車両平面サイズは、車長と車幅からなり、所定のメモリに予め記憶されている。ステップＳ７では、画像合成部５７は、履歴メモリ４３に記憶されている合成履歴画像から、出力画像が使用する履歴画像部分３３（図２参照）を取得する。履歴画像部分３３は、表示部３０に表示される合成鳥瞰画像３１において、前方現画像部分３４と後方現画像部分３５とに挟まれた部分である。この履歴画像部分３３は、現画像には撮影されていない範囲であることから、履歴画像を使用するのである。
　ステップＳ８では、画像合成部５７は、画像メモリ４１に記憶された前方現画像から前方現画像エリアを切り出して図２に示す前方現画像部分３４とし、かつ、画像メモリ４１に記憶された後方現画像から後方現画像エリアを切り出して図２に示す後方現画像部分３５とする。前方現画像エリアおよび後方現画像エリアは、範囲が予め設定されている。また、このステップＳ８では、画像合成部５７は、これら前方現画像部分３４および後方現画像部分３５と、ステップＳ７で取得した履歴画像部分３３とを結合させて、合成鳥瞰画像３１を生成する。ステップＳ９は画像出力部５８が行う処理である。画像出力部５８は、ステップＳ８で生成した合成鳥瞰画像３１を、出力画像として表示部３０に出力する。
　（切り出しエリア６３の説明）
　すでに説明したように、切り出しエリア６３は、合成履歴画像を生成するために切り出すエリアであり、合成履歴画像は履歴画像部分３３を切り出すための画像である。合成履歴画像のうち履歴画像部分３３となる部分は、車両２の移動に伴い移動する。したがって、切り出しエリア６３は、車両２の動きによらず、合成履歴画像において履歴画像部分３３に欠けが生じないように、位置および大きさが設定される。
　図７は、この切り出しエリア６３の位置と大きさを説明する図である。図７において、旋回軸線８０は、車両２の後輪の車軸を通っており、車両２が最小回転半径で旋回した場合に旋回中心を通る線である。履歴エリア８１は、合成履歴画像から履歴画像部分３３として切り出すエリアである。この履歴エリア８１は車両２を基準として位置と大きさが定まる矩形である。
　右内周円弧８２は、車両２が最小回転半径で右旋回することで履歴エリア８１が移動したときの軌跡の内側端であり、左内周円弧８３は、車両２が最小回転半径で左旋回することで履歴エリア８１が移動したときの軌跡の内側端である。
　矩形形状である切り出しエリア６３において、車幅方向に平行な一対の辺のうち車両側の辺である車両側辺６３ａと車両２の前端との距離Ｌは、リアカメラ２０の撮影範囲により定まる。この車両側辺６３ａが右内周円弧８２、左内周円弧８３と交わっていないと、車両２が最小回転半径で移動したことに伴い履歴エリア８１が移動したときに、履歴エリア８１は、左右の端に合成履歴画像がない部分が生じる可能性がある。換言すれば、車両側辺６３ａが右内周円弧８２、左内周円弧８３と交わっていれば、車両２が最小回転半径で移動し、それに伴い履歴エリア８１が移動しても、履歴エリア８１の左右方向に合成履歴画像がない部分は生じない。
　したがって、切り出しエリア６３の車両側辺６３ａは、車両２の前端からの距離がＬであり、車両２の幅方向に平行であって、一端が右内周円弧８２の上にあり、他端が左内周円弧８３の上にあるように設定する。
　また、切り出しエリア６３において、車両前後方向に平行な車両前後方向辺６３ｂの長さは、車速（ｍ／ｓ）と、履歴画像の記憶周期（ｓ）とに基づいて定まる。すなわち、車速と記憶周期の積により得られる長さを車両前後方向辺６３ｂの長さとする。
　なお、フロントカメラ１０、リアカメラ２０が前方撮影画像、後方撮影画像７０を撮影するごとに履歴画像を履歴メモリ４３に記憶する。したがって、車速×記憶周期は、前回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されてから、今回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されるまでに車両２が移動したことにより生じる履歴エリア８１の移動長さを意味する。
　このようにして定まる矩形は、最小矩形に相当する。切り出しエリア６３は、この最小矩形で囲まれる範囲としてもよいが、誤差等を考慮して、最小矩形を含み、その最小矩形よりも大きいエリアとしてもよい。
　図７の説明は、後方現画像７２から履歴画像を切り出す切り出しエリア６３についての説明であるが、前方現画像から履歴画像を切り出す切り出しエリアも、同じ考え方で設定する。
　（実施形態の効果）
　以上、説明した本実施形態では、記憶処理部５２（Ｓ４、Ｓ５）が切り出す履歴画像は、鳥瞰画像から、車両２が写っていないエリアを切り出した画像である。したがって、履歴移動部５６（Ｓ３６）が、車両２の移動に応じて履歴画像を移動させても、車両２とは離れた場所に、バンパーやトレーラーフックが存在してしまうことはない。
　また、記憶処理部５２（Ｓ４、Ｓ５）が認識用メモリ４２に記憶された画像から切り出して履歴メモリ４３に記憶する履歴画像は、最小矩形に基づいて定まる切り出しエリア６３を切り出した画像である。
　図７を用いて説明したように、切り出しエリア６３が最小矩形と同じである場合、切り出しエリア６３の車両側辺６３ａは、一端が、車両２が最小回転半径で右旋回することで移動する履歴エリア８１の移動軌跡の内周円上にある。また、車両側辺６３ａの他端は、車両２が最小回転半径で左旋回することで移動する履歴エリア８１の移動軌跡の内周円上にある。切り出しエリア６３は最小矩形と同じあるいは最小矩形を含み、その最小矩形よりも大きいエリアである。
　したがって、鳥瞰画像から切り出しエリア６３を履歴画像として切り出すことにより、車両２が左右に最も移動し、その移動に伴い履歴エリア８１が移動しても、履歴メモリ４３に記憶される合成履歴画像は、履歴エリア８１内において、車両幅方向に画像がない部分が生じることが抑制される。
　また、切り出しエリア６３が最小矩形と同じである場合、切り出しエリア６３の車両前後方向辺６３ｂの長さは、車速と履歴画像の記憶周期の積により得られる長さである。そして、前述したように、切り出しエリア６３は、最小矩形と同じか、最小矩形を含み、最小矩形よりも大きいエリアである。
　したがって、鳥瞰画像から切り出しエリア６３を履歴画像として切り出せば、車両２が前後方向に移動しても、履歴メモリ４３に記憶される合成履歴画像は、履歴エリア８１内において車両前後方向に画像がない部分が生じることが抑制される。
　以上により、履歴メモリ４３に記憶されている合成履歴画像は、履歴エリア８１内において、車両左右方向にも、また、車両前後方向にも、画像がない部分が生じることが抑制される。
　また、記憶処理部５２が認識用メモリ４２から切り出す履歴画像は、最小矩形に基づいてエリアが定まる画像であることから、撮影画像の全範囲を鳥瞰変換した鳥瞰画像よりも小さい画像である。したがって、履歴メモリ４３のメモリサイズを小さくでき、履歴画像を記憶する処理時間も短くできる。
　また、記憶処理部５２は、画像メモリ４１に記憶されている現画像から、まず、認識用画像を切り出して認識用メモリ４２に記憶し（Ｓ４）、その認識用メモリ４２に記憶した認識用画像から履歴画像を切り出して履歴メモリ４３に記憶している（Ｓ５）。このようにすることで、現画像から切り出した画像を、認識用と合成鳥瞰画像表示用に用いることができる。
　また、鳥瞰変換部５１（Ｓ２）が鳥瞰変換する範囲は、認識画像切り出しエリア６２を含むように定められており、前方撮影画像および後方撮影画像７０の一部の範囲である。したがって、前方撮影画像および後方撮影画像７０の全範囲を鳥瞰変換するよりも、処理速度が向上し、かつ、画像メモリ４１が必要とする記憶領域も小さくできる。
　以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の変形例も本発明の技術的範囲に含まれる。さらに、本発明は、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。
　＜変形例１＞
　たとえば、前述の実施形態では、画像メモリ４１に記憶された現画像から、認識用画像を切り出して認識用メモリ４２に記憶し、その認識用メモリ４２から履歴画像を切り出していた。すなわち、現画像から切り出した画像を、認識用メモリ４２を介して履歴メモリ４３に記憶していた。しかし、現画像から履歴画像を切り出して履歴メモリ４３に記憶してもよい。
　＜変形例２＞
　前述の実施形態では、フロントカメラ１０、リアカメラ２０を備えていたが、いずれか一方のカメラのみを備えていてもよい。
　＜変形例３＞
　前述の実施形態では、画像メモリ４１に現画像が記憶されており、画像メモリ４１から、認識用画像が切り出されていた。しかし、画像メモリ４１を備えず、鳥瞰変換部５１が鳥瞰変換した画像から認識用画像おより履歴画像を切り出して、直接、認識用メモリ４２および履歴メモリ４３に記憶してもよい。
　＜変形例４＞
　前述の実施形態の車両２は、認識用メモリ４２、認識処理部３を備えていたが、画像認識処理を行う必要がない場合、これら認識用メモリ４２、認識処理部３が車両２に備えられていなくてもよい。
　＜変形例５＞
　画像メモリ４１あるいは認識用メモリ４２を、履歴メモリ４３として兼用して用いてもよい。すなわち、画像メモリ４１あるいは認識用メモリ４２の一部を履歴メモリ４３として用いてもよい。
　＜変形例６＞
　前述の実施形態では、認識用メモリ４２に記憶されている認識用画像から履歴画像を切り出して、履歴メモリ４３に記憶していた。しかし、認識用画像が履歴画像よりも小さい場合には、実施形態とは反対に、まず、履歴メモリ４３に履歴画像を記憶し、履歴メモリ４３から認識用画像を切り出して認識用メモリ４２に記憶してもよい。
　このように履歴メモリ４３から認識用画像を切り出すことで、認識用画像よりも大きい履歴画像をそのまま認識用画像として用いる場合に比較して、認識用画像を小さくできるので、認識処理の時間を短くできる。
　なお、実施形態のように、認識用メモリ４２から履歴画像を切り出す場合には、履歴画像よりも大きい認識用画像をそのまま履歴画像として用いる場合に比較して、履歴画像を小さくできるので、合成履歴画像を生成するための処理時間を短くできる。
　実施形態の車両周囲画像表示制御装置は、車両（２）に搭載されたカメラ（１０、２０）から車両の周囲を撮影した撮影画像を逐次取得する取得部（Ｓ１）と、取得部が取得した撮影画像を、逐次、鳥瞰変換して鳥瞰画像を生成する鳥瞰変換部（５１）と、鳥瞰変換部が逐次生成した鳥瞰画像から、車両が写っていないエリアにある履歴画像を逐次切り出して、履歴メモリ（４３）に記憶する記憶処理部（５２）と、履歴メモリに記憶した履歴画像を、車両の移動に応じて移動させる履歴移動部（５６）と、鳥瞰変換部が変換した最新の鳥瞰画像から現画像エリアを切り出した現画像部分（３４、３５）と、履歴メモリに記憶されている履歴画像から、現画像エリアよりも車両側のエリアである履歴エリア（８１）を切り出した履歴画像部分（３３）とを合成して、車両の周囲のうち、最新の鳥瞰画像に撮像されていないエリアを含んでいる鳥瞰画像である合成鳥瞰画像（３１）を生成する画像合成部（５７）と、画像合成部が生成した合成鳥瞰画像を表示部（３０）に出力する画像出力部（５８）と、を備える。記憶処理部が切り出す履歴画像は、最小矩形以上の大きさであって、最小矩形に基づいてエリアが定まる画像である。最小矩形は、一対の辺が、車両の車幅方向に平行な矩形である。最小矩形の車幅方向に平行な一対の辺のうち車両側の辺（６３ａ）は、一端が、車両が最小回転半径で右旋回することで移動する履歴エリアの移動軌跡の内周円上にあり、他端が、車両が最小回転半径で左旋回することで移動する履歴エリアの移動軌跡の内周円上にある。最小矩形の車両前後方向長さは、前回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されてから、今回、履歴画像を切り出す鳥瞰画像に対応する撮影画像が撮影されるまでに車両が移動したことにより生じる、履歴エリアの移動長さである。
　実施形態の車両周囲画像表示制御プログラムは、コンピュータを、車両（２）に搭載されたカメラ（１０、２０）から車両の周囲を撮影した撮影画像を逐次取得する取得部（Ｓ１）と、取得部が取得した撮影画像を、逐次、鳥瞰変換して鳥瞰画像を生成する鳥瞰変換部（５１）と、鳥瞰変換部が逐次生成した鳥瞰画像から、車両が写っていないエリアにある履歴画像を逐次切り出して、履歴メモリ（４３）に記憶する記憶処理部（５２）と、履歴メモリに記憶した履歴画像を、車両の移動に応じて移動させる履歴移動部（５６）と、鳥瞰変換部が変換した最新の鳥瞰画像から現画像エリアを切り出した現画像部分（３４、３５）と、履歴メモリに記憶されている履歴画像から、現画像エリアよりも車両側のエリアである履歴エリア（８１）を切り出した履歴画像部分（３３）とを合成して、車両の周囲のうち、最新の鳥瞰画像に撮像されていないエリアを含んでいる鳥瞰画像である合成鳥瞰画像（３１）を生成する画像合成部（５７）と、画像合成部が生成した合成鳥瞰画像を表示部（３０）に出力する画像出力部（５８）として機能させ、コンピュータにより読み取り可能な記録媒体に記憶されている。記憶処理部が切り出す履歴画像は、最小矩形以上の大きさであって、最小矩形に基づいてエリアが定まる画像である。最小矩形は、一対の辺が、車両の車幅方向に平行な矩形である。最小矩形の車幅方向に平行な一対の辺のうち車両側の辺（６３ａ）は、一端が、車両が最小回転半径で右旋回することで移動する履歴エリアの移動軌跡の内周円上にあり、他端が、車両が最小回転半径で左旋回することで移動する履歴エリアの移動軌跡の内周円上にある。最小矩形の車両前後方向長さは、前回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されてから、今回、履歴画像を切り出す鳥瞰画像に対応する撮影画像が撮影されるまでに車両が移動したことにより生じる、履歴エリアの移動長さである。
　これらの実施形態によれば、記憶処理部が切り出す履歴画像は、鳥瞰画像から、車両が写っていないエリアを切り出した画像である。したがって、履歴移動部が、車両の移動に応じて履歴画像を移動させても、車両とは離れた場所に、バンパーやトレーラーフックが存在してしまうことはない。
　また、記憶処理部が切り出す履歴画像は、最小矩形に基づいてエリアが定まる画像である。最小矩形の車幅方向に平行な一対の辺のうち車両側の辺は、一端が、車両が最小回転半径で右旋回することで移動する履歴エリアの移動軌跡の内周円上にあり、他端は、車両が最小回転半径で左旋回することで移動する履歴エリアの移動軌跡の内周円上にある。
　したがって、鳥瞰画像から最小矩形またはそれよりも大きいエリアを履歴画像として切り出せば、車両が左右に最も移動し、その移動に伴い履歴エリアが移動しても、履歴メモリに記憶される履歴画像は、履歴エリア内において、車両幅方向に履歴画像がない部分が生じることが抑制される。
　また、最小矩形の車両前後方向長さは、前回、履歴画像を切り出した鳥瞰画像に対応する撮影画像が撮影されてから、今回、履歴画像を切り出す鳥瞰画像に対応する撮影画像が撮影されるまでに車両が移動したことにより生じる、履歴エリアの移動長さである。
　したがって、鳥瞰画像から最小矩形またはそれよりも大きいエリアを履歴画像として切り出せば、車両が前後方向に移動しても、履歴メモリに記憶される履歴画像は、履歴エリア内において車両前後方向に履歴画像がない部分が生じることが抑制される。以上により、履歴メモリに記憶されている履歴画像は、履歴エリア内に画像がない部分が生じることが抑制される。
　また、記憶処理部が切り出す履歴画像は、最小矩形に基づいてエリアが定まる画像であることから、撮影画像の全範囲を鳥瞰変換した鳥瞰画像よりも小さい画像である。したがって、履歴メモリが必要とするメモリサイズを小さくでき、かつ、履歴画像を記憶する処理時間も短くできる。
１：車両周囲画像表示システム　２：車両　３：認識処理部　１０：フロントカメラ　２０：リアカメラ　３０：表示部　３１：合成鳥瞰画像　３２：車両図形　３３：履歴画像部分　３４：前方現画像部分　３５：後方現画像部分　４１：画像メモリ　４２：認識用メモリ　４３：履歴メモリ　５０：制御装置　５１：鳥瞰変換部　５２：記憶処理部　５３：移動距離推定部　５４：舵角推定部　５５：車両移動量演算部　５６：履歴移動部　５７：画像合成部　５８：画像出力部　６１：駐車枠線　６２：認識画像切り出しエリア　６３：切り出しエリア　６３ａ：車両側辺　６３ｂ：車両前後方向辺　６４：車両範囲　７０：後方撮影画像　７２：後方現画像　８０：旋回軸線　８１：履歴エリア　８２：右内周円弧　８３：左内周円弧

Claims (4)

  1. 　車両（２）に搭載されたカメラ（１０、２０）から前記車両の周囲を撮影した撮影画像を逐次取得する取得部（Ｓ１）と、
    　前記取得部が取得した前記撮影画像を、逐次、鳥瞰変換して鳥瞰画像を生成する鳥瞰変換部（５１）と、
    　前記鳥瞰変換部が逐次生成した前記鳥瞰画像から、前記車両が写っていないエリアにある履歴画像を逐次切り出して、履歴メモリ（４３）に記憶する記憶処理部（５２）と、
    　前記履歴メモリに記憶した前記履歴画像を、前記車両の移動に応じて移動させる履歴移動部（５６）と、
    　前記鳥瞰変換部が変換した最新の前記鳥瞰画像から現画像エリアを切り出した現画像部分（３４、３５）と、前記履歴メモリに記憶されている前記履歴画像から、前記現画像エリアよりも前記車両側のエリアである履歴エリア（８１）を切り出した履歴画像部分（３３）とを合成して、前記車両の周囲のうち、最新の前記鳥瞰画像に撮像されていないエリアを含んでいる前記鳥瞰画像である合成鳥瞰画像（３１）を生成する画像合成部（５７）と、
    　前記画像合成部が生成した前記合成鳥瞰画像を表示部（３０）に出力する画像出力部（５８）と、を備えた車両周囲画像表示制御装置であって、
    　前記記憶処理部が切り出す前記履歴画像は、最小矩形以上の大きさであって、前記最小矩形に基づいてエリアが定まる画像であり、
    　前記最小矩形は、
    　一対の辺が、前記車両の車幅方向に平行な矩形であって、
    　前記最小矩形の車幅方向に平行な一対の辺のうち前記車両側の辺（６３ａ）は、一端が、前記車両が最小回転半径で右旋回することで移動する前記履歴エリアの移動軌跡の内周円上にあり、他端が、前記車両が最小回転半径で左旋回することで移動する前記履歴エリアの移動軌跡の内周円上にあり、
    　前記最小矩形の車両前後方向長さは、前回、前記履歴画像を切り出した前記鳥瞰画像に対応する前記撮影画像が撮影されてから、今回、前記履歴画像を切り出す前記鳥瞰画像に対応する前記撮影画像が撮影されるまでに前記車両が移動したことにより生じる、前記履歴エリアの移動長さである、ことを特徴とする車両周囲画像表示制御装置。
  2. 　請求項１において、
    　前記記憶処理部は、前記鳥瞰画像から、前記履歴画像を含んでいる認識用画像を切り出して、画像認識処理を行うために前記鳥瞰画像を記憶する認識用メモリ（４２）に記憶し、前記認識用メモリから、前記履歴画像を切り出して前記履歴メモリに記憶することを特徴とする車両周囲画像表示制御装置。
  3. 　請求項２において、
    　前記鳥瞰変換部は、前記撮影画像のうち、前記履歴画像に基づいて定まるエリアを鳥瞰変換することを特徴とする車両周囲画像表示制御装置。
  4. 　コンピュータを、
    　車両（２）に搭載されたカメラ（１０、２０）から前記車両の周囲を撮影した撮影画像を逐次取得する取得部（Ｓ１）と、
    　前記取得部が取得した前記撮影画像を、逐次、鳥瞰変換して鳥瞰画像を生成する鳥瞰変換部（５１）と、
    　前記鳥瞰変換部が逐次生成した前記鳥瞰画像から、前記車両が写っていないエリアにある履歴画像を逐次切り出して、履歴メモリ（４３）に記憶する記憶処理部（５２）と、
    　前記履歴メモリに記憶した前記履歴画像を、前記車両の移動に応じて移動させる履歴移動部（５６）と、
    　前記鳥瞰変換部が変換した最新の前記鳥瞰画像から現画像エリアを切り出した現画像部分（３４、３５）と、前記履歴メモリに記憶されている前記履歴画像から、前記現画像エリアよりも前記車両側のエリアである履歴エリア（８１）を切り出した履歴画像部分（３３）とを合成して、前記車両の周囲のうち、最新の前記鳥瞰画像に撮像されていないエリアを含んでいる前記鳥瞰画像である合成鳥瞰画像（３１）を生成する画像合成部（５７）と、
    　前記画像合成部が生成した前記合成鳥瞰画像を表示部（３０）に出力する画像出力部（５８）として機能させる、前記コンピュータにより読み取り可能な記録媒体に記憶された車両周囲画像表示制御プログラムであって、
    　前記記憶処理部が切り出す前記履歴画像は、最小矩形以上の大きさであって、前記最小矩形に基づいてエリアが定まる画像であり、
    　前記最小矩形は、
    　一対の辺が、前記車両の車幅方向に平行な矩形であって、
    　前記最小矩形の車幅方向に平行な一対の辺のうち前記車両側の辺（６３ａ）は、一端が、前記車両が最小回転半径で右旋回することで移動する前記履歴エリアの移動軌跡の内周円上にあり、他端が、前記車両が最小回転半径で左旋回することで移動する前記履歴エリアの移動軌跡の内周円上にあり、
    　前記最小矩形の車両前後方向長さは、前回、前記履歴画像を切り出した前記鳥瞰画像に対応する前記撮影画像が撮影されてから、今回、前記履歴画像を切り出す前記鳥瞰画像に対応する前記撮影画像が撮影されるまでに前記車両が移動したことにより生じる、前記履歴エリアの移動長さである、ことを特徴とする車両周囲画像表示制御プログラム。
PCT/JP2016/056016 2015-03-17 2016-02-29 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム WO2016147846A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112016001238.1T DE112016001238B4 (de) 2015-03-17 2016-02-29 Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und fahrzeugumgebungsbildanzeigesteuerungsprogramm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-053850 2015-03-17
JP2015053850A JP6464846B2 (ja) 2015-03-17 2015-03-17 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム

Publications (1)

Publication Number Publication Date
WO2016147846A1 true WO2016147846A1 (ja) 2016-09-22

Family

ID=56918912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056016 WO2016147846A1 (ja) 2015-03-17 2016-02-29 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム

Country Status (3)

Country Link
JP (1) JP6464846B2 (ja)
DE (1) DE112016001238B4 (ja)
WO (1) WO2016147846A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062976A1 (ja) * 2022-09-22 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002120675A (ja) * 2000-10-17 2002-04-23 Mitsubishi Electric Corp 車両周辺監視支援装置
JP2003191810A (ja) * 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4156214B2 (ja) 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP2007102798A (ja) 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
JP5549235B2 (ja) 2010-01-20 2014-07-16 株式会社デンソー 運転支援装置
JP6003226B2 (ja) 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002120675A (ja) * 2000-10-17 2002-04-23 Mitsubishi Electric Corp 車両周辺監視支援装置
JP2003191810A (ja) * 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置

Also Published As

Publication number Publication date
DE112016001238B4 (de) 2022-06-09
JP2016174300A (ja) 2016-09-29
DE112016001238T5 (de) 2017-12-14
JP6464846B2 (ja) 2019-02-06

Similar Documents

Publication Publication Date Title
JP5120880B2 (ja) 画像処理装置及び画像処理方法
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN108886602B (zh) 信息处理装置
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2013246493A (ja) 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP2016168877A (ja) 車両用視認装置
WO2018123185A1 (ja) 映像生成装置、映像生成システム、映像生成方法およびプログラム
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2014129093A (ja) 車両用周辺監視装置
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2010015346A (ja) 周辺監視装置
KR20200047257A (ko) 차량 주위 영상 표시 시스템 및 차량 주위 영상 표시 방법
JP2019175133A (ja) 画像処理装置、画像表示システムおよび画像処理方法
JP2015171106A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
JP2017098785A (ja) 表示制御装置及び表示制御プログラム
JP4317046B2 (ja) 駐車支援システム
WO2016147846A1 (ja) 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム
US20200267353A1 (en) Display processing device
JP2007249814A (ja) 画像処理装置及び画像処理プログラム
JP2010130413A (ja) 周辺状況表示装置
JP5395373B2 (ja) 周辺監視装置
WO2021131481A1 (ja) 表示装置、表示方法及び表示プログラム
JP2019202584A (ja) 画像処理装置および画像処理方法
JP6519409B2 (ja) 車両周辺画像表示制御装置及び車両周辺画像表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16764676

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112016001238

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16764676

Country of ref document: EP

Kind code of ref document: A1