WO2014006793A1 - 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体 - Google Patents

車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体 Download PDF

Info

Publication number
WO2014006793A1
WO2014006793A1 PCT/JP2013/001712 JP2013001712W WO2014006793A1 WO 2014006793 A1 WO2014006793 A1 WO 2014006793A1 JP 2013001712 W JP2013001712 W JP 2013001712W WO 2014006793 A1 WO2014006793 A1 WO 2014006793A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
history
area
determination
Prior art date
Application number
PCT/JP2013/001712
Other languages
English (en)
French (fr)
Inventor
丙辰 王
博彦 柳川
真和 竹市
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to EP13813227.9A priority Critical patent/EP2846542A4/en
Priority to CN201380035388.2A priority patent/CN104429059A/zh
Publication of WO2014006793A1 publication Critical patent/WO2014006793A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present disclosure relates to a vehicle surrounding image display control device, a vehicle surrounding image display control method, and a continuous tangible computer-readable medium including instructions including the method.
  • a history synthesis technique in which past captured images around the host vehicle are displayed in accordance with the amount of movement of the host vehicle (see Patent Document 1). For example, when the camera is a rear camera that captures the rear of the vehicle, as shown in FIG. 10, a history area H for storing surrounding bird's-eye images except for the rear of the vehicle 90 and a bird's-eye image behind the vehicle 90. And a real-time area R for storing the data on the memory.
  • the bird's-eye view image of the latest photographed image is overwritten on the real-time region R on the memory, and the display images of the history region H and the real-time region R are displayed on the image display device, and vehicle information (steering angle, vehicle speed, etc.) is used.
  • vehicle information steering angle, vehicle speed, etc.
  • the movement of the vehicle 90 is calculated, and the image is moved in the history area H and the real-time area R so that the movement opposite to the calculated movement of the vehicle 90 is performed.
  • the image displayed on the image display device when the vehicle 90 moves backward is the image in the real-time region R as the vehicle 90 moves backward in the order of FIGS. 11A to 11D. It moves to the history area H sequentially. Therefore, the range of the bird's-eye view image included in the history area H is sequentially expanded, and the display range around the vehicle 90 is expanded.
  • luminance change patterns 91 to 94 for example, the vehicle 90
  • the luminance change pattern is replicated in the history region H and continues to move as the vehicle 90 moves. Therefore, in the display image displayed on the image display device, the image of the luminance change pattern is enlarged and becomes a striped pattern, and the display image is hard to see around the vehicle 90.
  • the present disclosure aims to provide a vehicle tangible computer display medium comprising a vehicle surrounding image display control device, a vehicle surrounding image display control method, and instructions including the method.
  • a vehicle surrounding image display control apparatus, a vehicle surrounding image display control method, and a continuous tangible computer-readable medium comprising instructions including the method, and moving a captured image around the own vehicle according to the amount of movement of the own vehicle from above In the history synthesis technique for displaying from the above viewpoint, the possibility that the luminance change pattern in the vicinity of the host vehicle is enlarged with the movement of the vehicle in the display image is reduced.
  • the vehicle surrounding image display control device includes: an acquisition device that sequentially acquires captured images from an in-vehicle camera that repeatedly captures the periphery of the vehicle; and each luminance in a plurality of determination regions in each captured image
  • a luminance analyzer that calculates the amount of change, and a determination area that has a luminance change amount less than a predetermined threshold is selected as a history creation area based on the calculation result of the luminance analyzer, and a determination that the luminance change amount is greater than or equal to the predetermined threshold
  • the history creation area determination device that excludes the area from the history creation area, and the history creation image in the history creation area in each captured image, together with the vehicle image, from the viewpoint of looking down from above the vehicle, The relative arrangement of the history creation image with respect to the vehicle image is changed according to the amount of movement of the vehicle based on the vehicle behavior information input from the vehicle.
  • a display control unit for displaying.
  • the luminance change amount in a plurality of determination regions in the captured image is calculated, and a determination region whose luminance change amount is less than a predetermined threshold is selected as the history creation region, and the luminance change amount
  • a determination region having a predetermined threshold value or more from the history creation area it is possible to reduce the possibility that the luminance change pattern in the vicinity of the host vehicle is enlarged in the display image as the vehicle moves.
  • the vehicle surrounding image display method sequentially acquires captured images from an in-vehicle camera that repeatedly captures the periphery of the vehicle, and calculates a luminance change amount in a plurality of determination regions in each captured image. Based on the calculation result of the luminance change amount, a determination region having a luminance change amount less than a predetermined threshold is selected as a history creation region, and a determination region having a luminance change amount greater than or equal to a predetermined threshold is excluded from the history creation region.
  • the vehicle behavior information input from the vehicle is displayed on the image display device from the viewpoint of looking down from above the vehicle, together with the vehicle image, the history creation image in the history creation region in each captured image. And changing the relative arrangement of the history creating image with respect to the vehicle image in accordance with the amount of movement of the vehicle based on the display.
  • the luminance change amount in a plurality of determination regions in the captured image is calculated, and a determination region whose luminance change amount is less than a predetermined threshold is selected as a history creation region.
  • the persistent tangible computer-readable medium sequentially acquires captured images from an in-vehicle camera that repeatedly captures the surroundings of the vehicle, and calculates luminance change amounts in a plurality of determination regions in each captured image. Then, based on the calculation result of the luminance change amount, a determination area whose luminance change amount is less than a predetermined threshold is selected as a history creation area, and a determination area whose luminance change amount is equal to or greater than a predetermined threshold is excluded from the history generation area. Then, the history creation image in the history creation area in each captured image is displayed on the image display device together with the vehicle image from a viewpoint looking down from above the vehicle, and the vehicle behavior inputted from the vehicle is displayed.
  • a command for changing and displaying a relative arrangement of the history creation image with respect to the vehicle image according to the amount of movement of the vehicle based on the information Includes a computer implemented method for controlling the display of the vehicle surroundings image, comprising the instructions to be performed by a computer.
  • the luminance change amount in a plurality of determination regions in the captured image is calculated, and a determination region whose luminance change amount is less than a predetermined threshold is selected as a history creation region, and the luminance change amount
  • a determination region having a predetermined threshold value or more from the history creation area it is possible to reduce the possibility that the luminance change pattern in the vicinity of the host vehicle is enlarged in the display image as the vehicle moves.
  • the vehicle surrounding image display control device includes an acquisition device that sequentially acquires captured images from an in-vehicle camera that repeatedly captures the periphery of the vehicle, and a real-time that stores each captured image acquired from the in-vehicle camera.
  • An area a memory having a history area for storing a history image, a luminance analysis apparatus for calculating each luminance change amount in a plurality of determination areas of each captured image stored in the real-time area, and the luminance analysis apparatus Based on the calculation result, a history creation area determination device that selects a determination area having a luminance change amount less than a predetermined threshold as a history creation area and excludes a determination area having a luminance change amount greater than or equal to a predetermined threshold from the history creation area And the history creation image in the history creation area is stored in the first sub-history area of the history area of the memory, and is based on the vehicle behavior information input from the vehicle.
  • the history creating image in the first sub history area is overwritten on the second sub history area of the memory history area, and the history image in the second sub history area and the A display control device for displaying the history image in the first sub-history region on the image display device from a viewpoint of looking down from above the vehicle.
  • the luminance change amount in a plurality of determination regions in the captured image is calculated, and a determination region whose luminance change amount is less than a predetermined threshold is selected as the history creation region, and the luminance change amount
  • a determination region having a predetermined threshold value or more from the history creation area it is possible to reduce the possibility that the luminance change pattern in the vicinity of the host vehicle is enlarged in the display image as the vehicle moves.
  • FIG. 1 is a configuration diagram of a vehicle surrounding image display system according to an embodiment.
  • FIG. 2 is a diagram showing the positional relationship of the image stored in the real-time region R in the memory with respect to the vehicle.
  • FIG. 3 is a diagram showing the positional relationship of the image stored in the history area in the memory with respect to the vehicle.
  • FIG. 4 is a configuration diagram of the display image.
  • FIG. 5 is a flowchart of processing executed by the control device.
  • FIG. 6 is an example of an average luminance distribution graph of the second sub-real time region
  • FIG. 7 is a diagram showing to which area in the first sub-history area the history creation area is copied.
  • FIG. 8A is a diagram showing a display image created at the first execution opportunity
  • FIG. 8B is a diagram showing a display image created at the second execution opportunity
  • FIG. 8C is a diagram showing a display image created at the third execution opportunity
  • FIG. 8D is a diagram showing a display image created at the fourth execution opportunity
  • FIG. 8E is a diagram showing a display image created at the fifth execution opportunity
  • FIG. 8F is a diagram showing a display image created at the sixth execution opportunity
  • FIG. 9A is a diagram illustrating a state in which the image of the second real-time area is copied to the first sub-history area at the first execution opportunity
  • FIG. 9A is a diagram illustrating a state in which the image of the second real-time area is copied to the first sub-history area at the first execution opportunity
  • FIG. 9B is a diagram illustrating a state in which the image of the second real-time area is copied to the first sub-history area at the second execution opportunity
  • FIG. 9C is a diagram illustrating a state in which an image of the second real-time area is copied to the first sub-history area at the third execution opportunity
  • FIG. 9D is a diagram illustrating a state in which the image of the second real-time area is copied to the first sub-history area at the fourth execution opportunity
  • FIG. 9E is a diagram illustrating a state in which the image of the second real-time area is copied to the first sub-history area at the fifth execution opportunity
  • FIG. 9F is a diagram illustrating a state in which the image of the second real-time area is copied to the first sub-history area at the sixth execution opportunity;
  • FIG. 10 is a diagram showing a history area and a real-time area in a conventional memory.
  • FIG. 11A is a diagram showing a synthetic bird's-eye view image that changes as the vehicle moves backward as a conventional technique.
  • FIG. 11B is a diagram showing a synthetic bird's-eye view image that changes as the vehicle moves backward as a conventional technique;
  • FIG. 11C is a diagram showing a synthetic bird's-eye view image that changes as the vehicle moves backward as a conventional technique.
  • FIG. 11A is a diagram showing a synthetic bird's-eye view image that changes as the vehicle moves backward as a conventional technique.
  • FIG. 11B is a diagram showing a synthetic bird's-eye view image that changes as the vehicle moves backward as a conventional technique;
  • FIG. 11C is a diagram showing
  • FIG. 11D is a diagram showing a synthesized bird's-eye view image that changes as the vehicle moves backward as a conventional technique
  • FIG. 12A is a diagram showing a synthesized bird's-eye image that changes as the vehicle moves backward when there is a luminance change pattern caused by the vehicle, as a conventional technique
  • FIG. 12B is a diagram showing a synthesized bird's-eye image that changes as the vehicle moves backward when there is a luminance change pattern caused by the vehicle, as a conventional technique.
  • FIG. 12C is a diagram showing a synthesized bird's-eye image that changes as the vehicle moves backward when there is a luminance change pattern caused by the vehicle, as a conventional technique;
  • FIG. 12D is a diagram illustrating a synthesized bird's-eye image that changes as the vehicle moves backward when there is a luminance change pattern caused by the vehicle as a conventional technique.
  • the vehicle surrounding image display system is mounted on a vehicle, and includes an in-vehicle camera 1, a control device 2 (corresponding to an example of a vehicle surrounding image display control device), and an image display device 3. I have.
  • the in-vehicle camera 1 is fixedly mounted near the rear end of the vehicle, and repeatedly captures the surroundings of the vehicle, specifically, a predetermined range behind the vehicle (for example, in a 1/30 second cycle).
  • the obtained image data of the predetermined range is sequentially output to the control device 2.
  • the captured image is repeatedly input from the in-vehicle camera 1 to the control device 2, and shift range information, vehicle speed information, and steering angle (or yaw rate) information are repeatedly input from the host vehicle. Yes.
  • the control device 2 functions as a bird's-eye conversion unit 21, an image composition unit 22, a vehicle motion calculation unit 23, and a history creation region determination unit 24 by executing predetermined processes.
  • the bird's-eye conversion unit 21 performs a known bird's-eye conversion on the captured image input from the in-vehicle camera 1 so that the captured image is viewed from above (directly or diagonally below) the host vehicle. To convert.
  • the image composition unit 22 synthesizes the bird's-eye image of the latest photographed image and the bird's-eye image of the past photographed image, and the synthesized bird's-eye image obtained as a result of the composition is displayed on the image display device 3 as a display image. Output.
  • the vehicle motion calculation unit 23 performs the movement of the host vehicle according to the well-known Ackerman model based on the shift range information, the vehicle speed information, and the steering angle (or yaw rate) information input from the host vehicle. Posture change amount) is calculated.
  • the history creation area determination unit 24 determines which area in the latest photographed image is the history creation area.
  • a known microcomputer may be used as the control device 2 configured as described above.
  • the image display device 3 is a device that displays a display image input from the control device 2, and is arranged at a position where a driver in the vehicle can see the displayed display image (that is, a synthesized bird's-eye view image). Is done.
  • a writable memory for example, RAM mounted on the control device 2
  • a real-time area R as shown in FIG. 2 and a history area H as shown in FIG. 3 are secured in advance.
  • the addresses in the real time area R and the history area H are pre-assigned relative positions with respect to the virtual vehicle 10 that is virtually arranged. 2 and 3, the positional relationship between the addresses of the real time region R and the history region H and a predetermined host vehicle 10 is shown.
  • the real-time area R is an area for storing an image obtained by bird's-eye conversion of a part of the latest photographed image photographed by the in-vehicle camera 1, and includes a first sub-real-time area R1 and a second sub-real-time area. Divided into R2.
  • each address in the real-time region R has a one-to-one correspondence with any position on the road surface within the solid-line rectangular range immediately behind the host vehicle 10. The entire solid rectangular area is covered.
  • the first sub real-time area R1 covers a rectangular area on the far side of the real-time area R
  • the second sub-real-time area R2 covers a rectangular area on the near-side road surface of the real-time area R. is doing.
  • the history area H is an area for storing an image obtained by bird's-eye conversion of both the latest photographed image and the latest photographed image among the photographed images of the in-vehicle camera 1, and the first sub-history area H1 and the second sub-history. Divided into a region H2.
  • each address of the history area H has a one-to-one correspondence with any position on the road surface within the solid rectangular range immediately behind the host vehicle 10, and The entire solid rectangular area is covered.
  • the first sub-history area H1 covers a rectangular area on the road surface immediately behind the host vehicle 10 in the history area H, and the relative position of the cover range of the first sub-history area H1 with respect to the host vehicle 10
  • the range is the same as the cover range of the second sub real-time region R2.
  • the second sub-history area H ⁇ b> 2 is a rectangular area of the road surface at a position that cannot be captured by the in-vehicle camera 1 in the history area H, that is, a road surface directly below the host vehicle 10, It covers the area of the road surface on the front and side. Therefore, the bird's-eye view image stored in the second sub-history area H2 is a bird's-eye view image obtained by performing bird's-eye conversion on a past photographed image that is not the latest among the photographed images taken by the in-vehicle camera 1.
  • the display image D shown in FIG. 4 is synthesized based on the images stored in the real-time area R and the history area H and displayed on the image display device 3. Specifically, the bird's-eye view image in the second sub-history region H2, the bird's-eye view image in the first sub-real-time region R1, and the bird's-eye view image in the second sub-real-time region R2 are connected in an arrangement as shown in FIG. Becomes the display image D.
  • the control device 2 uses the real-time region R and the history region H as described above to repeatedly execute the process shown in the flowchart in FIG. 5 (specifically, every predetermined control cycle).
  • the control cycle may be, for example, 250 milliseconds.
  • the control device 2 functions as the bird's-eye conversion unit 21, the image composition unit 22, the vehicle motion calculation unit 23, and the history creation region determination unit 24 by executing the processing of FIG.
  • each of the real time region R and the history region H is an empty state from which no bird's-eye image data is included, in other words, , Only the data indicating the sky is included.
  • the control device 2 first determines in step 105 whether or not the shift position of the host vehicle is reverse (reverse position) based on the latest shift range information input. If it is not reverse, output of the display image D to the image display device is stopped, and data in each of the real time region R and the history region H is cleared to empty, and then the processing of FIG. Exit.
  • step 105 the shift position is reverse, and proceeds to step 110.
  • step 110 one input of the latest photographed image is received from the in-vehicle camera 1 and acquired.
  • step 115 a known bird's-eye conversion is performed on the latest photographed image acquired in the immediately preceding step 110.
  • the photographed image is converted into a bird's-eye view image of a viewpoint looking down from above (directly or diagonally below) the host vehicle.
  • this bird's-eye view image is a form of the photographed image because the pixel arrangement of the photographed image is changed by bird's-eye conversion.
  • step 115 a bird's-eye image of a predetermined portion that is a cover range of the real-time region R in FIG. 2 is cut out from the created bird's-eye image, and each pixel in the cut-out portion is assigned to each address of the real-time region R.
  • the real-time region R is stored so as to match the relative position.
  • a predetermined range of the one that is further away from the own vehicle 10 (for example, one that is separated from the own vehicle 10 by 1.8 m or more) out of the two parts divided in the front-rear direction of the own vehicle 10.
  • an image in a predetermined range closer to the own vehicle 10 (for example, less than 1.8 from the own vehicle 10) Save in the sub-real-time area R2.
  • the control device 2 functions as the bird's-eye conversion unit 21 by executing the process of step 115.
  • step 120 luminance analysis is performed on the bird's-eye view image stored in the second sub real-time region R2.
  • This luminance analysis is a process for calculating a luminance change amount (a spatial change amount, not a temporal change amount) in a plurality of determination regions in the second sub real-time region R2.
  • a distribution 30 of average luminance L as illustrated in FIG. 6 is calculated for a pixel group stored in a matrix arrangement vertically and horizontally in the second sub-real-time region R2. .
  • the horizontal axis of the graph of FIG. 6 represents the direction going backward from 0 in FIG. 2, and the vertical axis represents the average luminance L (Y) at each Y coordinate value (distance from the vehicle 10 along the Y coordinate axis direction). ).
  • the average luminance L at a certain Y coordinate value is arranged at the position of the Y coordinate value, and is in the X coordinate axis direction (the direction perpendicular to the Y coordinate axis and the left and right direction of the host vehicle 10) in FIG. This is the average luminance of the lined pixel group.
  • determination regions R21 to R26 are set by dividing the range of the Y coordinate value (from 0 cm to 180 cm) of the second sub real-time region R2 into six equal parts by distance. Then, in each of the determination areas R21 to R26, the amount of change in the determination area of the average luminance L (Y) is calculated.
  • the difference (luminance difference) between the maximum value and the minimum value in the determination area of the average luminance L (Y) is adopted as the amount of change.
  • the luminance difference in the determination region R21 is ⁇ H1
  • the luminance difference in the determination region R22 is ⁇ H2.
  • luminance L (Y) you may use the standard deviation of the brightness
  • step 125 the history creation area is determined based on the calculation result in the immediately preceding step 120 (that is, the amount of change in the average luminance L (Y) in each of the determination areas R21 to R26).
  • the control device 2 functions as the history creation area determination unit 24 by executing the process of step 125.
  • the determination of the history creation area in step 125 is performed as follows. First, all of the determination regions R21 to R26 are set as a history creation region. Next, the region R21 closest to the host vehicle 10 among the determination regions R21 to R26 is set as a determination target.
  • the determination region R21 is excluded from the history creation region, and the determination target is changed to the determination region R22 closest to the host vehicle 10 next to the current determination target region R21.
  • step 125 it is determined whether or not the amount of change in the average luminance L (Y) in the determination region that is the determination target is equal to or greater than a predetermined threshold value.
  • the average luminance L (Y) for all of the determination regions 21 to 26 is removed from the history creation region and the determination target is changed to the determination region closest to the host vehicle 10 next to the current determination target region. Until the change amount and the threshold value are compared, and then the process of step 125 is terminated.
  • the process immediately proceeds to step 125. Terminate the process.
  • step 125 As a result of such processing of step 125, among the determination areas 21 to 26, an area where the change amount of the average luminance L (Y) is equal to or greater than the threshold is continuously present from the determination area 21 to the rear of the host vehicle 10. Therefore, these consecutive determination areas are excluded from the history creation area.
  • the determination areas 21, 22, and 26 are used for history creation.
  • the determination areas 23 to 26 are included in the history creation area instead of the area.
  • step 130 the bird's-eye view image in the region that has become the history creation region among the determination regions 21 to 26 is copied to the first sub-history region H1.
  • the first sub-history region H ⁇ b> 1 is along the Y coordinate axis direction of FIG. 7 (the direction of traveling backward of the host vehicle 10 along the front-rear direction of the host vehicle 10).
  • Six copy destination areas H11 to H16 are set by dividing the range of the Y coordinate value (from 0 cm to 180 cm) into six equal parts by distance.
  • the bird's-eye view image in the determination area that has become the history creation area among the determination areas R21 to R26 is selected as the history creation image, and the selected history creation image is the copy destination area having the same distance from the host vehicle 10. Copy over.
  • the regions R22 to R26 of the determination regions R21 to R26 are history creation regions, and the bird's-eye images in the regions R22 to R26 each cover the same position in the first sub history region H1. Are copied in the same relative arrangement to the copy destination areas H12 to H16.
  • a display image D is created. Specifically, as shown in FIG. 4, the second sub-history region H2, the first sub-real time region R1, and the second sub-real time region R2 are connected as shown in FIG. The images are combined, and a predetermined vehicle image 10 representing the host vehicle 10 is superimposed on the position of the virtual host vehicle 10 in the combined image.
  • the bird's-eye view image in the second sub-history area H2 (image taken in the past with the vehicle-mounted camera 1) is also displayed transparently at the position where the image for the host vehicle is superimposed.
  • the display image D obtained as a result of such composition and superimposition is input from the control device 2 to the image display device 3 every time it is created.
  • the image display device 3 uses the display image D as a driver. To display.
  • the driver can check the periphery of the host vehicle 10 from the viewpoint of looking down the host vehicle 10 from above by viewing the display image D. Further, a portion that is actually covered and hidden by the host vehicle 10 can also be seen from above through the host vehicle 10.
  • the control device 2 functions as the image composition unit 22 by executing the process of step 135.
  • step 140 various vehicle behavior information input from the host vehicle 10, that is, shift range information, vehicle speed information, and the latest information on the steering angle (or yaw rate) (using past information additionally).
  • the amount of movement of the host vehicle (movement vector and attitude change angle) according to the well-known Ackerman model is calculated.
  • the amount of motion referred to here is a period from the previous captured image acquisition timing (previous execution time of the processing in FIG. 5) to the current captured image acquisition timing (current execution time of the processing in FIG. 5).
  • This is a movement amount indicating the movement of the vehicle (that is, the amount of movement at the captured image acquisition interval) in (the immediately preceding control cycle).
  • the control device 2 functions as the vehicle motion calculation unit 23 by executing the process of step 140.
  • step 145 based on the movement amount of the host vehicle calculated in the immediately preceding step 140, how the surroundings of the host vehicle (assumed to be fixed on the road surface) move relative to the host vehicle.
  • the relative movement amount indicating whether to do is calculated.
  • a movement opposite to the movement amount of the host vehicle calculated in the immediately preceding step 140 is calculated.
  • the movement vector of the host vehicle is ( ⁇ , ⁇ ) and the posture change angle is ⁇
  • the movement vector is ( ⁇ , ⁇ ) and the posture change angle is the amount of relative movement around the host vehicle. Is - ⁇ .
  • the bird's-eye view image in the history area H is displayed at the next display timing (step 135 of the execution opportunity of the next process in FIG. 5) according to the relative relative movement amount calculated as described above.
  • the pixels stored in the history area H (of course, including the pixels of the history creation image) are moved so as to reflect the arrangement of the surroundings of the host vehicle at the execution timing. In this way, the relative arrangement of the history creation image with respect to the position of the virtual vehicle 10 is determined according to the amount of movement of the vehicle.
  • the relative movement amount at the boundary between the first sub history area H1 and the second sub history area H2, from the first sub history area H1 to the second sub history area H2, or the second sub history area Part of the bird's-eye view image moves from H2 to the first sub history area H1.
  • the vehicle is moving backward, so the former is used. Therefore, as the vehicle moves backward, the bird's-eye view image increases in the second sub-history area H2 that was empty at the beginning of the process of FIG. After step 145, the process for one time in FIG. 5 ends.
  • the control device 2 sequentially acquires the captured images for each control cycle from the in-vehicle camera by repeatedly executing the processing of FIG. 5 as described above for each control cycle (step 110).
  • the bird's-eye view is sequentially converted into a bird's-eye view image for each control cycle, and is overwritten and saved in the real-time region R (step 115).
  • a luminance change amount in a plurality of determination regions R21 to R26 in the real-time region R is calculated.
  • the control device 2 selects a determination region having a luminance change amount less than a predetermined threshold among the plurality of determination regions R21 to R26 as a history creation region, and the luminance change amount is a predetermined threshold value.
  • the process of excluding the determination area from the history creation area is sequentially performed for each control cycle (step 125).
  • the control device 2 sequentially copies the bird's-eye view images in the history creation area selected sequentially as a history creation image to the first sub-history area H1 for each control period (step 130).
  • a display image D obtained by combining the image in H2, the image in the real-time region R, and the own vehicle is sequentially displayed on the image display device 3 for each control period (step 135), and the vehicle behavior information input repeatedly from the vehicle is displayed.
  • the movement amount of the vehicle 10 is sequentially calculated based on the control period (step 140), and the relative arrangement of the copied history creation image with respect to the own vehicle 10 is changed according to the calculated movement amount.
  • the relative arrangement is sequentially determined for each control period (step 145).
  • FIGS. 8A to 8F and FIGS. 9A to 9F taking one example as an example. .
  • step 110 the in-vehicle camera 1
  • the latest photographed image is acquired from the image, and the photographed image is converted into a bird's eye view in step 115, and a part of the resulting bird's eye view image is cut out and overwritten in the real-time region R.
  • a luminance change pattern image 50 having a sharp luminance change is included immediately behind the vehicle 10.
  • the luminance change pattern image 50 is generated when the luminance changes in the vicinity of the vehicle 10 due to the presence of the vehicle 10 (for example, the shadow of the vehicle, the light being reflected or partially blocked by the vehicle). This is an image in which shading is changed.
  • Such a luminance change pattern image 50 has a property of moving with the vehicle 10 along with the vehicle 10.
  • step 120 following step 115 luminance analysis is performed on the second sub-real-time region R2 including such a luminance change pattern image 50.
  • the luminance change pattern image 50 is included in the determination region R21 in the second sub real-time region R2, and as a result, the amount of change in the average luminance L (Y) in the determination region R21 exceeds the threshold value.
  • the amount of change in the average luminance L (Y) in the determination regions R22 to R26 is less than the threshold value.
  • the determination area R21 is excluded as the history creation area, and only the determination areas R22 to R26 are selected as the history creation area. Then, at step 130, as shown in FIG. 9A, only the bird's-eye view images in the determination areas R22 to R26 are overwritten and copied to the copy destination areas H12 to H16, respectively.
  • step 135 the image in the second sub-history area H2 is synthesized with the image in the current real-time area R, and the vehicle image is transmitted to the position of the virtual host vehicle 10.
  • a superimposed image is created as a display image D.
  • the second sub-history area H2 is in an empty state that does not include any bird's-eye image data. Therefore, only the background colors such as white, black, and blue are displayed in the portion of the second sub history area H2 of the display image D.
  • step 140 the movement of the vehicle in the period corresponding to the immediately preceding control cycle is calculated.
  • the vehicle 10 recedes straight 24 cm (corresponding to 0.8 times the front-rear width of the determination region) during this period.
  • step 145 the image is moved forward in the history area H by an amount (24 cm) corresponding to the movement of the vehicle 10.
  • the relative arrangement of the history creation image with respect to the position of the virtual vehicle 10 is determined according to the amount of movement of the vehicle.
  • step 105 the control device 2 proceeds from step 105 to step 110, and acquires the latest captured image from the in-vehicle camera 1 in step 110.
  • step 115 the captured image is converted to a bird's-eye view, and a part of the resultant bird's-eye view image is cut out and overwritten in the real-time region R.
  • a brightness change pattern image 51 having a sharp brightness change is included immediately behind the vehicle 10. Since this luminance change pattern image 51 is an image generated for the same reason as the luminance change pattern image 50 that appeared in the second sub real-time region R2 at the previous execution opportunity of the processing of FIG. It is almost the same as the luminance change pattern image 50.
  • step 120 following step 115 luminance analysis is performed on the second sub-real-time region R2 including such a luminance change pattern image 51.
  • luminance analysis is performed on the second sub-real-time region R2 including such a luminance change pattern image 51.
  • the magnitude relationship between the change amount of the average luminance L (Y) in each of the determination regions R21 to R26 and the threshold value is the same as that in the previous execution opportunity step 120.
  • step 125 the determination area R21 is excluded as the history creation area, and only the areas R22 to R26 are selected as the history creation area. Then, in step 130, as shown in FIG. 9B, only the bird's-eye view images in the determination areas R22 to R26 are overwritten and copied to the copy destination areas H12 to H16, respectively.
  • the second sub-realtime area R2 is executed at the previous execution opportunity of the process of FIG.
  • the bird's-eye view image copied from is moving.
  • step 135 an image in which the image in the second sub-history area H2 is synthesized with the image in the current real-time area R and the vehicle image 10 is transparently superimposed is displayed. Created as an image D for use.
  • the position of the history creation image in the history area H (relative arrangement with respect to the position of the virtual vehicle 10) has changed in the previous execution opportunity step 145 in FIG. Therefore, the image is moved from the first sub history area H1 to the second sub history area H2.
  • the second sub history area H2 is still in an empty state that does not include any bird's-eye image data.
  • the bird's-eye view image (including the luminance change pattern image 50) of the determination region R21 is copied in step 130.
  • the bird's-eye view image (including the luminance change pattern image 50) should have been in the second history area H2.
  • step 135 in the execution opportunity of FIG. 5 the luminance change pattern image 50 is included in the display image, which represents a luminance change that does not actually exist as in the prior art.
  • the image continues to be displayed while moving as the vehicle 10 moves.
  • the change amount of the average luminance L (Y) in the determination region is compared with a threshold value, thereby finding the luminance change pattern image 50 generated by the presence of the vehicle 10 in the vicinity of the vehicle 10 and finding the detected luminance change pattern.
  • the determination area including the image 50 was excluded from the history creation area. Thereby, the possibility that the luminance change pattern image 50 remains in the display image D and deteriorates the visibility of the display image D can be reduced.
  • step 140 the movement of the vehicle in the period corresponding to the immediately preceding control cycle is calculated.
  • the vehicle 10 recedes straight 45 cm (corresponding to 1.5 times the front-rear width of the determination region) during this period.
  • step 145 the image is moved forward in the history area H by an amount (45 cm) corresponding to the amount of movement of the vehicle 10.
  • the relative arrangement of the history creation image with respect to the position of the virtual vehicle 10 is determined according to the amount of movement of the vehicle.
  • step 105 the control device 2 proceeds from step 105 to step 110, and acquires the latest photographed image from the in-vehicle camera 1 in step 110.
  • step 115 the captured image is converted to a bird's-eye view, and a part of the resultant bird's-eye view image is cut out and overwritten in the real-time region R.
  • the bird's-eye view image recorded in the second sub-real-time region R2 includes a luminance change pattern image 52 having a sharp luminance change immediately behind the vehicle 10, as shown in FIG. 8C. Since this luminance change pattern image 52 is an image that occurs for the same reason as the luminance change pattern image 51 that appeared in the second sub-real-time region R2 at the previous execution opportunity of the processing in FIG. This is almost the same as the luminance change pattern image 51.
  • step 120 following step 115 luminance analysis is performed on the second sub-real-time region R2 including such a luminance change pattern image 52.
  • luminance analysis is performed on the second sub-real-time region R2 including such a luminance change pattern image 52.
  • the magnitude relationship between the change amount of the average luminance L (Y) in each of the determination regions R21 to R26 and the threshold value is the same as that in the previous execution opportunity step 120.
  • step 125 the determination area R21 is excluded as the history creation area, and only the areas R22 to R26 are selected as the history creation area.
  • step 130 as shown in FIG. 9C, only the bird's-eye view images in the determination areas R22 to R26 are overwritten and copied to the copy destination areas H12 to H16, respectively.
  • the second sub-realtime area R2 is executed at the previous execution opportunity of the process of FIG.
  • the bird's-eye view image copied from is moving.
  • an image in which the image in the second sub-history region H2 is synthesized with the image in the current real-time region R and the vehicle image 10 is transparently superimposed is displayed. Created as an image D for use.
  • the position of the history creation image in the history area H (relative arrangement with respect to the position of the virtual vehicle 10) has changed in the previous execution opportunity step 145 in FIG.
  • the bird's-eye view image is moved from the first sub history area H1 (specifically, the copy destination areas H11 and H12) to the second sub history area H2.
  • the history creation in the second sub-history area H2 is arranged in correspondence with the relative arrangement of the history creation image changed in the history area H in the previous execution opportunity step 145 of FIG.
  • the image is displayed on the image display device.
  • the bird's-eye view image (including the luminance change pattern image 51) is stored in the second history in step 145. It should have been in the area H2. If this is the case, the luminance change pattern image 51 is to be included in the display image D at step 135 in the execution opportunity of FIG.
  • the luminance change pattern image 51 is found, and the determination region R21 including the found luminance change pattern image 51 is excluded from the history creation region. Thereby, the possibility that the luminance change pattern image 51 remains in the display image D and deteriorates the visibility of the display image D can be reduced.
  • step 140 the movement of the vehicle in the period corresponding to the immediately preceding control cycle is calculated.
  • the vehicle 10 recedes straight 30 cm (corresponding to the front-rear width of the determination region) during this period. Therefore, in step 145, the image is moved forward in the history area H by an amount (30 cm) corresponding to the amount of movement of the vehicle 10. In this way, the relative arrangement of the history creation image with respect to the position of the virtual vehicle 10 is determined according to the amount of movement of the vehicle.
  • step 105 the control device 2 proceeds from step 105 to step 110, and acquires the latest photographed image from the in-vehicle camera 1 in step 110.
  • step 115 the captured image is converted to a bird's-eye view, and a part of the resultant bird's-eye view image is cut out and overwritten in the real-time region R.
  • a brightness change pattern image 53 having a sharp brightness change is included immediately behind the vehicle 10.
  • This luminance change pattern image 53 is an image generated for the same reason as the luminance change pattern image 52 that appears in the second sub real-time region R2 at the previous execution opportunity of the processing of FIG.
  • the luminance change pattern images 50, 51, and 52 are entirely within the determination region R21, whereas the change image 53 protrudes from the determination region R21 and also enters the determination region R21.
  • the cause of the change image 53 changing with time may be a change in direction of the vehicle 10, a relative movement of the surrounding light source with respect to the vehicle 10, and the like.
  • step 120 following step 115 luminance analysis is performed on the second sub-real-time region R2 including the luminance change pattern image 53.
  • the magnitude relationship between the change amount of the average luminance L (Y) in each of the determination regions R21, R23 to R26 and the threshold value is the same as that in the previous execution opportunity step 120. It is assumed that the change amount of the average luminance L (Y) in the determination region R22 exceeds the threshold value as a result of the luminance change pattern image 53 protruding into the determination region R22.
  • step 125 not only the determination region R21 but also the determination region R22 is excluded as the history creation region, and only the regions R23 to R26 are selected as the history creation region. Then, in step 130, as shown in FIG. 9D, only the bird's-eye view images in the determination areas R23 to R26 are overwritten and copied to the copy destination areas H13 to H16, respectively.
  • the second sub-real time is executed at the previous execution opportunity of FIG. 5 by the process of step 145 of the previous execution opportunity of FIG.
  • the bird's-eye view image copied from the region R2 is moving.
  • step 135 an image in which the image in the second sub-history region H2 is synthesized with the image in the current real-time region R and the vehicle image 10 is transparently superimposed is displayed. Created as an image D for use.
  • the position of the history creation image in the history area H (relative arrangement with respect to the position of the virtual vehicle 10) has changed.
  • the bird's-eye view image is further moved from the first sub history area H1 (specifically, the copy destination area H11) to the second sub history area H2.
  • the area including the bird's-eye view image in the second sub history area H2 is increased.
  • the history creation in the second sub-history area H2 is arranged in correspondence with the relative arrangement of the history creation image changed in the history area H in the previous execution opportunity step 145 of FIG.
  • the image is displayed on the image display device.
  • the bird's-eye view image (including the luminance change pattern image 52) is stored in the second history in step 145. It should have been in the area H2. If this is the case, the luminance change pattern image 52 is to be included in the display image D in step 135 in the execution opportunity of FIG.
  • the brightness change pattern image 52 is found, and the determination area including the found brightness change pattern image 52 is excluded from the history creation area. Thereby, the possibility that the luminance change pattern image 52 continues to remain in the display image D and deteriorates the visibility of the display image D can be reduced.
  • step 140 the movement of the vehicle in the period corresponding to the immediately preceding control cycle is calculated.
  • the vehicle 10 recedes straight 36 cm (corresponding to 1.2 times the front-rear width of the determination region) during this period. Therefore, in step 145, the image is moved forward in the history area H by an amount (36 cm) corresponding to the movement of the vehicle 10. In this way, the relative arrangement of the history creation image with respect to the position of the virtual vehicle 10 is determined according to the amount of movement of the vehicle.
  • step 105 the control device 2 proceeds from step 105 to step 110, and acquires the latest photographed image from the in-vehicle camera 1 in step 110.
  • step 115 the captured image is converted to a bird's-eye view, and a part of the resultant bird's-eye view image is cut out and overwritten in the real-time region R.
  • a luminance change pattern image 54 having a sharp luminance change is included immediately behind the vehicle 10.
  • This luminance change pattern image 54 is an image generated for the same reason as the luminance change pattern image 53 that appeared in the second sub real-time region R2 at the previous execution opportunity of the processing of FIG. It is almost the same as the luminance change pattern image 53.
  • step 120 following step 115 luminance analysis is performed on the second sub-real-time region R2 including such a luminance change pattern image 54.
  • luminance analysis is performed on the second sub-real-time region R2 including such a luminance change pattern image 54.
  • the magnitude relationship between the change amount of the average luminance L (Y) in each of the determination regions R21 to R26 and the threshold value is the same as that in the previous execution opportunity step 120.
  • the determination areas R21 and R22 are excluded as the history creation area, and only the areas R23 to R26 are selected as the history creation area. Then, in step 130, as shown in FIG. 9E, only the bird's-eye view images in the determination areas R23 to R26 are overwritten and copied to the copy destination areas H13 to H16, respectively.
  • copy destination areas H11 and H12 that are not overwritten copy destinations this time are executed at the execution opportunity of the process of FIG. 5 the previous time and the previous time by the process of step 145 of the execution opportunity of the process of FIG.
  • the bird's-eye view image copied from the second sub real-time region R2 is moving.
  • step 135 an image in which the image in the second sub-history area H2 is synthesized with the image in the current real-time area R and the vehicle image 10 is transparently superimposed is displayed. Created as an image D for use.
  • the position of the history creation image in the history area H (relative arrangement with respect to the position of the virtual vehicle 10) has changed.
  • the bird's-eye view image is further moved from the first sub history area H1 (specifically, the copy destination areas H11 and 12) to the second sub history area H2.
  • the area including the bird's-eye view image in the second sub history area H2 is increased.
  • the history creation in the second sub-history area H2 is arranged in correspondence with the relative arrangement of the history creation image changed in the history area H in the previous execution opportunity step 145 of FIG.
  • the image is displayed on the image display device.
  • the bird's-eye view image (including the luminance change pattern image 53) is stored in the second history in step 145. It should have been in the area H2. If so, the luminance change pattern image 53 is to be included in the display image D in step 135 in the execution opportunity of FIG.
  • the bird's-eye view image (including the brightness change pattern image 52) is stored in the second history in step 145. It should have been in the area H2. If this is the case, the luminance change pattern image 52 is to be included in the display image D in step 135 in the execution opportunity of FIG.
  • the brightness change pattern images 52 and 53 are found, and the determination area including the found brightness change pattern images 52 and 53 is excluded from the history creation area. Thereby, the possibility that the brightness change pattern images 52 and 53 remain in the display image D and deteriorate the visibility of the display image D can be reduced.
  • step 140 the movement of the vehicle in the period corresponding to the immediately preceding control cycle is calculated.
  • the vehicle 10 recedes straight 30 cm (corresponding to the front-rear width of the determination region) during this period. Therefore, in step 145, the image is moved forward in the history area H by an amount (30 cm) corresponding to the amount of movement of the vehicle 10. In this way, the relative arrangement of the history creation image with respect to the position of the virtual vehicle 10 is determined according to the amount of movement of the vehicle.
  • step 105 the control device 2 proceeds from step 105 to step 110, and acquires the latest captured image from the in-vehicle camera 1 in step 110.
  • step 115 the captured image is converted to a bird's-eye view, and a part of the resultant bird's-eye view image is cut out and overwritten in the real-time region R.
  • a brightness change pattern image 55 having a sharp brightness change is included immediately behind the vehicle 10.
  • This luminance change pattern image 55 is an image generated for the same reason as the luminance change pattern image 54 that appears in the second sub real-time region R2 at the previous execution opportunity of the processing of FIG. This is almost the same as the luminance change pattern image 54.
  • step 120 following step 115 luminance analysis is performed on the second sub-real-time region R2 including such a luminance change pattern image 54.
  • luminance analysis is performed on the second sub-real-time region R2 including such a luminance change pattern image 54.
  • the magnitude relationship between the change amount of the average luminance L (Y) in each of the determination regions R21 to R26 and the threshold value is the same as that in the previous execution opportunity step 120.
  • step 125 the determination areas R21 and R22 are excluded as the history creation area, and only the areas R23 to R26 are selected as the history creation area.
  • step 130 as shown in FIG. 9F, only the bird's-eye view images in the determination areas R23 to R26 are overwritten and copied to the copy destination areas H13 to H16, respectively.
  • copy destination areas H11 and H12 that are not overwritten copy destinations this time are executed at the execution opportunity of the process of FIG. 5 the previous time and the previous time by the process of step 145 of the execution opportunity of the process of FIG.
  • the bird's-eye view image copied from the second sub real-time region R2 is moving.
  • step 135 an image in which the image in the second sub-history region H2 is synthesized with the image in the current real-time region R and the vehicle image 10 is transparently superimposed is displayed. Created as an image D for use.
  • the position of the history creation image in the history area H (relative arrangement with respect to the position of the virtual vehicle 10) has changed.
  • the bird's-eye view image is further moved from the first sub history area H1 (specifically, the copy destination area H11) to the second sub history area H2.
  • the area including the bird's-eye view image in the second sub history area H2 is increased.
  • the history creation in the second sub-history area H2 is arranged in correspondence with the relative arrangement of the history creation image changed in the history area H in the previous execution opportunity step 145 of FIG.
  • the image is displayed on the image display device.
  • the bird's-eye view image (including the luminance change pattern image 54) is stored in the second history in step 145. It should have been in the area H2. If so, the luminance change pattern image 54 is to be included in the display image D at step 135 in the execution opportunity of FIG.
  • the bird's-eye view image (including the luminance change pattern image 53) is stored in the second history in step 145. It should have been in the area H2. If so, the luminance change pattern image 53 is to be included in the display image D in step 135 in the execution opportunity of FIG.
  • the luminance change pattern images 53 and 54 are found, and the determination area including the found luminance change pattern images 53 and 54 is excluded from the history creation area. Thereby, the possibility that the luminance change pattern images 53 and 54 remain in the display image D and deteriorate the visibility of the display image D can be reduced.
  • step 140 the movement of the vehicle in the period corresponding to the immediately preceding control cycle is calculated.
  • step 145 the image is moved forward in the history area H by an amount corresponding to the movement of the vehicle 10. Let In this way, the relative arrangement of the history creation image with respect to the position of the virtual vehicle 10 is determined according to the amount of movement of the vehicle.
  • steps 105 to 145 in FIG. 5 is repeated every control cycle.
  • the control device 2 of the present embodiment sequentially acquires captured images from the in-vehicle camera 1 and performs bird's-eye conversion (steps 110 and 115), and changes in luminance in the plurality of determination regions R21 to R26 in the bird's-eye image.
  • An amount is calculated (step 120), and based on the calculation result, a determination region whose luminance change amount is less than a predetermined threshold is selected as a history creation region among the plurality of determination regions, and the luminance is continuously obtained from the determination region R21.
  • the determination area whose amount of change is equal to or greater than a predetermined threshold is excluded from the history creation area (step 125), and the image in the history creation area is displayed together with the vehicle image from the viewpoint of looking down from above the vehicle.
  • the image is displayed on the device 3, and the relative arrangement of the image in the history creation area with respect to the vehicle image is changed according to the amount of movement of the vehicle (steps 135, 140, and 145).
  • the captured image in the history creation area is displayed on the image display device together with the vehicle image from the viewpoint of looking down from above the vehicle, and the history creation area for the vehicle image according to the amount of movement of the vehicle.
  • luminance change amounts in a plurality of determination regions R21 to R26 in the captured image are calculated, and determination that the luminance change amount is less than a predetermined threshold value
  • the brightness change pattern in the vicinity of the host vehicle is enlarged in the display image as the vehicle moves. It is possible to reduce the possibility of the occurrence.
  • control device 2 stores the captured image acquired from the in-vehicle camera 1 in a predetermined real-time region R, and based on the luminance change amount in the images in the plurality of determination regions R21 to R26 set in the real-time region R.
  • the selected history creation image is stored in the first sub history area H1 in the history area value H, and the history creation image in the first sub history area H1 is stored in the history area value according to the amount of movement of the vehicle.
  • the image is moved to the second sub history area H2 in H and the image in the second sub history area and the image in the real time area R are displayed on the image display device 3.
  • the history composition can be performed using the real-time region R and the history region value H as in the conventional case, it is possible to suppress an increase in memory usage and an increase in processing load.
  • the plurality of determination areas serving as units for selecting the luminance analysis and history creation area are not limited to those described above, and a plurality of determination areas that partially overlap with the adjacent determination areas are adopted. Also good.
  • the display image D is an image obtained by combining the image in the second sub-history region H2, the image in the real-time region R, and the vehicle image 10, but this is not necessarily the case. It doesn't have to be.
  • the display image D is an image obtained by combining the image in the second sub history area H2, the image in the first sub history area H1, the image in the first sub real time area R1, and the vehicle image 10. It is good. That is, the range that can be captured by the in-vehicle camera 1 may be displayed using an image other than the latest captured image.
  • the display image D may be an image obtained by combining only the image in the second sub-history area H2 and the vehicle image 10.
  • the luminance analysis is performed on the photographed image after bird's-eye conversion (that is, the bird's-eye view image).
  • the luminance analysis and the history creation region are selected before the bird's-eye conversion. You may come to do.
  • the processing load is lower in the former because the determination area is rectangular.
  • the amount of change in the determination region of the average luminance L (Y) is used as the amount of change in luminance in each determination region.
  • the present invention is not necessarily limited to this. .
  • luminance analysis is performed on a bird's-eye image obtained by performing bird's-eye conversion on the captured image acquired in step 110 (this is also a form of the captured image).
  • the region for history creation is determined according to the luminance analysis result.
  • steps 110 to 145 is executed at the first execution opportunity after the shift position is reversed, and the processing of steps 120 and 125 is not executed at the second and subsequent execution opportunities. Only the processing of steps 110, 115, 130, 135, 140, and 145 may be performed. In this case, in the second and subsequent execution opportunities, the history creation area determined in step 125 in the first execution opportunity is repeatedly used.
  • steps 130 to 145 may not be executed at the first execution opportunity after the shift position is reversed.
  • the captured image (bird's-eye image) for which the history creation area is determined is a captured image different from the captured image (bird's-eye image) actually copied to the first sub-history area H1 as the history creation image. become.
  • the in-vehicle camera 1 repeatedly captures a predetermined range behind the vehicle, but the in-vehicle camera 1 repeatedly captures a predetermined range in front of the vehicle. May be. In that case, in the said specification, it will read as replacing the front and back of a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

　車両周囲画像表示制御装置は、車両の周囲の撮影画像を取得する取得装置（１１０、１１５）と、各撮影画像中の複数の判定領域（Ｒ２１～Ｒ２６）内における各輝度変化量を算出する輝度分析装置（１２０）と、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選ぶ履歴作成用領域決定装置（１２５）と、前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置（３）に表示させ、前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させて、表示させる表示制御装置（１３５、１４０、１４５）と、を備える。

Description

車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体 関連出願の相互参照
　本開示は、２０１２年７月４日に出願された日本出願番号２０１２－１５０３６３号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体に関するものである。
　従来、車両に取り付けられたカメラで車両の周囲を繰り返し撮影し、撮影画像を車両の上方から見下ろす視点で画像表示装置に表示させる技術が知られている。
　このような技術において、自車両の周囲の過去の撮影画像を自車両の動き量に応じて移動させて表示する履歴合成技術が知られている（特許文献１参照）
　例えば、カメラが車両の後方を撮影するリアカメラである場合、図１０に示すように、車両９０の後方を除く周囲の鳥瞰画像を保存するための履歴領域Ｈと、車両９０の後方の鳥瞰画像を保存するためのリアルタイム領域Ｒとをメモリ上に設ける。そして、最新の撮影画像の鳥瞰画像をメモリ上のリアルタイム領域Ｒに上書きし、履歴領域Ｈおよびリアルタイム領域Ｒの表示用画像を画像表示装置に表示させ、車両情報（ステアリング角、車速等）を利用して車両９０の動きを計算し、計算した車両９０の動きと逆の動きをするよう、履歴領域Ｈおよびリアルタイム領域Ｒにおいて画像を移動させる。
　このような処理を繰り返すことで、例えば車両９０が後退するときに画像表示装置に表示される画像は、図１１Ａ～図１１Ｄの順に車両９０の後退が進むと共に、リアルタイム領域Ｒにあった画像が履歴領域Ｈに順次移動していく。したがって、履歴領域Ｈに含まれる鳥瞰画像の範囲が順次拡大していき、車両９０の周囲の表示範囲が拡大していく。
　しかし、上記のような技術では、図１２Ａ～図１２Ｄに例示するように、車両９０が存在することが原因となって車両９０の近傍に発生した輝度変化パターン９１～９４（例えば、車両９０の影、車両９０によって光が反射または部分的に遮られることで発生する濃淡変化）がある場合は、車両９０の移動と共にその輝度変化パターンが履歴領域Ｈに複製されて移動し続ける。したがって、画像表示装置に表示される表示用画像中において、輝度変化パターンの画像が拡大して縞模様になってしまい、車両９０の周囲が見づらい表示用画像となってしまう。
特開２００２－３７３３２７号公報
　本開示は、車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体を提供することを目的とする。車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体において、自車両の周囲の撮影画像を自車両の動き量に応じて移動させて上からの視点で表示する履歴合成技術において、表示用画像中において車両の移動と共に自車両近傍の輝度変化パターンが拡大してしまう可能性を低減させる。
　本開示の第一の態様において、車両周囲画像表示制御装置は、車両の周囲を繰り返し撮影する車載カメラから撮影画像を順次取得する取得装置と、各撮影画像中の複数の判定領域内における各輝度変化量を算出する輝度分析装置と、前記輝度分析装置の算出結果に基づいて、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外する履歴作成用領域決定装置と、各撮影画像中の、前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させて、表示させる表示制御装置と、を備えている。
　上記の車両周囲画像表示制御装置において、撮影画像中の複数の判定領域内における輝度変化量を算出し、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選ぶと共に、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外することで、車両の移動と共に表示用画像中において自車両近傍の輝度変化パターンが拡大してしまう可能性を低減することができる。
　本開示の第二の態様において、車両周囲画像表示方法は、車両の周囲を繰り返し撮影する車載カメラから撮影画像を順次取得し、各撮影画像中の複数の判定領域内における輝度変化量を算出し、前記輝度変化量の算出結果に基づいて、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外し、各撮影画像中の、前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させて、表示させることを備える。
　上記の車両周囲画像表示方法において、撮影画像中の複数の判定領域内における輝度変化量を算出し、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選ぶと共に、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外することで、車両の移動と共に表示用画像中において自車両近傍の輝度変化パターンが拡大してしまう可能性を低減することができる。
　本開示の第三の態様において、持続的有形コンピュータ読み取り媒体は、車両の周囲を繰り返し撮影する車載カメラから撮影画像を順次取得し、各撮影画像中の複数の判定領域内における輝度変化量を算出し、前記輝度変化量の算出結果に基づいて、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外し、各撮影画像中の、前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させて、表示させることを備えた命令であって、当該命令は、車両周囲画像の表示を制御するコンピュータ実施方法を含み、コンピュータによって実施される当該命令を備える。
　上記の持続的有形コンピュータ読み取り媒体において、撮影画像中の複数の判定領域内における輝度変化量を算出し、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選ぶと共に、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外することで、車両の移動と共に表示用画像中において自車両近傍の輝度変化パターンが拡大してしまう可能性を低減することができる。
　本開示の第四の態様において、車両周囲画像表示制御装置は、車両の周囲を繰り返し撮影する車載カメラから撮影画像を順次取得する取得装置と、前記車載カメラから取得した各撮影画像を保存するリアルタイム領域と、履歴画像を保存する履歴領域を有するメモリと、前記リアルタイム領域内に保存された各撮影画像の複数の判定領域内における各輝度変化量を算出する輝度分析装置と、前記輝度分析装置の算出結果に基づいて、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外する履歴作成用領域決定装置と、前記履歴作成用領域内の履歴作成用画像を、メモリの履歴領域の第１サブ履歴領域に保存し、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記第１サブ履歴領域内の前記履歴作成用画像をメモリの履歴領域の第２サブ履歴領域に上書きし、前記第２サブ履歴領域内の履歴画像と前記第１サブ履歴領域内の履歴画像を、前記車両の上方から見下ろす視点で、画像表示装置に表示させる表示制御装置と、を備える。
　上記の車両周囲画像表示制御装置において、撮影画像中の複数の判定領域内における輝度変化量を算出し、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選ぶと共に、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外することで、車両の移動と共に表示用画像中において自車両近傍の輝度変化パターンが拡大してしまう可能性を低減することができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、実施形態に係る車両周囲画像表示システムの構成図であり、 図２は、メモリ中のリアルタイム領域Ｒに保存される画像の車両に対する位置関係を示す図であり、 図３は、メモリ中の履歴領域に保存される画像の車両に対する位置関係を示す図であり、 図４は、表示用画像の構成図であり、 図５は、制御装置が実行する処理のフローチャートであり、 図６は、第２サブリアルタイム領域の平均輝度分布グラフの一例であり、 図７は、履歴作成用領域を第１サブ履歴領域中のどの領域にコピーするかを表す図であり、 図８Ａは、１回目の実行機会において作成される表示用画像を示す図であり、 図８Ｂは、２回目の実行機会において作成される表示用画像を示す図であり、 図８Ｃは、３回目の実行機会において作成される表示用画像を示す図であり、 図８Ｄは、４回目の実行機会において作成される表示用画像を示す図であり、 図８Ｅは、５回目の実行機会において作成される表示用画像を示す図であり、 図８Ｆは、６回目の実行機会において作成される表示用画像を示す図であり、 図９Ａは、１回目の実行機会において第２リアルタイム領域の画像が第１サブ履歴領域にコピーされる様子を示す図であり、 図９Ｂは、２回目の実行機会において第２リアルタイム領域の画像が第１サブ履歴領域にコピーされる様子を示す図であり、 図９Ｃは、３回目の実行機会において第２リアルタイム領域の画像が第１サブ履歴領域にコピーされる様子を示す図であり、 図９Ｄは、４回目の実行機会において第２リアルタイム領域の画像が第１サブ履歴領域にコピーされる様子を示す図であり、 図９Ｅは、５回目の実行機会において第２リアルタイム領域の画像が第１サブ履歴領域にコピーされる様子を示す図であり、 図９Ｆは、６回目の実行機会において第２リアルタイム領域の画像が第１サブ履歴領域にコピーされる様子を示す図であり、 図１０は、従来のメモリ中の履歴領域とリアルタイム領域を示す図であり、 図１１Ａは、従来技術として、車両の後退と共に変化する合成鳥瞰画像を示す図であり、 図１１Ｂは、従来技術として、車両の後退と共に変化する合成鳥瞰画像を示す図であり、 図１１Ｃは、従来技術として、車両の後退と共に変化する合成鳥瞰画像を示す図であり、 図１１Ｄは、従来技術として、車両の後退と共に変化する合成鳥瞰画像を示す図であり、 図１２Ａは、従来技術として、車両に起因する輝度変化パターンがある場合に車両の後退と共に変化する合成鳥瞰画像を示す図であり、 図１２Ｂは、従来技術として、車両に起因する輝度変化パターンがある場合に車両の後退と共に変化する合成鳥瞰画像を示す図であり、 図１２Ｃは、従来技術として、車両に起因する輝度変化パターンがある場合に車両の後退と共に変化する合成鳥瞰画像を示す図であり、 図１２Ｄは、従来技術として、車両に起因する輝度変化パターンがある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。
　以下、一実施形態について説明する。図１に示すように、本実施形態に係る車両周囲画像表示システムは、車両に搭載され、車載カメラ１、制御装置２（車両周囲画像表示制御装置の一例に相当する）、画像表示装置３を備えている。
　車載カメラ１は、車両の後端付近に固定して搭載され、車両の周囲を、具体的には、車両の後方の所定範囲を繰り返し（例えば、１／３０秒周期で）撮影し、撮影の結果得た当該所定範囲の撮影画像のデータを制御装置２に逐次出力する。
　制御装置２には、車載カメラ１から上記撮影画像が繰り返し入力されると共に、自車両からシフトレンジの情報、車速の情報、およびステアリング角（またはヨーレート）の情報が繰り返し入力されるようになっている。
　そして制御装置２は、あらかじめ定められた処理を実行することで、鳥瞰変換部２１、画像合成部２２、車両運動計算部２３、履歴作成用領域決定部２４として機能する。
　鳥瞰変換部２１は、車載カメラ１から入力された撮影画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両の上方から（真下にまたは斜め下に）見下ろす視点の鳥瞰画像に、変換する。
　画像合成部２２は、後述するように、最新の撮影画像の鳥瞰画像と、過去の撮影画像の鳥瞰画像を合成し、合成の結果得た合成鳥瞰画像を、表示用画像として画像表示装置３に出力する。
　車両運動計算部２３は、自車両から入力されたシフトレンジの情報、車速の情報、およびステアリング角（またはヨーレート）の情報に基づいて、周知のＡｃｋｅｒｍａｎモデルに従った自車両の動き（移動量および姿勢変化量）を算出する。
　履歴作成用領域決定部２４は、最新の撮影画像中のどの領域を履歴作成用領域とするかを決定する。以上のような構成の制御装置２としては、例えば周知のマイクロコンピュータを用いてもよい。
　画像表示装置３は、制御装置２から入力された表示用画像を表示する装置であり、表示された表示用画像（すなわち、合成鳥瞰画像）を車内のドライバーが見ることができるような位置に配置される。
　以下、このような構成の車両周囲画像表示システムの作動について説明する。制御装置２に搭載された書き込み可能なメモリ（例えばＲＡＭ）には、図２に示すようなリアルタイム領域Ｒおよび図３に示すような履歴領域Ｈが、あらかじめ確保されている。
　これらリアルタイム領域Ｒおよび履歴領域Ｈ内の各アドレスは、仮想的に配置された自車両１０に対する相対位置があらかじめ割り当てられている。図２、図３では、これらリアルタイム領域Ｒおよび履歴領域Ｈの各アドレスと、所定の自車両１０との位置関係を表している。
　リアルタイム領域Ｒは、後述するように、車載カメラ１によって撮影された最新の撮影画像の一部を鳥瞰変換した画像を保存するための領域であり、第１サブリアルタイム領域Ｒ１と第２サブリアルタイム領域Ｒ２に分かれている。
　図２に示す通り、リアルタイム領域Ｒの各アドレスは、自車両１０のすぐ後方の実線矩形範囲内の路面のいずれかの位置に１対１に対応しており、リアルタイム領域Ｒのアドレス全体で当該実線矩形範囲全体をカバーしている。
　そして、第１サブリアルタイム領域Ｒ１は、リアルタイム領域Ｒのうち遠方側の路面の矩形領域をカバーしており、第２サブリアルタイム領域Ｒ２は、リアルタイム領域Ｒのうち近傍側の路面の矩形領域をカバーしている。
　履歴領域Ｈは、車載カメラ１の撮影画像のうち最新の撮影画像と最新でない撮影画像の両方が鳥瞰変換された画像を保存するための領域であり、第１サブ履歴領域Ｈ１と第２サブ履歴領域Ｈ２に分かれている。
　図３に示す通り、履歴領域Ｈの各アドレスは、自車両１０のすぐ後方の実線矩形範囲内の路面のいずれかの位置に１対１に対応しており、履歴領域Ｈのアドレス全体で当該実線矩形範囲全体をカバーしている。
　そして、第１サブ履歴領域Ｈ１は、履歴領域Ｈのうち、自車両１０のすぐ後方の路面の矩形領域をカバーしており、第１サブ履歴領域Ｈ１のカバー範囲の、自車両１０に対する相対位置範囲は、第２サブリアルタイム領域Ｒ２のカバー範囲と同じである。
　また、図３に示す通り、第２サブ履歴領域Ｈ２は、履歴領域Ｈのうち、車載カメラ１で現在撮影できない位置の路面の矩形範囲、すなわち、自車両１０の直下の路面、自車両１０の前方および側方の路面の範囲をカバーしている。したがって、第２サブ履歴領域Ｈ２に保存される鳥瞰画像は、車載カメラ１で撮影された撮影画像のうち、最新でない過去の撮影画像が鳥瞰変換された鳥瞰画像となる。
　これらリアルタイム領域Ｒおよび履歴領域Ｈに保存された画像に基づいて、図４に示す表示用画像Ｄが合成され、画像表示装置３で表示される。具体的には、第２サブ履歴領域Ｈ２中の鳥瞰画像、第１サブリアルタイム領域Ｒ１中の鳥瞰画像、および第２サブリアルタイム領域Ｒ２中の鳥瞰画像を図４のような配置で繋ぎ合わせた画像が、表示用画像Ｄとなる。
　制御装置２は、このようなリアルタイム領域Ｒ、履歴領域Ｈを用いて、図５にフローチャートで示す処理を、繰り返し（具体的には、所定の制御周期毎に）実行するようになっている。制御周期としては、例えば２５０ミリ秒でもよい。制御装置２は、この図５の処理を実行することで、上記鳥瞰変換部２１、画像合成部２２、車両運動計算部２３、履歴作成用領域決定部２４として機能する。
　以下、この図５の処理について説明する。まず、制御装置２が図５の処理を開始する際は、リアルタイム領域Ｒおよび履歴領域Ｈのそれぞれの領域内は、鳥瞰画像のデータが全く含まれていない空（から）の状態、換言すれば、空を示すデータのみが含まれている状態となっている。
　制御装置２は、図５の処理の各実行機会において、まずステップ１０５で、入力された最新のシフトレンジ情報に基づいて、自車両のシフト位置がリバース（後退位置）であるか否か判定し、リバースでなければ、画像表示装置に表示用画像Ｄを出力することを止めると共に、リアルタイム領域Ｒおよび履歴領域Ｈのそれぞれの領域内のデータを空にクリアし、その後、今回の図５の処理を終了する。
　ドライバーが、駐車場の駐車マスに自車両を駐車させようとするとき、シフトレンジをＲ（リバース）に入れたとする。すると制御装置２は、ステップ１０５で、シフト位置がリバースであると判定し、ステップ１１０に進む。
　ステップ１１０では、車載カメラ１から最新の撮影画像の入力を１枚受け付けて取得する。続いてステップ１１５では、直前のステップ１１０で取得した最新の撮影画像に対して周知の鳥瞰変換を施す。この鳥瞰変換によって、撮影画像は、自車両の上方から（真下にまたは斜め下に）見下ろす視点の鳥瞰画像に、変換される。
　なお、この鳥瞰変換の際には、周知の通り、撮影画像中の物体は高さゼロの位置（すなわち、平坦な路面）に存在すると仮定されている。鳥瞰変換に用いられる変換式は、あらかじめ制御装置２のメモリ（例えばＲＯＭ）に記録されている。
　また、この鳥瞰画像は、撮影画像の画素配置が鳥瞰変換によって変更されたものであるから、撮影画像の一形態である。
　ステップ１１５では更に、作成した鳥瞰画像から、図２のリアルタイム領域Ｒのカバー範囲となる所定の部分の鳥瞰画像を切り出し、切り出した部分中の各画素を、リアルタイム領域Ｒの各々のアドレスに割り当てられた相対位置に合致するよう、リアルタイム領域Ｒに保存する。
　より具体的には、切り出した部分を自車両１０の前後方向に２分割したうちの、自車両１０からより離れた方（例えば、自車両１０から１．８ｍ以上離れた方）の所定の範囲の画像を、第１サブリアルタイム領域Ｒ１に保存し、２分割したうちの、自車両１０により近い方（例えば、自車両１０から１．８未満の方）の所定の範囲の画像を、第２サブリアルタイム領域Ｒ２に保存する。
　制御装置２は、このステップ１１５の処理を実行することで、鳥瞰変換部２１として機能する。
　続いてステップ１２０では、第２サブリアルタイム領域Ｒ２中に保存した鳥瞰画像を対象として、輝度分析を行う。この輝度分析は、第２サブリアルタイム領域Ｒ２中の複数の判定領域内における輝度変化量（時間的変化量ではなく空間的変化量）を算出するための処理である。
　本実施形態では、輝度分析として、第２サブリアルタイム領域Ｒ２中において縦横にマトリクス状の配置で保存されている画素群を対象として、図６に例示するような平均輝度Ｌの分布３０を算出する。
　図６のグラフの横軸は、図２の０の後方に進む方向）を表し、縦軸は、各Ｙ座標値（Ｙ座標軸方向に沿った自車両１０からの距離）における平均輝度Ｌ（Ｙ）を表す。ここで、あるＹ座標値における平均輝度Ｌは、そのＹ座標値の位置に配置され、図２中のＸ座標軸方向（Ｙ座標軸に直交する方向であり、自車両１０の左右方向である）に並ぶ画素群の平均輝度である。
　そして、この第２サブリアルタイム領域Ｒ２のＹ座標値の範囲（０ｃｍから１８０ｃｍまで）を距離で６等分して６つの判定領域Ｒ２１～Ｒ２６を設定する。そして、判定領域Ｒ２１～Ｒ２６のそれぞれにおいて、上記平均輝度Ｌ（Ｙ）の当該判定領域内における変化量を算出する。
　本実施形態では、この変化量として、上記平均輝度Ｌ（Ｙ）の当該判定領域内における最大値と最小値の差（輝度差）を採用する。例えば、図６の例では、判定領域Ｒ２１の輝度差はΔＨ１となり、判定領域Ｒ２２の輝度差はΔＨ２となる。なお、上記平均輝度Ｌ（Ｙ）の当該判定領域内における変化量としては、例えば、上記平均輝度Ｌ（Ｙ）の当該判定領域内における輝度の標準偏差を用いてもよい。
　続いてステップ１２５では、直前のステップ１２０における算出結果（すなわち、各判定領域Ｒ２１～Ｒ２６における平均輝度Ｌ（Ｙ）の変化量）に基づいて、履歴作成用領域を決定する。制御装置２は、このステップ１２５の処理を実行することで、履歴作成用領域決定部２４として機能する。
　ステップ１２５における履歴作成用領域の決定は、以下のように行う。まず、判定領域Ｒ２１～Ｒ２６のすべてを履歴作成用領域とする。次に、判定領域Ｒ２１～Ｒ２６のうち最も自車両１０に近い領域Ｒ２１を判定対象とする。
　そして、判定対象となっている判定領域Ｒ２１における平均輝度Ｌ（Ｙ）の変化量が、所定の閾値以上であるか否かを判定する。そして、当該閾値以上であれば、当該判定領域Ｒ２１を履歴作成用領域から除外すると共に、現在の判定対象の領域Ｒ２１の次に自車両１０に近い判定領域Ｒ２２に、判定対象を変える。
　それ以降は、同様に、判定対象となっている判定領域における平均輝度Ｌ（Ｙ）の変化量が、所定の閾値以上であるか否かを判定し、当該閾値以上であれば、当該判定領域を履歴作成用領域から除外すると共に、現在の判定対象の領域の次に自車両１０に近い判定領域に判定対象を変える、という処理を、判定領域２１～２６のすべてについて平均輝度Ｌ（Ｙ）の変化量と閾値とが比較されるまで、繰り返し、その後、ステップ１２５の処理を終了する。
　ただし、判定領域２１～２６のいずれかについて、判定対象の判定領域における平均輝度Ｌ（Ｙ）の変化量が当該閾値以上でない（閾値未満である）と判定した場合は、その時点で直ちにステップ１２５の処理を終了する。
　このようなステップ１２５の処理によって、判定領域２１～２６のうち、平均輝度Ｌ（Ｙ）の変化量が当該閾値以上となる領域が判定領域２１から自車両１０の後方に連続して存在する分だけ、それら連続して存在する判定領域を履歴作成用領域から除外する。そして、判定領域２１～２６のうち、自車両１０に近い側からの順で最初に平均輝度Ｌ（Ｙ）の変化量が当該閾値未満となった判定領域およびそれよりも自車両１０から遠い判定領域については、履歴作成用領域に含めたままとする。
　例えば、判定領域２１～２６の平均輝度Ｌ（Ｙ）の変化量のうち、判定領域２１、２２、２６の変化量が当該閾値以上となっている場合は、判定領域２１、２２を履歴作成用領域とせず、判定領域２３～２６を履歴作成用領域に含める。
　続いてステップ１３０では、判定領域２１～２６のうち履歴作成用領域となった領域中の鳥瞰画像を、第１サブ履歴領域Ｈ１にコピーする。
　具体的には、図７に示すように、第１サブ履歴領域Ｈ１に対して、図７のＹ座標軸方向（自車両１０の前後方向に沿って自車両１０の後方に進む方向）に沿ったＹ座標値の範囲（０ｃｍから１８０ｃｍまで）を距離で６等分して６つのコピー先領域Ｈ１１～Ｈ１６を設定する。
　そして、判定領域Ｒ２１～Ｒ２６のうち履歴作成用領域となった判定領域中の鳥瞰画像を、履歴作成用画像として選び、選んだ履歴作成用画像を、自車両１０からの距離が同じコピー先領域に上書きコピーする。図７の例では、判定領域Ｒ２１～Ｒ２６のうち領域Ｒ２２～Ｒ２６のみが履歴作成用領域であり、領域Ｒ２２～Ｒ２６中の鳥瞰画像は、それぞれ、第１サブ履歴領域Ｈ１中の同じ位置をカバーするコピー先領域Ｈ１２～Ｈ１６に、同じ相対配置でコピーされる。
　続いてステップ１３５では、表示用画像Ｄを作成する。具体的には、図４に示した通り、第２サブ履歴領域Ｈ２、第１サブリアルタイム領域Ｒ１、第２サブリアルタイム領域Ｒ２を図４のように繋ぎ合わせて各領域Ｈ２、Ｒ１、Ｒ２内の画像を合成し、合成後の画像の仮想的な自車両１０の位置に、自車両１０を表す所定の自車両用画像１０を重畳させる。
　なお、自車両用の画像が重畳された位置においても、第２サブ履歴領域Ｈ２内の鳥瞰画像（過去に車載カメラ１で撮影された画像）が透過表示されるようにする。
　このような合成および重畳の結果得られた表示用画像Ｄは、作成される度に、制御装置２から画像表示装置３に入力され、その結果、画像表示装置３は当該表示用画像Ｄをドライバーに表示する。
　ドライバーは、この表示用画像Ｄを見ることで、自車両１０を上から見下ろしたような視点で自車両１０の周囲を確認することができる。更に、実際には自車両１０に覆われて隠れている部分も、自車両１０を透過して上から見ることができる。制御装置２は、このステップ１３５の処理を実行することで、画像合成部２２として機能する。
　続いてステップ１４０では、自車両１０から入力された各種車両挙動情報、すなわち、シフトレンジの情報、車速の情報、およびステアリング角（またはヨーレート）の最新の情報（過去の情報を追加で用いて）に基づいて、周知のＡｃｋｅｒｍａｎモデルに従った自車両の動き量（移動ベクトルおよび姿勢変化角度）を算出する。なお、ここでいう動き量とは、前回の撮影画像の取得タイミング（前回の図５の処理の実行機会）から今回の撮影画像の取得タイミング（今回の図５の処理の実行機会）までの期間（すなわち、直前の制御周期）における車両の動き（すなわち、撮影画像の取得間隔における動き量）を示す動き量である。制御装置２は、このステップ１４０の処理を実行することで、車両運動計算部２３として機能する。
　続いてステップ１４５では、直前のステップ１４０で算出した自車両の動き量に基づいて、自車両の周囲（路面に固定されていると仮定する）が相対的に自車両に対してどのように移動するかを表す相対移動量を算出する。
　具体的には、直前のステップ１４０で算出した自車両の動き量と逆の動きを算出する。例えば、自車両の移動ベクトルが（α、β）で、姿勢変化角度がθであるとき、自車両に対する周囲の相対移動量としては、移動ベクトルが（－α、－β）で、姿勢変化角度が－θであるとする。
　そして、履歴領域Ｈ内で、上記のようにして算出された周囲の相対移動量に従って、当該履歴領域Ｈ内の鳥瞰画像が、次の表示タイミング（次の図５の処理の実行機会のステップ１３５の実行タイミング）における自車両の周囲の配置を反映するよう、当該履歴領域Ｈ内に保存されたすべての画素（当然に履歴作成用画像の画素も含む）を移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。
　これにより、当該相対移動量に応じて、第１サブ履歴領域Ｈ１と第２サブ履歴領域Ｈ２の境界で、第１サブ履歴領域Ｈ１から第２サブ履歴領域Ｈ２に、または、第２サブ履歴領域Ｈ２から第１サブ履歴領域Ｈ１に、鳥瞰画像の一部が移動する。本事例では、自車両が後退しているので、前者となる。したがって、車両の後退と共に、図３の処理の開始当初は空だった第２サブ履歴領域Ｈ２内で鳥瞰画像が増加する。ステップ１４５の後、図５の１回分の処理が終了する。
　制御装置２は、以上のような図５の処理を制御周期毎に繰り返し実行することで、車載カメラから制御周期毎に撮影画像を順次取得し（ステップ１１０）、順次取得された撮影画像を、制御周期毎に鳥瞰画像に順次鳥瞰変換してリアルタイム領域Ｒに上書き保存し（ステップ１１５）、順次鳥瞰変換された結果の鳥瞰画像に対し、制御周期毎に輝度分析を順次行う（ステップ１２０）。各回の輝度分析では、リアルタイム領域Ｒ中の複数の判定領域Ｒ２１～Ｒ２６内における輝度変化量を算出する。
　そして制御装置２は、輝度分析の結果に基づいて、複数の判定領域Ｒ２１～Ｒ２６のうち、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外するという処理を、制御周期毎に順次行う（ステップ１２５）。
　そして制御装置２は、順次選ばれた履歴作成用領域内の鳥瞰画像を、履歴作成用画像として、制御周期毎に第１サブ履歴領域Ｈ１に順次コピーし（ステップ１３０）、第２サブ履歴領域Ｈ２中の画像とリアルタイム領域Ｒ中の画像と自車とを合成した表示用画像Ｄを制御周期毎に画像表示装置３に順次表示させ（ステップ１３５）、車両から繰り返し入力された車両挙動情報に基づいて車両１０の動き量を制御周期毎に順次算出し（ステップ１４０）、算出された動き量に応じて、コピーされた履歴作成用画像の自車両１０に対する相対的な配置を変化させるよう、履歴領域Ｈ内で画像を移動させることで、当該相対的な配置を制御周期毎に順次決定する（ステップ１４５）。
　以下、制御装置２が以上のような図５の処理を制御周期毎に繰り返して行う作動について、１つの事例を例に取り、図８Ａ～図８Ｆ、図９Ａ～図９Ｆを参照して説明する。
　まず、ドライバーが駐車マス（図８Ａの駐車マスＰ２）に駐車するために、当該駐車マスＰ２の近傍で自車両１０を停止させ、シフト位置がリバースに切り替えたとする。
　すると制御装置２は、シフト位置がリバースに切り替わってから１回目の図５の処理の実行機会において、ステップ１０５でシフト位置がリバースであると判定してステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。
　このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中において、図８Ａに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５０が含まれている。この輝度変化パターン画像５０は、車両１０が存在することが原因となって車両１０の近傍に発生した輝度変化（例えば、車両の影、車両によって光が反射または部分的に遮られることで発生する濃淡変化）が写った画像である。このような輝度変化パターン画像５０は、車両１０に付随して車両１０と共に移動するという性質を有している。
　ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５０を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、この輝度変化パターン画像５０が第２サブリアルタイム領域Ｒ２中の判定領域Ｒ２１に含まれており、その結果、判定領域Ｒ２１における平均輝度Ｌ（Ｙ）の変化量が上記閾値を超え、その一方、判定領域Ｒ２２～Ｒ２６における平均輝度Ｌ（Ｙ）の変化量は上記閾値未満であったとする。
　したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１が除外され、判定領域Ｒ２２～Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ａに示すように、判定領域Ｒ２２～Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１２～Ｈ１６に上書きコピーされる。
　続くステップ１３５では、図８Ａに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に仮想的な自車両１０の位置に車両用画像を透過的に重畳した画像を、表示用画像Ｄとして作成する。
　なおこの時点では、第２サブ履歴領域Ｈ２は鳥瞰画像のデータが全く含まれていない空の状態となっている。したがって、表示用画像Ｄの第２サブ履歴領域Ｈ２の部分は、白、黒、青等のバックグランド色のみが表示される。
　続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算する。本事例では、この期間において車両１０が真っ直ぐ２４ｃｍ（判定領域の前後幅の０．８倍に相当する）後退したとする。したがって、ステップ１４５では、この車両１０の移動分に対応した量（２４ｃｍ）だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。
　その後、シフト位置がリバースに切り替わってから２回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。
　このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｂに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５１が含まれている。この輝度変化パターン画像５１は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５０と同じ原因で発生する画像であるので、車両１０に対する配置は、輝度変化パターン画像５０とほぼ同じである。
　ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５１を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、輝度分析の結果、各判定領域Ｒ２１～Ｒ２６における平均輝度Ｌ（Ｙ）の変化量と上記閾値との大小関係が、前回の実行機会のステップ１２０と同じであったとする。
　したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１が除外され、領域Ｒ２２～Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｂに示すように、判定領域Ｒ２２～Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１２～Ｈ１６に上書きコピーされる。
　なお、今回は上書きコピー先となっていないコピー先領域Ｈ１１には、前回の図５の処理の実行機会のステップ１４５の処理により、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２からコピーされた鳥瞰画像が移動している。
　続くステップ１３５では、図８Ｂに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。
　なおこの時点では、前回の図５の実行機会のステップ１４５において、履歴領域Ｈ中で履歴作成用画像の位置（仮想的な車両１０の位置に対する相対的な配置）が変化している。したがって、第１サブ履歴領域Ｈ１から第２サブ履歴領域Ｈ２に画像が移動している。
　しかし、移動したのは鳥瞰画像がコピーされていなかったコピー先領域Ｈ１１の画像（空の画像）であった。したがって、この時点ではまだ、第２サブ履歴領域Ｈ２は鳥瞰画像のデータが全く含まれていない空の状態となっている。
　もし、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１３０において判定領域Ｒ２１の鳥瞰画像（輝度変化パターン画像５０を含む）がコピー先領域Ｈ１１にコピーされ、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５０を含む）が第２履歴領域Ｈ２内に入っていたはずである。
　もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像に輝度変化パターン画像５０が含まれることになり、従来のように、実際にはそこにない輝度変化を表す画像（輝度変化パターン画像５０）が、車両１０の移動と共に移動しながら表示され続けてしまっていた。
　本実施形態では、判定領域における平均輝度Ｌ（Ｙ）の変化量を閾値と比較することで、車両１０の近傍に車両１０の存在によって発生する輝度変化パターン画像５０を見つけ出し、見つけ出した輝度変化パターン画像５０を含む判定領域を履歴作成用領域から除外した。これにより、輝度変化パターン画像５０が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。
　続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算する。本事例では、この期間において車両１０が真っ直ぐ４５ｃｍ（判定領域の前後幅の１．５倍に相当する）後退したとする。したがって、ステップ１４５では、この車両１０の移動分に対応した量（４５ｃｍ）だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。
　その後、シフト位置がリバースに切り替わってから３回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。
　このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｃに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５２が含まれている。この輝度変化パターン画像５２は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５１と同じ原因で発生する画像であるので、車両１０に対する配置は、輝度変化パターン画像５１とほぼ同じである。
　ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５２を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、輝度分析の結果、各判定領域Ｒ２１～Ｒ２６における平均輝度Ｌ（Ｙ）の変化量と上記閾値との大小関係が、前回の実行機会のステップ１２０と同じであったとする。
　したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１が除外され、領域Ｒ２２～Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｃに示すように、判定領域Ｒ２２～Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１２～Ｈ１６に上書きコピーされる。
　なお、今回は上書きコピー先となっていないコピー先領域Ｈ１１には、前回の図５の処理の実行機会のステップ１４５の処理により、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２からコピーされた鳥瞰画像が移動している。
　続くステップ１３５では、図８Ｃに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。
　なおこの時点では、前回の図５の実行機会のステップ１４５において、履歴領域Ｈ中で履歴作成用画像の位置（仮想的な車両１０の位置に対する相対的な配置）が変化している。そしてそれにより、第１サブ履歴領域Ｈ１（具体的にはコピー先領域Ｈ１１、Ｈ１２）から第２サブ履歴領域Ｈ２に鳥瞰画像が移動している。
　したがって、今回のステップ１３５では、前回の図５の実行機会のステップ１４５において履歴領域Ｈ中で変化した履歴作成用画像の相対配置に対応した配置で、第２サブ履歴領域Ｈ２中の履歴作成用画像が画像表示装置に表示される。
　ここでも、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５１を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５１が含まれることになっていた。
　しかし、本実施形態では、輝度変化パターン画像５１を見つけ出し、見つけ出した輝度変化パターン画像５１を含む判定領域Ｒ２１を履歴作成用領域から除外した。これにより、輝度変化パターン画像５１が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。
　続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算する。本事例では、この期間において車両１０が真っ直ぐ３０ｃｍ（判定領域の前後幅に相当する）後退したとする。したがって、ステップ１４５では、この車両１０の移動分に対応した量（３０ｃｍ）だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。
　その後、シフト位置がリバースに切り替わってから４回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。
　このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｄに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５３が含まれている。この輝度変化パターン画像５３は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５２と同じ原因で発生する画像である。
　しかしながら、輝度変化パターン画像５０、５１、５２は全体が判定領域Ｒ２１内に収まっていたのに対し、変化画像５３は、判定領域Ｒ２１をはみ出し、判定領域Ｒ２１にも入っている。このように、変化画像５３が経時的に変化する原因としては、車両１０の方向転換、周囲の光源の車両１０に対する相対移動等が考えられる。
　ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５３を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、輝度分析の結果、各判定領域Ｒ２１、Ｒ２３～Ｒ２６における平均輝度Ｌ（Ｙ）の変化量と上記閾値との大小関係は、前回の実行機会のステップ１２０と同じであったが、輝度変化パターン画像５３が判定領域Ｒ２２内にはみ出た結果、判定領域Ｒ２２における平均輝度Ｌ（Ｙ）の変化量が上記閾値を超えてしまったとする。
　したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１のみならず判定領域Ｒ２２も除外され、領域Ｒ２３～Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｄに示すように、判定領域Ｒ２３～Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１３～Ｈ１６に上書きコピーされる。
　なお、今回は上書きコピー先となっていないコピー先領域Ｈ１１、Ｈ１２には、前回の図５の処理の実行機会のステップ１４５の処理により、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２からコピーされた鳥瞰画像が移動している。
　続くステップ１３５では、図８Ｄに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。
　この時点では、前回の図５の実行機会のステップ１４５において、履歴領域Ｈ中で履歴作成用画像の位置（仮想的な車両１０の位置に対する相対的な配置）が変化している。そしてそれにより、第１サブ履歴領域Ｈ１（具体的にはコピー先領域Ｈ１１）から第２サブ履歴領域Ｈ２に鳥瞰画像が更に移動している。その結果、第２サブ履歴領域Ｈ２中で鳥瞰画像を含む領域が増大している。
　したがって、今回のステップ１３５では、前回の図５の実行機会のステップ１４５において履歴領域Ｈ中で変化した履歴作成用画像の相対配置に対応した配置で、第２サブ履歴領域Ｈ２中の履歴作成用画像が画像表示装置に表示される。
　ここでも、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５２を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５２が含まれることになっていた。
　しかし、本実施形態では、輝度変化パターン画像５２を見つけ出し、見つけ出した輝度変化パターン画像５２を含む判定領域を履歴作成用領域から除外した。これにより、輝度変化パターン画像５２が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。
　続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算する。本事例では、この期間において車両１０が真っ直ぐ３６ｃｍ（判定領域の前後幅の１．２倍に相当する）後退したとする。したがって、ステップ１４５では、この車両１０の移動分に対応した量（３６ｃｍ）だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。
　その後、シフト位置がリバースに切り替わってから５回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。
　このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｅに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５４が含まれている。この輝度変化パターン画像５４は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５３と同じ原因で発生する画像であり、配置も大きさも輝度変化も概ね輝度変化パターン画像５３と同じである。
　ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５４を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、輝度分析の結果、各判定領域Ｒ２１～Ｒ２６における平均輝度Ｌ（Ｙ）の変化量と上記閾値との大小関係が、前回の実行機会のステップ１２０と同じであったとする。
　したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１、Ｒ２２が除外され、領域Ｒ２３～Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｅに示すように、判定領域Ｒ２３～Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１３～Ｈ１６に上書きコピーされる。
　なお、今回は上書きコピー先となっていないコピー先領域Ｈ１１、Ｈ１２には、前回および前々回の図５の処理の実行機会のステップ１４５の処理により、前回および前々回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２からコピーされた鳥瞰画像が移動している。
　続くステップ１３５では、図８Ｅに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。
　この時点では、前回の図５の実行機会のステップ１４５において、履歴領域Ｈ中で履歴作成用画像の位置（仮想的な車両１０の位置に対する相対的な配置）が変化している。そしてそれにより、第１サブ履歴領域Ｈ１（具体的にはコピー先領域Ｈ１１、１２）から第２サブ履歴領域Ｈ２に鳥瞰画像が更に移動している。その結果、第２サブ履歴領域Ｈ２中で鳥瞰画像を含む領域が増大している。
　したがって、今回のステップ１３５では、前回の図５の実行機会のステップ１４５において履歴領域Ｈ中で変化した履歴作成用画像の相対配置に対応した配置で、第２サブ履歴領域Ｈ２中の履歴作成用画像が画像表示装置に表示される。
　ここでも、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５３を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５３が含まれることになっていた。
　更には、前々回の図５の実行機会のステップ１２５において、判定領域Ｒ２２が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５２を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５２が含まれることになっていた。
　しかし、本実施形態では、輝度変化パターン画像５２、５３を見つけ出し、見つけ出した輝度変化パターン画像５２、５３を含む判定領域を履歴作成用領域から除外した。これにより、輝度変化パターン画像５２、５３が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。
　続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算する。本事例では、この期間において車両１０が真っ直ぐ３０ｃｍ（判定領域の前後幅に相当する）後退したとする。したがって、ステップ１４５では、この車両１０の移動分に対応した量（３０ｃｍ）だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。
　その後、シフト位置がリバースに切り替わってから６回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。
　このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｆに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５５が含まれている。この輝度変化パターン画像５５は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５４と同じ原因で発生する画像であり、配置も大きさも輝度変化も概ね輝度変化パターン画像５４と同じである。
　ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５４を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、輝度分析の結果、各判定領域Ｒ２１～Ｒ２６における平均輝度Ｌ（Ｙ）の変化量と上記閾値との大小関係が、前回の実行機会のステップ１２０と同じであったとする。
　したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１、Ｒ２２が除外され、領域Ｒ２３～Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｆに示すように、判定領域Ｒ２３～Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１３～Ｈ１６に上書きコピーされる。
　なお、今回は上書きコピー先となっていないコピー先領域Ｈ１１、Ｈ１２には、前回および前々回の図５の処理の実行機会のステップ１４５の処理により、前回および前々回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２からコピーされた鳥瞰画像が移動している。
　続くステップ１３５では、図８Ｆに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。
　この時点では、前回の図５の実行機会のステップ１４５において、履歴領域Ｈ中で履歴作成用画像の位置（仮想的な車両１０の位置に対する相対的な配置）が変化している。そしてそれにより、第１サブ履歴領域Ｈ１（具体的にはコピー先領域Ｈ１１）から第２サブ履歴領域Ｈ２に鳥瞰画像が更に移動している。その結果、第２サブ履歴領域Ｈ２中で鳥瞰画像を含む領域が増大している。
　したがって、今回のステップ１３５では、前回の図５の実行機会のステップ１４５において履歴領域Ｈ中で変化した履歴作成用画像の相対配置に対応した配置で、第２サブ履歴領域Ｈ２中の履歴作成用画像が画像表示装置に表示される。
　ここでも、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５４を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５４が含まれることになっていた。
　更には、前々回の図５の実行機会のステップ１２５において、判定領域Ｒ２２が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５３を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５３が含まれることになっていた。
　しかし、本実施形態では、輝度変化パターン画像５３、５４を見つけ出し、見つけ出した輝度変化パターン画像５３、５４を含む判定領域を履歴作成用領域から除外した。これにより、輝度変化パターン画像５３、５４が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。
　続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算し、ステップ１４５では、この車両１０の動きに対応した量だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。
　その後も、シフト位置がリバースであり続ける間は、制御周期毎に図５のステップ１０５～１４５の処理が繰り返される。
　以上説明した通り、本実施形態の制御装置２は、車載カメラ１から撮影画像を順次取得して鳥瞰変換し（ステップ１１０、１１５）、鳥瞰画像中の複数の判定領域Ｒ２１～Ｒ２６内における輝度変化量を算出し（ステップ１２０）、その算出結果に基づいて、複数の判定領域のうち、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、判定領域Ｒ２１から連続して輝度変化量が所定の閾値以上となっている判定領域を履歴作成用領域から除外し（ステップ１２５）、歴作成用領域内の画像を、車両用画像と共に、車両の上方から見下ろす視点で、画像表示装置３に表示させ、車両の動き量に応じて、車両用画像に対する履歴作成用領域中の画像の相対的な配置を変化させる（ステップ１３５、１４０、１４５）。
　このように、履歴作成用領域内の撮影画像を、車両用画像と共に、車両の上方から見下ろす視点で、画像表示装置に表示させ、車両の動き量に応じて、車両用画像に対する履歴作成用領域中の撮影画像の相対的な配置を変化させる車両周囲画像表示制御装置において、撮影画像中の複数の判定領域Ｒ２１～Ｒ２６内における輝度変化量を算出し、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選ぶと共に、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外することで、車両の移動と共に表示用画像中において自車両近傍の輝度変化パターンが拡大してしまう可能性を低減することができる。
　また、制御装置２は、車載カメラ１から取得した撮影画像を所定のリアルタイム領域Ｒに保存し、リアルタイム領域Ｒ内に設定された複数の判定領域Ｒ２１～Ｒ２６内の画像おける輝度変化量に基づいて選ばれた履歴作成用画像を、履歴領域値Ｈ中の第１サブ履歴領域Ｈ１に保存し、車両の前記動き量に応じて、第１サブ履歴領域Ｈ１内の履歴作成用画像を履歴領域値Ｈ中の第２サブ履歴領域Ｈ２に移動させ、第２サブ履歴領域内の画像とリアルタイム領域Ｒ内の画像とを画像表示装置３に表示させる。
　したがって、従来と同様に、リアルタイム領域Ｒと履歴領域値Ｈを用いて履歴合成を行うことができるので、メモリ使用量の増大を抑えると共に、処理負荷の増大を抑えることができる。
　（他の実施形態）
　（１）上記実施形態では、第２サブリアルタイム領域Ｒ２を６等分して得た６つの判定領域Ｒ２１～Ｒ２６を設定し、それら設定した判定領域Ｒ２１～Ｒ２６を単位として、輝度分析および履歴作成用領域の選択を行っている。そして、これら判定領域Ｒ２１～Ｒ２６は、互いに重なっていない。
　しかし、輝度分析および履歴作成用領域の選択の単位となる複数の判定領域は、上記のようなものに限らず、隣り合う判定領域と範囲が一部重なり合うような複数の判定領域を採用してもよい。
　（２）上記実施形態では、表示用画像Ｄは、第２サブ履歴領域Ｈ２中の画像と、リアルタイム領域Ｒ中の画像と、車両用画像１０とを合成した画像であったが、必ずしもこのようになっておらずともよい。
　例えば、表示用画像Ｄは、第２サブ履歴領域Ｈ２中の画像と、第１サブ履歴領域Ｈ１中の画像と、第１サブリアルタイム領域Ｒ１中の画像と、車両用画像１０とを合成した画像としてもよい。つまり、車載カメラ１で撮影できる範囲も、最新の撮影画像以外の画像を用いて表示するようになっていてもよい。
　また、表示用画像Ｄは、第２サブ履歴領域Ｈ２中の画像と車両用画像１０とのみを合成した画像としてもよい。
　（３）また、上記実施形態では、輝度分析は鳥瞰変換後の撮影画像（すなわち、鳥瞰画像）中に対して行っているが、輝度分析および履歴作成用領域の選択は鳥瞰変換前の撮影画像に対して行うようになっていてもよい。ただし、前者の方が、判定領域が矩形となっているので、処理負荷が低い。
　（４）また、上記実施形態では、各判定領域内における輝度変化量として、上記平均輝度Ｌ（Ｙ）の当該判定領域内における変化量を採用しているが、必ずしもこのようなものに限らない。
　（５）また、上記実施形態では、図５の処理の各実行機会において、ステップ１１０で取得した撮影画像が鳥瞰変換された鳥瞰画像（これも撮影画像の一形態である）の輝度分析を行い、その輝度分析結果に応じて、履歴作成用領域を決定している。
　しかし、必ずしもこのようになっておらずともよい。例えば、図５の処理では、シフト位置がリバースになってから最初の実行機会では、ステップ１１０～１４５の処理を実行し、２回目以降の実行機会では、ステップ１２０、１２５の処理は行わず、ステップ１１０、１１５、１３０、１３５、１４０、１４５の処理のみを行うようになっていてもよい。この場合は、２回目以降の実行機会では、最初の実行機会においてステップ１２５で決定した履歴作成用領域を繰り返し使用する。
　シフト位置がリバースになってから最初の実行機会では、ステップ１３０～１４５の処理を実行しないようになっていてもよい。この場合、履歴作成用領域を決定する対象の撮影画像（鳥瞰画像）は、実際に履歴作成用画像として第１サブ履歴領域Ｈ１にコピーする撮影画像（鳥瞰画像）とは別の撮影画像ということになる。
　（６）上記各実施形態では、車載カメラ１は、車両の後方の所定範囲を繰り返し撮影するようになっていたが、車載カメラ１は、車両の前方の所定範囲を繰り返し撮影するようになっていてもよい。その場合、上記明細書では、車両の前後を入れ替えるように読み替える。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (6)

  1. 　車両の周囲を繰り返し撮影する車載カメラ（１）から撮影画像を順次取得する取得装置（１１０、１１５）と、
    　各撮影画像中の複数の判定領域（Ｒ２１～Ｒ２６）内における各輝度変化量を算出する輝度分析装置（１２０）と、
    　前記輝度分析装置の算出結果に基づいて、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外する履歴作成用領域決定装置（１２５）と、
    　各撮影画像中の、前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置（３）に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させて、表示させる表示制御装置（１３５、１４０、１４５）と、を備えた車両周囲画像表示制御装置。
  2. 　前記取得装置（１１０、１１５）は、前記車載カメラから取得した撮影画像をメモリ中の所定のリアルタイム領域（Ｒ）に保存し、
    　前記輝度分析装置は、前記リアルタイム領域（Ｒ）内に保存された撮影画像の前記複数の判定領域内における輝度変化量を算出し、
    　前記表示制御装置は、前記履歴作成用領域内の前記履歴作成用画像を、メモリ中の履歴領域（Ｈ）のうち第１サブ履歴領域（Ｈ１）に保存し、
    　前記表示制御装置は、前記車両の前記動き量に応じて、前記第１サブ履歴領域（Ｈ１）内の前記履歴作成用画像を前記履歴領域のうち第２サブ履歴領域（Ｈ２）に移動させ、
    　前記表示制御装置は、前記第２サブ履歴領域内の画像を前記画像表示装置に表示させる請求項１に記載の車両周囲画像表示制御装置。
  3. 　輝度変化量が前記閾値以上となる判定領域のうち、前記車両に最も近い位置に対応する判定領域から前記車両の後方に連続して存在する判定領域を履歴作成用領域から除外し、
    　前記車両に最も近く、輝度変化量が前記閾値未満となった判定領域、およびそれよりも前記車両から遠い位置に対応する判定領域については、履歴作成用領域に含める請求項１または２に記載の車両周囲画像表示制御装置。
  4. 　車両の周囲を繰り返し撮影する車載カメラ（１）から撮影画像を順次取得し、
    　各撮影画像中の複数の判定領域（Ｒ２１～Ｒ２６）内における輝度変化量を算出し、
    　前記輝度変化量の算出結果に基づいて、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外し、
    　各撮影画像中の、前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置（３）に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させて、表示させることを備える車両周囲画像表示方法。
  5. 　車両の周囲を繰り返し撮影する車載カメラ（１）から撮影画像を順次取得し、
    　各撮影画像中の複数の判定領域（Ｒ２１～Ｒ２６）内における輝度変化量を算出し、
    　前記輝度変化量の算出結果に基づいて、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外し、
    　各撮影画像中の、前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置（３）に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させて、表示させることを備えた命令であって、当該命令は、車両周囲画像の表示を制御するコンピュータ実施方法を含み、コンピュータによって実施される当該命令を備える持続的有形コンピュータ読み取り媒体。
  6. 　車両の周囲を繰り返し撮影する車載カメラ（１）から撮影画像を順次取得する取得装置（１１０、１１５）と、
    　前記車載カメラから取得した各撮影画像を保存するリアルタイム領域（Ｒ）と、履歴画像を保存する履歴領域（Ｈ）を有するメモリと、
    　前記リアルタイム領域（Ｒ）内に保存された各撮影画像の複数の判定領域（Ｒ２１～Ｒ２６）内における各輝度変化量を算出する輝度分析装置（１２０）と、
    　前記輝度分析装置の算出結果に基づいて、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外する履歴作成用領域決定装置（１２５）と、
    　前記履歴作成用領域内の履歴作成用画像を、メモリの履歴領域（Ｈ）の第１サブ履歴領域（Ｈ１）に保存し、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記第１サブ履歴領域（Ｈ１）内の前記履歴作成用画像をメモリの履歴領域（Ｈ）の第２サブ履歴領域（Ｈ２）に上書きし、前記第２サブ履歴領域内の履歴画像と前記第１サブ履歴領域内の履歴画像を、前記車両の上方から見下ろす視点で、画像表示装置（３）に表示させる表示制御装置（１３５、１４０、１４５）と、を備えた車両周囲画像表示制御装置。
PCT/JP2013/001712 2012-07-04 2013-03-14 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体 WO2014006793A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13813227.9A EP2846542A4 (en) 2012-07-04 2013-03-14 VEHICLE ENVIRONMENT IMAGE DISPLAY CONTROL DEVICE, VEHICLE ENVIRONMENT IMAGE DISPLAY CONTROL METHOD, AND COMPUTER-READABLE TANGIBLE MEDIUM COMPRISING CONTROLS INCLUDING SAID METHOD
CN201380035388.2A CN104429059A (zh) 2012-07-04 2013-03-14 车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的指令构成的持续性有形计算机可读介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-150363 2012-07-04
JP2012150363A JP5994437B2 (ja) 2012-07-04 2012-07-04 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム

Publications (1)

Publication Number Publication Date
WO2014006793A1 true WO2014006793A1 (ja) 2014-01-09

Family

ID=49881571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001712 WO2014006793A1 (ja) 2012-07-04 2013-03-14 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体

Country Status (4)

Country Link
EP (1) EP2846542A4 (ja)
JP (1) JP5994437B2 (ja)
CN (1) CN104429059A (ja)
WO (1) WO2014006793A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072300A1 (ja) * 2014-11-04 2016-05-12 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6464952B2 (ja) 2015-08-04 2019-02-06 株式会社デンソー 表示制御装置、表示制御プログラム及び表示制御方法
JP2017117315A (ja) * 2015-12-25 2017-06-29 株式会社デンソー 表示制御装置
JP6565693B2 (ja) * 2016-01-12 2019-08-28 株式会社デンソー 車載カメラのレンズ異常検出装置
JP6642906B2 (ja) * 2016-02-18 2020-02-12 三菱重工業株式会社 駐車位置検出システム及びそれを用いた自動駐車システム
CN111699680B (zh) * 2018-03-15 2022-03-01 Jvc建伍株式会社 行车记录仪、显示控制方法以及存储介质
CN112055168B (zh) * 2019-06-05 2022-09-09 杭州萤石软件有限公司 视频监控方法、系统及监控服务器
CN111405246B (zh) * 2020-03-12 2021-04-06 厦门宇昊软件有限公司 一种智慧城市监控方法、装置及管理终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373327A (ja) 2001-06-13 2002-12-26 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2004229054A (ja) * 2003-01-24 2004-08-12 Nikon Corp 電子カメラ
JP2006252269A (ja) * 2005-03-11 2006-09-21 Aisin Seiki Co Ltd 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法
JP2010215000A (ja) * 2009-03-13 2010-09-30 Omron Corp 情報処理装置及び方法、並びにプログラム
JP2011022952A (ja) * 2009-07-21 2011-02-03 Aisin Aw Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354467A (ja) * 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP3980565B2 (ja) * 2004-02-16 2007-09-26 松下電器産業株式会社 運転支援装置
JP4561479B2 (ja) * 2005-05-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP2007226300A (ja) * 2006-02-21 2007-09-06 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP2011152865A (ja) * 2010-01-27 2011-08-11 Kyocera Corp 車載撮像装置
US9041807B2 (en) * 2010-01-29 2015-05-26 Fujitsu Ten Limited Image processing device and image processing method
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373327A (ja) 2001-06-13 2002-12-26 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2004229054A (ja) * 2003-01-24 2004-08-12 Nikon Corp 電子カメラ
JP2006252269A (ja) * 2005-03-11 2006-09-21 Aisin Seiki Co Ltd 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法
JP2010215000A (ja) * 2009-03-13 2010-09-30 Omron Corp 情報処理装置及び方法、並びにプログラム
JP2011022952A (ja) * 2009-07-21 2011-02-03 Aisin Aw Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2846542A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072300A1 (ja) * 2014-11-04 2016-05-12 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
JP2016091250A (ja) * 2014-11-04 2016-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
CN107077715A (zh) * 2014-11-04 2017-08-18 株式会社电装 车辆周边图像显示装置、车辆周边图像显示方法
CN107077715B (zh) * 2014-11-04 2021-01-08 株式会社电装 车辆周边图像显示装置、车辆周边图像显示方法

Also Published As

Publication number Publication date
EP2846542A1 (en) 2015-03-11
CN104429059A (zh) 2015-03-18
JP2014013994A (ja) 2014-01-23
JP5994437B2 (ja) 2016-09-21
EP2846542A4 (en) 2016-01-13

Similar Documents

Publication Publication Date Title
WO2014006793A1 (ja) 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体
JP6003226B2 (ja) 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
CN108352053B (zh) 用于环绕监视系统的图像合成器
JP4976685B2 (ja) 画像処理装置
US20120320213A1 (en) Image display device
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2007274377A (ja) 周辺監視装置、プログラム
US10896542B2 (en) Moving body image generation recording display device and program product
US20130038734A1 (en) Driving support apparatus
WO2000064175A1 (fr) Dispositif de traitement d'images et systeme de surveillance
JPWO2009144994A1 (ja) 車両用画像処理装置、車両用画像処理方法
JP5716389B2 (ja) 車両用表示装置
JP2019529242A (ja) 車両の車両周辺のバックミラー光景の提供方法
JP2017033402A (ja) 車載表示制御装置、車載表示制御方法
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
WO2020177970A1 (en) Imaging system and method
EP3761262B1 (en) Image processing device and image processing method
JP2010081245A (ja) 車両用表示装置および表示方法
WO2019034916A1 (en) SYSTEM AND METHOD FOR PRESENTING AND CONTROLLING VIRTUAL CAMERA IMAGE FOR A VEHICLE
KR20180021822A (ko) 후방 교차 교통-퀵 룩스
JP6477444B2 (ja) 表示制御装置及び表示制御プログラム
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP5413843B2 (ja) 画像処理装置、及び、画像処理方法
JP4696825B2 (ja) 車両用死角映像表示装置
JP7318265B2 (ja) 画像生成装置および画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13813227

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013813227

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE