WO2018070338A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2018070338A1
WO2018070338A1 PCT/JP2017/036307 JP2017036307W WO2018070338A1 WO 2018070338 A1 WO2018070338 A1 WO 2018070338A1 JP 2017036307 W JP2017036307 W JP 2017036307W WO 2018070338 A1 WO2018070338 A1 WO 2018070338A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bird
history
vehicle
display
Prior art date
Application number
PCT/JP2017/036307
Other languages
English (en)
French (fr)
Inventor
賢治 小原
博彦 柳川
明宏 砂坂
智 星
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US16/340,847 priority Critical patent/US10873725B2/en
Priority to DE112017005211.4T priority patent/DE112017005211T5/de
Publication of WO2018070338A1 publication Critical patent/WO2018070338A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Definitions

  • the present disclosure relates to a display control device that displays an image around a vehicle on a display device.
  • a camera attached to the vehicle captures an image around the vehicle (that is, the host vehicle), converts the captured image into a bird's-eye image that is a viewpoint image looking down from above the host vehicle, and converts the bird's-eye image into a vehicle.
  • a technique for displaying on a display device provided in a room is known.
  • Patent Document 1 describes a technique for supplementing information on the lower road surface of the host vehicle that is not included in the shooting range of the camera using images shot in the past. Specifically, a moving region that is out of the field of view of the bird's-eye image (that is, the real image) acquired at the present time is extracted from the bird's-eye image (that is, the history image) acquired in the past. Then, the moving area of the history image is shifted by the moving amount of the vehicle and drawn on the real image, so that a synthetic bird's-eye view image is created.
  • a display control apparatus includes a captured image acquisition unit, a bird's eye conversion unit, a history image acquisition unit, a history image storage unit, a movement amount calculation unit, a display image creation unit, a display processing unit, and a determination unit.
  • the captured image acquisition unit is configured to periodically acquire captured images that are images in which a predetermined imaging range around the vehicle is captured by a camera mounted on the vehicle.
  • the bird's-eye conversion unit is configured to perform bird's-eye conversion on the captured images periodically acquired by the captured image acquisition unit, and sequentially generate captured bird's-eye images that are bird's-eye views of the surroundings of the vehicle.
  • the history image acquisition unit acquires a history image that is a bird's-eye view image corresponding to a predetermined region ahead of the traveling direction of the vehicle among the captured images acquired by the captured image acquisition unit at each timing determined according to a predetermined condition. Is configured to do.
  • the history image storage unit is configured to store at least one history image acquired by the history image acquisition unit.
  • the movement amount calculation unit is configured to calculate the movement amount of the vehicle based on information representing the behavior of the vehicle.
  • the display image creation unit extracts a region corresponding to the non-photographing region of the photographed bird's-eye image acquired at the present time from the history images stored in the history image storage unit based on the movement amount of the vehicle. Then, the display image creation unit is configured to create a display bird's-eye image that is a bird's-eye view image for display by combining the extracted region with a non-photographing region.
  • the display processing unit is configured to display the display bird's-eye image created by the display image creating unit on a display device provided in the vehicle.
  • the determination unit is configured to determine whether the behavior of the vehicle corresponds to a specific unstable state based on the state information indicating the state of the vehicle. Then, under the condition determined by the determination unit as not corresponding to the unstable state, the history image acquisition unit is updated for each predetermined first period corresponding to the period in which the captured image is captured by the camera. A history image is acquired from the photographed bird's-eye view image. On the other hand, the history image acquisition unit is configured to acquire the history image from the latest photographed bird's-eye view image at a timing later than the first period under the condition determined by the determination unit to correspond to the unstable state. .
  • the display control device it is possible to update the history image update timing later than the normal time when the behavior of the vehicle is not unstable in a situation where the behavior of the vehicle is unstable.
  • the range combined from the history image photographed at the same time in the non-photographing area becomes wider than usual.
  • the number of times that history images taken at different times are joined together is reduced. Therefore, in the display bird's-eye view image synthesized from the captured bird's-eye view image and the history image, it is possible to suppress discontinuity of the road surface image drawn in the non-shooting area.
  • FIG. 1 is a block diagram showing the configuration of the display system.
  • FIG. 2 is a flowchart showing the procedure of the display control process.
  • FIG. 3 is an explanatory diagram illustrating a method for synthesizing the displayed bird's-eye view image at normal time.
  • FIG. 4 is an explanatory diagram illustrating a method of synthesizing the displayed bird's-eye view image when unstable.
  • the display system 1 is an in-vehicle device that displays an image of the periphery of a vehicle. As illustrated in FIG. 1, the display system 1 includes four cameras 2, 3, 4, 5, a display device 7, and a display control device 9. The cameras 2 to 5 and the display device 7 are connected to the display control device 9.
  • own vehicle the vehicle on which the display system 1 is mounted.
  • the four cameras 2 to 5 are mounted as the front camera 2, the rear camera 3, the left camera 4, and the right camera 5 fixedly in front of the host vehicle, the rear, the left, and the right, respectively.
  • Each of the cameras 2 to 5 is arranged so that the entire periphery of the host vehicle can be shot without taking the front, rear, left side, and right side of the host vehicle as respective shooting ranges. However, the road surface hidden under the host vehicle is not included in the shooting range of the cameras 2 to 5.
  • Each of the cameras 2 to 5 repeatedly shoots each shooting range at a constant time interval (for example, 1/30 second cycle), and outputs captured image data obtained as a result of the shooting to the display control device 9. Further, the captured image output to the display control device 9 is converted into a bird's-eye view image by the display control device 9 as described later.
  • this embodiment demonstrates the example provided with the camera in each front, back, left, and right of the own vehicle, for example, it can implement also about the example provided only in front and back or only one of the front or back.
  • the display device 7 is a display having a function of displaying various images.
  • the display device 7 is provided at a position where an occupant such as a driver in the vehicle can visually recognize the displayed image.
  • a bird's-eye view image representing a range including the periphery of the host vehicle input from the display control device 9 is displayed. Note that the bird's-eye view image displayed on the display device 7 is a display bird's-eye view image.
  • the display control device 9 is an electronic control device including an input signal processing unit 11, an image processing unit 13, a storage unit 15, and an output signal processing unit 17.
  • the input signal processing unit 11 is an interface for outputting captured images input from the cameras 2 to 5 to the image processing unit 13.
  • the image processing unit 13 is an information processing apparatus mainly configured with a CPU, a RAM, a ROM, a semiconductor memory such as a flash memory (not shown), an input / output interface, and the like.
  • the image processing unit 13 is embodied by, for example, a microcontroller or the like in which functions as a computer system are integrated.
  • the function of the image processing unit 13 is realized by the CPU executing a program stored in a substantial storage medium such as a ROM or a semiconductor memory.
  • the number of microcontrollers constituting the image processing unit 13 may be one or more.
  • the image processing unit 13 includes the captured image acquisition unit 21, the bird's eye conversion unit 23, the movement amount calculation unit 25, the history image acquisition unit 27, the display image creation unit 29, and the display processing unit 31 as functional components. With.
  • the history image acquisition unit 27 has functions as the determination unit 33 and the image acquisition unit 35. Note that the method of realizing these elements constituting the image processing unit 13 is not limited to software, and some or all of the elements may be realized using hardware that combines a logic circuit, an analog circuit, and the like. Good.
  • the captured image acquisition unit 21 repeatedly acquires captured images from the cameras 2 to 5 via the input signal processing unit 11.
  • the bird's-eye conversion unit 23 performs well-known bird's-eye conversion on the captured image repeatedly acquired by the captured image acquisition unit 21, thereby converting the captured image into a bird's-eye image with a viewpoint of looking down from directly above or obliquely below the host vehicle. Convert sequentially. That is, the bird's-eye conversion unit 23 sequentially creates a photographed bird's-eye image that is a bird's-eye image of the photographed image.
  • the movement amount calculation unit 25 calculates the movement amount of the host vehicle based on the shift range information input from the host vehicle and the vehicle behavior information including the vehicle speed information and the steering angle or yaw rate information.
  • the history image acquisition unit 27 extracts, as a history image, a partial area in the forward direction of the host vehicle from the photographed bird's-eye view image created by the bird's-eye conversion unit 23 at a predetermined timing according to the traveling state of the vehicle.
  • the history image acquisition unit 27 stores the extracted history image in the history area 43 of the storage unit 15 in time series.
  • the history image acquisition unit 27 acquires the shooting range on the front side of the host vehicle as a history image when the host vehicle is moving forward. Further, when the host vehicle is moving backward, the history image acquisition unit 27 acquires a shooting range on the rear side of the host vehicle as a history image.
  • the determination unit 33 determines whether an unstable condition indicating that the behavior of the host vehicle is in a specific unstable state is satisfied according to the traveling state of the host vehicle. Specifically, the determination unit 33 travels on a rough road with many bumps and bumps based on behavior represented by measurement results of a gyro sensor, an acceleration sensor, a vehicle height sensor, and the like provided in the host vehicle. If it is determined that the unstable condition is satisfied, it is determined that the unstable condition is satisfied. Further, when it is determined that the host vehicle is skidding based on the measurement result by the wheel speed sensor, the determination unit 33 determines that the unstable condition is satisfied. Alternatively, based on map data used in a navigation system or the like, when the road on which the host vehicle is traveling corresponds to a bad road, the determination unit 33 may be configured to determine that an unstable condition is satisfied.
  • the image acquisition unit 35 extracts a history image from the photographed bird's-eye view image at a timing according to the determination result by the determination unit 33 and stores the history image in the history area 43 of the storage unit 15 in time series. Specifically, when the unstable condition is not satisfied, that is, in the normal running state, the image acquisition unit 35 acquires the captured image at the captured image acquisition unit 21 (for example, a 1/30 second cycle). ) To get a history image.
  • the period in which the image acquisition unit 35 updates the history image in the normal time is referred to as a standard period.
  • the image acquisition unit 35 acquires the history image at a time interval longer than the standard cycle. Specifically, the image acquisition unit 35 moves the shooting range of the previously acquired history image according to the movement amount of the host vehicle, and a new history is acquired when the shooting range of the history image reaches a predetermined position. Get an image. Or the image acquisition part 35 acquires a new log
  • the photographed bird's-eye view image represents the latest situation of a predetermined range in the front-rear and left-right directions of the host vehicle, around the host vehicle.
  • the history image is not the latest situation, it can represent a situation in a range that is not covered by the photographed bird's-eye view image, such as a place that has entered under the own vehicle due to the movement of the own vehicle.
  • the storage unit 15 is a storage device for storing the above-described photographed bird's-eye image, history image, and a display bird's-eye image described later.
  • a real area 41, a history area 43, and an output area 45 are secured in advance as storage areas for storing various images.
  • the real area 41 is an area for storing the latest photographed bird's-eye image created by the bird's-eye conversion unit 23.
  • the history area 43 is an area for storing a history image acquired and created by the history image acquisition unit 27.
  • the history area 43 stores a time series of history images for a certain period in the past from the latest history image.
  • the history area 43 corresponds to the history image storage unit in the present disclosure.
  • the output area 45 is an area for storing a display bird's-eye image, which is a bird's-eye image created by combining a history bird's-eye image and a captured image. A display bird's-eye image stored in the output area 45 is displayed on the display device 7.
  • the display image creation unit 29 creates a display bird's-eye view image that is a bird's-eye view image obtained by combining the photographed bird's-eye view image and the history image.
  • the photographed bird's-eye view image obtained by photographing the periphery of the own vehicle the range hidden behind the own vehicle is not included in the photographing range of each of the cameras 2 to 3, so the central portion of the photographed bird's-eye view image is blank.
  • this blank portion is referred to as a non-photographing area.
  • the display image creation unit 29 extracts a region corresponding to the non-photographing region from the time series of the history image accumulated in the history region 43 based on the movement amount of the host vehicle.
  • the display image creation unit 29 creates a supplementary image, which is an image in a range corresponding to the entire non-photographing region, by connecting the regions extracted from the history images. Then, the display image creation unit 29 creates a display bird's-eye image by synthesizing the created supplementary image with the non-shooting region of the latest photographed bird's-eye view image. The display bird's-eye view image created by the display image creation unit 29 is stored in the output area 45 of the storage unit 15.
  • the display processing unit 31 causes the display device 7 to display the display bird's-eye view image stored in the output area 45 of the storage unit 15 via the output signal processing unit 17.
  • the image processing unit 13 executes a display control process to be described later, whereby the above-described captured image acquisition unit 21, bird's eye conversion unit 23, movement amount calculation unit 25, history image acquisition unit 27, display image creation unit 29, and display are displayed.
  • the function of the processing unit 31 is realized.
  • the output signal processing unit 17 is an interface for outputting the display bird's-eye image created by the image processing unit 13 to the display device 7.
  • the procedure of display control processing executed by the image processing unit 13 of the display control device 9 will be described with reference to the flowchart of FIG.
  • the display control process is started when a predetermined instruction is given. Further, the display control process is repeatedly executed every time a photographed image from each of the cameras 2 to 5 is input via the input signal processing unit 11. That is, the display control process is executed in synchronization with the frame rate (for example, 30 frames per second) of images taken by the cameras 2 to 5.
  • This display control process can be applied to both cases where the host vehicle moves forward and when the host vehicle moves backward.
  • the image processing unit 13 acquires the latest captured images captured by the cameras 2 to 5 one frame at a time.
  • S ⁇ b> 100 is processing executed as a function of the captured image acquisition unit 21.
  • the image processing unit 13 performs a bird's-eye conversion on the photographed image acquired in S100, thereby creating a photographed bird's-eye image that looks down from the upper side of the entire vehicle.
  • S ⁇ b> 102 is a process executed as a function of the bird's eye conversion unit 23.
  • the captured bird's-eye view image created here is stored in the real area 41 of the storage unit 15 as a real-time image.
  • the image processing unit 13 calculates the previous movement amount of the host vehicle based on the vehicle behavior information input from the host vehicle.
  • S104 is a process executed as a function of the movement amount calculation unit 25.
  • the movement amount calculation unit 25 calculates the movement amount of the host vehicle based on shift range information and vehicle behavior information such as vehicle speed information and steering angle or yaw rate information.
  • the amount of movement here is a change in the position and orientation of the host vehicle during the period from the previous captured image acquisition timing to the current captured image acquisition timing.
  • the image processing unit 13 moves the position of each history image accumulated in the history area of the storage unit 15 according to the movement amount calculated in S104. Specifically, the relative positional relationship between the shooting range captured in the history image and the host vehicle is determined based on the amount of movement of the host vehicle during the period from the previous shooting image acquisition timing to the current shooting image acquisition timing. Move by the amount of and update to the latest state.
  • the image processing unit 13 determines whether or not an unstable condition is satisfied for the behavior of the host vehicle.
  • S108 is a process executed as a function of the determination unit 33 of the history image acquisition unit 27.
  • the image processing unit 13 proceeds to S114.
  • the image processing unit 13 extracts a portion corresponding to a region to be stored as a history image from the latest photographed bird's-eye image stored in the real region 41 and stores the extracted history image in the history region 43. .
  • the image processing unit 13 acquires an image corresponding to the shooting range set on the front side of the host vehicle as a history image.
  • an image corresponding to the shooting range set on the rear side of the host vehicle is acquired as a history image.
  • the image processing unit 13 saves the acquired history image as the latest history image in time series of the history images stored in the history area 43.
  • S ⁇ b> 116 the image processing unit 13 combines the real-time image, which is the latest photographed bird's-eye image stored in the real area 41, with each history image stored in the history area 43, thereby displaying the displayed bird's-eye image. create.
  • S ⁇ b> 116 is a process executed as a function of the display image creation unit 29.
  • a non-photographing area B corresponding to a portion hidden under the own vehicle exists in the center of the real-time image A that is the latest photographed bird's-eye view around the own vehicle.
  • a history image is acquired every time for the same period as the frame rate of the captured image for the captured image repeatedly input to the image processing unit 13. 43 is sequentially updated. Thereby, as illustrated in FIG. 3, a time-series history image group C corresponding to successive frames is accumulated in the history area 43.
  • the display image creation unit 29 creates a supplementary image D corresponding to the non-photographing area B by sequentially connecting a part of the accumulated history image group C corresponding to the non-photographing area B from a new history image. To do.
  • the supplementary image D is created by sequentially connecting the regions F1 to F10 extracted from the history images continuously acquired at each frame timing along the traveling direction of the host vehicle.
  • the display image creation unit 29 synthesizes the display bird's-eye image E as illustrated in FIG. 3 by fitting the supplementary image D into the non-photographing region B in the real-time image A.
  • the image processing unit 13 outputs the display bird's-eye image stored in the output area 45 of the storage unit 15 to the display device 7 via the output signal processing unit 17 and causes the display device 7 to display the display bird's-eye view image.
  • S ⁇ b> 118 is a process executed as a function of the display processing unit 31. After S118, the image processing unit 13 ends the display control process at the current frame timing, and resumes from S100 at the next frame timing.
  • the image processing unit 13 moves the process to S110.
  • the image processing unit 13 determines whether the relative position of the shooting range of the history image with respect to the host vehicle has reached a predetermined history image update position for the latest history image stored in the history area 43. Determine whether.
  • This history image update position is a predetermined position based on the non-photographing area corresponding to the position of the host vehicle, and is determined in advance according to the traveling direction of the host vehicle (that is, forward or reverse).
  • S ⁇ b> 116 is a process executed as a function of the image acquisition unit 35.
  • the image processing unit 13 determines whether or not the history image update time has come.
  • the history image update time defines the time when the history image should be updated when unstable.
  • the history image update time is set to a timing at which a predetermined time has elapsed since the last time the history image was updated. However, the period of the history image update timing is set to a time interval longer than the standard period for updating the history image in the normal time.
  • S ⁇ b> 116 is a process executed as a function of the image acquisition unit 35.
  • the image processing unit 13 skips S114 and moves the process to S116. Thereafter, the image processing unit 13 creates a display bird's-eye view image in S116 and outputs the display bird's-eye view image in S118, and then ends the display control process at the current frame timing.
  • the image processing unit 13 moves the process to S114. Thereafter, the image processing unit 13 acquires a new history image in S114. In step S116, the image processing unit 13 creates a display bird's-eye view image. After outputting the display bird's-eye view image in S118, the image processing unit 13 ends the display control process at the current frame timing.
  • FIG. 4 schematically shows the transition of the positional relationship between real-time images A0 to A7, which are taken bird's-eye images acquired at each time, and history images acquired during this period for successive times T0 to T7 at each frame timing. It expresses.
  • reference numeral 50 indicates a history image update position.
  • Reference numerals B0 to B7 are non-photographing areas distributed in the center of the real-time images A0 to A7 at each time, and indicate a range hidden under the host vehicle.
  • the history image update position 50 is set to a position advanced from the front end portion in the traveling direction of the non-photographing regions B0 to B7 in the opposite direction to the traveling direction by the same distance as the length of the history image capturing range. ing.
  • this distance is based on the premise that the distance is sufficiently longer than the distance traveled by the host vehicle during the time of one cycle when the captured image is input.
  • the image processing unit 13 combines a partial area that overlaps the non-photographed areas B1 to B3 from the history image C0 as a supplementary image with the real-time images A1 to A3 at each time, respectively. Create a bird's-eye view image. However, no new history image is acquired during the period of time T1 to T3. As a result, the range of the image synthesized from the last acquired history image C0 to the non-photographing area is gradually expanded.
  • the image processing unit 13 acquires the next history image C4.
  • the image processing unit 13 creates a display bird's-eye view image by synthesizing the partial image overlapping the non-photographed region B4 from the history image C0 as a supplement image with the real-time image A4.
  • the relative position of the history images C0, C4 with respect to the host vehicle changes with the movement of the host vehicle.
  • the image processing unit 13 synthesizes a partial area that overlaps the non-photographed areas B5 to B7 from the history images C0 and C4 with the real-time images A5 to A7 at each time as a supplementary image.
  • a display bird's-eye view image is created.
  • the range of the image synthesized from the last acquired history image C4 to the non-photographing area is gradually expanded.
  • the display control device 9 has the following effects. Under circumstances where the behavior of the vehicle is unstable, such as traveling on a rough road or skidding, the timing for updating the history image can be made slower than normal. By doing so, the range to be synthesized from the history images taken at the same time in the non-photographing area becomes wider than normal time, and the number of times history images taken at different times are connected is reduced. Therefore, it is possible to suppress discontinuity of the road surface image drawn in the non-photographing region in the synthesized display bird's-eye view image.
  • the timing for updating the history image can be determined by the amount of movement of the host vehicle and the time interval. In this way, it is possible to update the history image in a flexible manner according to the movement status of the host vehicle.
  • a program for causing a computer to function as the display control device 9 a substantial recording medium such as a semiconductor memory storing the program, a display control method, and the like
  • a substantial recording medium such as a semiconductor memory storing the program, a display control method, and the like
  • both the process of S110 for determining whether or not the history image has reached the update position and the process of S112 for determining whether or not the history image update time has come are performed.
  • the process of S110 for determining whether or not the history image has reached the update position and the process of S112 for determining whether or not the history image update time has come are performed.
  • the structure which implements only any one of S110 or S112 may be sufficient.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

画像処理部（１３）は、自車両の周辺の撮像画像を鳥瞰変換した画像である撮影鳥瞰画像を繰返し取得する。また、画像処理部は、所定条件に応じて定められるタイミングごとに、進行方向前方の所定領域に対応する鳥瞰画像である履歴画像を取得する。具体的には、画像処理部は、車両の挙動に関する不安定条件が成立していない通常時において、所定の第１周期ごとに履歴画像を取得する。一方、不安定条件が成立している状況下では、前記第１周期よりも遅いタイミングで履歴画像を取得する。そして、画像処理部は、蓄積された履歴画像の中から、最新の撮影鳥瞰画像の非撮影領域に対応する領域を抽出し、抽出された領域を非撮影領域に合成することにより、表示のための鳥瞰画像である表示鳥瞰画像を作成する。

Description

表示制御装置 関連出願への相互参照
　本国際出願は、２０１６年１０月１４日に日本国特許庁に出願された日本国特許出願第２０１６－２０２５１６号に基づく優先権を主張するものであり、日本国特許出願第２０１６－２０２５１６号の全内容を本国際出願に参照により援用する。
　本開示は、車両の周囲の画像を表示装置に表示させる表示制御装置に関する。
　車両に取付けられたカメラで当該車両（すなわち、自車両）の周辺の画像を撮影し、その撮影画像を自車両の上方から見下ろす視点の画像である鳥瞰画像に変換して、その鳥瞰画像を車室内に備えられた表示装置に表示させる技術が知られている。
　また、特許文献１には、カメラの撮影範囲に含まれない自車両の下側の路面の情報を、過去に撮影された画像を用いて補完する技術が記載されている。具体的には、過去に取得された鳥瞰画像（すなわち、履歴画像）から現時点で取得された鳥瞰画像（すなわち、リアル画像）の視野から外れる移動領域が抽出される。そして、車両の移動量だけ履歴画像の移動領域がずらされてリアル画像に描画されることで、合成鳥瞰画像が作成される。
特開２００４－３３６６１３号公報
　特許文献１に記載の技術では、カメラにより撮影された画像が取得される度に、時間的に連続する２つの鳥瞰画像の間で履歴画像の移動領域が抽出される処理が繰返される。すなわち、カメラから画像が入力される度に履歴画像が更新される。そして、更新された履歴画像から抽出された新たな移動領域がリアル画像に描画される。また、カメラの撮影範囲から外れる非撮影領域が広範囲に及ぶ場合、異なる時刻に撮影された複数の履歴画像からそれぞれ抽出された移動領域が時系列に繋ぎ合わせられることによって、合成鳥瞰画像が作成される。
　しかしながら、発明者の詳細な検討の結果、上記先行技術について次のような問題が見出された。例えば、砂利道や石畳のような凹凸や段差のある道を車両が走行した場合、車両が揺れ動いて挙動が不安定となる。車両の挙動が不安定となることで、その時々で地面に対するカメラの位置が変化し、カメラにより撮影される路面の写り方が変わってしまう。そうなると、履歴画像から抽出された移動領域に写る路面が、リアル画像や他のタイミングで抽出された移動領域に写る路面と連続的に繋がらなくなる。その結果、合成鳥瞰画像において路面が不連続に描画されてしまう。合成鳥瞰画像において路面が不連続に描画されてしまう問題は、カメラから画像が入力される度に履歴画像が更新される場合において顕著に現れることが、発明者によって見出された。
　本開示の一局面は、車両の挙動が不安定な状況下において、過去に撮影された履歴画像を用いて合成鳥瞰画像を作成するのに好適な技術を提供することが好ましい。
　本開示の一態様に係る表示制御装置は、撮影画像取得部、鳥瞰変換部、履歴画像取得部、履歴画像記憶部、移動量算出部、表示画像作成部、表示処理部、判定部を備える。撮影画像取得部は、車両に搭載されたカメラによって車両の周辺における所定の撮影範囲が撮影された画像である撮影画像を周期的に取得するように構成されている。鳥瞰変換部は、撮影画像取得部により周期的に取得された撮影画像に鳥瞰変換を施して、車両の周囲を鳥瞰したである撮影鳥瞰画像を逐次作成するように構成されている。履歴画像取得部は、所定の条件に応じて定められるタイミングごとに、撮影画像取得部により取得された撮影画像のうち車両の進行方向前方における所定の領域に対応する鳥瞰画像である履歴画像を取得するように構成されている。
　履歴画像記憶部は、履歴画像取得部により取得された少なくとも１つの履歴画像を記憶するように構成されている。移動量算出部は、車両の挙動を表す情報に基づいて、車両の移動量を算出するように構成されている。表示画像作成部は、履歴画像記憶部に記憶されている履歴画像の中から、現時点で取得された撮影鳥瞰画像の非撮影領域に対応する領域を車両の移動量に基づいて抽出する。そして、表示画像作成部は、抽出された領域を非撮影領域に合成することにより、表示のための鳥瞰画像である表示鳥瞰画像を作成するように構成されている。表示処理部は、表示画像作成部により作成された表示鳥瞰画像を、車両に備えられた表示装置に表示させるように構成されている。
　判定部は、車両の状態を表す状態情報に基づいて、車両の挙動が特定の不安定な状態に該当するか否かを判定するように構成されている。そして、前記判定部によって前記不安定な状態に該当しないと判定されている条件下では、履歴画像取得部は、カメラによって撮影画像が撮像される周期に対応した所定の第１周期ごとに最新の撮影鳥瞰画像から履歴画像を取得するように構成されている。一方、判定部によって不安定な状態に該当すると判定されている条件下では、履歴画像取得部は、第１周期より遅いタイミングで最新の撮影鳥瞰画像から履歴画像を取得するように構成されている。
　本開示に係る表示制御装置によれば、車両の挙動が不安定な状況下において、履歴画像を更新するタイミングを車両の挙動が不安定でない通常時よりも遅くすることが可能である。このようにすることで、非撮影領域において同時刻に撮影された履歴画像から合成される範囲が通常時よりも広くなる。その結果、異なる時刻に撮影された履歴画像が繋ぎ合わせられる回数が低減される。したがって、撮像鳥瞰画像及び履歴画像から合成された表示鳥瞰画像において、非撮影領域に描画された路面の画像が不連続になることを抑制できる。
　本開示についての上記目的及びその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面の概要は次のとおりである。
図１は、表示システムの構成を表すブロック図である。 図２は、表示制御処理の手順を表すフローチャートである。 図３は、通常時における表示鳥瞰画像の合成方法を表す説明図である。 図４は、不安定時における表示鳥瞰画像の合成方法を表す説明図である。
　以下、本開示の実施形態を図面に基づいて説明する。なお、本開示は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
　［表示システムの構成の説明］
　本開示の実施形態としての表示制御装置９を含む表示システム１の構成について、図１を参照しながら説明する。表示システム１は、車両の周辺が撮影された画像を表示する車載装置である。図１に例示されるとおり、表示システム１は、４つのカメラ２，３，４，５、表示装置７、及び表示制御装置９を備える。各カメラ２～５及び表示装置７は、表示制御装置９に接続されている。以下では、表示システム１が搭載された車両を「自車両」という。
　４つのカメラ２～５は、前カメラ２、後カメラ３、左カメラ４、及び右カメラ５として、自車両の前、後、左、及び右にそれぞれ固定して搭載されている。各カメラ２～５は、自車両の前方、後方、左側方、及び右側方をそれぞれの撮影範囲として、自車両の全周囲を隈無く撮影できるように配置されている。ただし、自車両の下側に隠れる路面については、カメラ２～５の撮影範囲に含まれない。
　各カメラ２～５は、一定の時間間隔（例えば、１／３０秒周期）でそれぞれの撮影範囲を繰り返し撮影し、撮影の結果得た撮影画像のデータを表示制御装置９へ出力する。また、表示制御装置９へ出力された撮影画像は、後述するように、表示制御装置９により鳥瞰画像に変換される。なお、本実施形態では、自車両の前後左右それぞれにカメラを備えた事例について説明するが、例えば、前後のみ、あるいは前方又は後方の一方のみを備えた事例についても実施可能である。
　表示装置７は、種々の画像を表示する機能を有するディスプレイである。この表示装置７は、表示された画像を車内の運転者等の乗員が視認可能な位置に設けられる。表示装置７には、表示制御装置９から入力される自車両の周辺を含む範囲を表す鳥瞰画像が表示される。なお、この表示装置７に表示される鳥瞰画像が、表示鳥瞰画像である。
　表示制御装置９は、入力信号処理部１１、画像処理部１３、記憶部１５、及び出力信号処理部１７を備える電子制御装置である。入力信号処理部１１は、各カメラ２～５から入力された撮影画像を画像処理部１３へ出力するためのインタフェースである。
　画像処理部１３は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ、及び入出力インタフェース等を中心に構成された情報処理装置である。画像処理部１３は、例えば、コンピュータシステムとしての機能が集約されたマイクロコントローラ等により具現化される。画像処理部１３の機能は、ＣＰＵがＲＯＭや半導体メモリ等の実体的な記憶媒体に格納されたプログラムを実行することにより実現される。なお、画像処理部１３を構成するマイクロコントローラの数は１つでも複数でもよい。
　画像処理部１３は、機能の構成要素として、撮影画像取得部２１と、鳥瞰変換部２３と、移動量算出部２５と、履歴画像取得部２７と、表示画像作成部２９と、表示処理部３１とを備える。また、履歴画像取得部２７は、判定部３３及び画像取得部３５としての機能を備える。なお、画像処理部１３を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を論理回路やアナログ回路等を組合せたハードウェアを用いて実現してもよい。
　撮影画像取得部２１は、各カメラ２～５から入力信号処理部１１を介して撮影画像を繰り返し取得する。鳥瞰変換部２３は、撮影画像取得部２１が繰り返し取得した撮影画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両の上方から真下又は斜め下に見下ろす視点の鳥瞰画像に逐次変換する。つまり、鳥瞰変換部２３は、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。移動量算出部２５は、自車両から入力されたシフトレンジの情報、及び、車速の情報とステアリング角又はヨーレートの情報とを含む車両挙動情報に基づいて、自車両の移動量を算出する。
　履歴画像取得部２７は、車両の走行状況に応じた所定のタイミングで、鳥瞰変換部２３により作成された撮影鳥瞰画像から自車両の進行方向前方の一部領域を履歴画像として抽出する。履歴画像取得部２７は、抽出された履歴画像を記憶部１５の履歴領域４３に時系列に格納する。なお、履歴画像取得部２７は、自車両が前進している時には、自車両の前側の撮影範囲を履歴画像として取得する。また、履歴画像取得部２７は、自車両が後進している時には、自車両の後ろ側の撮影範囲を履歴画像として取得する。
　判定部３３は、自車両の走行状況に応じて、自車両の挙動が特定の不安定な状態であることを示す不安定条件が成立するか否かを判定する。具体的には、判定部３３は、自車両に備えられたジャイロセンサ、加速度センサ、及び車高センサ等による計測結果で表される挙動に基づき、自車両が凸凹の多い悪路を走行していると判断した場合、不安定条件が成立すると判定する。また、車輪速センサによる計測結果に基づいて自車両が横滑りしていると判断した場合、判定部３３は、不安定条件が成立すると判定する。あるいは、ナビゲーションシステム等で用いられる地図データに基づき、自車両が走行中の道路が悪路に該当する場合、判定部３３は、不安定条件が成立すると判定するように構成してもよい。
　画像取得部３５は、判定部３３による判定結果に応じたタイミングで、撮影鳥瞰画像から履歴画像を抽出し、記憶部１５の履歴領域４３に時系列に保存する。具体的には、不安定条件が不成立である場合、すなわち、通常の走行状態においては、画像取得部３５は、撮影画像取得部２１において撮影画像が取得されるごと（例えば、１／３０秒周期）に履歴画像を取得する。以下、通常時において画像取得部３５が履歴画像を更新する周期を標準周期という。
　一方、不安定条件が成立した場合、すなわち、走行状態が不安定な状況下においては、画像取得部３５は、標準周期よりも長い時間間隔で履歴画像を取得する。具体的には、画像取得部３５は、前に取得された履歴画像の撮影範囲を自車両の移動量に応じて移動させ、当該履歴画像の撮影範囲が所定位置に到達したときに新たな履歴画像を取得する。あるいは、画像取得部３５は、標準周期よりも長く設定された時間間隔ごとに新たな履歴画像を取得する。
　なお、撮影鳥瞰画像は、自車両の周囲のうち、自車両の前後左右方向における所定の範囲についての最新の状況を表す。これに対し、履歴画像は、最新の状況ではないものの、自車両の移動によって自車両の下側に潜り込んだ場所のように、撮影鳥瞰画像ではカバーされない範囲の状況を表すことができる。
　記憶部１５は、上述した撮影鳥瞰画像や履歴画像、後述する表示鳥瞰画像を記憶するための記憶装置である。記憶部１５には、各種画像を記憶するための記憶領域として、リアル領域４１、履歴領域４３、及び出力領域４５があらかじめ確保されている。
　リアル領域４１は、鳥瞰変換部２３により作成された最新の撮影鳥瞰画像を記憶するための領域である。履歴領域４３は、履歴画像取得部２７により取得作成された履歴画像を記憶するための領域である。履歴領域４３には、最新の履歴画像から過去の一定期間分の履歴画像の時系列が保存される。なお、履歴領域４３が本開示における履歴画像記憶部に相当する。出力領域４５は、履歴鳥瞰画像と撮影画像とを合成して作成される鳥瞰画像である表示鳥瞰画像を記憶するための領域である。表示装置７には、出力領域４５に記憶された表示鳥瞰画像が表示される。
　表示画像作成部２９は、撮影鳥瞰画像と履歴画像とを合成した鳥瞰画像である表示鳥瞰画像を作成する。自車両の周辺が撮影された撮影鳥瞰画像において、自車両の下側に隠れる範囲は各カメラ２～３の撮影範囲に含まれないため、撮影鳥瞰画像の中央部分は空白となる。以下、この空白部分を非撮影領域という。表示画像作成部２９は、履歴領域４３に蓄積されている履歴画像の時系列から、自車両の移動量に基づいて非撮影領域に対応する領域を抽出する。そして、表示画像作成部２９は、各履歴画像から抽出された領域を繋ぎ合わせることで、非撮影領域全体に対応する範囲の画像である補填画像を作成する。そして、表示画像作成部２９は、作成された補填画像を最新の撮影鳥瞰画像の非撮影領域に合成することで表示鳥瞰画像を作成する。表示画像作成部２９により作成された表示鳥瞰画像は、記憶部１５の出力領域４５に記憶される。
　表示処理部３１は、記憶部１５の出力領域４５に記憶された表示鳥瞰画像を、出力信号処理部１７を介して表示装置７に表示させる。画像処理部１３は、後述する表示制御処理を実行することで、上述の撮影画像取得部２１、鳥瞰変換部２３、移動量算出部２５、履歴画像取得部２７、表示画像作成部２９、及び表示処理部３１の機能を実現する。出力信号処理部１７は、画像処理部１３により作成された表示鳥瞰画像を表示装置７へ出力するためのインタフェースである。
　［表示制御処理の説明］
　表示制御装置９の画像処理部１３が実行する表示制御処理の手順について、図２のフローチャートを参照しながら説明する。表示制御処理は、所定の指示がなされることで開始される。また、表示制御処理は、入力信号処理部１１を介して各カメラ２～５からの撮影画像が入力されるごとに繰返し実行される。すなわち、表示制御処理は、各カメラ２～５により撮影される画像のフレームレート（例えば、毎秒３０フレーム）に同期して実行される。なお、この表示制御処理は、自車両が前進する場合及び後進する場合の何れについても適用可能である。
　Ｓ１００では、画像処理部１３は、各カメラ２～５により撮影された最新の撮影画像をそれぞれ１フレームずつ取得する。なお、Ｓ１００は、撮影画像取得部２１の機能として実行される処理である。Ｓ１０２では、画像処理部１３は、Ｓ１００において取得された撮影画像に鳥瞰変換を施すことにより、自車両の全周囲を上方から見下ろす視点の撮影鳥瞰画像を作成する。なお、Ｓ１０２は、鳥瞰変換部２３の機能として実行される処理である。ここで作成された撮影鳥瞰画像は、リアルタイム画像として記憶部１５のリアル領域４１に保存される。
　Ｓ１０４では、画像処理部１３は、自車両から入力された車両挙動情報に基づいて、前回の自車両の移動量を算出する。なお、Ｓ１０４は、移動量算出部２５の機能として実行される処理である。具体的には、移動量算出部２５は、シフトレンジの情報、及び、車速の情報と操舵角又はヨーレートの情報等の車両挙動情報に基づいて、自車両の移動量を算出する。ここでいう移動量とは、前回の撮影画像の取得タイミングから今回の撮影画像の取得タイミングまでの期間における自車両の位置及び向きの変化である。
　Ｓ１０６では、画像処理部１３は、Ｓ１０４において算出された移動量に応じて、記憶部１５の履歴領域に蓄積されている各履歴画像の位置を移動させる。具体的には、履歴画像に写されている撮影範囲と自車両との相対的な位置関係を、前回の撮影画像の取得タイミングから今回の撮影画像の取得タイミングまでの期間における自車両の移動量の分だけ移動させ、最新の状態に更新する。
　Ｓ１０８では、画像処理部１３は、自車両の挙動について不安定条件が成立するか否かを判定する。なお、Ｓ１０８は、履歴画像取得部２７の判定部３３の機能として実行される処理である。ここで、不安定条件が成立していない場合（すなわち、Ｓ１０８：ＮＯ）、画像処理部１３はＳ１１４に進む。
　Ｓ１１４では、画像処理部１３は、リアル領域４１に保存されている最新の撮影鳥瞰画像から、履歴画像として保存する領域に該当する部分を抽出し、抽出された履歴画像を履歴領域４３に保存する。ここでは、画像処理部１３は、自車両が前進している場合には、自車両の前側に設定された撮影範囲に対応する画像を履歴画像として取得する。一方、自車両が後進している場合には、自車両の後側に設定された撮影範囲に対応する画像を履歴画像として取得する。画像処理部１３は、取得した履歴画像を、履歴領域４３に格納されている履歴画像の時系列に最新の履歴画像として保存する。
　Ｓ１１６では、画像処理部１３は、リアル領域４１に保存されている最新の撮影鳥瞰画像であるリアルタイム画像と、履歴領域４３に保存されている各履歴画像とを合成することにより、表示鳥瞰画像を作成する。なお、Ｓ１１６は、表示画像作成部２９の機能として実行される処理である。
　ここで、不安定条件が成立していない状況下で表示画像作成部２９が表示鳥瞰画像を作成する事例について、図３を参照しながら説明する。図３に例示されるとおり、自車両周辺の最新の撮影鳥瞰画像であるリアルタイム画像Ａの中央部には、自車両の下側に隠れた部分に相当する非撮影領域Ｂが存在する。
　一方、不安定条件が成立していない通常の走行時においては、画像処理部１３に繰返し入力される撮影画像について、撮影画像のフレームレートと同じ標準周期ごとに履歴画像が毎回取得され、履歴領域４３が逐次更新される。これにより、図３に例示されるように、連続するフレームに対応する時系列の履歴画像群Ｃが履歴領域４３に蓄積される。表示画像作成部２９は、蓄積された履歴画像群Ｃのうち、新しい履歴画像から非撮影領域Ｂに対応する一部領域を順次繋ぎ合わせることで、非撮影領域Ｂに対応する補填画像Ｄを作成する。
　図３の事例では、補填画像Ｄは、フレームタイミングごとに連続して取得された履歴画像それぞれから抽出された領域Ｆ１～Ｆ１０が、自車両の進行方向に沿って順次に繋ぎ合わせられることによって作成されている。そして、表示画像作成部２９は、リアルタイム画像Ａの中の非撮影領域Ｂに補填画像Ｄをはめ込むことにより、図３に例示されるように、表示鳥瞰画像Ｅを合成する。
　図２のフローチャートの説明に戻る。Ｓ１１８では、画像処理部１３は、記憶部１５の出力領域４５に保存された表示鳥瞰画像を、出力信号処理部１７を介して表示装置７に出力し、表示装置７において表示させる。なお、Ｓ１１８は、表示処理部３１の機能として実行される処理である。Ｓ１１８の後、画像処理部１３は、今回のフレームタイミングにおける表示制御処理を終了し、次のフレームタイミングにおいてＳ１００から再開する。
　一方、Ｓ１０８において不安定条件が成立している判定された場合（Ｓ１０８：ＹＥＳ）、画像処理部１３は処理をＳ１１０に移す。Ｓ１１０では、画像処理部１３は、履歴領域４３に蓄積されている最新の履歴画像について、当該履歴画像の撮影範囲の自車両に対する相対的な位置が、所定の履歴画像更新位置に到達したか否かを判定する。この履歴画像更新位置は、自車両の位置に対応する非撮影領域を基準とする所定の位置であり、自車両の進行方向（すなわち、前進又は後進）に応じて予め定められている。なお、Ｓ１１６は、画像取得部３５の機能として実行される処理である。
　最新の履歴画像の撮影範囲が履歴画像更新位置に到達していない場合（Ｓ１１０：ＮＯ）、画像処理部１３は処理をＳ１１２に移す。Ｓ１１２では、画像処理部１３は、履歴画像更新時期が到来したか否かを判定する。この履歴画像更新時期は、不安定時において履歴画像を更新すべき時間時期を規定するものである。履歴画像更新時期は、最後に履歴画像の更新を行った時刻から所定時間が経過したタイミングに設定されている。ただし、履歴画像更新時期の周期は、通常時において履歴画像を更新する標準周期よりも長い時間間隔が設定されているものとする。なお、Ｓ１１６は、画像取得部３５の機能として実行される処理である。
　履歴画像更新時期が到来していない場合（Ｓ１１２：ＮＯ）、画像処理部１３はＳ１１４をスキップして処理をＳ１１６に移す。以降、画像処理部１３は、Ｓ１１６において表示鳥瞰画像を作成し、Ｓ１１８において表示鳥瞰画像を出力した後、今回のフレームタイミングにおける表示制御処理を終了する。
　一方、Ｓ１１０において最新の履歴画像の撮影範囲が履歴画像更新位置に到達したと判定された場合（Ｓ１１０：ＹＥＳ）、又は、履歴画像更新時期が到来したと判定された場合（Ｓ１１２：ＹＥＳ）、画像処理部１３は処理をＳ１１４に移す。以降、画像処理部１３は、Ｓ１１４において新たな履歴画像を取得する。そして、画像処理部１３は、Ｓ１１６において表示鳥瞰画像を作成する。画像処理部１３は、Ｓ１１８において表示鳥瞰画像を出力した後、今回のフレームタイミングにおける表示制御処理を終了する。
　上述のとおり、本実施形態では、悪路走行や横滑り等の不安定条件が成立している状況下では、一定距離以上を移動又は履歴画像更新時期が到来しない限り、履歴画像の更新が行われない。結果的に、通常の走行時と比較して履歴画像が更新される周期が遅くなる。ここで、不安定条件が成立している状況下で表示画像作成部２９が表示鳥瞰画像を作成する事例について、図４を参照しながら説明する。図４は、フレームタイミングごとの連続する時刻Ｔ０～Ｔ７について、各時刻において取得された撮影鳥瞰画像であるリアルタイム画像Ａ０～Ａ７と、この期間に取得される履歴画像との位置関係の推移を模式的に表している。
　図４に例示されるとおり、時刻Ｔ０において、画像処理部１３が矢印で示す進行方向の前側の撮影範囲から履歴画像Ｃ０を取得したと想定する。なお、図４において、符号５０は、履歴画像更新位置を示している。また、符号Ｂ０～Ｂ７は、各時刻におけるリアルタイム画像Ａ０～Ａ７の中央に分布する非撮影領域であり、自車両の下側に隠れる範囲を示している。図４事例では、履歴画像更新位置５０は、非撮影領域Ｂ０～Ｂ７の進行方向側の先端部から、進行方向の反対方向へ履歴画像の撮影範囲の長さと同じ距離だけ進んだ位置に設定されている。ただし、この距離は、撮影画像が入力される１周期分の時間に自車両が進む距離よりも十分に長い距離であることが前提である。
　次の時刻Ｔ１，Ｔ２，Ｔ３の期間において、自車両の移動に伴い履歴画像Ｃ０の自車両に対する相対的な位置が推移する。画像処理部１３は、各時刻Ｔ１，Ｔ２，Ｔ３において、履歴画像Ｃ０から非撮影領域Ｂ１～Ｂ３に重なる一部領域を補填画像として、各時刻のリアルタイム画像Ａ１～Ａ３にそれぞれ合成することにより、表示鳥瞰画像を作成する。ただし、時刻Ｔ１～Ｔ３の期間では、新たな履歴画像の取得が行われない。その結果、最後に取得された履歴画像Ｃ０から非撮影領域に合成される画像の範囲が徐々に拡大する。
　次の時刻Ｔ４において、履歴画像Ｃ０の撮影範囲が履歴画像更新位置５０に到達したことにより、画像処理部１３が次の履歴画像Ｃ４を取得する。また、画像処理部１３は、各時刻Ｔ４において、履歴画像Ｃ０から非撮影領域Ｂ４に重なる一部領域を補填画像として、リアルタイム画像Ａ４に合成することにより、表示鳥瞰画像を作成する。
　次の時刻Ｔ５，Ｔ６，Ｔ７の期間において、自車両の移動に伴い履歴画像Ｃ０，Ｃ４の自車両に対する相対的な位置が推移する。画像処理部１３は、各時刻Ｔ４，Ｔ５，Ｔ６において、履歴画像Ｃ０，Ｃ４から非撮影領域Ｂ５～Ｂ７に重なる一部領域を補填画像として、各時刻のリアルタイム画像Ａ５～Ａ７にそれぞれ合成することにより、表示鳥瞰画像を作成する。ただし、時刻Ｔ５～Ｔ７の期間では、最後に取得された履歴画像Ｃ４が履歴画像更新位置５０に到達していないため、新たな履歴画像の取得が行われていない。その結果、最後に取得された履歴画像Ｃ４から非撮影領域に合成される画像の範囲が徐々に拡大する。
　［効果］
　実施形態の表示制御装置９によれば、以下の効果を奏する。
　悪路の走行や横滑り等、車両の挙動が不安定な状況下において、履歴画像を更新するタイミングを通常時よりも遅くすることが可能である。このようにすることで、非撮影領域において同時刻に撮影された履歴画像から合成される範囲が通常時よりも広くなり、異なる時刻に撮影された履歴画像が繋ぎ合わせられる回数が低減される。したがって、合成された表示鳥瞰画像において、非撮影領域に描画された路面の画像が不連続になることを抑制できる。
　また、車両の挙動が不安定な状況下において、履歴画像を更新するタイミングを、自車両の移動量及び時間間隔によって決定できる。このようにすることで、自車両の移動状況等に応じた柔軟な態様にて履歴画像を更新することができる。
　［変形例］
　上記各実施形態における１つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を１つの構成要素に発揮させたりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が、本開示の実施形態である。
　上述した表示制御装置９を構成要件とするシステム、表示制御装置９としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の実体的な記録媒体、表示制御方法等の種々の形態で本開示を実現することもできる。
　上述の実施形態では、４つのカメラ２～５により撮影された画像から撮影鳥瞰画像を作成する事例について説明した。これに限らず、４つよりも少ない又は多いカメラにより撮影された画像に基づいて鳥瞰画像を作成する構成であってもよい。
　上述の実施形態では、表示制御処理において、履歴画像が更新位置に到達したか否かを判定するＳ１１０の処理と、履歴画像更新時期が到来したか否かを判定するＳ１１２の処理とを両方実施する事例について説明した。これに限らず、Ｓ１１０又はＳ１１２の何れか一方のみを実施する構成であってもよい。

Claims (4)

  1. 　車両に搭載された１又は複数のカメラ（２～５）によって前記車両の周辺における所定の撮影範囲が撮影された画像である撮影画像を周期的に取得するように構成された撮影画像取得部（２１，Ｓ１００）と、
    　前記撮影画像取得部により周期的に取得された撮影画像に鳥瞰変換を施して、前記車両の周囲を鳥瞰したである撮影鳥瞰画像を逐次作成するように構成された鳥瞰変換部（２３，Ｓ１０２）と、
    　所定の条件に応じて定められるタイミングごとに、前記撮影画像取得部により取得された撮影画像のうち前記車両の進行方向前方における所定の領域に対応する鳥瞰画像である履歴画像を取得するように構成された履歴画像取得部（３５，Ｓ１１０～Ｓ１１４）と、
    　前記履歴画像取得部により取得された少なくとも１つの履歴画像を記憶するように構成された履歴画像記憶部（４３）と、
    　前記車両の挙動を表す情報に基づいて、前記車両の移動量を算出するように構成された移動量算出部（２５，Ｓ１０４）と、
    　最新の撮影鳥瞰画像において前記カメラの撮影範囲に含まれない範囲に対応する非撮影領域について、前記履歴画像記憶部に記憶されている履歴画像の中から前記非撮影領域に対応する領域を前記移動量算出部により算出された移動量に基づいて抽出し、抽出された前記領域を前記非撮影領域に合成することにより、表示のための鳥瞰画像である表示鳥瞰画像を作成するように構成された表示画像作成部（２９，Ｓ１１６）と、
    　前記表示画像作成部により作成された表示鳥瞰画像を、前記車両に備えられた表示装置に表示させるように構成された表示処理部（３１，Ｓ１１８）と、
    　前記車両の状態を表す状態情報に基づいて、前記車両の挙動が特定の不安定な状態に該当するか否かを判定するように構成された判定部（３３，Ｓ１０８）とを備え、
    　前記判定部によって前記不安定な状態に該当しないと判定されている条件下では、前記履歴画像取得部は、前記カメラによって撮影画像が撮像される周期に対応した所定の第１周期ごとに最新の前記撮影鳥瞰画像から前記履歴画像を取得する一方、前記判定部によって前記不安定な状態に該当すると判定されている条件下では、前記履歴画像取得部は、前記第１周期より遅いタイミングで最新の前記撮影鳥瞰画像から前記履歴画像を取得するように構成されている、表示制御装置。
  2. 　前記判定部によって前記不安定な状態に該当すると判定されている条件下において、前記履歴画像取得部は、前記履歴画像記憶部に記憶されている最新の履歴画像に写された撮影範囲が、前記車両の移動に伴って前記撮影鳥瞰画像における前記非撮影領域に対して予め定められた更新位置に到達したときに、最新の前記撮影鳥瞰画像から次の履歴画像を取得するように構成されている、
    　請求項１に記載の表示制御装置。
  3. 　前記判定部によって前記不安定な状態に該当すると判定されている条件下において、前記履歴画像取得部は、最後に前記履歴画像が取得された時点から前記第１周期より長い所定の更新時間が経過したときに、最新の前記撮影鳥瞰画像から次の履歴画像を取得するように構成されている、
    　請求項１又は請求項２に記載の表示制御装置。
  4. 　前記判定部は、前記車両が走行している路面が悪路に該当する場合、又は前記車両において横滑りが検知されたことを条件に前記不安定な状態に該当すると判定するように構成されている、
    　請求項１ないし請求項３の何れか１項に記載の表示制御装置。
PCT/JP2017/036307 2016-10-14 2017-10-05 表示制御装置 WO2018070338A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/340,847 US10873725B2 (en) 2016-10-14 2017-10-05 Display control device
DE112017005211.4T DE112017005211T5 (de) 2016-10-14 2017-10-05 Anzeigesteuerungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016202516A JP6572862B2 (ja) 2016-10-14 2016-10-14 表示制御装置
JP2016-202516 2016-10-14

Publications (1)

Publication Number Publication Date
WO2018070338A1 true WO2018070338A1 (ja) 2018-04-19

Family

ID=61905704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036307 WO2018070338A1 (ja) 2016-10-14 2017-10-05 表示制御装置

Country Status (4)

Country Link
US (1) US10873725B2 (ja)
JP (1) JP6572862B2 (ja)
DE (1) DE112017005211T5 (ja)
WO (1) WO2018070338A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220105187A (ko) * 2021-01-18 2022-07-27 현대자동차주식회사 차량의 탑뷰 영상 표시 방법 및 그 표시 장치
JP2024010758A (ja) * 2022-07-13 2024-01-25 パナソニックＩｐマネジメント株式会社 表示処理装置、表示処理方法、及び表示処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036485A (ja) * 2005-07-25 2007-02-08 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
WO2013175684A1 (ja) * 2012-05-23 2013-11-28 株式会社デンソー 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体、車両の周囲の画像をトップビュー変換して表示させる画像処理方法
WO2014171100A1 (ja) * 2013-04-15 2014-10-23 株式会社デンソー 車両用画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3797343B2 (ja) 2003-05-12 2006-07-19 株式会社デンソー 車両周辺表示装置
JP4724522B2 (ja) 2004-10-28 2011-07-13 株式会社デンソー 車両周囲視界支援システム
JP2006341641A (ja) 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP5068779B2 (ja) 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
CN103124995B (zh) * 2011-02-21 2015-07-01 日产自动车株式会社 周期性静止物体检测装置和周期性静止物体检测方法
US9715633B2 (en) * 2012-11-27 2017-07-25 Clarion Co., Ltd. Vehicle-mounted image processing device
JP6260891B2 (ja) * 2013-08-08 2018-01-17 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
US10000135B2 (en) * 2013-09-30 2018-06-19 Nissan Motor Co., Ltd. Parking assist device
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
US20160150189A1 (en) * 2014-11-20 2016-05-26 Caterpillar Inc. Image processing system and method
JP6566513B2 (ja) 2015-04-21 2019-08-28 学校法人 関西大学 心容積及び心拍出量の推定装置
US10282074B2 (en) 2017-03-10 2019-05-07 GM Global Technology Operations LLC Method and apparatus for enhancing top view image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036485A (ja) * 2005-07-25 2007-02-08 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
WO2013175684A1 (ja) * 2012-05-23 2013-11-28 株式会社デンソー 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体、車両の周囲の画像をトップビュー変換して表示させる画像処理方法
WO2014171100A1 (ja) * 2013-04-15 2014-10-23 株式会社デンソー 車両用画像処理装置

Also Published As

Publication number Publication date
JP6572862B2 (ja) 2019-09-11
JP2018064229A (ja) 2018-04-19
DE112017005211T5 (de) 2019-07-11
US20190246068A1 (en) 2019-08-08
US10873725B2 (en) 2020-12-22

Similar Documents

Publication Publication Date Title
EP2974909B1 (en) Periphery surveillance apparatus and program
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP6028848B2 (ja) 車両の制御装置、及びプログラム
US11657319B2 (en) Information processing apparatus, system, information processing method, and non-transitory computer-readable storage medium for obtaining position and/or orientation information
WO2013175684A1 (ja) 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体、車両の周囲の画像をトップビュー変換して表示させる画像処理方法
JP6586849B2 (ja) 情報表示装置及び情報表示方法
US10896542B2 (en) Moving body image generation recording display device and program product
CN110877572A (zh) 周边监视装置
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP6471522B2 (ja) カメラパラメータ調整装置
JP2006327498A (ja) 駐車支援方法及び駐車支援装置
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
WO2018070338A1 (ja) 表示制御装置
US10157595B2 (en) Display control device
JP6327115B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2010237798A (ja) 画像処理装置および画像処理プログラム
JP4945315B2 (ja) 運転支援システム及び車両
EP3396620B1 (en) Display control device and display control method
CN108353147B (zh) 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质
JP2010237797A (ja) 画像処理装置および画像処理プログラム
JP2021135721A (ja) 周辺監視装置、およびプログラム
WO2017022457A1 (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
KR20190117213A (ko) 조감도 이미지 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860605

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17860605

Country of ref document: EP

Kind code of ref document: A1