WO2013002037A1 - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
WO2013002037A1
WO2013002037A1 PCT/JP2012/065221 JP2012065221W WO2013002037A1 WO 2013002037 A1 WO2013002037 A1 WO 2013002037A1 JP 2012065221 W JP2012065221 W JP 2012065221W WO 2013002037 A1 WO2013002037 A1 WO 2013002037A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
overhead
bird
vehicle
image
Prior art date
Application number
PCT/JP2012/065221
Other languages
English (en)
French (fr)
Inventor
義隆 奥山
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US14/117,371 priority Critical patent/US20140354452A1/en
Priority to EP12804158.9A priority patent/EP2724896B1/en
Priority to CN201280026515.8A priority patent/CN103596812B/zh
Publication of WO2013002037A1 publication Critical patent/WO2013002037A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to a parking support apparatus capable of providing driving support for a user who performs parking processing by showing a state around a parking position of a vehicle with a bird's-eye view image (overhead view image).
  • the user can see the situation between the vehicle and the parking space and other surrounding objects based on the video as if the situation around the vehicle was taken from the sky.
  • the positional relationship can be grasped, and the state of the vehicle can be grasped intuitively.
  • the parking space display position may move greatly according to the turning operation, or the parking space may not be displayed outside the overhead view image. There was a problem.
  • Patent Document 2 when an overhead image is generated based on a video taken immediately before entering the parking operation and parking processing is started, the overhead image is stopped while updating the overhead image is stopped.
  • a bird's-eye view video of a display form that changes the display position of the own vehicle CG (Computer graphics) superimposed on the vehicle to a position corresponding to the moving direction and the moving amount of the own vehicle is generated and provided to the user.
  • the position of the host vehicle CG does not move as the host vehicle moves, but the position of the host vehicle CG changes, so that the display position of the parking space changes greatly. It can be avoided that the parking space disappears from the screen.
  • Patent Document 2 when generating a bird's-eye view video, instead of using a fixed bird's-eye view image, a conversion algorithm that dynamically changes as the host vehicle moves, for example, Generates a special bird's-eye view image (vehicle surrounding image) where the display position of the parking space on the screen does not move even if the host vehicle moves, using a conversion formula that uses a variable whose value changes according to the direction and amount of movement. A method to do this has also been proposed.
  • the present invention has been made in view of the above problems, and provides an overhead video in which the display position of the parking space is displayed on the display screen in real time even when the host vehicle moves without using an advanced video conversion processing system. It is an object to provide a parking assistance device that can be provided to a user.
  • the parking assist device is a first overhead view video that virtually looks down on the situation around the vehicle from above the vehicle based on camera images taken by a plurality of cameras installed in the vehicle.
  • a first bird's-eye view image generation unit that generates a parking target position for detecting the parking target position for parking the vehicle from the first bird's-eye view image, and the parking target detected by the parking target position detection unit.
  • a viewpoint position determination unit that determines a viewpoint position based on a positional relationship between a position and a vehicle position in the first bird's-eye image; and a positional relationship between the parking target position and the vehicle position in the first bird's-eye image
  • a rotation amount determination unit that determines a rotation amount in the first bird's-eye view image and a center position in the first bird's-eye view image are moved to the viewpoint position determined by the viewpoint position determination unit.
  • a viewpoint conversion table generating unit that generates a viewpoint conversion table for rotating the first overhead view video with reference to the viewpoint position based on the rotation amount determined by the rotation amount determining unit, and the viewpoint conversion table generating unit
  • the first bird's-eye view image is subjected to image conversion processing based on the obtained viewpoint conversion table, so that the viewpoint position becomes the center position of the bird's-eye view image, and is rotated by the rotation amount determined by the rotation amount determination unit. It has the 2nd bird's-eye view image production
  • the first overhead view video is converted using the viewpoint conversion table created by the viewpoint conversion table creation unit based on the first overhead view video generated by the first overhead view video generation unit.
  • the second overhead view video in which the viewpoint position and the vertical and horizontal directions (rotation amount) are changed is generated.
  • the first overhead view video generation unit performs processing of the boundary portion of the camera video in advance when the first overhead view video is generated. Therefore, it is not necessary to process the boundary portion in the second overhead view video generation unit. For this reason, it becomes easy to eliminate the processing burden in the boundary portion processing and generate the second overhead view video in real time.
  • the vehicle user can grasp the surrounding situation in real time from the second bird's-eye view video, and can improve the safety during the parking process.
  • the viewpoint conversion table simply moves the first bird's-eye view image vertically and horizontally based on the viewpoint position determined by the viewpoint position determination unit, and rotates the first bird's-eye view image based on the rotation amount determined by the rotation amount determination unit. Therefore, the viewpoint conversion table generation unit can easily generate the viewpoint conversion table, and the processing load on the viewpoint conversion table generation unit can be reduced. For this reason, it becomes possible to perform the production
  • the second bird's-eye view video is easily generated from the first bird's-eye view video using the viewpoint conversion table, and the viewpoint conversion table also performs a simple process of simply moving the first bird's-eye view video up and down, left and right, and rotating. Therefore, it is not necessary to use an advanced conversion algorithm or the like to generate the second overhead view video. For this reason, an advanced arithmetic processing system for generating the second bird's-eye view video is not required, and the processing cost can be reduced.
  • the viewpoint position determined by the viewpoint position determination unit is determined based on the positional relationship between the parking target position detected by the parking target position detection unit and the vehicle position in the first overhead view video. For this reason, the second bird's-eye view video is not the bird's-eye view image in which the vehicle is centered like the conventional bird's-eye view image (first bird's-eye view image), but the viewpoint position considering the positional relationship between the parking target position and the vehicle position is the center. Therefore, it is possible to prevent the parking target position from becoming invisible from the overhead view image by the switching operation.
  • the rotation amount determination unit determines the rotation amount in the first overhead view image, and the second overhead view image is subjected to conversion processing in the vertical and horizontal directions of the image based on the rotation amount. For this reason, the direction of the screen can be changed according to the direction of the parking target position with respect to the vehicle position, and the display direction of the screen during parking can be made more suitable for the actual parking situation.
  • the first overhead view video is converted using the viewpoint conversion table created by the viewpoint conversion table creation unit based on the first overhead view video generated by the first overhead view video generation unit.
  • the second overhead view video generation process can be easily generated using the viewpoint conversion table, a desired overhead view video can be generated in real time. Become.
  • FIG. 1 It is a block diagram which shows an example of schematic structure of the hardware in the car navigation system which concerns on embodiment of this invention. It is a figure which shows an example of the installation position of the camera installed in the vehicle which concerns on embodiment of this invention. It is a block diagram which shows an example of schematic structure of the functional block in the car navigation system which concerns on embodiment of this invention. It is the figure which illustrated the whole bird's-eye view image (overhead image) generated based on the camera image concerning an embodiment of the invention, and the image range of the bird's-eye view image (head view image) extracted based on table data .
  • bird's-eye view image which illustrated the viewpoint position in the bird's-eye view image (overhead view image) which concerns on embodiment of this invention
  • An example of a bird's-eye view video (bird's-eye view image) is shown, and (b) shows an example of a bird's-eye view image (overhead image) when the viewpoint position is determined as the parking target position.
  • (A) shows an example of the bird's-eye view image (overhead image) before the rotation process is performed on the bird's-eye view image (bird's-eye view image), and (b) shows the bird's-eye view image (bird's-eye view image) after the rotation process is performed.
  • FIG. 1 is a block diagram illustrating an example of a schematic configuration of hardware in the car navigation system 1.
  • the car navigation system 1 includes a current position detection unit 10, a VICS (Vehicle Information and Communication System) (registered trademark) information reception unit 11, an input operation unit 12, an image memory unit 13, a display A monitor (display unit) 14, a touch panel unit (input unit) 15, a map data recording unit (viewpoint conversion table recording unit) 16, a speaker 17, and a control unit (first overhead view video generation unit, parking target position detection unit) , Viewpoint position determination unit, rotation amount determination unit, viewpoint conversion table creation unit, second overhead view video generation unit) 18, RAM (Random Access Memory: viewpoint conversion table recording unit) 19, ROM (Read Only Memory) 20 And a camera 21.
  • VICS Vehicle Information and Communication System
  • the current position detection unit 10 has a role of detecting the current position of the vehicle on which the car navigation system 1 is mounted.
  • the current position detection unit 10 includes a vibration gyro 10a, a vehicle speed sensor 10b, and a GPS (Global Positioning System) sensor 10c.
  • the vibrating gyroscope 10a has a function of detecting the traveling direction of the vehicle (direction in the traveling direction).
  • the vehicle speed sensor 10b has a role of detecting the vehicle speed by detecting a pulse generated according to the travel distance of the vehicle from a pulse generator installed in the vehicle.
  • the GPS sensor 10c has a role of detecting a GPS signal from a GPS satellite, and the control unit 18 uses the received GPS signal to determine the current position of the vehicle based on the coordinate position (for example, latitude based on the world geodetic system (WGS84)). It is possible to detect based on (longitude information).
  • the coordinate position for example, latitude based on the world geodetic system (WGS84)
  • the VICS information receiving unit 11 has a role of receiving VICS information.
  • the VICS information is information supplied by a VICS information center (not shown), and is information indicating road conditions such as the latest traffic jam information.
  • the VICS information receiving unit 11 can reliably acquire traffic information by receiving VICS information supplied by radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • the VICS information received by the VICS information receiving unit 11 is output to the control unit 18.
  • the input operation unit 12 is used when performing various operations in the car navigation system 1 by an operation method other than a method of performing a touch operation using the touch panel unit 15. Specifically, a physical switch / button, a remote controller, or the like provided in the casing of the car navigation system 1 corresponds to the input operation unit 12.
  • the image memory unit 13 has a role of temporarily storing image data to be displayed on the display monitor 14.
  • the image data is extracted from the map data recording unit 16 based on the current position information of the vehicle acquired by the control unit 18 from the current position detection unit 10 and the destination information set by the user. It is generated appropriately by combining various image information.
  • the control unit 18 records the generated image data in the image memory unit 13, and the image data recorded in the image memory unit 13 is sequentially displayed as a map display or the like on the display monitor 14 of the car navigation system 1. Become. As described above, the image data recorded in the image memory unit 13 is sequentially displayed on the display monitor 14, whereby a video based on the image data (for example, an overhead image based on the overhead image) is displayed on the display monitor 14 in real time. It becomes possible to make it.
  • the image memory unit 13 displays on the display monitor 14 an overhead video generated by an overhead video generation unit 30 (see FIG. 3) to be described later and a viewpoint converted video generated by a viewpoint converted video generation unit 36 to be described later. Has a role to record. Detailed descriptions of the overhead view video generation unit 30 and the viewpoint conversion video generation unit 36 will be described later.
  • the display monitor 14 has a role of displaying various information such as a road map near the vehicle position on the screen based on various information such as map data.
  • a liquid crystal monitor or a CRT monitor can be specifically used as the display monitor 14.
  • the display monitor 14 virtually looks down on the situation around the vehicle from above the vehicle or the parking space. It can be displayed as a video (overhead video). The description regarding the process of displaying the overhead view video on the display monitor 14 will be described later.
  • the touch panel unit 15 plays a role of determining whether or not the user has touched the surface of the display monitor 14 with a finger and determining input processing by the user based on the touch position.
  • the touch panel unit 15 includes a touch detection unit 15a and a touch control unit 15b.
  • the touch detection unit 15a is configured by a transparent sheet-like touch switch or the like laminated on the surface of the display monitor 14.
  • the touch detection unit 15a is a detection unit different from a physical switch such as the input operation unit 12, and the presence or absence of a touch operation on the display screen of the display monitor 14 is set as a detection method such as an electrostatic method or a pressure sensitive method. Detect based on. Since the touch detection unit 15a is configured by a transparent touch switch or the like, the user can display a video (image) displayed on the display monitor 14 via the touch detection unit 15a, for example, a white frame showing a parking space described later. It is possible to visually recognize the video (image) and the like.
  • the touch control unit 15 b is interposed between the touch detection unit 15 a and the control unit 18.
  • the touch control unit 15b calculates a touch position based on a signal (signal by a touch operation) detected by the touch detection unit 15a, and outputs the calculated touch position to the control unit 18.
  • the camera 21 has a role of photographing the situation around the vehicle.
  • four cameras are provided. Specifically, a front camera 41c that is installed in a front portion 41a (for example, a front bumper or a front grill) of the vehicle 40 and photographs a front range 41b of the vehicle 40, and a rear portion 42a of the vehicle 40 (for example, a rear bumper or a rear bumper).
  • a rear camera 42c that is installed in the vicinity of the window and the like to capture the rear range 42b of the vehicle 40, and a left side 43a of the vehicle 40 that is installed in the left side 43a of the vehicle 40 (for example, in the vicinity of the left door mirror or the left pillar position).
  • the video shot by each of the cameras 41c to 44c is used for the overhead view video generation process in the control unit 18. Details of the overhead view generation processing in the control unit 18 will be described later.
  • the number of cameras installed in the vehicle 40 is the same. Is not limited to four units, and any number may be used as long as it is possible to photograph the situation around the entire vehicle 40.
  • the number of installed cameras 21 may be three or less, or may be five or more.
  • the installation position of the camera 21 is not limited to the installation position shown in FIG. 2, and the installation position is limited to the above-described position as long as it is an installation position capable of photographing the situation around the vehicle. It is not something.
  • the map data recording unit 16 is composed of a general auxiliary storage device capable of recording map data, such as a hard disk, SSD (Solid State Drive), DVD-ROM, CD-ROM, and SD card.
  • the map data includes map display data, route search data, and the like.
  • the map display data and the route search data include road link information and node information stored in the map data.
  • map display data map data of a plurality of scales from wide areas to details are prepared. By using this map display data, it is possible to change the scale of the display map according to the user's request. Become.
  • the map data recording unit 16 records table data used when generating a bird's-eye view image based on the surrounding image of the vehicle taken by the camera 21 (41c to 44c).
  • the control unit 18 extracts optimal table data from a plurality of table data recorded in the map data recording unit 16 based on the vehicle and the parking space at the time of the parking process, and shoots by using the extracted table data.
  • a process for generating an optimal overhead view video (overhead view image) from the video of the camera 21 thus performed is performed.
  • the speaker 17 has a role of outputting voice guidance for performing route guidance during navigation to the user and outputting voice guidance accompanying various input operations in the car navigation system 1.
  • the control unit 18 has a role of performing various processes in the car navigation system 1 such as a route search to a destination set by the user, an image generation process based on the searched route, and a voice guidance output process. .
  • the control unit 18 is constituted by, for example, a CPU (Central Processing Unit).
  • the RAM 19 serves as a work area for the control unit 18.
  • table data recorded in the map data recording unit 16 is temporarily recorded in the RAM 19 in the overhead-view video generation process described later. In this way, by reading the table data recorded in the RAM 19 as needed and performing the overhead view video generation process, it is possible to suppress a delay in the overhead view video generation process.
  • the ROM 20 stores various programs executed by the control unit 18.
  • the control unit 18 can perform various control processes by reading a program from the ROM 20 and executing the program.
  • the ROM 20 stores a program for generating an overhead video as shown in FIG.
  • the control unit 18 reads out and executes various programs from the ROM 20 to execute the route guidance processing in the car navigation system 1 and uses it for the guidance route along with the route guidance processing to be executed.
  • the map information to be generated is generated and displayed on the display monitor 14. Further, the control unit 18 generates a bird's-eye view image showing the situation around the vehicle based on the images taken by the cameras 41c to 44c in accordance with the program recorded in the ROM 20, and displays it on the display monitor 14. Process.
  • FIG. 3 is a schematic functional block diagram showing functional units for realizing processing for the control unit 18 to generate a bird's-eye view video and display it on the display monitor 14 in accordance with a program recorded in the ROM 20. is there.
  • the car navigation system 1 includes a functional unit (functional block) as shown in FIG.
  • the car navigation system 1 includes, as each functional unit, an overhead video generation unit (first overhead video generation unit) 30, an overhead video generation table data recording unit 31, a frame buffer unit 32, a parking space extraction unit 33, A viewpoint position determination unit (parking target position detection unit, viewpoint position determination unit, rotation amount determination unit) 34, a viewpoint conversion image generation table data generation unit (viewpoint conversion table generation unit) 35, and a viewpoint conversion image generation unit (first 2 overhead image generation unit) 36.
  • the overhead view video generation unit 30, the parking space extraction unit 33, the viewpoint position determination unit 34, the viewpoint conversion video generation table data creation unit 35, and the viewpoint conversion video generation unit 36 are controlled by the control unit 18 in the ROM 20. By executing the recorded program, it is possible to perform the role as the functional unit. Therefore, the overhead view video generation unit 30, the parking space extraction unit 33, the viewpoint position determination unit 34, the viewpoint conversion video generation table data generation unit 35, and the viewpoint conversion video generation unit 36 are substantially realized by processing in the control unit 18. Will be.
  • map data recording unit 16 or the RAM 19 corresponds to the table data recording unit 31 and the frame buffer unit 32 for generating the overhead image.
  • the bird's-eye view video generation unit 30 generates a bird's-eye view video (first bird's-eye view video) based on videos taken by the four cameras 21 (41c, 42c, 43c, 44c) (specifically, It has the role of generating overhead images by continuously generating overhead images in real time.
  • a specific overhead view video generation method is described in detail in Patent Document 1 (Japanese Patent Laid-Open No. 2001-339716), Patent Document 2 (Japanese Patent Laid-Open No. 2007-183877), and the like already described. The description in is omitted.
  • the overhead view video generation unit 30 when generating the overhead view video (overhead image), creates an overall overhead view video (overhead image: first overhead view video) centered on the vehicle as the first process, As the next processing, it has a role of generating a bird's-eye view image (overhead view image) such that an intermediate point between the vehicle position and the parking target position is in the middle of the screen.
  • the viewpoint conversion video generation unit 36 generates an overhead video (overhead image) such that the corresponding viewpoint position is the center of the video (image) based on the viewpoint position determined by the viewpoint position determination unit 34.
  • the parking target position generally corresponds to a parking space partitioned by a pair of white line frames.
  • an overhead view image (overhead image) in which the viewpoint position obtained by the viewpoint position determination unit 34 in the overhead view image generation unit 30 is located at the center of the image (image) is displayed.
  • a plurality of types of table data to be generated are recorded.
  • This table data is a partial range of the overall overhead view video (overhead image) after the overhead view video generation unit 30 generates the overall overhead view video (overhead view image), and the viewpoint position is at the center.
  • This is table data for image conversion for generating such a bird's-eye view video (overhead view image).
  • the overhead view video generation table data recording unit 31 extracts an overhead view video (overhead image) 51 in the upper left portion of the overall overhead view video (overhead image) 50 as shown in FIG. Table data for extracting, table data for extracting the overhead view video (overhead image) 55 in the lower right part, and table data for extracting the overhead view video (overhead image) 59 of the center part are recorded. .
  • the overhead view image generation table data recording unit 31 is a table for extracting an overhead view image (overhead view image) of the middle upper portion of the overall overhead view image (overhead view image) 50.
  • table data for extracting the overhead view video (overhead image) in the upper right part, table data for extracting the overhead view video (overhead image) in the middle right part, and the overhead view video (overhead image) in the middle lower part Is recorded, table data for extracting the overhead video (overhead image) in the lower left part, and table data for extracting the overhead video (overhead image) in the middle left part are recorded .
  • the overhead view video generation unit 30 extracts the optimum table data from the overhead view video generation table data recording unit 31 based on the viewpoint position acquired from the viewpoint position determination unit 34, so that the viewpoint position is located at the center.
  • a video (overhead image) is generated.
  • the viewpoint position acquired from the viewpoint position determination unit 34 is set around the middle between the vehicle 40 and the parking target position. For this reason, the table data to be selected is determined depending on where the parking target position is located in the overall overhead view video (overhead view image) 50.
  • the map data recording unit 16 or the RAM 19 described above corresponds to the table data recording unit 31 for generating the overhead view video. Therefore, the overhead image generation table data recording unit 31 may be a general auxiliary storage device, and a hard disk, flash memory, SSD (Solid State Drive), or the like can be used.
  • a recording means having a high readout speed so that the process is not delayed due to a delay (bottleneck) in the reading speed of the table data. Therefore, a non-volatile memory or the like can be used for the table data recording unit 31 for generating the overhead view video, but the flash memory may not be able to obtain a desired reading speed. For example, it is possible to use a method in which table data is transferred to a RAM 19 or the like in advance and the data is read from the volatile memory as necessary.
  • the frame buffer unit 32 is used for temporarily recording an overhead image (overhead video) generated by the overhead video generator 30 based on the table data recorded in the overhead video generation table data recording unit 31. .
  • the overhead view image (overhead video) temporarily recorded in the frame buffer unit 32 is used as an image serving as a basis for viewpoint conversion in the viewpoint conversion video generation unit 36 described below.
  • the frame buffer unit 32 also corresponds to the map data recording unit 16 or the RAM 19 described above, but it is desirable to use a recording means with a high reading speed.
  • the parking space extraction unit 33 has a role of obtaining a parking space serving as a parking target position by image analysis based on the overhead view video (overhead view image) converted by the overhead view video generation unit 30.
  • the parking target position is indicated by the white line (white frame) of the vehicle boundary. For this reason, when a white frame to be parked is shown on asphalt or the like, a parking space can be automatically obtained in a predetermined range by density analysis or white line detection in an overhead view image (overhead view image). Is possible. If the road surface is a bright color (for example, white) and the boundary of the parking target position is also a bright color (for example, yellow), it may be difficult to accurately detect the parking space by image analysis processing. Although it exists, since the determination of a parking target position (parking space) is determined by touch panel operation so that it may mention later, a problem does not arise in the detection of a parking target position.
  • the viewpoint position determination unit 34 has a role of determining a viewpoint position for generating an overhead view video (overhead image) to be displayed on the display monitor 14.
  • the viewpoint position is determined by the following two points. First, when the vehicle 40 is away from the parking target position (in the first situation), for example, before a part of the vehicle 40 enters the parking space range (in the white frame) As shown in FIG. 5A, an intermediate position (point P0) between the center of the vehicle position (point P1) and the center of the parking target position (center of the parking space: point P2) is determined as the viewpoint position. Second, when the vehicle 40 enters the parking space range (in the white frame) (in the second situation), the center of the parking target position is shown in FIG. (P2 point) is determined as the viewpoint position.
  • the viewpoint position determination unit 34 has a role of determining the rotation amount of the overhead view video (overhead view image). Specifically, when the vehicle 40 is away from the parking target position (in the first situation), the display position of the parking space is set lower than the vehicle position, and the vehicle in the parking space is The amount of rotation of the overhead view video (overhead view image) is determined so that the end portion on the approach direction side is on the upper side of the screen.
  • the vehicle 40 is moved backward and parked in a parking space.
  • the parking space for parking the vehicle 40 is located on the rear right side of the vehicle, and the entry direction side end 61 of the vehicle 40 is positioned on the left side of the parking space.
  • the overhead view image (overhead view image) is rotated 90 degrees to the right, and the parking space is positioned below the vehicle 40 as shown in FIG.
  • the top / bottom / left / right adjustment of the overhead view image (overhead view image) is performed so that the side end portion 61 is positioned above the parking space.
  • the determination of the rotation amount in the viewpoint position determination unit 34 is determined by the rotation amount that is optimal when the viewpoint position is rotated with reference to the viewpoint position.
  • the viewpoint position determination unit 34 includes the position data of the parking target position detected by the parking space extraction unit 33, the touch position information input from the touch panel unit 15, and the vehicle state information detected by the current position detection unit 10. Entered.
  • the position data of the parking target position input from the parking space extraction unit 33 is data obtained based on the image analysis described above.
  • the touch position information input from the touch panel unit 15 is detected by touching the parking target position (parking space) of the overhead view image displayed on the display monitor 14 when the parking process is started. It is.
  • the viewpoint position determination unit 34 determines the parking target position in the overhead view video (overhead image) based on the relationship between the overhead view video displayed on the display monitor 14 and the touch position detected by the touch detection unit 15a of the touch panel unit 15. Coordinates can be obtained.
  • the vehicle state information detected by the current position detection unit 10 includes information such as the traveling direction of the vehicle, the traveling speed, and the position of the vehicle on the GPS detected by the vibration gyro 10a, the vehicle speed sensor 10b, and the GPS sensor 10c. To do.
  • the viewpoint position determination unit 34 can determine which direction the vehicle is facing, whether it is moving forward, or backward, and so on. It is possible to determine the optimum viewpoint position and the amount of rotation of the overhead view video (overhead image) in real time in accordance with the state of.
  • the touch position information of the touch panel unit 15 and the vehicle state information of the current position detection unit 10 input to the viewpoint position determination unit 34 are output from the viewpoint position determination unit 34 to the parking space extraction unit 33. Is also possible. In the detection process of the parking target position in the parking space extraction unit 33, the parking space is detected using the touch position information and the vehicle state information instead of simply detecting the parking space using only the image analysis result. By doing so, it becomes possible to improve the detection accuracy of the parking target position.
  • the viewpoint position information determined by the viewpoint position determination unit 34 is output to the overhead view video generation unit 30 and the viewpoint converted video generation table data creation unit 35.
  • the overhead image generation unit 30 selects the optimum table data from the overhead image generation table data recording unit 31 based on the received viewpoint position information, and generates an overhead image (overhead image) suitable for the viewpoint position. I do.
  • the viewpoint converted video generation table data creation unit 35 is based on the viewpoint position determined by the viewpoint position determination unit 34 and the amount of rotation of the overhead view video (overhead view image), and the overhead view image (overview video) recorded in the frame buffer unit 32. ) To generate table data for performing up / down / left / right movement processing, rotation processing, and enlargement / reduction processing.
  • the overhead view image (overhead video) recorded in the frame buffer unit 32 is based on the table data selected from the overhead view video generation table data recording unit 31, and the overhead view image (overhead video) converted by the overhead view video generation unit 30. ) And an overhead image (overhead video) corresponding to the viewpoint position obtained by the viewpoint position determination unit 34.
  • This bird's-eye view image is a bird's-eye view image (head-view image) whose size is determined in advance based on the table data, and the vehicle front determined by the camera image taken by the camera 21 is defined on the upper side. It is an image (video).
  • the viewpoint position determination unit 34 determines not only the viewpoint position but also the vertical and horizontal directions (rotation amount) of the overhead video (overhead image) and the like, the overhead image recorded in the frame buffer unit 32 is also determined.
  • the image (video) is such that the (overhead video) corresponds to the vertical and horizontal directions of the overhead video (overhead image) obtained from the relationship with the parking target position with the viewpoint position obtained by the viewpoint position determination unit 34 as the center. ) Needs to be changed.
  • the user of the vehicle 40 it is preferable for the user of the vehicle 40 to enlarge the overhead view image displayed on the display monitor 14 so that the vehicle 40 and the parking target position are displayed. It is possible to provide effective information.
  • the table data creation unit 35 for viewpoint conversion video generation generates a frame based on the viewpoint position information acquired from the viewpoint position determination unit 34, the rotation amount information of the overhead view video (overhead view image), the vehicle position, and the parking target position information.
  • the viewpoint position is the center of the overhead view image (overhead video)
  • the entry direction side end 61 of the vehicle 40 indicates the upper side with respect to the parking target position
  • the overhead image Table data for transforming the vehicle 40 and the parking target position into a bird's-eye view image (overhead view image) that can be appropriately displayed on the bird's-eye view image
  • the bird's-eye view image (head-view image) whose viewpoint is converted by the table data created by the table data creation unit 35 for viewpoint-converted image generation is an enlargement / reduction of the bird's-eye view image (head-view image) recorded in the frame buffer unit 32.
  • This is realized by a basic conversion method of vertical and horizontal movement and rotation.
  • the process of creating the table data in the viewpoint converted video generation table data creation unit 35 is also based on the conversion elements of enlargement, reduction, up / down / left / right movement, and rotation of the image (video), and the viewpoint position determination unit 34. Can be generated easily based on the information from
  • the viewpoint conversion video generation table data creation unit 35 can easily create table data, and does not require a high processing load. For this reason, even when the table data creation process is performed in the table data creation unit 35 for generating the viewpoint-converted video, the overhead view video (overhead view image) created based on the real-time video captured by the camera 21 is displayed. This makes it possible to perform viewpoint conversion processing quickly.
  • the viewpoint conversion video generation unit 36 generates an overhead image (overhead video) recorded in the frame buffer unit 32 based on the viewpoint conversion table data generated by the viewpoint conversion video generation table data generation unit 35, as a viewpoint position.
  • the viewpoint position determined by the determination unit 34 is the center position, and the optimal overhead view image (overhead image: second overhead view image) positioned below the overhead view image (overhead view image) displayed on the display monitor 14 is the parking target position. ) Is converted.
  • the conversion process of the overhead view video (overhead image) in the viewpoint conversion video generation unit 36 is a video conversion process based on the table data, and thus can be realized quickly and with a low processing load.
  • FIG. 7 is a flowchart showing an example of the overhead-view video generation process in the control unit 18.
  • the control unit 18 first determines whether or not information indicating that the parking operation has started has been acquired (step S.1).
  • the configuration may be such that it is determined that the information indicating that the parking operation has started has been acquired based on the fact that the select lever has been set at the reverse (reverse) operation position, and the parking operation start button is displayed on the display monitor 14.
  • Such an icon may be displayed, and it may be determined that the information indicating that the parking operation is started is acquired based on the touch operation of the icon by the user.
  • control unit 18 ends the process.
  • the control unit 18 may be configured to repeatedly execute the same process after the process is completed.
  • step S.1 When information indicating that the parking operation has been started is acquired (Yes in step S.1), the control unit 18 performs an overhead view video (overhead image: first overhead view video) based on the video imaged by the camera 21. ) To display an overhead video (overhead image) on the display monitor 14 via the image memory unit 13 (step S.2). In this process, the control unit 18 functions as an overhead video generation unit 30 and generates an overhead video (overhead image).
  • This step S.I. 2 is an overall bird's-eye view image (overhead image) centered on the vehicle, and the generated bird's-eye view image (overhead image) is recorded in the frame buffer unit 32.
  • the viewpoint conversion video generation unit 36 displays the image on the display monitor 14 without performing viewpoint conversion processing.
  • this step S.I. the overhead view image (overview image) generated in 2 is uncomfortable by adjusting the brightness and the hue on the boundary portions of the images captured by the four cameras 41c, 42c, 43c, and 44c.
  • the image (image) is subjected to a process that does not leave a sense of incongruity in the boundary part by adding an image having no image or by applying an ⁇ (alpha) blend process to the adjacent boundary part.
  • control unit 18 determines whether or not information related to the parking target position has been acquired based on the touch position information input from the touch panel unit 15 (step S.3).
  • the control unit 18 generates an overhead view video (overhead image: first overhead view video) based on the video taken by the camera 21.
  • the process (step S.2) of displaying the overhead video on the display monitor 14 via the image memory unit 13 is repeatedly executed.
  • step S.3 when the parking target position information is acquired (in the case of Yes in step S.3), the control unit 18 based on image processing based on the overhead view video (overhead image) in addition to the acquired parking position information, The parking target position in the whole bird's-eye view image (overhead image) generated by the four cameras is specified, and the parking target position is stored (step S.4). Thereafter, the viewpoint position is determined based on the parking target position and the vehicle position (the center position of the overhead view image (overhead view image)). In this process, the control unit 18 functions as the parking space extraction unit 33.
  • control unit 18 performs step S.1. 4 and the parking target position specified in step 4;
  • the viewpoint position is determined based on the vehicle position (center position) in the overhead view video (overhead image) generated in step 2 (step S.5).
  • the control unit 18 functions as the viewpoint position determination unit 34.
  • the viewpoint position is determined as an intermediate position between the vehicle 40 and the parking target position (see FIG. 5 (a) is determined as the viewpoint position.
  • the parking target position (more specifically, the central position of the parking space, point P2 in FIG. 5B). ) Is determined as the viewpoint position.
  • the control unit 18 creates a new viewpoint that considers the vehicle position and the parking target position based on the traveling direction information, GPS information, vehicle speed information, and the like acquired from the current position detection unit 10. Determine the position.
  • step S.1 The white line portion (white frame) of the parking target position (parking space) specified in 4 is obtained by image analysis of the overhead view image (overhead image), and the parking target position is below the screen on the display monitor 14 with respect to the vehicle.
  • the amount of rotation of the bird's-eye view video (bird's-eye view image) is determined in a direction in which the vehicle entrance direction side end 61 in the parking space faces upward (step S.6).
  • the control unit 18 considers the vehicle position and the parking target position based on the traveling direction, GPS information, vehicle speed information, and the like acquired from the current position detection unit 10, and provides an overhead view image (overhead view). (Image) rotation amount is determined. Also in this process, the control unit 18 functions as the viewpoint position determination unit 34.
  • the control unit 18 selects optimal table data from the overhead view video generation table data recording unit 31 based on the viewpoint position, and from the entire overhead view video (overhead image) generated by the four cameras, An overhead view video (overhead image) optimum for the viewpoint position is generated (step S.7).
  • An overhead view video (overhead image) optimum for the viewpoint position is generated (step S.7).
  • a bird's-eye view video (bird's-eye view image) optimal for the generated viewpoint position is recorded in the frame buffer unit 32 (the map data recording unit 16 or the RAM 19).
  • the control unit 18 functions as the overhead view video generation unit 30.
  • step S.1. 4 determines a conversion range (enlargement / reduction range) of the overhead view video (overhead view image) in the viewpoint conversion process based on the parking target position and the vehicle position specified in Step 4.
  • the center of the overhead view video (overhead image) generated by the viewpoint conversion process is determined based on the viewpoint position determined in 5, and the vertical and horizontal movement distance of the overhead view video (overhead image) is determined.
  • the control unit 18 performs step S.1. Based on the amount of rotation of the overhead view video (overhead image) determined in step 6, the rotation direction and angle of the overhead view video (overhead view image) are determined, and viewpoint conversion table data is created (step S.8). In this processing, the control unit 18 functions as the viewpoint conversion video generation table data creation unit 35.
  • the control unit 18 performs viewpoint conversion processing of the overhead view image (overhead video) recorded in the frame buffer unit 32 based on the created viewpoint conversion table data, and the viewpoint position is the overhead view video (overhead image).
  • a bird's-eye view image (overhead image: second bird's-eye view image) in which the vehicle 40 and the parking target position are centered and fit in a good balance in the bird's-eye view image (overhead view image), and the parking target position is located below the vehicle 40 position. ) And displayed on the display monitor 14 via the image memory unit 13 (step S.9).
  • the bird's-eye view video displayed on the display monitor 14 is displayed in step S.E. 2 is a bird's-eye view image that has been processed so as not to leave a sense of incongruity at the boundary portion by the camera. It is possible to generate a bird's-eye view video that does not feel uncomfortable in the portion, and it is possible to provide a bird's-eye view image that does not feel strange.
  • control unit 18 determines whether or not information indicating that the parking operation has ended is acquired (step S.10). For example, it may be configured to determine that the information indicating that the parking operation has been completed is acquired based on the change of the select lever from the reverse (reverse) operation position to the parking (stop) operation position. An icon such as a parking operation end button may be displayed on the monitor 14, and it may be determined that information indicating that the parking operation has ended is acquired based on the user touching the icon.
  • step S.10 When the information indicating that the parking operation has been completed is not acquired (No in step S.10), the control unit 18 displays the entire overhead view image (overhead view image) based on the camera images of the four cameras. Generated (step S.11), and the process proceeds to step S.11. The process described above is repeatedly executed.
  • step S.11 the entire overhead view video (overhead view image) by the four cameras 21 is generated (step S.11), the viewpoint position is determined (step S.5), and determined.
  • An overhead view video (overhead image) optimum for the viewpoint position is generated (step S.7), and the overhead view video subjected to the viewpoint conversion processing based on the generated overhead view image (overhead image) is output to the display monitor 14. (Step S.9) is repeatedly executed, and a bird's-eye view image around the vehicle can be generated and displayed in real time.
  • viewpoint conversion processing processing in the viewpoint conversion video generation unit 36
  • viewpoint conversion table data viewpoint conversion table data generated by the viewpoint conversion video generation table data generation unit 35.
  • Step S.10 when information indicating that the parking operation has been completed is acquired (Yes in step S.10), the control unit 18 displays an image displayed on the display monitor 14 as a route guidance display in the car navigation system 1. (Step S.12), and the process ends.
  • the car navigation system 1 is based on the whole overhead view video (overhead view image: first overhead view video) generated in real time based on the four camera images, for the overhead view video generation.
  • Generating an optimal overhead view video (second overhead view video) by video conversion based on the table data recorded in the table data recording unit 31 and the viewpoint conversion table data created in the table data creation unit 35 for generating the viewpoint converted video. Therefore, it is possible to provide the user with a bird's-eye view image that has been converted from the viewpoint by reflecting the current surrounding situation in real time.
  • the viewpoint conversion process is performed based on the table data, it is possible to reduce the processing load on the control unit 18 in the video conversion process (image conversion process), and it is easy to speed up the process. .
  • the viewpoint conversion video generation table data generation unit 35 generates viewpoint conversion table data for performing viewpoint conversion processing in the viewpoint conversion video generation unit 36. Went.
  • the viewpoint conversion table data is the viewpoint conversion table data based on the vertical and horizontal movement and rotation processing of the overhead view video (overhead image), and thus the viewpoint conversion table data is generated as the viewpoint conversion video data. Even if it is generated by the table data creation unit 35 (control unit 18), the processing load is light.
  • viewpoint conversion table data instead of creating the viewpoint conversion table data in this way, a large number of viewpoint conversion table data is prepared in advance, and recording means (viewpoint conversion table recording unit, for example, the map data recording unit 16 according to the present embodiment
  • the viewpoint conversion video generation unit 36 or the viewpoint position determination unit 34 selects the optimal viewpoint conversion table data based on the viewpoint position information, the rotation amount information of the overhead view video (overhead view image), and the like.
  • the viewpoint conversion video generation unit 36 may perform a viewpoint conversion process of the overhead video (overhead image) recorded in the frame buffer unit 32.
  • the control unit 18 is based on the program, the overhead view video generation unit 30, the parking space extraction unit 33, the viewpoint position determination unit 34, and the viewpoint conversion video generation table data creation unit. 35, the case of performing the roles of all the functional units of the viewpoint conversion video generation unit 36 has been described, but the control unit 18 is not necessarily limited to a configuration in which only one is provided in the car navigation system 1. For example, it is possible to provide a configuration in which a plurality of control units are provided and each control unit separates and plays the role of each functional unit. Further, a configuration may be adopted in which a control unit is provided according to each function unit, and each control unit individually executes each function.
  • the case where the overhead view video (overhead view image) recorded in the frame buffer unit 32 is enlarged / reduced in the viewpoint converted video generation unit 36 has been described.
  • the video (overhead image) is not necessarily limited to an image that requires enlargement / reduction.
  • the configuration may be such that the overhead conversion video (overhead image) subjected to the viewpoint conversion processing in the viewpoint conversion video generation unit 36 is generated by performing only the vertical and horizontal movement and rotation processing of the overhead video (overhead image).
  • the viewpoint conversion process is performed so that the parking target position (parking space) is located below the vehicle 40 in the viewpoint conversion process in the viewpoint conversion video generation unit 36.
  • the parking target position (parking space) is not necessarily limited to the case where the parking target position (parking space) is located below the vehicle 40.
  • the vehicle 40 is moved forward and parked at the parking target position (parking space)
  • Can do for this reason, for example, on the condition that the parking target position (parking space) is touched by a touch panel operation, it is also possible not to perform the viewpoint conversion process by the rotation of the subsequent bird's-eye view image (head-view image).
  • viewpoint position determination unit (parking target position detection unit, viewpoint position determination unit, rotation amount determination unit) 35 ... Table data creation unit for viewpoint conversion video generation (viewpoint conversion table creation unit) 36 ... viewpoint conversion image generation unit (second overhead image generation unit) 50, 51, 55, 59 ... overhead image 61 ... approach direction side end P1 ... center P2 of vehicle position ... center P0 of parking target position ... intermediate position

Abstract

　自車両が移動しても駐車スペースが表示画面に表示される俯瞰映像をリアルタイムにユーザに提供する。駐車支援装置（１）は、車両を駐車させるための駐車目標位置を第１俯瞰映像より検出する駐車目標位置検出部（３４）と、視点位置を決定する視点位置決定部（３４）と、回転量を決定する回転量決定部（３４）と、視点位置と回転量とに基づいて第１俯瞰映像を回転させるための視点変換テーブルを作成する視点変換テーブル作成部（３５）と、視点変換テーブルに基づいて第１俯瞰映像より第２俯瞰映像を生成する第２俯瞰映像生成部（３６）とを有する。

Description

駐車支援装置
　本発明は、車両の駐車位置周辺の様子を俯瞰映像（俯瞰画像）によって示すことにより、駐車処理を行うユーザの運転支援を行うことが可能な駐車支援装置に関する。
　従来より、車両に複数のカメラを設置することにより、車両周囲の状況を撮影し、撮影された映像に基づいて、車両を仮想的に上方から見下ろした映像（以下、俯瞰映像という）を生成して、ユーザに車両の周囲の状況を映像（画像）により提供するシステムが提案されている（例えば、特許文献１参照）。
　このように、車両周囲の状況を俯瞰映像で示すことにより、ユーザは、あたかも車両の周囲の様子を上空から撮影したような映像に基づいて、車両と駐車スペースおよびその他の周囲の対象物との位置関係を把握することができ、車両の状態を直感的に把握することが可能となる。
　しかしながら、特許文献１によって開示されているシステムでは、俯瞰映像の中心位置に自車両が固定され、車両が移動した場合には、中央に車両が固定表示されたままの状態で、周囲の様子が変化する表示形態となっている。
　従って、駐車処理において切り返しなどの操作を行うと、切り返し操作に応じて、駐車スペース表示位置が大きく移動する場合が生じたり、また、駐車スペースが俯瞰映像から外れて表示されなくなる場合があり得るという問題があった。
　このため、車両を俯瞰映像の中心位置に固定するのではなく、駐車処理を行う場合には、少なくとも駐車スペースを画面の所定位置に表示させたままにし、俯瞰画像に重畳表示される車両の画像を移動させるシステムが提案されている（特許文献２参照）。
　特許文献２によって開示される方法では、駐車動作に入る直前に撮影された映像に基づいて俯瞰画像を生成し、駐車処理を開始した場合には、俯瞰画像の更新を停止させたまま、俯瞰画像に重畳される自車両ＣＧ(Computer graphics)の表示位置を、自車両の移動方向および移動量に対応した位置へと変化させる表示形態の俯瞰映像を生成して、ユーザに提供する。
　このように特許文献２の方法では、自車両の移動に伴って俯瞰映像の周囲の俯瞰画像が移動するのではなく、自車両ＣＧの位置が変化するので、駐車スペースの表示位置が大きく変化してしまったり、駐車スペースが画面から消えてしまうことなどを、回避することが可能となる。
特開２００１－３３９７１６号公報 特開２００７－１８３８７７号公報
　しかしながら、特許文献２において俯瞰画像が固定された状態となると、車両の駐車処理が完了するまで俯瞰画像が更新されずにそのまま使用されるため、駐車処理の途中で人などが表示エリア内に進入しても、俯瞰映像に進入した人などが表示されないという問題があった。このため、駐車処理を行うユーザは、画面に表示される俯瞰映像とは別に、目視により周囲状況に注意を払うことによって、安全性を確認する必要が生ずるので、駐車処理が煩雑になると共に、結果として安全性の確保が困難になってしまうおそれがあった。
　一方で、上述した特許文献２では、俯瞰映像を生成する際に、固定された俯瞰画像を利用するのではなく、自車両の移動に伴って動的に変化する変換アルゴリズム、例えば、自車両の移動方向や移動量に応じて値が変化する変数を用いた変換式などにより、自車両が移動しても画面上の駐車スペースの表示位置が移動しない特別な俯瞰映像（車両周囲映像）を生成する方法も提案されている。
　しかしながら、変換アルゴリズムを用いて特別な俯瞰映像をリアルタイムに生成する場合には、一般的な俯瞰映像（上述した俯瞰画像など）を生成するための方法と同じような手法（例えば、予め用意された画素変換テーブルなどに従って、各車載カメラの撮影映像の画素を所定の表示位置に再配置する手法など）を用いることができない。このため、リアルタイムに映像更新処理（俯瞰映像への変換処理）を行う必要が生ずるが、高度な画像変換処理が可能なシステムを用いなければ、映像更新処理に遅延等が生じてしまい、所望の映像を得ることが困難になるという問題があった。
　また、高度な映像変換処理システムを用いて画像演算処理を実現するためには、膨大な費用が必要となってしまうため、車両にこのようなシステムを搭載することが困難であるという問題があった。
　さらに、高度な映像変換処理システムを用いて、駐車スペースの表示位置が固定された俯瞰映像をリアルタイムに描画する場合には、それぞれのカメラで撮影される撮影範囲が車両の移動に伴って変化するため、俯瞰映像の生成時に用いられるカメラ映像のつなぎ目の処理をリアルタイムに行うことが困難となる。
　例えば、自車両を映像の中心位置に固定した上で俯瞰映像を生成する場合には、画面上におけるカメラ映像とカメラ映像とのつなぎ目は変化しないため、画素変換テーブルなどを用いて画素の再配置を行っても問題が生じない。しかしながら、駐車スペースの表示位置が固定された俯瞰映像をリアルタイムに描画する場合には、自車両の移動に伴って、同じ地点が一のカメラの撮影範囲から他のカメラの撮影範囲へと変化してしまうため、その地点を俯瞰映像によって再現する場合に用いられるソース（カメラ映像）の判断が非常に困難となり、現実的に駐車スペースの表示位置が固定された俯瞰映像をリアルタイムに生成することが困難であった。
　本発明は、上記課題に鑑みてなされたものであり、高度な映像変換処理システムを用いることなく、自車両が移動しても駐車スペースの表示位置が表示画面に表示される俯瞰映像をリアルタイムにユーザに提供することが可能な駐車支援装置を提供することを課題とする。
　本発明に係る駐車支援装置は、車両に設置された複数のカメラにより撮影されたカメラ映像に基づいて、前記車両を中心として車両周囲の状況を前記車両の上方より仮想的に見下ろす第１俯瞰映像を生成する第１俯瞰映像生成部と、前記車両を駐車させるための駐車目標位置を前記第１俯瞰映像より検出する駐車目標位置検出部と、該駐車目標位置検出部により検出された前記駐車目標位置と前記第１俯瞰映像における車両位置との位置関係に基づいて視点位置を決定する視点位置決定部と、前記駐車目標位置と前記第１俯瞰映像における車両位置との位置関係に基づいて、前記第１俯瞰映像における回転量を決定する回転量決定部と、前記第１俯瞰映像における中心位置を前記視点位置決定部により決定された視点位置に移動させると共に、前記回転量決定部により決定された回転量に基づいて前記視点位置を基準として前記第１俯瞰映像を回転させる視点変換テーブルを作成する視点変換テーブル作成部と、該視点変換テーブル作成部により作成された視点変換テーブルに基づいて前記第１俯瞰映像を映像変換処理することにより、前記視点位置が俯瞰映像の中心位置となり、前記回転量決定部により決定された回転量だけ回転された第２俯瞰映像を生成する第２俯瞰映像生成部とを有することを特徴とする。
　本発明に係る駐車支援装置では、第１俯瞰映像生成部により生成された第１俯瞰映像をベースとし、視点変換テーブル作成部で作成された視点変換テーブルを用いて第１俯瞰映像の変換を行って視点位置および上下左右方向（回転量）の変更が行われた第２俯瞰映像を生成する。このように、本発明に係る駐車支援装置では、第２俯瞰映像の生成処理を、視点変換テーブルを用いて簡単に生成することができるため、所望の俯瞰映像をリアルタイムに生成することが可能となる。
　さらに、視点変換テーブルに基づいて第１俯瞰映像から第２俯瞰映像が生成されるため、第１俯瞰映像生成部において第１俯瞰映像の生成時にカメラ映像の境界部分の処理を予め行っておくことにより、第２俯瞰映像生成部において境界部分の処理を行う必要がない。このため、境界部分処理における処理負担をなくし、第２俯瞰映像をリアルタイムで生成することが容易となる。
　また、リアルタイムに第２俯瞰映像を生成することにより、駐車処理中に俯瞰映像で表示される範囲に人が近づいた場合であっても、俯瞰映像にその人の存在を表示させることができるので、車両のユーザは、第２俯瞰映像によって周囲の状況をリアルタイムに把握することが可能となり、駐車処理時の安全性を高めることが可能となる。
　視点変換テーブルは、視点位置決定部により決定された視点位置に基づいて第１俯瞰映像を上下左右に移動させ、回転量決定部により決定された回転量に基づいて第１俯瞰映像を回転させるだけのテーブルであるため、視点変換テーブル生成部では、視点変換テーブルを簡単に生成することができ、視点変換テーブル生成部における処理負担を低減させることが可能となる。このため、第２俯瞰映像の生成処理を迅速に行うことが可能となり、第２俯瞰映像の生成処理における遅延を防止することが可能となる。
　さらに、第２俯瞰映像は、視点変換テーブルを用いて第１俯瞰映像から簡単に生成され、さらに、視点変換テーブルも、第１俯瞰映像を上下左右移動および回転させるだけの簡単な処理を行うためのテーブルであるため、第２俯瞰映像を生成するために高度な変換アルゴリズムなどを用いる必要がない。このため、第２俯瞰映像の生成のための高度な演算処理システムは必要とされず、処理コストの低減を図ることが可能となる。
　また、視点位置決定部により決定される視点位置は、駐車目標位置検出部により検出された駐車目標位置と第１俯瞰映像における車両位置との位置関係に基づいて決定される。このため、第２俯瞰映像は、従来の俯瞰映像（第１俯瞰映像）のように車両が中心に位置する俯瞰映像ではなく、駐車目標位置と車両位置との位置関係を考慮した視点位置が中心となる俯瞰映像になるので、切り返し操作により駐車目標位置が俯瞰映像から見えなくなることを防止することが可能となる。
　さらに、回転量決定部により第１俯瞰映像における回転量が決定され、第２俯瞰映像では、この回転量に基づいて映像の上下左右方向の変換処理が行われる。このため、車両位置に対する駐車目標位置の方向等に応じて画面の方向を変更することができ、駐車時における画面の表示方向をより駐車実状に適したものにすることが可能となる。
　本発明に係る駐車支援装置によれば、第１俯瞰映像生成部により生成された第１俯瞰映像をベースとし、視点変換テーブル作成部で作成された視点変換テーブルを用いて第１俯瞰映像の変換を行って視点位置および上下左右方向（回転量）の変更が行われた第２俯瞰映像を生成する。このように、本発明に係る駐車支援装置では、第２俯瞰映像の生成処理を、視点変換テーブルを用いて簡単に生成することができるため、所望の俯瞰映像をリアルタイムに生成することが可能となる。
本発明の実施の形態に係るカーナビゲーションシステムにおけるハードウェアの概略構成の一例を示すブロック図である。 本発明の実施の形態に係る車両に設置されるカメラの設置位置の一例を示す図である。 本発明の実施の形態に係るカーナビゲーションシステムにおける機能ブロックの概略構成の一例を示すブロック図である。 本発明の実施の形態に係るカメラ映像に基づいて生成される全体の俯瞰映像（俯瞰画像）と、テーブルデータに基づいて抽出される俯瞰映像（俯瞰画像）の画像範囲とを例示した図である。 本発明の実施の形態に係る俯瞰映像（俯瞰画像）における視点位置を例示した俯瞰映像（俯瞰画像）であって、（ａ）は、車両位置と駐車目標位置との中間に視点位置が決定される場合の俯瞰映像（俯瞰画像）の一例を示し、（ｂ）は、駐車目標位置に視点位置が決定された場合の俯瞰映像（俯瞰画像）の一例を示す。 （ａ）は、俯瞰映像（俯瞰画像）における回転処理が行われる前の俯瞰映像（俯瞰画像）をの一例を示し、（ｂ）は、回転処理が行われた後の俯瞰映像（俯瞰画像）の一例を示す図である。 本発明の実施の形態に係る制御部における俯瞰映像（俯瞰画像）の視点変換処理の一例を示すフローチャートである。
　以下、本発明に係る駐車支援装置の一例であるカーナビゲーションシステムを提示し、添付図面を用いて詳細に説明を行う。
　図１は、カーナビゲーションシステム１におけるハードウェアの概略構成の一例を示すブロック図である。カーナビゲーションシステム１は、図１に示すように、現在位置検出部１０と、ＶＩＣＳ（Vehicle Information and Communication System，登録商標）情報受信部１１と、入力操作部１２と、画像メモリ部１３と、表示モニタ（表示部）１４と、タッチパネル部（入力部）１５と、地図データ記録部（視点変換テーブル記録部）１６と、スピーカ１７と、制御部（第１俯瞰映像生成部、駐車目標位置検出部、視点位置決定部、回転量決定部、視点変換テーブル作成部、第２俯瞰映像生成部）１８と、ＲＡＭ（Random Access Memory：視点変換テーブル記録部）１９と、ＲＯＭ（Read Only Memory）２０と、カメラ２１とを有する。
　現在位置検出部１０は、カーナビゲーションシステム１が搭載された車両の現在位置を検出する役割を有している。現在位置検出部１０は、振動ジャイロ１０ａ、車速センサ１０ｂ、ＧＰＳ（Global Positioning System）センサ１０ｃを有している。振動ジャイロ１０ａは、車両の進行方向（進行方向の方位）を検出する機能を備えている。車速センサ１０ｂは、車両に設置されるパルス発生器より車両の走行距離に応じて発せられるパルスを検出することにより車速を検出する役割を有する。ＧＰＳセンサ１０ｃはＧＰＳ衛星からのＧＰＳ信号を検出する役割を有しており、制御部１８では、受信したＧＰＳ信号によって、車両の現在位置を座標位置（例えば、世界測地系（WGS84）に基づく緯度・経度情報）に基づいて検出をすることが可能となっている。
　ＶＩＣＳ情報受信部１１は、ＶＩＣＳ情報を受信する役割を有している。ＶＩＣＳ情報は、ＶＩＣＳ情報センタ（図示省略）によって供給される情報であって、最新の渋滞情報などの道路状況を示した情報である。ＶＩＣＳ情報受信部１１は、電波ビーコン、光ビーコンおよびＦＭ多重放送によって供給されるＶＩＣＳ情報を受信することにより、交通情報を確実に取得することが可能となっている。ＶＩＣＳ情報受信部１１によって受信されたＶＩＣＳ情報は、制御部１８へ出力される。
　入力操作部１２は、タッチパネル部１５を用いてタッチ操作を行う方法以外の操作方法によって、カーナビゲーションシステム１における各種操作を行う際に用いられる。具体的には、カーナビゲーションシステム１の筐体に設けられる物理的なスイッチ・ボタンやリモコンなどが、入力操作部１２に該当する。
　画像メモリ部１３は、表示モニタ１４に表示するための画像データを一時的に格納する役割を有している。この画像データは、制御部１８が、現在位置検出部１０より取得した車両の現在位置情報や、ユーザにより設定された目的地の情報などに基づいて、地図データ記録部１６より地図データを抽出し、各種画像情報を合成することによって適宜生成される。
　制御部１８では、生成された画像データを画像メモリ部１３に記録させ、画像メモリ部１３に記録された画像データは順次、カーナビゲーションシステム１の表示モニタ１４に地図表示等として表示されることになる。このように、画像メモリ部１３に記録された画像データが順次、表示モニタ１４に表示されることにより、表示モニタ１４にリアルタイムに画像データに基づく映像（例えば、俯瞰画像に基づく俯瞰映像）を表示させることが可能となる。
　また、画像メモリ部１３は、後述する俯瞰映像生成部３０（図３参照）により生成された俯瞰映像や後述する視点変換映像生成部３６により生成された視点変換映像を表示モニタ１４に表示するために記録する役割を有している。俯瞰映像生成部３０や視点変換映像生成部３６などの詳細な説明については後述する。
　表示モニタ１４は、地図データなどの各種情報に基づいて、自車両位置付近の道路地図などの各種情報を画面に表示する役割を有している。表示モニタ１４として、例えば、液晶モニタやＣＲＴモニタなどを具体的に用いることができる。また、表示モニタ１４には、ユーザが車両を駐車場に駐車させるための処理（以下、駐車処理という）を行う際に、車両周囲の状況を、仮想的に車両や駐車スペースなどの上方から見下ろした映像（俯瞰映像）として表示させることが可能となっている。俯瞰映像を表示モニタ１４に表示させる処理に関する説明は後述する。
　タッチパネル部１５は、ユーザが指で表示モニタ１４の表面をタッチしたか否かを判断し、タッチ位置に基づいてユーザによる入力処理の判断を行う役割を担う。タッチパネル部１５は、タッチ検出部１５ａと、タッチコントロール部１５ｂとを有している。
　タッチ検出部１５ａは、表示モニタ１４の表面に積層される透明でシート状のタッチスイッチなどにより構成されている。タッチ検出部１５ａは、入力操作部１２のような物理的なスイッチとは異なる検出手段であり、表示モニタ１４の表示画面に対するタッチ操作の有無を、静電方式や感圧方式などの検出方式に基づいて検出する。タッチ検出部１５ａは、透明のタッチスイッチなどにより構成されるため、ユーザは、タッチ検出部１５ａを介して表示モニタ１４に表示される映像（画像）、例えば後述する駐車スペースを示した白色枠体の映像（画像）などを視認することが可能となっている。
　タッチコントロール部１５ｂは、タッチ検出部１５ａと制御部１８との間に介在されている。タッチコントロール部１５ｂは、タッチ検出部１５ａにおいて検出した信号（タッチ操作による信号）に基づいてタッチ位置を算出し、制御部１８へ出力する。
　カメラ２１は、車両の周囲の状況を撮影する役割を有している。本実施の形態に係るカーナビゲーションシステム１では、図２に示すように、４台のカメラが設けられている。具体的には、車両４０の前部４１ａ（例えばフロントバンパーやフロントグリルなど）に設置されて車両４０の前方範囲４１ｂの撮影を行うフロントカメラ４１ｃと、車両４０の後部４２ａ（例えば、リアバンパーやリアウインド近傍など）に設置されて車両４０の後方範囲４２ｂの撮影を行うリアカメラ４２ｃと、車両４０の左側部４３ａ（例えば、左側ドアミラー近傍や左側ピラー位置近傍など）に設置されて車両４０の左側範囲４３ｂの撮影を行う左サイドカメラ４３ｃと、車両４０の右側部４４ａ（例えば、右側ドアミラー近傍や右側ピラー位置近傍など）に設置されて車両４０の右側範囲４４ｂの撮影を行う右サイドカメラ４４ｃとにより構成されている。
　各カメラ４１ｃ～４４ｃによって撮影された映像は、制御部１８における俯瞰映像の生成処理に利用される。制御部１８における俯瞰生成処理の詳細については後述する。なお、本実施の形態に係るカーナビゲーションシステム１においては、図２に示したように、４台のカメラ４１ｃ～４４ｃが車両４０に設置されているが、車両４０に設置されるカメラの設置数は４台には限定されず、車両４０の全周囲の状況を撮影することが可能であるなら何台であってもよい。例えば、カメラ２１の設置台数は、３台以下であっても良く、また、５台以上であってもよい。さらに、カメラ２１の設置位置は、図２に示された設置位置には限定されず、車両周囲の状況を撮影することが可能な設置位置であれば、その設置位置は上述した位置に限定されるものではない。
　地図データ記録部１６は、ハードディスク、ＳＳＤ（Solid State Drive）、ＤＶＤ－ＲＯＭ、ＣＤ－ＲＯＭ、ＳＤカードなど、地図データを記録可能な一般的な補助記憶装置により構成されている。地図データは、地図表示用データ、経路検索用データなどを含んでおり、地図表示用データおよび経路検索用データには、地図データに格納されている道路のリンク情報およびノード情報が含まれる。地図表示用データとして、広域から詳細まで複数の縮尺の地図データが用意されているため、この地図表示用データを用いることによって、ユーザの要求に応じて表示地図の縮尺を変更することが可能となる。
　また、地図データ記録部１６には、カメラ２１（４１ｃ～４４ｃ）によって撮影された車両の周囲映像に基づいて、俯瞰映像を生成する場合に利用されるテーブルデータが記録される。制御部１８では、地図データ記録部１６に記録される複数のテーブルデータから、駐車処理時における車両と駐車スペースとに基づいて最適なテーブルデータを抽出し、抽出したテーブルデータを利用することにより撮影されたカメラ２１の映像から、最適な俯瞰映像（俯瞰画像）を生成する処理を行う。
　スピーカ１７は、ユーザに対して、ナビゲーション中にルート誘導を行うための音声案内を出力したり、カーナビゲーションシステム１における様々な入力操作に伴う音声案内を出力したりする役割を有している。
　制御部１８は、ユーザによって設定される目的地までの経路検索や、検索された経路に基づく画像生成処理や、音声案内出力処理など、カーナビゲーションシステム１における各種処理を行う役割を有している。制御部１８は、例えば、ＣＰＵ（Central Processing Unit）により構成される。
　ＲＡＭ１９は、制御部１８の作業エリアとしての役割を有している。例えば、後述する俯瞰映像の生成処理において、地図データ記録部１６に記録されるテーブルデータが、ＲＡＭ１９へ一時的に記録される。このように、ＲＡＭ１９に記録されたテーブルデータを随時読み出して俯瞰映像の生成処理を行うことにより、俯瞰映像の生成処理における遅延を抑制することが可能となる。
　ＲＯＭ２０は、制御部１８において実行される各種のプログラム等が記録される。制御部１８は、ＲＯＭ２０よりプログラムを読み込んで実行することにより各種の制御処理を行うことが可能となる。例えば、ＲＯＭ２０には、後述する図７に示すような俯瞰映像の生成用プログラムなどが記録される。
　本実施の形態に係る制御部１８では、ＲＯＭ２０より各種プログラムを読み出して実行することにより、カーナビゲーションシステム１における経路案内処理を実行すると共に、実行される経路案内処理に伴って、誘導経路に用いられる地図情報を生成し、表示モニタ１４に表示させる処理を行う。さらに、制御部１８では、ＲＯＭ２０に記録されるプログラムに従って、各カメラ４１ｃ～４４ｃにより撮影された映像に基づいて、車両周囲の状況を示した俯瞰映像を生成して表示モニタ１４に表示させるための処理を行う。
　図３は、ＲＯＭ２０に記録されるプログラムに従って、制御部１８が俯瞰映像を生成し、表示モニタ１４に表示させるための処理を実現するための各機能部などを示した概略的な機能ブロック図である。
　本実施の形態に係るカーナビゲーションシステム１は、図３に示すような機能部（機能ブロック）により構成される。カーナビゲーションシステム１は、各機能部として、俯瞰映像生成部（第１俯瞰映像生成部）３０と、俯瞰映像生成用テーブルデータ記録部３１と、フレームバッファ部３２と、駐車スペース抽出部３３と、視点位置決定部（駐車目標位置検出部、視点位置決定部、回転量決定部）３４と、視点変換映像生成用テーブルデータ作成部（視点変換テーブル作成部）３５と、視点変換映像生成部（第２俯瞰映像生成部）３６とを有している。
　これらの機能部のうち、俯瞰映像生成部３０、駐車スペース抽出部３３、視点位置決定部３４、視点変換映像生成用テーブルデータ作成部３５、視点変換映像生成部３６は、制御部１８がＲＯＭ２０に記録されたプログラムを実行することにより、その機能部としての役割を行うことが可能となる。従って、俯瞰映像生成部３０、駐車スペース抽出部３３、視点位置決定部３４、視点変換映像生成用テーブルデータ作成部３５、視点変換映像生成部３６は、実質的に制御部１８における処理により実現されることになる。
　また、俯瞰映像生成用テーブルデータ記録部３１およびフレームバッファ部３２は、地図データ記録部１６又はＲＡＭ１９が該当することになる。
　まず、俯瞰映像生成部３０は、４台のカメラ２１（４１ｃ，４２ｃ，４３ｃ，４４ｃ）より撮影された映像に基づいて、俯瞰映像（第１俯瞰映像）の生成を行う（具体的には、俯瞰画像をリアルタイムに連続的に生成することにより俯瞰映像を生成する）役割を有している。具体的な俯瞰映像の生成方法については、既に説明した特許文献１（特開２００１－３３９７１６号公報）や特許文献２（特開２００７－１８３８７７号公報）などにおいて詳細に説明されているので、ここでの説明は省略する。
　なお、一般的に、複数のカメラを用いて俯瞰映像（俯瞰画像）を生成する場合には、各カメラの撮影範囲の境界部分において、隣接する画像（映像）との不自然な境界部（つなぎ目）が表出されることが多い。このため、本実施の形態に係る俯瞰映像生成部３０においては、境界部分の明るさや色合いの調整を行って違和感のない画像（映像）を境界部分に付加したり、あるいは隣接する画像（映像）との境界部分にα（アルファ）ブレンド処理を施すことによって、境界部分に違和感が残らないような処理を施す。
　また、俯瞰映像生成部３０は、俯瞰映像（俯瞰画像）を生成する場合に、はじめの処理として、車両を中心とした全体的な俯瞰映像（俯瞰画像：第１俯瞰映像）を作成し、その次の処理として、車両位置と駐車目標位置との中間地点が画面の真ん中になるような俯瞰映像（俯瞰画像）を生成する役割を有している。具体的に、視点変換映像生成部３６が、視点位置決定部３４により決定された視点位置に基づいて、該当する視点位置が映像（画像）の中心となるような俯瞰映像（俯瞰画像）を生成する。なお、駐車目標位置は、一般的に白線枠対などで仕切られた駐車スペースが該当する。
　俯瞰映像生成用テーブルデータ記録部３１には、俯瞰映像生成部３０において、視点位置決定部３４により求められた視点位置が映像（画像）の中心部に位置するような俯瞰映像（俯瞰画像）を生成するための複数種類のテーブルデータが記録されている。このテーブルデータは、俯瞰映像生成部３０が全体的な俯瞰映像（俯瞰画像）を生成した後に、全体的な俯瞰映像（俯瞰画像）の一部の範囲であって、視点位置が中心部に位置するような俯瞰映像（俯瞰画像）を生成するための画像変換用のテーブルデータである。このようなテーブルデータを用いることにより、高度な演算処理を必要とすることなく、視点位置を中心部とするような俯瞰映像（俯瞰画像）を容易に生成（画像変換）することが可能となり、また、後述する視点変換処理における処理負担の軽減を図ることが可能となる。
　本実施の形態に係る俯瞰映像生成用テーブルデータ記録部３１では、図４に示すように、全体的な俯瞰映像（俯瞰画像）５０に対して、左上部分の俯瞰映像（俯瞰画像）５１を抽出するためのテーブルデータと、右下部分の俯瞰映像（俯瞰画像）５５を抽出するためのテーブルデータと、中央部分の俯瞰映像（俯瞰画像）５９を抽出するためのテーブルデータとが記録されている。また、図示は省略するが、俯瞰映像生成用テーブルデータ記録部３１には、全体的な俯瞰映像（俯瞰画像）５０に対して、真ん中上部分の俯瞰映像（俯瞰画像）を抽出するためのテーブルデータと、右上部分の俯瞰映像（俯瞰画像）を抽出するためのテーブルデータと、右中部分の俯瞰映像（俯瞰画像）を抽出するためのテーブルデータと、真ん中下部分の俯瞰映像（俯瞰画像）を抽出するためのテーブルデータと、左下部分の俯瞰映像（俯瞰画像）を抽出するためのテーブルデータと、左中部分の俯瞰映像（俯瞰画像）を抽出するためのテーブルデータとが記録されている。
　俯瞰映像生成部３０では、視点位置決定部３４より取得した視点位置に基づいて俯瞰映像生成用テーブルデータ記録部３１より最適なテーブルデータを抽出して、視点位置が中心部に位置するような俯瞰映像（俯瞰画像）を生成する。視点位置決定部３４より取得される視点位置は、後述するように、車両４０と駐車目標位置との中間などを中心として設定される。このため、駐車目標位置が全体的な俯瞰映像（俯瞰画像）５０におけるどの場所に位置するかによって、選択されるテーブルデータが決定される。
　なお、俯瞰映像生成用テーブルデータ記録部３１として、上述した地図データ記録部１６またはＲＡＭ１９が該当する。このため、俯瞰映像生成用テーブルデータ記録部３１は、一般的な補助記憶装置であればよく、ハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）などを用いることが可能である。ただし、俯瞰映像生成部３０における俯瞰変換処理において、テーブルデータの読出速度の遅れ（ボトルネック）により処理が滞ることがないように、読み出し速度の速い記録手段を用いることが望ましい。そのため、俯瞰映像生成用テーブルデータ記録部３１には、不揮発性メモリ等を用いることもできるが、フラッシュメモリは所望の読み出し速度を得ることができないおそれもあるため、読み出し速度の速い揮発性メモリ（例えば、ＲＡＭ１９など）に予めテーブルデータを転送し、必要に応じて揮発性メモリからデータを読み出す方法を用いることが可能である。
　フレームバッファ部３２には、俯瞰映像生成用テーブルデータ記録部３１に記録されるテーブルデータに基づいて俯瞰映像生成部３０によって生成された俯瞰画像（俯瞰映像）を一時的に記録するために用いられる。フレームバッファ部３２に一時的に記録された俯瞰画像（俯瞰映像）は、次述する視点変換映像生成部３６における視点変換の基になる画像として利用される。フレームバッファ部３２も、上述した地図データ記録部１６またはＲＡＭ１９が該当することになるが、読み出し速度の速い記録手段を用いることが望ましい。
　駐車スペース抽出部３３は、俯瞰映像生成部３０により変換された俯瞰映像（俯瞰画像）に基づいて、駐車目標位置となる駐車スペースを画像解析により求める役割を有する。一般的に駐車目標位置は、白線（白色枠体）により車両の境界線が示されている。このため、アスファルトなどに駐車対象となる白色枠体が示されている場合には、俯瞰映像（俯瞰画像）における濃度解析や白線検出などにより、所定の範囲で自動的に駐車スペースを求めることが可能である。なお、路面が明るい色（例えば、白色系）で、駐車目標位置の境界も明るい色（例えば黄色など）の場合には、画像解析処理により、的確に駐車スペースを検出することが困難な場合も存在するが、駐車目標位置（駐車スペース）の決定は、後述するようにタッチパネル操作によって決定されるので、駐車目標位置の検出には問題が生じない。
　視点位置決定部３４は、表示モニタ１４に表示させる俯瞰映像（俯瞰画像）を生成するための視点位置を決定する役割を有する。基本的に、視点位置は、次の２点で決定される。まず第１に、車両４０が駐車目標位置から離れている場合（第１の状況の場合）、例えば、車両４０の一部が駐車スペースの範囲（白色枠体の中）に進入する前においては、図５（ａ）に示すように、車両位置の中心（Ｐ１点）と駐車目標位置の中心（駐車スペースの中心：Ｐ２点）との中間位置（Ｐ０点）を視点位置に決定する。また、第２として、車両４０が駐車スペースの範囲（白色枠体の中）に進入した場合（第２の状況の場合）には、図５（ｂ）に示すように、駐車目標位置の中心（Ｐ２点）を視点位置として決定する。
　さらに、視点位置決定部３４は、俯瞰映像（俯瞰画像）の回転量を決定する役割を有する。具体的には、車両４０が駐車目標位置から離れている場合（第１の状況の場合）には、駐車スペースの表示位置が車両位置よりも下側になるようにし、かつ駐車スペースにおける車両の進入方向側端部が画面の上側になるように、俯瞰映像（俯瞰画像）の回転量を決定する。
　一般的に、車両４０を後退させて駐車スペースに駐車させることが多い。このため、図６（ａ）に示すように、車両４０を駐車するための駐車スペースが車両の後方右側にある場合であって、車両４０の進入方向側端部６１が駐車スペースの左側に位置する場合には、俯瞰映像（俯瞰画像）を９０度右回転させて、図６（ｂ）に示すように、車両４０に対して駐車スペースが下側に位置し、さらに、車両４０の進入方向側端部６１が駐車スペースの上側に位置するように俯瞰映像（俯瞰画像）の上下左右方向の調整を行う。視点位置決定部３４における回転量の決定は、視点位置を基準として回転させた場合に最適となる回転量により決定される。
　また、視点位置決定部３４には、駐車スペース抽出部３３により検出された駐車目標位置の位置データ、タッチパネル部１５より入力されたタッチ位置情報、現在位置検出部１０により検出された車両状態情報が入力される。駐車スペース抽出部３３より入力される駐車目標位置の位置データは、上述した画像解析に基づいて求められるデータである。タッチパネル部１５より入力されたタッチ位置情報は、駐車処理を開始する際に、ユーザが表示モニタ１４に表示される俯瞰映像の駐車目標位置（駐車スペース）をタッチ操作することにより検出される位置情報である。視点位置決定部３４では、表示モニタ１４に表示される俯瞰映像と、タッチパネル部１５のタッチ検出部１５ａにおいて検出されたタッチ位置との関係に基づいて、俯瞰映像（俯瞰画像）における駐車目標位置の座標を求めることができる。
　さらに、現在位置検出部１０により検出された車両状態情報は、振動ジャイロ１０ａ、車速センサ１０ｂおよびＧＰＳセンサ１０ｃにより検出される車両の進行方向、走行速度および車両のＧＰＳ上の位置などの情報が該当する。視点位置決定部３４では、この現在位置検出部１０による車両状態情報に基づいて、車両がどの方向を向いているのか、前進しているのか後退しているのかなどを把握することができ、車両の状態に応じてリアルタイムに最適な視点位置および俯瞰映像（俯瞰画像）の回転量を決定することが可能となる。
　なお、視点位置決定部３４へ入力されるタッチパネル部１５のタッチ位置情報および、現在位置検出部１０の車両状態情報は、視点位置決定部３４から駐車スペース抽出部３３へと出力させる構成とすることも可能である。駐車スペース抽出部３３における駐車目標位置の検出処理において、単に画像解析結果だけを利用して駐車スペースを検出するのではなく、タッチ位置情報および車両状態情報を利用して駐車スペースの検出を行う構成とすることによって、駐車目標位置の検出精度を高めることが可能となる。
　視点位置決定部３４により決定された視点位置情報は、俯瞰映像生成部３０および視点変換映像生成用テーブルデータ作成部３５に出力される。俯瞰映像生成部３０においては、受信した視点位置情報に基づいて最適なテーブルデータを俯瞰映像生成用テーブルデータ記録部３１より選択して、視点位置に適した俯瞰映像（俯瞰画像）を生成する処理を行う。
　視点変換映像生成用テーブルデータ作成部３５は、視点位置決定部３４により決定された視点位置および俯瞰映像（俯瞰画像）の回転量に基づいて、フレームバッファ部３２に記録される俯瞰画像（俯瞰映像）の上下左右移動処理、回転処理および拡大縮小処理を行うためのテーブルデータを生成する役割を有する。
　フレームバッファ部３２に記録される俯瞰画像（俯瞰映像）は、俯瞰映像生成用テーブルデータ記録部３１より選択されたテーブルデータに基づいて、俯瞰映像生成部３０で視点変換された俯瞰画像（俯瞰映像）であって、視点位置決定部３４により求められた視点位置に対応する俯瞰画像（俯瞰映像）である。この俯瞰画像（俯瞰映像）は、テーブルデータに基づいて予め大きさの決められた俯瞰画像（俯瞰映像）であり、カメラ２１により撮影されたカメラ映像により求められた車両前方が上側に規定された画像（映像）である。
　しかしながら、視点位置決定部３４において決定されるのは視点位置だけでなく、俯瞰映像（俯瞰画像）の上下左右方向（回転量）なども決定されるため、フレームバッファ部３２に記録される俯瞰画像（俯瞰映像）を、視点位置決定部３４により求められた視点位置を中心とし、さらに駐車目標位置との関係により求められる俯瞰映像（俯瞰画像）の上下左右方向に対応するように、画像（映像）の視点変換をする必要がある。また、車両４０が駐車スペースに近づいた場合には、表示モニタ１４に表示される俯瞰映像を、車両４０と駐車目標位置とが表示されるようにして拡大表示させる方が、車両４０のユーザに有効な情報を提供することが可能となる。
　このため、視点変換映像生成用テーブルデータ作成部３５は、視点位置決定部３４より取得した視点位置情報、俯瞰映像（俯瞰画像）の回転量情報、車両位置および駐車目標位置情報に基づいて、フレームバッファ部３２に記録される画像（映像）を、視点位置が俯瞰画像（俯瞰映像）の中心となり、駐車目標位置に対して車両４０の進入方向側端部６１が上側を示し、さらに俯瞰画像（俯瞰映像）に、車両４０と駐車目標位置とが適切に表示させることができるような俯瞰画像（俯瞰映像）に変形させるためのテーブルデータを作成する。
　なお、視点変換映像生成用テーブルデータ作成部３５により作成されたテーブルデータにより視点変換される俯瞰映像（俯瞰画像）は、フレームバッファ部３２に記録される俯瞰画像（俯瞰映像）の拡大、縮小、上下左右移動および回転という基本的な変換方法により実現されるものである。このため、視点変換映像生成用テーブルデータ作成部３５においてテーブルデータを作成する処理も、画像（映像）の拡大、縮小、上下左右移動、回転の変換要素に基づくものであり、視点位置決定部３４からの情報に基づいて簡単に生成することが可能である。
　また、視点変換映像生成用テーブルデータ作成部３５では、テーブルデータの作成を簡単に行うことができ、高い処理負担が必要とされることがない。このため、テーブルデータの作成処理を視点変換映像生成用テーブルデータ作成部３５において行った場合であっても、カメラ２１において撮影されたリアルタイムな映像に基づいて作成される俯瞰映像（俯瞰画像）を、迅速に視点変換処理することが可能となる。
　視点変換映像生成部３６は、視点変換映像生成用テーブルデータ作成部３５において作成された視点変換用のテーブルデータに基づいて、フレームバッファ部３２に記録される俯瞰画像（俯瞰映像）を、視点位置決定部３４において決定された視点位置が中心位置となり、さらに、駐車目標位置が表示モニタ１４に表示される俯瞰画像（俯瞰映像）において下部に位置する最適な俯瞰映像（俯瞰画像：第２俯瞰映像）に変換する処理を行う。視点変換映像生成部３６における俯瞰映像（俯瞰画像）の変換処理は、テーブルデータに基づく映像変換処理であるため、迅速かつ低処理負担で実現することが可能となる。
　次に、上述した機能部の機能をＲＯＭ２０に記録されたプログラムに基づいて実行される場合における、制御部１８の処理内容について説明を行う。図７は、制御部１８における俯瞰映像の生成処理の一例を示したフローチャートである。
　制御部１８は、まず、駐車操作が開始された旨の情報を取得したか否かの判断を行う（ステップＳ．１）。例えば、セレクトレバーがリバース（後退）操作位置にセットされたことを基準として、駐車操作が開始された旨の情報が取得されたと判断する構成としてもよく、また、表示モニタ１４に駐車操作開始ボタンなどのアイコンを表示させ、ユーザがアイコンをタッチ操作したことを基準として、駐車操作が開始された旨の情報が取得されたと判断するようにしてもよい。
　駐車操作が開始された旨の情報が取得されなかった場合（ステップＳ．１においてＮｏの場合）、制御部１８は、処理を終了する。なお、制御部１８は処理を終了した後に繰り返し同じ処理を実行する構成としても良い。
　駐車操作が開始された旨の情報が取得された場合（ステップＳ．１においてＹｅｓの場合）、制御部１８は、カメラ２１により撮影された映像に基づいて俯瞰映像（俯瞰画像：第１俯瞰映像）を生成して、画像メモリ部１３を介して表示モニタ１４に俯瞰映像（俯瞰画像）を表示させる（ステップＳ．２）。この処理において、制御部１８は、俯瞰映像生成部３０として機能し、俯瞰映像（俯瞰画像）を生成する。このステップＳ．２において生成される俯瞰映像（俯瞰画像）は、車両が中心に位置する全体の俯瞰映像（俯瞰画像）であり、生成された俯瞰映像（俯瞰画像）は、フレームバッファ部３２に記録された後に、視点変換映像生成部３６において視点変換処理がされることなく、表示モニタ１４に表示される。
　また、このステップＳ．２において生成される俯瞰映像（俯瞰画像）は、上述したように、４台のカメラ４１ｃ，４２ｃ，４３ｃ，４４ｃにおいて撮影された映像による境界部分に対して、明るさや色合いの調整を行って違和感のない画像を付加したり、あるいは隣接する境界部分にα（アルファ）ブレンド処理を施すことによって、境界部分に違和感が残らないような処理を施した映像（画像）となっている。
　次に、制御部１８は、タッチパネル部１５より入力されたタッチ位置情報に基づいて、駐車目標位置に関する情報が取得されたか否かの判断を行う（ステップＳ．３）。駐車目標位置情報を取得しなかった場合（ステップＳ．３においてＮｏの場合）、制御部１８は、カメラ２１により撮影された映像に基づいて俯瞰映像（俯瞰画像：第１俯瞰映像）を生成して、フレームバッファ部３２に記録させた後に、画像メモリ部１３を介して表示モニタ１４に俯瞰映像を表示させる処理（ステップＳ．２）を繰り返し実行する。
　一方で、駐車目標位置情報を取得した場合（ステップＳ．３においてＹｅｓの場合）、制御部１８は、取得した駐車位置情報に加えて、俯瞰映像（俯瞰画像）に基づく画像処理に基づいて、４台のカメラにより生成された全体の俯瞰映像（俯瞰画像）における駐車目標位置を特定して、駐車目標位置を記憶する（ステップＳ．４）。以後、この駐車目標位置と車両位置（俯瞰映像（俯瞰画像）の中心位置）とに基づいて視点位置が決定される。この処理において、制御部１８は、駐車スペース抽出部３３として機能することになる。
　次に、制御部１８は、ステップＳ．４において特定された駐車目標位置と、ステップＳ．２において生成された俯瞰映像（俯瞰画像）における車両位置（中心位置）とに基づいて、視点位置を決定する（ステップＳ．５）。この処理において、制御部１８は、視点位置決定部３４として機能することになる。
　視点位置の決定は、既に説明したように、車両４０が駐車目標位置（駐車スペース）から離れている場合（第１の状況の場合）には、車両４０と駐車目標位置との中間位置（図５（ａ）におけるＰ０点）が視点位置に決定される。また、車両４０が駐車目標位置（駐車スペース）に進入した場合（第２の状況の場合）には、駐車目標位置（より詳細には、駐車スペースの中心位置、図５（ｂ）におけるＰ２点）が視点位置に決定される。また、車両４０が移動した場合、制御部１８は、現在位置検出部１０より取得される進行方向情報、ＧＰＳ情報、車速情報などに基づいて、車両位置と駐車目標位置とを考慮した新たな視点位置を決定する。
　その後、制御部１８は、ステップＳ．４において特定された駐車目標位置（駐車スペース）の白線部分（白色枠体）を俯瞰映像（俯瞰画像）の画像解析により求めて、車両に対して駐車目標位置が表示モニタ１４における画面の下側に位置し、駐車スペースにおける車両の進入方向側端部６１が上側を向く方向に俯瞰映像（俯瞰画像）の回転量を決定する（ステップＳ．６）。なお、車両が移動した場合、制御部１８は、現在位置検出部１０より取得される進行方向、ＧＰＳ情報、車速情報などに基づいて、車両位置と駐車目標位置とを考慮して俯瞰映像（俯瞰画像）の回転量を決定する。この処理においても制御部１８は、視点位置決定部３４として機能することになる。
　そして、制御部１８は、視点位置に基づいて、最適なテーブルデータを俯瞰映像生成用テーブルデータ記録部３１より選択して、４台のカメラにより生成された全体の俯瞰映像（俯瞰画像）から、視点位置に最適な俯瞰映像（俯瞰画像）を生成する（ステップＳ．７）。生成された視点位置に最適な俯瞰映像（俯瞰画像）は、フレームバッファ部３２（地図データ記録部１６またはＲＡＭ１９）に記録される。この処理により制御部１８は、俯瞰映像生成部３０として機能することになる。
　また、制御部１８は、ステップＳ．４において特定された駐車目標位置と車両位置とに基づいて、視点変換処理における俯瞰映像（俯瞰画像）の変換範囲（拡大縮小範囲）を決定し、ステップＳ．５において決定された視点位置に基づいて視点変換処理により生成される俯瞰映像（俯瞰画像）の中心を決定して俯瞰映像（俯瞰画像）の上下左右移動距離を決定する。さらに、制御部１８は、ステップＳ．６において決定された俯瞰映像（俯瞰画像）の回転量に基づいて、俯瞰映像（俯瞰画像）の回転方向および角度を決定し、視点変換テーブルデータの作成を行う（ステップＳ．８）。この処理において、制御部１８は、視点変換映像生成用テーブルデータ作成部３５として機能することになる。
　そして、制御部１８は、作成された視点変換テーブルデータに基づいて、フレームバッファ部３２に記録される俯瞰画像（俯瞰映像）の視点変換処理を行って、視点位置が俯瞰映像（俯瞰画像）の中心となり、車両４０と駐車目標位置とが俯瞰映像（俯瞰画像）にバランスよく収まり、さらに、車両４０の位置に対して駐車目標位置が下側に位置する俯瞰映像（俯瞰画像：第２俯瞰映像）を生成し、画像メモリ部１３を介して表示モニタ１４に表示させる（ステップＳ．９）。
　このようにして視点変換処理された俯瞰映像を表示モニタ１４に表示させることにより、駐車操作を行うユーザに車両の周囲の状況を示した俯瞰映像を提供することが可能となる。特に、表示モニタ１４に表示される俯瞰映像は、ステップＳ．２においてカメラによる境界部分に違和感が残らないような処理を施した俯瞰映像となっているため、境界部分に違和感のない俯瞰映像（俯瞰画像）に基づいて視点変換された俯瞰映像においても、境界部分に違和感のない俯瞰映像を生成することができ、違和感のない俯瞰映像を提供することが可能となる。
　その後、制御部１８は、駐車操作が終了した旨の情報を取得したか否かの判断を行う（ステップＳ．１０）。例えば、セレクトレバーがリバース（後退）操作位置からパーキング（停車）操作位置に変更されたことを基準として、駐車操作が終了された旨の情報が取得されたと判断する構成としてもよく、また、表示モニタ１４に駐車操作終了ボタンなどのアイコンを表示させ、ユーザがアイコンをタッチ操作したことを基準として、駐車操作が終了された旨の情報が取得されたと判断するようにしてもよい。
　駐車操作が終了された旨の情報が取得されなかった場合（ステップＳ．１０においてＮｏの場合）、制御部１８は、４台のカメラのカメラ映像に基づいて全体の俯瞰映像（俯瞰画像）を生成し（ステップＳ．１１）、処理をステップＳ．４に移行させて、上述した処理を繰り返し実行する。
　このように処理を繰り返し実行することにより、４台のカメラ２１による全体の俯瞰映像（俯瞰画像）が生成され（ステップＳ．１１）、視点位置が決定され（ステップＳ．５）、決定された視点位置に最適な俯瞰映像（俯瞰画像）が生成され（ステップＳ．７）、生成された俯瞰映像（俯瞰画像）に基づいて視点変換処理が行われた俯瞰映像が、表示モニタ１４に出力される（ステップＳ．９）処理が繰り返し実行されて、車両周囲の俯瞰映像をリアルタイムに生成して表示させることが可能となる。
　特に、本実施の形態に係る制御部１８では、視点変換処理（視点変換映像生成部３６における処理）を視点変換テーブルデータ（視点変換映像生成用テーブルデータ作成部３５で作成された視点変換テーブルデータ）に基づいて行っているため、視点変換処理における制御部１８の処理負担を軽減させることができると共に、処理の迅速化を容易に実現することが可能となる。
　一方で、駐車操作が終了された旨の情報が取得された場合（ステップＳ．１０においてＹｅｓの場合）、制御部１８は、表示モニタ１４に表示される画像をカーナビゲーションシステム１における経路案内表示などに変更して（ステップＳ．１２）、処理を終了する。
　このように、本実施の形態に係るカーナビゲーションシステム１では、４台のカメラ映像に基づいてリアルタイムに生成される全体の俯瞰映像（俯瞰画像：第１俯瞰映像）を基本として、俯瞰映像生成用テーブルデータ記録部３１に記録されるテーブルデータおよび視点変換映像生成用テーブルデータ作成部３５において作成される視点変換テーブルデータに基づく映像変換によって、最適な俯瞰映像（第２俯瞰映像）を生成することができるため、現状の周囲の状況がリアルタイムに反映されて視点変換された俯瞰映像をユーザに提供することが可能となる。
　このため、例えば、車両の周囲に人が近づいてきた場合のように、車両周囲の状況が刻々と変化する場合であっても、その状況を反映させた周囲の俯瞰映像を提供することが可能となる。
　さらに、視点変換処理をテーブルデータに基づいて行っているため、映像変換処理（画像変換処理）における制御部１８の処理負担を低減させることができるとともに、処理の迅速化を図ることが容易となる。
　また、４台のカメラ映像に基づいて生成される全体の俯瞰映像（俯瞰画像）において、カメラの境界部分に処理を施しておくことにより、その後にテーブルデータに基づいて視点変換などを行った場合であっても、境界部分に再度処理を施す必要がなくなる。このため、境界画像処理をさらに制御部１８で行うことなく、境界部分に違和感のない俯瞰映像（俯瞰画像）を提供することが可能となる。
　以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は上述した実施の形態に示す例に限定されるものではない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例または修正例に想到しうることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
　たとえば、本実施の形態に係るカーナビゲーションシステム１では、視点変換映像生成用テーブルデータ作成部３５において、視点変換映像生成部３６において視点変換処理を行うための視点変換テーブルデータを作成する場合について説明を行った。実施の形態において説明したように、視点変換テーブルデータは、俯瞰映像（俯瞰画像）の上下左右移動および回転処理などを基本とする視点変換テーブルデータであるため、視点変換テーブルデータを視点変換映像生成用テーブルデータ作成部３５（制御部１８）で生成しても処理負担は軽いという特徴を有している。
　しかしながら、このように視点変換テーブルデータを作成するのではなく、予め多数の視点変換テーブルデータを用意して記録手段（視点変換テーブル記録部、例えば、本実施の形態に係る地図データ記録部１６やＲＡＭ１９など）に記録させ、視点変換映像生成部３６あるいは視点位置決定部３４が、視点位置情報や、俯瞰映像（俯瞰画像）の回転量の情報等に基づいて最適な視点変換テーブルデータを選択して、視点変換映像生成部３６でフレームバッファ部３２に記録される俯瞰映像（俯瞰画像）の視点変換処理を行う構成であってもよい。
　また、本実施の形態に係るカーナビゲーションシステム１では、制御部１８がプログラムに基づいて、俯瞰映像生成部３０、駐車スペース抽出部３３、視点位置決定部３４、視点変換映像生成用テーブルデータ作成部３５、視点変換映像生成部３６の全ての機能部の役割を行う場合について説明をおこなったが、制御部１８は、必ずしもカーナビゲーションシステム１に１つだけ設けられる構成には限定されない。例えば、複数の制御部を設けてそれぞれの制御部が手分けしてそれぞれの機能部の役割を奏する構成とすることも可能である。さらに、各機能部に応じてそれぞれ制御部を設けて、個別にそれぞれの機能を各制御部が実行する構成であっても良い。
　さらに、本実施の形態に係るカーナビゲーションシステム１では、視点変換映像生成部３６においてフレームバッファ部３２に記録される俯瞰映像（俯瞰画像）が拡大・縮小される場合について説明を行ったが、俯瞰映像（俯瞰画像）は必ずしも拡大・縮小が必要とされるものには限定されない。俯瞰映像（俯瞰画像）の上下左右移動および回転処理だけを行うことにより、視点変換映像生成部３６において視点変換処理が行われた俯瞰映像（俯瞰画像）を生成する構成であってもよい。
　また、本実施の形態に係るカーナビゲーションシステム１では、視点変換映像生成部３６における視点変換処理において、駐車目標位置（駐車スペース）が車両４０の下側に位置するように視点変換処理が行われる場合について説明を行ったが、駐車目標位置（駐車スペース）は必ずしも車両４０の下側に位置する場合には限定されない。例えば、車両４０を前進させて駐車目標位置（駐車スペース）に駐車させる場合には、車両４０の上側に駐車目標位置（駐車スペース）が位置する方がユーザに違和感のない俯瞰映像を提供することができる。このため、例えば、タッチパネル操作により駐車目標位置（駐車スペース）をタッチすることを条件として、それ以降の俯瞰映像（俯瞰画像）の回転による視点変換処理を行わないようにすることも可能である。
１     …カーナビゲーションシステム（駐車支援装置）
１０   …現在位置検出部
１３   …画像メモリ部
１４   …表示モニタ（表示部）
１５   …タッチパネル部（入力部）
１６   …地図データ記録部（視点変換テーブル記録部）
１８   …制御部（第１俯瞰映像生成部、駐車目標位置検出部、視点位置決定部、回転量決定部、視点変換テーブル作成部、第２俯瞰映像生成部）
１９   …ＲＡＭ（視点変換テーブル記録部）
２０   …ＲＯＭ
２１   …カメラ
３０   …俯瞰映像生成部（第１俯瞰映像生成部）
３１   …俯瞰映像生成用テーブルデータ記録部
３２   …フレームバッファ部
３３   …駐車スペース抽出部
３４   …視点位置決定部（駐車目標位置検出部、視点位置決定部、回転量決定部）
３５   …視点変換映像生成用テーブルデータ作成部（視点変換テーブル作成部）
３６   …視点変換映像生成部（第２俯瞰映像生成部）
５０、５１、５５、５９   …俯瞰画像
６１   …進入方向側端部
Ｐ１   …車両位置の中心
Ｐ２   …駐車目標位置の中心
Ｐ０   …中間位置

Claims (5)

  1. 　車両に設置された複数のカメラにより撮影されたカメラ映像に基づいて、前記車両を中心として車両周囲の状況を前記車両の上方より仮想的に見下ろす第１俯瞰映像を生成する第１俯瞰映像生成部と、
    　前記車両を駐車させるための駐車目標位置を前記第１俯瞰映像より検出する駐車目標位置検出部と、
    　該駐車目標位置検出部により検出された前記駐車目標位置と前記第１俯瞰映像における車両位置との位置関係に基づいて視点位置を決定する視点位置決定部と、
    　前記駐車目標位置と前記第１俯瞰映像における車両位置との位置関係に基づいて、前記第１俯瞰映像における回転量を決定する回転量決定部と、
    　前記第１俯瞰映像における中心位置を前記視点位置決定部により決定された視点位置に移動させると共に、前記回転量決定部により決定された回転量に基づいて前記視点位置を基準として前記第１俯瞰映像を回転させる視点変換テーブルを作成する視点変換テーブル作成部と、
    　該視点変換テーブル作成部により作成された視点変換テーブルに基づいて前記第１俯瞰映像を映像変換処理することにより、前記視点位置が俯瞰映像の中心位置となり、前記回転量決定部により決定された回転量だけ回転された第２俯瞰映像を生成する第２俯瞰映像生成部と
    　を有することを特徴とする駐車支援装置。
  2. 　車両に設置された複数のカメラにより撮影されたカメラ映像に基づいて、前記車両を中心として車両周囲の状況を前記車両の上方より仮想的に見下ろす第１俯瞰映像を生成する第１俯瞰映像生成部と、
    　前記車両を駐車させるための駐車目標位置を前記第１俯瞰映像より検出する駐車目標位置検出部と、
    　該駐車目標位置検出部により検出された前記駐車目標位置と前記第１俯瞰映像における車両位置との位置関係に基づいて視点位置を決定する視点位置決定部と、
    　前記駐車目標位置と前記第１俯瞰映像における車両位置との位置関係に基づいて、前記第１俯瞰映像における回転量を決定する回転量決定部と、
    　前記第１俯瞰映像における中心位置を前記視点位置に基づいて移動させると共に、前記第１俯瞰映像を前記回転量に基づいて前記視点位置を基準として回転させるための複数の視点変換テーブルが記録される視点変換テーブル記録部と、
    　該視点変換テーブル記録部に記録される複数の前記視点変換テーブルより、前記視点位置決定部により決定された視点位置に前記第１俯瞰映像における中心位置を移動させると共に、前記回転量決定部により決定された前記回転量だけ前記第１俯瞰映像を回転させるための視点変換テーブルを抽出し、抽出された視点変換テーブルに基づいて前記第１俯瞰映像を映像変換処理することにより、第２俯瞰映像を生成する第２俯瞰映像生成部と
    　を有することを特徴とする駐車支援装置。
  3. 　前記視点位置決定部は、前記駐車目標位置と前記第１俯瞰映像における車両位置との中間位置を前記視点位置として決定すること
    　を特徴とする請求項１又は請求項２に記載の駐車支援装置。
  4. 　前記第１俯瞰映像を表示可能な表示部と、
    　該表示部に表示された前記第１俯瞰映像における前記駐車目標位置を、ユーザが特定するための入力部とを有し、
    　前記駐車目標位置検出部は、前記入力部を介してユーザにより特定された前記駐車目標位置に基づいて、前記第１俯瞰映像における前記駐車目標位置の検出を行うこと
    　を特徴とする請求項１又は請求項２に記載の駐車支援装置。
  5. 　前記回転量決定部は、前記車両位置に対して前記駐車目標位置が下側に位置する前記第１俯瞰映像の回転角度を前記回転量として決定すること
    　を特徴とする請求項１又は請求項２に記載の駐車支援装置。
PCT/JP2012/065221 2011-06-27 2012-06-14 駐車支援装置 WO2013002037A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/117,371 US20140354452A1 (en) 2011-06-27 2012-06-14 Parking assistance system
EP12804158.9A EP2724896B1 (en) 2011-06-27 2012-06-14 Parking assistance device
CN201280026515.8A CN103596812B (zh) 2011-06-27 2012-06-14 停车辅助装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-141442 2011-06-27
JP2011141442A JP5798392B2 (ja) 2011-06-27 2011-06-27 駐車支援装置

Publications (1)

Publication Number Publication Date
WO2013002037A1 true WO2013002037A1 (ja) 2013-01-03

Family

ID=47423935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/065221 WO2013002037A1 (ja) 2011-06-27 2012-06-14 駐車支援装置

Country Status (5)

Country Link
US (1) US20140354452A1 (ja)
EP (1) EP2724896B1 (ja)
JP (1) JP5798392B2 (ja)
CN (1) CN103596812B (ja)
WO (1) WO2013002037A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9242603B2 (en) 2013-09-05 2016-01-26 Hyundai Mobis Co., Ltd. Control method for around view stop mode
CN113630571A (zh) * 2021-07-13 2021-11-09 北京汽车股份有限公司 用于车辆的高空抛物监测方法及系统

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061008A1 (en) 2004-09-14 2006-03-23 Lee Karner Mounting assembly for vehicle interior mirror
US10144353B2 (en) 2002-08-21 2018-12-04 Magna Electronics Inc. Multi-camera vision system for a vehicle
CN104822566B (zh) * 2012-11-27 2016-07-06 歌乐牌株式会社 车载图像处理装置
DE102012023706A1 (de) * 2012-12-05 2014-06-05 Daimler Ag Fahrzeugseitiges Verfahren und fahrzeugseitige Vorrichtung zum Erfassen und Anzeigen von Parklücken für ein Fahrzeug
US20140293047A1 (en) * 2013-04-02 2014-10-02 Caterpillar Inc. System for generating overhead view of machine
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
JP6318999B2 (ja) * 2014-09-04 2018-05-09 株式会社Ｓｏｋｅｎ 駐車スペース認識装置、駐車スペース認識システム
JP6711027B2 (ja) * 2015-08-10 2020-06-17 株式会社Ｊｖｃケンウッド 車両用表示装置、車両用表示方法、及びプログラム
CN107534757B (zh) 2015-08-10 2020-04-10 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法
WO2017026083A1 (ja) * 2015-08-10 2017-02-16 株式会社Ｊｖｃケンウッド 車両用表示装置及び車両用表示方法
JP6547510B2 (ja) * 2015-08-10 2019-07-24 株式会社Ｊｖｃケンウッド 車両用表示装置及び車両用表示方法
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
RU2678436C1 (ru) 2015-10-08 2019-01-29 Ниссан Мотор Ко., Лтд. Устройство помощи при отображении и способ помощи при отображении
US10683035B2 (en) 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
CN105721834B (zh) 2016-03-29 2018-12-25 北京小米移动软件有限公司 控制平衡车停靠的方法及装置
CN109076195B (zh) * 2016-09-20 2021-03-05 Jvc 建伍株式会社 俯瞰影像生成装置、系统、方法以及存储介质
JP7036501B2 (ja) * 2017-02-24 2022-03-15 株式会社デンソーテン 充電支援装置、及び、充電支援方法
JP2018148484A (ja) * 2017-03-08 2018-09-20 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
KR101927754B1 (ko) * 2017-05-19 2019-02-26 주식회사 에스더블유엠 전방 카메라와 후방 카메라를 이용하여 어라운드 뷰 영상을 생성하는 방법 및 장치
JP7130923B2 (ja) * 2017-07-19 2022-09-06 株式会社アイシン 表示制御装置
JP7283514B2 (ja) * 2017-07-19 2023-05-30 株式会社アイシン 表示制御装置
DE102018101513A1 (de) * 2018-01-24 2019-07-25 Valeo Schalter Und Sensoren Gmbh Verfahren zur Detektion von Garagenparkplätzen
JP6990849B2 (ja) 2018-03-15 2022-01-12 パナソニックＩｐマネジメント株式会社 駐車支援装置、駐車支援方法、及び駐車支援プログラム
US10891866B2 (en) * 2018-11-13 2021-01-12 Hall Labs Llc Parking assist apparatus
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP6998360B2 (ja) 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム
KR20210121595A (ko) * 2020-03-30 2021-10-08 삼성전자주식회사 최적 경로 탐색 장치 및 이의 동작 방법
CN112339771B (zh) * 2020-10-09 2022-01-07 长城汽车股份有限公司 一种泊车过程展示方法、装置及车辆
WO2024013807A1 (ja) * 2022-07-11 2024-01-18 日産自動車株式会社 駐車支援方法及び駐車支援装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339716A (ja) 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 車両周辺監視装置及び方法
JP2007183877A (ja) 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
JP2008213647A (ja) * 2007-03-02 2008-09-18 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2010081385A (ja) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd 運転支援装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2369648A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP4235051B2 (ja) * 2003-08-29 2009-03-04 トヨタ自動車株式会社 駐車支援装置
JP4742953B2 (ja) * 2006-03-31 2011-08-10 株式会社デンソー 画像処理装置，画像表示システムおよびプログラム
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP5159070B2 (ja) * 2006-08-31 2013-03-06 アルパイン株式会社 車両周辺画像表示装置及び表示方法
JP5115782B2 (ja) * 2006-11-07 2013-01-09 アイシン精機株式会社 駐車支援装置
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
DE102008027779A1 (de) * 2008-06-11 2009-12-17 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs beim Einparken in eine Parklücke
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339716A (ja) 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 車両周辺監視装置及び方法
JP2007183877A (ja) 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
JP2008213647A (ja) * 2007-03-02 2008-09-18 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2010081385A (ja) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd 運転支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2724896A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9242603B2 (en) 2013-09-05 2016-01-26 Hyundai Mobis Co., Ltd. Control method for around view stop mode
CN113630571A (zh) * 2021-07-13 2021-11-09 北京汽车股份有限公司 用于车辆的高空抛物监测方法及系统
CN113630571B (zh) * 2021-07-13 2024-04-02 北京汽车股份有限公司 用于车辆的高空抛物监测方法及系统

Also Published As

Publication number Publication date
EP2724896B1 (en) 2017-03-01
CN103596812A (zh) 2014-02-19
CN103596812B (zh) 2016-03-16
US20140354452A1 (en) 2014-12-04
EP2724896A1 (en) 2014-04-30
JP2013006548A (ja) 2013-01-10
EP2724896A4 (en) 2015-05-06
JP5798392B2 (ja) 2015-10-21

Similar Documents

Publication Publication Date Title
JP5798392B2 (ja) 駐車支援装置
JP6487231B2 (ja) 着目場所の拡張視界の生成
JP6521081B2 (ja) 車両用表示装置
US20090262145A1 (en) Information display device
JP2007292713A (ja) ナビゲーション装置
JP2013154730A (ja) 画像処理装置、画像処理方法、及び、駐車支援システム
JP4885632B2 (ja) ナビゲーション装置
JP7143661B2 (ja) 情報処理システム、プログラム、及び制御方法
JP5702476B2 (ja) 表示装置、制御方法、プログラム、記憶媒体
JP5517176B2 (ja) 画像調整装置、制御方法、プログラム、及び記憶媒体
JP2005214730A (ja) 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
WO2011121788A1 (ja) ナビゲーション装置、情報表示装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
JP5231595B2 (ja) ナビゲーション装置
JP4857159B2 (ja) 車両運転支援装置
JP5438172B2 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体
JP4992747B2 (ja) 駐車支援装置及び駐車支援方法
JP6597128B2 (ja) 車両用表示装置
JP7192907B2 (ja) 俯瞰映像生成装置及び俯瞰映像生成方法
JP6177585B2 (ja) ナビゲーション装置
JP6432312B2 (ja) ナビゲーションシステム、ナビゲーション方法、及びナビゲーションプログラム
KR20190141627A (ko) 광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법
CN117755206A (zh) 车辆视野调节方法、装置、计算机设备和存储介质
JP2011022152A (ja) ナビゲーションデバイス
JP2005134489A (ja) 地図立体表示装置
JP2019009599A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280026515.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12804158

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14117371

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2012804158

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012804158

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE