WO2012043184A1 - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
WO2012043184A1
WO2012043184A1 PCT/JP2011/070476 JP2011070476W WO2012043184A1 WO 2012043184 A1 WO2012043184 A1 WO 2012043184A1 JP 2011070476 W JP2011070476 W JP 2011070476W WO 2012043184 A1 WO2012043184 A1 WO 2012043184A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parking
vehicle
overhead image
trimming
Prior art date
Application number
PCT/JP2011/070476
Other languages
English (en)
French (fr)
Inventor
若林春樹
田中優
伊賀陽香
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to EP11828745.7A priority Critical patent/EP2623376B1/en
Priority to US13/811,076 priority patent/US20130120161A1/en
Publication of WO2012043184A1 publication Critical patent/WO2012043184A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically

Definitions

  • the present invention relates to a parking assistance device that supports a driver's driving operation by displaying a bird's-eye view image for allowing the driver to recognize the situation around the host vehicle during parking.
  • This bird's-eye view image is obtained by photographing the periphery of the vehicle with a plurality of in-vehicle cameras, and converting the captured images obtained by the plurality of in-vehicle cameras into an image looking down from a virtual viewpoint above the vehicle and connecting them.
  • the vehicle image representing the vehicle is synthesized with the center of the overhead view image displayed on the monitor so that the driver can easily recognize the surroundings of the vehicle.
  • an image pickup means for acquiring an image around the own vehicle, and an image obtained by the image pickup means while previously storing image data of the own vehicle.
  • Storage means for storing data
  • image conversion means for generating a bird's-eye view image of the vehicle viewed from an upper virtual viewpoint from the surrounding image of the vehicle and the image of the vehicle, and obstacles around the vehicle
  • the obstacle detection means for calculating the distance and relative speed of the obstacle from the vehicle as obstacle information, and when the obstacle is determined to be a moving object based on the obstacle information, the obstacle
  • a device for changing the scale so that the image is displayed at the end of the bird's-eye view image and displaying it on a monitor see, for example, JP 2009-111946 A (Patent Document 1)).
  • the overhead image is enlarged by changing the scale so that the obstacle becomes the end of the overhead image centering on the own vehicle. Is displayed. As a result, the host vehicle and the obstacle are clearly displayed.
  • the detection of the obstacle is a trigger for the enlarged display, so that the enlarged display is not performed unless the obstacle is detected. As a result, there is anxiety that the driver cannot rely solely on the enlarged display.
  • a parking assist device that displays a monitor while selectively switching the second overhead image display form whose position changes with the movement of the vehicle according to the situation at the time (for example, Japanese Patent Application Laid-Open No. 2007-183877). No. (Patent Document 2)).
  • the position of the vehicle image in the display bird's-eye image is different between the first bird's-eye view image display form and the second bird's-eye view image display form. It is not specifically indicated that is in a position to pay special attention to.
  • Japanese Unexamined Patent Publication No. 2009-111946 (paragraph number [0011-0057], FIG. 4) Japanese Unexamined Patent Publication No. 2007-183877 (paragraph number [0006-0021], FIG. 5)
  • an object of the present invention is to provide a parking assistance device that generates a display overhead image in which a region to be noted during parking travel is clearly displayed on a monitor.
  • the parking assist device is characterized by a parking route generation unit that generates a parking route to a set parking target position, and a caution region determination unit that determines a caution region to be noted when traveling along the parking route.
  • a bird's-eye view image generation unit that generates a bird's-eye view image through viewpoint conversion from a photographed image acquired by a camera that captures the vicinity of the host vehicle; and
  • An image composition unit is provided which is input as a display image around the own vehicle to be displayed on the monitor, and synthesizes the own vehicle image with the own vehicle position in the inputted overhead image to generate a display overhead image.
  • the overhead image generated from the captured image is adjusted so that the attention area that should be noted during parking travel along the parking route determined by the attention area determination unit is included in the display overhead image displayed on the monitor. To do. This makes it possible to visually recognize the attention area on the monitor. Furthermore, it is preferable to eliminate the restriction condition that the own vehicle image is arranged at the center of the display overhead image when the attention area to be noted is adjusted to be included in the display overhead image. As a result, the attention area and the vehicle image are displayed on the monitor without waste, and the driver can easily confirm the area to be careful when parking. In addition, it is easy to check the attention area, and since the occurrence of an event such as obstacle detection is not triggered for displaying an overhead image offset from the center of the vehicle image, more stable parking support is possible.
  • the parking assistance device further includes an image for trimming the overhead image to display the overhead image on the overhead image display area of the monitor.
  • a trimming condition information generating unit that generates trimming condition information in which the vehicle image is offset from the center of the display bird's-eye view and includes the trimming condition information in order to include the attention area in the display bird's-eye view image; Yes.
  • the bird's-eye view image generated from the captured image is trimmed so that the attention area that should be noted during parking travel along the parking route determined by the attention area determination unit is included in the display overhead image displayed on the monitor.
  • the restriction condition that the vehicle image is arranged at the center of the display overhead image is eliminated. This makes it possible to perform trimming that offsets the vehicle image from the center of the displayed overhead image, and the attention area and the vehicle image are displayed on the monitor without waste, and the driver confirms the area to be careful when parking. It's easy to do.
  • the attention area it is easy to check the attention area, and since the occurrence of an event such as obstacle detection is not triggered for displaying an overhead image offset from the center of the vehicle image, more stable parking support is possible.
  • the most important attention area that is, the attention area having the highest degree of tightness
  • the attention area having the highest degree of tightness may be set as the attention area to which attention should be paid. That is, when there are a plurality of the attention areas, it is advantageous that the attention area with a high degree of tightness is included in the display overhead image.
  • the vehicle and the attention area are within a predetermined distance. It is proposed to set the high degree of tightness in the attention area, that is, to set as the attention attention area. Since the vehicle is traveling along the set parking route, the distance between the vehicle and the caution area can be easily obtained by calculating the distance traveled by the vehicle's parking route. Convenient to.
  • the minimum region that includes the high tightness attention region and the vehicle image When the bird's-eye view image is trimmed, the trimmed display bird's-eye view image is more likely to be an enlarged image than the normal display bird's-eye view image. Thereby, a bird's-eye view image with clearer danger is displayed on the monitor.
  • the caution area determination unit determines, as the caution area, an area in which an end portion of the own vehicle greatly swings from the parking path during parking traveling along the parking path. It is configured as follows.
  • an additional attention area can be set based on the obstacle information regarding the presence of the obstacle around the vehicle generated by the obstacle detection unit. . Therefore, in such a vehicle, the caution area determination unit approaches the vehicle and the obstacle in the parking route within a predetermined distance based on the obstacle information related to the presence of obstacles around the vehicle.
  • a suitable configuration can be adopted in which an approach area is obtained and the approach area is additionally determined as a special attention area. Since the attention area based on the obstacle information is considered to be more urgent, it is convenient to process the area with priority over the previous attention area.
  • FIG. 1 is a perspective view of a vehicle in which a part of a vehicle equipped with a parking assist device according to the present invention is cut away. It is a top view which shows the imaging
  • a parking assist device capable of generating a bird's-eye view image in a form in which the own vehicle is looked down from above based on images taken by a plurality of cameras provided in the own vehicle and displaying the image on a monitor. Illustrated.
  • a plurality of in-vehicle cameras are installed in a vehicle in which left and right front wheels 11a and 11b are configured as steering wheels and left and right rear wheels 12a and 12b are configured as non-steering wheels.
  • a rear camera 1 a is provided at the rear of the vehicle, that is, the back door 91.
  • a left side camera 1b is provided below the left side mirror 92 provided on the left front door, and a right side camera 1c is provided below the right side mirror 93 provided on the right front door.
  • a front camera 1d is provided at the front of the vehicle. In the following description, these cameras 1a to 1d are collectively referred to as a camera 1 (vehicle camera) as appropriate.
  • the camera 1 uses a CCD (charge coupled device), CIS (CMOS image sensor), or other imaging device to take a 15-30 frame per second 2D image in time series, and then digitally convert the captured image in real time. It is a digital camera that outputs.
  • the camera 1 includes a wide angle lens. In particular, in the present embodiment, a viewing angle of 140 to 190 ° is ensured in the horizontal direction.
  • the rear camera 1a and the front camera 1d are installed in a vehicle having a depression angle of about 30 degrees on the optical axis, and can capture an area of about 8 m from the vehicle.
  • the left side camera 1b and the right side camera 1c are installed at the bottoms of the side mirrors 92 and 93 with the optical axis facing downward, and a part of the side surface of the vehicle and the road surface (ground) are the subjects.
  • an overlapping region W (see FIG. 2) in the captured images of the two cameras is formed at the outer positions of the left and right corner ends at the front and rear of the vehicle.
  • image processing is performed so as to make the boundary line dividing the overlapping area W inconspicuous.
  • the parking support an image captured by the camera 1 or a parking support image generated using the captured image is displayed on the monitor 21.
  • voice guidance based on a parking route from a parking departure point to a target parking area is also emitted from the speaker 22. Confirmation of the parking area and other operation inputs are performed through the touch panel 21 attached to the monitor 21.
  • a parking assistance control unit (hereinafter simply referred to as an ECU) 20 that is the core of the parking assistance apparatus of the present invention is disposed inside the vehicle.
  • the ECU 20 includes a sensor input interface 23, a communication interface 80, and the like as input / output interfaces for inputting / outputting information, and a microprocessor for processing information obtained via the input / output interface, A DSP (digital signal processor) is provided. Also, some or all of the input / output interfaces may be included in such a processor.
  • the sensor input interface 23 is connected to a vehicle state detection sensor group for detecting a driving operation and a moving state.
  • the vehicle state detection sensor group includes a steering sensor 24 that measures the steering operation direction (steering direction) and the operation amount (steering amount), a shift position sensor 25 that determines the shift position of the shift lever, and an accelerator pedal operation amount.
  • the communication interface 80 employs an in-vehicle LAN, and not only the touch panel 21T and the monitor 21, but also control units such as a power steering unit PS, a transmission mechanism T, and a brake device BK are connected so as to be able to transmit data.
  • control units such as a power steering unit PS, a transmission mechanism T, and a brake device BK are connected so as to be able to transmit data.
  • the ECU 20 includes an output image processing module 60 and a sound processing module 70 that are configured by a DSP as a notification output function unit.
  • Various image information for GUI generated by the output image processing module 60 and captured image information including an auxiliary image for vehicle guidance are displayed on the monitor 21.
  • a voice guide for vehicle guidance, an emergency warning sound and the like generated by the voice processing module 70 are played by the speaker 22.
  • the ECU 20 includes an input image processing module 50, a parking target position setting unit 31, a caution area determination unit 32, a parking route generation unit 33, a guidance control unit 34, and a position information calculation unit 35.
  • an obstacle detection unit 36 is also provided.
  • the input image processing module 50 transfers the processed image obtained by processing the captured image acquired by the camera 1 to another functional unit or the output image processing module 60.
  • the input image processing module 50 and the output image The function of the processing module 60 will be described in detail later.
  • the parking target position setting unit 31 parks the own vehicle as shown in FIG. 4 in terms of image processing, human operation, or both based on the captured image that has been preprocessed by the input image processing module 50.
  • a parking completion position Pe as a target parking position serving as a destination for the parking travel is set.
  • the parking target position setting unit 31 also has a function of setting the own vehicle position stopped for the parking as a parking departure point Ps that is a departure point for parking travel.
  • an area based on one or two lane lines W (parking lane line or road shoulder boundary line) created on the road surface is set as the target parking area Pa.
  • 4A shows garage parking in the target parking area Pa bounded by the white parking line as the lane marking W
  • FIG. 4B shows the road boundary line and the vehicle width. The parallel parking to the bounded target parking area Pa is shown.
  • the parking route generation unit 33 generates a parking route K as illustrated in FIG.
  • This parking path K is a path connecting from the parking departure point Ps to the parking completion position Pe, which is the parking target position, and may include a straight line partially or may be a straight line as a whole. Specifically, it can be represented by one or more curves. Note that the generation algorithm of the parking route K has been conventionally known, and reference can be made to Japanese Patent Application Laid-Open Nos. 2003-237511 and 2008-284969.
  • the caution area determination unit 32 determines the caution area Z that should be noted during parking travel along the parking route K generated by the parking route generation unit 33.
  • four attention areas Z (Z1, Z2, Z3, Z4) appearing along the parking paths K1 and K2 at the time of parking in the garage are determined.
  • three attention areas Z (Z1, Z2, Z3) appearing along the parking route K at the time of parallel parking are determined.
  • These caution areas Z are likely to come into contact with other parked vehicles or obstacles when the center of the vehicle moves along the parking route K and the corner end of the vehicle greatly swings from the parking route. This is a region where becomes large.
  • the attention area determination unit 32 generates attention area information that is list information of the attention areas Z1,... Including the coordinate position and the like related to the determined attention area Z, and sends the attention area information to the output image processing module.
  • the position information calculation unit 35 acquires the current vehicle position necessary for guidance of the host vehicle and the position of the target parking area Pa with respect to the host vehicle when the host vehicle moves. That is, in the position information calculation unit 35, the relative position between the vehicle position detection process for detecting the position information of the own vehicle that changes with the movement of the own vehicle and the target parking area Pa that changes with the movement of the own vehicle.
  • a parking target position detection process for detecting the relationship is performed. These processes are performed based on the captured image acquired by the camera 1, the vehicle movement amount acquired by the distance sensor 28, and the steering amount of the steering wheel 34 measured by the steering sensor 24.
  • the guidance control unit 34 guides parking based on the direct parking route K generated by the parking route generation unit 33. At that time, the position information from the position information calculation unit 35 is referred to.
  • the guidance control unit 34 can realize control for driving the host vehicle by guidance control along the parking route K while referring to the location information from the location information calculation unit 35.
  • automatic steering in which the guidance control unit 34 controls the power steering unit PS, the transmission mechanism T, and the brake device BK is limited to backward traveling only, and the forward steering is partially manual steering. It may be incorporated.
  • the guidance control unit 34 sends the guidance information to the output image processing module 60 and the sound processing module 70 to display the steering direction and the steering amount on the monitor 21, and the steering direction and the steering amount from the speaker 22. It is preferable to output.
  • the obstacle detection unit 36 is well known per se and will not be described in detail, but detects an object (obstacle) existing in the vicinity of the vehicle using a distance measurement process and an image recognition process. For this reason, a plurality of ultrasonic sensors, which are not shown here, are arranged at both end portions and the central portion in each of the front portion, the rear portion, the left portion, and the right portion of the vehicle. Note that another object detection sensor such as a laser radar may be used instead of the ultrasonic sensor.
  • the obstacle detection unit 36 can estimate the distance from the vehicle to the object and the size of the object by processing the return time and amplitude of the reflected wave in each ultrasonic sensor, and can also detect the detection results of all the ultrasonic sensors.
  • the obstacle detection unit 36 generates obstacle information related to the presence of obstacles around the vehicle and sends it to the attention area determination unit 32. Based on the obstacle information, the attention area determination unit 32 extracts an approach area where the vehicle and the obstacle in the parking route K approach within a predetermined distance, and additionally adds the approach area as a special attention area. Attention area information to be determined and processed preferentially can be generated.
  • FIG. 5 shows a functional block diagram of the input image processing module 50 and the output image processing module 60 of the ECU 20.
  • the input image processing module 50 has a function of generating a bird's-eye view image from a captured image acquired by a camera that captures the vicinity of the vehicle by viewpoint conversion with the viewpoint above the vehicle.
  • the output image processing module 60 trims the bird's-eye view image generated by the input image processing module 50 based on the above-described attention area information to generate a display bird's-eye view image that matches the bird's-eye view image display area of the monitor.
  • the input image processing module 50 includes a captured image memory 51, a preprocessing unit 52, an image generation unit 53, and a display image memory 57.
  • the captured image acquired by the camera 1 is developed in the captured image memory 51, and the pre-processing unit 52 adjusts the luminance balance, color balance, etc. between the captured images individually acquired by the four cameras 1a to 1d to appropriately Divide by a simple image boundary.
  • the image generation unit 53 includes a normal image generation unit 54, an overhead image generation unit 55, and a mapping table 56.
  • the normal image generation unit 54 adjusts the captured image to an image quality suitable for monitor display as a vehicle peripheral image as it is.
  • the vehicle periphery image displayed on the monitor is independent for each of the cameras 1a to 1d, and the monitor display can be arbitrarily selected.
  • the overhead image generation unit 55 converts the captured image developed in the captured image memory 51 into an overhead image when the periphery of the vehicle is viewed from above based on the conversion information recorded in the mapping table 56 and displayed. Stored in the image memory 57.
  • the mapping table 56 can be constructed in various forms. However, the mapping table 56 is constructed as a table in which the correspondence between the pixel data of the captured image and the pixel data of the overhead image is described. Conveniently, the destination pixel coordinates in the image are described.
  • FIG. 6 schematically shows a state of conversion from four captured images at the time of parallel parking to an overhead image.
  • the image captured by the rear camera 1a is coordinate-converted by the mapping 56 from the rear captured image to the rear region image of the overhead image.
  • the image captured by the front camera 1d is coordinate-converted by the mapping 56 from the front captured image to the front area image of the overhead image.
  • the image captured by the left side camera 1b is coordinate-converted by the mapping 56 from the left side captured image to the left region image of the overhead image.
  • the image captured by the right side camera 1c is coordinate-converted by the mapping table 56 into the right region image of the overhead image.
  • the mapping table 56 includes four different bird's-eye view image mapping tables in order to convert a captured image of each camera into a bird's-eye view image.
  • Such overhead image generation using the four captured images is sequentially performed while the vehicle travels along the parking route K, and is displayed on the monitor in an appropriately trimmed form.
  • the output image processing module 60 includes a display image memory 61, a trimming information generation unit 62, an image trimming unit 63, a vehicle image generation unit 64, a notification image generation unit 65, an image composition unit 66, and a frame memory 67.
  • the display image memory 61 is a memory that temporarily stores the overhead image from the input image processing module 50, but may also be used as the display image memory 57 of the input image processing module 50.
  • the image trimming unit 63 trims the overhead image developed in the display image memory 61 in order to display the overhead image in the overhead image display area of the monitor 21.
  • the image composition unit 66 synthesizes the own vehicle image prepared by the own vehicle image generation unit 64 and the notification image generated by imaging the notification information such as the parking guidance message into the trimmed overhead image by the notification image generation unit 65.
  • the trimming condition information generation unit 62 performs trimming so as to include the attention area Z within the predetermined distance of the vehicle position based on the attention area information sent from the attention area determination unit 32 so as to be included in the display overhead image.
  • Information execution contents of the special trimming process
  • FIG. 7 schematically shows a trimming of the bird's-eye view image at the vehicle position where the attention area Z is within a predetermined distance.
  • FIG. 7 (a) shows the vehicle image for comparison purposes.
  • the conventional trimming process here called normal trimming process
  • This normal trimming process is a trimming process when there is no attention area Z to be noted, that is, no attention area Z within a predetermined distance from the vehicle position.
  • FIG. 7B shows a trimming process (special trimming process) in the case where the attention area Z is within a predetermined distance of the vehicle position.
  • the attention area Z to be noted is in the lower left corner. It is trimmed in the trimming area where the vehicle image is at the upper right corner.
  • the trimming frame indicated by the dotted line is offset from the center of the bird's-eye view image, that is, the direction in which the attention area exists from the vehicle position.
  • a caution area and an obstacle (such as another vehicle) that may be contacted are displayed together with the own vehicle, which is convenient for the driver.
  • a trimming frame reduced so as to be the smallest possible region including the attention region Z and the vehicle position is used.
  • the display overhead image displayed on the monitor is an enlarged image, and the driver can give more precise information on the attention area.
  • the screen of the monitor 21 has a bird's-eye view image display area for displaying a display bird's-eye view image and a photographed image for displaying a photographed image by the camera 1 (for example, a photographed image in the traveling direction of the host vehicle). It is divided into areas.
  • FIG. 9 is a flowchart showing a main routine of parking support control
  • FIG. 10 is a flowchart showing a routine for determining selection of a trimming format for the overhead image.
  • a determination process is performed in which a part of the vehicle is likely to come into contact with an obstacle, etc. (# 08). For example, when an own vehicle moves along a parking route and there are obstacles around the vehicle, an area where the own vehicle is likely to contact the obstacle can be estimated statistically. Of course, in order to perform estimation with higher reliability, it is necessary to consider the condition of whether the vehicle is traveling backward or forward, and the vehicle characteristics, particularly steering characteristics. In any case, assuming a large number of parking route patterns in advance, estimate the surrounding area to be noted from the possibility of contact at the vehicle route position in each parking route pattern, and allocate the surrounding region. Thus, it is possible to easily determine the attention area. The attention area determined by this determination process is recorded in the attention area list together with its position and size.
  • the captured image is captured (# 10), and an overhead image is generated from the captured image (# 12).
  • trimming processing is performed on the generated overhead image and the entire generated overhead image is displayed on the monitor screen, it is displayed in the display area of the overhead image further allocated from the limited monitor screen size. There is a problem that the overhead image is too small to be seen.
  • trimming processing is performed on the overhead image. Since the trimming process type to be used is written in a trimming selection flag, which will be described in detail later with reference to FIG. 10, the contents of this trimming selection flag are checked (# 14).
  • special trimming processing executed when the content of the trimming selection flag is “special” and normal trimming processing (# 16) executed when the content of the trimming selection flag is “normal” (# 16). # 18).
  • region used as the object in the case of performing special trimming processing is marked in the attention area
  • a display overhead image is generated using the trimmed overhead image (# 20) and displayed on the monitor 21 (# 22).
  • a notification message such as a vehicle guidance message as parking assistance is also displayed on the monitor 21 (# 24).
  • it is checked whether or not the vehicle has reached the parking target point (# 26). If the own vehicle has not reached the parking target point (# 26 No branch), a bird's-eye view image is generated with a new photographed image, and the process returns to step # 10 to continue the vehicle guidance while displaying this on the monitor. If the host vehicle reaches the parking target point (# 26 Yes branch), the host vehicle stops and the parking support routine ends.
  • “normal” indicating execution of the normal trimming process is substituted into the trimming selection flag (# 50). Further, it is checked whether or not obstacle information is generated and output by the obstacle detector 36 (# 52). If there is obstacle information (# 52 Yes branch), the obstacle area included in the obstacle information is regarded as an attention area with a high degree of tightness and added to the attention area list as an important attention area (# 54). After that, or when there is no obstacle information (# 52 No branch), the current vehicle position is read (# 56). Further, the attention area is read from the attention area list, and its position is substituted into a predetermined variable (# 58).
  • the attention areas are designated one by one in order to perform the following determination process (# 60).
  • the shortest distance between the vehicle and the attention area: ⁇ x is calculated (# 62).
  • ⁇ x ⁇ Xs is satisfied (# 64 Yes branch)
  • “special” indicating execution of the special trimming process is substituted for the trimming selection flag (# 66), and the attention attention area is set as a special trimming target in the attention area list. Marked.
  • step # 68 If ⁇ x ⁇ Xs is not satisfied (# 64 No branch), it is further checked whether there is a next attention area to be processed (# 68). If there is a next attention area to be processed (# 68 No branch), the process returns to step # 60 and the same processing is performed with the next attention area as the attention attention area. If there is no next attention area to be processed (# 68 Yes branch), the process returns to step # 50 to repeat this routine.
  • the presence area of the detected obstacle is included as the attention area, but the present invention is not limited to the vehicle having such an obstacle detection function. Even in a vehicle having no detection function, it is important that a better parking support image can be displayed on a monitor by estimating the attention area as described above from the parking route in advance.
  • the present invention can be used in a parking assistance device that supports a driver's driving operation by displaying a bird's-eye view image for allowing the driver to recognize the situation around the host vehicle during parking.

Abstract

　駐車支援装置は、駐車走行時に注意すべき領域が明確にモニタ表示される表示俯瞰画像を生成する。撮影画像から視点変換を通じてモニタ２１に表示する自車周辺の表示画像としての俯瞰画像を生成する俯瞰画像生成部と、駐車経路を生成する駐車経路生成部と、俯瞰画像をトリミングして得られた俯瞰画像における自車位置に自車イメージを合成して表示俯瞰画像を生成する画像合成部と、駐車経路に沿った駐車走行時に注意すべき注意領域を決定する注意領域決定部と、注意領域を表示俯瞰画像に含めるために自車イメージが表示画像の中心からオフセットされるトリミング条件情報を生成して画像トリミング部に与えるトリミング条件情報生成部とが備えられている。

Description

駐車支援装置
　本発明は、駐車時における自車両周囲の状況を運転者に認識させるための俯瞰画像を表示することで運転者の運転操作を支援する駐車支援装置に関する。
　従来、自車両（以下単に自車と略称する）の死角領域の確認のために車両上方の仮想視点から見下ろした俯瞰画像をモニタ表示して、運転者を支援する技術が知られている。この俯瞰画像は、複数の車載カメラで車両周囲を撮影し、これら複数の車載カメラで取得された撮影画像を車両上方の仮想視点から見下ろした画像に視点変換して繋ぎ合わせることにより得られる。その際、自車を表す自車イメージをモニタ表示される俯瞰画像の中心に合成することで、自車周囲の様子が運転者に容易に認識させる工夫がなされている。
　そのような俯瞰画像を用いた従来の駐車支援装置の１つとして、自車の周囲の画像を取得する撮像手段と、自車の画像のデータを予め格納すると共に、撮像手段により取得された画像のデータを格納する記憶手段と、前記自車の周囲の画像及び自車の画像から前記自車を上方の仮想視点から見た俯瞰画像を生成する画像変換手段と、自車の周囲の障害物を検出し、障害物情報として障害物の自車からの距離及び相対速度を算出する障害物検出手段と、この障害物情報に基づいて障害物が移動体であると判定したとき、当該障害物が俯瞰画像の端に表示されるように縮尺を変更してモニタ表示させる装置が知られている（例えば、特開２００９‐１１１９４６号公報（特許文献１）参照）。この装置では、俯瞰画像の表示において、自車と周囲の障害物とが接近したとき、自車を中心として障害物が俯瞰画像の端になるように縮尺を変更して俯瞰画像が拡大して表示される。これにより、自車と障害物とが明確に表示されるが、障害物が検知されることが拡大表示のトリガーとなっているので、障害物が検知されなければ拡大表示はされない。そのため、運転者には拡大表示だけに頼るわけにはいかないという不安が生じる。
　また、自車イメージが画面中央に固定されて自車周囲俯瞰画像が自車の移動に伴い変化する第１俯瞰画像表示形態と、自車周囲俯瞰画像が画面上で固定されて自車イメージの位置が自車の移動に伴い変化する第２俯瞰画像表示形態とをそのときの状況などに応じて選択的に切り替えながらモニタ表示する駐車支援装置も知られている（例えば、特開２００７‐１８３８７７号公報（特許文献２）参照）。この装置では、第１俯瞰画像表示形態と第２俯瞰画像表示形態とでは自車イメージの表示俯瞰画像中の位置は異なっているが、状況に応じて拡大表示されるわけではないので、自車が特別に注意を払うべき位置にいることが特別に示されるわけではない。
日本国特開２００９‐１１１９４６号公報　（段落番号〔００１１－００５７〕、図４） 日本国特開２００７‐１８３８７７号公報　（段落番号〔０００６－００２１〕、図５）
　上記実情に鑑みて、本発明の目的は、駐車走行時に注意すべき領域が明確にモニタ表示される表示俯瞰画像が生成される駐車支援装置を提供することにある。
　本発明による駐車支援装置の特徴は、設定された駐車目標位置への駐車経路を生成する駐車経路生成部と、前記駐車経路に沿った駐車走行時に注意すべき注意領域を決定する注意領域決定部と、自車周辺を撮影するカメラによって取得された撮影画像から視点変換を通じて俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像生成部によって生成された俯瞰画像における前記注意領域を含む俯瞰画像をモニタに表示する自車周辺の表示画像として入力し、当該入力した俯瞰画像における自車位置に自車イメージを合成して表示俯瞰画像を生成する画像合成部とを備えた点にある。
　駐車目標位置を設定することで生成される駐車経路に沿った走行において自車が他の駐車自車や障害物との接触事故や脱輪などを起こしやすい領域は、例えば統計的に想定することができる。このことから、注意領域決定部によって決定された駐車経路に沿った駐車走行時に注意すべき注意領域がモニタに表示される表示俯瞰画像に含まれるように、撮影画像から生成された俯瞰画像を調整する。これにより、注意領域のモニタでの視認が可能となる。
　さらに、この注目すべき注意領域が表示俯瞰画像に含まれるように調整する際に、自車イメージを表示俯瞰画像の中心に配置するという制約条件をなくすると好適である。これにより、モニタに注意領域と自車イメージが無駄なく表示され、駐車走行時に注意すべき領域を運転者が確認しやすい。しかも注意領域の確認が容易であり、自車イメージを中心からオフセットした俯瞰画像の表示のために、障害物検知といったイベントの発生をトリガーとしないので、より安定した駐車支援が可能となる。
　注意領域のモニタでの視認を可能にする具体的な構成として、本発明による駐車支援装置では、さらに、前記俯瞰画像を前記モニタにおける俯瞰画像表示領域に表示するために前記俯瞰画像をトリミングする画像トリミング部と、
　前記注意領域を前記表示俯瞰画像に含めるために前記自車イメージが前記表示俯瞰画像の中心からオフセットされるトリミング条件情報を生成して前記画像トリミング部に与えるトリミング条件情報生成部とが備えられている。
　この構成では、注意領域決定部によって決定された駐車経路に沿った駐車走行時に注意すべき注意領域がモニタに表示される表示俯瞰画像に含まれるように、撮影画像から生成された俯瞰画像をトリミングする。さらに、この注目すべき注意領域が表示俯瞰画像に含まれるようにトリミングする際に、自車イメージを表示俯瞰画像の中心に配置するという制約条件をなくする。これにより、自車イメージを表示俯瞰画像の中心からオフセットするようなトリミングを行うこと可能となり、モニタに注意領域と自車イメージが無駄なく表示され、駐車走行時に注意すべき領域を運転者が確認しやすい。しかも注意領域の確認が容易であり、自車イメージを中心からオフセットした俯瞰画像の表示のために、障害物検知といったイベントの発生をトリガーとしないので、より安定した駐車支援が可能となる。
　なお、注意領域が複数存在している場合、自車位置に応じて最も重要な注意領域つまりもっとも逼迫度の高い注意領域を注目すべき注意領域とするとよい。つまり、前記注意領域が複数存在する場合、高逼迫度の注意領域が前記表示俯瞰画像に含められる構成が好都合である。
　複数の注意領域のなかからトリミング時に注目すべき高逼迫度の注意領域を選ぶための好適な具体例の１つとして、本発明では、前記自車と前記注意領域とが所定距離内である場合に当該注意領域に前記高逼迫度を設定する、つまり注目注意領域として設定することが提案される。自車が設定された駐車経路に沿って走行しているので、自車の駐車経路での走行距離を算定することで簡単に自車と注意領域との間の距離が得られるので演算処理的に好都合である。
　高逼迫度の注意領域と自車イメージとが含まれるように俯瞰画像から表示俯瞰画像をトリミングする際に、前記高逼迫度の注意領域と前記自車イメージとを含むことになる最小領域で前記俯瞰画像がトリミングされるようにすると、そのトリミングされた表示俯瞰画像は通常の表示俯瞰画像に比べて拡大された画像となる可能が高くなる。これにより、危険性がより明確な俯瞰画像がモニタ表示されることになる。
　自動車等の操向特性から駐車時に実行されるカーブ走行では、車体のコーナ端部が大きく振れ、このコーナ端部が他の車両や障害物に接触する可能性が高い。従って、本発明の好適な実施形態の１つでは、前記注意領域決定部は、前記駐車経路に沿った駐車走行時において自車の端部が駐車経路から大きく振れる領域を前記注意領域として決定するように構成されている。
　自車に障害物を検出する機能が備わっている場合、その障害物検出部で生成された自車周辺の障害物の存在に関する障害物情報に基づいて追加的な注意領域を設定することができる。従って、そのような車両においては、前記注意領域決定部は、自車周辺の障害物の存在に関する障害物情報に基づいて、前記駐車経路における自車と前記障害物とが所定距離内に接近する接近領域を求め、当該接近領域を特別注意領域として追加的に決定する好適な構成を採用することができる。このような障害物情報に基づく注意領域はより緊急度が高いとみなされるので、先の注意領域に比べ優先的に処理するようにすると好都合である。
本発明による駐車支援装置を搭載した車両の一部を切り欠いた車両斜視図である。 複数の車載カメラの撮影範囲を示す平面図である。 駐車支援制御ユニットを含む車両制御システムの一部を模式的に示す機能ブロック図である。 駐車経路と注意領域とを模式的に示す説明図である。 駐車支援制御ユニットの入力画像処理モジュールと出力画像処理モジュールの機能ブロック図である。 撮影画像から俯瞰画像を経て表示俯瞰画像が生成される工程を模式的に示す説明図である。 適正な表示画像を生成するために俯瞰画像を通常トリミングとオフセットトリミングでトリミングして表示する様子を示す模式図である。 オフセットされた領域の拡大画像を表示するための拡大オフセットトリミングを示す模式図である。 駐車支援制御のメインルーチンを示すフローチャートである。 俯瞰画像に対するトリミング形式の選択を決定するルーチンを示すフローチャートである。
　以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、自車に備えられた複数のカメラの撮影画像を元にして、自車を上方から見下ろした形態となる俯瞰画像を生成してモニタに表示することが可能な駐車支援装置が例示されている。
　図１及び図２に示すように、左右の前輪１１ａと１１ｂが操舵輪として、左右の後輪１２ａと１２ｂが非操舵輪として構成されている車両に、複数の車載カメラが設置されている。車両後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドアに備えられた左サイドミラー９２の下部には左サイドカメラ１ｂが備えられ、右前部ドアに備えられた右サイドミラー９３の下部には右サイドカメラ１ｃが備えられている。また、車両前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ～１ｄを総称してカメラ１（車載カメラ）と称する。
　カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５～３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０～１９０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両に設置され、車両からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９２及び９３の底部に光軸を下方に向けて設置され、車両側面の一部と路面（地面）とがその被写体となる。図２に示すように、車両前部と後部の左右コーナ端部の外方位置には２つのカメラの撮影画像における重複領域Ｗ（図２を参照）が形成される。カメラ１による４つの撮影画像からの俯瞰画像の生成時にはこの重複領域Ｗを区分けする境界線を目立たなくするような画像処理が実施される。
　駐車支援においては、カメラ１による撮影画像ないしは当該撮影画像を用いて生成された駐車支援用画像がモニタ２１に表示される。また、駐車出発点から目標とする駐車領域までの駐車経路に基づく音声による駐車案内もスピーカ２２から発せられる。駐車領域の確認やその他の操作入力はモニタ２１に装着されたタッチパネル２１を通じて行われる。
　車両内部には、本発明の駐車支援装置の中核をなす駐車支援制御ユニット（以下単にＥＣＵと称する）２０が配置されている。このＥＣＵ２０は、図３に示すように、情報の入出力を行う入出力インターフェースとしてセンサ入力インターフェース２３や通信インターフェース８０などを備えると共に、入出力インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。また、入出力インターフェースの一部又は全てがこのようなプロセッサに含まれていてもよい。
　センサ入力インターフェース２３には、運転操作や移動状態を検出するための車両状態検出センサ群が接続されている。車両状態検出センサ群には、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ２４、シフトレバーのシフト位置を判別するシフト位置センサ２５、アクセルペダルの操作量を計測するアクセルセンサ２６、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサ２８などが含まれている。
　また、通信インターフェース８０は、車載ＬＡＮを採用しており、タッチパネル２１Ｔやモニタ２１だけでなく、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。
　ＥＣＵ２０には、報知出力機能部として、ＤＳＰで構成される出力画像処理モジュール６０と音声処理モジュール７０が備えられている。出力画像処理モジュール６０で生成されたＧＵＩ用の各種画像情報や車両誘導のための補助画像を含む撮影画像情報はモニタ２１に表示される。音声処理モジュール７０で生成された車両誘導のための音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。さらに、ＥＣＵ２０には、入力画像処理モジュール５０と、駐車目標位置設定部３１と、注意領域決定部３２と、駐車経路生成部３３と、誘導制御部３４と、位置情報算定部３５とである。この実施形態では障害物検出部３６も備えられている。
　入力画像処理モジュール５０は、カメラ１によって取得された撮影画像を処理して得られた処理済み画像を、他の機能部や出力画像処理モジュール６０に転送するが、入力画像処理モジュール５０と出力画像処理モジュール６０の機能は後で詳しく説明する。
　駐車目標位置設定部３１は、入力画像処理モジュール５０で前処理を終えた撮影画像に基づいて画像処理的にまたは人為操作的にあるいはその両方で、図４で示すような、自車を駐車させるための駐車領域Ｐaを設定するとともにその駐車走行の到達点となる目標駐車位置としての駐車完了位置Ｐeを設定する。また、駐車目標位置設定部３１は、この駐車のために停止した自車位置を駐車走行の出発点となる駐車出発点Ｐsとして設定する機能も有する。なお、図４に示す例では、目標駐車領域Ｐaとして、路面に作り出される１つ、または２つの区画線Ｗ（駐車区画線または路肩境界線）を境界基準とする領域が設定されている。図４の（ａ）は、区画線Ｗとしての駐車白線によって境界付けられた目標駐車領域Ｐaへの車庫入れ駐車を示しており、図４の（ｂ）は、路肩境界線と自車幅によって境界付けられた目標駐車領域Ｐaへの縦列駐車を示している。
　駐車経路生成部３３は、図４で例示するような、駐車経路Ｋを生成する。この駐車経路Ｋは、駐車出発点Ｐｓから駐車目標位置である駐車完了位置Ｐeまでを結ぶ経路であり、部分的に直線が含まれたり、または全体として直線であったりしてもよいが、実質的には１つ以上の曲線で示すことができる。なお駐車経路Ｋの生成アルゴリズムは、従来から知られており、特開２００３‐２３７５１１号公報や特開２００８‐２８４９６９号公報などを参照することができる。
　注意領域決定部３２は、駐車経路生成部３３によって生成された駐車経路Ｋに沿った駐車走行時に注意すべき注意領域Ｚを決定する。図４の（ａ）に示す例では、車庫入れ駐車時の駐車経路Ｋ1とＫ2に沿って現れる４つの注意領域Ｚ（Ｚ1,Ｚ2,Ｚ3,Ｚ4）が決定されている。また、図４の（ｂ）に示す例では、縦列駐車時の駐車経路Ｋに沿って現れる３つの注意領域Ｚ（Ｚ1,Ｚ2,Ｚ3）が決定されている。これらの注意領域Ｚは、自車の中心が駐車経路Ｋに沿って移動した際に、自車のコーナ端部が駐車経路から大きく振れることにより他の駐車車両や障害物などに接触する可能性が大きくなる領域である。注意領域決定部３２は、決定した注意領域Ｚに関する座標位置等を含む注意領域Ｚ1・・・のリスト情報である注意領域情報を生成して、出力画像処理モジュールに送る。
　位置情報算定部３５は、自車の移動時に、自車の誘導に必要な現在の車両位置と、自車に対する目標駐車領域Ｐaの位置とを取得する。つまり、位置情報算定部３５では自車の移動に伴って変化する自車の位置情報を検出する車両位置検出処理と、自車の移動に伴って変化する目標駐車領域Ｐaとの相対的な位置関係を検出する駐車目標位置検出処理とを行う。これらの処理はカメラ１で取得された撮影画像と、距離センサ２８で取得する車両移動量と、ステアリングセンサ２４で計測されるステアリングホイール３４の操舵量とに基づいて行われる。
　誘導制御部３４は、駐車経路生成部３３によって生成された直接駐車経路Ｋに基づく駐車を誘導する。その際、位置情報算定部３５からの位置情報が参照される。誘導制御部３４は、位置情報算定部３５からの位置情報を参照しながら、駐車経路Ｋに沿うように誘導制御によって自車を走行させる制御を実現することができる。しかしながら、誘導制御部３４がパワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫを制御する自動操舵は後進走行だけに限定して、前進走行は人為操舵とするといったように、部分的に人為操舵を組み込んでもよい。いずれにせよ、この誘導制御部３４が、誘導情報を出力画像処理モジュール６０や音声処理モジュール７０に送ることで操舵方向や操舵量をモニタ２１に表示させたり、操舵方向や操舵量をスピーカ２２から出力させたりすることが好ましい。
　障害物検出部３６は、それ自体はよく知られているので詳しい説明は省略するが、距離計測処理及び画像認識処理を用いて車両周辺近傍に存在する物体（障害物）を検出する。このため、ここでは図示されていない、車両前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置された複数の超音波センサが接続されている。なお、超音波センサに代えてレーザレーダ等の他の物体検出センサを用いても良い。障害物検出部３６は、各超音波センサにおける反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサの検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。障害物検出部３６は車両周辺の障害物の存在に関する障害物情報を生成して注意領域決定部３２に送る。前記注意領域決定部３２は、この障害物情報に基づいて、駐車経路Ｋにおける自車と障害物とが所定距離内に接近する接近領域を抽出して当該接近領域を特別注意領域として追加的に決定して優先的に処理される注意領域情報を生成することができる。
　図５に、ＥＣＵ２０の入力画像処理モジュール５０と出力画像処理モジュール６０の機能ブロック図が示されている。入力画像処理モジュール５０は、自車周辺を撮影するカメラによって取得された撮影画像から自車上方を視点とする視点変換によって俯瞰画像を生成する機能を有している。出力画像処理モジュール６０は、入力画像処理モジュール５０によって生成された俯瞰画像を上述した注意領域情報に基づいてトリミングしてモニタの俯瞰画像表示領域に合わせた表示俯瞰画像を生成する。
　入力画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、表示用画像メモリ５７を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２は４つのカメラ１a～１dによって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整して、適切な画像境界線で区分けする。画像生成部５３には、通常画像生成部５４と俯瞰画像生成部５５とマッピングテーブル５６が含まれている。通常画像生成部５４は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像はカメラ１ａ～１ｄ毎に独立しており、そのモニタ表示を任意に選択することができる。
　俯瞰画像生成部５５は、撮影画像メモリ５１に展開されている撮影画像を、マッピングテーブル５６に記録されている変換情報に基づいて自車の周囲を上方から見たときの俯瞰画像に変換し表示用画像メモリ５７に格納する。マッピングテーブル５６は種々の形態で構築することができるが、撮影画像の画素データと俯瞰画像の画素データとの対応関係が記述されたテーブルとして構築し、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものとするのが好都合である。図６には、縦列駐車時の４つの撮影画像から俯瞰画像への変換の様子が模式的に示されている。後方カメラ１ａによる撮影画像はマッピング５６によって後方撮影画像を俯瞰画像の後方領域画像に座標変換される。前方カメラ１ｄによる撮影画像はマッピング５６によって前方撮影画像を俯瞰画像の前方領域画像に座標変換される。左サイドカメラ１ｂによる撮影画像はマッピング５６によって左サイド撮影画像を俯瞰画像の左領域画像に座標変換される。右サイドカメラ１ｃによる撮影画像はマッピングテーブル５６によって右サイド撮影画像を俯瞰画像の右領域画像に座標変換される。このため、マッピングテーブル５６は各カメラの撮影画像を俯瞰画像に変換するために４つの異なる俯瞰画像マッピングテーブルを備えている。このような４つの撮影画像を用いた俯瞰画像生成は、自車が駐車経路Ｋに沿って走行する間逐次行われ、適切にトリミングされた形態でモニタ表示される。
　出力画像処理モジュール６０は、表示用画像メモリ６１、トリミング情報生成部６２、画像トリミング部６３、自車イメージ生成部６４、報知イメージ生成部６５、画像合成部６６、フレームメモリ６７を含んでいる。表示用画像メモリ６１は入力画像処理モジュール５０からの俯瞰画像を一時的に格納するメモリであるが、入力画像処理モジュール５０の表示用画像メモリ５７と兼用してもよい。画像トリミング部６３は、俯瞰画像をモニタ２１における俯瞰画像表示領域に表示するために表示用画像メモリ６１に展開されている俯瞰画像をトリミングする。画像合成部６６は、自車イメージ生成部６４で用意された自車イメージと、報知イメージ生成部６５で駐車案内メッセージなどの報知情報をイメージ化した報知イメージとをトリミングされた俯瞰画像に合成して表示俯瞰画像を生成する。トリミング条件情報生成部６２は、注意領域決定部３２から送られてきた注意領域情報に基づいて自車位置の所定距離内に入っている注意領域Ｚを表示俯瞰画像に含めるようにトリミングするトリミング条件情報（特殊トリミング処理の実行内容）を生成して画像トリミング部６３に与える。その際に、注意領域Ｚと前記自車イメージとが含まれるできる限り最小領域でトリミングすることで拡大表示が可能となる拡大トリミング条件情報の生成も可能である。
　注意領域Ｚが所定距離内に入っている自車位置での俯瞰画像のトリミングの様子が図７に模式的に示されているが、図７の（ａ）は比較目的で、自車イメージを表示俯瞰画像の中心に位置させている従来のトリミング処理（ここでは通常トリミング処理と称している）を示している。この通常トリミング処理は、注目すべき注意領域Ｚつまり自車位置の所定距離内に入っている注意領域Ｚがない場合のトリミング処理である。図７の（ｂ）は、自車位置の所定距離内に注意領域Ｚが入っている場合のトリミング処理（特殊トリミング処理）を示しており、ここでは、注目すべき注意領域Ｚが左下隅に自車イメージが右上端にくるようなトリミング領域でトリミングされている。つまり、点線で示されているトリミング枠が俯瞰画像の中心、つまり自車位置から注意領域が存在する方向にオフセットされている。これにより、最終的にモニタ表示される表示俯瞰画像では自車とともに注意領域、場合によっては接触可能性のある障害物（他車両など）が表示されることになり、運転者にとって好都合である。さらに、図８に示す例では、注意領域Ｚと自車位置とが含まれるできる限り最小領域となるように縮小されたトリミング枠が使用されている。その結果、モニタに表示される表示俯瞰画像は拡大画像となっており、運転者により精密な注意領域の情報を与えることができる。
　なお、図７と図８で示すように、モニタ２１の画面は、表示俯瞰画像を表示する俯瞰画像表示領域と、カメラ１による撮影画像（例えば自車進行方向の撮影画像）を表示する撮影画像領域とに区分けされている。
　次に、上述のように構成された駐車支援装置による駐車支援制御の流れを図９と図１０のフローチャートを用いて説明する。図９は駐車支援制御のメインルーチンを示すフローチャートであり、図１０は俯瞰画像に対するトリミング形式の選択を決定するルーチンを示すフローチャートである。
　駐車支援制御によって後進駐車を行う場合には、駐車スペースの近傍位置で自車を停車し、停車した自車位置を駐車出発位置として読み込み（＃０２）、この駐車スペースを駐車目標位置として指定する（＃０４）。駐車出発位置と駐車目標位置との間の駐車経路を演算する（＃０６）。駐車経路が求められると、この駐車経路の形態、特に経路進行に伴う曲率の変動に基づいて、自車の一部が障害物と接触する可能性が高い箇所などを注意領域とする判定処理を行う（＃０８）。例えば、自車が駐車経路を移動する際にその周辺に障害物などが存在した場合に、当該障害物に自車が接触する可能性が高い領域は統計学的に推定することができる。もちろん、より高い信頼度でもって推定を行うためには、後進と前進のどちらで走行しているかという条件や、その車両特性、特に操向特性も考慮する必要がある。いずれにしても、予め多数の駐車経路パターンを想定して、その各駐車経路パターンにおける自車経路位置での接触可能性から、注意すべき周囲領域を推定し、その周囲領域を割り当てておくことで、簡単に注意領域の決定が実現できる。この判定処理で決定された注意領域は、その位置や大きさとともに注意領域リストに記録される。
　注意領域が決定すると（＃０８）、撮影画像が取り込まれ（＃１０）、この撮影画像から俯瞰画像が生成される（＃１２）。次いで、生成された俯瞰画像に対してトリミング処理を施して、生成された俯瞰画像全体をモニタ画面に表示すると、限られたモニタ画面サイズからさらに割り当てられている俯瞰画像の表示エリアに表示された俯瞰画像は小さすぎて見づらいという問題が生じる。これを解消するために、本発明では、俯瞰画像に対してトリミング処理を施す。利用されるトリミング処理タイプは、後で図１０を用いながら詳しく説明されるトリミング選択フラグに書き込まれているので、このトリミング選択フラグ内容がチェックされる（＃１４）。この実施形態では、トリミング選択フラグの内容が「特殊」であるときに実行される特殊トリミング処理（＃１６）と、トリミング選択フラグの内容が「通常」であるときに実行される通常トリミング処理（＃１８）とが組み込まれている。なお、特殊トリミング処理を行う場合の対象となる注意領域は注意領域リストにおいて識別可能にマーキングされているので、そのマーキングされた注意領域が明確に表示されるようなトリミング処理が行われる。
　いずれかのトリミング処理が終了すると、トリミングされた俯瞰画像を用いて表示俯瞰画像が生成され（＃２０）、モニタ２１に表示される（＃２２）。車両誘導が始まると、モニタ２１には駐車支援としての車両誘導メッセージなどの報知メッセージも表示される（＃２４）。所定距離の走行が行われると、自車が駐車目標点に到達したかどうかチェックされる（＃２６）。自車が駐車目標点に到達していなければ（＃２６No分岐）、新たな撮影画像での俯瞰画像を生成し、これをモニタ表示しながら車両誘導を続行するためにステップ＃１０に戻る。自車が駐車目標点に到達すれば（＃２６Yes分岐）、自車は停止し、この駐車支援ルーチンは終了する。
　次に、図１０のフローチャートを参照して、前述したトリミング選択フラグにトリミング処理タイプを設定するトリミング選択決定ルーチンを説明する。
　まず、トリミング選択フラグに通常トリミング処理の実行を表す「通常」が代入される（＃５０）。さらに、障害物検出部３６で障害物情報が生成され出力されているかどうかチェックされる（＃５２）。障害物情報があれば（＃５２Yes分岐）、障害物情報に含まれている障害物の領域を逼迫度の高い注意領域とみなして、重要注意領域として注意領域リストに加えられる（＃５４）。その後、または障害物情報がない場合（＃５２No分岐）、現在の自車位置が読み込まれる（＃５６）。さらに注意領域リストから注意領域が読み出され、その位置が所定の変数に代入される（＃５８）。
　通常は、注意領域リストから複数の注意領域が読み出されるので、以下の判定処理を行うために、１つずつ順番に注目注意領域として指定する（＃６０）。まずは、自車と注意領域との最短の間隔：Δｘが算出される（＃６２）。さらに、その間隔：Δｘが所定のしきい値：ΔＸs未満(Δｘ＜ΔＸs)であるかどうかチェックされる（＃６４）。なお、注意領域が重要注意領域の場合は、しきい値：ΔＸsを大きくしておくことが好都合である。
Δｘ＜ΔＸsが成立している場合（＃６４Yes分岐）、トリミング選択フラグに特殊トリミング処理の実行を表す「特殊」が代入され（＃６６）、その注目注意領域が注意領域リストにおいて特殊トリミング対象としてマーキングされる。
　なお、１つの自車位置において、特殊トリミング対象となる注意領域が1つだけと限定すれば、トリミング選択フラグに「特殊」が代入された段階で、この判定処理を終了することができる。しかしながら、１つの自車位置において、特殊トリミング対象となる注意領域が複数決定されることも考慮するなら、注意領域リストにおいて特殊トリミング対象としてマーキングされる段階で、そのリミング選択フラグに「特殊」が代入された段階で間隔：Δｘを注意領域リストに書き込んでおく。そして、新しく。Δｘ＜ΔＸsが成立する注意領域が見つかった場合には、その間隔：Δｘが短い方を上書きして、特殊トリミング対象としてマーキングするようにするとよい。また、重要注意領域は、優先的に特殊トリミング対象としてマーキングするようにしてもよい。
　Δｘ＜ΔＸsが成立しない場合（＃６４No分岐）、さらに次の処理すべき注意領域が存在しないかどうかチェックする（＃６８）。次の処理すべき注意領域があれば（＃６８No分岐）、ステップ＃６０に戻って、次の注意領域を注目注意領域として同様な処理を行う。次の処理すべき注意領域がなければ（＃６８Yes分岐）、このルーチンを繰り返すためにステップ＃５０に戻る。
〔別実施の形態〕
　上述した実施の形態では、注意領域として検知された障害物の存在領域を含ませているが、本発明はそのような障害物検知の機能を有する車輌に限定されているわけではなく、障害物検知機能のない車輌においても、上述したような注意領域を予め駐車経路から推定することで、より優れた駐車支援画像をモニタ表示することができることが重要である。
　本発明は、駐車時における自車両周囲の状況を運転者に認識させるための俯瞰画像を表示することで運転者の運転操作を支援する駐車支援装置に利用することができる。
　１：カメラ
３１：駐車目標位置設定部
３３：注意領域決定部
３２：駐車経路生成部
３４：誘導制御部
３５：位置情報算定部
３６：障害物検出部
５０：入力画像処理モジュール
５１：撮影画像メモリ
５３：画像生成部
５７：表示用画像メモリ
６０：出力画像処理モジュール
６２：注意領域指定部
６３：トリミング条件情報生成部
６２：トリミング情報生成部
６３：画像トリミング部
６４：自車イメージ生成部
６５：報知イメージ生成部
６６：画像合成部
６７：フレームメモリ
 
 

Claims (10)

  1. 　設定された駐車目標位置への駐車経路を生成する駐車経路生成部と、
    　前記駐車経路に沿った駐車走行時に注意すべき注意領域を決定する注意領域決定部と、
    　自車周辺を撮影するカメラによって取得された撮影画像から視点変換を通じて俯瞰画像を生成する俯瞰画像生成部と、
    　前記俯瞰画像生成部によって生成された俯瞰画像における前記注意領域を含む俯瞰画像をモニタに表示する自車周辺の表示画像として入力し、当該入力した俯瞰画像における自車位置に自車イメージを合成して表示俯瞰画像を生成する画像合成部と、
    を備えた駐車支援装置。
  2. 　前記注意領域が複数存在する場合、高逼迫度の注意領域が前記表示俯瞰画像に含められる請求項１に記載の駐車支援装置。
  3. 　前記高逼迫度は前記自車と前記注意領域とが所定距離内である場合に設定される請求項２に記載の駐車支援装置。
  4. 　前記表示俯瞰画像が拡大画像となるように前記高逼迫度の注意領域と前記自車イメージとを含むことになる最小領域で前記俯瞰画像がトリミングされる請求項２または３に記載の駐車支援装置。
  5. 　前記俯瞰画像を前記モニタにおける俯瞰画像表示領域に表示するために前記俯瞰画像をトリミングする画像トリミング部と、
    　前記注意領域を前記表示俯瞰画像に含めるために前記自車イメージが前記表示俯瞰画像の中心からオフセットされるトリミング条件情報を生成して前記画像トリミング部に与えるトリミング条件情報生成部と、
    　がさらに備えられている請求項１に記載の駐車支援装置。
  6. 　前記トリミング条件情報生成部は、前記注意領域が複数存在する場合、前記注意領域の逼迫度を算定し、最高逼迫度の注意領域が前記表示俯瞰画像に含められるようにトリミング条件情報を生成する請求項５に記載の駐車支援装置。
  7. 　前記トリミング条件情報生成部は、前記逼迫度を前記自車と前記注意領域と間の距離に基づいて算定する請求項６に記載の駐車支援装置。
  8. 　前記トリミング条件情報生成部は、前記表示俯瞰画像が拡大画像となるように前記トリミング条件情報を生成する請求項６または７に記載の駐車支援装置。
  9. 　前記注意領域決定部は、前記駐車経路に沿った駐車走行時において自車の端部が駐車経路から大きく振れる領域を前記注意領域として決定する請求項１から８のいずれか一項に記載の駐車支援装置。
  10. 　前記注意領域決定部は、自車周辺の障害物の存在に関する障害物情報に基づいて、前記駐車経路における自車と前記障害物とが所定距離内に接近する接近領域を求め、当該接近領域を特別注意領域として追加的に決定する請求項１から９のいずれか一項に記載の駐車支援装置。
     
PCT/JP2011/070476 2010-09-28 2011-09-08 駐車支援装置 WO2012043184A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP11828745.7A EP2623376B1 (en) 2010-09-28 2011-09-08 Parking assistance device
US13/811,076 US20130120161A1 (en) 2010-09-28 2011-09-08 Parking assistance device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-216349 2010-09-28
JP2010216349A JP2012071635A (ja) 2010-09-28 2010-09-28 駐車支援装置

Publications (1)

Publication Number Publication Date
WO2012043184A1 true WO2012043184A1 (ja) 2012-04-05

Family

ID=45892657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/070476 WO2012043184A1 (ja) 2010-09-28 2011-09-08 駐車支援装置

Country Status (4)

Country Link
US (1) US20130120161A1 (ja)
EP (1) EP2623376B1 (ja)
JP (1) JP2012071635A (ja)
WO (1) WO2012043184A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379913B1 (en) 2011-08-26 2013-02-19 Skybox Imaging, Inc. Adaptive image acquisition and processing with image analysis feedback
US8873842B2 (en) 2011-08-26 2014-10-28 Skybox Imaging, Inc. Using human intelligence tasks for precise image analysis
US9105128B2 (en) 2011-08-26 2015-08-11 Skybox Imaging, Inc. Adaptive image acquisition and processing with image analysis feedback
CN109691088A (zh) * 2016-08-22 2019-04-26 索尼公司 图像处理设备、图像处理方法、以及程序

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US20150197281A1 (en) * 2011-04-19 2015-07-16 Ford Global Technologies, Llc Trailer backup assist system with lane marker detection
DE102011113916A1 (de) * 2011-09-21 2013-03-21 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation von Parkszenarien für ein Einparksystem eines Kraftfahrzeugs
JP6100221B2 (ja) * 2014-09-12 2017-03-22 アイシン精機株式会社 出庫支援装置および出庫支援方法
EP3001272B1 (en) * 2014-09-26 2017-04-12 Volvo Car Corporation Method of trajectory planning for yielding manoeuvres
KR101637716B1 (ko) * 2014-11-03 2016-07-07 현대자동차주식회사 차량의 장애물 위치 인식 장치 및 방법
US9751558B2 (en) 2015-03-25 2017-09-05 Ford Global Technologies, Llc Handwheel obstruction detection and inertia compensation
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
US9981656B2 (en) 2015-10-13 2018-05-29 Ford Global Technologies, Llc Vehicle parking assist system
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10328933B2 (en) 2015-10-29 2019-06-25 Ford Global Technologies, Llc Cognitive reverse speed limiting
US10906530B2 (en) * 2015-11-10 2021-02-02 Hyundai Motor Company Automatic parking system and automatic parking method
US10683035B2 (en) 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
JP6745456B2 (ja) * 2015-12-08 2020-08-26 パナソニックＩｐマネジメント株式会社 駐車支援装置、駐車支援方法及び駐車支援プログラム
US9895945B2 (en) 2015-12-08 2018-02-20 Ford Global Technologies, Llc Trailer backup assist system with hitch assist
JP6545108B2 (ja) * 2016-01-14 2019-07-17 アルパイン株式会社 駐車支援装置および駐車支援方法
KR102513745B1 (ko) * 2016-04-15 2023-03-24 주식회사 에이치엘클레무브 운전 지원 장치
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
JP6382896B2 (ja) * 2016-08-31 2018-08-29 本田技研工業株式会社 出庫支援装置
US9829883B1 (en) 2016-10-17 2017-11-28 Ford Global Technologies, Llc Trailer backup assist system having remote control and user sight management
US10403144B1 (en) * 2017-05-08 2019-09-03 Open Invention Network Llc Mobile device transport parking notification and movement tracking
US9892642B1 (en) 2017-05-08 2018-02-13 Open Invention Network Llc Mobile device transport parking notification and movement tracking
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
JP6917330B2 (ja) * 2018-03-28 2021-08-11 日立Astemo株式会社 駐車支援装置
JP7133336B2 (ja) * 2018-04-06 2022-09-08 日立Astemo株式会社 駐車支援装置
KR102521834B1 (ko) * 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
US10891866B2 (en) * 2018-11-13 2021-01-12 Hall Labs Llc Parking assist apparatus
US11107354B2 (en) * 2019-02-11 2021-08-31 Byton North America Corporation Systems and methods to recognize parking
DE102022100579A1 (de) 2022-01-12 2023-07-13 Zf Cv Systems Global Gmbh Fahrerunterstützungssystem, Verfahren zur Unterstützung eines Bedienungsvorganges einer Vorrichtung seitens einer Bedienperson, sowie Fahrzeug und elektronische Verarbeitungseinheit
WO2024013807A1 (ja) * 2022-07-11 2024-01-18 日産自動車株式会社 駐車支援方法及び駐車支援装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004203068A (ja) * 2002-12-24 2004-07-22 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2005216255A (ja) * 2004-02-02 2005-08-11 National Institute Of Advanced Industrial & Technology 運転支援システム
JP2007127459A (ja) * 2005-11-01 2007-05-24 Denso It Laboratory Inc 方向呈示装置
JP2008030705A (ja) * 2006-07-31 2008-02-14 Aisin Aw Co Ltd 車両周辺画像表示システム
JP2009111946A (ja) * 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2010184588A (ja) * 2009-02-12 2010-08-26 Clarion Co Ltd 車両周辺監視装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3164439B2 (ja) * 1992-10-21 2001-05-08 マツダ株式会社 車両用障害物検出装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP2004114977A (ja) * 2002-09-30 2004-04-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2009220592A (ja) * 2008-03-13 2009-10-01 Denso Corp 車載用縦列駐車支援装置および車載用縦列駐車支援装置のプログラム
JP4962739B2 (ja) * 2008-07-10 2012-06-27 トヨタ自動車株式会社 駐車支援装置
JP5136256B2 (ja) * 2008-07-18 2013-02-06 日産自動車株式会社 駐車支援装置および画像表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004203068A (ja) * 2002-12-24 2004-07-22 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2005216255A (ja) * 2004-02-02 2005-08-11 National Institute Of Advanced Industrial & Technology 運転支援システム
JP2007127459A (ja) * 2005-11-01 2007-05-24 Denso It Laboratory Inc 方向呈示装置
JP2008030705A (ja) * 2006-07-31 2008-02-14 Aisin Aw Co Ltd 車両周辺画像表示システム
JP2009111946A (ja) * 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2010184588A (ja) * 2009-02-12 2010-08-26 Clarion Co Ltd 車両周辺監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2623376A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379913B1 (en) 2011-08-26 2013-02-19 Skybox Imaging, Inc. Adaptive image acquisition and processing with image analysis feedback
US8873842B2 (en) 2011-08-26 2014-10-28 Skybox Imaging, Inc. Using human intelligence tasks for precise image analysis
US9105128B2 (en) 2011-08-26 2015-08-11 Skybox Imaging, Inc. Adaptive image acquisition and processing with image analysis feedback
CN109691088A (zh) * 2016-08-22 2019-04-26 索尼公司 图像处理设备、图像处理方法、以及程序
CN109691088B (zh) * 2016-08-22 2022-04-15 索尼公司 图像处理设备、图像处理方法、以及程序

Also Published As

Publication number Publication date
US20130120161A1 (en) 2013-05-16
EP2623376A1 (en) 2013-08-07
JP2012071635A (ja) 2012-04-12
EP2623376A4 (en) 2014-07-30
EP2623376B1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
WO2012043184A1 (ja) 駐車支援装置
JP2012071635A5 (ja)
JP5454934B2 (ja) 運転支援装置
JP6806156B2 (ja) 周辺監視装置
JP4687160B2 (ja) 周辺監視装置
US9467679B2 (en) Vehicle periphery monitoring device
US8872919B2 (en) Vehicle surrounding monitoring device
JP5618138B2 (ja) 駐車支援装置
US20140118551A1 (en) Vehicle surrounding-area monitoring apparatus
JP2019509534A (ja) 将来経路を推定するシステム及び方法
JP5516998B2 (ja) 画像生成装置
JP5870608B2 (ja) 画像生成装置
US20070147664A1 (en) Driving assist method and driving assist apparatus
JP5516988B2 (ja) 駐車支援装置
JP2012527681A (ja) 車両周辺映像を用いた車線離脱感知方法および装置
JP2007295043A (ja) 車両周囲監視装置
JP5708669B2 (ja) 車両用表示装置
JP2013005233A (ja) 車両周辺監視装置
JP2007124097A (ja) 車両周辺視認装置
JP2006054662A (ja) 運転支援装置
JP4848644B2 (ja) 障害物認識システム
JP5617396B2 (ja) 運転支援装置
JP2004056219A (ja) 車両周辺監視装置
JP2005202787A (ja) 車両用表示装置
JP5691339B2 (ja) 運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828745

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
REEP Request for entry into the european phase

Ref document number: 2011828745

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011828745

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13811076

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE