WO2018116686A1 - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
WO2018116686A1
WO2018116686A1 PCT/JP2017/040494 JP2017040494W WO2018116686A1 WO 2018116686 A1 WO2018116686 A1 WO 2018116686A1 JP 2017040494 W JP2017040494 W JP 2017040494W WO 2018116686 A1 WO2018116686 A1 WO 2018116686A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking
vehicle
cpu
positional relationship
image
Prior art date
Application number
PCT/JP2017/040494
Other languages
English (en)
French (fr)
Inventor
前田　優
充保 松浦
博彦 柳川
大塚　秀樹
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112017006366.3T priority Critical patent/DE112017006366T5/de
Publication of WO2018116686A1 publication Critical patent/WO2018116686A1/ja
Priority to US16/442,799 priority patent/US10885356B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • This disclosure relates to a parking assistance device.
  • the apparatus described in Japanese Patent Application Laid-Open No. 2012-1081 takes an image around the vehicle with a camera attached to the vehicle, detects a white line based on the taken image, and calculates the size of the parking frame from the detected white line. It is determined whether the parking frame is a parking frame that can be parked in parallel or a parking frame that can be parked in parallel.
  • a partition line such as a white line for defining a parking frame may not be detected well.
  • the white line becomes thin due to wear, etc., when a new white line is formed on the thinned old white line and both parking modes are different, when the rope is laid on the ground instead of the white line, In the first place, when a white line or the like is not provided. Or the parking aspect different from the parking aspect based on the partition line provided clearly beforehand may be set temporarily. In these cases, the device described in Japanese Patent Application Laid-Open No. 2012-1081 cannot determine the parking mode.
  • the parking support device is configured to support the parking of the vehicle in the parking space by being mounted on the vehicle.
  • This parking assistance device An imaging unit provided to acquire image information corresponding to an image around the vehicle; An image processing unit provided to recognize the feature shape in the image by processing the image information acquired by the imaging unit; An obstacle detection unit provided to acquire positional relationship information corresponding to a positional relationship between the vehicle and an obstacle existing around the parking space; Based on the feature shape recognized by the image processing unit and the positional relationship information acquired by the obstacle detection unit, the parking mode of the vehicle in the parking space includes parallel parking and parallel parking.
  • a parking mode selection unit provided to select from among a plurality of mode candidates; It has.
  • a vehicle 10 is a so-called four-wheeled vehicle and includes a vehicle body 11 having a substantially rectangular shape in plan view.
  • a direction orthogonal to the vehicle center line L and defining the vehicle width of the vehicle 10 is referred to as a “vehicle width direction”.
  • the vehicle width direction is the left-right direction in FIG.
  • one of the directions parallel to the vehicle center line L ie, the upward direction in FIG. 1 is referred to as “front direction”, and the other (ie, the downward direction in FIG. 1) is referred to as “rear direction”.
  • the front direction side of the vehicle 10 and the vehicle body 11 is referred to as “front side”, and the opposite side is referred to as “rear side”.
  • the right side in FIG. 1 of the vehicle 10 and the vehicle body 11 is simply referred to as “right side”, and the left side in FIG. 1 is simply referred to as “left side”.
  • a front bumper 13 is attached to the front surface portion 12 which is the front end portion of the vehicle body 11.
  • a rear bumper 15 is attached to a rear surface portion 14 which is a rear end portion of the vehicle body 11.
  • a door panel 17 is provided on the side surface 16 of the vehicle body 11. In the specific example shown in FIG. 1, a total of four door panels 17 are provided, two on each side.
  • a door mirror 18 is attached to the front door panel 17.
  • the parking assist device 20 is mounted on the vehicle 10.
  • the parking assistance device 20 is configured to assist the parking of the vehicle 10 in the parking space PS. See Fig. 2 for the parking space PS.
  • the parking assist device 20 includes a distance measuring sensor 21, an imaging unit 22, a vehicle speed sensor 23, a shift position sensor 24, a steering angle sensor 25, a control unit 26, and a display 27. Yes.
  • the detail of each part which comprises the parking assistance apparatus 20 is demonstrated.
  • the electrical connection relationship between each part which comprises the parking assistance apparatus 20 is abbreviate
  • the distance measuring sensor 21 transmits the exploration wave WS toward the outside of the vehicle 10 and includes a reflected wave of the exploration wave WS by the detected obstacle DO and has an intensity corresponding to the distance between the vehicle 10 and the detected obstacle DO. It is provided to receive the reception wave WR.
  • the distance measuring sensor 21 is a so-called ultrasonic sensor, and is configured to transmit a search wave WS that is an ultrasonic wave and to receive a received wave WR including the ultrasonic wave. ing.
  • the distance measuring sensor 21 is electrically connected to the control unit 26.
  • the distance measuring sensor 21 transmits a search wave WS under the control of the control unit 26 and generates a signal corresponding to the reception result of the received wave WR (hereinafter referred to as “reception information”) to the control unit 26. It is supposed to send.
  • a plurality of distance measuring sensors 21 are attached to the vehicle body 11. That is, the front bumper 13 is equipped with a first front sonar SF1, a second front sonar SF2, a third front sonar SF3, and a fourth front sonar SF4 as distance measuring sensors 21.
  • the rear bumper 15 is equipped with a first rear sonar SR1, a second rear sonar SR2, a third rear sonar SR3, and a fourth rear sonar SR4 as distance measuring sensors 21.
  • a first side sonar SS 1, a second side sonar SS 2, a third side sonar SS 3, and a fourth side sonar SS 4 are mounted on the side surface portion 16 of the vehicle body 11 as distance measuring sensors 21.
  • the first front sonar SF1 is arranged at the left front corner of the vehicle body 11.
  • the second front sonar SF ⁇ b> 2 is disposed at the right front corner of the vehicle body 11.
  • the first front sonar SF1 and the second front sonar SF2 are provided symmetrically with respect to the vehicle center line L.
  • the third front sonar SF3 is disposed between the first front sonar SF1 and the vehicle center line L.
  • the fourth front sonar SF4 is disposed between the second front sonar SF2 and the vehicle center line L.
  • the third front sonar SF3 and the fourth front sonar SF4 are provided symmetrically with respect to the vehicle center line L.
  • the first rear sonar SR1 is disposed at the left rear corner of the vehicle body 11.
  • the second rear sonar SR ⁇ b> 2 is disposed at the right rear corner of the vehicle body 11.
  • the first rear sonar SR1 and the second rear sonar SR2 are provided symmetrically with respect to the vehicle center line L.
  • the third rear sonar SR3 is disposed between the first rear sonar SR1 and the vehicle center line L.
  • the fourth rear sonar SR4 is disposed between the second rear sonar SR2 and the vehicle center line L.
  • the third rear sonar SR3 and the fourth rear sonar SR4 are provided symmetrically with respect to the vehicle center line L.
  • the first side sonar SS1 is disposed between the left door mirror 18 and the first front sonar SF1 in the front-rear direction of the vehicle 10.
  • the second side sonar SS2 is arranged between the right door mirror 18 and the second front sonar SF2 in the front-rear direction of the vehicle 10.
  • the first side sonar SS1 and the second side sonar SS2 are provided symmetrically across the vehicle center line L.
  • the third side sonar SS3 is disposed between the left front door panel 17 and the first rear sonar SR1 in the longitudinal direction of the vehicle 10.
  • the fourth side sonar SS4 is disposed between the right front door panel 17 and the second rear sonar SR2 in the front-rear direction of the vehicle 10.
  • the third side sonar SS3 and the fourth side sonar SS4 are provided symmetrically with respect to the vehicle center line L.
  • the imaging unit 22 is a camera including an image sensor such as a charge coupled device, and is provided so as to acquire image information corresponding to an image around the vehicle 10.
  • the charge coupled device is also called a CCD.
  • the imaging unit 22 is electrically connected to the control unit 26. That is, the imaging unit 22 acquires image information under the control of the control unit 26 and transmits the acquired image information to the control unit 26.
  • the vehicle 10 is equipped with a plurality of imaging units 22, that is, a front camera CF, a rear camera CB, a left camera CL, and a right camera CR.
  • the front camera CF is attached to the front surface portion 12 of the vehicle body 11 so as to acquire image information corresponding to an image in front of the vehicle 10.
  • the rear camera CB is attached to the rear surface portion 14 of the vehicle body 11 so as to acquire image information corresponding to an image behind the vehicle 10.
  • the left camera CL is attached to the left door mirror 18 so as to acquire image information corresponding to an image on the left side of the vehicle 10.
  • the right camera CR is attached to the right door mirror 18 so as to acquire image information corresponding to an image on the right side of the vehicle 10.
  • the vehicle speed sensor 23, the shift position sensor 24, and the steering angle sensor 25 are electrically connected to the control unit 26.
  • the vehicle speed sensor 23 is provided to generate a signal corresponding to the traveling speed of the vehicle 10 and transmit the signal to the control unit 26.
  • the traveling speed of the vehicle 10 is simply referred to as “vehicle speed”.
  • the shift position sensor 24 is provided so as to generate a signal corresponding to the shift position and transmit it to the control unit 26.
  • the steering angle sensor 25 is provided so as to generate a signal corresponding to the steering angle and transmit it to the control unit 26.
  • the control unit 26 is provided inside the vehicle body 11.
  • the control unit 26 is a so-called in-vehicle microcomputer provided with a CPU, ROM, RAM, nonvolatile RAM (for example, flash ROM), etc. (not shown), and the CPU executes a program (that is, each routine described later) from the ROM or nonvolatile RAM. ) Is read out and executed, various control operations can be realized. That is, the control unit 26 is configured to perform a parking assist operation based on signals and information received from the distance measuring sensor 21, the imaging unit 22, the vehicle speed sensor 23, the shift position sensor 24, and the steering angle sensor 25. ing. In addition, various data (for example, initial values, look-up tables, maps, etc.) used when executing the program are stored in advance in the ROM or the nonvolatile RAM.
  • FIG. 2 shows an example of a situation in which the vehicle 10 is parked in parallel in the parking space PS, specifically, so-called “garage parking”.
  • the “garage parking” is an aspect of parallel parking, in which a plurality of parallel parking spaces PS or a plurality of parallel parking vehicles PV are arranged in the front-rear direction of each parking space PS or each parking vehicle PV ( That is, it refers to a parking mode in which the longitudinal direction is substantially orthogonal.
  • FIG. 3 shows an example of a situation in which the vehicle 10 is parked in parallel in the parking space PS.
  • the details of the control unit 26 will be described below with reference to FIGS. In FIGS. 2 and 3, the distance measurement sensor 21 and the imaging unit 22 are simplified for convenience of illustration.
  • the control unit 26 as an image processing unit recognizes feature points and feature shapes in the image by processing the image information acquired by the imaging unit 22.
  • the control unit 26 is configured to be able to recognize the three-dimensional shape of each object in the image by SFM processing.
  • SFM is an abbreviation for Structure from Motion.
  • the control unit 26 as an obstacle detection unit is configured to obtain positional relationship information corresponding to the positional relationship between an object such as an obstacle existing around the parking space PS and the vehicle 10 based on information received from the distance measuring sensor 21. To get.
  • a plurality of distance measuring sensors 21 are provided. Therefore, the control unit 26, in the case of an obstacle located at the left front of the plurality of distance measuring sensors 21, for example, the vehicle 10 based on the reception information in the first front sonar SF1 and the second front sonar SF2, As the positional relationship information, the information corresponding to the distance between the object and the vehicle 10 and the azimuth angle of the object from the vehicle 10 can be acquired.
  • the control unit 26 is configured to be able to acquire the relative position of the object with the vehicle 10.
  • the control unit 26 as a parking mode selection unit parks the vehicle 10 in the parking space PS. Are selected from a plurality of mode candidates including parallel parking and parallel parking. Specifically, the control unit 26 determines the likelihood of a mode candidate based on the positional relationship information of the detected obstacle DO and the vehicle stop CS including the acquired wall-shaped three-dimensional object WA, the white line WL as a feature shape, a parked vehicle By integrating the likelihood of the mode candidate based on the recognition result of at least one of the PV headlight HL, the license plate NP of the parked vehicle PV, and the tire TY of the parked vehicle PV, the parking mode It is comprised so that it may select from among aspect candidates.
  • the display 27 is disposed in the passenger compartment of the vehicle 10.
  • the display 27 is electrically connected to the control unit 26 so as to perform display accompanying the parking assist operation under the control of the control unit 26.
  • FIGS. 2 and 3 show the outline of the operation in the parking assistance apparatus 20 with reference to FIGS. 2 and 3.
  • (i) shows the case where the parking lot PL is provided with a white line WL and a car stop CS.
  • (ii) shows the case where the detection obstacle DO containing the wall-shaped three-dimensional object WA exists around the parking space PS in the parking lot PL.
  • (iii) shows a case where a feature shape such as a license plate NP can be recognized in the parked vehicle PV around the parking space PS.
  • the control unit 26 can select the parking mode of the vehicle 10 by processing the image information acquired by the imaging unit 22 and recognizing the white line WL.
  • a car stop CS may be provided instead of the white line WL or together with the white line WL.
  • the control unit 26 can select the parking mode of the vehicle 10 based on the positional relationship information of the car stop CS acquired using the distance measuring sensor 21. Specifically, when the positions of the plurality of car stops CS or the outer shape forming the longitudinal direction of the car stops CS are arranged in a substantially straight line along the traveling direction of the vehicle 10, the selection result of the parking mode of the vehicle 10 Can be garage parking. See (i) in FIG. On the other hand, when the outer shape forming the longitudinal direction of the vehicle stop CS is substantially orthogonal to the traveling direction of the vehicle 10, the parking mode selection result of the vehicle 10 can be parallel parking. See (i) in FIG.
  • a wall-shaped three-dimensional object WA exists between a plurality of adjacent parking spaces PS.
  • the wall-shaped three-dimensional object WA is, for example, a wall or a pillar in an indoor parking lot.
  • the control unit 26 can select the parking mode of the vehicle 10 based on the positional relationship information of the detected obstacle DO acquired using the distance measuring sensor 21.
  • the positional relationship information of the detected obstacle DO may include positional relationship information of the wall-shaped three-dimensional object WA and / or the parked vehicle PV adjacent thereto. Specifically, it is possible to select the parking mode of the vehicle 10 based on the positional relationship between the plurality of detected obstacles DO.
  • the control unit 26 can select the parking mode of the vehicle 10 by processing the image information acquired by the imaging unit 22 and recognizing the feature shape of the parked vehicle PV.
  • the parking mode selection result of the vehicle 10 can be garage parking.
  • the parking mode selection result of the vehicle 10 can be parallel parking. Refer to (iii) in FIG.
  • the selection result of the parking mode of the vehicle 10 can be garage parking.
  • the pair of tires TY are arranged so as to be substantially orthogonal to the traveling direction of the vehicle 10
  • the parking mode selection result of the vehicle 10 can be parallel parking. Refer to (iii) in FIG.
  • the selection result of the parking mode of the vehicle 10 can be garage parking.
  • the selection of the parking mode of the vehicle 10 is selected. The result can be parallel parking. Refer to (iii) in FIG.
  • the parking mode of the vehicle 10 can be selected based on the recognition results of the white line WL, the vehicle stop CS, the detected obstacle DO, the headlight HL, the tire TY, and the license plate NP.
  • the recognition results of these feature shapes do not necessarily correspond to the same parking mode. That is, for example, it may be difficult to recognize some feature shapes, or there may be a contradiction between the parking mode based on the recognition result of some feature shapes and the parking mode based on the recognition result of other feature shapes. obtain.
  • the white line WL for defining the parking space PS may become thin due to wear or the like.
  • a new white line WL for parking in a garage may be formed on an old white line WL for parallel parking.
  • normal parking by the white line WL may occur due to some circumstances, such as when temporary parking of a number exceeding the maximum capacity is expected due to a temporary event.
  • a parking mode different from the mode may be set. In these cases, it is difficult to select an appropriate mode candidate depending on the recognition result of the white line WL.
  • an elastic material such as a sponge may be attached to the wall-shaped three-dimensional object WA.
  • the parked vehicle PV parked close to the wall-shaped three-dimensional object WA may be covered with an object (for example, snow, a cover, etc.) having a low exploration wave reflectance. In these cases, the detection obstacle DO by the distance measuring sensor 21 may not be detected well.
  • the shape and position of the license plate NP in the parked vehicle PV are almost constant according to laws and regulations relating to automobiles.
  • the position of the tire TY may vary depending on the size of the parked vehicle PV, the position of the parked vehicle PV in the parking space PS, the steering state during parking, and the like.
  • the headlight HL has various shapes and positions depending on the vehicle type, and may be stored inside the vehicle body or shielded by vehicle body parts or the like during parking. For this reason, it is possible for the time being that the selection of the parking mode based on the recognition result of the license plate NP is most likely among various feature shapes in the parked vehicle PV.
  • the license plate NP is usually provided at the center in the vehicle width direction.
  • the front number plate NP is provided at a position slightly shifted from the center in the vehicle width direction to the right side, and to the left side when the light vehicle PV2 is viewed from the front.
  • the parked vehicle PV and the corresponding license plate NP are recognized on the side of the vehicle 10, and the license plate NP is slightly shifted to the left from the center in the vehicle width direction of the parked vehicle PV in the image.
  • the parked vehicle PV is a light vehicle PV2 parked in the garage in the back without the recognition of the headlight HL.
  • the position of the license plate NP on the front side in the parked vehicle PV may be special. Furthermore, depending on the lighting conditions of the parking lot PL, it may be difficult to recognize various feature shapes in the parked vehicle PV in the first place. In these cases, depending on the recognition result of various feature shapes in the parked vehicle PV, it is difficult to select an appropriate mode candidate.
  • the control unit 26 uses the likelihood of the parking mode based on the recognition result of the vehicle stop CS and the detected obstacle DO using the distance measuring sensor 21 and the imaging unit 22.
  • the likelihood of the parking mode based on other recognition results is integrated. Further, the control unit 26 selects the most probable parking mode candidate based on the integrated likelihood.
  • the control unit 26 After the selection of the parking mode is completed, the control unit 26 performs a parking support operation to the parking space PS of the recognized parking target, for example, a guidance operation by the display 27, an automatic steering operation, or the like. At this time, the control unit 26 can perform a favorable parking assist operation based on the recognition result using the distance measuring sensor 21 and the imaging unit 22. Specifically, for example, based on the recognition result of the license plate NP, the control unit 26 can cause the display 27 to display a warning that the recognized parking space PS of the parking target is dedicated to a light vehicle. It is. Alternatively, for example, the control unit 26 can estimate an area where the vehicle 10 can travel in the parking space PS based on the recognition result of the tire TY.
  • the CPU activates the surrounding structure recognition routine shown in FIG. 4 when a predetermined activation condition is satisfied.
  • the activation condition of the surrounding structure recognition routine includes, for example, that a predetermined time has elapsed after the system activation switch of the vehicle 10 is turned “ON” and that a predetermined activation timing of this routine has arrived.
  • the CPU executes the processes of S41 to S49 in order, and then ends this routine once.
  • the CPU acquires received information from the distance measuring sensor 21. Based on this received information, the CPU extracts a distance point in S42.
  • the distance point is a point in a predetermined spatial coordinate corresponding to the current reception information.
  • Each distance point has corresponding positional relationship information.
  • the positional relationship information is acquired based on information received by the plurality of distance measuring sensors 21. Therefore, in this specific example, the distance point can be a point in the three-dimensional map corresponding to the space around the vehicle 10.
  • the CPU recognizes the outer shape of the object existing around the vehicle 10 by connecting the distance points. Further, the CPU stores the recognition result in S43 in the nonvolatile RAM. See S44.
  • the CPU acquires image information from the imaging unit 22. Based on this image information, the CPU extracts feature points in S46. As described above, in the present embodiment, a plurality of imaging units 22 are provided. The control unit 26 can recognize the three-dimensional shape of each object in the image by the SFM process. Therefore, the feature point can be a point in the above three-dimensional map. Based on the feature points extracted in this way, the CPU recognizes the feature shape in S47. Subsequently, the CPU stores the recognition result in S47 in the nonvolatile RAM. See S48.
  • the CPU performs object recognition and feature shape recognition using the distance measuring sensor 21 in S41 to S44.
  • the CPU performs object recognition and feature shape recognition using the imaging unit 22.
  • the CPU integrates the recognition result using the distance measuring sensor 21 and the recognition result using the imaging unit 22 into three-dimensional objects and feature shapes in the space around the vehicle 10. Recognize. This three-dimensional recognition is called “structuring”.
  • the recognition result of the structured object and feature shape is stored in the nonvolatile RAM. Note that, as described above, integrating a plurality of types of recognition results may be referred to as “fusion”.
  • the CPU activates a surrounding structure recognition routine at predetermined time intervals while the vehicle 10 is traveling. Thereby, the three-dimensional information of the structured feature shape is stored in the nonvolatile RAM in time series.
  • the CPU activates the parking mode selection routine shown in FIGS. 5A to 5C when a predetermined activation condition is satisfied.
  • the activation condition of the parking mode selection routine includes, for example, that the storage amount of the recognition result in the non-volatile RAM has reached a predetermined amount, and the vehicle speed has reached less than the predetermined speed.
  • the CPU initializes the parallel parking likelihood LPP and the parallel parking likelihood LDP. Specifically, in S500, the CPU sets parallel parking likelihood LPP and parallel parking likelihood LDP to initial values LPP0 and LDP0, respectively. In this specific example, the initial values LPP0 and LDP0 are both 0.5.
  • the CPU determines whether or not the license plate NP is recognized, that is, whether or not the recognition result of the license plate NP is stored in the nonvolatile RAM.
  • the CPU advances the process to S512, and executes the process of S513 or S514 according to the determination result in S512.
  • the CPU skips the processing of S512 to S514.
  • the CPU sets the parallel parking likelihood LPP (NP) and the parallel parking likelihood LDP (NP) based on the recognition result of the license plate NP based on the lookup table or the map.
  • the lookup table or map used in S513 and S514 defines a correspondence relationship between at least one parameter corresponding to the recognition result of the license plate NP and a value corresponding to the parameter.
  • the parameters include, for example, the number of license plates NP recognized, the angle between the longitudinal direction of the license plates NP and the traveling direction of the vehicle 10, the arrangement direction of the plurality of license plates NP, the degree of distortion from the rectangle of each license plate NP, Etc.
  • the value corresponding to the parameter is a number greater than 0 and less than or equal to 1.
  • LPP (NP) and LDP (NP) are set so that LPP (NP)> LDP (NP).
  • LPP (NP) and LDP (NP) are set so that LPP (NP) ⁇ LDP (NP).
  • the CPU sets the parallel parking likelihood LPP (TY) and the parallel parking likelihood LDP (TY) based on the recognition result of the tire TY based on the lookup table or the map.
  • the lookup table or map used in S523 and S524 defines a correspondence relationship between at least one parameter corresponding to the tire TY recognition result and a value corresponding to the parameter.
  • the parameters include, for example, the number of recognized tires TY, the angle between the arrangement direction of the plurality of tires TY and the traveling direction of the vehicle 10, the oblateness in the elliptical shape that is the recognition result of each tire TY, and the recognition result of each tire TY.
  • the value corresponding to the parameter is a number greater than 0 and less than or equal to 1.
  • LPP (TY) and LDP (TY) are set so that LPP (TY)> LDP (TY).
  • LPP (TY) and LDP (TY) are set so that LPP (TY) ⁇ LDP (TY).
  • the CPU sets the parallel parking likelihood LPP (HL) and the parallel parking likelihood LDP (HL) based on the recognition result of the headlight HL based on the lookup table or the map.
  • the look-up table or map used in S533 and S534 defines a correspondence relationship between at least one parameter corresponding to the recognition result of the headlight HL and a value corresponding to the parameter.
  • the parameters are, for example, the number of headlights HL recognized, the angle formed by the arrangement direction of the plurality of headlights HL and the traveling direction of the vehicle 10, and the like.
  • the value corresponding to the parameter is a number greater than 0 and less than or equal to 1.
  • LPP (HL) and LDP (HL) are set so that LPP (HL)> LDP (HL).
  • LPP (HL) and LDP (HL) are set so that LPP (HL) ⁇ LDP (HL).
  • S531 NO
  • S533 NO
  • the CPU executes the processing of S541.
  • the CPU determines whether or not the vehicle stop CS is recognized.
  • the CPU advances the process to S542, and executes the process of S543 or S544 according to the determination result in S542.
  • the CPU skips the processing of S542 to S544.
  • the CPU sets the parallel parking likelihood LPP (CS) and the parallel parking likelihood LDP (CS) based on the recognition result of the car stop CS based on the lookup table or the map.
  • the lookup table or map used in S543 and S544 defines a correspondence relationship between at least one parameter corresponding to the recognition result of the car stop CS and a value corresponding to the parameter.
  • the parameters include, for example, the number of recognitions of the car stops CS, the angle between the arrangement direction of the plurality of car stops CS and the traveling direction of the vehicle 10, the distance from each vehicle stop CS to the vehicle 10, and the like.
  • the value corresponding to the parameter is a number greater than 0 and less than or equal to 1.
  • LPP (CS) and LDP (CS) are set so that LPP (CS)> LDP (CS).
  • LPP (CS) and LDP (CS) are set so that LPP (CS) ⁇ LDP (CS).
  • S541 NO, or after the processing of S543 or S544, the CPU executes the processing of S551.
  • the CPU determines whether a detected obstacle DO, that is, a three-dimensional obstacle other than the car stop CS is recognized.
  • the CPU advances the process to S552, and executes the process of S553 or S554 depending on the determination result in S552.
  • the CPU skips the processes of S552 to S554.
  • the CPU sets the parallel parking likelihood LPP (DO) and the parallel parking likelihood LDP (DO) based on the recognition result of the detected obstacle DO based on the lookup table or the map.
  • the lookup table or map used in S553 and S554 defines a correspondence relationship between at least one parameter corresponding to the recognition result of the detected obstacle DO and a value corresponding to the parameter.
  • the parameters are, for example, the size and shape of the space around the detected obstacle DO, the distance of the detected obstacle DO from the vehicle 10, and the like.
  • the value corresponding to the parameter is a number greater than 0 and less than or equal to 1.
  • LPP (DO) and LDP (DO) are set so that LPP (DO)> LDP (DO).
  • LPP (DO) and LDP (DO) are set so that LPP (DO) ⁇ LDP (DO).
  • S551 NO, or after the processing of S553 or S554, the CPU executes the processing of S561.
  • the CPU determines whether or not the white line WL is recognized.
  • the CPU advances the process to S562 and executes the process of S563 or S564 according to the determination result in S562.
  • the CPU skips the processing of S562 to S564.
  • the CPU sets the parallel parking likelihood LPP (WL) and the parallel parking likelihood LDP (WL) based on the recognition result of the white line WL based on the lookup table or the map.
  • the lookup table or map used in S563 and S654 defines a correspondence relationship between at least one parameter corresponding to the recognition result of the white line WL and a value corresponding to the parameter.
  • the parameters are, for example, the number of white lines WL, contrast, direction, length, and the like.
  • the value corresponding to the parameter is a number greater than 0 and less than or equal to 1.
  • LPP (WL) and LDP (WL) are set so that LPP (WL)> LDP (WL).
  • LPP (WL) and LDP (WL) are set so that LPP (WL) ⁇ LDP (WL).
  • S570 CPU calculates final parallel parking likelihood LPP based on initial value LPP0 of parallel parking likelihood LPP, parallel parking likelihood LPP (NP) based on each recognition result, and the like. Further, the CPU calculates a final parallel parking likelihood LDP based on the initial value LDP0 of the parallel parking likelihood LDP, the parallel parking likelihood LDP (NP) based on each recognition result, and the like.
  • the final parallel parking likelihood LPP is calculated as follows.
  • the final parallel parking likelihood LDP is also calculated in the same manner as described above.
  • the CPU compares the parallel parking likelihood LPP and the parallel parking likelihood LDP.
  • the CPU sets the current parking mode selection result as parallel parking (S580).
  • the CPU sets the current parking mode selection result as parallel parking (ie, garage parking). See S585.
  • the vehicle 10 is not limited to a four-wheeled vehicle.
  • the vehicle 10 may be a three-wheeled vehicle or a six-wheeled or eight-wheeled vehicle such as a cargo truck.
  • the type of the vehicle 10 may be an automobile including only an internal combustion engine, an electric vehicle or a fuel cell vehicle not including an internal combustion engine, or a hybrid vehicle.
  • the number of door panels 17 is not particularly limited.
  • the arrangement and the number of the distance measuring sensors 21 are not limited to the above specific example. That is, for example, when the third front sonar SF3 is disposed at the center position in the vehicle width direction, the fourth front sonar SF4 is omitted. Similarly, when the third rear sonar SR3 is arranged at the center position in the vehicle width direction, the fourth rear sonar SR4 is omitted. The third side sonar SS3 and the fourth side sonar SS4 may be omitted.
  • the ranging sensor 21 is not limited to an ultrasonic sensor. That is, for example, the distance measuring sensor 21 may be a laser radar sensor or a millimeter wave radar sensor.
  • the arrangement and number of the imaging units 22 are not limited to the above example. That is, for example, the left camera CL and the right camera CR may be arranged at positions different from the door mirror 18. Alternatively, the left camera CL and the right camera CR can be omitted.
  • the parking mode selection operation can be performed only by the front camera CF, or by only the left camera CL and the right camera CR.
  • control unit 26 is configured to be activated by the CPU reading a program from the ROM or the like.
  • the present disclosure is not limited to such a configuration. That is, for example, the control unit 26 may be a digital circuit configured to be able to operate as described above, for example, an ASIC such as a gate array.
  • ASIC is an abbreviation of APPLICATION SPECIFIC INTEGRATED CIRCUIT.
  • the storage location of the recognition result may be a storage medium (for example, RAM and / or magnetic storage medium) other than the nonvolatile RAM.
  • the place where the parking space PS is provided is not limited to the parking lot PL. That is, for example, the parking space PS can be provided in a parking available zone on a road, a temporary parking zone set in a park, or the like.
  • the car stop CS may be recognized as a feature shape in the image based on the image information. At least one of the recognition of the white line WL, the vehicle stop CS, the detected obstacle DO, the headlight HL, the tire TY, and the license plate NP may be omitted. Recognition of other features different from the white line WL, the car stop CS, the detected obstacle DO, the headlight HL, the tire TY, and the license plate NP may also be used.
  • parallel parking there are two types of parking modes: parallel parking and parallel parking.
  • parallel parking can be further subdivided into “garage parking” as shown in FIG. 2 and “oblique parking” as shown in FIG.
  • (I) in FIG. 6 shows the case where the white line WL and the car stop CS are provided in the parking space PS in the parking lot PL for oblique parking.
  • (ii) shows the case where the detection obstruction DO including the wall-shaped three-dimensional object WA exists around the parking space PS in the parking lot PL for oblique parking.
  • (iii) shows a case where a feature shape such as a license plate NP can be recognized by the parked vehicle PV around the parking space PS in the oblique parking lot PL.
  • the processing in this modification can be performed satisfactorily, for example, by partially modifying the routines of FIGS. 5A to 5C.
  • initial values LPP0 and LDP0 of parallel parking likelihood LPP and parallel parking likelihood LDP are set to 0.33, respectively.
  • S512 NO
  • the CPU executes a determination process of “whether or not parking is in the garage”. In the case of garage parking, the CPU advances the process to S514, and in the case of diagonal parking, the CPU performs S514. Skip the process. The same applies to S522, S532, S542, S552, and S562.
  • the CPU determines whether either LPP or LDP is greater than 0.33 instead of the processing of S575.
  • LPP> 0.33 the CPU sets the current parking mode selection result as parallel parking.
  • LDP> 0.33 the CPU determines that the current parking mode selection result is garage parking.
  • both LPP and LDP are 0.33 or less the CPU sets the current parking mode selection result to diagonal parking.
  • the final parallel parking likelihood LPP and parallel parking likelihood LDP calculation method that is, an integration method such as parallel parking likelihood LPP (NP) based on each recognition result is not limited to the above specific example.
  • modified examples are not limited to the above examples. A plurality of modifications may be combined with each other. Furthermore, all or a part of the above-described embodiment and all or a part of the modified examples may be combined with each other.

Abstract

駐車支援装置（２０）は、車両（１０）に搭載されることで、当該車両の駐車スペース（ＰＳ）への駐車を支援するように構成されている。この駐車支援装置は、車両の周囲の画像に対応する画像情報を取得する撮像部（２２）と、撮像部により取得された画像情報を処理することで画像中の特徴形状を認識する画像処理部と、駐車スペースの周囲に存在する障害物と車両との位置関係に対応する位置関係情報を取得する障害物検知部と、画像処理部により認識された特徴形状と障害物検知部により取得された位置関係情報とに基づいて、駐車スペースへの車両の駐車態様を、並列駐車及び縦列駐車を含む複数の態様候補のうちから選択する駐車態様選択部とを備えている。

Description

駐車支援装置 関連出願への相互参照
　本出願は、２０１６年１２月１９日に出願された日本特許出願番号２０１６－２４５７２８号に基づくもので、ここにその記載内容が参照により組み入れられる。
　本開示は、駐車支援装置に関する。
　特開２０１２－１０８１号公報に記載の装置は、車両に取り付けたカメラで車両の周囲の画像を撮像し、撮像した画像に基づいて白線を検出し、検出した白線により駐車枠のサイズを算出し、この駐車枠が並列駐車することができる駐車枠であるか又は縦列駐車することができる駐車枠であるかを判定する。
　駐車枠を規定するための、白線等の仕切線が、良好には検出できない場合がある。例えば、白線が摩耗等により薄くなった場合、薄くなった古い白線の上に新たな白線が形成されていて且つ両者の駐車態様が異なる場合、白線ではなくロープが地面に敷設してある場合、そもそも白線等が設けられていない場合、等である。あるいは、予め明確に設けられた仕切線に基づく駐車態様とは異なる駐車態様が、臨時に設定される場合があり得る。これらのような場合、特開２０１２－１０８１号公報に記載の装置においては、駐車態様の良好な判定ができない。
　本開示の１つの観点に係る駐車支援装置は、車両に搭載されることで、当該車両の駐車スペースへの駐車を支援するように構成されている。
　この駐車支援装置は、
　前記車両の周囲の画像に対応する画像情報を取得するように設けられた、撮像部と、
　前記撮像部により取得された前記画像情報を処理することで、前記画像中の特徴形状を認識するように設けられた、画像処理部と、
　前記駐車スペースの周囲に存在する障害物と前記車両との位置関係に対応する位置関係情報を取得するように設けられた、障害物検知部と、
　前記画像処理部により認識された前記特徴形状と、前記障害物検知部により取得された前記位置関係情報とに基づいて、前記駐車スペースへの前記車両の駐車態様を、並列駐車及び縦列駐車を含む複数の態様候補のうちから選択するように設けられた、駐車態様選択部と、
　を備えている。
　なお、請求の範囲欄における各手段に付された括弧付きの参照符号は、同手段と後述する実施形態に記載の具体的手段との対応関係の一例を示すものである。
実施形態に係る駐車支援装置を搭載した車両の概略構成図である。 並列駐車が選択される状況の例を示す概略図である。 縦列駐車が選択される状況の例を示す概略図である。 図１に示された駐車支援装置の一動作例を示すフローチャートである。 図１に示された駐車支援装置の一動作例を示すフローチャートである。 図１に示された駐車支援装置の一動作例を示すフローチャートである。 図１に示された駐車支援装置の一動作例を示すフローチャートである。 斜め並列駐車が選択される状況の例を示す概略図である。
　以下、実施形態を、図面に基づいて説明する。なお、実施形態に対して適用可能な各種の変更については、変形例として、一連の実施形態の説明の後に、まとめて説明する。
　（構成）
　図１を参照すると、車両１０は、いわゆる四輪自動車であって、平面視にて略矩形状の車体１１を備えている。以下、車両中心線Ｌと直交し、車両１０の車幅を規定する方向を、「車幅方向」と称する。車幅方向は、図１における左右方向となる。また、車両中心線Ｌと平行な方向における一方（即ち図１における上方向）を「前方向」と称し、他方（即ち図１における下方向）を「後方向」と称する。車両１０及び車体１１における前方向側を「前側」と称し、反対側を「後側」と称する。また、車両１０及び車体１１の、図１における右側を単に「右側」と称し、図１における左側を単に「左側」と称する。
　車体１１における前側の端部である前面部１２には、フロントバンパー１３が装着されている。車体１１における後側の端部である後面部１４には、リアバンパー１５が装着されている。車体１１における側面部１６には、ドアパネル１７が設けられている。図１に示す具体例においては、左右にそれぞれ２枚ずつ、合計４枚のドアパネル１７が設けられている。前側のドアパネル１７には、ドアミラー１８が装着されている。
　車両１０には、駐車支援装置２０が搭載されている。駐車支援装置２０は、車両１０の駐車スペースＰＳへの駐車を支援するように構成されている。駐車スペースＰＳについては図２等参照。具体的には、駐車支援装置２０は、測距センサ２１と、撮像部２２と、車速センサ２３と、シフトポジションセンサ２４と、舵角センサ２５と、制御部２６と、ディスプレイ２７とを備えている。以下、駐車支援装置２０を構成する各部の詳細について説明する。なお、図示の簡略化のため、駐車支援装置２０を構成する各部の間の電気接続関係は、図１においては省略されている。
　測距センサ２１は、探査波ＷＳを車両１０の外側に向けて発信するとともに、検知障害物ＤＯによる探査波ＷＳの反射波を含み車両１０と検知障害物ＤＯとの距離に応じた強度を有する受信波ＷＲを受信するように設けられている。具体的には、本実施形態においては、測距センサ２１は、いわゆる超音波センサであって、超音波である探査波ＷＳを発信するとともに、超音波を含む受信波ＷＲを受信可能に構成されている。測距センサ２１は、制御部２６に電気接続されている。即ち、測距センサ２１は、制御部２６の制御下で探査波ＷＳを発信するとともに、受信波ＷＲの受信結果に対応する信号（以下「受信情報」と称する）を発生して制御部２６に送信するようになっている。
　本実施形態においては、複数の測距センサ２１が、車体１１に装着されている。即ち、フロントバンパー１３には、測距センサ２１としての、第一フロントソナーＳＦ１、第二フロントソナーＳＦ２、第三フロントソナーＳＦ３、及び第四フロントソナーＳＦ４が装着されている。同様に、リアバンパー１５には、測距センサ２１としての、第一リアソナーＳＲ１、第二リアソナーＳＲ２、第三リアソナーＳＲ３、及び第四リアソナーＳＲ４が装着されている。また、車体１１の側面部１６には、測距センサ２１としての、第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、及び第四サイドソナーＳＳ４が装着されている。
　第一フロントソナーＳＦ１は、車体１１の左前角部に配置されている。第二フロントソナーＳＦ２は、車体１１の右前角部に配置されている。第一フロントソナーＳＦ１と第二フロントソナーＳＦ２とは、車両中心線Ｌを挟んで対称に設けられている。第三フロントソナーＳＦ３は、第一フロントソナーＳＦ１と車両中心線Ｌとの間に配置されている。第四フロントソナーＳＦ４は、第二フロントソナーＳＦ２と車両中心線Ｌとの間に配置されている。第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、車両中心線Ｌを挟んで対称に設けられている。
　第一リアソナーＳＲ１は、車体１１の左後角部に配置されている。第二リアソナーＳＲ２は、車体１１の右後角部に配置されている。第一リアソナーＳＲ１と第二リアソナーＳＲ２とは、車両中心線Ｌを挟んで対称に設けられている。第三リアソナーＳＲ３は、第一リアソナーＳＲ１と車両中心線Ｌとの間に配置されている。第四リアソナーＳＲ４は、第二リアソナーＳＲ２と車両中心線Ｌとの間に配置されている。第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、車両中心線Ｌを挟んで対称に設けられている。
　第一サイドソナーＳＳ１は、車両１０の前後方向について、左側のドアミラー１８と第一フロントソナーＳＦ１との間に配置されている。第二サイドソナーＳＳ２は、車両１０の前後方向について、右側のドアミラー１８と第二フロントソナーＳＦ２との間に配置されている。第一サイドソナーＳＳ１と第二サイドソナーＳＳ２とは、車両中心線Ｌを挟んで対称に設けられている。第三サイドソナーＳＳ３は、車両１０の前後方向について、左前側のドアパネル１７と第一リアソナーＳＲ１との間に配置されている。第四サイドソナーＳＳ４は、車両１０の前後方向について、右前側のドアパネル１７と第二リアソナーＳＲ２との間に配置されている。第三サイドソナーＳＳ３と第四サイドソナーＳＳ４とは、車両中心線Ｌを挟んで対称に設けられている。
　本実施形態においては、撮像部２２は、電荷結合素子等のイメージセンサを備えたカメラであって、車両１０の周囲の画像に対応する画像情報を取得するように設けられている。電荷結合素子はＣＣＤとも称される。撮像部２２は、制御部２６に電気接続されている。即ち、撮像部２２は、制御部２６の制御下で画像情報を取得するとともに、取得した画像情報を制御部２６に送信するようになっている。
　本実施形態においては、車両１０には、複数の撮像部２２、即ちフロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、及び右側カメラＣＲが搭載されている。フロントカメラＣＦは、車両１０の前方の画像に対応する画像情報を取得するように、車体１１の前面部１２に装着されている。リアカメラＣＢは、車両１０の後方の画像に対応する画像情報を取得するように、車体１１の後面部１４に装着されている。左側カメラＣＬは、車両１０の左側方の画像に対応する画像情報を取得するように、左側のドアミラー１８に装着されている。右側カメラＣＲは、車両１０の右側方の画像に対応する画像情報を取得するように、右側のドアミラー１８に装着されている。
　車速センサ２３、シフトポジションセンサ２４、及び舵角センサ２５は、制御部２６に電気接続されている。車速センサ２３は、車両１０の走行速度に対応する信号を発生して、制御部２６に送信するように設けられている。車両１０の走行速度を、以下単に「車速」と称する。シフトポジションセンサ２４は、シフトポジションに対応する信号を発生して、制御部２６に送信するように設けられている。舵角センサ２５は、操舵角に対応する信号を発生して、制御部２６に送信するように設けられている。
　制御部２６は、車体１１の内部に設けられている。制御部２６は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＡＭ（例えばフラッシュＲＯＭ）、等を備えた、いわゆる車載マイクロコンピュータであって、ＣＰＵがＲＯＭ又は不揮発性ＲＡＭからプログラム（即ち後述の各ルーチン）を読み出して実行することで各種の制御動作を実現可能に構成されている。即ち、制御部２６は、測距センサ２１、撮像部２２、車速センサ２３、シフトポジションセンサ２４、及び舵角センサ２５から受信した信号及び情報に基づいて、駐車支援動作を実行するように構成されている。また、ＲＯＭ又は不揮発性ＲＡＭには、プログラムの実行の際に用いられる各種のデータ（例えば、初期値、ルックアップテーブル、マップ等）が予め格納されている。
　図２は、車両１０を駐車スペースＰＳに並列駐車、具体的にはいわゆる「車庫入れ駐車」する状況の例を示す。「車庫入れ駐車」とは、並列駐車の一態様であって、並列する複数の駐車スペースＰＳ又は並列する複数の駐車車両ＰＶの配列方向と、各駐車スペースＰＳ又は各駐車車両ＰＶの前後方向（即ち長手方向）とが、略直交するような駐車態様をいう。図３は、車両１０を駐車スペースＰＳに縦列駐車する状況の例を示す。以下、図１～図３を用いて、制御部２６の詳細について説明する。なお、図２及び図３においては、図示の都合上、測距センサ２１及び撮像部２２の図示が簡略化されている。
　画像処理部としての制御部２６は、撮像部２２により取得された画像情報を処理することで、画像中の特徴点及び特徴形状を認識するようになっている。本実施形態においては、制御部２６は、ＳＦＭ処理により、画像中の各物体の三次元形状を認識可能に構成されている。ＳＦＭはStructure　from　Motionの略である。
　障害物検知部としての制御部２６は、駐車スペースＰＳの周囲に存在する障害物等の物体と車両１０との位置関係に対応する位置関係情報を、測距センサ２１からの受信情報に基づいて取得するようになっている。本実施形態においては、測距センサ２１は、複数設けられている。故に、制御部２６は、複数の測距センサ２１、例えば、車両１０の左前方に位置する障害物の場合は第一フロントソナーＳＦ１及び第二フロントソナーＳＦ２における受信情報に基づき、物体と車両１０との位置関係情報として、物体と車両１０との距離、及び物体の車両１０からの方位角に対応する情報を取得可能に構成されている。換言すれば、制御部２６は、物体の車両１０との相対位置を取得可能に構成されている。
　駐車態様選択部としての制御部２６は、測距センサ２１を用いて取得した位置関係情報と、撮像部２２を用いて認識した特徴形状とに基づいて、駐車スペースＰＳへの車両１０の駐車態様を、並列駐車及び縦列駐車を含む複数の態様候補のうちから選択するようになっている。具体的には、制御部２６は、取得された壁状立体物ＷＡを含む検知障害物ＤＯ及び車止めＣＳの位置関係情報に基づく態様候補の尤度と、特徴形状としての、白線ＷＬ、駐車車両ＰＶのヘッドライトＨＬ、駐車車両ＰＶのナンバープレートＮＰ、及び駐車車両ＰＶのタイヤＴＹのうちの少なくともいずれか一つの認識結果に基づく態様候補の尤度とを統合することで、駐車態様を複数の態様候補のうちから選択するように構成されている。
　ディスプレイ２７は、車両１０における車室内に配置されている。ディスプレイ２７は、制御部２６の制御下で駐車支援動作に伴う表示を行うように、制御部２６に電気接続されている。
　（動作概要）
　以下、図２及び図３を用いて、駐車支援装置２０における動作の概要について説明する。各図中、（ｉ）は、駐車場ＰＬに白線ＷＬ及び車止めＣＳが設けられている場合を示す。また、（ii）は、駐車場ＰＬ内の駐車スペースＰＳの周囲に、壁状立体物ＷＡを含む検知障害物ＤＯが存在する場合を示す。さらに、（iii）は、駐車スペースＰＳの周囲の駐車車両ＰＶにて、ナンバープレートＮＰ等の特徴形状が認識可能な場合を示す。
　図２及び図３における（ｉ）に示すように、隣接する複数の駐車スペースＰＳを区画する白線ＷＬが駐車場ＰＬに設けられている場合がある。この場合、制御部２６は、撮像部２２により取得した画像情報を処理して白線ＷＬを認識することで、車両１０の駐車態様を選択することが可能である。
　また、白線ＷＬに代えて、あるいは白線ＷＬとともに、車止めＣＳが設けられている場合がある。この場合、制御部２６は、測距センサ２１を用いて取得した車止めＣＳの位置関係情報に基づいて、車両１０の駐車態様を選択することが可能である。具体的には、複数の車止めＣＳの位置、又は車止めＣＳの長手方向を形成する外形形状が、車両１０の進行方向に沿って略一直線状に並んでいる場合、車両１０の駐車態様の選択結果が車庫入れ駐車となり得る。図２における（ｉ）参照。これに対し、車止めＣＳの長手方向を形成する外形形状が、車両１０の進行方向と略直交している場合、車両１０の駐車態様の選択結果が縦列駐車となり得る。図３における（ｉ）参照。
　図２及び図３における（ii）に示すように、隣接する複数の駐車スペースＰＳの間に壁状立体物ＷＡが存在する場合がある。壁状立体物ＷＡは、例えば、屋内駐車場における壁又は柱等である。また、現在使用中の駐車スペースＰＳに隣接して、車両１０を駐車可能な空きの駐車スペースＰＳが存在する場合がある。この場合、制御部２６は、測距センサ２１を用いて取得した検知障害物ＤＯの位置関係情報に基づいて、車両１０の駐車態様を選択することが可能である。この場合の、検知障害物ＤＯの位置関係情報には、壁状立体物ＷＡ及び／又はこれに隣接する駐車車両ＰＶの位置関係情報が含まれ得る。具体的には、複数の検知障害物ＤＯ同士の位置関係等に基づいて、車両１０の駐車態様を選択することが可能である。
　図２及び図３における（iii）に示すように、現在使用中の駐車スペースＰＳに隣接して、車両１０を駐車可能な空きの駐車スペースＰＳが存在する場合がある。この場合、現在使用中の駐車スペースＰＳに駐車された駐車車両ＰＶにおける、ナンバープレートＮＰ等の特徴形状が認識され得る。制御部２６は、撮像部２２により取得した画像情報を処理して、駐車車両ＰＶにおける特徴形状を認識することで、車両１０の駐車態様を選択することが可能である。
　具体的には、例えば、ナンバープレートＮＰの長手方向と車両１０の進行方向とのなす角が小さい（例えば０～１５度）場合、車両１０の駐車態様の選択結果が車庫入れ駐車となり得る。図２における（iii）参照。これに対し、ナンバープレートＮＰの長手方向と車両１０の進行方向とのなす角が大きい（例えば７５～９０度）場合、車両１０の駐車態様の選択結果が縦列駐車となり得る。図３における（iii）参照。
　また、複数のタイヤＴＹが車両１０の進行方向に沿って略一直線状に並んでいる場合、車両１０の駐車態様の選択結果が車庫入れ駐車となり得る。図２における（iii）参照。これに対し、一対のタイヤＴＹが車両１０の進行方向と略直交するように並んでいる場合、車両１０の駐車態様の選択結果が縦列駐車となり得る。図３における（iii）参照。
　また、一対のヘッドライトＨＬが、車両１０の進行方向に沿って略一直線状に並んでいる場合、車両１０の駐車態様の選択結果が車庫入れ駐車となり得る。図２における（iii）参照。これに対し、一対のヘッドライトＨＬが、車両１０の前方にて進行方向と略直交する方向に並んでいる場合、あるいは、ヘッドライトＨＬが前方に全く認識されない場合、車両１０の駐車態様の選択結果が縦列駐車となり得る。図３における（iii）参照。
　本実施形態においては、上記のように、白線ＷＬ、車止めＣＳ、検知障害物ＤＯ、ヘッドライトＨＬ、タイヤＴＹ、及びナンバープレートＮＰの認識結果に基づいて、車両１０の駐車態様を選択することが可能である。但し、これらの特徴形状の認識結果がすべて同一の駐車態様に対応するとは限らない。即ち、例えば、一部の特徴形状の認識が困難であったり、一部の特徴形状の認識結果に基づく駐車態様と他の特徴形状の認識結果に基づく駐車態様とが矛盾したりする場合があり得る。
　具体的には、駐車スペースＰＳを規定するための白線ＷＬが、摩耗等により薄くなる場合があり得る。また、縦列駐車用の古い白線ＷＬの上に、車庫入れ駐車用の新しい白線ＷＬが形成される場合があり得る。あるいは、明確な白線ＷＬが設けられていても、何らかの事情、例えば、臨時イベント開催により通常時の最大収容数を超える台数の駐車が一時的に見込まれる場合等により、当該白線ＷＬによる通常の駐車態様とは異なる駐車態様が設定される場合があり得る。これらの場合、白線ＷＬの認識結果によっては、適確な態様候補の選択が困難となる。
　白線ＷＬではなくロープが地面に敷設された駐車場ＰＬが多数存在する。このような駐車場ＰＬにおいては、ロープの画像認識は困難であり、車止めＣＳが設けられない場合も多い。また、駐車場ＰＬにそもそも白線ＷＬが設けられない場合があり得る。具体的には、例えば、大規模な屋外イベント開催時に、イベント会場に近接する空き地、例えば、工場又はショッピング施設の建設予定地、工事中の自動車専用道路、等が、臨時駐車場として使用される場合があり得る。これらの場合、白線ＷＬ及び車止めＣＳの認識結果によっては、適確な態様候補の選択が困難となる。
　駐車時の車体１１の外傷発生を抑制するために、壁状立体物ＷＡにスポンジ等の弾性物が貼付される場合がある。また、壁状立体物ＷＡに近接して駐車された駐車車両ＰＶが、探査波の反射率が低い物体（例えば、雪、カバー、等）によって覆われている場合があり得る。これらの場合、測距センサ２１による検知障害物ＤＯの検知が良好には行われないことがあり得る。
　駐車車両ＰＶにおける、ナンバープレートＮＰの形状及び位置は、自動車に関する法令により、ほぼ一定となる。これに対し、タイヤＴＹの位置は、駐車車両ＰＶのサイズ、駐車スペースＰＳ内の駐車車両ＰＶの位置、駐車時の操舵状態、等により変動し得る。また、ヘッドライトＨＬは、車種によって形状及び位置が様々であり、駐車時に車体内部に格納されたり車体部品等で遮蔽されたりする場合もあり得る。このため、駐車車両ＰＶにおける各種の特徴形状のうち、ナンバープレートＮＰの認識結果に基づく駐車態様の選択が、最も確からしいということが一応可能である。
　例えば、図２における（iii）を参照すると、普通自動車ＰＶ１においては、ナンバープレートＮＰは、通常、車幅方向における中央部に設けられている。これに対し、軽自動車ＰＶ２においては、前側のナンバープレートＮＰは、車幅方向における中央部から右側、当該軽自動車ＰＶ２を正面視した場合は向かって左側に、若干ずれた位置に設けられていることが多い。故に、駐車車両ＰＶ及びこれに対応するナンバープレートＮＰが車両１０の側方に認識され、且つ、ナンバープレートＮＰが画像中にて当該駐車車両ＰＶの車幅方向における中央部から若干左側にずれた位置に存在すると認識された場合、ヘッドライトＨＬの認識がなくても、当該駐車車両ＰＶはバックで車庫入れ駐車した軽自動車ＰＶ２である可能性が高くなる。
　しかしながら、駐車車両ＰＶにおけるフロント側のナンバープレートＮＰの位置が特殊である場合があり得る。さらに、駐車場ＰＬの照明状態等によっては、駐車車両ＰＶにおける各種の特徴形状の認識がそもそも困難である場合もあり得る。これらの場合、駐車車両ＰＶにおける各種の特徴形状の認識結果によっては、適確な態様候補の選択が困難となる。
　以上の事情を考慮し、本実施形態においては、制御部２６は、測距センサ２１を用いた車止めＣＳ及び検知障害物ＤＯの認識結果に基づく駐車態様の尤度と、撮像部２２を用いたその他の認識結果に基づく駐車態様の尤度とを統合する。また、制御部２６は、統合した尤度に基づいて、最も確からしい駐車態様の候補を選択する。
　駐車態様の選択が終了した後は、制御部２６は、認識した駐車目標の駐車スペースＰＳへの駐車支援動作、例えば、ディスプレイ２７による誘導動作、又は自動操縦動作等を実行する。このとき、制御部２６は、測距センサ２１及び撮像部２２を用いた認識結果に基づいて、良好な駐車支援動作を行うことが可能である。具体的には、例えば、制御部２６は、ナンバープレートＮＰの認識結果に基づいて、認識した駐車目標の駐車スペースＰＳが軽自動車専用であることについての警告を、ディスプレイ２７に表示させることが可能である。あるいは、例えば、制御部２６は、タイヤＴＹの認識結果に基づいて、駐車スペースＰＳにおける、車両１０が進行可能な領域を推定することが可能である。
　（動作の具体例）
　以下、本実施形態の構成による動作の具体例について、フローチャートを用いて説明する。明細書中の以下の説明、及び図示したフローチャートにおいて、「ステップ」を単に「Ｓ」と略記する。また、明細書中の以下の説明において、制御部２６のＣＰＵを、単に「ＣＰＵ」と略称する。制御部２６の不揮発性ＲＡＭ等についても同様である。
　ＣＰＵは、所定の起動条件が成立した場合に、図４に示した周囲構造認識ルーチンを起動する。この周囲構造認識ルーチンの起動条件は、例えば、車両１０のシステム起動スイッチが「オン」されてから所定時間経過後であり、且つ本ルーチンの所定の起動タイミングが到来したこと等を含む。図４に示した周囲構造認識ルーチンにおいて、ＣＰＵは、Ｓ４１～Ｓ４９の処理を順に実行した後、本ルーチンを一旦終了する。
　Ｓ４１にて、ＣＰＵは、測距センサ２１から受信情報を取得する。この受信情報に基づいて、ＣＰＵは、Ｓ４２にて、距離点を抽出する。距離点は、今回の受信情報に対応する、所定の空間座標中の点である。各距離点は、対応する位置関係情報を有している。上記の通り、本実施形態においては、位置関係情報は、複数の測距センサ２１による受信情報に基づいて取得される。故に、本具体例においては、距離点は、車両１０の周囲の空間に対応する三次元マップ中の点とすることができる。続いて、ＣＰＵは、Ｓ４３にて、車両１０の周囲に存在する物体の外形形状を、距離点を繋ぎ合わせることによって認識する。さらに、ＣＰＵは、Ｓ４３における認識結果を、不揮発性ＲＡＭに格納する。Ｓ４４参照。
　Ｓ４５にて、ＣＰＵは、撮像部２２から画像情報を取得する。この画像情報に基づいて、ＣＰＵは、Ｓ４６にて、特徴点を抽出する。上記の通り、本実施形態においては、複数の撮像部２２が設けられている。また、制御部２６は、ＳＦＭ処理により、画像中の各物体の三次元形状を認識可能である。故に、特徴点は、上記の三次元マップ中の点とすることができる。このようにして抽出した特徴点に基づいて、ＣＰＵは、Ｓ４７にて、特徴形状を認識する。続いて、ＣＰＵは、Ｓ４７における認識結果を、不揮発性ＲＡＭに格納する。Ｓ４８参照。
　上記のように、ＣＰＵは、Ｓ４１～Ｓ４４にて、測距センサ２１を用いた物体認識及び特徴形状認識を行う。次に、ＣＰＵは、Ｓ４５～４８にて、撮像部２２を用いた物体認識及び特徴形状認識を行う。その後、ＣＰＵは、Ｓ４９にて、測距センサ２１を用いた認識結果と、撮像部２２を用いた認識結果とを統合することで、車両１０の周囲の空間における物体及び特徴形状を、三次元的に認識する。この三次元的認識を「構造化」と称する。構造化された、物体及び特徴形状の認識結果は、不揮発性ＲＡＭに格納される。なお、上記のように、複数種類の認識結果を統合することを、「フュージョン」と称することがある。
　ＣＰＵは、車両１０の走行中に所定の時間間隔で周囲構造認識ルーチンを起動する。これにより、構造化した特徴形状の三次元情報が、時系列的に不揮発性ＲＡＭに格納される。
　ＣＰＵは、所定の起動条件が成立した場合に、図５Ａ～図５Ｃに示した駐車態様選択ルーチンを起動する。この駐車態様選択ルーチンの起動条件は、例えば、不揮発性ＲＡＭにおける上記の認識結果の格納量が所定量に達し、且つ車速が所定速度未満に達したことを含む。
　駐車態様選択ルーチンが起動されると、まず、Ｓ５００にて、ＣＰＵは、縦列駐車尤度ＬＰＰ及び並列駐車尤度ＬＤＰを初期化する。具体的には、Ｓ５００にて、ＣＰＵは、縦列駐車尤度ＬＰＰ及び並列駐車尤度ＬＤＰを、それぞれ、初期値ＬＰＰ０及びＬＤＰ０に設定する。本具体例においては、初期値ＬＰＰ０及びＬＤＰ０は、ともに０．５である。
　次に、Ｓ５１１にて、ＣＰＵは、ナンバープレートＮＰが認識されているか否か、即ち、ナンバープレートＮＰの認識結果が不揮発性ＲＡＭに格納されているか否かを判定する。ナンバープレートＮＰが認識されている場合（即ちＳ５１１＝ＹＥＳ）、ＣＰＵは、処理をＳ５１２に進行させ、Ｓ５１２における判定結果に応じてＳ５１３又はＳ５１４の処理を実行する。一方、ナンバープレートＮＰが認識されていない場合（即ちＳ５１１＝ＮＯ）、ＣＰＵは、Ｓ５１２～Ｓ５１４の処理をスキップする。
　Ｓ５１２にて、ＣＰＵは、今回のナンバープレートＮＰの認識結果に基づいて駐車態様を選択した場合に、その選択結果が縦列駐車となるか否かを判定する。縦列駐車の場合（即ちＳ５１２＝ＹＥＳ）、ＣＰＵは、処理をＳ５１３に進行させる。一方、並列駐車の場合（即ちＳ５１２＝ＮＯ）、ＣＰＵは、処理をＳ５１４に進行させる。
　Ｓ５１３及びＳ５１４にて、ＣＰＵは、ナンバープレートＮＰの認識結果に基づく縦列駐車尤度ＬＰＰ（ＮＰ）及び並列駐車尤度ＬＤＰ（ＮＰ）を、ルックアップテーブル又はマップに基づいて設定する。Ｓ５１３及びＳ５１４にて用いられるルックアップテーブル又はマップは、ナンバープレートＮＰの認識結果に対応するパラメータの少なくとも１個と、当該パラメータに対応する値との対応関係を規定する。当該パラメータは、例えば、ナンバープレートＮＰの認識数、ナンバープレートＮＰの長手方向と車両１０の進行方向とのなす角、複数のナンバープレートＮＰの配列方向、各ナンバープレートＮＰの長方形からの歪度合、等である。当該パラメータに対応する値は、０より大きく１以下の数である。Ｓ５１３の場合、ＬＰＰ（ＮＰ）＞ＬＤＰ（ＮＰ）となるように、ＬＰＰ（ＮＰ）及びＬＤＰ（ＮＰ）が設定される。一方、Ｓ５１４の場合、ＬＰＰ（ＮＰ）＜ＬＤＰ（ＮＰ）となるように、ＬＰＰ（ＮＰ）及びＬＤＰ（ＮＰ）が設定される。
　Ｓ５１１＝ＮＯの場合、あるいはＳ５１３又はＳ５１４の処理の後、ＣＰＵは、Ｓ５２１の処理を実行する。Ｓ５２１にて、ＣＰＵは、タイヤＴＹが認識されているか否かを判定する。タイヤＴＹが認識されている場合（即ちＳ５２１＝ＹＥＳ）、ＣＰＵは、処理をＳ５２２に進行させ、Ｓ５２２における判定結果に応じてＳ５２３又はＳ５２４の処理を実行する。一方、タイヤＴＹが認識されていない場合（即ちＳ５２１＝ＮＯ）、ＣＰＵは、Ｓ５２２～Ｓ５２４の処理をスキップする。
　Ｓ５２２にて、ＣＰＵは、今回のタイヤＴＹの認識結果に基づいて駐車態様を選択した場合に、その選択結果が縦列駐車となるか否かを判定する。縦列駐車の場合（即ちＳ５２２＝ＹＥＳ）、ＣＰＵは、処理をＳ５２３に進行させる。一方、並列駐車の場合（即ちＳ５２２＝ＮＯ）、ＣＰＵは、処理をＳ５２４に進行させる。
　Ｓ５２３及びＳ５２４にて、ＣＰＵは、タイヤＴＹの認識結果に基づく縦列駐車尤度ＬＰＰ（ＴＹ）及び並列駐車尤度ＬＤＰ（ＴＹ）を、ルックアップテーブル又はマップに基づいて設定する。Ｓ５２３及びＳ５２４にて用いられるルックアップテーブル又はマップは、タイヤＴＹの認識結果に対応するパラメータの少なくとも１個と、当該パラメータに対応する値との対応関係を規定する。当該パラメータは、例えば、タイヤＴＹの認識数、複数のタイヤＴＹの配列方向と車両１０の進行方向とのなす角、各タイヤＴＹの認識結果である楕円形状における扁平率、各タイヤＴＹの認識結果である楕円形状における長径と車両１０の進行方向とのなす角、等である。当該パラメータに対応する値は、０より大きく１以下の数である。Ｓ５２３の場合、ＬＰＰ（ＴＹ）＞ＬＤＰ（ＴＹ）となるように、ＬＰＰ（ＴＹ）及びＬＤＰ（ＴＹ）が設定される。一方、Ｓ５２４の場合、ＬＰＰ（ＴＹ）＜ＬＤＰ（ＴＹ）となるように、ＬＰＰ（ＴＹ）及びＬＤＰ（ＴＹ）が設定される。
　Ｓ５２１＝ＮＯの場合、あるいはＳ５２３又はＳ５２４の処理の後、ＣＰＵは、Ｓ５３１の処理を実行する。Ｓ５３１にて、ＣＰＵは、ヘッドライトＨＬが認識されているか否かを判定する。ヘッドライトＨＬが認識されている場合（即ちＳ５３１＝ＹＥＳ）、ＣＰＵは、処理をＳ５３２に進行させ、Ｓ５３２における判定結果に応じてＳ５３３又はＳ５３４の処理を実行する。一方、ヘッドライトＨＬが認識されていない場合（即ちＳ５３１＝ＮＯ）、ＣＰＵは、Ｓ５３２～Ｓ５３４の処理をスキップする。
　Ｓ５３２にて、ＣＰＵは、今回のヘッドライトＨＬの認識結果に基づいて駐車態様を選択した場合に、その選択結果が縦列駐車となるか否かを判定する。縦列駐車の場合（即ちＳ５３２＝ＹＥＳ）、ＣＰＵは、処理をＳ５３３に進行させる。一方、並列駐車の場合（即ちＳ５３２＝ＮＯ）、ＣＰＵは、処理をＳ５３４に進行させる。
　Ｓ５３３及びＳ５３４にて、ＣＰＵは、ヘッドライトＨＬの認識結果に基づく縦列駐車尤度ＬＰＰ（ＨＬ）及び並列駐車尤度ＬＤＰ（ＨＬ）を、ルックアップテーブル又はマップに基づいて設定する。Ｓ５３３及びＳ５３４にて用いられるルックアップテーブル又はマップは、ヘッドライトＨＬの認識結果に対応するパラメータの少なくとも１個と、当該パラメータに対応する値との対応関係を規定する。当該パラメータは、例えば、ヘッドライトＨＬの認識数、複数のヘッドライトＨＬの配列方向と車両１０の進行方向とのなす角、等である。当該パラメータに対応する値は、０より大きく１以下の数である。Ｓ５３３の場合、ＬＰＰ（ＨＬ）＞ＬＤＰ（ＨＬ）となるように、ＬＰＰ（ＨＬ）及びＬＤＰ（ＨＬ）が設定される。一方、Ｓ５３４の場合、ＬＰＰ（ＨＬ）＜ＬＤＰ（ＨＬ）となるように、ＬＰＰ（ＨＬ）及びＬＤＰ（ＨＬ）が設定される。
　Ｓ５３１＝ＮＯの場合、あるいはＳ５３３又はＳ５３４の処理の後、ＣＰＵは、Ｓ５４１の処理を実行する。Ｓ５４１にて、ＣＰＵは、車止めＣＳが認識されているか否かを判定する。車止めＣＳが認識されている場合（即ちＳ５４１＝ＹＥＳ）、ＣＰＵは、処理をＳ５４２に進行させ、Ｓ５４２における判定結果に応じてＳ５４３又はＳ５４４の処理を実行する。一方、車止めＣＳが認識されていない場合（即ちＳ５４１＝ＮＯ）、ＣＰＵは、Ｓ５４２～Ｓ５４４の処理をスキップする。
　Ｓ５４２にて、ＣＰＵは、今回の車止めＣＳの認識結果に基づいて駐車態様を選択した場合に、その選択結果が縦列駐車となるか否かを判定する。縦列駐車の場合（即ちＳ５４２＝ＹＥＳ）、ＣＰＵは、処理をＳ５４３に進行させる。一方、並列駐車の場合（即ちＳ５４２＝ＮＯ）、ＣＰＵは、処理をＳ５４４に進行させる。
　Ｓ５４３及びＳ５４４にて、ＣＰＵは、車止めＣＳの認識結果に基づく縦列駐車尤度ＬＰＰ（ＣＳ）及び並列駐車尤度ＬＤＰ（ＣＳ）を、ルックアップテーブル又はマップに基づいて設定する。Ｓ５４３及びＳ５４４にて用いられるルックアップテーブル又はマップは、車止めＣＳの認識結果に対応するパラメータの少なくとも１個と、当該パラメータに対応する値との対応関係を規定する。当該パラメータは、例えば、車止めＣＳの認識数、複数の車止めＣＳの配列方向と車両１０の進行方向とのなす角、各車止めＣＳの車両１０からの距離、等である。当該パラメータに対応する値は、０より大きく１以下の数である。Ｓ５４３の場合、ＬＰＰ（ＣＳ）＞ＬＤＰ（ＣＳ）となるように、ＬＰＰ（ＣＳ）及びＬＤＰ（ＣＳ）が設定される。一方、Ｓ５４４の場合、ＬＰＰ（ＣＳ）＜ＬＤＰ（ＣＳ）となるように、ＬＰＰ（ＣＳ）及びＬＤＰ（ＣＳ）が設定される。
　Ｓ５４１＝ＮＯの場合、あるいはＳ５４３又はＳ５４４の処理の後、ＣＰＵは、Ｓ５５１の処理を実行する。Ｓ５５１にて、ＣＰＵは、検知障害物ＤＯ、即ち車止めＣＳ以外の立体障害物が認識されているか否かを判定する。検知障害物ＤＯが認識されている場合（即ちＳ５５１＝ＹＥＳ）、ＣＰＵは、処理をＳ５５２に進行させ、Ｓ５５２における判定結果に応じてＳ５５３又はＳ５５４の処理を実行する。一方、車止めＣＳ以外の立体障害物が検知障害物ＤＯとして認識されていない場合（即ちＳ５５１＝ＮＯ）、ＣＰＵは、Ｓ５５２～Ｓ５５４の処理をスキップする。
　Ｓ５５２にて、ＣＰＵは、今回の検知障害物ＤＯの認識結果に基づいて駐車態様を選択した場合に、その選択結果が縦列駐車となるか否かを判定する。縦列駐車の場合（即ちＳ５５２＝ＹＥＳ）、ＣＰＵは、処理をＳ５５３に進行させる。一方、並列駐車の場合（即ちＳ５５２＝ＮＯ）、ＣＰＵは、処理をＳ５５４に進行させる。
　Ｓ５５３及びＳ５４４にて、ＣＰＵは、検知障害物ＤＯの認識結果に基づく縦列駐車尤度ＬＰＰ（ＤＯ）及び並列駐車尤度ＬＤＰ（ＤＯ）を、ルックアップテーブル又はマップに基づいて設定する。Ｓ５５３及びＳ５５４にて用いられるルックアップテーブル又はマップは、検知障害物ＤＯの認識結果に対応するパラメータの少なくとも１個と、当該パラメータに対応する値との対応関係を規定する。当該パラメータは、例えば、検知障害物ＤＯの周囲の空間のサイズ及び形状、検知障害物ＤＯの車両１０からの距離、等である。当該パラメータに対応する値は、０より大きく１以下の数である。Ｓ５５３の場合、ＬＰＰ（ＤＯ）＞ＬＤＰ（ＤＯ）となるように、ＬＰＰ（ＤＯ）及びＬＤＰ（ＤＯ）が設定される。一方、Ｓ５５４の場合、ＬＰＰ（ＤＯ）＜ＬＤＰ（ＤＯ）となるように、ＬＰＰ（ＤＯ）及びＬＤＰ（ＤＯ）が設定される。
　Ｓ５５１＝ＮＯの場合、あるいはＳ５５３又はＳ５５４の処理の後、ＣＰＵは、Ｓ５６１の処理を実行する。Ｓ５６１にて、ＣＰＵは、白線ＷＬが認識されているか否かを判定する。白線ＷＬが認識されている場合（即ちＳ５６１＝ＹＥＳ）、ＣＰＵは、処理をＳ５６２に進行させ、Ｓ５６２における判定結果に応じてＳ５６３又はＳ５６４の処理を実行する。一方、白線ＷＬが認識されていない場合（即ちＳ５６１＝ＮＯ）、ＣＰＵは、Ｓ５６２～Ｓ５６４の処理をスキップする。
　Ｓ５６２にて、ＣＰＵは、今回の白線ＷＬの認識結果に基づいて駐車態様を選択した場合に、その選択結果が縦列駐車となるか否かを判定する。縦列駐車の場合（即ちＳ５６２＝ＹＥＳ）、ＣＰＵは、処理をＳ５６３に進行させる。一方、並列駐車の場合（即ちＳ５６２＝ＮＯ）、ＣＰＵは、処理をＳ５６４に進行させる。
　Ｓ５６３及びＳ５６４にて、ＣＰＵは、白線ＷＬの認識結果に基づく縦列駐車尤度ＬＰＰ（ＷＬ）及び並列駐車尤度ＬＤＰ（ＷＬ）を、ルックアップテーブル又はマップに基づいて設定する。Ｓ５６３及びＳ６５４にて用いられるルックアップテーブル又はマップは、白線ＷＬの認識結果に対応するパラメータの少なくとも１個と、当該パラメータに対応する値との対応関係を規定する。当該パラメータは、例えば、白線ＷＬの本数、コントラスト、方向、長さ、等である。当該パラメータに対応する値は、０より大きく１以下の数である。Ｓ５６３の場合、ＬＰＰ（ＷＬ）＞ＬＤＰ（ＷＬ）となるように、ＬＰＰ（ＷＬ）及びＬＤＰ（ＷＬ）が設定される。一方、Ｓ５６４の場合、ＬＰＰ（ＷＬ）＜ＬＤＰ（ＷＬ）となるように、ＬＰＰ（ＷＬ）及びＬＤＰ（ＷＬ）が設定される。
　Ｓ５６１＝ＮＯの場合、あるいはＳ５６３又はＳ５６４の処理の後、ＣＰＵは、Ｓ５７０の処理を実行する。Ｓ５７０にて、ＣＰＵは、縦列駐車尤度ＬＰＰの初期値ＬＰＰ０と、各認識結果に基づく縦列駐車尤度ＬＰＰ（ＮＰ）等とに基づいて、最終的な縦列駐車尤度ＬＰＰを算出する。また、ＣＰＵは、並列駐車尤度ＬＤＰの初期値ＬＤＰ０と、各認識結果に基づく並列駐車尤度ＬＤＰ（ＮＰ）等とに基づいて、最終的な並列駐車尤度ＬＤＰを算出する。
　具体的には、本具体例においては、最終的な縦列駐車尤度ＬＰＰは、以下のようにして算出される。
Figure JPOXMLDOC01-appb-M000001
  
Figure JPOXMLDOC01-appb-M000002
  
Figure JPOXMLDOC01-appb-M000003
  
Figure JPOXMLDOC01-appb-M000004
  
Figure JPOXMLDOC01-appb-M000005
  
Figure JPOXMLDOC01-appb-M000006
  
　最終的な並列駐車尤度ＬＤＰも、上記と同様にして算出される。
　次に、ＣＰＵは、Ｓ５７５にて、縦列駐車尤度ＬＰＰと並列駐車尤度ＬＤＰとを比較する。ＬＰＰ＞ＬＤＰの場合（即ちＳ５７５＝ＹＥＳ）、ＣＰＵは、今回の駐車態様の選択結果を縦列駐車とする（Ｓ５８０）。一方、ＬＰＰ＜ＬＤＰの場合（即ちＳ５７５＝ＮＯ）、ＣＰＵは、今回の駐車態様の選択結果を並列駐車（即ち車庫入れ駐車）とする。Ｓ５８５参照。
　（変形例）
　本開示は上記実施形態に限定されるものではなく、上記実施形態に対しては適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態と異なる部分についてのみ説明する。また、上記実施形態と変形例とにおいて、互いに同一又は均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾又は特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。
　本開示は、上記実施形態にて示された具体的な装置構成に限定されない。即ち、例えば、車両１０は、四輪自動車に限定されない。具体的には、車両１０は、三輪自動車であってもよいし、貨物トラック等の六輪又は八輪自動車でもよい。また、車両１０の種類は、内燃機関のみを備えた自動車であってもよいし、内燃機関を備えない電気自動車又は燃料電池車であってもよいし、ハイブリッド自動車であってもよい。ドアパネル１７の数も、特段の限定はない。
　測距センサ２１が超音波センサである場合の、測距センサ２１の配置及び個数は、上記の具体例に限定されない。即ち、例えば、第三フロントソナーＳＦ３が車幅方向における中央位置に配置される場合、第四フロントソナーＳＦ４は省略される。同様に、第三リアソナーＳＲ３が車幅方向における中央位置に配置される場合、第四リアソナーＳＲ４は省略される。第三サイドソナーＳＳ３及び第四サイドソナーＳＳ４は、省略され得る。
　測距センサ２１は、超音波センサに限定されない。即ち、例えば、測距センサ２１は、レーザレーダセンサ、又はミリ波レーダセンサであってもよい。
　撮像部２２の配置及び個数は、上記の例に限定されない。即ち、例えば、左側カメラＣＬ及び右側カメラＣＲは、ドアミラー１８とは異なる位置に配置されてもよい。あるいは、左側カメラＣＬ及び右側カメラＣＲは、省略され得る。駐車支援装置２０により可能な複数の駐車支援動作のうちの、駐車態様選択動作については、フロントカメラＣＦのみによっても可能であるし、左側カメラＣＬ及び右側カメラＣＲのみによっても可能である。
　上記実施形態においては、制御部２６は、ＣＰＵがＲＯＭ等からプログラムを読み出して起動する構成であった。しかしながら、本開示は、かかる構成に限定されない。即ち、例えば、制御部２６は、上記のような動作を可能に構成されたデジタル回路、例えばゲートアレイ等のＡＳＩＣであってもよい。ＡＳＩＣはAPPLICATION　SPECIFIC　INTEGRATED　CIRCUITの略である。
　本開示は、上記実施形態にて示された具体的な動作例及び処理態様に限定されない。例えば、認識結果の格納場所は、不揮発性ＲＡＭ以外の記憶媒体（例えばＲＡＭ及び／又は磁気記憶媒体）であってもよい。
　駐車スペースＰＳが設けられる場所は、駐車場ＰＬに限定されない。即ち、例えば、駐車スペースＰＳは、道路における駐車可能地帯、公園等に設定される仮設駐車地帯、等に設けられ得る。
　物体及び特徴形状の認識対象及び認識方法も、上記の具体例に限定されない。例えば、車止めＣＳは、画像情報に基づいて、画像中の特徴形状として認識されてもよい。白線ＷＬ、車止めＣＳ、検知障害物ＤＯ、ヘッドライトＨＬ、タイヤＴＹ、及びナンバープレートＮＰの認識のうちの少なくとも１つは、省略され得る。白線ＷＬ、車止めＣＳ、検知障害物ＤＯ、ヘッドライトＨＬ、タイヤＴＹ、及びナンバープレートＮＰとは異なる他の特徴形状の認識も用いられ得る。
　上記具体例においては、駐車態様の候補は、縦列駐車と並列駐車との２種類であった。しかしながら、本開示は、かかる態様に限定されない。即ち、例えば、並列駐車は、図２に示されているような「車庫入れ駐車」と、図６に示されているような「斜め駐車」とに、さらに細分化され得る。
　図６における（ｉ）は、斜め駐車の駐車場ＰＬに駐車スペースＰＳに白線ＷＬ及び車止めＣＳが設けられている場合を示す。また、（ii）は、斜め駐車の駐車場ＰＬ内の、駐車スペースＰＳの周囲に、壁状立体物ＷＡを含む検知障害物ＤＯが存在する場合を示す。さらに、（iii）は、斜め駐車の駐車場ＰＬにおいて、駐車スペースＰＳの周囲の駐車車両ＰＶにてナンバープレートＮＰ等の特徴形状が認識可能な場合を示す。
　本変形例における処理は、例えば、図５Ａ～図５Ｃのルーチンを一部改変することによって、良好に行われ得る。具体的には、例えば、Ｓ５００において、縦列駐車尤度ＬＰＰ及び並列駐車尤度ＬＤＰの初期値ＬＰＰ０及びＬＤＰ０を、それぞれ、０．３３に設定する。また、ＣＰＵは、Ｓ５１２＝ＮＯの場合に、「車庫入れ駐車か否か」の判定処理を実行し、車庫入れ駐車の場合にＣＰＵは処理をＳ５１４に進行させ、斜め駐車の場合にＣＰＵはＳ５１４の処理をスキップする。Ｓ５２２、Ｓ５３２、Ｓ５４２、Ｓ５５２、及びＳ５６２についても同様である。
　その後、ＣＰＵは、Ｓ５７５の処理に代えて、ＬＰＰ及びＬＤＰのいずれかが０．３３より大きいか否かを判定する。ＬＰＰ＞０．３３の場合、ＣＰＵは、今回の駐車態様の選択結果を縦列駐車とする。一方、ＬＤＰ＞０．３３の場合、ＣＰＵは、今回の駐車態様の選択結果を車庫入れ駐車とする。また、ＬＰＰ及びＬＤＰのいずれもが０．３３以下である場合、ＣＰＵは、今回の駐車態様の選択結果を斜め駐車とする。
　最終的な縦列駐車尤度ＬＰＰ及び並列駐車尤度ＬＤＰの算出方法、即ち、各認識結果に基づく縦列駐車尤度ＬＰＰ（ＮＰ）等の統合方法も、上記具体例に限定されない。
　変形例も、上記の例示に限定されない。また、複数の変形例が、互いに組み合わされ得る。さらに、上記実施形態の全部又は一部と、変形例の全部又は一部とが、互いに組み合わされ得る。

Claims (3)

  1. 　車両（１０）に搭載されることで当該車両の駐車スペース（ＰＳ）への駐車を支援するように構成された、駐車支援装置（２０）であって、
    　前記車両の周囲の画像に対応する画像情報を取得するように設けられた、撮像部（２２）と、
    　前記撮像部により取得された前記画像情報を処理することで、前記画像中の特徴形状を認識するように設けられた、画像処理部（Ｓ４６、Ｓ４７）と、
    　前記駐車スペースの周囲に存在する障害物と前記車両との位置関係に対応する位置関係情報を取得するように設けられた、障害物検知部（Ｓ４２、Ｓ４３）と、
    　前記画像処理部により認識された前記特徴形状と、前記障害物検知部により取得された前記位置関係情報とに基づいて、前記駐車スペースへの前記車両の駐車態様を、並列駐車及び縦列駐車を含む複数の態様候補のうちから選択するように設けられた、駐車態様選択部（Ｓ５７５、Ｓ５８０、Ｓ５８５）と、
    　を備えた、駐車支援装置。
  2. 　前記駐車態様選択部は、前記障害物検知部により取得された前記位置関係情報に基づく前記態様候補の尤度と、前記特徴形状としての、白線、駐車車両のタイヤ、前記駐車車両のナンバープレートのうちの少なくともいずれか一つの認識結果に基づく前記態様候補の尤度とを統合することで、前記駐車態様を複数の前記態様候補のうちから選択するように構成された、請求項１に記載の駐車支援装置。
  3. 　探査波を前記車両の外側に向けて発信するとともに、前記障害物による前記探査波の反射波を含み前記車両と前記障害物との距離に応じた強度を有する受信波を受信するように設けられた、測距センサ（２１）をさらに備え、
    　前記障害物検知部は、前記測距センサによる前記受信波の受信結果に基づいて、前記位置関係情報を取得するように設けられた、
    　請求項１又は２に記載の駐車支援装置。
PCT/JP2017/040494 2016-12-19 2017-11-09 駐車支援装置 WO2018116686A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112017006366.3T DE112017006366T5 (de) 2016-12-19 2017-11-09 Parkunterstützungsvorrichtung
US16/442,799 US10885356B2 (en) 2016-12-19 2019-06-17 Parking assisting apparatus and control unit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016245728A JP6673181B2 (ja) 2016-12-19 2016-12-19 駐車支援装置およびその制御部
JP2016-245728 2016-12-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/442,799 Continuation US10885356B2 (en) 2016-12-19 2019-06-17 Parking assisting apparatus and control unit

Publications (1)

Publication Number Publication Date
WO2018116686A1 true WO2018116686A1 (ja) 2018-06-28

Family

ID=62627290

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040494 WO2018116686A1 (ja) 2016-12-19 2017-11-09 駐車支援装置

Country Status (4)

Country Link
US (1) US10885356B2 (ja)
JP (1) JP6673181B2 (ja)
DE (1) DE112017006366T5 (ja)
WO (1) WO2018116686A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113165643A (zh) * 2018-12-04 2021-07-23 株式会社电装 停车辅助装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113330731A (zh) 2019-01-23 2021-08-31 索尼半导体解决方案公司 车载相机
KR20200130883A (ko) * 2019-04-26 2020-11-23 현대모비스 주식회사 주차 지원 장치 및 방법
KR20210008259A (ko) * 2019-07-12 2021-01-21 현대자동차주식회사 주차 제어 장치, 그를 포함한 시스템 및 그 방법
DE102019216363A1 (de) * 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren zum Bereitstellen eines Signals zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs
JP7467202B2 (ja) * 2020-03-31 2024-04-15 本田技研工業株式会社 駐車支援システム
GB2617838B (en) * 2022-04-19 2024-04-10 Aptiv Tech Ltd Method of determining parking area layout

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63191987A (ja) * 1987-02-04 1988-08-09 Daihatsu Motor Co Ltd 車庫入れ・縦列駐車ガイド装置
JPH10269497A (ja) * 1997-03-25 1998-10-09 Nissan Motor Co Ltd 自動駐車装置および駐車誘導装置
JP2002243857A (ja) * 2001-02-14 2002-08-28 Nissan Motor Co Ltd 周囲物体認識装置
JP2006193014A (ja) * 2005-01-12 2006-07-27 Toyota Motor Corp 駐車支援装置
JP2012001081A (ja) * 2010-06-16 2012-01-05 Nissan Motor Co Ltd 駐車支援システム
JP2016101778A (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 駐車支援装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007290433A (ja) 2006-04-21 2007-11-08 Denso Corp 駐車支援システム
JP4613881B2 (ja) 2006-05-31 2011-01-19 アイシン・エィ・ダブリュ株式会社 駐車案内装置
JP5126069B2 (ja) 2006-12-28 2013-01-23 株式会社豊田自動織機 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品
JP2010202018A (ja) 2009-03-03 2010-09-16 Alpine Electronics Inc 運転支援装置、駐車向き提示方法、駐車向き提示プログラム
JP2014031104A (ja) 2012-08-03 2014-02-20 Denso Corp 駐車状態検出装置、図形コード配置方法、および駐車場
JP6473571B2 (ja) * 2014-03-24 2019-02-20 アルパイン株式会社 Ｔｔｃ計測装置およびｔｔｃ計測プログラム
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63191987A (ja) * 1987-02-04 1988-08-09 Daihatsu Motor Co Ltd 車庫入れ・縦列駐車ガイド装置
JPH10269497A (ja) * 1997-03-25 1998-10-09 Nissan Motor Co Ltd 自動駐車装置および駐車誘導装置
JP2002243857A (ja) * 2001-02-14 2002-08-28 Nissan Motor Co Ltd 周囲物体認識装置
JP2006193014A (ja) * 2005-01-12 2006-07-27 Toyota Motor Corp 駐車支援装置
JP2012001081A (ja) * 2010-06-16 2012-01-05 Nissan Motor Co Ltd 駐車支援システム
JP2016101778A (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 駐車支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113165643A (zh) * 2018-12-04 2021-07-23 株式会社电装 停车辅助装置
CN113165643B (zh) * 2018-12-04 2024-02-13 株式会社电装 停车辅助装置

Also Published As

Publication number Publication date
DE112017006366T5 (de) 2019-09-26
JP6673181B2 (ja) 2020-03-25
JP2018099935A (ja) 2018-06-28
US20190303691A1 (en) 2019-10-03
US10885356B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
WO2018116686A1 (ja) 駐車支援装置
EP3867118B1 (en) Lidar-based trailer tracking
US10220820B2 (en) Vehicle and method for controlling the same
CN110573905B (zh) 障碍物检知装置
US10733420B2 (en) Systems and methods for free space inference to break apart clustered objects in vehicle perception systems
US20190056231A1 (en) Method and apparatus for participative map anomaly detection and correction
US11433886B2 (en) System, vehicle and method for adapting a driving condition of a vehicle upon detecting an event in an environment of the vehicle
US20180074200A1 (en) Systems and methods for determining the velocity of lidar points
CN102673560A (zh) 识别拐弯机动的方法和驾驶员辅助系统
US11699250B1 (en) System and method for low visibility driving
WO2019187716A1 (ja) 駐車支援装置
WO2019151156A1 (ja) 物体検知装置および駐車支援装置
JP6579144B2 (ja) 障害物検知装置
CN113264042A (zh) 隐藏危险情况警示
US11205343B2 (en) Methods and systems for interpretating traffic signals and negotiating signalized intersections
JP2018130994A (ja) 駐車支援装置
US20210370919A1 (en) Information processing device and information processing method
JP2019096161A (ja) 車両制御装置、車両制御方法、およびプログラム
CN113581166A (zh) 运输工具辅助或控制系统及其作为领航器件的应用
CN110794824A (zh) 超声波信号三角测量
US20230227027A1 (en) Vehicle and control method thereof
US20230228592A1 (en) System and Method for Updating High-Definition Maps for Autonomous Driving
EP4004668B1 (en) A method for forming a travelling path for a vehicle
US20240116526A1 (en) Methods and systems for detecting blind spots
KR20210100777A (ko) 차량의 위치를 결정하는 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17883256

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17883256

Country of ref document: EP

Kind code of ref document: A1