WO2018198512A1 - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
WO2018198512A1
WO2018198512A1 PCT/JP2018/006796 JP2018006796W WO2018198512A1 WO 2018198512 A1 WO2018198512 A1 WO 2018198512A1 JP 2018006796 W JP2018006796 W JP 2018006796W WO 2018198512 A1 WO2018198512 A1 WO 2018198512A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
parking
detection unit
lane marking
search area
Prior art date
Application number
PCT/JP2018/006796
Other languages
English (en)
French (fr)
Inventor
賢樹 古川
啓輔 能勢
松田 竜一
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US16/607,162 priority Critical patent/US11017245B2/en
Publication of WO2018198512A1 publication Critical patent/WO2018198512A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present invention relates to a parking assistance device.
  • a parking assistance device detects a pair of lane markings provided between a parking area and a parking area of a vehicle from a captured image, and assists parking. When such a parking assistance device detects a pair of lane markings, it searches the entire area in the captured image and detects the lane markings.
  • the present invention has been made in view of the above, and provides a parking assistance device capable of reducing the time required for searching for a pair of lane markings.
  • the parking assist device of the present invention searches for a pair of lane markings provided between adjacent parking areas in a captured image obtained by imaging the periphery of a moving vehicle.
  • a setting unit that sets a first search area for detecting the first search area, and a detection unit that detects one of the pair of lane lines by searching in the first search area, and the detection unit includes: When the one lane line is detected, the setting unit sets a second search area for searching for the other lane line of the pair of lane lines based on the one lane line.
  • the second search area for searching for the other lane line is set based on the previously detected lane line. Therefore, since the parking assistance apparatus can set a 2nd search area
  • the setting unit may set the second search area smaller than the first search area.
  • the parking assistance apparatus of the present invention detects the other lane marking in the second search area that is smaller than the first search area, the time for detecting the other lane marking can be further shortened.
  • the detection unit may employ the one lane line based on the parallelism of the boundaries on both sides of the one lane line and a predetermined first parallel threshold. It may be determined.
  • the parking assistance apparatus of this invention determines whether one lane line is employ
  • the detection unit is configured to determine whether the other side is based on a parallelism between both sides of the other lane marking and a second parallel threshold value that is greater than the predetermined first parallel threshold value. It may be determined whether or not to adopt the lane marking.
  • the parking assistance apparatus of the present invention determines whether or not to adopt the other lane marking based on the parallelism of the boundary on both sides of the other lane marking and the second parallel threshold, It is possible to suppress a side groove or the like other than the line from being mistakenly recognized as a division line. Furthermore, by making the second parallel threshold value larger than the first parallel threshold value, it is possible to prevent the other detected division line from being erroneously rejected.
  • the detection unit searches for the one lane marking in the first search area along the traveling direction of the vehicle, and the other along the direction opposite to the traveling direction of the vehicle. May be searched in the second search area.
  • the parking assistance device of the present invention it is possible to more accurately detect the outer boundary of the pair of lane markings necessary for setting the parking candidate area.
  • FIG. 1 is a plan view of a vehicle on which the parking assist device of the embodiment is mounted.
  • FIG. 2 is a block diagram illustrating a configuration of a parking support system including a parking support device mounted on a vehicle.
  • FIG. 3 is a functional block diagram illustrating functions of the parking assistance device.
  • FIG. 4 is a diagram for explaining a method of detecting one of the pair of lane lines.
  • FIG. 5 is a diagram for explaining a method for detecting one of the pair of lane lines.
  • FIG. 6 is a diagram for explaining a method of detecting one of the pair of lane markings.
  • FIG. 7 is a diagram for explaining a method of detecting one of the pair of lane lines.
  • FIG. 1 is a plan view of a vehicle on which the parking assist device of the embodiment is mounted.
  • FIG. 2 is a block diagram illustrating a configuration of a parking support system including a parking support device mounted on a vehicle.
  • FIG. 3 is a functional block diagram illustrating
  • FIG. 8 is a diagram for explaining a method of detecting one of the pair of lane markings.
  • FIG. 9 is a diagram for explaining a method of detecting the other lane marking of the pair of lane markings.
  • FIG. 10 is a diagram for explaining a method of detecting the other lane marking of the pair of lane markings.
  • FIG. 11 is a diagram for explaining a method of detecting the other lane marking of the pair of lane markings.
  • FIG. 12 is a diagram illustrating a method for detecting the other lane marking of the pair of lane markings.
  • FIG. 13 is a diagram for explaining a method of detecting the other lane marking of the pair of lane markings.
  • FIG. 14 is a flowchart of parking support processing executed by the processing unit.
  • FIG. 1 is a plan view of a vehicle 10 on which the parking assist device of the embodiment is mounted.
  • the vehicle 10 includes a vehicle body 12 and four imaging units 14a, 14b, 14c, and 14d. When there is no need to distinguish between the imaging units 14a, 14b, 14c, and 14d, they are referred to as the imaging unit 14.
  • the vehicle body 12 constitutes a passenger compartment in which passengers get on.
  • the vehicle body 12 accommodates or holds the configuration of the vehicle 10 such as the wheels 13 and the imaging unit 14.
  • the imaging unit 14 is a digital camera that incorporates an imaging element such as a CCD (Charge Coupled Device) or CIS (CMOS Image Sensor).
  • the imaging unit 14 outputs moving image or still image data including a plurality of frame images generated at a predetermined frame rate as captured image data.
  • Each of the imaging units 14 includes a wide-angle lens or a fish-eye lens, and can capture an image in a horizontal range of 140 ° to 190 °.
  • the optical axis of the imaging unit 14 is set obliquely downward. Therefore, the imaging unit 14 outputs captured image data obtained by imaging the periphery of the vehicle 10 including the surrounding road surface.
  • the imaging unit 14 is provided around the vehicle body 12.
  • the imaging unit 14 a is provided in a central portion (for example, a front bumper) in the left-right direction of the front end portion of the vehicle body 12.
  • the imaging unit 14 a generates a captured image that captures the periphery in front of the vehicle 10.
  • the imaging unit 14b is provided in a central portion (for example, a rear bumper) in the left-right direction of the rear end portion of the vehicle body 12.
  • the imaging unit 14 b generates a captured image that captures the periphery of the rear of the vehicle 10.
  • the imaging unit 14c is provided at the center in the front-rear direction of the left end of the vehicle body 12 (for example, the left side mirror 12a).
  • the imaging unit 14 c generates a captured image that captures the left periphery of the vehicle 10.
  • the imaging unit 14d is provided at the center in the front-rear direction of the right end of the vehicle body 12 (for example, the right side mirror 12b).
  • the imaging unit 14d generates a captured image that captures the right periphery of the vehicle 10.
  • FIG. 2 is a block diagram illustrating a configuration of the parking support system 20 including the parking support device 36 mounted on the vehicle 10.
  • the parking assistance system 20 includes a wheel speed sensor 22, a steering angle sensor 24, an automatic driving unit 32, a monitor device 34, a parking assistance device 36, and an in-vehicle network 38.
  • the wheel speed sensor 22 includes, for example, a hall element provided in the vicinity of the wheel 13.
  • the wheel speed sensor 22 outputs the detected wheel speed pulse number indicating the rotation speed of the wheel 13 to the in-vehicle network 38 as a sensor value.
  • the steering angle sensor 24 is provided in a steering section such as a steering wheel or a handle.
  • the steering angle sensor 24 detects a steering angle that is a rotation amount or a rotation angle of the steering unit by the operation of the driver.
  • the steering angle sensor 24 is, for example, a rotary encoder.
  • the steering angle sensor 24 outputs the detected steering angle to the in-vehicle network 38.
  • the automatic driving unit 32 controls the accelerator, the brake, the steering wheel, and the like based on an instruction from the parking support device 36, and automatically drives the vehicle 10 during parking.
  • the monitor device 34 is provided on a dashboard or the like in the passenger compartment.
  • the monitor device 34 includes a display unit 40, an audio output unit 42, and an operation input unit 44.
  • the display unit 40 displays an image based on the image data transmitted by the parking assistance device 36.
  • the display unit 40 is a display device such as a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL display (OELD: Organic Electroluminescent Display).
  • the display unit 40 displays, for example, a captured image in which a parking candidate area that is a candidate area for parking the vehicle 10 in automatic driving is superimposed.
  • the voice output unit 42 outputs voice based on the voice data transmitted by the parking assistance device 36.
  • the audio output unit 42 is, for example, a speaker.
  • the audio output unit 42 may be provided at a position in the vehicle compartment different from the display unit 40.
  • the operation input unit 44 receives an occupant's input.
  • the operation input unit 44 is, for example, a touch panel.
  • the operation input unit 44 is provided on the display screen of the display unit 40.
  • the operation input unit 44 is configured to transmit an image displayed on the display unit 40. Thereby, the operation input unit 44 can allow the occupant to visually recognize the image displayed on the display screen of the display unit 40.
  • the operation input unit 44 receives an instruction input by the occupant touching a position corresponding to the image displayed on the display screen of the display unit 40, and transmits the received instruction to the parking assistance device 36.
  • the operation input unit 44 outputs a parking instruction to the parking assistance device 36 when the occupant touches and selects the position of the parking candidate area displayed on the display unit 40.
  • the parking assist device 36 is a computer including a microcomputer such as an ECU (Electronic Control Unit).
  • the parking assist device 36 acquires captured image data from the imaging unit 14.
  • the parking assistance device 36 transmits data related to an image or sound generated based on the captured image or the like to the monitor device 34.
  • the parking assist device 36 controls the automatic driving unit 32 to assist by automatically driving the vehicle 10 during parking.
  • the parking assist device 36 includes a CPU (Central Processing Unit) 36a, a ROM (Read Only Memory) 36b, a RAM (Random Access Memory) 36c, a display control unit 36d, an audio control unit 36e, and an SSD (Solid State Drive). ) 36f.
  • the CPU 36a, ROM 36b, and RAM 36c may be integrated in the same package.
  • the CPU 36a is an example of a hardware processor, reads a program stored in a nonvolatile storage device such as the ROM 36b, and executes various arithmetic processes and controls according to the program.
  • CPU36a performs image processing, such as an image for parking assistance displayed on the display part 40, for example.
  • the ROM 36b stores each program and parameters necessary for executing the program.
  • the RAM 36c temporarily stores various types of data used in computations by the CPU 36a.
  • the display control unit 36 d mainly performs image processing of the image obtained by the imaging unit 14, data conversion of a display image to be displayed on the display unit 40, etc., among the arithmetic processing in the parking assist device 36.
  • the voice control unit 36e mainly executes voice processing to be output to the voice output unit 42 among the arithmetic processing in the parking assistance device 36.
  • the SSD 36f is a rewritable nonvolatile storage unit, and maintains data even when the power of the parking assistance device 36 is turned off.
  • the in-vehicle network 38 includes, for example, a CAN (Controller Area Network) and a LIN (Local Interconnect Network).
  • the in-vehicle network 38 electrically connects the wheel speed sensor 22, the steering angle sensor 24, the automatic driving unit 32, the parking assist device 36, and the operation input unit 44 so that signals and information can be transmitted and received with each other.
  • the parking support device 36 manages the parking support processing of the vehicle 10 through the cooperation of hardware and software (control program).
  • the parking assist device 36 detects a lane marking that divides the parking area of the parking lot from a captured image including a peripheral image captured by the imaging unit 14, and sets one or a plurality of parking candidate areas.
  • the parking assistance device 36 controls the automatic driving unit 32 to move into the parking candidate area selected by the occupant, thereby assisting in parking.
  • FIG. 3 is a functional block diagram for explaining the functions of the parking assist device 36.
  • the parking assistance device 36 includes a processing unit 50 and a storage unit 52.
  • the processing unit 50 is realized as a function of the CPU 36a, for example.
  • the processing unit 50 includes a setting unit 54, a detection unit 56, and an operation control unit 58.
  • the processing unit 50 may realize the functions of the setting unit 54, the detection unit 56, and the driving control unit 58 by reading the parking assistance program 70 stored in the storage unit 52.
  • Part or all of the setting unit 54, the detection unit 56, and the operation control unit 58 may be configured by hardware such as a circuit including an ASIC (Application Specific Integrated Circuit).
  • ASIC Application Specific Integrated Circuit
  • the setting unit 54 acquires a captured image obtained by capturing the periphery of the moving vehicle 10 from the imaging unit 14. For example, the setting unit 54 acquires a plurality of frame images of moving images that are temporally different from the imaging unit 14 as captured images. The setting unit 54 sets a search area for searching for one lane line or a pair of lane lines provided between adjacent parking areas in the captured image, and outputs the search area to the detection unit 56.
  • An example of a lane marking is a white line provided on the ground of a parking lot.
  • the setting unit 54 may set the search area for every several frames, for example, instead of setting the search area for all of the plurality of captured images.
  • the setting unit 54 may set the next search region in the captured image acquired after the processing for the previously set search region is completed.
  • the setting unit 54 sets the first search region in the captured image based on one or a plurality of initial coordinates until the detection unit 56 described later detects one of the pair of lane markings.
  • the initial coordinates and the shape of the first search area may be set in advance and included in the numerical data 72, for example.
  • the shape of the first search region may be, for example, a rectangular shape such as a rectangle or a parallelogram having a size that includes at least the entire pair of partition lines.
  • the setting unit 54 sets the relative position between the vehicle 10 and the first search area in the real world to be the initial coordinates until one lane marking is detected. For example, the setting unit 54 sets the first search area on the left rear side or the right rear side of the vehicle 10 based on the initial coordinates.
  • the setting unit 54 sets the first search region in the captured image by converting the coordinate system of the real world from the coordinate system of the real world to the coordinate system of the captured image using a preset mapping table for coordinate conversion or the like.
  • the mapping table may be included in the numerical data 72.
  • the setting unit 54 sets a first search region for each of a plurality of captured images that change as the vehicle 10 moves based on the initial coordinates, the mapping table, and the like.
  • the setting unit 54 may set the first search region at the same position (that is, the same coordinate) in the captured image.
  • the setting unit 54 detects a pair of lane lines based on the detected one lane line.
  • the position of the second search area for searching for the other lane marking is newly set.
  • the setting unit 54 sets the second search area in the real world so that the relative position between the position of one lane marking and the second search area in the real world becomes the set relative coordinates.
  • the set relative coordinates and the shape of the second search area may be set in advance and included in the numerical data 72, for example.
  • the set relative coordinates are, for example, the coordinates of the position moved along the direction perpendicular to the longitudinal direction of one of the detected division lines (hereinafter referred to as the perpendicular direction).
  • the set relative coordinates may be set based on the interval between one lane line and the other lane line of a general pair of lane lines.
  • the setting part 54 can set a 2nd search area
  • the shape of the second search region may be, for example, a rectangle such as a rectangle or a parallelogram having a size that includes at least the entire pair of partition lines.
  • the setting unit 54 may set a second search area that is smaller than the first search area.
  • the setting unit 54 sets the position of the second search region in the captured image by converting the coordinates of the second search region in the real world into the coordinates of the captured image based on a mapping table or the like.
  • the setting unit 54 sets a parking candidate area between the pair of lane markings and the pair of adjacent lane markings.
  • the setting unit 54 causes the display unit 40 to display an image obtained by superimposing the parking candidate area on the captured image around the vehicle 10 as a reception screen for receiving a parking instruction.
  • the setting unit 54 receives a parking instruction from an occupant via the operation input unit 44 while the reception screen is displayed, the setting unit 54 outputs information such as the parking instruction and the position of the parking candidate area to the driving control unit 58.
  • the detection unit 56 searches the first search area set in the captured image by the setting unit 54 and detects one of the pair of lane lines.
  • the detection unit 56 outputs information on the detected one lane marking to the setting unit 54.
  • the detection unit 56 searches the second search area set by the setting unit 54 based on the information of one lane line, and detects the other lane line of the pair of lane lines.
  • the detection unit 56 outputs information on the detected other lane markings to the setting unit 54.
  • the detection unit 56 repeats the same processing to detect a pair of adjacent lane lines, and outputs information on the newly detected pair of lane lines to the setting unit 54.
  • the driving control unit 58 controls the automatic driving unit 32 based on the parking candidate area selected by the occupant among the parking candidate areas set by the setting unit 54. Thereby, the driving control unit 58 parks the vehicle 10 in the parking candidate area selected by the occupant.
  • the storage unit 52 is realized as a function of the ROM 36b, the RAM 36c, the SSD 36f, and the like.
  • the storage unit 52 stores a program executed by the processing unit 50 and data necessary for executing the program.
  • the storage unit 52 stores, for example, a parking support program 70 executed by the processing unit 50.
  • the storage unit 52 stores initial data and set relative coordinates for setting a search area in the execution of the parking assistance program 70, numerical data 72 including the shape of the search area, and the like.
  • FIGS. 4 to 8 are diagrams for explaining a method of detecting one of the lane markings CLa out of the pair of lane markings CLa and CLb.
  • the area behind the oblique line SL is the imaging area captured by the imaging unit 14 b.
  • a pair of lane markings CLa and CLb and another pair of lane markings CLa and CLb are provided on both sides of the parking area PA.
  • a pair of lane markings CLa and CLb is provided between the parking area PA and the adjacent parking area PA.
  • the pair of lane markings CLa and CLb shown in FIG. 4 is U-shaped, the lane marking CLa and the lane marking CLb may be separated. When it is not necessary to distinguish between the lane markings CLa and CLb, the lane markings are described as the lane marking CL.
  • the setting unit 54 sets the first search area FEA in the real world based on the initial coordinates. For example, the setting unit 54 sets the first search area FEA with real-world coordinates so that the relative position to the vehicle 10 becomes the initial coordinates.
  • the setting unit 54 converts the coordinates of the first search area FEA into the coordinates of the captured image that is the frame image acquired from the imaging unit 14b by using a mapping table or the like. Thereby, the setting unit 54 sets a rectangular first search area FEA in the captured image.
  • the detection unit 56 uses the edge detection method, RANSAC (RANdom Sample Consensus), CONSAC (CONnected Sample Consensus), the least square method, and the like within the first search area FEA set by the setting unit 54.
  • One of the dividing lines CLa is detected from the lines CLa and CLb.
  • the detection unit 56 searches the first search area FEA set by the setting unit 54 in the captured image, and detects the minus edge point MP and the negative edge point MP by a known edge detection method or the like.
  • a positive edge point PP is detected.
  • the minus edge point MP here is a point where the image changes from dark to bright.
  • the minus edge point MP is, for example, a point on the boundary where the black road surface is switched to the white lane marking CL.
  • the plus edge point PP is a point where the image changes from light to dark.
  • the plus edge point PP is, for example, a point on the boundary where the white division line CL is switched to a black road surface.
  • the minus edge point MP is indicated by a black point
  • the plus edge point PP is indicated by a white point.
  • the detection unit 56 performs a first search for the first reference area FRA, the second reference area SRA, the first auxiliary area FSA, and the second auxiliary area SSA for detecting the lane marking CLa.
  • Set in area FEA For example, the detection unit 56 may set the first reference area FRA, the second reference area SRA, the first auxiliary area FSA, and the second auxiliary area SSA in this order from the rear side.
  • the detection unit 56 may initially set the rear end portion of the first reference area FRA to coincide with the rear end portion of the first search area FEA.
  • the detection unit 56 may change the timing for setting the first reference area FRA and the first auxiliary area FSA from the timing for setting the second reference area SRA and the second auxiliary area SSA.
  • the interval between the first reference area FRA and the first auxiliary area FSA and the interval between the second reference area SRA and the second auxiliary area SSA may be set as numerical data 72 in advance.
  • the first reference area FRA, the second reference area SRA, the first auxiliary area FSA, and the second auxiliary area SSA may partially overlap each other.
  • the first reference area FRA and the first auxiliary area FSA are areas for calculating the number of minus edge points MP (hereinafter, minus points) of the lane marking CL. Therefore, the detection unit 56 calculates the minus point by counting the number of minus edge points MP of the lane markings CL included in the first reference area FRA and the first auxiliary area FSA.
  • the second reference area SRA and the second auxiliary area SSA are areas for calculating the number of plus edge points PP (hereinafter, plus points) of the lane marking CL. Accordingly, the detection unit 56 counts the number of plus edge points PP of the lane markings CL included in the second reference area SRA and the second auxiliary area SSA, and calculates a plus point.
  • the detection unit 56 searches each area FRA at a predetermined interval from the rear end part to the front end part of the first search area FEA in order to search for one lane marking CLa.
  • Move the FSA In other words, the detection unit 56 searches for one lane marking CLa in the first search area FEA along the traveling direction of the vehicle 10.
  • the detection unit 56 changes the direction by rotating the regions FRA and FSA around the vertical axis at each position.
  • the detection unit 56 changes the positions and directions of the regions FRA and FSA while keeping the regions FRA and FSA parallel to each other.
  • the detection unit 56 counts the minus edge points MP in the regions FRA and FSA in each position and each direction, and calculates a minus point.
  • the detection unit 56 identifies the positions and directions of the regions FRA and FSA where the minus point is the highest.
  • the detection unit 56 moves each of the areas SRA and SSA at a predetermined interval from the rear end portion to the front end portion of the first search area FEA in order to search for one lane marking CLa. In other words, the detection unit 56 searches for one lane marking CLa in the first search area FEA along the traveling direction of the vehicle 10. Further, the detection unit 56 changes the direction by rotating the areas SRA and SSA around the vertical axis at each position. The detection unit 56 changes the positions and directions of the regions SRA and SSA while keeping the regions SRA and SSA parallel to each other. The detection unit 56 counts the plus edge points PP in the regions SRA and SSA in each position and each direction, and calculates a plus point. The detection unit 56 specifies the positions and directions of the regions SRA and SSA where the plus points are the highest.
  • the detection unit 56 sets the regions FRA, SRA, FSA, and SSA in the state shown in FIG. 6 as the position and direction in which the point becomes the highest, and based on the reference regions FRA and SRA in this state, CLa is detected.
  • the detection unit 56 uses the RANSAC or the CONSAC to generate noise (that is, an outlier) among the negative edge points MP included in the first reference region FRA having the highest negative point.
  • a straight line generated by applying the least squares method to a plurality of minus edge points MP from which is deleted is detected as an outer boundary BDa1 of one division line CLa.
  • the boundary BDa1 is indicated by a thick solid line.
  • the detection unit 56 performs the same processing, and applies the least square method to a plurality of plus edge points PP obtained by removing noise from the plus edge points PP included in the second reference region SRA having the highest plus point.
  • the generated straight line is detected as a boundary BDa2 inside one of the division lines CLa.
  • the boundary BDa2 is indicated by a thick dotted line.
  • the detection unit 56 determines whether or not to adopt the one division line CLa detected based on the parallelism of the boundaries BDa1 and BDa2 on both sides of the one division line CLa and a predetermined first parallel threshold value. It may be determined.
  • the parallelism may be an angle at which the boundary BDa1 and the boundary BDa2 intersect, for example.
  • the first parallel threshold is included in the numerical data 72 and may be, for example, several degrees.
  • the detection unit 56 may adopt the partition line CLa if the parallelism of the boundaries BDa1 and BDa2 is less than the first parallel threshold.
  • the detection unit 56 may delete the data without adopting the lane marking CLa and detect a new lane marking CLa.
  • the detection unit 56 outputs information on the boundaries BDa1 and BDa2 determined to be adopted to the setting unit 54 as information on one lane marking CLa.
  • 9 to 13 are diagrams for explaining a method of detecting the other lane marking CLb out of the pair of lane markings CLa and CLb.
  • 9 to 13 show a state in which the vehicle 10 has advanced from the position shown in FIG. 6 indicated by a dotted line in FIG.
  • the setting unit 54 acquires a new captured image captured by the imaging unit 14b in a state where the vehicle 10 has moved forward.
  • the setting unit 54 sets the second search area SEA for detecting the other lane marking CLb based on the information of the one lane marking CLa obtained from the detection unit 56. Specifically, the setting unit 54 detects the other lane marking CLb based on the wheel speed acquired from the wheel speed sensor 22 and the steering angle information acquired from the steering angle sensor 24. Is set to the position of the set relative coordinate from the position of one lane marking CLa in the real world (for example, the center position of the boundaries BDa1 and BDa2 of one lane marking CLa).
  • the setting unit 54 may set a rectangular second search area SEA smaller than the first search area FEA. Specifically, the setting unit 54 may set the second search area SEA having a smaller width in the perpendicular direction of the lane markings CLa and CLb (or the traveling direction of the vehicle 10) than the first search area FEA. The setting unit 54 sets the second search area SEA set in the real world in the captured image by coordinate conversion using a mapping table or the like. The setting unit 54 outputs information on the set second search area SEA to the detection unit 56.
  • the detection unit 56 searches the second search area SEA by an edge detection method or the like, and detects a minus edge point MP and a plus edge point PP.
  • the detection unit 56 sets the first reference area FRA, the second reference area SRA, the first auxiliary area FSA, and the second auxiliary area SSA in the second search area SEA.
  • the detection unit 56 arranges the second reference area SRA, the first reference area FRA, the second auxiliary area SSA, and the first auxiliary area FSA in this order from the front side. That is, the detection unit 56 sets the areas SRA, FRA, SSA, and FSA in the second search area SEA in an order different from the order of the first search area FEA.
  • the detection unit 56 sets the regions SRA, FRA, SSA, and FSA in the second search region SEA so that the front end of the second reference region SRA matches the front end of the second search region SEA.
  • the detection unit 56 includes a plus point that is the number of plus edge points PP in the second reference area SRA and the second auxiliary area SSA, and the number of minus edge points MP in the first reference area FRA and the first auxiliary area FSA. The minus point that is is calculated.
  • the detection unit 56 moves each region SRA, SSA from the front end portion to the rear end portion of the second search region SEA at a predetermined interval in order to search for the other lane marking CLb.
  • the detection unit 56 searches for the other lane marking CLb in the second search area SEA along the direction opposite to the traveling direction of the vehicle 10.
  • the detection unit 56 changes the direction by rotating the areas SRA and SSA around the vertical axis at each position.
  • the detection unit 56 changes the positions and directions of the regions SRA and SSA while keeping the regions SRA and SSA parallel to each other.
  • the detection unit 56 counts the plus edge points PP in the regions SRA and SSA in each position and each direction, and calculates a plus point.
  • the detection unit 56 specifies the positions and directions of the regions SRA and SSA where the plus points are the highest.
  • the detecting unit 56 moves the regions FRA and FSA at predetermined intervals from the front end portion to the rear end portion of the second search area SEA in order to search for the other lane marking CLb. In other words, the detection unit 56 searches for the other lane marking CLb in the second search area SEA along the direction opposite to the traveling direction of the vehicle 10.
  • the detection unit 56 changes the direction by rotating the regions FRA and FSA around the vertical axis at each position.
  • the detection unit 56 changes the positions and directions of the regions FRA and FSA while keeping the regions FRA and FSA parallel to each other.
  • the detection unit 56 counts the minus edge points MP in the regions FRA and FSA in each position and each direction, and calculates a minus point.
  • the detection unit 56 identifies the positions and directions of the regions FRA and FSA where the minus point is the highest.
  • the detection unit 56 selects the other The position and direction of the lane marking CLb are detected. For example, in the state shown in FIG. 11, since the edge points MP, PP in the second search area SEA are included in the areas SRA, FRA, SSA, the plus point and the minus point are increased. Note that the detection unit 56 does not count the edge points MP and PP (here, the minus edge point MP of one division line CLa) on the boundary of the second search area SEA. On the other hand, in the state shown in FIG.
  • the detection unit 56 detects the other lane marking CLb based on the reference regions FRA and SRA in the state shown in FIG.
  • the detection unit 56 uses the RANSAC or the CONSAC to generate noise (that is, an outlier) among the positive edge points PP included in the second reference region SRA having the highest positive point.
  • a straight line generated by applying the least squares method to a plurality of positive edge points PP from which is deleted is detected as an outer boundary BDb1 of the other partition line CLb.
  • the boundary BDb1 is indicated by a thick solid line.
  • the detection unit 56 performs the same processing, and applies the least square method to a plurality of negative edge points MP in which noise is deleted from the negative edge points MP included in the first reference region FRA having the highest negative point.
  • the generated straight line is detected as a boundary BDb2 inside the other lane marking CLb.
  • the boundary BDb2 is indicated by a thick dotted line.
  • the detection unit 56 determines whether or not to adopt the other lane marking CLb detected based on the parallelism of the boundaries BDb1 and BDb2 on both sides of the other lane marking CLb and a predetermined second parallel threshold. It may be determined. For example, if the parallelism of the boundaries BDb1 and BDb2 is less than the second parallel threshold, the detection unit 56 may adopt the lane marking CLb. On the other hand, if the parallelism of the boundaries BDb1 and BDb2 is equal to or greater than the second parallel threshold, the detection unit 56 deletes the data without adopting the lane marking CLb and detects new lane markings CLa and CLb. Good. For example, the second parallel threshold is larger than the first parallel threshold. The detection unit 56 outputs information on the boundaries BDb1 and BDb2 determined to be adopted to the setting unit 54 as information on the other lane marking CLb.
  • FIG. 14 is a flowchart of the parking support process executed by the processing unit 50.
  • the processing unit 50 reads the parking support program 70 and executes a parking support process.
  • the setting unit 54 acquires a captured image from the imaging unit 14b (S102).
  • the setting unit 54 sets the first search area FEA in the captured image (S104). Specifically, as illustrated in FIG. 4, the setting unit 54 sets the first search area FEA in the real world based on the initial coordinates. The setting unit 54 sets the first search area FEA in the captured image by coordinate conversion using a mapping table or the like. The setting unit 54 outputs information on the first search area FEA to the detection unit 56.
  • the detecting unit 56 searches the first search area FEA and executes a process of detecting one lane marking CLa out of the pair of lane markings CLa and CLb (S106). Specifically, as illustrated in FIGS. 4 to 7, the detection unit 56 detects the edge points MP and PP in the first search area FEA, and the areas FRA and SRA where the minus point and the plus point are the highest. , FSA, SSA positions and directions are determined. As shown in FIG. 8, the detection unit 56 detects the boundaries BDa1 and BDa2 of the lane marking CLa based on the edge points MP and PP in the regions FRA, SRA, FSA, and SSA in the position and direction.
  • the detecting unit 56 determines whether or not the boundaries BDa1 and BDa2 of one lane marking CLa are detected (S108). When the boundaries BDa1 and BDa2 of the lane marking CLa are not detected (S108: No), the detection unit 56 repeats step S102 and subsequent steps.
  • the detection unit 56 determines whether to adopt the detected lane marking CLa (S110). For example, the detection unit 56 may determine whether or not to adopt the lane marking CLa based on the parallelism of the boundaries BDa1 and BDa2 and the first parallel threshold. If the parallelism of the boundaries BDa1 and BDa2 is equal to or greater than the first parallel threshold, the detection unit 56 determines that the lane marking CLa is not adopted (S110: No), erases the information on the lane marking CLa, Step S102 and subsequent steps are executed again.
  • the detection unit 56 determines that the lane marking CLa is adopted (S110: Yes), and the pair of lane markings CLa and CLb are in the parking area. It is determined whether or not it exists between PAs (S112). For example, the detection unit 56 may determine whether or not a pair of lane markings CLa and CLb exists between the parking areas PA and PA based on the highest negative point and positive point values. Specifically, when only one lane marking CL exists between the parking areas PA and PA, the lane marking CL exists only in one of the reference areas FRA and SRA and the auxiliary areas FSA and SSA.
  • the detection unit 56 may determine that there is a pair of lane markings CLa and CLb if the highest negative point and positive point are equal to or greater than a predetermined threshold for determination. On the other hand, if the highest minus point or plus point is less than the determination threshold, the detection unit 56 may determine that only one lane marking CL exists.
  • the threshold for determination may be set to about half of the average value of the highest minus point and plus point when there is a pair of lane markings CLa and CLb.
  • the detection unit 56 determines that the parking area PA and the partition line CL between the PAs are not a pair but only one (S112: No), the detection unit 56 executes step S124 described later.
  • the detection unit 56 determines that there is a pair of lane markings CLa and CLb between the parking areas PA and PA (S112: Yes), information on the detected lane marking CLa (for example, information on the boundaries BDa1 and BDa2). Output to the setting unit 54.
  • the setting unit 54 detects the other lane marking CLb out of the pair of lane markings CLa and CLb between the same parking areas PA and PA based on the detected lane marking CLa. Then, a new captured image is acquired from the imaging unit 14b (S114).
  • the setting unit 54 sets the second search area SEA in a new captured image (S116). Specifically, in the real world, the setting unit 54 has a second search area smaller than the first search area FEA from the position of one of the detected lane markings CLa acquired from the detection unit 56 to the position of the set relative coordinate. Set SEA.
  • the setting unit 54 converts the coordinates of the real world into the coordinates of the captured image based on the mapping table or the like, and sets the second search area SEA in the captured image.
  • the setting unit 54 outputs information on the second search area SEA to the detection unit 56.
  • the detecting unit 56 searches the second search area SEA and executes processing for detecting the other lane marking CLb out of the pair of lane markings CLa and CLb (S118). Specifically, the detection unit 56 detects the edge points MP and PP in the second search area SEA, and determines the positions and directions of the areas FRA, SRA, FSA, and SSA where the minus point and the plus point are the highest. To do. The detection unit 56 detects the boundaries BDb1 and BDb2 of the other partition line CLb based on the edge points MP and PP in the regions FRA, SRA, FSA, and SSA in the position and direction.
  • the detection unit 56 determines whether or not the boundaries BDb1 and BDb2 of the other lane marking CLb are detected (S120). When the boundaries BDb1 and BDb2 of the lane marking CLb are not detected (S120: No), the detection unit 56 repeats step S102 and subsequent steps.
  • the detection unit 56 determines whether to use the detected lane marking CLb (S122). For example, the detection unit 56 may determine whether or not to use the lane marking CLb based on the parallelism of the boundaries BDb1 and BDb2 and the second parallel threshold. If the parallelism of the boundaries BDb1 and BDb2 is equal to or greater than the second parallel threshold, the detection unit 56 determines that the lane marking CLb is not adopted (S122: No), and erases the information on the lane markings CLa and CLb. Step S102 and subsequent steps are executed again.
  • the detection unit 56 determines that the lane marking CLb is adopted (S122: Yes), and the boundaries BDb1 and BDb2 of the detected lane marking CLb. Is output to the setting unit 54.
  • the setting unit 54 acquires information on the boundaries BDb1 and BDb2 of the lane marking CLb, it determines whether or not the lane marking CL on both sides of the parking area PA has been detected (S124). For example, the setting unit 54 detects a pair of lane markings CLa and CLb on one side of the parking area PA (for example, the rear side of the vehicle 10), and detects the other side of the same parking area PA (for example, the front side of the vehicle 10). ), If another pair of lane markings CLa and CLb is detected, it is determined that the lane marking CL has been detected on both sides of the parking area PA.
  • the setting unit 54 detects one lane line CL on one side of the parking area PA and detects another lane line CL on the other side of the same parking area PA. It is determined that the lane marking CL has been detected on both sides of the parking area PA.
  • the setting part 54 is one parking area based on the space
  • the setting unit 54 determines that the marking line CL is detected only on one side of the parking area PA (S124: No)
  • the setting unit 54 repeats Step S102 and the subsequent steps, and is opposite to the one side of the parking area PA that detects the marking line CL. Is detected.
  • the parking candidate area is located between the two pairs of lane markings CLa and CLb (or between the two lane markings CL). Is set (S126).
  • the setting unit 54 determines whether or not a parking instruction has been received (S128).
  • the setting unit 54 may receive a parking instruction from the operation input unit 44 by causing the display unit 40 to display a reception screen in which an image of the parking candidate area is superimposed on the captured image.
  • the setting unit 54 may determine that the parking instruction has been accepted when the occupant touches the parking candidate area of the operation input unit 44.
  • the setting unit 54 determines that the parking instruction has not been received when a predetermined time has elapsed since the reception screen was displayed or when the parking instruction has not been received before the vehicle 10 has moved a predetermined distance. You can do it.
  • the setting unit 54 When the setting unit 54 does not accept a parking instruction (S128: No), the setting unit 54 and the detection unit 56 repeat steps S102 and after to detect new lane markings CLa and CLb.
  • the setting unit 54 When the setting unit 54 receives a parking instruction (S128: Yes), the setting unit 54 outputs the parking instruction to the driving control unit 58.
  • the driving control unit 58 controls the automatic driving unit 32 to automatically drive the vehicle 10 and park it in the parking candidate area selected by the occupant (S130). Thereby, the process part 50 complete
  • the second search area SEA for searching for the other lane line CLb is set based on the lane line CLa previously detected from the pair of lane lines CLa and CLb. To do. Thereby, since the parking assistance apparatus 36 can set the area
  • the parking assistance device 36 detects the other lane marking CLb in the second search area SEA that is smaller than the first search area FEA. Thereby, the parking assistance apparatus 36 can shorten more the time which detects the other division line CLb.
  • the parking assistance device 36 since it is determined whether or not one lane line CLa is adopted based on the parallelism of the boundaries BDa1 and BDb1 of the lane line CLa and the first parallel threshold, other than the one lane line CLa It is possible to suppress the side grooves and the like from being mistakenly recognized as lane markings.
  • the parking assist device 36 it is determined whether to adopt the other lane marking CLb based on the parallelism of the boundaries BDa1 and BDb1 of the other lane marking CLb and the second parallel threshold, so that other than the other lane marking CLb It is possible to suppress the side grooves and the like from being mistakenly recognized as lane markings. Furthermore, by making the second parallel threshold value larger than the first parallel threshold value, it is possible to prevent the other detected division line CLb from being erroneously rejected.
  • the first search area FEA is searched along the traveling direction of the vehicle 10 to detect one lane marking CLa
  • the second search area SEA is detected along the direction opposite to the traveling direction of the vehicle 10.
  • the other lane marking CLb is detected.
  • the parking assistance apparatus 36 can detect the boundaries BDa1 and BDb1 outside the pair of lane markings CLa and CLb necessary for setting the parking candidate area with higher accuracy.
  • steps S110 and S122 it is determined whether or not the detected lane markings CLa and CLb are adopted based on the parallelism of the boundary and the parallel threshold value.
  • the processing may be omitted. .
  • step S112 when one lane marking CLa is detected, it is determined in step S112 whether or not there is a pair of lane markings CLa and CLb, but this processing may be omitted.
  • the detection unit 56 determines that the other minus point and plus point are less than the predetermined determination threshold value. It may be determined that the lane marking CLb does not exist.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

駐車支援装置は、移動中の車両の周辺を撮像した撮像画像内に隣接する駐車領域間に設けられた一対の区画線を探索するための第1探索領域を設定する設定部と、前記第1探索領域内を探索して前記一対の区画線のうち一方の区画線を検出する検出部と、を備え、前記検出部が、前記一方の区画線を検出すると、前記設定部は、前記一方の区画線に基づいて、前記一対の区画線のうち他方の区画線を探索するための第2探索領域を設定する。

Description

駐車支援装置
 本発明は、駐車支援装置に関する。
 駐車場等において車両の駐車を支援する駐車支援装置が知られている。駐車支援装置は、車両の駐車領域と駐車領域との間に設けられた一対の区画線を撮像画像から検出して、駐車を支援する。このような駐車支援装置は、一対の区画線を検出する場合、撮像画像内の全域を探索して区画線を検出する。
特開2014-106706号公報
 しかしながら、上述の駐車支援装置では、撮像画像の全域を探索するので、一対の区画線の探索に要する時間が長いといった課題がある。
 本発明は、上記に鑑みてなされたものであって、一対の区画線の探索に要する時間を短縮できる駐車支援装置を提供する。
 上述した課題を解決し、目的を達成するために、本発明の駐車支援装置は、移動中の車両の周辺を撮像した撮像画像内に隣接する駐車領域間に設けられた一対の区画線を探索するための第1探索領域を設定する設定部と、前記第1探索領域内を探索して前記一対の区画線のうち一方の区画線を検出する検出部と、を備え、前記検出部が、前記一方の区画線を検出すると、前記設定部は、前記一方の区画線に基づいて、前記一対の区画線のうち他方の区画線を探索するための第2探索領域を設定する。
 本発明の駐車支援装置では、先に検出された一方の区画線に基づいて、他方の区画線を探索する第2探索領域を設定する。これにより、駐車支援装置は、撮像画像内の一部の適切な位置に第2探索領域を設定できるので、他方の区画線を検出する時間を短縮することができる。
 本発明の駐車支援装置は、前記設定部は、前記第1探索領域よりも小さい前記第2探索領域を設定してよい。
 このように、本発明の駐車支援装置は、第1探索領域よりも小さい第2探索領域内で他方の区画線を検出するので、他方の区画線を検出する時間をより短縮することができる。
 本発明の駐車支援装置は、前記検出部は、前記一方の区画線の両側の境界の平行度と、予め定められた第1平行閾値とに基づいて、前記一方の区画線を採用するか否かを判定してよい。
 このように、本発明の駐車支援装置は、一方の区画線の両側の境界の平行度と第1平行閾値とに基づいて一方の区画線を採用するか否かを判定するので、一方の区画線以外の側溝等を誤って区画線として認識することを抑制できる。
 本発明の駐車支援装置は、前記検出部は、前記他方の区画線の両側の境界の平行度と、予め定められた前記第1平行閾値よりも大きい第2平行閾値とに基づいて、前記他方の区画線を採用するか否かを判定してよい。
 このように、本発明の駐車支援装置は、他方の区画線の両側の境界の平行度と第2平行閾値とに基づいて他方の区画線を採用するか否かを判定するので、他方の区画線以外の側溝等を誤って区画線として認識することを抑制できる。更に、第2平行閾値を第1平行閾値よりも大きくすることによって、正しく検出された他方の区画線が誤って不採用となることを抑制できる。
 本発明の駐車支援装置は、前記検出部は、前記車両の進行方向に沿って前記一方の区画線を前記第1探索領域内で探索し、前記車両の進行方向と反対方向に沿って前記他方の区画線を前記第2探索領域内で探索してよい。
 これにより、本発明の駐車支援装置では、駐車候補領域の設定に必要な一対の区画線の外側の境界をより精度よく検出することができる。
図1は実施形態の駐車支援装置が搭載される車両の平面図である。 図2は車両に搭載される駐車支援装置を含む駐車支援システムの構成を説明するブロック図である。 図3は駐車支援装置の機能を説明する機能ブロック図である。 図4は一対の区画線のうち、一方の区画線の検出方法を説明する図である。 図5は一対の区画線のうち、一方の区画線の検出方法を説明する図である。 図6は一対の区画線のうち、一方の区画線の検出方法を説明する図である。 図7は一対の区画線のうち、一方の区画線の検出方法を説明する図である。 図8は一対の区画線のうち、一方の区画線の検出方法を説明する図である。 図9は一対の区画線のうち、他方の区画線の検出方法を説明する図である。 図10は一対の区画線のうち、他方の区画線の検出方法を説明する図である。 図11は一対の区画線のうち、他方の区画線の検出方法を説明する図である。 図12は一対の区画線のうち、他方の区画線の検出方法を説明する図である。 図13は一対の区画線のうち、他方の区画線の検出方法を説明する図である。 図14は処理部が実行する駐車支援処理のフローチャートである。
 以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
 <実施形態>
 図1は、実施形態の駐車支援装置が搭載される車両10の平面図である。図1に示すように、車両10は、車体12と、4個の撮像部14a、14b、14c、14dとを有する。撮像部14a、14b、14c、14dを区別する必要がない場合、撮像部14と記載する。
 車体12は、乗員が乗車する車室を構成する。車体12は、車輪13及び撮像部14等の車両10の構成を収容または保持する。
 撮像部14は、例えば、CCD(Charge Coupled Device)、または、CIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部14は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力する。撮像部14は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の140°~190°の範囲を撮像することができる。撮像部14の光軸は、斜め下方に向けて設定されている。従って、撮像部14は、周辺の路面を含む車両10の周辺を撮像した撮像画像のデータを出力する。
 撮像部14は、車体12の周囲に設けられている。例えば、撮像部14aは、車体12の前端部の左右方向の中央部(例えば、フロントバンパー)に設けられている。撮像部14aは、車両10の前方の周辺を撮像した撮像画像を生成する。撮像部14bは、車体12の後端部の左右方向の中央部(例えば、リアバンパー)に設けられている。撮像部14bは、車両10の後方の周辺を撮像した撮像画像を生成する。撮像部14cは、車体12の左端部の前後方向の中央部(例えば、左側のサイドミラー12a)に設けられている。撮像部14cは、車両10の左方の周辺を撮像した撮像画像を生成する。撮像部14dは、車体12の右端部の前後方向の中央部(例えば、右側のサイドミラー12b)に設けられている。撮像部14dは、車両10の右方の周辺を撮像した撮像画像を生成する。
 図2は、車両10に搭載される駐車支援装置36を含む駐車支援システム20の構成を説明するブロック図である。図2に示すように、駐車支援システム20は、車輪速センサ22と、操舵角センサ24と、自動運転部32と、モニタ装置34と、駐車支援装置36と、車内ネットワーク38とを備える。
 車輪速センサ22は、例えば、車輪13の近傍に設けられたホール素子等を含む。車輪速センサ22は、検出した車輪13の回転数を示す車輪速パルス数をセンサ値として車内ネットワーク38へ出力する。
 操舵角センサ24は、ステアリングホイールまたはハンドル等の操舵部に設けられている。操舵角センサ24は、運転者の操作による操舵部の回転量または回転角である操舵角を検出する。操舵角センサ24は、例えば、ロータリーエンコーダ等である。操舵角センサ24は、検出した操舵角を車内ネットワーク38へ出力する。
 自動運転部32は、駐車支援装置36からの指示に基づいて、アクセル、ブレーキ、及び、ハンドル等を制御して、駐車時に車両10を自動運転する。
 モニタ装置34は、車室内のダッシュボード等に設けられている。モニタ装置34は、表示部40と、音声出力部42と、操作入力部44とを有する。
 表示部40は、駐車支援装置36が送信した画像データに基づいて、画像を表示する。表示部40は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、または、有機ELディスプレイ(OELD:Organic Electroluminescent Display)等の表示装置である。表示部40は、例えば、自動運転における車両10を駐車する領域の候補である駐車候補領域を重畳させた撮像画像を表示する。
 音声出力部42は、駐車支援装置36が送信した音声データに基づいて音声を出力する。音声出力部42は、例えば、スピーカである。音声出力部42は、表示部40と異なる車室内の位置に設けられていてもよい。
 操作入力部44は、乗員の入力を受け付ける。操作入力部44は、例えば、タッチパネルである。操作入力部44は、表示部40の表示画面に設けられている。操作入力部44は、表示部40が表示する画像を透過可能に構成されている。これにより、操作入力部44は、表示部40の表示画面に表示される画像を乗員に視認させることができる。操作入力部44は、表示部40の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付けて、駐車支援装置36へ送信する。例えば、操作入力部44は、表示部40が表示している駐車候補領域の位置を乗員が触れて選択した場合、駐車指示を駐車支援装置36へ出力する。
 駐車支援装置36は、ECU(Electronic Control Unit)等のマイクロコンピュータを含むコンピュータである。駐車支援装置36は、撮像部14から撮像画像のデータを取得する。駐車支援装置36は、撮像画像等に基づいて生成した画像または音声に関するデータをモニタ装置34へ送信する。駐車支援装置36は、自動運転部32を制御して、駐車時に車両10を自動運転して支援する。駐車支援装置36は、CPU(Central Processing Unit)36aと、ROM(Read Only Memory)36bと、RAM(Random Access Memory)36cと、表示制御部36dと、音声制御部36eと、SSD(Solid State Drive)36fとを備える。CPU36a、ROM36b及びRAM36cは、同一パッケージ内に集積されていてもよい。
 CPU36aは、ハードウェアプロセッサの一例であって、ROM36b等の不揮発性の記憶装置に記憶されたプログラムを読み出して、当該プログラムにしたがって各種の演算処理および制御を実行する。CPU36aは、例えば、表示部40に表示させる駐車支援用の画像等の画像処理を実行する。
 ROM36bは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。RAM36cは、CPU36aでの演算で用いられる各種のデータを一時的に記憶する。表示制御部36dは、駐車支援装置36での演算処理のうち、主として、撮像部14で得られた画像の画像処理、表示部40に表示させる表示用の画像のデータ変換等を実行する。音声制御部36eは、駐車支援装置36での演算処理のうち、主として、音声出力部42に出力させる音声の処理を実行する。SSD36fは、書き換え可能な不揮発性の記憶部であって、駐車支援装置36の電源がオフされた場合にあってもデータを維持する。
 車内ネットワーク38は、例えば、CAN(Controller Area Network)及びLIN(Local Interconnect Network)等を含む。車内ネットワーク38は、車輪速センサ22と、操舵角センサ24と、自動運転部32と、駐車支援装置36と、操作入力部44とを互いに信号及び情報を送受信可能に電気的に接続する。
 本実施形態では、駐車支援装置36は、ハードウェアとソフトウェア(制御プログラム)が協働することにより、車両10の駐車支援処理を司る。駐車支援装置36は、撮像部14が撮像した周辺の画像を含む撮像画像から駐車場の駐車領域を区画する区画線を検出して、1または複数の駐車候補領域を設定する。駐車支援装置36は、自動運転部32を制御することにより、乗員が選択した駐車候補領域内へと移動させて、駐車を支援する。
 図3は、駐車支援装置36の機能を説明する機能ブロック図である。図3に示すように、駐車支援装置36は、処理部50と、記憶部52とを有する。
 処理部50は、例えば、CPU36a等の機能として実現される。処理部50は、設定部54と、検出部56と、運転制御部58とを有する。処理部50は、記憶部52に格納された駐車支援プログラム70を読み込むことによって、設定部54、検出部56、及び、運転制御部58の機能を実現してよい。尚、設定部54、検出部56、及び、運転制御部58の一部または全ては、ASIC(Application Specific Integrated Circuit)を含む回路等のハードウェアによって構成されてもよい。
 設定部54は、移動中の車両10の周辺を撮像した撮像画像を撮像部14から取得する。例えば、設定部54は、撮像部14から時間的に異なる動画の複数のフレーム画像を撮像画像として取得する。設定部54は、隣接する駐車領域間に設けられた一本の区画線または一対の区画線を探索するための探索領域を撮像画像内に設定して、検出部56へ出力する。区画線の一例は、駐車場の地面に設けられた白線である。ここで、設定部54は、複数の撮像画像の全てに探索領域を設定するのではなく、例えば、数フレーム毎に探索領域を設定してよい。また、設定部54は、先に設定した探索領域に対する処理が終了してから取得した撮像画像に次の探索領域を設定してもよい。
 ここで、設定部54は、後述する検出部56が一対の区画線の一方を検出するまでは、1または複数の初期座標に基づいて、撮像画像内に第1探索領域を設定する。初期座標及び第1探索領域の形状は、例えば、予め設定されて数値データ72に含まれていてよい。第1探索領域の形状は、例えば、少なくとも一対の区画線の全体を含む程度の大きさを有する長方形または平行四辺形等の矩形状であってよい。具体的には、設定部54は、一方の区画線が検出されるまでは、現実世界において車両10と第1探索領域との相対位置が初期座標となるように設定する。例えば、設定部54は、初期座標に基づいて、車両10の左後方または右後方に第1探索領域を設定する。次に、設定部54は、予め設定された座標変換用のマッピングテーブル等によって現実世界の座標系から撮像画像の座標系に変換することによって、撮像画像内に第1探索領域を設定する。マッピングテーブルは、数値データ72に含まれていてよい。更に、設定部54は、初期座標及びマッピングテーブル等に基づいて、車両10の移動に伴って変化する複数の撮像画像のそれぞれに第1探索領域を設定する。ここで、設定部54は、撮像画像を拡大等しない場合、撮像画像内の同じ位置(即ち、同じ座標)に第1探索領域を設定してよい。
 更に、設定部54は、検出部56が一方の区画線を検出して、一方の区画線の情報を検出部56から取得すると、当該検出された一方の区画線に基づいて、一対の区画線のうち他方の区画線を探索するための第2探索領域の位置を新たに設定する。具体的には、設定部54は、現実世界において一方の区画線の位置と第2探索領域との相対位置が設定相対座標となるように、第2探索領域を現実世界に設定する。設定相対座標及び第2探索領域の形状は、例えば、予め設定されて数値データ72に含まれていてよい。設定相対座標は、例えば、検出された一方の区画線の長手方向と垂直な方向(以下、垂線方向)に沿って移動させた位置の座標である。設定相対座標は、一般的な一対の区画線の一方の区画線と他方の区画線との間隔に基づいて設定してよい。これにより、設定部54は、一方の区画線を基準として、他方の区画線が存在する可能性の高い位置に第2探索領域を設定できる。第2探索領域の形状は、例えば、少なくとも一対の区画線の全体を含む程度の大きさを有する長方形または平行四辺形等の矩形状であってよい。設定部54は、第1探索領域よりも小さい第2探索領域を設定してよい。設定部54は、現実世界の第2探索領域の座標を、マッピングテーブル等に基づいて撮像画像の座標に変換することによって、第2探索領域の位置を撮像画像内に設定する。
 設定部54は、検出部56が複数対の区画線を検出すると、一対の区画線と、隣接する一対の区画線との間に駐車候補領域を設定する。設定部54は、駐車候補領域を車両10の周辺の撮像画像に重畳させた画像を、駐車指示を受け付ける受付画面として、表示部40に表示させる。設定部54は、当該受付画面の表示中に、操作入力部44を介して、乗員から駐車指示を受け付けると、当該駐車指示及び駐車候補領域の位置等の情報を運転制御部58へ出力する。
 検出部56は、設定部54が撮像画像内に設定した第1探索領域内を探索して、一対の区画線のうち一方の区画線を検出する。検出部56は、検出した一方の区画線の情報を設定部54に出力する。更に、検出部56は、設定部54が一方の区画線の情報に基づいて設定した第2探索領域内を探索して、一対の区画線のうち他方の区画線を検出する。検出部56は、検出した他方の区画線の情報を設定部54へ出力する。検出部56は、同様の処理を繰り返すことによって、隣接する一対の区画線を検出して、新たに検出した一対の区画線の情報を設定部54へ出力する。
 運転制御部58は、設定部54が設定した駐車候補領域のうち、乗員が選択した駐車候補領域に基づいて、自動運転部32を制御する。これにより、運転制御部58は、乗員が選択した駐車候補領域へ車両10を駐車させる。
 記憶部52は、ROM36b、RAM36c及びSSD36f等の機能として実現される。記憶部52は、処理部50が実行するプログラム及びプログラムの実行において必要なデータ等を記憶する。記憶部52は、例えば、処理部50が実行する駐車支援プログラム70を記憶する。記憶部52は、駐車支援プログラム70の実行において探索領域を設定するための初期座標及び設定相対座標、探索領域の形状等を含む数値データ72等を記憶する。
 図4から図8は、一対の区画線CLa、CLbのうち、一方の区画線CLaの検出方法を説明する図である。図4から図8において、斜線SLの後方が、撮像部14bが撮像している撮像領域である。
 図4に示すように、一対の区画線CLa、CLb、及び、別の一対の区画線CLa、CLbが、駐車領域PAの両側に設けられている。換言すれば、一対の区画線CLa、CLbが、駐車領域PAと、隣接する駐車領域PAとの間に設けられている。図4に示す一対の区画線CLa、CLbはU字状であるが、区画線CLaと区画線CLbは分離していてもよい。区画線CLa、CLbを区別する必要がない場合、区画線CLと記載する。
 図4に示すように、設定部54は、初期座標に基づいて、現実世界内に第1探索領域FEAを設定する。例えば、設定部54は、車両10との相対位置が初期座標となるように、第1探索領域FEAを現実世界の座標で設定する。設定部54は、マッピングテーブル等によって、第1探索領域FEAの座標を、撮像部14bから取得したフレーム画像である撮像画像の座標に変換する。これにより、設定部54は、撮像画像内に矩形状の第1探索領域FEAを設定する。
 検出部56は、設定部54が設定した第1探索領域FEA内で、エッジ検出法、RANSAC(RANdom Sample Consensus)、CONSAC(CONnected Sample Consensus)、及び、最小二乗法等を用いて、一対の区画線CLa、CLbのうち、一方の区画線CLaを検出する。
 具体的には、図5に示すように、検出部56は、設定部54が撮像画像に設定した第1探索領域FEA内を探索して、既知のエッジ検出法等によって、マイナスエッジ点MP及びプラスエッジ点PPを検出する。ここでいう、マイナスエッジ点MPは、画像が暗から明に変化する点である。マイナスエッジ点MPは、例えば、黒い路面から白い区画線CLに切り替わる境界上の点である。プラスエッジ点PPは、画像が明から暗に変化する点である。プラスエッジ点PPは、例えば、白い区画線CLから黒い路面に切り替わる境界上の点である。図5において、マイナスエッジ点MPは黒点で示し、プラスエッジ点PPは白抜き点で示す。
 図6に示すように、検出部56は、区画線CLaを検出するための第1基準領域FRA、第2基準領域SRA、第1補助領域FSA、及び、第2補助領域SSAを、第1探索領域FEA内に設定する。例えば、検出部56は、後側から、第1基準領域FRA、第2基準領域SRA、第1補助領域FSA、及び、第2補助領域SSAの順で設定してよい。検出部56は、最初、第1基準領域FRAの後端部が第1探索領域FEAの後端部と一致するように設定してよい。尚、検出部56は、第1基準領域FRA及び第1補助領域FSAを設定するタイミングを、第2基準領域SRA及び第2補助領域SSAを設定するタイミングと異ならせてもよい。第1基準領域FRAと第1補助領域FSAとの間隔、及び、第2基準領域SRAと第2補助領域SSAとの間隔は、予め数値データ72として設定されていてよい。第1基準領域FRA、第2基準領域SRA、第1補助領域FSA、及び、第2補助領域SSAの一部が互いに重複していてもよい。
 第1基準領域FRA及び第1補助領域FSAは、区画線CLのマイナスエッジ点MPの個数(以下、マイナスポイント)を算出するための領域である。従って、検出部56は、第1基準領域FRA及び第1補助領域FSA内に含まれる区画線CLのマイナスエッジ点MPの個数をカウントして、マイナスポイントを算出する。第2基準領域SRA及び第2補助領域SSAは、区画線CLのプラスエッジ点PPの個数(以下、プラスポイント)を算出するための領域である。従って、検出部56は、第2基準領域SRA及び第2補助領域SSA内に含まれる区画線CLのプラスエッジ点PPの個数をカウントして、プラスポイントを算出する。
 ここで、検出部56は、図7に示すように、一方の区画線CLaを探索するために、第1探索領域FEAの後端部から前端部へと予め定められた間隔で各領域FRA、FSAを移動させる。換言すれば、検出部56は、車両10の進行方向に沿って、第1探索領域FEA内で一方の区画線CLaを探索する。また、検出部56は、各位置で鉛直軸の周りで領域FRA、FSAを回転させて方向を変える。尚、検出部56は、領域FRA、FSAを互いに平行に保ちつつ、各領域FRA、FSAの位置及び方向を変化させる。検出部56は、各位置及び各方向での領域FRA、FSA内のマイナスエッジ点MPをカウントして、マイナスポイントを算出する。検出部56は、マイナスポイントが最も高くなる領域FRA、FSAの位置及び方向を特定する。
 検出部56は、一方の区画線CLaを探索するために、第1探索領域FEAの後端部から前端部へと予め定められた間隔で各領域SRA、SSAを移動させる。換言すれば、検出部56は、車両10の進行方向に沿って、第1探索領域FEA内で一方の区画線CLaを探索する。また、検出部56は、各位置で鉛直軸の周りで領域SRA、SSAを回転させて方向を変える。尚、検出部56は、領域SRA、SSAを互いに平行に保ちつつ、各領域SRA、SSAの位置及び方向を変化させる。検出部56は、各位置及び各方向での領域SRA、SSA内のプラスエッジ点PPをカウントして、プラスポイントを算出する。検出部56は、プラスポイントが最も高くなる領域SRA、SSAの位置及び方向を特定する。
 例えば、図6に示す状態では、全ての領域FRA、SRA、FSA、SSAにエッジ点MP、PPが含まれるので、マイナスポイント及びプラスポイントが大きくなる。一方、図7に示す状態では、補助領域FSA、SSAにエッジ点MP、PPが含まれないので、マイナスポイント及びプラスポイントが小さくなる。従って、検出部56は、図6に示す状態での領域FRA、SRA、FSA、SSAを最もポイントが高くなる位置及び方向とし、この状態での基準領域FRA、SRAに基づいて、一方の区画線CLaを検出する。
 具体的には、図8に示すように、検出部56は、マイナスポイントが最も高い第1基準領域FRAに含まれるマイナスエッジ点MPのうち、RANSACまたはCONSACを用いてノイズ(即ち、外れ値)を削除した複数のマイナスエッジ点MPに最小二乗法を適用して生成した直線を、一方の区画線CLaの外側の境界BDa1として検出する。境界BDa1は、太実線で示す。また、検出部56は、同様の処理を行って、プラスポイントが最も高い第2基準領域SRAに含まれるプラスエッジ点PPからノイズを削除した複数のプラスエッジ点PPに最小二乗法を適用して生成した直線を、一方の区画線CLaの内側の境界BDa2として検出する。境界BDa2は、太点線で示す。
 ここで、検出部56は、一方の区画線CLaの両側の境界BDa1、BDa2の平行度と、予め定められた第1平行閾値とに基づいて、検出した一方の区画線CLaを採用するか否かを判定してよい。平行度は、例えば、境界BDa1と境界BDa2とが交差する角度であってよい。第1平行閾値は、数値データ72に含まれ、例えば、数°であってよい。例えば、検出部56は、境界BDa1、BDa2の平行度が第1平行閾値未満であれば、区画線CLaを採用してよい。一方、検出部56は、境界BDa1、BDa2の平行度が第1平行閾値以上であれば、当該区画線CLaを採用せずにデータを消去して、新たな区画線CLaを検出してよい。検出部56は、採用すると判定した境界BDa1、BDa2の情報を一方の区画線CLaの情報として設定部54に出力する。
 図9から図13は、一対の区画線CLa、CLbのうち、他方の区画線CLbの検出方法を説明する図である。図9から図13は、図9に点線で示す図6に示す位置から車両10が前進した状態を示す。設定部54は、車両10が前進した状態において撮像部14bが撮像した新たな撮像画像を取得する。
 設定部54は、検出部56から取得した一方の区画線CLaの情報に基づいて、他方の区画線CLbを検出するための第2探索領域SEAを設定する。具体的には、設定部54は、車輪速センサ22から取得した車輪速及び操舵角センサ24から取得した操舵角の情報に基づいて、他方の区画線CLbを検出するための第2探索領域SEAを、現実世界の一方の区画線CLaの位置(例えば、一方の区画線CLaの境界BDa1、BDa2の中心位置)から設定相対座標の位置に設定する。
 ここで、設定部54は、第1探索領域FEAよりも小さい矩形状の第2探索領域SEAを設定してよい。具体的には、設定部54は、第1探索領域FEAよりも区画線CLa、CLbの垂線方向(または、車両10の進行方向)における幅が小さい第2探索領域SEAを設定してよい。設定部54は、マッピングテーブル等を用いた座標変換によって、現実世界に設定した第2探索領域SEAを撮像画像内に設定する。設定部54は、設定した第2探索領域SEAの情報を検出部56に出力する。
 図10に示すように、検出部56は、エッジ検出法等によって第2探索領域SEA内を探索して、マイナスエッジ点MP及びプラスエッジ点PPを検出する。
 図11に示すように、検出部56は、第1基準領域FRA、第2基準領域SRA、第1補助領域FSA、及び、第2補助領域SSAを第2探索領域SEA内に設定する。ここで、検出部56は、前側から、第2基準領域SRA、第1基準領域FRA、第2補助領域SSA、第1補助領域FSAの順で配置する。即ち、検出部56は、第1探索領域FEAの順と異なる順で第2探索領域SEAに領域SRA、FRA、SSA、FSAを設定する。検出部56は、最初、第2基準領域SRAの前端部が第2探索領域SEAの前端部と一致するように、領域SRA、FRA、SSA、FSAを、第2探索領域SEA内に設定してよい。検出部56は、第2基準領域SRA及び第2補助領域SSA内のプラスエッジ点PPの個数であるプラスポイント、及び、第1基準領域FRA及び第1補助領域FSA内のマイナスエッジ点MPの個数であるマイナスポイントを算出する。
 図12に示すように、検出部56は、他方の区画線CLbを探索するために、第2探索領域SEAの前端部から後端部へと予め定められた間隔で各領域SRA、SSAを移動させる。換言すれば、検出部56は、車両10の進行方向と反対方向に沿って、第2探索領域SEA内で他方の区画線CLbを探索する。また、検出部56は、各位置で鉛直軸の周りで領域SRA、SSAを回転させて方向を変える。尚、検出部56は、領域SRA、SSAを互いに平行に保ちつつ、各領域SRA、SSAの位置及び方向を変化させる。検出部56は、各位置及び各方向での領域SRA、SSA内のプラスエッジ点PPをカウントして、プラスポイントを算出する。検出部56は、プラスポイントが最も高くなる領域SRA、SSAの位置及び方向を特定する。
 検出部56は、他方の区画線CLbを探索するために、第2探索領域SEAの前端部から後端部へと予め定められた間隔で各領域FRA、FSAを移動させる。換言すれば、検出部56は、車両10の進行方向と反対方向に沿って、第2探索領域SEA内で他方の区画線CLbを探索する。また、検出部56は、各位置で鉛直軸の周りで領域FRA、FSAを回転させて方向を変える。尚、検出部56は、領域FRA、FSAを互いに平行に保ちつつ、各領域FRA、FSAの位置及び方向を変化させる。検出部56は、各位置及び各方向での領域FRA、FSA内のマイナスエッジ点MPをカウントして、マイナスポイントを算出する。検出部56は、マイナスポイントが最も高くなる領域FRA、FSAの位置及び方向を特定する。
 検出部56は、プラスポイントが最も大きい位置及び方向における第2基準領域SRA及びマイナスポイントが最も大きい位置及び方向における第1基準領域FRAに基づいて、一対の区画線CLa、CLbのうち、他方の区画線CLbの位置及び方向を検出する。例えば、図11に示す状態では、第2探索領域SEA内のエッジ点MP、PPが領域SRA、FRA、SSAに含まれるので、プラスポイント及びマイナスポイントが大きくなる。尚、検出部56は、第2探索領域SEAの境界上のエッジ点MP、PP(ここでは、一方の区画線CLaのマイナスエッジ点MP)をカウントしない。一方、図12に示す状態では、第2探索領域SEA内のエッジ点MP、PPが領域FRA、SSA、FSAに含まれないので、プラスポイント及びマイナスポイントが小さくなる。従って、検出部56は、図11に示す状態での基準領域FRA、SRAに基づいて、他方の区画線CLbを検出する。
 具体的には、図13に示すように、検出部56は、プラスポイントが最も高い第2基準領域SRAに含まれるプラスエッジ点PPのうち、RANSACまたはCONSACを用いてノイズ(即ち、外れ値)を削除した複数のプラスエッジ点PPに最小二乗法を適用して生成した直線を、他方の区画線CLbの外側の境界BDb1として検出する。境界BDb1は、太実線で示す。また、検出部56は、同様の処理を行って、マイナスポイントが最も高い第1基準領域FRAに含まれるマイナスエッジ点MPからノイズを削除した複数のマイナスエッジ点MPに最小二乗法を適用して生成した直線を、他方の区画線CLbの内側の境界BDb2として検出する。境界BDb2は、太点線で示す。
 ここで、検出部56は、他方の区画線CLbの両側の境界BDb1、BDb2の平行度と、予め定められた第2平行閾値とに基づいて、検出した他方の区画線CLbを採用するか否かを判定してよい。例えば、検出部56は、境界BDb1、BDb2の平行度が第2平行閾値未満であれば、区画線CLbを採用してよい。一方、検出部56は、境界BDb1、BDb2の平行度が第2平行閾値以上であれば、当該区画線CLbを採用せずにデータを消去して、新たな区画線CLa、CLbを検出してよい。第2平行閾値は、例えば、第1平行閾値よりも大きい。検出部56は、採用すると判定した境界BDb1、BDb2の情報を他方の区画線CLbの情報として設定部54に出力する。
 図14は、処理部50が実行する駐車支援処理のフローチャートである。処理部50は、駐車支援プログラム70を読み込んで、駐車支援処理を実行する。
 図14に示すように、駐車支援処理では、設定部54が、撮像部14bから撮像画像を取得する(S102)。
 設定部54は、撮像画像内に第1探索領域FEAを設定する(S104)。具体的には、図4に示すように、設定部54は、初期座標に基づいて、現実世界内に第1探索領域FEAを設定する。設定部54は、マッピングテーブル等を用いた座標変換によって、第1探索領域FEAを撮像画像内に設定する。設定部54は、第1探索領域FEAの情報を検出部56へ出力する。
 検出部56は、第1探索領域FEA内を探索して、一対の区画線CLa、CLbのうち、一方の区画線CLaを検出する処理を実行する(S106)。具体的には、図4から図7に示すように、検出部56は、第1探索領域FEA内のエッジ点MP、PPを検出して、マイナスポイント及びプラスポイントが最も高くなる領域FRA、SRA、FSA、SSAの位置及び方向を決定する。図8に示すように、検出部56は、当該位置及び方向の領域FRA、SRA、FSA、SSA内のエッジ点MP、PPに基づいて、区画線CLaの境界BDa1、BDa2を検出する。
 検出部56は、一方の区画線CLaの境界BDa1、BDa2が検出されたか否かを判定する(S108)。検出部56は、区画線CLaの境界BDa1、BDa2が検出されない場合(S108:No)、ステップS102以降を繰り返す。
 検出部56は、区画線CLaの境界BDa1、BDa2が検出されたと判定すると(S108:Yes)、検出した区画線CLaを採用するか否かを判定する(S110)。例えば、検出部56は、境界BDa1、BDa2の平行度及び第1平行閾値に基づいて、区画線CLaを採用するか否かを判定してよい。検出部56は、境界BDa1、BDa2の平行度が第1平行閾値以上であれば、当該区画線CLaを採用しないと判定して(S110:No)、当該区画線CLaの情報を消去して、ステップS102以降を再度実行する。
 一方、検出部56は、境界BDa1、BDa2の平行度が第1平行閾値未満であれば、当該区画線CLaを採用すると判定して(S110:Yes)、一対の区画線CLa、CLbが駐車領域PA、PA間に存在するか否かを判定する(S112)。例えば、検出部56は、最も高いマイナスポイント及びプラスポイントの値に基づいて、一対の区画線CLa、CLbが駐車領域PA、PA間に存在するか否かを判定してよい。具体的には、駐車領域PA、PA間に一本しか区画線CLが存在しない場合、基準領域FRA、SRA及び補助領域FSA、SSAの一方にしか区画線CLが存在しない。このため、駐車領域PA、PA間に一本しか区画線CLが存在しない場合の最も高いマイナスポイント及びプラスポイントは、一対の区画線CLa、CLbが存在する場合の最も高いマイナスポイント及びプラスポイントに比べて小さくなる。従って、検出部56は、最も高いマイナスポイント及びプラスポイントが予め設定された判定用閾値以上であれば一対の区画線CLa、CLbが存在すると判定してよい。一方、検出部56は、最も高いマイナスポイントまたはプラスポイントが判定用閾値未満であれば、一本の区画線CLしか存在しないと判定してよい。判定用閾値は、一対の区画線CLa、CLbが存在する場合の最も高いマイナスポイント及びプラスポイントの平均値の半分程度に設定してよい。
 検出部56は、駐車領域PA、PA間の区画線CLが一対でなく一本のみであると判定すると(S112:No)、後述するステップS124を実行する。
 検出部56は、駐車領域PA、PA間に一対の区画線CLa、CLbが存在すると判定すると(S112:Yes)、検出した一方の区画線CLaの情報(例えば、境界BDa1、BDa2の情報)を設定部54へ出力する。
 具体的には、設定部54は、検出済みの一方の区画線CLaに基づいて、同じ駐車領域PA、PA間で一対の区画線CLa、CLbのうち、他方の区画線CLbを検出するために、撮像部14bから新たな撮像画像を取得する(S114)。
 設定部54は、新たな撮像画像に第2探索領域SEAを設定する(S116)。具体的には、設定部54は、現実世界において、検出部56から取得した検出済みの一方の区画線CLaの位置から設定相対座標の位置に、第1探索領域FEAよりも小さい第2探索領域SEAを設定する。設定部54は、マッピングテーブル等に基づいて、現実世界の座標から撮像画像の座標に変換して、第2探索領域SEAを撮像画像内に設定する。設定部54は、第2探索領域SEAの情報を検出部56に出力する。
 検出部56は、第2探索領域SEA内を探索して、一対の区画線CLa、CLbのうち、他方の区画線CLbを検出するための処理を実行する(S118)。具体的には、検出部56は、第2探索領域SEA内のエッジ点MP、PPを検出して、マイナスポイント及びプラスポイントが最も高くなる領域FRA、SRA、FSA、SSAの位置及び方向を決定する。検出部56は、当該位置及び方向の領域FRA、SRA、FSA、SSA内のエッジ点MP、PPに基づいて、他方の区画線CLbの境界BDb1、BDb2を検出する。
 検出部56は、他方の区画線CLbの境界BDb1、BDb2が検出されたか否かを判定する(S120)。検出部56は、区画線CLbの境界BDb1、BDb2が検出されない場合(S120:No)、ステップS102以降を繰り返す。
 検出部56は、区画線CLbの境界BDb1、BDb2が検出されたと判定すると(S120:Yes)、検出した区画線CLbを採用するか否かを判定する(S122)。例えば、検出部56は、境界BDb1、BDb2の平行度及び第2平行閾値に基づいて、区画線CLbを採用するか否かを判定してよい。検出部56は、境界BDb1、BDb2の平行度が第2平行閾値以上であれば、当該区画線CLbを採用しないと判定して(S122:No)、区画線CLa、CLbの情報を消去して、ステップS102以降を再度実行する。
 一方、検出部56は、境界BDb1、BDb2の平行度が第2平行閾値未満であれば、当該区画線CLbを採用すると判定して(S122:Yes)、検出した区画線CLbの境界BDb1、BDb2の情報を設定部54へ出力する。
 次に、設定部54は、区画線CLbの境界BDb1、BDb2の情報を取得すると、駐車領域PAの両側の区画線CLを検出したか否かを判定する(S124)。設定部54は、例えば、駐車領域PAの一方の側(例えば、車両10の後側)で一対の区画線CLa、CLbを検出し、同じ駐車領域PAの他方の側(例えば、車両10の前側)で別の一対の区画線CLa、CLbを検出していたら、駐車領域PAの両側で区画線CLを検出したと判定する。同様に、設定部54は、例えば、駐車領域PAの一方の側で一本の区画線CLを検出し、同じ駐車領域PAの他方の側で別の一本の区画線CLを検出していたら、駐車領域PAの両側で区画線CLを検出したと判定する。尚、設定部54は、二対の区画線CLa、CLbを検出済みの場合、一対の区画線CLa、CLbと、別の一対の区画線CLa、CLbとの間隔に基づいて、一の駐車領域PAの両側で区画線CLa、CLbを検出したと判定してよい。
 設定部54は、駐車領域PAの片側でしか区画線CLを検出していないと判定すると(S124:No)、ステップS102以降を繰り返して、区画線CLを検出した駐車領域PAの片側とは逆の側の区画線CLを検出する。
 設定部54は、駐車領域PAの両側で区画線CLを検出したと判定すると(S124:Yes)、二対の区画線CLa、CLb間(または二本の区画線CL間)に、駐車候補領域を設定する(S126)。
 設定部54は、駐車指示を受け付けたか否かを判定する(S128)。例えば、設定部54は、駐車候補領域の画像を、撮像画像に重畳させた受付画面を表示部40に表示させて、操作入力部44から駐車指示を受け付けてよい。例えば、設定部54は、乗員が操作入力部44の駐車候補領域上をタッチすると、駐車指示を受け付けたと判定してよい。設定部54は、受付画面を表示させてから予め定められた時間が経過、または、車両10が予め定められた距離移動するまでに、駐車指示を受け付けなかった場合、駐車指示を受け付けなかったと判定してよい。
 設定部54は、駐車指示を受け付けない場合(S128:No)、設定部54及び検出部56は、ステップS102以降を繰り返して新たな区画線CLa、CLbを検出する。
 設定部54は、駐車指示を受け付けると(S128:Yes)、運転制御部58に駐車指示を出力する。
 運転制御部58は、駐車指示を受け付けると、自動運転部32を制御して、車両10を自動運転して、乗員が選択した駐車候補領域に駐車させる(S130)。これにより、処理部50は、駐車支援処理を終了する。
 上述したように、駐車支援装置36では、一対の区画線CLa、CLbのうち、先に検出された一方の区画線CLaに基づいて、他方の区画線CLbを探索する第2探索領域SEAを設定する。これにより、駐車支援装置36は、撮像画像内において、他方の区画線CLbを探索する領域を小さく、かつ、適切な位置に設定できるので、他方の区画線CLbを検出する時間を短縮しつつ、検出する確率を高めることができる。
 駐車支援装置36では、第1探索領域FEAよりも小さい第2探索領域SEA内で他方の区画線CLbを検出している。これにより、駐車支援装置36は、他方の区画線CLbを検出する時間をより短縮することができる。
 駐車支援装置36では、一方の区画線CLaの境界BDa1、BDb1の平行度と第1平行閾値とに基づいて一方の区画線CLaを採用するか否かを判定するので、一方の区画線CLa以外の側溝等を誤って区画線として認識することを抑制できる。
 駐車支援装置36では、他方の区画線CLbの境界BDa1、BDb1の平行度と第2平行閾値とに基づいて他方の区画線CLbを採用するか否かを判定するので、他方の区画線CLb以外の側溝等を誤って区画線として認識することを抑制できる。更に、第2平行閾値を第1平行閾値よりも大きくすることによって、正しく検出された他方の区画線CLbが誤って不採用となることを抑制できる。
 駐車支援装置36では、車両10の進行方向に沿って第1探索領域FEA内を探索して一方の区画線CLaを検出し、車両10の進行方向と反対方向に沿って第2探索領域SEA内を探索して他方の区画線CLbを検出している。これにより、駐車支援装置36は、駐車候補領域の設定に必要な一対の区画線CLa、CLbの外側の境界BDa1、BDb1をより精度よく検出することができる。
 上述した実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。実施形態の各ステップの順序を適宜変更してよい。
 上述の実施形態では、ステップS110、S122において、検出した区画線CLa、CLbを境界の平行度と、平行閾値とに基づいて採用するか否かを判定したが、当該処理は省略してもよい。
 上述の実施形態では、一方の区画線CLaを検出すると、ステップS112において、一対の区画線CLa、CLbが存在するか否かを判定したが、当該処理は省略してもよい。この場合、検出部56は、ステップS118の第2探索領域SEA内での他方の区画線CLbの探索において、最も高いマイナスポイント及びプラスポイントが予め定められた判定用閾値未満であれば、他方の区画線CLbが存在しないと判定してよい。
 上述の実施形態では、車両10が前進している状態を想定したが、車両10が後退している状態において上述の実施形態を適用してもよい。

Claims (5)

  1.  移動中の車両の周辺を撮像した撮像画像内に隣接する駐車領域間に設けられた一対の区画線を探索するための第1探索領域を設定する設定部と、
     前記第1探索領域内を探索して前記一対の区画線のうち一方の区画線を検出する検出部と、
     を備え、
     前記検出部が、前記一方の区画線を検出すると、
     前記設定部は、前記一方の区画線に基づいて、前記一対の区画線のうち他方の区画線を探索するための第2探索領域を設定する
     駐車支援装置。
  2.  前記設定部は、前記第1探索領域よりも小さい前記第2探索領域を設定する
     請求項1に記載の駐車支援装置。
  3.  前記検出部は、前記一方の区画線の両側の境界の平行度と、予め定められた第1平行閾値とに基づいて、前記一方の区画線を採用するか否かを判定する
     請求項1または2に記載の駐車支援装置。
  4.  前記検出部は、前記他方の区画線の両側の境界の平行度と、予め定められた前記第1平行閾値よりも大きい第2平行閾値とに基づいて、前記他方の区画線を採用するか否かを判定する
     請求項3に記載の駐車支援装置。
  5.  前記検出部は、
     前記車両の進行方向に沿って前記一方の区画線を前記第1探索領域内で探索し、
     前記車両の進行方向と反対方向に沿って前記他方の区画線を前記第2探索領域内で探索する
     請求項1から4のいずれか1項に記載の駐車支援装置。
PCT/JP2018/006796 2017-04-24 2018-02-23 駐車支援装置 WO2018198512A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/607,162 US11017245B2 (en) 2017-04-24 2018-02-23 Parking assist apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-085627 2017-04-24
JP2017085627A JP6869467B2 (ja) 2017-04-24 2017-04-24 駐車支援装置

Publications (1)

Publication Number Publication Date
WO2018198512A1 true WO2018198512A1 (ja) 2018-11-01

Family

ID=63919681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006796 WO2018198512A1 (ja) 2017-04-24 2018-02-23 駐車支援装置

Country Status (3)

Country Link
US (1) US11017245B2 (ja)
JP (1) JP6869467B2 (ja)
WO (1) WO2018198512A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7359541B2 (ja) * 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095631A (ja) * 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7229804B2 (ja) * 2019-02-14 2023-02-28 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7249205B2 (ja) * 2019-05-27 2023-03-30 株式会社トヨタマップマスター 駐車ますデータの作成方法、作成装置及びそのコンピュータ用プログラム
DE102020134331A1 (de) * 2020-12-21 2022-06-23 HELLA GmbH & Co. KGaA Verfahren zum Bestimmen eines Freiraums in einer Fahrzeugumgebung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010030427A (ja) * 2008-07-29 2010-02-12 Toyota Motor Corp 駐車支援システムおよび駐車支援装置
JP2013025535A (ja) * 2011-07-20 2013-02-04 Denso Corp 車線認識装置
JP2014106706A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009292339A (ja) * 2008-06-05 2009-12-17 Aisin Seiki Co Ltd 駐車支援装置
JP6015314B2 (ja) * 2012-09-28 2016-10-26 アイシン精機株式会社 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
CN104797488B (zh) * 2012-11-27 2017-06-30 日产自动车株式会社 驾驶辅助装置
JP6094266B2 (ja) * 2013-02-28 2017-03-15 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム
KR102126824B1 (ko) * 2015-10-22 2020-06-25 닛산 지도우샤 가부시키가이샤 주차 지원 정보의 표시 방법 및 주차 지원 장치
US10025317B2 (en) * 2016-09-30 2018-07-17 Faraday&Future Inc. Methods and systems for camera-based autonomous parking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010030427A (ja) * 2008-07-29 2010-02-12 Toyota Motor Corp 駐車支援システムおよび駐車支援装置
JP2013025535A (ja) * 2011-07-20 2013-02-04 Denso Corp 車線認識装置
JP2014106706A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置

Also Published As

Publication number Publication date
US20200380275A1 (en) 2020-12-03
JP2018185589A (ja) 2018-11-22
US11017245B2 (en) 2021-05-25
JP6869467B2 (ja) 2021-05-12

Similar Documents

Publication Publication Date Title
JP6828501B2 (ja) 駐車支援装置
WO2018198512A1 (ja) 駐車支援装置
JP6724425B2 (ja) 駐車支援装置
US9973734B2 (en) Vehicle circumference monitoring apparatus
US10179608B2 (en) Parking assist device
JP6878196B2 (ja) 位置推定装置
CN108886602B (zh) 信息处理装置
US10896336B2 (en) Parking compartment recognition apparatus
JP4992696B2 (ja) 駐車支援装置及び方法
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP5083254B2 (ja) 駐車結果表示システム
JP2022023870A (ja) 表示制御装置
JP2020077251A (ja) 周辺監視装置
CN110546047A (zh) 停车辅助装置
JP2018165912A (ja) 支援装置
JP2021056717A (ja) 物体検知装置
JP3965078B2 (ja) ステレオ式車外監視装置およびその制御方法
US11100353B2 (en) Apparatus of controlling region of interest of image and method for controlling the same
JP7137356B2 (ja) 車載用故障検出装置、及び故障検出方法
JP2019135620A (ja) 走行支援装置
JP7423970B2 (ja) 画像処理装置
JP7181956B2 (ja) 移動体の制御装置及び制御方法並びに車両
JP7454177B2 (ja) 周辺監視装置、およびプログラム
JP7380058B2 (ja) 駐車支援装置
JP2019135127A (ja) 駐車支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18791209

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18791209

Country of ref document: EP

Kind code of ref document: A1