WO2014156166A1 - 駐車支援システムおよび駐車支援方法 - Google Patents

駐車支援システムおよび駐車支援方法 Download PDF

Info

Publication number
WO2014156166A1
WO2014156166A1 PCT/JP2014/001772 JP2014001772W WO2014156166A1 WO 2014156166 A1 WO2014156166 A1 WO 2014156166A1 JP 2014001772 W JP2014001772 W JP 2014001772W WO 2014156166 A1 WO2014156166 A1 WO 2014156166A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
parking
markers
candidate
unit
Prior art date
Application number
PCT/JP2014/001772
Other languages
English (en)
French (fr)
Inventor
川崎　晃久
浩二 藤井
達人 流郷
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/652,300 priority Critical patent/US9727796B2/en
Priority to EP14772674.9A priority patent/EP2981073B1/en
Priority to JP2015508081A priority patent/JP6376354B2/ja
Publication of WO2014156166A1 publication Critical patent/WO2014156166A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10—Automatic or semi-automatic parking aid systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Definitions

  • the present invention relates to a parking support system and a parking support method for supporting parking of a vehicle based on image information displayed on a display device in the vehicle.
  • a parking support device that performs parking support based on image information displayed on a display device (for example, a car navigation system) installed in the vehicle is known.
  • the image information has been subjected to image processing based on a camera image taken by a vehicle-mounted camera installed at the rear of the vehicle.
  • This image processing includes, for example, image conversion processing for converting a camera image into an overhead image, and image recognition processing for recognizing a marker indicating a parking area in the overhead image (see, for example, Patent Document 1).
  • the parking assist device of Patent Document 1 requires a high-performance image processing processor, which is expensive. There is.
  • a method of recognizing the marker based on the IR component of the infrared night-vision image or the specific color of the color image can be considered.
  • the marker recognition method based on the IR component or the specific color may erroneously recognize an object having the same IR component as the marker or an object having the same color as the marker as a marker in the camera image.
  • An object of the present invention is to provide a parking support system and a parking support method that can suppress image recognition at a low cost and prevent erroneous recognition of a marker.
  • a parking assistance system captures a plurality of markers indicating a parking area, calculates a route based on the positions of the plurality of markers and the current position of the vehicle, and the vehicle moves along the route.
  • a parking assistance system that assists parking of the vehicle in the parking area by instructing a steering angle for the color component or the intensity of an IR component in a camera image captured by the camera exceeds a threshold value
  • a marker candidate detecting unit for detecting a plurality of regions as marker candidates, a marker position calculating unit for calculating the positions of the plurality of marker candidates in the camera image, and the positions of the plurality of marker candidates,
  • a validity verification unit that determines whether the plurality of marker candidates are valid as the plurality of markers based on a positional relationship between the plurality of markers; A configuration with a.
  • a parking assist method captures a plurality of markers indicating a parking area, calculates a route based on the positions of the plurality of markers and the current position of the vehicle, and the vehicle moves along the route.
  • a step of detecting a plurality of regions as marker candidates, a step of calculating positions of the plurality of marker candidates in the camera image, a position of the plurality of marker candidates, and a predetermined positional relationship between the plurality of markers And verifying whether or not the plurality of marker candidates are valid as the plurality of markers.
  • the present invention can prevent erroneous marker recognition while suppressing image processing at low cost.
  • the figure which each shows the example of the camera image which concerns on Embodiment 1 of this invention The block diagram which shows the structural example of the parking assistance system which concerns on Embodiment 2 of this invention.
  • FIG. 1 is a block diagram illustrating a configuration example of a parking assistance system according to the present embodiment.
  • the parking support system is a system that is mounted on a vehicle and supports parking of the vehicle.
  • the parking assistance system includes a camera 200 and a parking assistance device 100.
  • the camera 200 includes a lens 20, an image sensor 21, and a color / IR detection unit 22.
  • Lens 20 captures incident light.
  • the image sensor 21 has a photonic color filter corresponding to colors (Red, Green, Blue) and IR.
  • the image sensor 21 passes incident light from the lens 20 through the filter and extracts a color component or an IR component. Then, the image sensor 21 outputs an image signal including the extracted color component or IR component to the color / IR detection unit 22.
  • the color / IR detection unit 22 performs signal processing based on the image signal from the image sensor 21 to generate a color image or an infrared night vision image (hereinafter referred to as “camera image”).
  • the camera image is a real-time image taken by the camera 200.
  • a color image is generated in the daytime
  • an infrared night-vision image is generated in the nighttime.
  • the color / IR detection unit 22 determines whether or not the intensity (luminance) of a specific color component or IR component exceeds a predetermined threshold in the camera image.
  • the threshold here is, for example, a value determined in advance based on the average luminance of the camera image.
  • the color / IR detection unit 22 detects an area exceeding the threshold in the camera image as a marker candidate.
  • a plurality of marker candidates are detected.
  • a marker candidate is an area considered to be a marker image in a camera image.
  • the color / IR detection unit 22 also functions as a marker candidate detection unit.
  • the marker is a mark that can identify the parking area of the vehicle, and is provided on the ground surface.
  • the two markers are provided at a predetermined distance.
  • the marker has a predetermined color.
  • a marker comprises a reflector with a high reflectance, and a near-infrared film. Thereby, a marker is detected regardless of day and night.
  • the color / IR detection unit 22 outputs a camera image indicating a plurality of marker candidates to the marker position calculation unit 10 of the parking support apparatus 100.
  • the camera image is displayed on a display device (not shown) such as a car navigation.
  • the parking assist device 100 includes a marker position calculation unit 10, a validity verification unit 11, a vehicle position calculation unit 12, a parking route calculation unit 13, and a steering angle instruction unit 14.
  • the marker position calculation unit 10 calculates the position (coordinates) of each marker candidate in the camera image from the color / IR detection unit 22 and notifies the validity verification unit 11 of it.
  • the validity verification unit 11 notifies the notified marker based on the position of each marker candidate notified from the marker position calculation unit 10 and the positional relationship between two predetermined markers (for example, the distance between the markers). It is verified (determined) whether the candidate is valid as a marker. An example of this verification will be described below.
  • the validity verification unit 11 selects one of the plurality of marker candidates as the first marker candidate. Next, the validity verification unit 11 is based on a predetermined positional relationship between two markers, and an area in which there is a possibility that a second marker candidate paired with the first marker candidate (hereinafter, “ The marker candidate existence area ”is calculated. Next, the validity verification unit 11 determines whether there is a marker candidate different from the first marker candidate in the marker candidate existence region. If another marker candidate exists in the marker candidate existence region as a result of the determination, the validity verification unit 11 determines that the marker candidate is the second marker candidate and determines that it is paired with the first marker candidate. . Then, the validity verification unit 11 recognizes that the first marker candidate and the second marker candidate are valid as two predetermined markers. Next, the validity verification unit 11 notifies the parking route calculation unit 13 of the positions of the two markers (the coordinates of the first marker candidate and the coordinates of the second marker candidate).
  • the own vehicle position calculation unit 12 calculates the movement amount from the initial position of the vehicle based on the vehicle speed pulse and the steering angle, and calculates the own vehicle position (the current position of the vehicle) based on the movement amount.
  • the vehicle position calculation unit 12 may acquire the vehicle position from GPS or the like. Then, the own vehicle position calculation unit 12 notifies the parking route calculation unit 13 of the own vehicle position.
  • the parking route calculation unit 13 determines the route on which the vehicle should travel based on the positions of the two markers notified from the validity verification unit 11 and the vehicle position notified from the vehicle position calculation unit 12 (hereinafter, “ Parking route "). For example, when the two markers indicate the lateral width (vehicle width) of the parking area, the parking route is calculated so that the vehicle travels vertically with respect to a line connecting the centers of the two markers. The parking route calculation unit 13 notifies the steering angle instruction unit 14 of the parking route.
  • the steering angle instructing unit 14 instructs the driver what kind of steering wheel operation should be performed as the vehicle moves on the parking route notified from the parking route calculating unit 13 (that is, the steering angle).
  • FIG. 2 is a flowchart showing an operation example of the parking assistance system according to the present embodiment.
  • step S10 for example, when the gear is put in the back, the trigger of the parking support system is turned on, and the camera 200 starts imaging.
  • the trigger is turned ON.
  • a vehicle 400 has a camera 200 mounted on its rear part.
  • two markers 301 and 302 are installed on the front left and right of the parking area 300. In the present embodiment, the case where there are two markers will be described as an example, but there may be three or more markers.
  • step S11 the image sensor 21 extracts a color component or an IR component from the incident light of the lens 20.
  • color components R, G, B
  • IR components are extracted in the nighttime.
  • the color / IR detection unit 22 generates either a color image or an infrared night-vision image, and detects a marker candidate in the camera image. That is, an area where a specific color component or IR component exceeds a threshold in the camera image is detected as a marker candidate.
  • the specific color is a predetermined color and is the color of the marker.
  • FIG. 4A shows an example of the camera image generated at the position a in FIG. In the camera image shown in FIG. 4A, in addition to the bumper 401 of the vehicle 400, a marker candidate 301a and a marker candidate 302a are shown.
  • step S13 the marker position calculation unit 10 calculates the position of the marker candidate in the camera image. For example, when the camera image is FIG. 4A, the marker position calculation unit 10 calculates the positions of the marker candidate 301a and the marker candidate 302a in the camera image.
  • step S14 the validity verification unit 11 verifies whether the marker candidate is valid as a marker based on the calculated position of the marker candidate and the predetermined positional relationship between the two markers.
  • the positional relationship between the two markers is, for example, a relationship in which the marker 301 and the marker 302 are separated by a certain distance.
  • the validity verification unit 11 selects the marker candidate 301a (first marker candidate), and based on the position and the predetermined positional relationship between two markers, the marker candidate existence region Is calculated.
  • the validity verification unit 11 determines whether another marker candidate (second marker candidate) exists in the marker candidate existence region.
  • the validity verification unit 11 determines that the marker candidate 301a and the marker candidate 302a are a pair, and these are two markers that are determined in advance. Recognize.
  • the validity verification unit 11 selects the marker candidate 301a as the first marker candidate, but may select the marker candidate 302a.
  • step S15 the vehicle position calculation unit 12 calculates the vehicle position.
  • the vehicle position is the coordinates of the position a.
  • step S16 the parking route calculation unit 13 calculates a parking route based on the vehicle position and the positions of the two markers.
  • This parking route is calculated, for example, so that the vehicle travels perpendicularly to a line connecting the centers of the marker 301 and the marker 302. That is, the parking path is a path along which the vehicle 400 moves from the position a to the parking area 300 in FIG.
  • step S17 the driver is instructed about the steering angle for the vehicle to move on the parking route.
  • the steering wheel is operated in accordance with this instruction, for example, as shown in FIG. 3, the vehicle 400 can be moved from the position a to the position b.
  • An example of the camera image at the position b is shown in FIG. 4B.
  • the driver can park the vehicle 400 in the parking area 300 by linearly backing the vehicle 400 at the position b.
  • the parking support system detects a marker candidate in a camera image based on a color component or an IR component, and determines in advance whether or not the marker candidate is valid as a marker.
  • the verification is based on the positional relationship between the markers. That is, the parking support system according to the present embodiment detects marker candidates based on color components or IR components, and therefore performs image processing (image conversion processing and image recognition processing) that has been performed by conventional parking support devices. There is no need.
  • the parking assistance system of this Embodiment verifies the validity of a marker with respect to the detected marker candidate, even if it is a detection based on a color component or IR component, it can recognize a marker accurately. Therefore, the parking assistance system of the present embodiment can prevent erroneous recognition of the marker while suppressing image processing at low cost.
  • FIG. 5 is a block diagram illustrating a configuration example of the parking support system according to the present embodiment.
  • the parking support system includes a camera 200 and a parking support device 101.
  • the same components as those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted here.
  • the parking support device according to the first embodiment is that the parking support device 101 includes a marker pair presentation unit 15 (an example of a marker combination presentation unit) and a marker pair storage unit 16 (an example of a marker combination storage unit). Different from 100.
  • the marker pair presenting unit 15 receives a notification of a plurality of marker pairs determined by the validity verifying unit 11 to be valid.
  • the plurality of marker pairs are, for example, a first marker candidate and second marker candidate pair (first marker pair), and a first marker candidate and third marker candidate pair (second marker pair). .
  • the marker pair presenting unit 15 collates a plurality of marker pairs notified from the validity verifying unit 11 with marker pairs stored in the marker pair storage unit 16 (hereinafter referred to as “learned marker pairs”).
  • the marker pair presenting unit 15 presents the marker pair to the user on the display device.
  • the presented marker pair is adopted, and the positions of two markers constituting the marker pair are notified to the parking route calculation unit 13.
  • the marker pair presenting unit 15 presents another marker pair to the user among the notified marker pairs.
  • the marker pair presenting unit 15 selects a predetermined marker pair from the plurality of notified marker pairs, and the display device Present to the user.
  • the marker pair presenting unit 15 stores the presented marker pair in the marker pair storage unit 16.
  • the marker pair presenting unit 15 adopts the presented marker pair, and notifies the parking route calculating unit 13 of the positions of the two markers constituting the marker pair.
  • the marker pair presenting unit 15 presents another marker pair to the user among the notified marker pairs.
  • the marker pair storage unit 16 stores a marker pair that has been approved by the user, that is, a learned marker pair.
  • the information about the learned marker pair stored here is, for example, position information (latitude, longitude) of the marker pair and / or luminance information of the entire camera image.
  • FIG. 6 is a flowchart showing an operation example of the marker pair presenting unit 15 according to the present embodiment. The operation shown in FIG. 6 is performed between the validity verification (step S14) and the vehicle position calculation (step S15) described in FIG.
  • step S21 the marker pair presenting unit 15 determines whether or not a plurality of marker pairs are notified from the validity verifying unit 11. As a result of the determination, if the notification of a plurality of marker pairs has not been received (step S21: NO), the flow ends. In this case, the marker pair presentation unit 15 notifies the parking route calculation unit 13 of the positions of the two markers constituting one marker pair notified from the validity verification unit 11. On the other hand, when the notification of a plurality of marker pairs is received as a result of the determination (step S21: YES), the flow proceeds to step S22.
  • step S ⁇ b> 22 the marker pair presenting unit 15 collates the notified marker pairs with the learned marker pairs stored in the marker pair storage unit 16. If there is a matching marker pair as a result of the collation (step S22: YES), the flow proceeds to step S23. On the other hand, if there is no matching marker pair as a result of the collation (step S22: NO), the flow proceeds to step S26.
  • the marker pair presentation unit 15 presents the marker pair that matches the learned marker pair to the user on the display device.
  • a presentation example at this time is shown in FIG. 7A.
  • the marker pair presenting unit 15 presents a marker pair (first marker pair) by displaying a thick circle 51 so as to surround each of the marker candidate 301a and the marker candidate 302a.
  • a display 61 and a display 62 for prompting the user to select are superimposed on the camera image.
  • the user wants to approve the presented marker pair the user performs an operation of selecting the display 61.
  • the user wants to approve other than the presented marker pair the user performs an operation of selecting the display 62.
  • step S24 the marker pair presenting unit 15 determines whether or not the approval of the user has been accepted for the presented marker pair. As described above, the user approves the presented marker pair by performing an operation of selecting the display 61. If the user's approval is accepted as a result of the determination (step S24: YES), the flow ends. In this case, the marker pair presenting unit 15 adopts the presented marker pair and notifies the parking route calculating unit 13 of the positions of the two markers constituting the marker pair. On the other hand, if the user's approval is not accepted as a result of the determination (step S24: NO), the flow proceeds to step S25.
  • step S25 the marker pair presenting unit 15 presents another marker pair to the user among the notified plurality of marker pairs.
  • An example of presentation at this time is shown in FIG. 7B.
  • FIG. 7B three marker candidates 301a, 302a, and 303a are displayed in the camera image.
  • the marker pair presenting unit 15 presents a marker pair (second marker pair) by displaying a thick circle 52 so as to surround each of the marker candidate 302a and the marker candidate 303a.
  • FIG. 7B as in FIG. 7A, the display 61 and the display 62 are displayed superimposed on the camera image. Thereafter, the flow returns to step S24.
  • step S26 the marker pair presenting unit 15 selects a predetermined marker pair from the notified plurality of marker pairs and presents it to the user on the display device.
  • the presentation example at this time is the same as FIG. 7A.
  • step S27 the marker pair presenting unit 15 determines whether or not the approval of the user has been accepted for the presented marker pair. If the user's approval is accepted as a result of the determination (step S27: YES), the flow proceeds to step S28. On the other hand, if the user's approval is not accepted as a result of the determination (step S27: NO), the flow proceeds to step S29.
  • step S28 the marker pair presenting unit 15 stores the presented marker pair in the marker pair storage unit 16 as a learned marker pair.
  • the marker pair presenting unit 15 adopts the presented marker pair and notifies the parking route calculating unit 13 of the positions of the two markers constituting the marker pair. Thereafter, the flow ends.
  • step S29 the marker pair presenting unit 15 presents another marker pair to the user among the notified plurality of marker pairs.
  • the presentation example at this time is the same as FIG. 7B. Thereafter, the flow returns to step S27.
  • the parking support system according to the present embodiment is appropriate based on learned data when there are a plurality of validated marker pairs.
  • the marker pair is presented to the user.
  • the parking assistance system of this Embodiment is characterized by memorize
  • the parking assistance system of this Embodiment learns the marker pair selected when it is unlearned, and uses it for presentation of the next marker pair, a user chooses an appropriate thing from several marker pairs next time. There is no need to perform an operation to select. Therefore, in addition to the effects of the parking support system of the first embodiment, the parking support system of the present embodiment can improve user convenience.
  • the validity verification is performed based on a predetermined distance between markers.
  • each of the two markers has a different color
  • the validity verification unit 11 stores the positions and colors of the two markers in association with each other (for example, blue on the right and red on the left). And the validity verification part 11 recognizes these two marker candidates as a predetermined marker, when the two marker candidates detected in the camera image satisfy
  • the color / IR detection unit 22 of the camera 20 detects the marker candidate based on the color component or the IR component.
  • the present invention is not limited to this.
  • the operation of the parking support system according to the first and second embodiments can be realized by software in cooperation with hardware.
  • the present invention can be applied to, for example, a parking support system and a parking support method for supporting parking of a vehicle based on image information displayed on a display device in the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

駐車支援システムは、カメラにより撮影されたカメラ画像において、色成分またはＩＲ成分の強度が閾値を超えた領域を、マーカ候補として複数検出する色／ＩＲ検出部（２２）と、カメラ画像における複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部（１０）と、複数のマーカ候補の位置と、予め定められた複数のマーカの位置関係とに基づいて、複数のマーカ候補が複数のマーカとして妥当であるか否かを判定する妥当性検証部（１１）と、を備える。

Description

駐車支援システムおよび駐車支援方法
　本発明は、車両内の表示装置に表示される画像情報に基づいて車両の駐車支援を行う駐車支援システムおよび駐車支援方法に関する。
　従来、車両が駐車する際、その車両に設置された表示装置（例えば、カーナビゲーションシステム）に表示される画像情報に基づいて駐車支援を行う駐車支援装置が知られている。画像情報は、例えば、車両の後部等に設置された車載カメラが撮影したカメラ画像に基づいて画像処理が施されたものである。この画像処理は、例えば、カメラ画像を俯瞰画像に変換する画像変換処理、および、その俯瞰画像において駐車領域を示すマーカを認識する画像認識処理が挙げられる（例えば、特許文献１参照）。
特開２０１２－７１７９４号公報
　しかしながら、上述した画像認識処理は、例えばエッジ検出およびパターンマッチングなどの負荷が高い処理を含むため、特許文献１の駐車支援装置は、高性能な画像処理用プロセッサが必要となり、コストがかかるという問題がある。この問題を解決するため、赤外暗視画像のＩＲ成分またはカラー画像の特定色に基づいてマーカを認識する方法が考えられる。
　しかし、ＩＲ成分または特定色に基づくマーカ認識方法は、カメラ画像において、マーカと同じＩＲ成分を持つ物体、またはマーカと同じ色を持つ物体を、誤ってマーカと認識してしまうおそれがある。
　本発明の目的は、画像処理を低コストに抑えつつ、かつ、マーカの誤認識を防止できる駐車支援システムおよび駐車支援方法を提供することである。
　本発明の一態様に係る駐車支援システムは、駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援システムであって、カメラにより撮影されたカメラ画像において、色成分またはＩＲ成分の強度が閾値を超えた領域を、マーカ候補として複数検出するマーカ候補検出部と、前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部と、前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを判定する妥当性検証部と、を備える構成を採る。
　本発明の一態様に係る駐車支援方法は、駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援方法であって、カメラにより撮影されたカメラ画像において、色成分またはＩＲ成分の強度が閾値を超えた領域を、マーカ候補として複数検出するステップと、前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するステップと、前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを検証するステップと、を備える。
　本発明は、画像処理を低コストに抑えつつ、かつ、マーカの誤認識を防止できる。
本発明の実施の形態１に係る駐車支援システムの構成例を示すブロック図 本発明の実施の形態１に係る駐車支援システムの動作例を示すフロー図 本発明の実施の形態１に係る車両が駐車するときの例を示す図 本発明の実施の形態１に係るカメラ画像の例をそれぞれ示す図 本発明の実施の形態２に係る駐車支援システムの構成例を示すブロック図 本発明の実施の形態２に係る駐車支援システムのマーカペア提示部の動作例を示すフロー図 本発明の実施の形態２に係るカメラ画像の例をそれぞれ示す図
　（実施の形態１）
　本発明の実施の形態１について、図面を参照して説明する。
　＜駐車支援システムの構成＞
　まず、本発明の実施の形態に係る駐車支援システムの構成について説明する。図１は、本実施の形態に係る駐車支援システムの構成例を示すブロック図である。
　駐車支援システムは、車両に搭載され、その車両の駐車支援を行うシステムである。図１において、駐車支援システムは、カメラ２００および駐車支援装置１００を有する。
　＜カメラ２００の構成＞
　カメラ２００は、レンズ２０、イメージセンサ２１、および色／ＩＲ検出部２２を有する。
　レンズ２０は、入射光を取り込む。
　イメージセンサ２１は、色（Red、Green、Blue）およびＩＲに対応したフォトニックカラーフィルタを有する。イメージセンサ２１は、レンズ２０からの入射光を上記フィルタに通し、色成分またはＩＲ成分を抽出する。そして、イメージセンサ２１は、抽出した色成分またはＩＲ成分を含む画像信号を、色／ＩＲ検出部２２へ出力する。
　色／ＩＲ検出部２２は、イメージセンサ２１からの画像信号に基づいて信号処理を行い、カラー画像または赤外暗視画像（以下、「カメラ画像」という）を生成する。カメラ画像は、カメラ２００によって撮影されるリアルタイムの画像である。カメラ画像は、昼間の場合はカラー画像が生成され、夜間の場合は赤外暗視画像が生成される。
　また、色／ＩＲ検出部２２は、カメラ画像において、特定の色成分またはＩＲ成分の強度（輝度）が、予め定められた閾値を超えたか否かを判定する。ここでの閾値は、例えば、カメラ画像の平均輝度に基づいて予め定められた値である。
　そして、色／ＩＲ検出部２２は、カメラ画像において閾値を超えた領域を、マーカ候補として検出する。ここでは、複数のマーカ候補が検出される。マーカ候補とは、カメラ画像においてマーカの画像であると考えられる領域である。このように、色／ＩＲ検出部２２は、マーカ候補検出部としても機能する。
　ここで、マーカについて説明する。マーカは、車両の駐車領域を特定可能な目印であり、地表に備えられる。本実施の形態において、マーカは２つとする。２つのマーカは、予め定められた距離をおいて備えられる。また、マーカは、予め定められた色である。また、マーカは、反射率の高い反射体と近赤外フィルムを構成される。これにより、昼夜を問わず、マーカは検出される。
　そして、色／ＩＲ検出部２２は、複数のマーカ候補を示すカメラ画像を、駐車支援装置１００のマーカ位置算出部１０へ出力する。なお、このカメラ画像は、例えばカーナビゲーションなどの表示装置（図示せず）に表示される。
　＜駐車支援装置１００の構成＞
　駐車支援装置１００は、マーカ位置算出部１０、妥当性検証部１１、自車位置算出部１２、駐車経路算出部１３、および操舵角指示部１４を有する。
　マーカ位置算出部１０は、色／ＩＲ検出部２２からのカメラ画像において、各マーカ候補の位置（座標）を算出し、妥当性検証部１１へ通知する。
　妥当性検証部１１は、マーカ位置算出部１０から通知された各マーカ候補の位置と、予め定められた２つのマーカの位置関係（例えば、マーカ間の距離）とに基づいて、通知されたマーカ候補がマーカとして妥当であるか否かを検証（判定）する。この検証の一例について、以下に説明する。
　妥当性検証部１１は、複数のマーカ候補のうちの１つを、第１のマーカ候補として選択する。次に、妥当性検証部１１は、予め定められた２つのマーカの位置関係に基づいて、第１のマーカ候補とペアになる第２のマーカ候補が存在する可能性のある領域（以下、「マーカ候補存在領域」という）を算出する。次に、妥当性検証部１１は、マーカ候補存在領域に、第１のマーカ候補とは別のマーカ候補が存在するか否かを判定する。判定の結果、マーカ候補存在領域に別のマーカ候補が存在する場合、妥当性検証部１１は、そのマーカ候補を第２のマーカ候補と判定し、第１のマーカ候補とペアであると判定する。そして、妥当性検証部１１は、第１のマーカ候補と第２のマーカ候補とが予め定められた２つのマーカとして妥当であると認識する。次に、妥当性検証部１１は、２つのマーカの位置（第１のマーカ候補の座標および第２のマーカ候補の座標）を、駐車経路算出部１３へ通知する。
　なお、上述したマーカ候補存在領域の算出は、以下のように行われる。カメラ画像における第１のマーカ候補の座標を（ｘ，ｙ）とする。この座標（ｘ，ｙ）は、カメラの焦点距離ｆと、路面を基準とする３次元空間（実空間）における座標（Ｘ，Ｙ，Ｚ）と、以下の数式の関係を持つ。
　ｘ＝ｆ・Ｘ／Ｚ
　ｙ＝ｆ・Ｙ／Ｚ
　ここで、第１のマーカ候補とペアになる第２のマーカ候補は、第１のマーカ候補から一定距離にある。したがって、３次元座標（Ｘ，Ｙ，Ｚ）において、第１のマーカ候補を原点に、ＸＹ軸を平面におくと、第２のマーカ候補の座標（Ｘ’，Ｙ’，０）は、Ｘ’2＋Ｙ’2＝Ａとなる。これにより、カメラ画像における第２のマーカ候補の座標を（ｘ’，ｙ’）とすると、ｘ'2／ａ2＋ｙ'2／ｂ2＝１で表せる楕円状に、第２のマーカ候補が存在することになる。
　自車位置算出部１２は、車速パルスおよび操舵角を基に車両の初期位置からの移動量を算出し、それに基づいて自車位置（車両の現在位置）を算出する。または、自車位置算出部１２は、ＧＰＳ等から自車位置を取得してもよい。そして、自車位置算出部１２は、自車位置を駐車経路算出部１３へ通知する。
　駐車経路算出部１３は、妥当性検証部１１から通知された２つのマーカの位置と、自車位置算出部１２から通知された自車位置とに基づいて、車両の進むべき経路（以下、「駐車経路」という）を算出する。駐車経路は、例えば、２つのマーカが駐車領域の横幅（車幅）を示す場合、２つのマーカの中心同士を結ぶ線に対して車両が垂直に進むように算出される。そして、駐車経路算出部１３は、駐車経路を操舵角指示部１４へ通知する。
　操舵角指示部１４は、駐車経路算出部１３から通知された駐車経路を車両が移動するに伴い、どのようなハンドル操作を行ったらよいか（すなわち、操舵角）を運転手に指示する。
　＜駐車支援システムの動作＞
　次に、本発明の実施の形態に係る駐車支援システムの動作について説明する。図２は、本実施の形態に係る駐車支援システムの動作例を示すフロー図である。
　ステップＳ１０において、例えばギアをバックに入れたときに、駐車支援システムのトリガがＯＮとなり、カメラ２００が撮像を開始する。例えば、図３に示すように、駐車領域３００に駐車するために、車両４００が位置ａで停止し、ギアがバックに入れられたとき、トリガがＯＮとなる。図３において、車両４００は、その後部にカメラ２００を搭載している。また、図３において、駐車領域３００の前方左右には、２つのマーカ３０１、３０２が設置されている。なお、本実施の形態では、マーカが２つである場合を例として説明するが、マーカは３つ以上であってもよい。
　ステップＳ１１において、イメージセンサ２１は、レンズ２０の入射光から色成分またはＩＲ成分を抽出する。上述したとおり、昼間の場合、色成分（Ｒ，Ｇ，Ｂ）が抽出され、夜間の場合、ＩＲ成分が抽出される。
　ステップＳ１２において、色／ＩＲ検出部２２は、カラー画像または赤外暗視画像のいずれかを生成するとともに、そのカメラ画像においてマーカ候補を検出する。すなわち、カメラ画像において、特定の色成分またはＩＲ成分が閾値を超えた領域が、マーカ候補として検出される。特定の色とは、予め定められた色であり、マーカの色である。ここで、図３の位置ａのときに生成されたカメラ画像の例を図４Ａに示す。図４Ａに示すカメラ画像には、車両４００のバンパー４０１の他に、マーカ候補３０１ａとマーカ候補３０２ａが映っている。
　ステップＳ１３において、マーカ位置算出部１０は、カメラ画像におけるマーカ候補の位置を算出する。例えば、カメラ画像が図４Ａの場合、マーカ位置算出部１０は、カメラ画像におけるマーカ候補３０１ａおよびマーカ候補３０２ａのそれぞれの位置を算出する。
　ステップＳ１４において、妥当性検証部１１は、算出されたマーカ候補の位置と、予め定められた２つのマーカの位置関係とに基づいて、マーカ候補がマーカとして妥当であるか否かを検証する。２つのマーカの位置関係とは、例えば、マーカ３０１とマーカ３０２が一定距離離れている関係である。例えば、図４Ａの場合、妥当性検証部１１は、マーカ候補３０１ａ（第１のマーカ候補）を選択し、その位置と、予め定められた２つのマーカの位置関係とに基づいてマーカ候補存在領域を算出する。次に、妥当性検証部１１は、マーカ候補存在領域に他のマーカ候補（第２のマーカ候補）が存在するか否かを判定する。ここで、マーカ候補存在領域に例えばマーカ候補３０２ａが存在する場合、妥当性検証部１１は、マーカ候補３０１ａとマーカ候補３０２ａがペアであると判定し、それらが予め定められた２つのマーカであると認識する。なお、ここでは、妥当性検証部１１は、第１のマーカ候補として、マーカ候補３０１ａを選択したが、マーカ候補３０２ａを選択してもよい。
　ステップＳ１５において、自車位置算出部１２は、自車位置を算出する。例えば、図３の場合、自車位置は、位置ａの座標である。
　ステップＳ１６において、駐車経路算出部１３は、自車位置と、２つのマーカの位置とに基づいて、駐車経路を算出する。この駐車経路は、例えば、マーカ３０１とマーカ３０２の中心同士を結ぶ線に対して車両が垂直に進むように算出される。すなわち、駐車経路は、例えば、図３において車両４００が位置ａから駐車領域３００へと移動する経路である。
　ステップＳ１７において、車両が駐車経路を移動するための操舵角を運転手に指示する。この指示に従ってハンドルを操作すると、例えば、図３に示すように、車両４００を位置ａから位置ｂへと移動させることができる。位置ｂのときのカメラ画像の例を図４Ｂに示す。その後、位置ｂにある車両４００を直線的にバックさせることで、運転者は、車両４００を駐車領域３００に駐車させることができる。
　以上説明したように、本実施の形態の駐車支援システムは、色成分またはＩＲ成分を基にカメラ画像においてマーカ候補を検出し、そのマーカ候補がマーカとして妥当であるか否かを、予め定められたマーカの位置関係を基に検証することを特徴とする。すなわち、本実施の形態の駐車支援システムは、色成分またはＩＲ成分に基づいてマーカ候補の検出を行うので、従来の駐車支援装置で行っていた画像処理（画像変換処理、画像認識処理）を行う必要がない。また、本実施の形態の駐車支援システムは、検出したマーカ候補に対してマーカの妥当性を検証するので、色成分またはＩＲ成分に基づく検出であっても、精度良くマーカを認識できる。したがって、本実施の形態の駐車支援システムは、画像処理を低コストに抑えつつ、かつ、マーカの誤認識を防止できる。
　（実施の形態２）
　本発明の実施の形態２について、図面を参照して説明する。本実施の形態では、妥当性検証部１１がマーカとして妥当であると判定したマーカ候補の組合せが複数存在する場合に対処する。なお、本実施の形態では、マーカ候補の組合せが２つである場合（以下、「マーカペア」という）を例として説明するが、マーカ候補の組合せは３つ以上であってもよい。
　＜駐車支援システムの構成＞
　まず、本発明の実施の形態に係る駐車支援システムの構成について説明する。図５は、本実施の形態に係る駐車支援システムの構成例を示すブロック図である。
　図５において、駐車支援システムは、カメラ２００および駐車支援装置１０１を有する。なお、図５において、図１と同じ構成については同一符号を付し、ここでの説明は省略する。本実施の形態は、駐車支援装置１０１において、マーカペア提示部１５（マーカ組合せ提示部の一例）およびマーカペア記憶部１６（マーカ組合せ記憶部の一例）を備える点が、実施の形態１の駐車支援装置１００と異なる。
　マーカペア提示部１５は、妥当性検証部１１が妥当であると判定した複数のマーカペアの通知を受ける。複数のマーカペアは、例えば、第１のマーカ候補と第２のマーカ候補のペア（第１のマーカペア）、および、第１のマーカ候補と第３のマーカ候補のペア（第２のマーカペア）である。
　マーカペア提示部１５は、妥当性検証部１１から通知された複数のマーカペアと、マーカペア記憶部１６に記憶されているマーカペア（以下、「学習済マーカペア」という）とを照合する。
　上記照合の結果、通知された複数のマーカペアのうち、学習済マーカペアと一致するマーカペアがある場合、マーカペア提示部１５は、表示装置において、そのマーカペアをユーザに提示する。提示の結果、ユーザの承認を受け付けた場合、提示したマーカペアを採用し、そのマーカペアを構成する２つのマーカの位置を駐車経路算出部１３へ通知する。一方、提示の結果、ユーザの承認を受け付けなかった場合、マーカペア提示部１５は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。
　一方、上記照合の結果、通知された複数のマーカペアのうち、学習済マーカペアと一致するマーカペアがない場合、マーカペア提示部１５は、通知された複数のマーカペアから所定のマーカペアを選択し、表示装置においてユーザに提示する。提示の結果、ユーザの承認を受け付けた場合、マーカペア提示部１５は、提示したマーカペアをマーカペア記憶部１６に記憶する。また、マーカペア提示部１５は、提示したマーカペアを採用し、そのマーカペアを構成する２つのマーカの位置を駐車経路算出部１３へ通知する。一方、提示の結果、ユーザの承認を受け付けなかった場合、マーカペア提示部１５は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。
　マーカペア記憶部１６は、ユーザの承認を受け付けたマーカペア、すなわち学習済マーカペアを記憶する。ここで記憶される学習済マーカペアについての情報は、例えば、マーカペアの位置情報（緯度、経度）および／またはカメラ画像全体の輝度情報である。
　＜マーカペア提示部１５の動作＞
　次に、本発明の実施の形態に係るマーカペア提示部１５の動作について説明する。図６は、本実施の形態に係るマーカペア提示部１５の動作例を示すフロー図である。図６に示す動作は、図２で説明した妥当性検証（ステップＳ１４）と自車位置算出（ステップＳ１５）の間に行われる。
　ステップＳ２１において、マーカペア提示部１５は、妥当性検証部１１から複数のマーカペアが通知されたか否かを判定する。判定の結果、複数のマーカペアの通知を受けなかった場合（ステップＳ２１：ＮＯ）、フローは終了する。この場合、マーカペア提示部１５は、妥当性検証部１１から通知された１つのマーカペアを構成する２つのマーカの位置を、駐車経路算出部１３へ通知する。一方、判定の結果、複数のマーカペアの通知を受けた場合（ステップＳ２１：ＹＥＳ）、フローはステップＳ２２へ進む。
　ステップＳ２２において、マーカペア提示部１５は、通知された複数のマーカペアと、マーカペア記憶部１６に記憶されている学習済マーカペアとを照合する。照合の結果、一致するマーカペアがあれば（ステップＳ２２：ＹＥＳ）、フローはステップＳ２３へ進む。一方、照合の結果、一致するマーカペアがなければ（ステップＳ２２：ＮＯ）、フローはステップＳ２６へ進む。
　ステップＳ２３において、マーカペア提示部１５は、学習済マーカペアと一致したマーカペアを、表示装置においてユーザに提示する。このときの提示例を図７Ａに示す。図７Ａに示すように、カメラ画像において、３つのマーカ候補３０１ａ、３０２ａ、３０３ａが表示されている。図７Ａにおいて、マーカペア提示部１５は、マーカ候補３０１ａとマーカ候補３０２ａのそれぞれの周辺を囲むように太線の丸印５１を表示することで、マーカペア（第１のマーカペア）を提示している。また、図７Ａでは、ユーザに選択を促すための表示６１および表示６２が、カメラ画像に重畳されて表示されている。ユーザは、提示されたマーカペアを承認したい場合、表示６１を選択する操作を行う。一方、ユーザは、提示したマーカペア以外を承認したい場合、表示６２を選択する操作を行う。
　ステップＳ２４において、マーカペア提示部１５は、提示したマーカペアについてユーザの承認を受け付けたか否かを判定する。上述したとおり、ユーザは、表示６１を選択する操作を行うことで、提示されたマーカペアを承認する。判定の結果、ユーザの承認を受け付けた場合（ステップＳ２４：ＹＥＳ）、フローは終了する。この場合、マーカペア提示部１５は、提示したマーカペアを採用し、そのマーカペアを構成する２つのマーカの位置を駐車経路算出部１３へ通知する。一方、判定の結果、ユーザの承認を受け付けなかった場合（ステップＳ２４：ＮＯ）、フローはステップＳ２５へ進む。
　ステップＳ２５において、マーカペア提示部１５は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。このときの提示例を図７Ｂに示す。図７Ｂに示すように、カメラ画像において、３つのマーカ候補３０１ａ、３０２ａ、３０３ａが表示されている。図７Ｂにおいて、マーカペア提示部１５は、マーカ候補３０２ａとマーカ候補３０３ａのそれぞれの周辺を囲むように太線の丸印５２を表示することで、マーカペア（第２のマーカペア）を提示している。また、図７Ｂでは、図７Ａと同様に、表示６１および表示６２が、カメラ画像に重畳されて表示されている。その後、フローは、ステップＳ２４へ戻る。
　ステップＳ２６において、マーカペア提示部１５は、通知された複数のマーカペアのうち、所定のマーカペアを選択し、表示装置においてユーザに提示する。このときの提示例は、図７Ａと同じである。
　ステップＳ２７において、マーカペア提示部１５は、提示したマーカペアについてユーザの承認を受け付けたか否かを判定する。判定の結果、ユーザの承認を受け付けた場合（ステップＳ２７：ＹＥＳ）、フローはステップＳ２８へ進む。一方、判定の結果、ユーザの承認を受け付けなかった場合（ステップＳ２７：ＮＯ）、フローはステップＳ２９へ進む。
　ステップＳ２８において、マーカペア提示部１５は、提示したマーカペアを、学習済マーカペアとしてマーカペア記憶部１６に記憶する。また、この場合、マーカペア提示部１５は、提示したマーカペアを採用し、そのマーカペアを構成する２つのマーカの位置を駐車経路算出部１３へ通知する。その後、フローは終了する。
　ステップＳ２９において、マーカペア提示部１５は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。このときの提示例は、図７Ｂと同じである。その後、フローは、ステップＳ２７へ戻る。
　以上説明したように、本実施の形態の駐車支援システムは、実施の形態１の駐車支援システムの特徴に加えて、妥当性が検証されたマーカペアが複数ある場合、学習済データに基づいて適切なマーカペアをユーザに提示することを特徴とする。また、本実施の形態の駐車支援システムは、学習済データがない場合、ユーザにより選択されたマーカペアを学習済データとして記憶し、次の提示の際に利用することを特徴とする。すなわち、本実施の形態の駐車支援システムは、学習済データを利用してマーカペアの提示を行うので、ユーザは、複数のマーカペアの中から適切なものを選択する操作を行う必要がない。また、本実施の形態の駐車支援システムは、未学習の場合に選択されたマーカペアを学習し、次のマーカペアの提示に利用するので、ユーザは、次回において複数のマーカペアの中から適切なものを選択する操作を行う必要がない。したがって、本実施の形態の駐車支援システムは、実施の形態１の駐車支援システムの効果に加えて、ユーザの利便性を向上させることができる。
　以上、本発明の実施の形態１、２について説明したが、上記説明は一例であり、種々の変形が可能である。
　例えば、上記実施の形態１、２では、妥当性検証は、予め定められたマーカ間の距離に基づいて行われる例としたが、これに限定されない。例えば、２つのマーカのそれぞれを別々の色とし、妥当性検証部１１が、２つのマーカについて位置と色を紐付けて記憶しておく（例えば、右が青、左が赤など）。そして、妥当性検証部１１は、カメラ画像において検出された２つのマーカ候補が、記憶しておいた上記条件を満たす場合に、それら２つのマーカ候補を予め定められたマーカとして認識する。
　また、例えば、上記実施の形態１、２では、色成分またはＩＲ成分に基づくマーカ候補の検出をカメラ２０の色／ＩＲ検出部２２が行う例としたが、これに限定されない。例えば、マーカ候補の検出は、駐車支援装置１００または１０１が行うように構成してもよい。
　また、例えば、上記実施の形態１、２の駐車支援システムの動作は、ハードウェアとの連係において、ソフトウェアでも実現することも可能である。
　本発明は、例えば、車両内の表示装置に表示される画像情報に基づいて車両の駐車支援を行う駐車支援システムおよび駐車支援方法に適用することができる。
　１０　マーカ位置算出部
　１１　妥当性検証部
　１２　自車位置算出部
　１３　駐車経路算出部
　１４　操舵角指示部
　１５　マーカペア提示部
　１６　マーカペア記憶部
　２０　レンズ
　２１　イメージセンサ
　２２　色／ＩＲ検出部
　１００、１０１　駐車支援装置
　２００　カメラ
　３０１、３０２、３０３　マーカ
　４００　車両

Claims (7)

  1. 　駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援システムであって、
    　カメラにより撮影されたカメラ画像において、色成分またはＩＲ成分の強度が閾値を超えた領域を、マーカ候補として複数検出するマーカ候補検出部と、
    　前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部と、
    　前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを判定する妥当性検証部と、を備える、
    　駐車支援システム。
  2. 　前記妥当性検証部は、
    　前記複数のマーカ候補から第１のマーカ候補を選択し、
    　前記第１のマーカ候補の位置と、前記複数のマーカの位置関係とに基づいて、前記第１のマーカ候補とペアになる第２のマーカ候補が存在する可能性のある領域を算出し、
    　前記領域に存在するマーカ候補を前記第２のマーカ候補と判定し、前記第１のマーカ候補と前記第２のマーカ候補のペアが前記複数のマーカとして妥当であると判定する、
    　請求項１記載の駐車支援システム。
  3. 　前記複数のマーカ候補により構成されるマーカ組合せが複数あり、前記複数のマーカ組合せを前記妥当性検証部が前記複数のマーカとして妥当であると判定した場合、前記複数のマーカ組合せから一のマーカ組合せをユーザに提示するマーカ組合せ提示部と、
    　ユーザにより承認されたマーカ組合せを学習済マーカ組合せとして記憶するマーカ組合せ記憶部と、をさらに備え、
    　前記マーカ組合せ提示部は、
    　前記複数のマーカ組合せと前記学習済マーカ組合せとの照合を行い、
    　前記照合の結果、前記学習済マーカ組合せと一致したマーカ組合せをユーザに提示する、
    　請求項１または２記載の駐車支援システム。
  4. 　前記マーカ組合せ提示部は、
    　前記照合の結果、前記学習済マーカ組合せと一致するマーカ組合せが無い場合、前記複数のマーカ組合せのうち所定のマーカ組合せをユーザに提示する、
    　請求項３記載の駐車支援システム。
  5. 　前記マーカ組合せ提示部は、
    　前記提示したマーカ組合せがユーザに承認された場合、前記提示したマーカ組合せを前記学習済マーカ組合せとして前記マーカ組合せ記憶部に記憶する、
    　請求項４記載の駐車支援システム。
  6. 　前記マーカ組合せ提示部は、
    　前記提示したマーカ組合せがユーザに承認されなかった場合、前記複数のマーカ組合せのうち他のマーカ組合せをユーザに提示する、
    　請求項３または４記載の駐車支援システム。
  7. 　駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援方法であって、
    　カメラにより撮影されたカメラ画像において、色成分またはＩＲ成分の強度が閾値を超えた領域を、マーカ候補として複数検出するステップと、
    　前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するステップと、
    　前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを検証するステップと、を備える、
    　駐車支援方法。
PCT/JP2014/001772 2013-03-29 2014-03-27 駐車支援システムおよび駐車支援方法 WO2014156166A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/652,300 US9727796B2 (en) 2013-03-29 2014-03-27 Parking assistance system and parking assistance method
EP14772674.9A EP2981073B1 (en) 2013-03-29 2014-03-27 Parking assistance system and parking assistance method
JP2015508081A JP6376354B2 (ja) 2013-03-29 2014-03-27 駐車支援システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-071847 2013-03-29
JP2013071847 2013-03-29

Publications (1)

Publication Number Publication Date
WO2014156166A1 true WO2014156166A1 (ja) 2014-10-02

Family

ID=51623178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001772 WO2014156166A1 (ja) 2013-03-29 2014-03-27 駐車支援システムおよび駐車支援方法

Country Status (4)

Country Link
US (1) US9727796B2 (ja)
EP (1) EP2981073B1 (ja)
JP (1) JP6376354B2 (ja)
WO (1) WO2014156166A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018103751A (ja) * 2016-12-26 2018-07-05 株式会社Ｓｏｋｅｎ 駐車支援装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
US10999560B2 (en) * 2017-11-07 2021-05-04 Readiness Systems, LLC Remote electronic monitoring infrastructure
CN109631896B (zh) * 2018-07-23 2020-07-28 同济大学 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
CN110824188B (zh) * 2019-10-17 2022-10-04 浙江大华技术股份有限公司 高速公路车辆的测速方法、装置、编解码器及存储装置
CN113212352B (zh) * 2020-02-06 2023-05-05 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法
CN113335442B (zh) * 2021-07-22 2023-08-29 上海锐承通讯技术有限公司 用于自行车的上锁方法及自行车

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58114283A (ja) * 1981-12-28 1983-07-07 Fujitsu Ltd パタ−ン認識装置
JP2003182489A (ja) * 2001-12-19 2003-07-03 Matsushita Electric Ind Co Ltd 駐車支援装置
JP2011070566A (ja) * 2009-09-28 2011-04-07 Saxa Inc マーカー検知装置及びマーカー検知装置用プログラム
JP2012071794A (ja) 2010-09-29 2012-04-12 Aisin Seiki Co Ltd 駐車支援装置
JP2012206580A (ja) * 2011-03-29 2012-10-25 Panasonic Corp 駐車支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP4604703B2 (ja) 2004-12-21 2011-01-05 アイシン精機株式会社 駐車補助装置
JP4957266B2 (ja) * 2007-01-24 2012-06-20 富士ゼロックス株式会社 出力支援装置および出力システム
JP5182545B2 (ja) 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
US9123242B2 (en) * 2007-12-05 2015-09-01 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
TWI347900B (en) * 2009-03-10 2011-09-01 Univ Nat Chiao Tung Parking assistance system and method
WO2011106578A2 (en) * 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
DE102010023162A1 (de) 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58114283A (ja) * 1981-12-28 1983-07-07 Fujitsu Ltd パタ−ン認識装置
JP2003182489A (ja) * 2001-12-19 2003-07-03 Matsushita Electric Ind Co Ltd 駐車支援装置
JP2011070566A (ja) * 2009-09-28 2011-04-07 Saxa Inc マーカー検知装置及びマーカー検知装置用プログラム
JP2012071794A (ja) 2010-09-29 2012-04-12 Aisin Seiki Co Ltd 駐車支援装置
JP2012206580A (ja) * 2011-03-29 2012-10-25 Panasonic Corp 駐車支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2981073A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018103751A (ja) * 2016-12-26 2018-07-05 株式会社Ｓｏｋｅｎ 駐車支援装置

Also Published As

Publication number Publication date
JP6376354B2 (ja) 2018-08-22
EP2981073A4 (en) 2016-03-23
EP2981073A1 (en) 2016-02-03
EP2981073B1 (en) 2017-09-13
US9727796B2 (en) 2017-08-08
US20150356359A1 (en) 2015-12-10
JPWO2014156166A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6376354B2 (ja) 駐車支援システム
US11192557B2 (en) Road profile along a predicted path
US11657604B2 (en) Systems and methods for estimating future paths
CA3001287C (en) Display assistance device and display assistance method
US9361803B2 (en) Parking assistance apparatus and parking assistance method for vehicle
CN108027976B (zh) 行驶支援装置以及基于行驶支援装置的行驶支援方法
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
JP5172314B2 (ja) ステレオカメラ装置
JP5421072B2 (ja) 接近物体検知システム
US9953227B2 (en) In-vehicle image processing device
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JPWO2018066712A1 (ja) 走行支援装置及びコンピュータプログラム
US20130120161A1 (en) Parking assistance device
US9864915B2 (en) Around view monitoring apparatus and method thereof
US20160012725A1 (en) Around view system and operating method thereof
JP6917330B2 (ja) 駐車支援装置
JP2007311898A (ja) 車両運転支援装置および車両運転支援方法
JP5192009B2 (ja) 車両の周辺監視装置
JP2010012838A (ja) 駐車支援装置、及び駐車支援方法
KR102164702B1 (ko) 자동 주차 장치 및 자동 주차 방법
JP2009122808A (ja) 車両用運転支援装置
WO2017122688A1 (ja) 車載カメラのレンズ異常検出装置
JP6127391B2 (ja) 車両周辺視認装置
JP5132796B2 (ja) 車両周辺画像生成装置および画像切替方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14772674

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015508081

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14652300

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014772674

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014772674

Country of ref document: EP