WO2015141247A1 - 車載用画像処理装置およびそれを用いた車両システム - Google Patents

車載用画像処理装置およびそれを用いた車両システム Download PDF

Info

Publication number
WO2015141247A1
WO2015141247A1 PCT/JP2015/050507 JP2015050507W WO2015141247A1 WO 2015141247 A1 WO2015141247 A1 WO 2015141247A1 JP 2015050507 W JP2015050507 W JP 2015050507W WO 2015141247 A1 WO2015141247 A1 WO 2015141247A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
vehicle
state
image processing
white line
Prior art date
Application number
PCT/JP2015/050507
Other languages
English (en)
French (fr)
Inventor
健人 緒方
將裕 清原
智史 鈴木
尊史 萩
吉孝 内田
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Publication of WO2015141247A1 publication Critical patent/WO2015141247A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to an in-vehicle image processing apparatus for an automobile that detects an object based on information from an image sensor such as a camera, and performs an alarm or vehicle behavior control according to the detection result, and a vehicle using the same About the system.
  • the present invention has been made in view of the above points, and the object of the present invention is to detect an object based on an optimum reference according to the road surface condition when detecting an object such as a white line. It is providing the vehicle-mounted image processing apparatus which implements, and a vehicle system using the same.
  • An in-vehicle image processing apparatus of the present invention that solves the above-described problems is an in-vehicle image processing apparatus that detects an object on a road surface, and an image acquisition unit that acquires an image obtained by capturing the surroundings of the own vehicle;
  • a road surface state estimation unit that estimates a road surface state around the vehicle based on a luminance distribution in the vicinity of the host vehicle, a determination method setting unit that sets a determination method of an object according to the road surface state, and the target from the image
  • a target candidate detection unit that detects a target candidate that is estimated as a target, and a target determination unit that determines whether the target candidate is the target using the determination method. It is said.
  • the road surface state is estimated, and the object is determined using the determination method set according to the estimated road surface state, so that a part of the road surface is erroneously detected as the object. Therefore, it is possible to provide a vehicle system that performs highly reliable control based on this. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
  • the block diagram of the vehicle-mounted image processing apparatus in 1st Embodiment Explanatory drawing of the process of the image acquisition part in 1st Embodiment. Explanatory drawing of the own vehicle vicinity area
  • the figure which shows an example of a uniform state and its luminance histogram typically.
  • the figure which shows an example of a reflection state and its luminance histogram typically.
  • luminance histogram and mixed Gaussian distribution of a shade sunlight state The figure which shows the difference
  • the block diagram of another form of 1st Embodiment The flowchart showing the process of the parking assistance control part in 1st Embodiment.
  • contamination detection part in 2nd Embodiment The flowchart showing a part of process of the white line determination part in 2nd Embodiment.
  • the flowchart showing the process of the parking assistance control part in 2nd Embodiment The block diagram of the vehicle-mounted image processing apparatus in 3rd Embodiment.
  • the flowchart showing a part of process of the obstacle determination part in 3rd Embodiment The flowchart showing a part of process of the obstacle determination part in 3rd Embodiment.
  • Explanatory drawing of the process of the obstruction determination part in 3rd Embodiment The flowchart showing the process of the vehicle control part in 3rd Embodiment.
  • FIG. 1 is a block diagram of an in-vehicle image processing apparatus 1000 according to the first embodiment.
  • the in-vehicle image processing apparatus 1000 is incorporated in a camera device mounted on an automobile, an integrated controller, or the like, and detects an object from images taken by the cameras 1001 to 1004 of the camera device.
  • a parking frame drawn by a white line on the road surface around the host vehicle is detected.
  • the plurality of cameras 1001 to 1004 are attached at positions where the entire periphery of the vehicle can be imaged so as to include at least the road surface.
  • the front, left, right, Each is attached to the rear. Since the number of cameras and the mounting position need to be able to detect the shaded sun around the vehicle, it is sufficient that at least two cameras are mounted so as to capture images in directions away from each other. .
  • the in-vehicle image processing apparatus 1000 is configured by a computer having a CPU, a memory, an I / O, and the like, and a predetermined process is programmed and the process is repeatedly executed at a predetermined cycle T.
  • the in-vehicle image processing apparatus 1000 includes an image acquisition unit 1021, a road surface state estimation unit 1031, a determination method setting unit 1041, a white line candidate detection unit (object candidate detection unit) 1051, and a white line A determination unit (object determination unit) 1061 and a parking frame recognition unit 1071 are included.
  • the image acquisition unit 1021 acquires images 1011 to 1014 obtained by photographing the surroundings of the vehicle from a plurality of cameras 1001 to 1004, and geometrically transforms and combines them to look down from a virtual viewpoint in the sky.
  • An overhead image 1015 is generated and stored on the RAM. It is assumed that geometric transformation / synthesis parameters are set in advance by calibration performed at the time of vehicle shipment. Note that the bird's-eye view image 1015 is a two-dimensional array and is represented by IMGSRC [x] [y]. x and y indicate the coordinates of the image, respectively.
  • the road surface state estimation unit 1031 acquires the luminance histogram HST [b] from the own vehicle vicinity region 1032 in the bird's-eye view image 1015, and estimates whether the road surface state around the own vehicle belongs to a plurality of preset road surface states. To do.
  • the own vehicle vicinity area 1032 is an area set in the vicinity of the own vehicle in the bird's-eye view image 1015, and it can be considered that the road surface around the own vehicle is always captured in the own vehicle vicinity area 1032.
  • the luminance histogram HST [b] is a one-dimensional array, and b represents a histogram bin. In the present embodiment, it is estimated which of the four types of road surface conditions, ie, [uniform state], [bright / dark separation state], [shade-sunshine state], and [complex state].
  • the determination method setting unit 1041 sets a determination method for determining a white line according to the road surface state estimated by the road surface state estimation unit 1031.
  • a determination is made using a luminance range obtained from the luminance histogram or a Gaussian model of the luminance histogram.
  • the road surface state is [complex state]
  • a determination method using an image pattern is set.
  • the white line candidate detection unit 1051 detects a white line candidate LC [n] from the overhead image 1015.
  • the white line candidate LC [n] is a one-dimensional array whose elements are tables having information such as the coordinates of white line candidates, and n represents an ID when a plurality of white line candidates are detected.
  • the white line determination unit 1061 determines, based on the determination method set by the determination method setting unit 1041 for the white line candidate LC [n], whether it is a white line or a road surface, and determines the white line LN [m].
  • the white line LN [m] is a one-dimensional array having a table having information such as the coordinates of the white line as an element, and m represents an ID when a plurality is detected.
  • the parking frame recognition unit 1071 detects the parking frame PS [k] based on the white line LN [m].
  • the parking frame PS [k] is a one-dimensional array having a table having information such as coordinates of the parking frame as elements, and k represents an ID when a plurality of detections are detected.
  • FIG. 4-1 is a flowchart showing the processing flow of the road surface state estimation unit 1031. Details of the processing will be described below.
  • step S401 a luminance histogram is created from the vehicle vicinity area.
  • FIG. 3-1 is an explanatory view of the own vehicle vicinity area 1032.
  • the upper side of the drawing indicates the front of the vehicle.
  • the own vehicle vicinity area 1032 is fixed as shown in FIG. 3-1 (a) and as shown in FIGS. 3-1 (b) and (c)
  • Both cases where the vehicle vicinity area 1032 is variable will be described.
  • the own vehicle vicinity area 1032 when the own vehicle vicinity area 1032 is fixed, it is set near the center in the overhead image 1015.
  • the black portion shown inward of the own vehicle vicinity region 1032 is a portion that cannot be captured by the cameras 1001 to 1004, so this region is excluded from the subject of the own vehicle vicinity region 1032.
  • FIGS. 3-1 (b) and (c) when the own vehicle vicinity region 1032 is made variable according to the own vehicle behavior, shift position information of the transmission of the vehicle is acquired and based on the information.
  • the rear side of the host vehicle is set large as shown in FIG. 3B, and when the host vehicle is moving backward, the front side of the host vehicle is set large as shown in FIG. To do.
  • the central portion is excluded.
  • FIG. 3-1 (d) is an example of the luminance histogram HST [b] acquired from the own vehicle vicinity area 1032.
  • the luminance histogram HST [b] represents the frequency of the luminance of the image, and is represented by a one-dimensional graph with the horizontal axis representing luminance and the vertical axis representing frequency.
  • FIGS. 3-2 to 3-6 are diagrams schematically showing examples of road surface conditions and their luminance histograms.
  • 3-2 is a diagram schematically illustrating an example of a uniform state and its luminance histogram
  • FIG. 3-3 is a diagram schematically illustrating an example of a shaded and sunny state and its luminance histogram
  • FIG. 3-5 is a diagram schematically showing an example of a reflection state and its luminance histogram
  • FIG. 3-6 is a diagram showing a complex state and its luminance histogram.
  • FIG. 3-2 is a diagram schematically illustrating an example of a uniform state and its luminance histogram
  • FIG. 3-3 is a diagram schematically illustrating an example of a shaded and sunny state and its luminance histogram
  • FIG. 3-5 is a diagram schematically showing an example of a reflection state and its luminance histogram
  • FIG. 3-6 is a diagram showing a complex state and its luminance histogram.
  • the road surface of the bird's-eye view image 1015 shown in FIG. 3-2 is in a uniform state that is not shaded or shaded and can be regarded as having almost a single luminance.
  • the luminance histogram when the road surface state is a uniform state has a large distribution of the road surface region, and is unimodal with one large peak.
  • the road surface of the bird's-eye view image 1015 shown in FIG. 3-3 (a) is in the shaded and sunny state, which is a kind of light / dark separation state in which the shadow of the vehicle or building is reflected in the sun and the road surface brightness is divided into light and dark.
  • the road surface of the bird's-eye view image 1015 shown in FIG. 3-4 (a) is in another light / dark separation state in which the road surface brightness is divided into light and dark due to road construction or the like.
  • the road surface of the bird's-eye view image 1015 shown in FIG. 3-5 (a) is in a reflection state in which a structure reflected on the road surface wet by rain or the like is reflected.
  • the road surface of the overhead image 1015 shown in FIG. 3-6 (a) is a complicated state in which, for example, light and shadows from a plurality of directions are reflected, and it is difficult to approximate the luminance histogram with a preset Gaussian distribution. is there.
  • the luminance histograms shown in FIGS. 3-3 (b), 3-4 (b), and 3-5 (b) are different in shape in the shaded sunlight state, other light / dark separation states, and the reflection state. Is generally bimodal with two large peaks. Then, three or more peaks appear in the complex state luminance histogram shown in FIG. 3-6 (b).
  • step S402 the luminance histogram is analyzed.
  • the luminance histogram HST [b] is approximated by a single Gaussian distribution having one peak or a mixed Gaussian distribution having two peaks, and the error is obtained.
  • the weights ⁇ _ ⁇ 1, 2,..., G ⁇ , the average ⁇ _ ⁇ 1, 2,..., G ⁇ , and the variance ⁇ _ ⁇ 1, 2 are the parameters of the mixed Gaussian distribution expressed by the distribution number G.
  • G ⁇ are expressed as a table GPTBL (G).
  • An EM algorithm is generally used as a method of approximating a certain distribution by the mixed Gaussian distribution GPTBL (G). Since this method is publicly known, the description is omitted here.
  • HSTNML [b] is obtained by normalizing the luminance histogram HST [b] so that the total value thereof is 1.
  • HSTMLD (G) [b] is a distribution obtained from the table GPTBL (G), and is normalized so that the total value thereof is also 1.
  • the error Err (1) in FIGS. 4-2 (a) and (b) is the area of the region shown in black in FIG. 4-2 (c).
  • the Gaussian distribution calculated from the luminance histogram of FIG. 4-3 (a) becomes FIG. 4-3 (b), and the error Err (1) of FIGS. 4-3 (a) and (b) is shown in FIG. 4-3 (c). ) Is the area of the region shown in black.
  • FIGS. 4-4 (a) to (c) are examples applied to the reflective road surface shown in FIG. 3-5
  • FIGS. 4-5 (a) to (c) are shown in FIG. 6 is an example applied to a road surface in a complicated state shown in FIG.
  • the error Err (2) in FIGS. 4-6 (a) and (b) is the area of the region shown in black in FIG. 4-6 (c).
  • the Gaussian distribution calculated from the luminance histogram of FIG. 4-7 (a) becomes FIG. 4-7 (b), and the error Err (1) of FIGS. 4-7 (a) and (b) is shown in FIG. ) Is the area of the region shown in black.
  • FIGS. 4-8 (a) to (c) are examples applied to the reflective road surface shown in FIG. 3-5
  • FIGS. 4-9 (a) to (c) are shown in FIG. 6 is an example applied to a road surface in a complicated state shown in FIG.
  • step S403 it is determined whether the luminance histogram HST [b] can be approximated by a single Gaussian distribution GP (1).
  • the error Err (1) of GP (1) is equal to or smaller than the threshold value TH_Err1
  • it is determined that approximation is possible if it is determined that approximation is possible, and if it is larger than the threshold value, it is determined that approximation is impossible and the process moves to step S404.
  • step S404 it is determined whether the luminance histogram HST [b] can be approximated by the mixed Gaussian distribution GP (2).
  • the error Err (2) in the case of GP (2) is less than or equal to the threshold value TH_Err2, it is determined that approximation is possible, and the process moves to step S406 to analyze the road surface pattern. It judges with having carried out, and moves to Step S409.
  • step S403 If it is determined in step S403 that the luminance histogram HST [b] can be approximated by a single Gaussian distribution GP (1) (YES in step S403), the road surface state is estimated as [uniform state] in step S405.
  • the road surface state is “a uniform state” means a state in which there is no shade or shadow on the road surface and it can be regarded as almost a single luminance. Even when a white line such as a parking frame is present on the road surface, the number of pixels on the road surface is overwhelmingly larger than the number of pixels on the white line in the image, so that it can be approximated to a single Gaussian distribution.
  • step S404 If it is determined in step S404 that the luminance histogram HST [b] can be approximated by the mixed Gaussian distribution GP (2) (YES in step S404), it is estimated that the road surface is separated into light and dark [light / dark separation state]. Then, in order to analyze the state in more detail, the processing after step S406 is executed. In step S406, road surface pattern analysis is performed. In the road surface pattern analysis, processing for recognizing the light and dark shape of the road surface is performed. Then, based on the bright and dark shape of the road surface recognized in step S406, it is determined in step S407 whether or not [brightness / darkness separation state] is [reflection state].
  • step S407 If it is determined in step S407 that it is not [reflective state] (NO), the process proceeds to step S408, and it is estimated that the road surface state is either [shade-sunshine state] or [other light / dark separation state]. To do. On the other hand, if it is determined in step S407 that the state is [reflection state] (YES), the process proceeds to step S409, and the road surface state is estimated to be [complex state (including [reflection state]).
  • FIG. 5 is a diagram showing a specific example of the road surface state
  • FIG. 5 (a) shows a shaded and sunny state
  • FIG. 5 (b) shows other light / dark separation states
  • FIG. 5 (c) shows a reflection state.
  • the road surface state being “shade and sunny state” refers to a state in which the shadow of the vehicle is reflected in the image.
  • [other light-and-dark separation state] means that, for example, as shown in FIG. 5 (b), the road surface is reflected by a state in which a shadow of an object other than the own vehicle such as a building or a wall is reflected, or road construction.
  • the “reflection state” means a state in which a structure reflected on a road surface wet by rain or the like is reflected as shown in FIG. 5C, for example.
  • the road surface pattern analysis is performed by analyzing the overhead image 1015 using the approximate mixed Gaussian distribution parameter GP (2).
  • GP (2) the approximate mixed Gaussian distribution parameter
  • a pixel belonging to GPL is extracted from two Gaussian distributions. Whether the pixel belongs or not can be determined by substituting the luminance of each pixel into GPL and GPH, and whether or not the output value of GPL is larger than the output value of GPH.
  • a binary image obtained by extracting only pixels belonging to the GPL in the overhead view image 1015 is generated, and the shape is analyzed.
  • the road surface state is [shade-sunshine state]. judge.
  • the GPH pixel area Sa corresponds to the sun road surface
  • the GPL pixel area Sb corresponds to the shade road surface.
  • the GPL pixel region Sb has a complicated shape due to reflection of a structure reflected on the road surface wetted by rain or the like as shown in FIG. (YES in step S407).
  • the above determination can be made by performing a labeling process on a binary image obtained by extracting pixels belonging to the GPL and viewing the shape of each label.
  • step S407 if the road surface state is not “reflection state”, the process moves to step S408, and if the road surface state is “reflection state”, the process moves to step S409.
  • step S408 it is determined that the luminance histogram can be approximated by a Gaussian distribution set in advance, and the road surface state is estimated to be [shade sunshine state] or [other light / dark separation state].
  • step S409 it is determined that it is difficult to approximate the luminance histogram by a preset Gaussian distribution or the shape is complicated, and the road surface state is estimated to be [complex state]. [Reflection state] is treated as a subset of [Complex state].
  • the road surface state estimation unit 1031 estimates whether the histogram in the vicinity of the own vehicle is most applicable to a single-peaked model, a bimodal model, or any other model, and the parameters in the fitted model.
  • two types of determination methods are used depending on whether the road surface state is estimated as [complex state] and in other cases. If the road surface state is determined to be other than [complex state], determination using the mixed Gaussian distribution model GP (G) used in the road surface state estimation unit 1031 is performed. On the other hand, when the road surface state is determined as [complex state], determination using a luminance pattern is performed. Details of the luminance pattern will be described in the white line determination unit 1061.
  • FIG. 6 is a flowchart showing the processing flow of the white line candidate detection unit 1051.
  • the white line candidate detection unit 1051 may be performed on the entire overhead image 1015 or may limit the processing region.
  • the upper half of the overhead image 1015 is set as the processing area when the host vehicle is stopped and moving forward, and the lower half is set when the host vehicle is moving backward.
  • step S601 a vertical edge filter is applied to each line in the processing region while scanning from the left side to the right side of the image.
  • steps S602 and S603 are performed for each line.
  • step S602 an edge point where the output value of the edge filter reaches a peak is detected. The peak is detected at the rising edge (change point of luminance from dark to light) Eu [nu] falling edge (change point of luminance from light to dark) Ed [nd].
  • step S603 among the rising edge point Eu [nu] and the falling edge point Ed [nd] detected in step S602, a predetermined range on the right side of the image from the rising edge (predefined and detected) Only the edge pair Ep [np] in which the falling edge exists within the maximum thickness of the white line is left, and the other single edges are deleted.
  • the above steps S601 to S603 are executed for each line in the processing area.
  • step S604 among the edge pairs Ep [np], those arranged in a straight line are grouped to generate a straight line candidate group Lg [ng].
  • edge pairs that are not linear are removed.
  • the grouping of white lines arranged on a straight line is possible by using a known Hough transform.
  • step S605 lines having a predetermined length or less are removed from the lines of the straight line candidate group Lg [ng].
  • step S606 the coordinates of the upper and lower edges of the rising and falling edges of the remaining group are stored as elements of the white line candidate LC [n].
  • FIG. 7A is a flowchart illustrating a processing flow of the white line determination unit 1061.
  • step S701 it is confirmed whether or not the road surface state determined by the road surface state estimation unit 1031 is [complex state]. If it is not [complex state], the process proceeds to step S7011, and if it is [complex state], the process proceeds to step S706. In step S7011, it is confirmed whether or not the road surface state determined by the road surface state estimation unit 1031 is [shade and sunny state]. If it is not [shade-sunshine state], the process proceeds to step S702. If it is [shade-sunshine state], the process proceeds to step S707. Hereinafter, the processing from step S702 to step S705 is repeated for the number of white line candidates LC [n].
  • step S702 a luminance histogram HSTLC [n] inside the white line candidate LC [n] is created.
  • step S703 it is determined whether the white line candidate luminance (inner luminance histogram of the white line candidate) is included in the road surface luminance reference.
  • an error Err_LNGP between the luminance histogram HSTLC [n] inside the white line candidate LC [n] and the mixed Gaussian distribution model GP (G) set by the determination method setting unit 1041 is calculated and compared with the threshold TH_LNGP.
  • step S703 If the error Err_LNGP is larger than the threshold value TH_LNGP, it is determined that the brightness of the white line candidate is not included in the road surface brightness reference (NO in step S703), and the process moves to step S704. It determines with it being contained in a brightness
  • step S704 the white line candidate is determined as a white line, and the information of the white line candidate LC [n] is copied to the white line LN [m].
  • step S705 it is determined that the white line candidate is not a white line, and the information of the white line candidate LC [n] is not copied to the white line LN [m] but is erased.
  • step S706 the process when it is determined that the state is [complex state] described below is entered.
  • FIG. 7-2 (a) shows a scene in which a parking frame line ahead of the host vehicle is detected as a white line candidate LC.
  • the processing for the right white line candidate LC among the left and right white line candidates will be described (the same applies to the processing for the left white line candidate).
  • FIG. 7-2 (b) shows the luminance histogram HSTLC [n] of the inner region of the white line candidate LC [n] (inside the dotted rectangle on the right side of FIG. 7-2 (a)), and FIG.
  • the histogram of the mixed Gaussian distribution model GP (G) set by the method setting unit 1041 and FIG. 7-2 (d) display the errors of the histograms of FIGS. 7-2 (b) and (c). .
  • the luminance histogram shown in FIG. 7-2 (b) is obtained as the luminance histogram HSTLC [n] of the inner region of the white line candidate LC [n], and the mixed Gaussian distribution model GP (G) set by the determination method setting unit 1041 is obtained.
  • the luminance histogram is as shown in FIG. 7-2 (c)
  • the histograms of FIGS. 7-2 (b) and 7 (c) are compared with each other as shown in FIG. 7-2 (d). The position of is very different. Accordingly, when the error of these two histograms is obtained using the method described in the road surface state estimation unit 1031, a large value exceeding the threshold value TH_LNGP is obtained and determined as a white line.
  • FIG. 7-3 (a) is a scene in which a shadow (GPL pixel area Sb) is present in front of the host vehicle, and a sunlit portion (GPH pixel area Sa) between the shadows is detected as a white line candidate LC.
  • GPL pixel area Sb a shadow
  • GPH pixel area Sa sunlit portion
  • FIG. 7-3 (b) shows the luminance histogram HSTLC [n] of the inner region of the white line candidate LC [n] (inside the dotted rectangle on the right side of FIG. 7-3 (a)), and FIG.
  • the brightness histogram shown in FIG. 7-3 (b) is obtained as the brightness histogram HSTLC [n] of the inner region of the white line candidate LC [n], and the mixed Gaussian distribution model GP (G) set by the determination method setting unit 1041 is obtained.
  • the luminance histogram is as shown in FIG. 7-3 (c)
  • the position is almost the same. Accordingly, when the error between these two histograms is obtained using the method described in the road surface state estimation unit 1031, a small value can be obtained. Therefore, the value is equal to or less than the threshold value TH_LNGP, and it is determined that the line is not a white line and is erased.
  • step S706 the process described in FIG. 8-1 is executed.
  • FIG. 8A is a process performed when it is determined that the road surface is in the “complex state”.
  • the processing from step S801 to step S804 is repeated for the number of white line candidates LC [n].
  • step S ⁇ b> 801 a region including a white line candidate is set for a luminance pattern around the white line candidate, that is, the overhead image 1015.
  • step S802 it is determined whether the luminance pattern of the white line candidate is radial, that is, whether the shape of the region set to include the white line candidate in the overhead image 1015 is radial.
  • the bird's-eye view image 1015 is a virtual viewpoint image from the sky.
  • the white line candidate is determined by determining whether or not the image in the region set to include the white line candidate is radial from the camera installation position. You can tell whether it is due to road surface reflection or true white line.
  • the following method is used as a method for determining whether the beam is radial.
  • an edge angle DE [x] [y] is calculated from each image in an area set to include white line candidates.
  • an angle DC [x] [y] formed by the position of each pixel and the camera installation position is calculated.
  • the difference between DE [x] [y] and DC [x] [y] is obtained, and it is determined whether or not the value is within the threshold TH_DEDC.
  • the above processing is performed for all the pixels in the region set to include white line candidates, and the number of pixels that are within the threshold is counted.
  • a value RR obtained by dividing the counted number of pixels by the area of the region is obtained. If the value is equal to or greater than the threshold value TH_RR, it is determined to be radial, otherwise it is determined not to be radial.
  • threshold values TH_DEDC and TH_RR are set in advance.
  • step S802 If it is determined in step S802 that the brightness pattern of the white line candidate is not radial (NO in step S802), the process moves to step S803. In step S803, the white line candidate is determined as a white line, and the information of the white line candidate LC [n] is copied to the white line LN [m]. On the other hand, if it is determined in step S802 that the brightness pattern of the white line candidate is radial (YES in step S802), the process moves to step S804. In step S804, it is determined that the white line candidate is not a white line, and the information of the white line candidate LC [n] is not copied to the white line LN [m] but is erased.
  • FIG. 8-2 is a diagram for explaining whether or not the white line candidate is radial in the overhead view image.
  • FIG. 8-2 (a) shows the installation positions of the cameras 1001 to 1004 on the overhead image 1015. Reflection on the road surface is a direction extending radially from the camera position.
  • FIG. 8-2 (b) is an example of a white line candidate LC that is not radial.
  • the edge angle of the white line candidate LC is not radial, the position of the camera 1001 is not passed. That is, the camera 1001 is not located on the extension line of the white line candidate LC. Therefore, the error between the edge angle DE [x] [y] of each pixel and the angle DC [x] [y] formed by each pixel and the camera installation position becomes large.
  • FIG. 8-2 (c) is an example of a radial white line candidate LC.
  • the angle of the edge of the white line candidate LC since the angle of the edge of the white line candidate LC is radial, it passes through the position of the camera 1001. That is, the camera 1001 is positioned on the extension line of the white line candidate LC. Therefore, the error between the edge angle DE [x] [y] of each pixel and the angle DC [x] [y] formed by each pixel and the camera installation position becomes small.
  • step S7011 that the road surface state is [shade and sunny]
  • step S707 the process moves to step S707, and the process described in FIG. 9 is executed.
  • FIG. 9 shows a process when it is determined that the road surface is [shade and sunny].
  • step S901 to step S906 is repeated by the number of white line candidates LC [n].
  • step S901 a luminance histogram HSTLC [n] inside the white line candidate LC [n] is acquired.
  • step S902 a luminance histogram HSTLCEX [n] outside the white line candidate LC [n] is acquired.
  • step S903 an error Err_LNGPH between the luminance histogram HSTLC [n] inside the white line candidate LC [n] and the sunny road surface distribution model GPH is calculated and compared with a threshold value TH_LNGPH. If the error Err_LNGPH is greater than the threshold TH_LNGPH, it is determined that it is not included in the sun road surface brightness reference (NO in step S903), and the process proceeds to step S906. YES, and the process proceeds to step S904.
  • step S904 an error Err_LNGPL between the luminance histogram HSTLCEX [n] outside the white line candidate LC [n] and the shaded road surface distribution model GPL is calculated and compared with the threshold value TH_LNGPL. If the error Err_LNGPL is larger than the threshold value TH_LNGPL, it is determined that it is not included in the shaded road surface brightness reference (NO in step S904), and the process moves to step S906. It determines with (it is YES at step S904), and moves to step S905.
  • step S906 the white line candidate is determined to be a white line, and the information of the white line candidate LC [n] is copied to the white line LN [m].
  • step S905 it is determined that the white line candidate is not a white line, and the information on the white line candidate LC [n] is not copied to the white line LN [m] but is erased.
  • the white line determination unit 1061 has described the process of whether to include the white line candidate LC [n] in the white line LN [n] based on the determination method according to the brightness of the white line candidate LC [n] and the road surface state. .
  • the road surface state is a state other than [complex state]
  • the error histogram HSTLC [b] inside the white line candidate LC [n] and the mixed Gaussian distribution approximation model GP (G) are large in error. Judgment based on this.
  • the determination is made based on the degree to which the luminance pattern of the region including the white line candidate LC [n] has a radial feature.
  • the road surface state is [shade-sunshine state]
  • the magnitude of error between the brightness histogram HSTLC [b] inside the white line candidate LC [n] and the Gaussian distribution model GPH of the sun road surface and the white line
  • the determination is based on the magnitude of the error between the brightness histogram HSTLCEX [b] outside the candidate LC [n] and the shaded Gaussian distribution model GPL.
  • FIG. 10 is a flowchart showing a processing flow of the parking frame recognition unit 1071.
  • step S101 two lines LN [mL] and LN [mR] are selected from the white line LN [m].
  • step S102 it is determined whether or not the angular difference ⁇ in the extending direction of the two white lines LN [mL] and LN [mR] selected in step S101 is equal to or smaller than a predetermined value (Th ⁇ max). That is, in step S102, it is determined whether or not the two white lines are substantially parallel. If a positive determination is made in step S102, the process proceeds to step S103, and it is determined whether or not the interval W between the two white lines LN [mL] and LN [mR] is within a predetermined range (ThWmin or more and ThWmax or less). That is, in step S103, it is determined whether or not two white lines are aligned at an interval that can be considered as two white lines constituting the parking frame.
  • ThWmin a predetermined range
  • step S104 it is determined whether or not the deviation ⁇ B between the lower ends of the two white lines is within a predetermined range (ThBmin or more and ThBmax or less).
  • ThBmin or more and ThBmax or less a predetermined range
  • the shift of the lower ends of the two white lines will be described with reference to FIG.
  • the frame 23 is provided and the parking frame line 23L is drawn so as to correspond to the parking frame 23, the shift ⁇ B between the lower ends of the two white lines on the paper surface is small.
  • a parking frame 23 may be provided so as to park, and a parking frame line 23 ⁇ / b> L may be drawn so as to correspond to the parking frame 23.
  • the lower end position of the parking frame line 23L constituting the parking frame 23 is shifted. That is, the deviation between the lower ends of the two white lines is large. This is because the lower end position of the parking frame line 23L is shifted so that the parking frame line 23L on the right side of the drawing does not protrude from the area where the vehicle 1 travels below the page.
  • step S104 of the present embodiment the distance B calculated from the selected LN [mL] and LN [mR] is compared, and the difference is within the predetermined range described above (ThBmin or more and ThBmax or less). By judging whether or not, it is judged whether or not the two white lines are white lines (parking frame line 23L) constituting one parking frame 23.
  • step S104 If an affirmative determination is made in step S104, the process proceeds to step S105, and the coordinates of the four corners of the rectangular parking frame 23 composed of two white lines LN [mL] and LN [mR] are set to the position of one parking frame 23. Register as information PS [k]. If step S105 is performed, it will progress to step S106 and it will confirm whether the process mentioned above about arbitrary two white lines was performed regarding all the white lines (parking frame line) based on the information output from the white line determination part 1061. . If an affirmative determination is made in step S106, the result obtained by the above-described process is output, and the process of the parking frame recognition unit 1071 is terminated. If a negative determination is made in step S106, the process returns to step S101.
  • the monochrome camera has been described, but color information (color information) may be used.
  • color information color information
  • it can be realized by performing the above processing for all three channels of R, G, and B.
  • FIG. 12 is a block diagram in the case where the parking frame recognition result PS [k] detected in the present embodiment is transmitted to another control device mounted on the same vehicle, and the parking support control is performed.
  • the parking support control unit 1081 acquires the position information of the parking frame recognition result PS [k], and performs the parking support control.
  • FIG. 13 is a flowchart showing a process flow of the parking support control unit 1081.
  • step S1301 the position information of the parking frame recognition result PS [k] is acquired.
  • the parking frame recognition result PS [k] may be acquired by directly inputting a signal of the in-vehicle image processing device 1000 to the control device, or by performing communication using a LAN (Local Area Network). May be.
  • LAN Local Area Network
  • step S1302 a parking locus is calculated.
  • the parking locus is generated based on the position of the parking frame recognition result PS [k].
  • step S1303 it is determined whether parking is possible. If the vehicle cannot be parked even if the vehicle is turned back several times, the process moves to step S1305 and parking assistance is stopped. On the other hand, if the vehicle can be parked, the process moves to step S1304, and at least one of steering, accelerator, and brake is controlled to assist parking in the target parking frame.
  • FIG. 14 is a block diagram showing the configuration of the in-vehicle image processing apparatus 2000 according to the second embodiment.
  • FIG. 14 is a block diagram showing the configuration of the in-vehicle image processing apparatus 2000 according to the second embodiment.
  • What is characteristic in this embodiment is that it has a stain detection unit 2091 and uses the information to perform processing of the white line determination unit 2061.
  • the in-vehicle image processing device 2000 is incorporated in a camera device mounted on an automobile, an integrated controller, or the like, and detects an object from images taken by the cameras 1001 to 1004. In the form, it is configured to detect an obstacle ahead of the host vehicle.
  • the in-vehicle image processing apparatus 2000 is configured by a computer having a CPU, a memory, an I / O, and the like, and a predetermined process is programmed and the process is repeatedly executed at a predetermined cycle.
  • the in-vehicle image processing apparatus 2000 includes an image acquisition unit 1021, a road surface state estimation unit 1031, a determination method setting unit 1041, a white line candidate detection unit 1051, a dirt detection unit 2091, and a white line determination.
  • the image acquisition unit 1021 acquires images 1011 to 1014 obtained by photographing the surroundings of the vehicle from cameras 1001 to 1004 attached at positions where the surroundings of the vehicle can be imaged, and performs geometric transformation / combination. By doing so, a bird's-eye view image 1015 looking down from the sky virtual viewpoint is generated and stored on the RAM. It is assumed that geometric transformation / synthesis parameters are set in advance by calibration performed at the time of vehicle shipment.
  • the road surface state estimation unit 1031 acquires the luminance histogram HST [b] from the own vehicle vicinity region 1032 in the overhead image 1015, and estimates the road surface state.
  • four types of road surface conditions are estimated: [uniform state], [bright / dark separation state], [shade-sunshine state], and [complex state].
  • the determination method setting unit 1041 sets a determination method for determining a white line according to the road surface state estimated by the road surface state estimation unit 1031.
  • determination is performed using the luminance range obtained from the luminance histogram or the Gaussian model of the luminance histogram, and [complex state]. ], Determination using an image pattern is performed.
  • the white line candidate detection unit 1051 detects a white line candidate LC [n] from the overhead image 1015.
  • the dirt detection unit 2091 calculates the lens dirt position of the camera from the overhead image 1015.
  • the white line determination unit 2061 sets the white line reliability LRLB [n] for the white line candidate LC [n] based on the determination criterion set by the determination method setting unit 1041 and the stain information detected by the stain detection unit 2091. calculate.
  • the parking frame recognition unit 2071 detects the parking frame PS [k] based on the white line candidate LC [n] and the white line reliability LRLB [n].
  • the parking assist control unit 2081 is mounted in a control device mounted on the same vehicle as the vehicle-mounted image processing device 2000, and the position of the parking frame recognition result PS [k] received from the vehicle-mounted image processing device 2000. Using the information and reliability, an optimal parking locus is calculated according to the positional relationship with the host vehicle, and the steering, the accelerator, and the brake are controlled, and the vehicle is parked in the target parking frame.
  • FIG. 15 is a flowchart showing a processing flow of the dirt detection unit 2091 in this embodiment.
  • step S1401 the overhead image 1015 is divided into a plurality of small areas. It is assumed that how to divide the small area is set in advance.
  • step S1402 a histogram is created for each small region.
  • step S1403 the histogram created in step S1402 is compared with the histogram created when the process of FIG.
  • step S1404 each small region is evaluated based on the comparison performed in step S1403. That is, a calculation for increasing the score is performed for an area where there is no change in the histogram.
  • step S1405 the in-vehicle image processing apparatus 2000 detects a small area whose score exceeds a predetermined threshold, and stores information (coordinate values) regarding the small area as a recognition result SRD [d] of the foreign object recognition unit. Store in the department.
  • SRD is coordinate information of a dirty small area
  • d is an ID when a plurality of coordinates are detected.
  • FIG. 16 is a flowchart showing the processing flow of the white line determination unit 2061 in the present embodiment.
  • step S1501 the first reliability LRLB1 [n] of the white line candidate LC [n] is calculated using the road surface luminance reference.
  • step S1501 the first reliability LRLB1 [n] of the white line candidate LC [n] is calculated using the road surface luminance reference.
  • step S1501 the first reliability LRLB1 [n] of the white line candidate LC [n] is calculated using the road surface luminance reference.
  • a method of calculating the first reliability LRLB1 [n] will be described.
  • FIGS. 17 and 18 are flowcharts showing the flow of processing for calculating the first reliability LRLB1 [n].
  • the same parts as those of the white line determination unit 1061 in the first embodiment shown in FIGS. 7-1 and 8-1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • step S7032 an error Err_LNGP between the luminance histogram HSTLC [n] inside the white line candidate LC [n] and the mixed Gaussian distribution model GP (G) set by the determination method setting unit 1041 is calculated.
  • the first reliability LRLB1 [n] of the white line is calculated based on the error Err_LNGP.
  • FIG. 18 shows processing in this embodiment when it is determined that the road surface is [complex state]. If it is determined in step S701 that the road surface is in a complicated state, the process moves to step S7062, and the process shown in FIG. 18 is performed.
  • step S801 the luminance pattern inside the white line candidate is acquired.
  • step S8022 the brightness pattern of the white line candidate, that is, the radial degree of the image in the region set to include the white line candidate with respect to the overhead image 1015 is calculated.
  • an edge angle is calculated from an image in an area set to include white line candidates, and an edge angle DE [x] [y] of each pixel, and an angle DC formed by the position of each pixel and the camera installation position. Pixels whose error [x] [y] is within the threshold TH_DEDC are counted, and a ratio RR of the counted pixels in the area is calculated.
  • the first reliability LRLB1 [n] of the white line is calculated based on the radial edge ratio RR.
  • the second reliability LRLB2 [n] of the white line is calculated using the result of the dirt detection unit 2091.
  • the second reliability LRLB2 [n] is calculated from the positional relationship between the detected white line candidate LC [n] and the dirty small region SRD [d].
  • the second reliability LRLB2 [n] 0 is set, and the dirt closest to the white line candidate LC [n] is set.
  • the second reliability LRLB2 [n] 1.0.
  • the distance D_LCD is less than the threshold value TH_LCD, 0.0 to 1.0 is set according to the distance. Set to perform linear interpolation.
  • a white line reliability LRLB [n] is calculated using the first reliability LRLB1 [n] and the second reliability LRLB2 [n].
  • the average value of the first reliability LRLB1 [n] and the second reliability LRLB2 [n] is used.
  • the white line reliability LRLB [n] is output as information accompanying the white line candidate LC [n], and the processing in the white line determination unit 2061 is terminated.
  • FIG. 19 is a flowchart showing a processing flow of the parking frame recognition unit 2071 in the present embodiment.
  • the same number is attached
  • the white line LN [m] is targeted, but in this embodiment, the white line candidate LC [n] is targeted.
  • Step S1901 and step S1902 are processes added in the second embodiment.
  • step S1901 it is determined whether the reliability LRLB [nL] and LRLB [nR] of the two selected lines LC [nL] and LC [nR] are both equal to or greater than the threshold ThRLB. Moves to step S102, and if it is equal to or smaller than the threshold value, moves to step S106.
  • step S1902 not only the coordinate information of the four corners of the frame but also the one with the smaller value of the white line reliability is registered as the parking frame reliability PSRLB [k] in the parking frame PS [k].
  • the reliability is used by a parking assistance control unit 2081 described later.
  • FIG. 20 is a processing flow of the parking assistance control unit 2081. Of each process, the same number is attached
  • step S201 it is determined whether or not the reliability PSRLB [k] of the acquired parking frame PS [k] is equal to or greater than the threshold value TH_PSRLB. If it is equal to or greater than the threshold value TH_PSRLB, the process moves to step S202, and if it is smaller than the threshold value TH_PSRLB, the process moves to step S203.
  • step S202 strong control is performed on a parking lot with high reliability.
  • the steering, the accelerator, and the brake are all controlled to assist the parking in the target parking frame.
  • step S203 weak control is performed on a parking lot with low reliability.
  • any one of steering, accelerator, and brake is controlled to support parking in the target parking frame.
  • the reliability is calculated from the determination result according to the present invention, similarly, the reliability is also calculated from another determination result of the dirt determination, and these are integrated, so that the parking assistance is performed according to the reliability.
  • the degree can be changed.
  • FIG. 21 is a block diagram showing the configuration of the in-vehicle image processing device 3000 according to the third embodiment.
  • the in-vehicle image processing apparatus 1000 in the first embodiment and the in-vehicle image processing apparatus 2000 in the second embodiment will be described in detail, and the same numbers will be used for similar parts. The detailed description is omitted.
  • a characteristic feature of this embodiment is that an obstacle is a detection target.
  • the in-vehicle image processing device 3000 is incorporated in a camera device mounted on an automobile, an integrated controller, or the like, and detects an object from images taken by the cameras 1001 to 1004. In the form, it is configured to detect an obstacle ahead of the host vehicle.
  • the in-vehicle image processing device 3000 is configured by a computer having a CPU, a memory, an I / O, and the like, and a predetermined process is programmed to repeatedly execute the process at a predetermined cycle.
  • the in-vehicle image processing device 3000 includes an image acquisition unit 1021, a road surface state estimation unit 1031, a determination method setting unit 1041, an obstacle candidate detection unit 3051, an obstacle determination unit 3061, The vehicle control unit 3081 is also included.
  • the image acquisition unit 1021 acquires images 1011 to 1014 obtained by photographing the surroundings of the vehicle from cameras 1001 to 1004 attached at positions where the surroundings of the vehicle can be imaged, and performs geometric transformation / combination. By doing so, a bird's-eye view image 1015 looking down from the sky virtual viewpoint is generated and stored on the RAM. It is assumed that geometric transformation / synthesis parameters are set in advance by calibration performed at the time of vehicle shipment.
  • the road surface state estimation unit 1031 acquires the luminance histogram HST [b] from the own vehicle vicinity region 1032 in the overhead image 1015, and estimates the road surface state.
  • four types of road surface conditions are estimated: [uniform state], [bright / dark separation state], [shade-sunshine state], and [complex state].
  • the determination method setting unit 1041 sets a determination method for determining a white line according to the road surface state estimated by the road surface state estimation unit 1031.
  • determination is performed using the luminance range obtained from the luminance histogram or the Gaussian model of the luminance histogram, and [complex state] ], Determination is made using an image pattern.
  • the obstacle candidate detection unit 3051 detects an obstacle candidate OBJC [i] from the overhead image 1015.
  • the obstacle determination unit 3061 determines an obstacle OBJ [j] for the obstacle candidate OBJC [i] based on the determination criterion set by the determination method setting unit 1041.
  • the vehicle control unit 3081 is mounted in a control device mounted on the same vehicle as the in-vehicle image processing device 3000, and is based on the position information of the obstacle OBJ [j] received from the in-vehicle image processing device 3000. In order to prevent collisions, warnings and brake control are implemented.
  • the obstacle candidate detection unit 3051 in the present embodiment has two patterns when using a sensor other than an image and when using an overhead image 1015.
  • a sensor other than an image for example, a sonar sensor or the like is used to detect an obstacle and acquire position information of the obstacle.
  • the position on the bird's-eye view image 1015 is specified using the camera geometric information.
  • obstacles such as pedestrians can be directly detected from the image using, for example, a known pattern matching technique.
  • the position on the bird's-eye view image 1015 is specified using the camera geometric information.
  • FIG. 22 is a flowchart showing a process flow of the obstacle determination unit 3061.
  • step S2201 it is confirmed whether or not the road surface determined by the road surface state estimation unit 1031 is [complex state]. If it is not a complicated state, the process proceeds to step S2202. If it is a complicated state, the process proceeds to step S2206. Hereinafter, the processing from step S2202 to step S2205 is repeated by the number of obstacle candidates LC [i].
  • step S2202 a brightness histogram HSTOBJC [i] inside the obstacle candidate OBJC [i] is created.
  • step S703 an error Err_OBJGP between the luminance histogram HSTABJC [i] inside the obstacle candidate OBJC [i] and the mixed Gaussian distribution model GP (G) set by the determination method setting unit 1041 is calculated. And compare with the threshold TH_BOJGP. If the error Err_OBJGP is larger than the threshold value TH_BOJGP, it is determined that it is not included in the road surface brightness reference, and the process proceeds to step S2204.
  • step S2204 the obstacle candidate is determined to be an obstacle, and the information of the obstacle candidate OBJC [i] is copied to the obstacle OBJ [j].
  • step S2205 it is determined that the obstacle candidate is not an obstacle, and the information on the obstacle candidate OBJC [i] is deleted without being copied to the obstacle OBJ [j].
  • step S2206 the process when it is determined that the state is a complex state described below is entered.
  • FIG. 23 shows processing when it is determined that the road surface state is [complex state]. The processing from step S2301 to step S2304 is repeated by the number of obstacle candidates OBJC [i].
  • step S2301 a region including only an obstacle candidate is set for the luminance pattern around the obstacle candidate, that is, the overhead image 1015.
  • step S2302 it is determined whether the image in the region set to include only the obstacle candidate with respect to the overhead image 1015 is radial.
  • the bird's-eye view image 1015 is a virtual viewpoint image from the sky. Therefore, when the pedestrian 20 exists, the pedestrian 20 shown in FIG. 24A in the image before the overhead conversion is reflected radially as shown in FIG. Since this pattern extends radially from the camera installation position on the bird's-eye view image 1015, it is possible to determine whether or not the image within the region set to include only the obstacle candidate is radial from the camera installation position. It is possible to distinguish whether the object candidate is a three-dimensional object.
  • an edge angle is calculated from an image in an area set to include only obstacle candidates, and the edge angle DE [x] [y] of each pixel is calculated. Pixels in which the error of the angle DC [x] [y] between the position of each pixel and the camera installation position is within the threshold TH_DEDC are counted, and whether or not the ratio RROBJ that the counted pixels occupy in the area of the area is greater than or equal to the threshold TH_RROBJ Judgment accordingly.
  • the threshold values TH_DEDC and TH_RROBJ are set in advance.
  • step S2302 If it is determined in step S2302 that RROBJ is equal to or greater than the threshold value TH_RROBJ, it is determined that it is not radial, and if it is smaller than the threshold value, it is determined that it is radial, and the process moves to step S2303.
  • step S2303 the obstacle candidate is determined as an obstacle, and the information of the obstacle candidate OBJC [i] is copied to the obstacle OBJ [j].
  • step S2304 it is determined that the obstacle candidate is not an obstacle, and the information of the obstacle candidate OBJC [i] is not copied to the obstacle OBJ [j] but is deleted.
  • the obstacle candidate OBJC [i] is included in the obstacle OBJ [j] in the obstacle determination unit 3061 based on the determination criterion according to the luminance of the obstacle candidate OBJC [i] and the road surface condition.
  • the road surface state is [uniform state] or [multi-color road surface]
  • the luminance histogram HSOBJC [b] inside the obstacle candidate OBJC [i] and the mixed Gaussian distribution approximation model GP (G) It is determined whether the obstacle candidate is an obstacle based on the magnitude of the error.
  • the determination is made based on the degree to which the luminance pattern of the region including only the obstacle candidate OBJ [i] has a radial feature.
  • step S2501 relative distances PX [j] and PY [j] from the vehicle are acquired from the obstacle information OBJ [j] from the in-vehicle image processing device 3000.
  • the obstacle information OBJ [j] may be acquired by directly inputting a signal from the in-vehicle image processing device 3000 to the control device, or may be acquired by performing communication using a LAN.
  • steps S2502 to S2505 are repeated for the number of obstacles.
  • step S2502 the relative speed VX with the obstacle calculated by the difference approximation between the obstacle positions PX [j] and PY [j] and the obstacle positions PX_z1 [j] and PY_z1 [j] of the previous cycle. [J] and VY [j] are calculated.
  • step S2503 it is determined whether the relative speeds VX [j] and VY [j] are approaching the host vehicle. This determination is made, for example, when a coordinate system with the vehicle center as the origin is taken into consideration as a coordinate system, and the velocity vector between the obstacle positions PX [j], PY [j] and the straight lines connecting the four corners of the vehicle. This can be determined by looking at the orientation. If the vehicle is heading toward the host vehicle, the process proceeds to step S2504. If the vehicle is not heading, the process proceeds to step S2505.
  • step S2504 the collision time TTC [j] is calculated.
  • TTC [j] is a parameter indicating how many seconds after the own vehicle collides with the obstacle.
  • PL [j] SQRT (PX [j] ⁇ PX [j] + PY [j] ⁇ PY [j])
  • VL [j] SQRT (VX [j] ⁇ VX [j] + VY [j] ⁇ VY [j])
  • TTC [j] PL [j] / VL [j]
  • SQRT () is a function for calculating the square root.
  • step S2506 the minimum collision time TTCMIN is extracted from TTC [j].
  • step S2507 the minimum collision time TTCMIN is compared with the threshold value TH_TTCBRK. If the minimum collision time TTCMIN is less than or equal to the threshold value TH_TTCBRK, the process moves to step S2508 to execute vehicle brake control. On the other hand, if the minimum collision time TTCMIN is greater than the threshold value TH_TTCBRK, the process moves to step S2509.
  • step S2509 the minimum collision time TTCMIN is compared with the threshold value TH_TTCALM.
  • the process moves to step S2510, the vehicle alarm device is operated, and the driver is alerted.
  • the processing of the vehicle control unit 3081 is terminated.
  • the alarm and the brake control can be activated according to the obstacle information detected by the in-vehicle image processing device 3000.
  • the present invention is not limited to the above-described embodiments, and various design changes can be made without departing from the spirit of the present invention described in the claims. Is something that can be done.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　本発明は、白線等の対象物を検出する際に、影等の誤検出を防止することができる車載用画像処理装置を得ることを課題とする。本発明は、検出した対象物が路面パターンによる誤検出か否かを正しく判定することを特徴としている。車載用画像処理装置１０００は、画像を取得し、自車近傍領域の画像から路面状態を推定し、路面状態に応じた判定方法を設定し、該判定方法を用いて前記対象物候補が前記対象物であるか否かを判定する。

Description

車載用画像処理装置およびそれを用いた車両システム
　本発明は、カメラ等の画像センサからの情報に基づいて対象物を検出し、検出結果に応じて警報や車両の挙動制御を実施する自動車のための車載用画像処理装置およびそれを用いた車両システムに関する。
　近年、カメラ、ソナーといったセンサを用いて車両を制御し、運転者をサポートするシステムの開発が進められている。たとえば、レーンを検出し、自車が逸脱する可能性が生じたときには警報によって運転者に注意を促し、さらに逸脱が避けられない状況になったときはブレーキやステアリングの制御により逸脱を防止するシステムや、駐車枠を検出し、運転者の駐車操作の一部あるいはすべてを自動で実施する自律駐車システム等が実用化されている。
　カメラを用いて駐車枠やレーンを構成する白線を検出する場合、ガードレールの影や電線の影が路面上に写り、白線と同程度の幅として見えるため白線と誤検知することがある。このような誤検知への対策として、たとえば、特許文献１には、車両に搭載されたカメラでレーンを検出する際に、基準領域を設定して路面輝度のヒストグラムを作成し、路面クラスタの輝度分布から外れているものを白線として検出する技術が記載されている。
特開２００６－２６８１９９号公報
　しかしながら、例えば自車の後方から太陽光が射している場合は、基準領域の大半が自車の影がかかった路面となり、影による誤検知を除去することができない。また、雨天時は路面が濡れて遠方の情景が写りこむため、路面の輝度を正確にとらえることができない。
　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、白線等の対象物を検出する際に、路面の状態に応じた最適な基準に基づいて対象物の検出を実施する車載用画像処理装置およびそれを用いた車両システムを提供することである。
　上記課題を解決する本発明の車載用画像処理装置は、路面上の対象物を検出する車載用画像処理装置であって、自車周囲を撮像した画像を取得する画像取得部と、該画像の自車近傍領域の輝度分布に基づいて自車周囲の路面状態を推定する路面状態推定部と、該路面状態に応じて対象物の判定方法を設定する判定方法設定部と、前記画像から前記対象物と推定される対象物候補を検出する対象物候補検出部と、前記判定方法を用いて前記対象物候補が前記対象物であるか否かを判定する対象物判定部とを有することを特徴としている。
　本発明によれば、路面の状態を推定し、その推定した路面状態に応じて設定された判定方法を用いて対象物の判定を行うので、路面の一部を対象物と誤って検出することを防ぐことができ、これに基づいて信頼度の高い制御を実施する車両システムを提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
第１実施の形態における車載用画像処理装置のブロック図。 第１実施の形態における画像取得部の処理の説明図。 第１実施の形態における自車近傍領域の説明図。 均一状態とその輝度ヒストグラムの一例を模式的に示す図。 日陰日向状態とその輝度ヒストグラムの一例を模式的に示す図。 その他の明暗分離状態とその輝度ヒストグラムの一例を模式的に示す図。 反射状態とその輝度ヒストグラムの一例を模式的に示す図。 複雑状態とその輝度ヒストグラムの一例を模式的に示す図。 第１実施の形態における路面状態推定部の処理を表すフローチャート。 均一状態の輝度ヒストグラムと単一ガウス分布と両者の誤差を示す図。 日陰日向状態の輝度ヒストグラムと単一ガウス分布と両者の誤差を示す図。 反射状態の輝度ヒストグラムと単一ガウス分布と両者の誤差を示す図。 複雑状態の輝度ヒストグラムと単一ガウス分布と両者の誤差を示す図。 均一状態の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 日陰日向状態の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 反射状態の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 複雑状態の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 第１実施の形態における路面状態推定部の処理の説明図。 第１実施の形態における白線候補検出部の処理を表すフローチャート。 第１実施の形態における白線判定部の処理の一部を表すフローチャート。 白線の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 日陰中の日向の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 第１実施の形態における白線判定部の処理の一部を表すフローチャート。 俯瞰画像において白線候補が放射線状か否かを説明する図。 第１実施の形態における白線判定部の処理の一部を表すフローチャート。 第１実施の形態における駐車枠認識部の処理を表すフローチャート。 第１実施の形態における駐車枠認識部の処理の説明図。 第１実施の形態の別形態のブロック図。 第１実施の形態における駐車補助制御部の処理を表すフローチャート。 第２実施の形態における車載用画像処理装置のブロック図。 第２実施の形態における汚れ検出部の処理を表すフローチャート。 第２実施の形態における白線判定部の処理の一部を表すフローチャート。 第２実施の形態における白線判定部の処理の一部を表すフローチャート。 第２実施の形態における白線判定部の処理の一部を表すフローチャート。 第２実施の形態における駐車枠認識部の処理を表すフローチャート。 第２実施の形態における駐車補助制御部の処理を表すフローチャート。 第３実施の形態における車載用画像処理装置のブロック図。 第３実施の形態における障害物判定部の処理の一部を表すフローチャート。 第３実施の形態における障害物判定部の処理の一部を表すフローチャート。 第３実施の形態における障害物判定部の処理の説明図。 第３実施の形態における車両制御部の処理を表すフローチャート。
＜第一実施の形態＞
　以下、本発明の第一実施の形態について図面を用いて詳細に説明する。
　図１は、第一実施の形態における車載用画像処理装置１０００のブロック図である。
　車載用画像処理装置１０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１００１～１００４で撮影した画像内から対象物を検出するためのものであり、本実施の形態では、自車周囲の路面に白線によって描かれた駐車枠を検出するように構成されている。複数のカメラ１００１～１００４は、少なくとも路面を含むように自車周囲を全周に亘って撮像可能な位置に取り付けられており、本実施の形態では、車両の前部、左側部、右側部、後部にそれぞれ取り付けられている。なお、カメラの個数および取付位置は、自車周囲の日陰日向を検出可能とする必要があるので、最少で２個のカメラを互いに離反する方向に向かって撮像するように取り付けられていればよい。
　車載用画像処理装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期Ｔで繰り返し処理を実行する。車載用画像処理装置１０００は、図１に示すように、画像取得部１０２１と、路面状態推定部１０３１と、判定方法設定部１０４１と、白線候補検出部（対象物候補検出部）１０５１と、白線判定部（対象物判定部）１０６１と、駐車枠認識部１０７１と、を有する。
　画像取得部１０２１は、図２に示すように、複数のカメラ１００１～１００４から、自車周囲を撮影した画像１０１１～１０１４を取得し、幾何変換・合成することにより、上空の仮想視点から見下ろした俯瞰画像１０１５を生成し、ＲＡＭ上に記憶する。幾何変換・合成のパラメータは車両出荷時に行うキャリブレーションにより、あらかじめ設定されているものとする。なお、俯瞰画像１０１５は２次元配列であり、ＩＭＧＳＲＣ［ｘ］［ｙ］で表すものとする。ｘ、ｙはそれぞれ画像の座標を示す。
　路面状態推定部１０３１は、俯瞰画像１０１５内の自車近傍領域１０３２から輝度ヒストグラムＨＳＴ[ｂ]を取得し、自車周囲の路面状態が予め設定された複数の路面状態のいずれに属するのかを推定する。自車近傍領域１０３２は、俯瞰画像１０１５内で自車周囲の近傍に設定される領域であり、自車近傍領域１０３２には必ず自車周囲の路面が撮像されているとみなすことができる。輝度ヒストグラムＨＳＴ[ｂ]は１次元配列であり、ｂはヒストグラムのビンを表す。本実施例では、路面状態として［均一状態］、［明暗分離状態］、［日陰日向状態］、［複雑状態］の４種類のうちのいずれに属するのかを推定する。
　判定方法設定部１０４１は、路面状態推定部１０３１にて推定した路面状態に応じて、白線を判定するための判定方法を設定する。本実施例においては、路面状態が［均一状態］、［明暗分離状態］、［日陰日向状態］の場合は輝度ヒストグラムから得られる輝度の範囲、もしくは輝度ヒストグラムのガウスモデルを用いた判定方法を設定し、路面状態が［複雑状態］の場合は画像のパターンを用いた判定方法を設定する。
　白線候補検出部１０５１は、俯瞰画像１０１５から、白線候補ＬＣ［ｎ］を検出する。白線候補ＬＣ[ｎ]は、白線候補の座標等の情報を持つテーブルを要素とする１次元配列であり、ｎは複数検出した場合のＩＤを表す。
　白線判定部１０６１は、白線候補ＬＣ［ｎ］に対して、判定方法設定部１０４１で設定した判定方法に基づき、白線又は路面のいずれであるかを判定し、白線ＬＮ［ｍ］を決定する。白線ＬＮ[ｍ]は、白線の座標等の情報を持つテーブルを要素とする１次元配列であり、ｍは複数検出した場合のＩＤを表す。
　駐車枠認識部１０７１は、白線ＬＮ[ｍ]に基づいて、駐車枠ＰＳ［ｋ］を検出する。駐車枠ＰＳ［ｋ］は、駐車枠の座標等の情報を持つテーブルを要素とする１次元配列であり、ｋは複数検出した場合のＩＤを表す。
［路面状態推定部］
　つぎに、図３－１から図３－６、図４－１から図４－９、図５を用いて、路面状態推定部１０３１における処理の内容について説明する。
　図４－１は路面状態推定部１０３１の処理の流れを示したフローチャートであり、以下、処理の詳細について説明する。まず、ステップＳ４０１にて、自車近傍領域から輝度ヒストグラムを作成する。
　図３－１は、自車近傍領域１０３２の説明図であり、図３－１（ａ）～図３－１（ｃ）では、図面の上側が車両前方を示す。ここでは、図３－１（ａ）に示すように自車近傍領域１０３２を固定とする場合、および、図３－１（ｂ）、（ｃ）に示すように、自車挙動に応じて自車近傍領域１０３２を可変にする場合の両方について説明する。
　図３－１（ａ）に示すように、自車近傍領域１０３２を固定とする場合は、俯瞰画像１０１５内の中心付近に設定する。自車近傍領域１０３２の内方に示される黒い部分は、カメラ１００１～１００４で撮像できない部分であるため、この領域は自車近傍領域１０３２の対象外とする。図３－１（ｂ）、（ｃ）に示すように、自車挙動に応じて自車近傍領域１０３２を可変にする場合は、車両の変速機のシフトポジション情報を取得し、その情報に基づいて、自車が前進している場合は図３（ｂ）のように自車後方を大きく、自車が後進している場合は図３－１（ｃ）のように自車前方を大きく設定する。同様に、中心部分は対象外とする。
　図３－１（ｄ）は、自車近傍領域１０３２から取得した輝度ヒストグラムＨＳＴ［ｂ］の例である。輝度ヒストグラムＨＳＴ［ｂ］は、画像の輝度の頻度を表し、横軸に輝度、縦軸に頻度を取った１次元グラフで表現される。
　図３－２から図３－６は、各路面状態とその輝度ヒストグラムの例を模式的に示す図である。図３－２は、均一状態とその輝度ヒストグラムの例を模式的に示す図、図３－３は、日陰日向状態とその輝度ヒストグラムの例を模式的に示す図、図３－４は、その他の明暗分離状態とその輝度ヒストグラムの例を模式的に示す図、図３－５は、反射状態とその輝度ヒストグラムの例を模式的に示す図、図３－６は、複雑状態とその輝度ヒストグラムの例を模式的に示す図である。
　図３－２に示す俯瞰画像１０１５の路面は、日陰日向や影がなく、ほぼ単一の輝度を有するとみなすことが可能な均一状態である。このように、路面状態が均一状態であるときの輝度ヒストグラムは、路面領域の分布が大勢を占めるものとなり、一つの大きなピークを有する単峰性となる。
　図３－３（ａ）に示す俯瞰画像１０１５の路面は、日向に自車や建物の影が映り込んで路面の輝度が明暗に分かれている明暗分離状態の一種である日陰日向状態である。図３－４（ａ）に示す俯瞰画像１０１５の路面は、路面の輝度が道路工事等により明暗に分かれているその他の明暗分離状態である。図３－５（ａ）に示す俯瞰画像１０１５の路面は、雨等により濡れた路面に反射した構造物が映り込んでいる反射状態である。図３－６（ａ）に示す俯瞰画像１０１５の路面は、例えば複数の方向からの光や影が映り込み、輝度ヒストグラムを予め設定されている混合ガウス分布により近似することが困難な複雑状態である。
　そのうち、図３－３（ｂ）、図３－４（ｂ）、図３－５（ｂ）に示す、日陰日向状態、その他の明暗分離状態、反射状態の各輝度ヒストグラムは、それぞれ形状は異なるが概ね二つの大きなピークを有する二峰性となる。そして、図３－６（ｂ）に示す複雑状態の輝度ヒストグラムには三つ以上の多くのピークが現れる。
　つぎに、ステップＳ４０２にて、輝度ヒストグラムの分析を行う。分析は、輝度ヒストグラムＨＳＴ［ｂ］に対して１つのピークを有する単一ガウス分布もしくは２つのピークを有する混合ガウス分布による近似を行い、その誤差を求める。以下、分布数Ｇで表現される混合ガウス分布のパラメータである重みα＿｛１、２、・・・、Ｇ｝、平均μ＿｛１、２、・・・、Ｇ｝、分散σ＿｛１、２、・・・、Ｇ｝をテーブルＧＰＴＢＬ（Ｇ）として表現する。ある分布を混合ガウス分布ＧＰＴＢＬ（Ｇ）により近似する方法は、一般的にＥＭアルゴリズムが用いられる。この方法は公知であるため、ここでは説明を割愛する。
　ＥＭアルゴリズムにより近似する場合、ガウス分布の数Ｇを指定する必要があるため、本実施例ではＧ＝１、２を用いることとし、Ｇ＝１の近似誤差をＥｒｒ（１）、Ｇ＝２の近似誤差をＥｒｒ（２）とする。輝度ヒストグラムＨＳＴ［ｂ］とガウス分布ＧＰＴＢＬ（Ｇ）の誤差は，以下の式により演算を行う。
　Ｅｒｒ（Ｇ）＝Σ（ｂ＝０～２５５）：ＭＩＮ（ＨＳＴＮＭＬ［ｂ］，ＨＳＴＭＬＤ（Ｇ）［ｂ］）／ＭＡＸ（ＨＳＴＮＭＬ［ｂ］，ＨＳＴＭＬＤ（Ｇ）［ｂ］）
　ここで、ＨＳＴＮＭＬ［ｂ］は、輝度ヒストグラムＨＳＴ［ｂ］を、その合計値が１となるように正規化したものである。ＨＳＴＭＬＤ（Ｇ）［ｂ］は、テーブルＧＰＴＢＬ（Ｇ）より得られる分布であり、同様にその合計値が１となるように正規化したものである。
　図３－２～図３－５の例に対してＧ＝１で近似した場合の例を図４－２～図４－５に示す。図４－２（ａ）～（ｃ）は、図３－２に示す均一状態の路面に対してＧ＝１で近似した場合の例である。図４－２（ａ）の輝度ヒストグラムに対し、ＥＭアルゴリズムにより取得したＧ＝１のガウス分布の重みα＿１、平均μ＿１、分散σ＿１により表される分布が図４－２（ｂ）となる。図４－２（ａ）と（ｂ）の誤差Ｅｒｒ（１）は、図４－２（ｃ）に黒く示された領域の面積となる。
　同様に，図４－３（ａ）～（ｃ）は、図３－３に示す日陰日向状態の路面に対してＧ＝１で近似した場合の例である。図４－３（ａ）の輝度ヒストグラムから算出したガウス分布が図４－３（ｂ）となり、図４－３（ａ）と（ｂ）の誤差Ｅｒｒ（１）は、図４－３（ｃ）に黒く示された領域の面積となる。以下、同様に図４－４（ａ）～（ｃ）は、図３－５に示す反射状態の路面に適用した例であり、図４－５（ａ）～（ｃ）は、図３－６に示す複雑状態の路面に適用した例である。
　次に、図３－２～図３－５の例に対してＧ＝２で近似した場合の例を図４－６～図４－９に示す。図４－６（ａ）～（ｃ）は、図３－２に示す均一状態の路面に対してＧ＝２で近似した場合の例である。図４－６（ａ）の輝度ヒストグラムに対し、ＥＭアルゴリズムにより取得したＧ＝２のガウス分布の重みα＿１、α＿２、平均μ＿１、μ＿２、分散σ＿１、σ＿２により表される分布が図４－６（ｂ）に太線で示されたものとなる。図４－６（ａ）と（ｂ）の誤差Ｅｒｒ（２）は、図４－６（ｃ）にて黒く示された領域の面積となる。
　同様に，図４－７（ａ）～（ｃ）は、図３－３に示す日陰日向状態の路面に対してＧ＝２で近似した場合の例である。図４－７（ａ）の輝度ヒストグラムから算出したガウス分布が図４－７（ｂ）となり、図４－７（ａ）と（ｂ）の誤差Ｅｒｒ（１）は、図４－７（ｃ）に黒く示された領域の面積となる。以下、同様に図４－８（ａ）～（ｃ）は、図３－５に示す反射状態の路面に適用した例であり、図４－９（ａ）～（ｃ）は、図３－６に示す複雑状態の路面に適用した例である。
　以上図示したように、均一状態の路面のように単峰性のヒストグラムは、Ｇ＝１の分布に対する誤差が小さくなる。一方、日陰日向状態の路面のように、二峰性のヒストグラムは、Ｇ＝２の分布に対する誤差が小さくなる。さらに，複雑状態の路面のように、そのどちらにも該当しないヒストグラムは、いずれの近似に対してもその誤差が大きくなる。
　また、均一状態の路面のように単峰性のヒストグラムに対してＧ＝２の分布を適用すると、Ｇ＝１の誤差よりも小さくなる傾向がある。したがって、以下の判定では、先にＧ＝１での近似の誤差を判定し、誤差が大きい場合のみ、Ｇ＝２での近似の誤差を判定する構成としている。
　なお、２つのヒストグラムを比較する方法は種々存在するため、誤差Ｅｒｒ（Ｇ）の演算に別な方法を用いても良い、例えば、Ｂｈａｔｔａｃｈａｒｙｙａ距離を適用する場合、以下の式にて算出する。
Ｅｒｒ（Ｇ）＝１－Σ（ｂ＝０～２５５）：ＳＱＲＴ（ＨＳＴＮＭＬ［ｂ］・ＨＳＴＭＬＤ（Ｇ）［ｂ］）
　つぎに、ステップＳ４０３において、輝度ヒストグラムＨＳＴ［ｂ］が単一のガウス分布ＧＰ（１）で近似可能であるかを判定する。ここでは、ＧＰ（１）の誤差Ｅｒｒ（１）が、閾値ＴＨ＿Ｅｒｒ１以下であれば近似可能と判定しステップＳ４０５へ、閾値より大きければ近似不可であったと判定しステップＳ４０４へ移動する。
　つぎに、ステップＳ４０４において、輝度ヒストグラムＨＳＴ［ｂ］が混合ガウス分布ＧＰ（２）で近似可能であるかを判定する。ここでは、ＧＰ（２）の場合の誤差Ｅｒｒ（２）が、閾値ＴＨ＿Ｅｒｒ２以下であれば近似可能と判定して、路面パターンを分析するべくステップＳ４０６へ移動し、閾値より大きければ近似不可であったと判定し、ステップＳ４０９へ移動する。
　なお、ステップＳ４０２における近似において、Ｇ＝２より大きい、Ｇ＝３、Ｇ＝４での近似を試みても良く、この場合、ステップＳ４０４ではＧ＝２、３、４における近似誤差のうち最小の近似誤差を選択し、その値が閾値以下であるか否かによって、近似可否を判定する。
　ステップＳ４０３で輝度ヒストグラムＨＳＴ［ｂ］が単一のガウス分布ＧＰ（１）で近似可能であると判定された場合（ステップＳ４０３でＹＥＳ）、ステップＳ４０５で路面状態を［均一状態］と推定する。路面状態が［均一状態］であるとは、図３－２に示すように、路面に日陰日向や影がなく、ほぼ単一の輝度とみなすことができる状態をいう。なお、路面に駐車枠などの白線が存在する場合でも、画像内では白線の画素数よりも路面の画素数の方が圧倒的に多いので、単一のガウス分布に近似化できる。
　ステップＳ４０４で輝度ヒストグラムＨＳＴ［ｂ］が混合ガウス分布ＧＰ（２）で近似可能であると判定された場合（ステップＳ４０４でＹＥＳ）、路面が明暗に分離された［明暗分離状態］であると推定し、その状態をさらに詳細に分析すべく、ステップＳ４０６以降の処理を実行する。ステップＳ４０６で路面パターン分析を実施する。路面パターン分析では、路面の明暗の形状を認識する処理が行われる。そして、ステップＳ４０６において認識された、路面の明暗の形状に基づき、ステップＳ４０７で［明暗分離状態］が［反射状態］であるか否かが判断される。
　ステップＳ４０７で［反射状態］ではない（ＮＯ）と判断された場合には、ステップＳ４０８に移行して、路面状態を［日陰日向状態］もしくは［その他の明暗分離状態］のいずれかであると推定する。一方、ステップＳ４０７で［反射状態］である（ＹＥＳ）と判断された場合には、ステップＳ４０９に移行して、路面状態を［複雑状態（［反射状態］を含む］であると推定する。
　図５は、路面状態の具体例を示す図であり、図５（ａ）は日陰日向状態を示し、図５（ｂ）はその他の明暗分離状態を示し、図５（ｃ）は反射状態を示している。路面状態が［日陰日向状態］であるとは、画像に自車の影が映り込んでいる状態をいう。そして、［その他の明暗分離状態］であるとは、例えば図５（ｂ）に示すように、ビルや壁などの自車以外の物体の影が映り込んでいる状態や、道路工事等により路面の輝度が部分的に異なっている状態をいう。そして、［反射状態］であるとは、例えば図５（ｃ）に示すように、雨等により濡れた路面に反射した構造物が映り込んでいる状態をいう。
　路面パターン分析は、近似した混合ガウス分布パラメータＧＰ（２）を用いて、俯瞰画像１０１５を分析することにより行われる。以下、ＧＰ（２）の２つのガウス分布のうち、平均輝度が大きい分布をＧＰＨ、平均輝度が小さい分布をＧＰＬとする。
　まず、俯瞰画像１０１５の各画素に対し、２つのガウス分布のうち、ＧＰＬに属している画素を抽出する。属しているか否かは、各画素の輝度をＧＰＬ、ＧＰＨに代入し、ＧＰＬの出力値がＧＰＨの出力値より大きいか否かによって判定可能である。
　つぎに、俯瞰画像１０１５内でＧＰＬに属している画素のみを抽出した２値画像を生成し、形状を分析する。例えば図５（ａ）に示すように、平均輝度が小さいガウス分布に属している画素が、自車近傍領域内から一定方向に延びている場合は、路面状態が［日陰日向状態］であると判定する。路面状態が［日陰日向状態］と判定された場合、ＧＰＨ画素領域Ｓａが日向路面に相当し、ＧＰＬ画素領域Ｓｂが日陰路面に相当する。
　例えば図５（ｂ）に示すように、ＧＰＬに属している画素が画像の半分に存在する等、自車近傍領域内がＧＰＬ画素領域ＳｂとＧＰＨ画素領域Ｓａに二分に区画される場合には、路面状態が［その他の明暗分離状態］であると判定する。図５（ｃ）に示すように雨等により濡れた路面に反射した構造物が映り込んでいる等により、ＧＰＬ画素領域Ｓｂが複雑な形状を有している場合は、［反射状態］であると判定する（ステップＳ４０７でＹＥＳ）。上記判定は、ＧＰＬに属している画素を抽出した２値画像に対し、ラベリング処理を行い、各ラベルの形状を見ることで判定することができる。
　ステップＳ４０７において，路面状態が[反射状態]でなければステップＳ４０８へ移動し、［反射状態］であればステップＳ４０９へ移動する。ステップＳ４０８は，輝度ヒストグラムを予め設定されているガウス分布により近似することが可能であると判定し，路面状態を［日陰日向状態］もしくは［その他の明暗分離状態］であると推定する。ステップＳ４０９は、輝度ヒストグラムを予め設定されているガウス分布により近似することが困難、もしくは、形状が複雑であると判定し、路面状態を［複雑状態］であると推定する。［反射状態］は、［複雑状態］の部分集合として扱う。
　以上説明したように、路面状態推定部１０３１では自車近傍領域のヒストグラムが単峰性、二峰性、その他のどのモデルにもっとも当てはまるか、さらにあてはめたモデルにおけるパラメータを推定する。
［判定方法設定部］
　つぎに、判定方法設定部１０４１の処理の内容について説明する。
　本実施例においては、路面状態が［複雑状態］と推定された場合とそれ以外の場合で大きく２種類の判定方法を用いる。路面状態が［複雑状態］以外と判定された場合は、路面状態推定部１０３１にて用いた混合ガウス分布モデルＧＰ（Ｇ）を用いた判定を行う。一方、路面状態が［複雑状態］と判定された場合は、輝度パターンを用いた判定を行う。輝度パターンについての詳細は、白線判定部１０６１にて説明する。
 [白線候補検出部]
　つぎに、図６を用いて、白線候補検出部１０５１における処理の内容について説明する。
　図６は、白線候補検出部１０５１の処理の流れを示したフローチャートである。白線候補検出部１０５１は、俯瞰画像１０１５全体に対して実施しても良いし、処理領域を限定しても良い。本実施例では、シフトポジションに基づいて、自車が停車・前進している場合は俯瞰画像１０１５の上半分を、自車が後進している場合は下半分を処理領域として設定する。
　まず、ステップＳ６０１にて、処理領域内の各ラインに対して画像の左側から右側に走査しながら、縦方向のエッジフィルタを適用する。以下、ステップＳ６０２、Ｓ６０３はライン毎に実施する。ステップＳ６０２にて、エッジフィルタの出力値がピークとなるエッジ点を検出する。ピークは、立ち上がりエッジ（輝度の暗から明への変化点）Ｅｕ［ｎｕ］立下りエッジ（輝度の明から暗への変化点）Ｅｄ［ｎｄ］を検出する。
　路面上の白線は路面よりも輝度値が高いため、白線の左側には立ち上がりエッジが、右側には立下りエッジが存在する。その特徴を捉えるため、ステップＳ６０３にて、ステップＳ６０２で検出した立ち上がりエッジ点Ｅｕ［ｎｕ］、立下りエッジ点Ｅｄ［ｎｄ］のうち、立ち上がりエッジから画像右側の所定範囲（あらかじめ定義する、検出する白線の最大太さ）内に立下りエッジが存在するエッジペアＥｐ［ｎｐ］のみを残し、それ以外の単独エッジは消去する。上記Ｓ６０１～Ｓ６０３を、処理領域内の各ラインに対して実行する。
　つぎに、ステップＳ６０４にて、エッジペアＥｐ［ｎｐ］のうち、直線状に並んでいるものをグルーピングし、直線候補グループＬｇ［ｎｇ］を生成する。ここで、直線状でないエッジペアを除去する。直線上に並ぶ白線のグルーピングは、公知のハフ変換を用いることで可能である。つぎに、ステップＳ６０５にて、直線候補グループＬｇ［ｎｇ］の線のうち、所定長さ以下のものを除去する。そして、ステップＳ６０６にて、残ったグループの立ち上がり・立下りエッジの上端・下端の座標を、白線候補ＬＣ［ｎ］の要素として格納する。
 [白線判定部]
　つぎに、図７－１～図７－３、図８－１、図８－２、図９を用いて、白線判定部１０６１における処理の内容について説明する。図７－１は、白線判定部１０６１の処理の流れを示したフローチャートである。
　まず、ステップＳ７０１にて、路面状態推定部１０３１にて判定された路面状態が［複雑状態］であったか否かを確認する。［複雑状態］ではなかった場合はステップＳ７０１１へ移動し、［複雑状態］であった場合はステップＳ７０６へと移動する。ステップＳ７０１１では、路面状態推定部１０３１にて判定された路面状態が［日陰日向状態］であったか否かを確認する。［日陰日向状態］ではなかった場合はステップＳ７０２に移動し、［日陰日向状態］であった場合はステップＳ７０７へと移動する。以下、ステップＳ７０２からステップＳ７０５までの処理は、白線候補ＬＣ［ｎ］の数だけ処理を繰り返す。
　まず、ステップＳ７０２にて、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］を作成する。つぎに、ステップＳ７０３にて、白線候補輝度（白線候補の内側輝度ヒストグラム）が路面輝度基準に含まれるか否かを判断する。ここでは、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］と、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）との誤差Ｅｒｒ＿ＬＮＧＰを算出し、閾値ＴＨ＿ＬＮＧＰと比較する。そして、誤差Ｅｒｒ＿ＬＮＧＰが閾値ＴＨ＿ＬＮＧＰよりも大きければ、白線候補の輝度が路面輝度基準に含まれない（ステップＳ７０３でＮＯ）と判定し、ステップＳ７０４へ移動し、誤差Ｅｒｒ＿ＬＮＧＰが閾値ＴＨ＿ＬＮＧＰ以下であれば路面輝度基準に含まれる（ステップＳ７０３でＹＥＳ）と判定し、ステップＳ７０５へ移動する。
　ステップＳ７０４では、白線候補を白線と判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーする。一方、ステップＳ７０５では、白線候補は白線ではないと判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーせず、消去する。ステップＳ７０６では、次で説明する［複雑状態］であると判定された場合の処理に入る。
　上記した白線判定処理の具体例について図７－２、図７－３を用いて説明する。図７－２（ａ）は、自車前方の駐車枠線を白線候補ＬＣとして検知しているシーンである。ここでは左右の白線候補のうち、右側の白線候補ＬＣに対する処理について説明する（左側の白線候補に対する処理も同様である）。
　図７－２（ｂ）は、白線候補ＬＣ［ｎ］の内側領域（図７－２（ａ）右側の点線矩形内）の輝度ヒストグラムＨＳＴＬＣ［ｎ］、図７－２（ｃ）は、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）のヒストグラム、図７－２（ｄ）は、図７－２（ｂ）と（ｃ）のヒストグラムの誤差を表示したものである。
　白線候補ＬＣ［ｎ］の内側領域の輝度ヒストグラムＨＳＴＬＣ［ｎ］として図７－２（ｂ）に示す輝度ヒストグラムが得られ、判定方法設定部１０４１にて設定した混合ガウス分布モデルＧＰ（Ｇ）の輝度ヒストグラムが図７－２（ｃ）に示すものであった場合に、図７－２（ｂ）と（ｃ）のヒストグラムを比較すると、図７－２（ｄ）に示すように、互いに分布の位置が大きく異なっている。したがって、路面状態推定部１０３１にて述べた方法を用いて、これら２つのヒストグラムの誤差を求めると、閾値ＴＨ＿ＬＮＧＰを超える大きい値が得られ、白線として判定される。
　一方、図７－３の例について説明する。図７－３（ａ）は、自車前方に影（ＧＰＬ画素領域Ｓｂ）が存在し、その影の間の日向部分（ＧＰＨ画素領域Ｓａ）を白線候補ＬＣとして検出しているシーンである。ここでは左右の白線候補のうち、右側の白線候補ＬＣに対する処理について説明する（左側の白線候補に対する処理も同様である）。
　図７－３（ｂ）は、白線候補ＬＣ［ｎ］の内側領域（図７－３（ａ）右側の点線矩形内）の輝度ヒストグラムＨＳＴＬＣ［ｎ］、図７－３（ｃ）は、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）のヒストグラム、図７－３（ｄ）は、図７－３（ｂ）と（ｃ）のヒストグラムの誤差を表示したものである。
　白線候補ＬＣ［ｎ］の内側領域の輝度ヒストグラムＨＳＴＬＣ［ｎ］として図７－３（ｂ）に示す輝度ヒストグラムが得られ、判定方法設定部１０４１にて設定した混合ガウス分布モデルＧＰ（Ｇ）の輝度ヒストグラムが図７－３（ｃ）に示すものであった場合に、図７－３（ｂ）と（ｃ）のヒストグラムを比較すると、図７－３（ｄ）に示すように、分布の位置がほぼ一致する。したがって、路面状態推定部１０３１にて述べた方法を用いて、これら２つのヒストグラムの誤差を求めると、小さい値が得られる。したがって、閾値ＴＨ＿ＬＮＧＰ以下の値となり、白線ではないと判定され、消去される。
　ステップＳ７０６では、図８－１に記載された処理が実行される。図８－１は、路面が［複雑状態］であると判定された場合の処理である。ステップＳ８０１からステップＳ８０４までの処理は、白線候補ＬＣ［ｎ］の数だけ処理を繰り返す。まず、ステップＳ８０１にて、白線候補周辺の輝度パターン、つまり俯瞰画像１０１５に対して白線候補を含む領域を設定する。つぎに、ステップＳ８０２にて、白線候補の輝度パターンが放射状であるか、つまり俯瞰画像１０１５に対して白線候補を含むよう設定された領域の形状が放射状であるかを判定する。図２を用いて説明したように、俯瞰画像１０１５は上空からの仮想視点の画像である。
　雨などで濡れた路面に構造物が反射して映り込む路面反射等が存在すると、路面上に図５（ｃ）のようなパターンが現れる。このパターンは俯瞰画像１０１５上におけるカメラ設置位置から放射状に延びるため、白線候補を含むよう設定された領域内の画像がカメラ設置位置から放射状になっているか否かを判定することで、白線候補が路面反射によるものなのか、本当の白線なのかを見分けることができる。
　本実施例では、放射状であるかを判定する方法として、以下の方法を用いる。まず、白線候補を含むよう設定された領域内の各画像からエッジ角度ＤＥ［ｘ］［ｙ］を算出する。つぎに、各画素の位置とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］を算出する。そして、ＤＥ［ｘ］［ｙ］とＤＣ［ｘ］［ｙ］の差を求め、その値が閾値ＴＨ＿ＤＥＤＣ以内であるか否かを判定する。以上の処理を、白線候補を含むよう設定された領域内のすべての画素に実施し、閾値以内である画素数をカウントする。そして、カウントした画素数を領域の面積で割った値ＲＲを求め、その値が閾値ＴＨ＿ＲＲ以上であれば放射状であると判定し、そうでなければ放射状ではないと判定する。ここで，閾値ＴＨ＿ＤＥＤＣ、ＴＨ＿ＲＲはあらかじめ設定しておく。
　ステップＳ８０２にて、白線候補の輝度パターンが放射状ではない（ステップＳ８０２でＮＯ）と判定されるとステップＳ８０３へ移動する。ステップＳ８０３では、白線候補を白線と判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーする。一方、ステップＳ８０２にて、白線候補の輝度パターンが放射状である（ステップＳ８０２でＹＥＳ）と判定されるとステップＳ８０４へ移動する。ステップＳ８０４では、白線候補を白線ではないと判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーせず、消去する。
　上記処理における放射状である白線候補の例と、放射状ではない白線候補の例について、図８－２を用いて説明する。図８－２は、俯瞰画像において白線候補が放射線状か否かを説明する図である。図８－２（ａ）には、俯瞰画像１０１５上におけるカメラ１００１～１００４の各設置位置が示されている。路面への映り込みは、このカメラ位置から放射状に延びる方向となる。
　図８－２（ｂ）は、放射状ではない白線候補ＬＣの例である。この場合、白線候補ＬＣのエッジの角度が放射状ではないため、カメラ１００１の位置を通らない。すなわち、白線候補ＬＣの延長線上にカメラ１００１が位置していない。よって、各画素のエッジ角度ＤＥ［ｘ］［ｙ］と各画素とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］の誤差は大きくなる。
　図８－２（ｃ）は、放射状である白線候補ＬＣの例である。この場合、白線候補ＬＣのエッジの角度が放射状であるため、カメラ１００１の位置を通る。すなわち、白線候補ＬＣの延長線上にカメラ１００１が位置している。よって、各画素のエッジ角度ＤＥ［ｘ］［ｙ］と各画素とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］の誤差は小さくなる。
　さらに、図９にて、路面状態が［日陰日向状態］であると判定された場合の処理を説明する。ステップＳ７０１１で路面状態が［日陰日向状態］であると判定されると、ステップＳ７０７に移動し、図９に記載された処理が実行される。図９は、路面が［日陰日向状態］であると判定された場合の処理である。
　以下、ステップＳ９０１からステップＳ９０６までの処理は、白線候補ＬＣ［ｎ］の数だけ処理を繰り返す。
　ステップＳ９０１にて、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］を取得する。つぎに、ステップＳ９０２にて、白線候補ＬＣ［ｎ］の外側の輝度ヒストグラムＨＳＴＬＣＥＸ［ｎ］を取得する。つぎに、ステップＳ９０３にて、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］と、日向路面の分布モデルＧＰＨとの誤差Ｅｒｒ＿ＬＮＧＰＨを算出し、閾値ＴＨ＿ＬＮＧＰＨと比較する。誤差Ｅｒｒ＿ＬＮＧＰＨが閾値ＴＨ＿ＬＮＧＰＨより大きければ日向路面輝度基準に含まれない（ステップＳ９０３でＮＯ）と判定しステップＳ９０６へ移動し、誤差Ｅｒｒ＿ＬＮＧＰＨが閾値ＴＨ＿ＬＮＧＰＨ以下であれば日向路面輝度基準に含まれる（ステップＳ９０３でＹＥＳ）と判定し、ステップＳ９０４へ移動する。
　つぎに、ステップＳ９０４にて、白線候補ＬＣ［ｎ］の外側の輝度ヒストグラムＨＳＴＬＣＥＸ［ｎ］と、日陰路面の分布モデルＧＰＬとの誤差Ｅｒｒ＿ＬＮＧＰＬを算出し、閾値ＴＨ＿ＬＮＧＰＬと比較する。誤差Ｅｒｒ＿ＬＮＧＰＬが閾値ＴＨ＿ＬＮＧＰＬよりも大きければ日陰路面輝度基準に含まれない（ステップＳ９０４でＮＯ）と判定し、ステップＳ９０６へ移動し、誤差Ｅｒｒ＿ＬＮＧＰＬが閾値ＴＨ＿ＬＮＧＰＬ閾値以下であれば日陰路面輝度基準に含まれる（ステップＳ９０４でＹＥＳ）と判定し、ステップＳ９０５へ移動する。
　ステップＳ９０６では、白線候補を白線と判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーする。ステップＳ９０５では、白線候補を白線ではないと判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーせず、消去する。
　以上、白線判定部１０６１において、白線候補ＬＣ［ｎ］の輝度と路面状態に応じた判定方法に基づいて、白線候補ＬＣ［ｎ］を白線ＬＮ［ｎ］に含めるか否かという処理を説明した。本実施例では、路面状態が［複雑状態］以外の状態であった場合には白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｂ］と混合ガウス分布近似モデルＧＰ（Ｇ）の誤差の大きさに基づいて判定する。また、路面状態が［複雑状態］であった場合には、白線候補ＬＣ［ｎ］を含む領域の輝度パターンが放射状の特徴を持つ度合いに基づいて判定する。
　さらに、路面状態が［日陰日向状態］であった場合には、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｂ］と日向路面のガウス分布モデルＧＰＨとの誤差の大きさ、および、白線候補ＬＣ［ｎ］の外側の輝度ヒストグラムＨＳＴＬＣＥＸ［ｂ］と日陰路面のガウス分布モデルＧＰＬとの誤差の大きさに基づいて判定する。このような処理により、路面状態に応じた判定が可能となり、誤認識を防ぐことが可能となる。
［駐車枠認識部］
　つぎに、図１０を用いて、駐車枠認識部１０７１における処理の内容について説明する。
　図１０は駐車枠認識部１０７１の処理の流れを示したフローチャートである。
　まず、ステップＳ１０１にて、白線ＬＮ［ｍ］から２本の線ＬＮ［ｍＬ］、ＬＮ［ｍＲ］を選択する。つぎに、ステップＳ１０２において、ステップＳ１０１で選択した２本の白線ＬＮ［ｍＬ］、ＬＮ［ｍＲ］の延在方向の角度差θが所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ１０２では、２本の白線が略平行であるか否かを判断する。ステップＳ１０２が肯定判断されるとステップＳ１０３へ進み、２本の白線ＬＮ［ｍＬ］、ＬＮ［ｍＲ］の間隔Ｗが所定の範囲内（ＴｈＷｍｉｎ以上かつＴｈＷｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ１０３では、駐車枠を構成する２本の白線として考えられる間隔で２本の白線が並んでいるか否かを判断する。
　ステップＳ１０３が肯定判断されるとステップＳ１０４へ進み、２本の白線の下端のずれΔＢが所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断する。ここで、２本の白線の下端のずれについて、図１１を参照して説明する。図１１の左図（ａ）に示すように、駐車場の敷地における車両１の移動方向（図１１の紙面における上下方向および左右方向）に対して車両１を平行または直角に駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合、紙面における２本の白線の下端のずれΔＢは少ない。
　しかし、図１１の右図（ｂ）に示すように、駐車場によっては、車両１０の移動方向（図１１の紙面における上下方向および左右方向）に対して車両１０を平行または直角ではなく斜めに駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合がある。この場合、距離Ｂで示すように、駐車枠２３を構成する駐車枠線２３Ｌの下端位置がずれる。すなわち、２本の白線の下端のずれは大きい。これは、図示右側の駐車枠線２３Ｌが紙面下方の車両１が走行する領域に対してはみ出さないようにするために、駐車枠線２３Ｌの下端位置をずらしてあるからである。
　たとえば、高速道路のサービスエリアやパーキングエリアでは、図１１の右図（ｂ）の左側の駐車枠線２３Ｌの下端から駐車枠線２３Ｌの延在方向に対して垂直な線分と、駐車枠線２３Ｌの下端同士を結ぶ線分との交差角度ρが０度、３０度、４５度のいずれかとすることが定められている。また、駐車枠２３の幅Ｗについても取り得る値の範囲が決まっている。そこで、本実施の形態では、上記交差角度ρが、０度、３０度、４５度のいずれかの値であるときに取り得る距離Ｂの値があらかじめ不図示のメモリ等に記憶されている。
　本実施の形態のステップＳ１０４では、選択したＬＮ［ｍＬ］、ＬＮ［ｍＲ］から算出される距離Ｂとを比較して、その差が上述した所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断することによって、２本の白線が１つの駐車枠２３を構成する白線（駐車枠線２３Ｌ）であるか否かを判断する。
　ステップＳ１０４が肯定判断されるとステップＳ１０５へ進み、２本の白線ＬＮ［ｍＬ］、ＬＮ［ｍＲ］で構成される矩形の駐車枠２３の４隅の座標を１つの駐車枠２３についての位置の情報ＰＳ［ｋ］として登録する。ステップＳ１０５を実行するとステップＳ１０６へ進み、白線判定部１０６１から出力された情報に基づくすべての白線（駐車枠線）に関して、任意の２本の白線についての上述した処理を行ったか否かを確認する。ステップＳ１０６が肯定判断されると、上述した処理によって得られた結果を出力して、駐車枠認識部１０７１の処理を終了する。ステップＳ１０６が否定判断されるとステップＳ１０１へ戻る。
　以上説明したように、路面状態に応じて白線の判定方法を切り替えて誤認識を抑制することができ、駐車枠認識の精度を向上させることができる。
　なお、本実施例ではモノクロカメラについて説明したが、色情報（カラー情報）を用いても良い。色情報を用いる場合は、Ｒ、Ｇ、Ｂの３チャネルすべてについて、上記処理を実施することで実現可能である。
　さらに、図１２は、本実施例にて検出した駐車枠認識結果ＰＳ［ｋ］を、同一の車両に搭載された別の制御装置へ送信し、駐車支援制御を実施する場合のブロック図である。ここでは、駐車支援制御部１０８１は、駐車枠認識結果ＰＳ［ｋ］の位置情報を取得し、駐車支援制御を実施する。
　図１３は駐車支援制御部１０８１の処理の流れを示したフローチャートである。
　まず、ステップＳ１３０１にて、駐車枠認識結果ＰＳ［ｋ］の位置情報を取得する。駐車枠認識結果ＰＳ［ｋ］は、車載用画像処理装置１０００の信号を制御装置へ直接入力することによって取得してもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得してもよい。
　つぎに、ステップＳ１３０２にて、駐車軌跡を算出する。駐車軌跡は、駐車枠認識結果ＰＳ［ｋ］の位置に基づいて生成する。つぎに、ステップＳ１３０３にて、駐車可否を判断する。車両の切り返しを数回実施しても駐車不可能である場合は、ステップＳ１３０５へ移動し、駐車支援を中止する。一方、駐車可能である場合は、ステップＳ１３０４へ移動し、ステアリング、アクセル、ブレーキの少なくともいずれか一つの制御を実施して、目標の駐車枠へ駐車する支援を実施する。
＜第二実施の形態＞
　つぎに、本発明の車載用画像処理装置の第二実施の形態について、以下に図面を用いて説明する。
　図１４は、第二実施の形態における車載用画像処理装置２０００の構成を示すブロック図である。なお、以下の説明では、上述の第一実施の形態における車載用画像処理装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
　本実施の形態において特徴的なことは、汚れ検出部２０９１を有し、その情報を用いて白線判定部２０６１の処理を行うところである。
　車載用画像処理装置２０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１～１００４で撮影した画像内から対象物を検知するためのものであり、本実施の形態では、自車の前方の障害物を検知するように構成されている。
　車載用画像処理装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
　車載用画像処理装置２０００は、図１４に示すように、画像取得部１０２１と、路面状態推定部１０３１と、判定方法設定部１０４１と、白線候補検出部１０５１と、汚れ検出部２０９１と、白線判定部２０６１と、駐車枠認識部２０７１と、さらに、駐車支援制御部２０８１と、を有する。
　画像取得部１０２１は、図２に示すように、自車の周囲を撮像可能な位置に取り付けられたカメラ１００１～１００４から、自車周囲を撮影した画像１０１１～１０１４を取得し、幾何変換・合成することにより、上空の仮想視点から見下ろした俯瞰画像１０１５を生成し、ＲＡＭ上に記憶する。幾何変換・合成のパラメータは車両出荷時に行うキャリブレーションにより、あらかじめ設定されているものとする。
　路面状態推定部１０３１は、俯瞰画像１０１５内の自車近傍領域１０３２から輝度ヒストグラムＨＳＴ[ｂ]を取得し、路面状態を推定する。本実施例では、路面状態として［均一状態］、［明暗分離状態］、［日陰日向状態］、［複雑状態］の４種類を推定する。
　判定方法設定部１０４１は、路面状態推定部１０３１にて推定した路面状態に応じて、白線を判定するための判定方法を設定する。本実施例においては、［均一状態］、［明暗分離状態］、［日陰日向状態］の場合は輝度ヒストグラムから得られる輝度の範囲、もしくは輝度ヒストグラムのガウスモデルを用いた判定を行い、［複雑状態］の場合は画像のパターンを用いた判定を行う。
　白線候補検出部１０５１は、俯瞰画像１０１５から、白線候補ＬＣ［ｎ］を検出する。汚れ検出部２０９１は、俯瞰画像１０１５から、カメラのレンズ汚れ位置を算出する。白線判定部２０６１は、白線候補ＬＣ［ｎ］に対して、判定方法設定部１０４１で設定した判定基準、および、汚れ検出部２０９１により検出した汚れ情報に基づき、白線の信頼度ＬＲＬＢ［ｎ］を算出する。駐車枠認識部２０７１は、白線候補ＬＣ[ｎ]および白線の信頼度ＬＲＬＢ［ｎ］に基づいて、駐車枠ＰＳ［ｋ］を検出する。
　さらに、駐車支援制御部２０８１は、車載用画像処理装置２０００と同一の車両に搭載されている制御装置内に搭載され、車載用画像処理装置２０００から受信した駐車枠認識結果ＰＳ［ｋ］の位置情報および信頼度を用いて、自車との位置関係に応じて、最適な駐車軌跡を算出し、ステアリング、アクセル、ブレーキを制御して、目標の駐車枠へ駐車する。
［汚れ検出部］
　図１５を用いて、汚れ検出部２０９１の一例に関する処理の内容について説明する。
　図１５は本実施例における、汚れ検出部２０９１の処理の流れを示したフローチャートである。
　ステップＳ１４０１では、俯瞰画像１０１５を複数の小領域に分割する。小領域の区切り方はあらかじめ設定されているものとする。ステップＳ１４０２では、各小領域でヒストグラムを作成する。ステップＳ１４０３では、ステップＳ１４０２で作成したヒストグラムを、図１４の処理を前回実行したときに作成したヒストグラムと比較する。
　ステップＳ１４０４では、ステップＳ１４０３で行った比較に基づいて、各小領域の評価を行う。すなわち、ヒストグラムに変化がない領域についてスコアを上昇させる演算を行う。ステップＳ１４０５では、車載用画像処理装置２０００は、スコアが所定の閾値を超えた小領域を検出して、その小領域に関する情報（座標値）を異物認識部の認識結果ＳＲＤ［ｄ］として情報記憶部に記憶する。ここでＳＲＤは汚れた小領域の座標情報であり、ｄは複数検出した場合のＩＤである。
［白線判定部］
　つぎに、図１６、図１７、図１８を用いて、白線判定部２０６１の一例に関する処理の内容について説明する。図１６は本実施例における白線判定部２０６１の処理の流れを示したフローチャートである。まず、ステップＳ１５０１にて、路面輝度基準を用いて白線候補ＬＣ［ｎ］の第一の信頼度ＬＲＬＢ１［ｎ］を算出する。以下、第一の信頼度ＬＲＬＢ１［ｎ］の算出方法について述べる。
　図１７、図１８は第一の信頼度ＬＲＬＢ１［ｎ］の算出の処理の流れを示したフローチャートである。各処理のうち、図７－１、図８－１に示した第一実施例における白線判定部１０６１と同様の箇所には同一の番号を付してその詳細な説明を省略する。
　ステップＳ７０３２にて、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］と、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）との誤差Ｅｒｒ＿ＬＮＧＰを算出する。
　つぎに、ステップＳ７０４２にて、誤差Ｅｒｒ＿ＬＮＧＰに基づいて白線の第一の信頼度ＬＲＬＢ１［ｎ］を算出する。本実施例では、誤差Ｅｒｒ＿ＬＮＧＰの閾値ＴＨ＿ＬＮＧＰ１、ＴＨ＿ＬＮＧＰ２を、ＴＨ＿ＬＮＧＰ１＜ＴＨ＿ＬＮＧＰ２となるように設定し、誤差Ｅｒｒ＿ＬＮＧＰ＜ＴＨ＿ＬＮＧＰ１であれば第一の信頼度ＬＲＬＢ１［ｎ］＝０．０、誤差Ｅｒｒ＿ＬＮＧＰ≧ＴＨ＿ＬＮＧＰ２であれば第一の信頼度ＬＲＬＢ１［ｎ］＝１．０、その間は０．０～１．０を線形補間するように設定する。
　図１８は、路面が［複雑状態］であると判定された場合の本実施例における処理である。ステップＳ７０１で路面が複雑状態であると判断されると、ステップＳ７０６２に移動し、図１８に示す処理が行われる。
　まず、ステップＳ８０１で白線候補の内側の輝度パターンを取得する。そして、ステップＳ８０２２にて、白線候補の輝度パターン、つまり俯瞰画像１０１５に対して白線候補を含むよう設定された領域内の画像の放射状の度合いを算出する。本実施例では、白線候補を含むよう設定された領域内の画像からエッジ角度を算出し、各画素のエッジ角度ＤＥ［ｘ］［ｙ］と、各画素の位置とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］の誤差が閾値ＴＨ＿ＤＥＤＣ以内である画素をカウントし、カウントした画素が領域の面積に占める割合ＲＲを算出する。
　つぎに、ステップＳ８０３２にて、放射状エッジの割合ＲＲに基づいて白線の第一の信頼度ＬＲＬＢ１［ｎ］を算出する。本実施例では、放射状エッジの割合ＲＲの閾値ＴＨ＿ＲＲ１、ＴＨ＿ＲＲ２を、ＴＨ＿ＲＲ１＜ＴＨ＿ＲＲ２となるように設定し、放射状エッジの割合ＲＲ＜ＴＨ＿ＲＲ１であれば第一の信頼度ＬＲＬＢ１［ｎ］＝１．０、放射状エッジの割合ＲＲ＞ＴＨ＿ＲＲ２であれば第一の信頼度ＬＲＬＢ１［ｎ］＝０．０、その間は０．０～１．０を線形補間するように設定する。以上の処理により、図１６のステップＳ１５０１にて第一の信頼度ＬＲＬＢ１［ｎ］が算出される。
　つぎに、ステップＳ１５０２にて、汚れ検出部２０９１の結果を用いて、白線の第二の信頼度ＬＲＬＢ２［ｎ］を算出する。第二の信頼度ＬＲＬＢ２［ｎ］は、検出した白線候補ＬＣ[ｎ]と、汚れた小領域ＳＲＤ［ｄ］の位置関係より算出する。本実施例では、白線候補ＬＣ[ｎ]の位置に、汚れた小領域ＳＲＤ［ｄ］が存在すれば第二の信頼度ＬＲＬＢ２［ｎ］＝０とし、白線候補ＬＣ[ｎ]に最も近い汚れた小領域ＳＲＤ［ｄ］までの距離Ｄ＿ＬＣＤが閾値ＴＨ＿ＬＣＤより大きければ第二の信頼度ＬＲＬＢ２［ｎ］＝１．０とし、閾値ＴＨ＿ＬＣＤ以下の場合は距離に応じて０．０～１．０を線形補間するように設定する。
　つぎに、ステップＳ１５０３にて、第一の信頼度ＬＲＬＢ１［ｎ］、第二の信頼度ＬＲＬＢ２［ｎ］を用いて、白線の信頼度ＬＲＬＢ［ｎ］を算出する。本実施例においては、第一の信頼度ＬＲＬＢ１［ｎ］と第二の信頼度ＬＲＬＢ２［ｎ］の平均値を用いることとする。算出後、白線候補ＬＣ［ｎ］に付随する情報として白線の信頼度ＬＲＬＢ［ｎ］を出力し、白線判定部２０６１での処理を終了する。
［駐車枠認識部］
　つぎに、図１９を用いて、駐車枠認識部２０７１の一例に関する処理の内容について説明する。
　図１９は本実施例における駐車枠認識部２０７１の処理の流れを示したフローチャートである。各処理のうち、図１０に示した第一実施例における駐車枠認識部１０７１と同様の箇所には同一の番号を付してその詳細な説明を省略する。なお、第一実施例における駐車枠認識部１０７１では白線ＬＮ［ｍ］を対象としたが、本実施例では白線候補ＬＣ［ｎ］を対象とする。
　ステップＳ１９０１、ステップＳ１９０２が、第二実施の形態にて追加された処理である。ステップＳ１９０１では、選択した２本の線ＬＣ［ｎＬ］、ＬＣ［ｎＲ］の信頼度ＬＲＬＢ［ｎＬ］、ＬＲＬＢ［ｎＲ］がいずれも閾値ＴｈＲＬＢ以上であるかを判定し、閾値以上であった場合はステップＳ１０２へ、閾値以下であった場合はステップＳ１０６へ移動する。
　ステップＳ１９０２では、駐車枠ＰＳ［ｋ］に、枠の四隅の座標情報のみならず、白線の信頼度のうち値が小さいものを駐車枠の信頼度ＰＳＲＬＢ［ｋ］として登録する。信頼度は、後述の駐車支援制御部２０８１にて用いる。
　つぎに、駐車支援制御部２０８１の処理について説明する。図２０は、駐車支援制御部２０８１の処理フローである。各処理のうち、図１３に示した第一実施例における駐車支援制御部１０８１と同様の箇所には同一の番号を付してその詳細な説明を省略する。ステップＳ２０１、Ｓ２０２、Ｓ２０３が、第二実施の形態にて追加された処理である。
　ステップＳ２０１にて、取得した駐車枠ＰＳ［ｋ］の信頼度ＰＳＲＬＢ［ｋ］が閾値ＴＨ＿ＰＳＲＬＢ以上であるかを判定する。閾値ＴＨ＿ＰＳＲＬＢ以上である場合はステップＳ２０２へ移動し、閾値ＴＨ＿ＰＳＲＬＢよりも小さい場合はステップＳ２０３へ移動する。
　ステップＳ２０２では、信頼度が高い駐車場に対して、強い制御を実施する。本実施例では、ステアリング、アクセル、ブレーキすべての制御を実施して、目標の駐車枠へ駐車する支援を実施する。ステップＳ２０３では、信頼度が低い駐車場に対して、弱い制御を実施する。本実施例では、ステアリング、アクセル、ブレーキいずれか一つの制御を実施して、目標の駐車枠へ駐車する支援を実施する。
　以上説明したように、本発明による判定結果から信頼度を算出し、同様に汚れ判定という別の判定結果からも信頼度を算出し、これらを統合することにより、信頼度に応じて駐車支援の度合いを変えることができる。
＜第三実施の形態＞
　つぎに、本発明の車載用画像処理装置の第三実施の形態について、以下に図面を用いて説明する。
　図２１は、第三実施の形態における車載用画像処理装置３０００の構成を示すブロック図である。なお、以下の説明では、上述の第一実施の形態における車載用画像処理装置１０００、第二実施の形態における車載用画像処理装置２０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
　本実施の形態において特徴的なことは、障害物を検出対象としていることである。
　車載用画像処理装置３０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１～１００４で撮影した画像内から対象物を検知するためのものであり、本実施の形態では、自車の前方の障害物を検知するように構成されている。
　車載用画像処理装置３０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
　車載用画像処理装置３０００は、図２１に示すように、画像取得部１０２１と、路面状態推定部１０３１と、判定方法設定部１０４１と、障害物候補検出部３０５１と、障害物判定部３０６１と、さらに、車両制御部３０８１と、を有する。
　画像取得部１０２１は、図２に示すように、自車の周囲を撮像可能な位置に取り付けられたカメラ１００１～１００４から、自車周囲を撮影した画像１０１１～１０１４を取得し、幾何変換・合成することにより、上空の仮想視点から見下ろした俯瞰画像１０１５を生成し、ＲＡＭ上に記憶する。幾何変換・合成のパラメータは車両出荷時に行うキャリブレーションにより、あらかじめ設定されているものとする。
　路面状態推定部１０３１は、俯瞰画像１０１５内の自車近傍領域１０３２から輝度ヒストグラムＨＳＴ[ｂ]を取得し、路面状態を推定する。本実施例では、路面状態として［均一状態］、［明暗分離状態］、［日陰日向状態］、［複雑状態］の４種類を推定する。
　判定方法設定部１０４１は、路面状態推定部１０３１にて推定した路面状態に応じて、白線を判定するための判定方法を設定する。本実施例においては、［均一状態］、［明暗分離状態］、［日陰日向状態］の場合は輝度ヒストグラムから得られる輝度の範囲、もしくは輝度ヒストグラムのガウスモデルを用いて判定を行い、［複雑状態］の場合は画像のパターンを用いて判定を行う。
　障害物候補検出部３０５１は、俯瞰画像１０１５から、障害物候補ＯＢＪＣ［ｉ］を検出する。障害物判定部３０６１は、障害物候補ＯＢＪＣ［ｉ］に対して、判定方法設定部１０４１で設定した判定基準に基づき、障害物ＯＢＪ［ｊ］を決定する。さらに、車両制御部３０８１は、車載用画像処理装置３０００と同一の車両に搭載されている制御装置内に搭載され、車載用画像処理装置３０００から受信した障害物ＯＢＪ［ｊ］の位置情報に基づいて、衝突を防止するための警報や、ブレーキ制御を実施する。
［障害物候補検出部］
　障害物候補検出部３０５１の一例に関する処理の内容について説明する。
　本実施例における障害物候補検出部３０５１は、画像以外のセンサを用いる場合と、俯瞰画像１０１５を用いる場合の２パターンが存在する。画像以外のセンサを用いる場合、例えばソナーセンサ等を用いて障害物を検出し、障害物の位置情報を取得する。つぎに、カメラ幾何情報を用いて、俯瞰画像１０１５上の位置を特定する。他に、例えば公知のパターンマッチ技術を用いて、画像から直接歩行者等の障害物を検出することもできる。この場合も、カメラ幾何情報を用いて、俯瞰画像１０１５上の位置を特定する。
 [白線判定部]
　つぎに、図２２、２３を用いて、障害物判定部３０６１における処理の内容について説明する。
　図２２は、障害物判定部３０６１の処理の流れを示したフローチャートである。
　まず、ステップＳ２２０１にて、路面状態推定部１０３１にて判定された路面が［複雑状態］であったかを確認する。複雑状態でなかった場合はステップＳ２２０２へ、複雑状態であった場合はステップＳ２２０６へと処理を移す。以下、ステップＳ２２０２からステップＳ２２０５までの処理は、障害物候補ＬＣ［ｉ］の数だけ処理を繰り返す。
　まず、ステップＳ２２０２にて、障害物候補ＯＢＪＣ［ｉ］の内側の輝度ヒストグラムＨＳＴＯＢＪＣ［ｉ］を作成する。つぎに、ステップＳ７０３にて、障害物候補ＯＢＪＣ［ｉ］の内側の輝度ヒストグラムＨＳＴＯＢＪＣ［ｉ］と、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）との誤差Ｅｒｒ＿ＯＢＪＧＰを算出し、閾値ＴＨ＿ＢＯＪＧＰと比較する。誤差Ｅｒｒ＿ＯＢＪＧＰが閾値ＴＨ＿ＢＯＪＧＰより大きければ路面輝度基準に含まれないと判定し、ステップＳ２２０４へ移動し、誤差Ｅｒｒ＿ＯＢＪＧＰが閾値ＴＨ＿ＢＯＪＧＰ以下であれば路面輝度基準に含まれると判定し、ステップＳ２２０５へ移動する。
　ステップＳ２２０４では、障害物候補を障害物と判定し、障害物候補ＯＢＪＣ［ｉ］の情報を障害物ＯＢＪ［ｊ］へコピーする。ステップＳ２２０５では、障害物候補は障害物ではないと判定し、障害物候補ＯＢＪＣ［ｉ］の情報を障害物ＯＢＪ［ｊ］へコピーせず、消去する。ステップＳ２２０６では、次で説明する複雑状態であると判定された場合の処理に入る。
　図２３は、路面状態が［複雑状態］であると判定された場合の処理である。ステップＳ２３０１からステップＳ２３０４までの処理は、障害物候補ＯＢＪＣ［ｉ］の数だけ処理を繰り返す。
　まず、ステップＳ２３０１にて、障害物候補周辺の輝度パターン、つまり俯瞰画像１０１５に対して障害物候補のみを含む領域を設定する。つぎに、ステップＳ２３０２にて、俯瞰画像１０１５に対して障害物候補のみを含むよう設定された領域内の画像が放射状であるかを判定する。図２を用いて説明したように、俯瞰画像１０１５は上空からの仮想視点の画像である。よって、歩行者２０が存在する場合、俯瞰変換前の画像では図２４（ａ）のように写っている歩行者２０が、図２４（ｂ）のように放射状に写りこむ。このパターンは俯瞰画像１０１５上におけるカメラ設置位置から放射状に延びるため、障害物候補のみを含むよう設定された領域内の画像がカメラ設置位置から放射状になっているか否かを判定することで、障害物候補が立体物か否かを見分けることができる。
　本実施例では、放射状であるかを判定する方法として、障害物候補のみを含むよう設定された領域内の画像からエッジ角度を算出し、各画素のエッジ角度ＤＥ［ｘ］［ｙ］と、各画素の位置とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］の誤差が閾値ＴＨ＿ＤＥＤＣ以内である画素をカウントし、カウントした画素が領域の面積に占める割合ＲＲＯＢＪが閾値ＴＨ＿ＲＲＯＢＪ以上か否かに応じて判定する。閾値ＴＨ＿ＤＥＤＣ、ＴＨ＿ＲＲＯＢＪはあらかじめ設定しておく。
　ステップＳ２３０２にてＲＲＯＢＪが閾値ＴＨ＿ＲＲＯＢＪ以上であれば放射状でないと判定し、ステップＳ２３０４へ、閾値よりも小さければ放射状であると判定し、ステップＳ２３０３へ移動する。
　ステップＳ２３０３では、障害物候補を障害物と判定し、障害物候補ＯＢＪＣ［ｉ］の情報を障害物ＯＢＪ［ｊ］へコピーする。ステップＳ２３０４では、障害物候補は障害物ではないと判定し、障害物候補ＯＢＪＣ［ｉ］の情報を障害物ＯＢＪ［ｊ］へコピーせず、消去する。
　以上、障害物判定部３０６１において、障害物候補ＯＢＪＣ［ｉ］の輝度と路面状態に応じた判定基準に基づいて、障害物候補ＯＢＪＣ［ｉ］を障害物ＯＢＪ［ｊ］に含めるか否かという処理を説明した。本実施例では、路面状態が［均一状態］、［多数色路面］であった場合には障害物候補ＯＢＪＣ［ｉ］の内側の輝度ヒストグラムＨＳＴＯＢＪＣ［ｂ］と混合ガウス分布近似モデルＧＰ（Ｇ）の誤差の大きさに基づいて障害物候補が障害物であるか否かを判定する。また、路面が［複雑状態］であった場合には、障害物候補ＯＢＪ［ｉ］のみを含む領域の輝度パターンが放射状の特徴を持つ度合いに基づいて判定する。このような処理により、路面状態に応じた判定が可能となり、障害物の誤認識を防ぐことが可能となる。
［車両制御部］
　つぎに、図２５を用いて、車両制御部３０８１における処理の内容について説明する。まず、ステップＳ２５０１にて、車載用画像処理装置３０００より障害物情報ＯＢＪ［ｊ］から、自車からの相対距離ＰＸ［ｊ］、ＰＹ［ｊ］を取得する。障害物情報ＯＢＪ［ｊ］は、車載用画像処理装置３０００からの信号を制御装置へ直接入力することによって取得してもよいし、ＬＡＮを用いた通信を行うことによって取得してもよい。
　以下、ステップＳ２５０２からＳ２５０５は、障害物数分だけ繰り返し処理を実施する。ステップＳ２５０２にて、障害物の位置ＰＸ［ｊ］、ＰＹ［ｊ］と１周期前の障害物の位置ＰＸ＿ｚ１［ｊ］、ＰＹ＿ｚ１［ｊ］との差分近似により算出する障害物との相対速度ＶＸ［ｊ］、ＶＹ［ｊ］を算出する。
　つぎに、ステップＳ２５０３にて、相対速度ＶＸ［ｊ］、ＶＹ［ｊ］が自車に向かってきているかを判定する。この判定は、例えば座標系として自車中心を原点とする座標系を考慮した場合に、障害物の位置ＰＸ［ｊ］、ＰＹ［ｊ］と自車の四隅を結ぶ直線の間に速度ベクトルの向きが入っているかを見ることで判定することができる。自車に向かってきている場合には、ステップＳ２５０４へ進み、向かってきていない場合は、ステップＳ２５０５へ進む。
　ステップＳ２５０４では、衝突時間ＴＴＣ［ｊ］を算出する。ＴＴＣ［ｊ］は自車が障害物にあと何秒後に衝突するかを表すパラメータである。今回はステップＳ２５０３で自車方向へ向かってくる物体のみを扱うため、以下の式より求めることができる。
ＰＬ［ｊ］＝ＳＱＲＴ（ＰＸ［ｊ］×ＰＸ［ｊ］＋ＰＹ［ｊ］×ＰＹ［ｊ］）
ＶＬ［ｊ］＝ＳＱＲＴ（ＶＸ［ｊ］×ＶＸ［ｊ］＋ＶＹ［ｊ］×ＶＹ［ｊ］）
ＴＴＣ［ｊ］＝ＰＬ［ｊ］／ＶＬ［ｊ］
　ここで、ＳＱＲＴ（）は平方根を算出する関数である。
　ステップＳ２５０５では、衝突の危険がないため、衝突時間ＴＴＣ［ｊ］に十分大きな値を代入する。本実施例ではＴＴＣ［ｊ］＝１００００とする。
　つぎに、ステップＳ２５０６にて、ＴＴＣ［ｊ］のうち最小衝突時間ＴＴＣＭＩＮを抽出する。つぎに、ステップＳ２５０７にて、最小衝突時間ＴＴＣＭＩＮと閾値ＴＨ＿ＴＴＣＢＲＫを比較する。最小衝突時間ＴＴＣＭＩＮが閾値ＴＨ＿ＴＴＣＢＲＫ以下の場合はステップＳ２５０８へ移動し、車両のブレーキ制御を実行する。一方、最小衝突時間ＴＴＣＭＩＮが閾値ＴＨ＿ＴＴＣＢＲＫより大きい場合はステップＳ２５０９へ移動する。 
　ステップＳ２５０９では、最小衝突時間ＴＴＣＭＩＮと閾値ＴＨ＿ＴＴＣＡＬＭを比較する。最小衝突時間ＴＴＣＭＩＮが閾値ＴＨ＿ＴＴＣＡＬＭ以下の場合はステップＳ２５１０へ移動し、車両の警報装置を動作させ、運転者へ注意喚起を実施する。一方、最小衝突時間ＴＴＣＭＩＮが閾値ＴＨ＿ＴＴＣＡＬＭより大きい場合は車両制御部３０８１の処理を終了する。以上説明したように、車載用画像処理装置３０００にて検出した障害物情報に応じて、上記警報やブレーキ制御を発動させることができる。
　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１０００　車載用画像処理装置
１００１～１００４　カメラ
１０２１　画像取得部
１０３１　路面状態推定部
１０４１　判定方法設定部
１０５１　白線候補検出部
１０６１　白線判定部
１０７１　駐車枠認識部
１０８１　駐車支援制御部
２０００　車載用画像処理装置
２０９１　汚れ検出部
２０６１　白線判定部
２０７１　駐車枠認識部
２０８１　駐車支援制御部
３０００　車載用画像処理装置
３０５１　障害物候補検出部
３０６１　障害物判定部
３０８１　車両制御部

Claims (15)

  1. 　路面上の対象物を検出する車載用画像処理装置であって、
    　自車周囲を撮像した画像を取得する画像取得部と、
    　該画像の自車近傍領域の輝度分布に基づいて自車周囲の路面状態が予め設定された複数の路面状態のいずれに属するのかを推定する路面状態推定部と、
    　該推定された路面状態に応じて対象物の判定方法を設定する判定方法設定部と、
    　前記画像から前記対象物と推定される対象物候補を検出する対象物候補検出部と、
    　前記判定方法を用いて前記対象物候補が前記対象物であるか否かを判定する対象物判定部と、
    　を有することを特徴とする車載用画像処理装置。
  2. 　前記路面状態推定部は、前記輝度分布が１または２のガウス分布にて近似できるか否かに基づいて前記路面状態が前記複数の路面状態のうちの複雑状態であるか否かを推定し、
    　前記判定方法設定部は、前記路面状態推定部により前記路面状態が前記複雑状態であると推定された場合に、前記対象物候補の輝度パターンが放射状か否かに基づいて判定する判定方法を設定することを特徴とする請求項１に記載の車載用画像処理装置。
  3. 　前記路面状態推定部は、前記画像の輝度分布が１のピークを有する単一ガウス分布に近似可能な均一状態か否かを判定し、
    　前記判定方法設定部は、前記路面状態が均一状態であると判定された場合に前記輝度分布から単一の輝度範囲を判定基準として前記対象物を判定する判定方法を設定することを特徴とする請求項２に記載の車載用画像処理装置。
  4. 　前記路面状態推定部は、前記画像の輝度分布が２のピークを有する混合ガウス分布に近似できるか否かを判定し、前記混合ガウス分布に近似できないと判定した場合に、前記路面状態が前記複雑状態であると推定することを特徴とする請求項３に記載の車載用画像処理装置。
  5. 　前記路面状態推定部は、前記画像の輝度分布が２のピークを有する混合ガウス分布に近似できる場合に、路面パターンに基づいて前記路面状態が反射状態と明暗分離状態のいずれであるかを判定し、
    　前記判定方法設定部は、前記路面状態が前記反射状態であると判定された場合に前記対象物候補の輝度パターンが放射状か否かに基づいて判定する判定方法を設定することを特徴とする請求項４に記載の車載用画像処理装置。
  6. 　前記路面状態推定部は、前記混合ガウス分布のうちの平均輝度の低いガウス分布に属している画素を抽出した２値画像に対してラベリング処理を行い、各ラベルの形状を見ることで前記路面状態が反射状態と明暗分離状態のいずれであるかを判定することを特徴とする請求項５に記載の車載用画像処理装置。
  7. 　前記路面状態推定部は、前記路面状態が前記明暗分離状態であると判定した場合に、前記路面状態が前記画像に自車の影が映り込む日陰日向状態であるか否かを判定し、
    　前記判定方法設定部は、前記日陰日向状態であると判定された場合に、予め設定された日向路面輝度基準と日陰路面輝度基準を判定基準として前記対象物を判定する判定方法を設定し、
    　前記対象物判定部は、前記日陰日向状態であると判定された場合に、前記判定方法により、前記対象物候補の内側輝度分布が前記日向路面輝度基準に含まれており、かつ前記対象物候補の外側輝度分布が前記日陰路面輝度基準に含まれているときは前記対象物候補が前記対象物ではないと判定し、前記対象物候補の内側輝度分布が前記日向路面輝度基準に含まれていない、又は前記対象物候補の外側輝度分布が前記日陰路面輝度基準に含まれていないときは前記対象物候補が前記対象物であると判定することを特徴とする請求項６に記載の車載用画像処理装置。
  8. 　前記対象物候補の内側輝度分布と前記判定基準に基づいて前記対象物の第一の信頼度を算出する第一の信頼度算出部と、
    　前記判定基準とは別の基準に基づいて前記対象物の第二の信頼度を算出する第二の信頼度算出部を有し、
    　前記対象物判定部は、前記第一の信頼度および第二の信頼度に基づいて前記対象物候補が前記対象物であるか否かを判定することを特徴とする請求項１に記載の車載用画像処理装置。
  9. 　カメラのレンズ汚れの位置を検出するレンズ汚れ検出部を有し、
    　前記第二の信頼度算出部は、前記レンズ汚れ位置に基づいて前記第二の信頼度を算出することを特徴とする請求項８に記載の車載用画像処理装置。
  10. 　自車挙動を取得する自車挙動取得部を有し、
    　前記自車近傍領域を前記自車挙動に応じて変化させることを特徴とする請求項１に記載の車載用画像処理装置。
  11. 　前記対象物は、白線、駐車枠、障害物のいずれかであることを特徴とする請求項１に記載の車載用画像処理装置。
  12. 　前記輝度にはカラー情報も含まれることを特徴とする請求項１に記載の車載用画像処理装置。
  13. 　請求項１に記載の車載用画像処理装置と、
    　該車載用画像処理装置により検出した対象物の情報を取得し、前記対象物の位置に基づいて自車の挙動を変化させる制御を行う制御装置を有することを特徴とする車両システム。
  14. 　前記制御装置は、運転者に対する警報、アクセル、ステアリング、ブレーキの制御の少なくとも１つを実施することを特徴とする請求項１３に記載の車両システム。
  15. 　前記車載用画像処理装置から対象物の信頼度を出力し、前記制御装置は前記信頼度に応じて前記制御を実施することを特徴とする請求項１４に記載の車両システム。
PCT/JP2015/050507 2014-03-20 2015-01-09 車載用画像処理装置およびそれを用いた車両システム WO2015141247A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014057391A JP6313081B2 (ja) 2014-03-20 2014-03-20 車載用画像処理装置およびそれを用いた車両システム
JP2014-057391 2014-03-20

Publications (1)

Publication Number Publication Date
WO2015141247A1 true WO2015141247A1 (ja) 2015-09-24

Family

ID=54144227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/050507 WO2015141247A1 (ja) 2014-03-20 2015-01-09 車載用画像処理装置およびそれを用いた車両システム

Country Status (2)

Country Link
JP (1) JP6313081B2 (ja)
WO (1) WO2015141247A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019064907A1 (ja) * 2017-09-29 2019-04-04 日立オートモティブシステムズ株式会社 駐車支援装置
CN109844762A (zh) * 2016-12-07 2019-06-04 歌乐株式会社 车载用图像处理装置
CN111971682A (zh) * 2018-04-16 2020-11-20 三菱电机株式会社 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6091586B1 (ja) 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム
DE102016211227A1 (de) * 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
JP6847709B2 (ja) * 2017-02-24 2021-03-24 京セラ株式会社 カメラ装置、検出装置、検出システムおよび移動体
JP6789151B2 (ja) * 2017-02-24 2020-11-25 京セラ株式会社 カメラ装置、検出装置、検出システムおよび移動体
JP6672202B2 (ja) * 2017-03-03 2020-03-25 株式会社デンソーアイティーラボラトリ 車載カメラシステム、付着物検出装置、付着物除去方法、及び付着物検出プログラム
JP7230658B2 (ja) * 2019-04-16 2023-03-01 株式会社デンソー 画像処理装置
CN112541464A (zh) * 2020-12-21 2021-03-23 北京百度网讯科技有限公司 关联道路对象的确定方法、装置、路侧设备和云控平台
JP2023174087A (ja) 2022-05-27 2023-12-07 株式会社Subaru 停止線認識装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189564A (ja) * 1992-01-08 1993-07-30 Fujitsu Ltd 画像処理装置及び方法
JP2002362396A (ja) * 2001-06-06 2002-12-18 Nissan Motor Co Ltd 車線追従走行制御装置
JP2009205559A (ja) * 2008-02-28 2009-09-10 Nec Corp 路面標示画像処理装置、路面標示画像処理方法並びに路面標示画像処理プログラム
JP2011002884A (ja) * 2009-06-16 2011-01-06 Nissan Motor Co Ltd 車両用画像表示装置及び俯瞰画像の表示方法
JP2012033149A (ja) * 2010-07-01 2012-02-16 Ricoh Co Ltd 物体識別装置
WO2014007175A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 車載環境認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189564A (ja) * 1992-01-08 1993-07-30 Fujitsu Ltd 画像処理装置及び方法
JP2002362396A (ja) * 2001-06-06 2002-12-18 Nissan Motor Co Ltd 車線追従走行制御装置
JP2009205559A (ja) * 2008-02-28 2009-09-10 Nec Corp 路面標示画像処理装置、路面標示画像処理方法並びに路面標示画像処理プログラム
JP2011002884A (ja) * 2009-06-16 2011-01-06 Nissan Motor Co Ltd 車両用画像表示装置及び俯瞰画像の表示方法
JP2012033149A (ja) * 2010-07-01 2012-02-16 Ricoh Co Ltd 物体識別装置
WO2014007175A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 車載環境認識装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109844762A (zh) * 2016-12-07 2019-06-04 歌乐株式会社 车载用图像处理装置
WO2019064907A1 (ja) * 2017-09-29 2019-04-04 日立オートモティブシステムズ株式会社 駐車支援装置
JPWO2019064907A1 (ja) * 2017-09-29 2020-11-19 日立オートモティブシステムズ株式会社 駐車支援装置
US11535152B2 (en) 2017-09-29 2022-12-27 Hitachi Astemo, Ltd. Parking support device
CN111971682A (zh) * 2018-04-16 2020-11-20 三菱电机株式会社 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法

Also Published As

Publication number Publication date
JP6313081B2 (ja) 2018-04-18
JP2015179482A (ja) 2015-10-08

Similar Documents

Publication Publication Date Title
JP6313081B2 (ja) 車載用画像処理装置およびそれを用いた車両システム
CN109844762B (zh) 车载用图像处理装置
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别系统及方法
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
JP4420011B2 (ja) 物体検知装置
US6819779B1 (en) Lane detection system and apparatus
JP5283967B2 (ja) 車載用物体検知装置
US10984557B2 (en) Camera calibration using traffic sign recognition
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
US20150012172A1 (en) Method for Calibrating a Plurality of Environment Sensors in a Vehicle
JP6547785B2 (ja) 物標検出装置
US10752223B2 (en) Autonomous emergency braking system and method for vehicle at crossroad
CN109827516B (zh) 一种通过车轮来测量距离的方法
JP6717240B2 (ja) 物標検出装置
JP2008304344A (ja) 物標検出装置
KR101448506B1 (ko) 선행차량의 거동을 이용한 주행 차로의 곡률 측정 방법 및 장치
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
Suzuki et al. Sensor fusion-based pedestrian collision warning system with crosswalk detection
CN114415171A (zh) 一种基于4d毫米波雷达的汽车可行驶区域检测方法
JP2002334330A (ja) 車両認識装置
CN114537447A (zh) 安全通行方法、装置、电子设备和存储介质
KR101568745B1 (ko) 적외선 영상 기반의 차량 보조 장치 및 방법
CN113432615A (zh) 基于多传感器融合可驾驶区域的检测方法、系统和车辆
CN115151836A (zh) 用于探测车辆周围环境中的移动对象的方法和机动车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15765521

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15765521

Country of ref document: EP

Kind code of ref document: A1